培训会员
热门点击:参观考察 中层干部 研发管理 采购管理 海关事务 秘书文秘 人力资源管理 销售营销 绩效管理 仓储管理
您现在的位置: 森涛培训网 >> 公开课 >> 产品管理培训产品经理培训研发管理培训 >> 课程介绍

Hadoop大型应用开发实战培训

【时间地点】 2013年10月26-27日 杭州  (25日报到)
【培训讲师】 王老师
【参加对象】 软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。
【参加费用】 ¥4500元/人 (含培训费、考试费、证书费、资料费、午餐) 食宿统一安排,费用自理。(请学员带二寸彩照2张—背面注明姓名,身份证复印件一张)。
【会务组织】 森涛培训网(www.stpxw.com).广州三策企业管理咨询有限公司
【咨询电话】 020-34071250;020-34071978(提前报名可享受更多优惠)
【联 系 人】 庞先生,邓小姐;13378458028、18924110388(均可加微信)
【在线 QQ 】 568499978 培训课纲 课纲下载
【温馨提示】 本课程可引进到企业内部培训,欢迎来电预约!
培训关键词:Hadoop大型应用开发培训,产品经理培训,研发管理培训

Hadoop大型应用开发实战培训(王老师)课程介绍:

各有关单位:
互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,何以解忧?Hadoop!我中心针对目前企事业单位信息技术研发人员对Hadoop大数据处理技术的紧迫需求,设计推出了Hadoop大型应用开发实战课程。具体课程事宜如下:

● 课程目标
1. 全面掌握Hadoop的架构原理和使用场景;
2. 全程项目实战训练;
3. 彻底掌握使用Hadoop进行MapReduce程序开发;
4. 熟悉分布式计算领域的常用算法;

● 授课师资
王老师
国内最早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案专家。业界知名资深IT技术培训讲师、多家著名公司的技术顾问。

● 培训证书
本课程颁发双证,证书查询:www。ncie。gov。cn;
1、工业和信息化部人才交流中心颁发的《全国信息化工程师》证书。
证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。

● 具体课程安排
第一天 
第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码 5.Mapper
6.Reducer
7.API 使用Eclipse进行快速开发
8.新MapReduce API
第4个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第5个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程

第二天 
第1个主题:Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache)
第2个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化 
第3个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第4个主题:MapReduce编程实战
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5个主题:flume+hadoop日志收集实战
1. flume介绍
2. flume核心组件讲解
3. flume自带的组件分析
4. flume二次开发实战

第三天 
第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
第2个主题:Hadoop安装和部署准备
1. Hadoop系统模块组件概述
2. Hadoop试验集群的部署结构
3. Hadoop 安装依赖关系
4. Hadoop 生产环境的部署结构
第3个主题:Hadoop集群安装和部署
1. Red hat Linux基础环境搭建 上机实验
2. Hadoop 单机系统版本 安装配置 上机实验
3. Hadoop 集群系统版本 安装和启动配置 上机实验
4. Hadoop 集群异常Debug 方法
5. Hadoop 集群简单测试方法
6. 使用 Hadoop MapReduce Streaming 快速测试系统
第4个主题:Hadoop组件详解
1. Hadoop HDFS 基本结构
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 详解
4. Hadoop SecondaryNameNode 详解
5. Hadoop DataNode 详解
6. Hadoop JobTracker 详解
7. Hadoop TaskTracker 详解
第5个主题:Hadoop集群配置详解
1. Hadoop core-site,hdfs-site,mapred-site 配置详解
2. Hadoop 高可用配置方法 

第1个主题:Hadoop集群配置:机架感知,开启压缩和任务均衡
Hadoop 集群安装和开启LZO压缩
Hadoop 配置集群具备机架感知
Hadoop 集群开启公平任务调度器
Hadoop 集群开启能力任务调度器
第2个主题:Hadoop 集群维护与管理
查看集群状态
HDFS数据管理
Mapreduce 任务管理
HDFS安全模式
模拟集群Namenode,jobtrack失效
添加删除节点
数据平衡
文件数据跨集群拷贝
集群升级
第3个主题:Hadoop 集群规划和测试
集群规划(硬件,系统,网络)
集群性能测试
第4个主题:Hadoop 集群监控和运维
1. 使用Ganglia 监控Hadoop集群
2. 使用Cacti 监控操作系统
第5个主题:Hadoop HDFS高可用
Hadoop 元数据NFS备份方案
Hadoop SecondaryNameNode备份方案
Hadoop CheckpointNode备份方案
Hadoop BackupNode备份方案
Hadoop Cloudera HA Namenode 方案


培训课纲 课纲下载


更多Hadoop大型应用开发实战培训相关课程:

课程专题研发管理专题 | Hadoop大型应用开发培训产品经理培训研发管理培训


关于我们 | 法律声明 | 服务条款 |热门课程列表 | 培训计划 | 网站地图 | 文字站点 | 加入收藏 | 用户中心
固话:020-34071250、34071978 值班手机:13378458028(可加微信) 传真:020-34071978
地址:广州市天河区东站路1号;常年法律顾问:北京市双全律师事务所 邓江华主任律师
粤ICP备13018032号 Copyright (c) 2019 All Rights Reserved 森涛培训网 三策咨询.企业培训服务