云计算分布式大数据Hadoop培训
云计算分布式大数据Hadoop培训——
HDFS&MapReduce&HBase&Hive&集群管理培训
第一部分:
第1个主题:Hadoop思考
1.Hadoop的设计目标和适用场景
2.Hadoop架构解析
3.MapReduce工作原理和案例说明
第2个主题: Hadoop安装和配置实战
1. 安装和配置单机版Hadoop实战
2. 安装和配置伪分布式Hadoop实战
3.安装和配置分布式Hadoop集群实战
第3个主题:HDFS
1. HDFS命令行操作实战
2. HDFS的配置管理
3. NameNode的工作机制
第4个主题:HDFS案例实战
1. HDFS案例的分析和设计
2. 环境搭建
3.使用Hadoop Java API实现对HDFS写入、读取、删除文件等操作
第5个主题:MapReduce剖析
1. MapReduce的原理和运行过程
2. 构建MapReduce的开发环境
第6个主题:MapReduce案例实战
1. 使用MapReduce的Java接口实现经典的WordCount
2. wordcount运行过程解析
3. MapReduce实现数据去重操作
4. MapReduce实现数据排序
5. MapReduce实现数据平均数据的计算
第二部分:
第1个主题:HBase架构设计和实现剖析
1. HBase架构设计
2. HBase中的表结构等
3. HBase:Master、Region、Region Server
第2个主题:HBase案例实战1---使用HBase实现微博系统
1. 项目架构和设计
2. 开发环境搭建
3. 实现用户登录和注销
4.“关注”功能的设计和实现
5.“发微博”功能的设计和实现
6.发布和运行整个基于HBase的微博系统
第3个主题:HBase与MapReduce
1. HBase与MapReduce的关系
2. HBase如何使用MapReduce
第4个主题:HBase案例实战2---话单查询与统计
1. 项目架构设计
2. 开发环境搭建
3. 话单入库和查询的设计与实现
4.统计功能的设计与实现
第5个主题:MapReduce高级实战
1. Split实现剖析
2. 自定义输入的实现
3. Reduce的partition
4. 案例实战
第6个主题:安装和使用Hive
1. Hive剖析
2. 安装Hive
3.Hive的基本使用
第7个主题:Hive与HDFS、MapReduce
1. Hive向HDFS存入结构化数据
2. 使用MySQL作为Hive的元数据库
3.Hive与MapReduce
第8个主题:Hive案例实战---数据统计
1. 项目架构设计
2. 表结构设计
3.数据的插入与统计实现
第三部分:
第1个主题:Hadoop集群配置:机架感知,开启压缩和任务均衡
Hadoop 集群安装和开启LZO压缩
Hadoop 配置集群具备机架感知
Hadoop 集群开启公平任务调度器
Hadoop 集群开启能力任务调度器
第2个主题:Hadoop 集群维护与管理
查看集群状态
HDFS数据管理
Mapreduce 任务管理
HDFS安全模式
模拟集群Namenode,jobtrack失效
添加删除节点
数据平衡
文件数据跨集群拷贝
集群升级
第3个主题:Hadoop 集群规划和测试
1. 集群规划(硬件,系统,网络)
2. 集群性能测试
第4个主题:Hadoop 集群监控和运维
1. 使用Ganglia 监控Hadoop集群
2. 使用Cacti 监控操作系统
第5个主题:Hadoop HDFS高可用
Hadoop 元数据NFS备份方案
Hadoop SecondaryNameNode备份方案
Hadoop CheckpointNode备份方案
Hadoop BackupNode备份方案
Hadoop Cloudera HA Namenode 方案
第6个主题:Hadoop开发者之路
1. Hadoop技能模型
2. Hadoop开发者最佳学习路线和方式
3.Hadoop开发者最佳成长路线