课程主题 |
主要内容 |
案例和演示 |
Hadoop的来源和动机 |
传统大规模系统存在的问题
Hadoop概述
Hadoop分布式文件系统
MapReduce工作原理
Hadoop集群剖析
Hadoop生态系统对一种新的解决方案的需求
Hadoop的行业应用案例分析
Hadoop在云计算和大数据的位置和关系 |
数据开放,数据云服务平台(DAAS)时代
Hadoop平台在数据云平台(DAAS)上的天然优势
数据云平台(DAAS 平台)组成部分
互联网公共数据大云(DAAS)案例
Hadoop构建构建游戏云(Web Game Daas)平台 |
Hadoop生态系统介绍和演示 |
Hadoop HDFS 和 MapReduce
Hadoop数据库之HBase
Hadoop数据仓库之Hive
Hadoop数据处理脚本Pig
Hadoop数据接口Sqoop和Flume,Scribe DataX
Hadoop工作流引擎 Oozie |
运用Hadoop自下而上构建大规模企业数据仓库
暴风影音数据仓库实战解析 |
Hadoop组件详解 |
Hadoop HDFS 基本结构
Hadoop HDFS 副本存放策略
Hadoop NameNode 详解
Hadoop SecondaryNameNode 详解
Hadoop DataNode 详解
Hadoop JobTracker 详解
Hadoop TaskTracker 详解 |
Hadoop Mapper类核心代码
Hadoop Reduce类核心代码
Hadoop 核心代码 |
Hadoop安装和部署 |
Hadoop系统模块组件概述
Hadoop试验集群的部署结构
Hadoop 安装依赖关系
Hadoop 生产环境的部署结构
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群简单测试方法
Hadoop 集群异常Debug方法
|
Hadoop安装部署实验
Red hat Linux基础环境搭建
Hadoop 单机系统版本安装配置
Hadoop 集群系统版本安装和启动配置
使用 Hadoop MapReduce Streaming快速测试系统
Hadoopcore-site,hdfs-site,mapred-site 配置详解 |
Hadoop集群规划 |
Hadoop 集群内存要求
Hadoop集群磁盘分区
集群和网络拓扑要求
集群软件的端口配置 |
针对NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同组件需求推荐服务器配置 |
MapReduce 算法原理 |
Hadoop MapReduce 算法的原理和优化思想
灵活运用MapReduce 实现算法 |
运用MapReduce 构建数据库算法
Select Sort GrougBy Sum Count
Join 新进流失算法
使用 Y-Smart 快速转换SQL为MapReduce 代码 |
编写MapReduce高级程序 |
使用 Hadoop MapReduce Streaming 编程
MapReduce流程
剖析一个MapReduce程序
基本MapReduceAPI 概念
驱动代码 Mapper、Reducer
Hadoop流
API 使用Eclipse进行快速开发
新MapReduce API
MapReduce的优化
MapReduce的任务调度
MapReduce编程实战
如何利用其他Hadoop相关技术,包括Apache Hive, Apache Pig,Sqoop和Oozie等
满足解决实际数据分析问题的高级Hadoop API |
Hadoop Streaming 和 Java MapReduce Api 差异。
MapReduce 实现数据库功能
利用Combiners来减少中间数据
编写Partitioner来优化负载平衡
直接访问Hadoop分布式文件系统(HDFS)
Hadoop的join操作
辅助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二进制数据
创建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析 |