Hadoop性能调优培训
  Hadoop性能调优培训
培训大纲
模块
课程内容
案例及实验
Hadoop参数调优
l 选择适合Hadoop的硬件配置
l Hadoop配置项优化
l 网络带宽参数调优
l 选择正确的JDK
l Hadoop作业调优
l Linux操作系统优化
l 其他配置和参数调优
l Hadoop硬件优化
l 不是所有的硬件都合适拿来直接使用
l 硬件为什么不做raid？
l 设置网络的注意事项
l 中间结果压缩对磁盘和网络的优化
l 常见异常现象及处理方法
Hive性能优化
l Hive参数优化
l Hive其他优化
l 自有软件Phphiveadmin的介绍及使用
l 对group，join的优化
l 其他参数设计
l 设定并行执行嵌套sql
l 为什么使用外部表和partition
l Phphiveadmin带来的优势和便利
精彩案例解析
案例一：那namenode 被重新格式化，datanode无法连接
案例二：硬盘损坏
案例三：错误用户启动hadoop
案例四：tasktracker重启后假死
案例五：jobtracker无故宕机
HBASE调优
l HBase配置优化综述
l 读优化中需要调整的参数
l 写优化中需要调整的参数
l Hbase-site.xml参数调优
l JVM优化中需要调整的参数
l Split & compact优化相关参数
l 表设计优化相关参数
l Hbase客户端优化相关参数
l 监控工具使用方法及注意事项
l Memstore合并设置的时机选择
l Mslab使用设置
l 合并storefile策略设置技巧
l Memstore  flush 设置时机选择
l Hbase-env.sh、Single、multi-thread、CMS使用及参数调用
l GC回收垃圾时机、GC日志打印设置
l GC阶段，region无法提供服务如何如何处理
l 安装、使用步骤、主要监控参数，如何根据参数进行调优设置
精彩案例解析
案例1：hot  region造成读请求瓶颈
现象：某台机器的某个region读请求非常频繁，大量读请求集中在一台机器的某个region会造成该机器的压力陡增，JVM内存居高不下，load很高，使得client读取数据上达到瓶颈值。
Mapreduce的性能调优
Mapreduce中需要调优的相关参数
Ø Dfs.block.size
Ø Mapreduce
Ø Io.sort.mb
Ø Io.sort.spill.percent
Ø Mapred.local.dir
Ø Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
Ø Mapred.reduce. tasksmapred. Sktracker.reduce.tasks. sktracker
l Map中选择合理的块大小
l Reduce并行复制线程的调优
l Map/reduce内存配置的原则及方法
l 槽位数计算方法
l 调度器的选择集调优
精彩案例解析
案例1：控制map & reduce个数
现象：map个数取决于split个数，如果源文件使用压缩存储，则不可分割，一个文件一个map。非压缩文件使用默认block.size进行切分。对reduce因为是中间数据，可以控制reduce数量。