端海教育集团
全国免费热线:4008699035 微信号:shuhaipeixun
或15921673576(微 信 同 号) Q Q:849322415
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
Storm与大数据实战课程

 
  班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
      每个班级的人数限3到5人,互动授课, 保障效果,小班授课。
  上间和地点
上部份地点:【上海】同济大学(沪西)/新城金郡商务楼(11号线白银路站)【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院【北京分部】:北京中山学院/福鑫大楼【南京分部】:金港大厦(和燕路)【武汉分部】:佳源大厦(高新二路)【成都分部】:领馆区1号(中和大道)【沈阳分部】:沈阳理工大学/六宅臻品【郑州分部】:郑州大学/锦华大厦【石家庄分部】:河北科技大学/瑞景大厦
最近开间(周末班/连续班/晚班):请点击此处咨询在线客服
  实验设备
    ◆小班教学,教学效果好
       
       ☆注重质量☆边讲边练

       ☆合格学员免费推荐工作
       ★实验设备请点击这儿查看★
  质量保障

       1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
       2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供课后答疑。
       3、培训合格学员可享受免费推荐就业机会。☆合格学员免费颁发相关工程师等资格证书,提升职业资质。专注高端技术培训15年,端海学员的能力得到大家的认同,受到用人单位的广泛赞誉,端海的证书受到广泛认可。

部份程大纲
 
  • 在大数据的批处理领域,Hadoop是不可撼动的王者,然而在实时性上的延迟,Hadoop却是其天生的不足,为完善大数据实时性处理的需求,业界进行了不少的尝试,如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进,同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销,为解决广告计费(cost-per-click)Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为,LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等,而Storm是由Twitter开源的实时计算框架,适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

  • 第一节:实时计算平台介绍
    介绍实时系统主要解决的业务问题和面临的挑战;
    简要介绍实时平台的主要组件和构成,实时数据的收集通道和数据交互方式
    实时数据核心组件Flume、Kafka的介绍,以及Storm在整个平台中所处的位置;
    分享部分典型互联网公司实时平台的架构,如大众点评、美团、一号店等
  • 第二节:Storm基本概念和组件介绍
    Storm的基本组件:Nimbus、Supervisor、Worker、 Executor和Task的基本介绍;
    集群组成:通常一个线上集群的如何构成;
    Storm的可靠性:Storm如何保证可靠性以及数据的准确性;
    Storm的数据分组和其他特性介绍;
  • 第三节:Storm集群部署和配置
    Storm的依赖组件介绍;
    Storm的部署软硬件环境要求;
    部署ZooKeeper
    部署Storm到各个机器节点
    配置Storm相关参数,以及核心参数介绍;
    启动Storm相关进程;
    Storm的守护进程;
    提交Topology的过程介绍。
  • 第四节:Storm基本应用的开发
    Storm的应用开发和调试过程介绍,包括:
    提交示例Topology到集群;
    项目代码本地开发环境配置和依赖;
    代码编译和打包以及注意事项;
    本地代码调试过程;
    线上Topology提交过程和问题分析。
  • 第五节:Storm Nimbus和Supervisor深入剖析
    Nimbus功能介绍和启动Nimbus服务过程分析;
    Nimbus服务的执行过程剖析;
    分配Executor的算法;
    调度器介绍;
    默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析;
    Supervisor数据结构分析;
    Supervisor的执行过程详解。
  • 第六节:Storm Worker、Executor和Task深入分析
    Worker的数据结构和架构;
    Worker中的数据流分解;
    创建Worker的过程;
    Executor的创建过程;
    创建Spout的Executor的过程和逻辑;
    创建Bolt的Executor的过程和逻辑;
    Task的创建过程;
    Ack的原理介绍;
    Acker Bolt的实现。
  • 第七节:Storm运维和监控
    主机信息监控;
    日志和监控;
    Storm UI和NimbusClient的使用;
    Storm Metric的使用;
    Storm ZooKeeper的目录详解和功能分析;
    Storm Hook的使用。
  • 第八节:Storm的扩展和二次开发
    Storm UI原生功能介绍和数据含义;
    Storm UI新功能需求实现;
    Storm的Thrift接口介绍;
    资源隔离方案简介;
    基于CGroup的资源隔离的实现;
    使用Docker运行Storm集群介绍。
  • 第九节:Storm的实际应用案例分享
    实时DAU计算实现;
    实时用户画像;
    实时个性化推荐;
    广告投放的精准化
  • 第十节:Storm使用经验和性能优化
    使用经验;
    性能优化建议;
    自定义metric和性能数据收集
  • 第十一节:其他实时平台介绍
    JStorm介绍;
    Spark Streaming介绍;
    Heron介绍;
    Flink介绍;
    Storm和其他实时流处理框架的功能和性能对比
 

-

 

  备案号:备案号:沪ICP备08026168号-1 .(2014年7月11)...................
友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 端海 教育 企业 学院 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 端海教育企业学院培训课程 系列班