| |
Spark与Storm系列大数据处理技术应用实战培训课程
|
| |
 班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
|
坚持小班授课，为保证培训效果，增加互动环节，每期人数限3到5人。 |
| 上课时间和地点 |
上课地点：【深圳分部】：电影大厦(地铁一号线大剧院站)/深圳大学成教院 【上海】：同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【北京分部】：北京中山学院/福鑫大楼 【南京分部】：金港大厦(和燕路) 【武汉分部】：佳源大厦（高新二路） 【成都分部】：领馆区1号（中和大道） 【沈阳分部】：沈阳理工大学/六宅臻品 【郑州分部】：郑州大学/锦华大厦 【广州分部】：广粮大厦 【西安分部】：协同大厦 【石家庄分部】：河北科技大学/瑞景大厦
最近开课时间(周末班/连续班/晚班）：请点击此处咨询在线客服 |
| 实验设备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
| 质量保障 |
1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供课后答疑。
3、培训合格学员可享受免费推荐就业机会。 |
课程大纲 |
一、课程背景概述
大数据平台技术已经给新兴互联网企业（如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等）、银行金融证券企业、电信运营商行业、高端装备制造企业、IT基础设施提供商等带来了巨大的商业机遇，大数据平台在整个企业的价值增值链中发挥着至关重要的决定性作用。互联网+大数据时代的到来，一方面为企业带来了潜在的巨大发展机遇，能有效推动企业的信息化转型升级和科学决策分析；另一方面由于企业缺乏大数据技术专业人才和大数据平台建设实施经验，对企业实行大数据发展战略也带来了较大的挑战。本次课程带大家领略大数据技术的魅力和广阔前景，系统地讲解大数据处理技术的产生背景、发展历程、主流平台、核心组件、关键技术、平台架构、大数据解决方案以及大数据应用案例集锦。结合业界使用最广泛的主流大数据平台技术，重点剖析Hadoop + Spark + Storm大数据处理技术生态圈，包括大数据存储管理、分布式并行计算处理、实时内存计算处理、流式数据处理技术、大型NoSQL与NewSQL数据库、分布式数据检索与搜索处理技术（ElasticSearch）、大型数据仓库平台、大数据分析挖掘处理平台，以及这些大数据技术的平台部署运维与开发实践应用技巧。通过本次课程培训让学员掌握主流的Hadoop与Spark大数据平台技术架构、大数据项目实施的关键技术，培训过程中穿插着已经落地的成功大数据项目实施应用案例，分享大数据应用项目解决方案咨询服务，让学员掌握如何构建可行的大数据平台技术解决方案。本次培训紧密结合行业市场需求和国际国内最新技术发展趋势与潮流，为促进企业实施大数据战略，实现大数据的商业价值提供一种可行的方案思路，共同拥抱“云-网-端”以及“互联网+大数据”时代的光明前景！
二、授课人群
1. 大数据平台技术架构师
2. 大数据项目应用开发人员
3. 大数据平台集群运维人员
4. 大数据项目解决方案工程师
5. 大数据应用业务人员
三、课程目标
1. 本课程让学员充分掌握大数据处理平台（Hadoop、Spark、Storm）技术架构、以及平台的安装部署、运维配置、应用开发实战技能，熟悉国内外主流的大数据处理解决方案、以及大数据应用案例
2. 本课程强调主流的大数据关键技术及其在不同行业中企业的实际应用，立足于实际的行业应用需求，旨在让企业学员能够掌握大数据平台技术及应用如何落地，以及基于大数据平台的应用程序开发，以及大数据集群的运维技术，让学员掌握业界主流的大数据平台的应用和部署，并且结合当前（移动）互联网环境下产生的大规模结构化与非结构化数据管理以及分析处理需求，详细讲解有机地集成大数据平台各个功能组件（大数据收集、大数据存储、大数据管理、大数据挖掘、大数据分析和大数据可视化组件）设计大数据项目，并分享大数据项目应用实施案例。
3. 让学员掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用，并用结合实际的生产系统案例进行教学，讲解利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用，掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用，以及主流的大数据平台产品剖析。
4. 让学员掌握业界最流行Hadoop与Spark大数据平台，深入讲解Hadoop生态系统组件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术的实践应用。
5. 本课程采用技术原理与项目实战相结合的方式进行教学，在讲授原理的过程中，穿插实际的系统操作，本课程讲师也精心准备的实际的应用案例供学员动手训练。
四、培训特色
定制授课+ 案例分析讲解 + 互动交流讨论，共2天
五、培训大纲
时间 授课内容 课堂演示/实践说明
第1天 1. 大数据技术的发展历程和应用背景、大数据产业链概况，以及大数据技术在通信运营商、互联网金融业、网上银行、电子商务、零售业、制造业、电子政务、移动互联网、教育信息化等行业中的应用实践；
2. 解析目前业界主流的标准化大数据平台Hadoop + Spark平台架构，重点讲解它们在大数据存储、管理、分析处理方面的应用方案，以及在大数据离线分析、近线分析、实时在线分析处理方面的优化组合方案及其优势；
3. Hadoop大数据平台的生态系统组件、平台架构以及工作原理
4. Hadoop大数据存储系统HDFS的技术原理及应用实战，HDFS分布式存储系统的核心关键技术、设计精髓、基本工作原理、系统架构、文件存储模式、工作机制、存储扩容与吞吐性能扩展。
5. 大数据平台中的并行计算处理与函数式编程技术原理，以及数据并行技术—MapReduce技术的工作机制、工作原理、性能调优和大数据处理架构，以及MapReduce技术的发展趋势
6. Hadoop MapReduce并行处理平台的系统架构、核心功能模块、MapReduce编程应用开发实践、MapReduce程序Debug调试与任务调度技术
7. 第二代大数据计算框架Yarn的工作原理以及DAG并行执行机制、MapReduce应用开发环境的部署，以及大数据并行处理应用程序开发
8. MapReduce高级编程技巧与性能优化实践、MapReduce与Yarn项目案例实践
9. 常见的Hadoop平台故障错误分析策略以及监控工具详解，云文件存储系统状态以及海量作业执行状态监控与故障解决经验介绍 1. VMware虚拟机管理软件的安装部署，以及创建、启动、迁移、热备虚拟机操作
2. VMware环境下部署配置CentOS虚拟机集群模拟真实的物理集群
3. 在CentOS虚拟集群上部署Hadoop平台以及配置操作
4. 基于HDFS实现大规模在线文件存储程序
5. 基于Hadoop MapReduce实现网页数据统计程序
第1天 10. 目前业界行业云数据中心的大规模非结构化数据管理技术实现与平台应用，以及SQL、NoSQL和NewSQL关键技术详解，系统平台技术及应用实践
11. Hadoop半结构化与非结构化大数据管理系统HBase集群的应用及其发展趋势，HBase半结构化大数据管理集群管理、运维监控、性能优化、负载均衡，以及与Hadoop核心组件HDFS和MapReduce的数据协同操作应用
12. 大型数据仓库HIVE集群的技术原理及应用，Hive文件与记录存储格式、Hive与HBase数据库整合、Hive大数据统计分析技术、Hive功能操作实践，以及云计算数据中心的Hive大型数据仓库集群在BAT公司和通信运营商中的案例分析，以及HBase和数据仓库HIVE的框架整合技术及其应用
13. Spark大数据实时处理平台的技术原理、集群架构及其在大型互联网公司和运营商企业中的应用实践案例
14. Spark内存实时处理平台架构，Spark分布式实时处理框架及工作原理
15. Spark集群的平台架构及其生态系统组件剖析，SparkSQL和Spark Streaming应用技巧 6. 部署HBase大数据管理系统，配置、参数调优、性能监控， HBase数据表操作，以及项目应用开发实践
7. 配置部署HIVE数据仓库集群，以及性能调优实战
8. 基于给定的实验数据集加载至HIVE以及HBase中，并且根据实验要求设计实现应用程序
9. 部署和配置Spark分布式集群
第2天 16. 基于Spark集群的GraphX图处理技术剖析以及应用实践
17. 基于Spark集群的MLib和MLBase实时机器学习平台技术剖析及其应用实践
18. Spark集群的安装部署、开发环境搭建，以及根据实验数据集完成数据的加载、查询检索和分析统计程序的设计实现，以及和HBase+Hadoop的数据对接
19. 基于Hadoop+Mahout大数据分析挖掘处理平台技术架构，以及大数据挖掘在互联网电商和电信行业中的应用案例分析
20. Mahout大数据协同过滤分析、频繁模式挖掘分析、聚类分析、分类分析、推荐分析的应用程序开发实现
21. ElasticSearch分布式搜索引擎的平台架构设计、关键技术和核心组件剖析
22. ElasticSeach集群的分布式安装部署与运维配置，以及与Hadoop平台集成技术应用实践
23. 流式大数据处理技术的基础知识以及应用介绍
24. Storm流式大数据处理平台的技术原理、平台架构以及核心组件剖析
25. Storm集群的安装部署、开发环境部署、程序开发及其实际应用案例分析
26. Storm日志分析项目的应用实践
27. VMware虚拟化集群管理软件，以及Hadoop + HBase + ElasticSearch + HIVE + Storm + Spark的大数据平台集成解决方案的应用实践案例分享
28. 基于真实的互联网数据和实验指导手册在讲师的引导下完成实际的项目案例，巩固学过的大数据平台技术知识以及应用技能 10. 部署配置Storm集群，以及开发环境
11. 基于Storm处理平台实现日志流分析系统设计
12. 结合云计算与大数据平台实现一个真实的互联网行业数据搜索系统，以及搜索日志分析与推荐系统应用案例，构建一个Hadoop, MapReduce, Storm, HBase, HIVE, Spark, ElasticSearch, Mahout的大数据平台集成解决方案 |
|
|
|
|
|
|
|
|
|
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
