有人统计过,在整个数据分析过程里,收集、整理数据的工作大致占全部工作量的90%,建模过程不足10%,可见ETL是数据处理流程中一个非常重要的环节。ETL工程师,在数据仓库类职位中占有很大比例,而且薪水都不差。IT人一下子转型数据分析师可能跳跃度比较大难度高,先转型数据仓库/ETL工程师再择机往更高处走是合理选择之一。在ETL软件中,使用最多的是开源的Kettle,完全免费,功能和性能不弱于datastage这类商业ETL软件,使用Kettle和其它开源数据平台软件,例如Mysql集群,Hadoop集群等组合在一起,是性价比极高的架构选择。本课程系统讲解Kettle及其秘密。
ETL (Extract,Transformation,Load)工具是构建数据仓库、进行数据整合工作所必须使用的工具。目前市面有多种商业 ETL 工具,如Informatica,Datastage等。目前市场上开源且实用的 ETL 工具比较少,Kettle 就是这不多的开源 ETL 工具之一。
第一节:ETL 的概念,Kettle 的概念、功能、操作
第二节:Kettle 资源库、日志、运行方式
第三节:输入步骤(表输入、文本文件输入、XML 文件输入...)
第四节:输出步骤(表输出、更新、删除、文本文件输出、XML文件输出...)
第五节:转换步骤(过滤、字符串处理、拆分字段、计算器...)
第六节:转换步骤(字段选择、排序、增加校验列、去除重复记录...)
第七节:应用步骤、流程步骤(处理文件、执行程序、发送邮件、空操作、阻塞步骤、中止等...)
第八节:查询步骤、连接步骤(数据库查询、流查询、合并记录、记录集连接、笛卡尔...)
第九节:脚本步骤(Javascript,Java Class、正则表达式...)
第十节:作业项(拷贝、移动、ftp、sftp…)
第十一节:Kettle 的参数和变量、Kettle 集群
第十二节:Kettle 代码编译、代码结构、应用集成、各种配置文件
第十三节:插件开发 - 步骤、作业项
第十四节:作业设计技巧、错误处理、调试转换、循环和分支
第十五节:大数据插件(Hadoop 文件输入/输出,HBase输入/输出,MapReduce输入/输出,MongoDB输入/输出)
|