大数据Hadoop应用开发培训
- 开课日期:2015-05-28
- 上课时间:自由安排
- 授课学校:中培创成北京科技有限公司
- 上课地点:南京市
求学价:¥5800
求学价:¥5800
| 第 一 天 | 第1个主题:Hadoop的来源和动机 1.传统大规模系统存在的问题 2.对一种新的解决方案的需求 3.Hadoop应用案例解析 4.Hadoop 版本介绍 5.Hadoop与传统分布式环境的区别
第2个主题:Hadoop安装和部署准备 1. Hadoop系统模块组件概述 2. Hadoop试验集群的部署结构 3. Hadoop 安装依赖关系 4. Hadoop 生产环境的部署结构 第3个主题:Hadoop集群安装和部署 第4个主题:Hadoop组件详解 1. Hadoop HDFS 基本结构 2. Hadoop HDFS 副本存放策略 3. Hadoop NameNode 详解 4. Hadoop SecondaryNameNode 详解 5. Hadoop DataNode 详解 6. Hadoop JobTracker 详解
| 5.Mapper 6.Reducer 7.API 使用Eclipse进行快速开发 8.新MapReduce API 第4个主题:Hadoop 核心代码剖析 1. Hadoop Mapper 类核心代码剖析 2. Hadoop Reducer 类核心代码剖析 第5个主题:HDFS分布式文件系统编程 1. Hadoop HDFS 剖析 2. Hadoop NameNode 剖析 3. Hadoop DataNode 剖析 4. hadoop I/O 操作 5. 使用Hadoop HDFS API对HDFS编程 第5个主题
|
| 第 二 天 |
第1个主题:Hadoop MapReduce 1. Hadoop JobTracker 剖析 2.Hadoop TaskTracker 剖析 3.Hadoop 任务提交流程剖析 第2个主题: Hadoop MapReduce Streaming编程 1. Hadoop Streaming 和 Java MapReduce Api 差异 2. 使用 MapReduce 实现数据库功能 第3个主题:MapReduce分布式程序 1. MapReduce流程 2.剖析一个MapReduce程序 3.基本MapReduceAPI 概念 4.驱动代码 第4个主题:Hadoop Mapreduce高级编程 1.ToolRunner介绍 2.使用MRUnit进行测试 3.利用Combiners来减少中间数据 4.使用Configure和Close方法来进行Map/Reduce设置和关闭 5.编写Partitioner来优化负载平衡 6.直接访问Hadoop分布式文件系统(HDFS) 7.使用分布式缓存(Distributed Cache)
| 第5个主题:MapReduce的优化 1. map优化 2. reduce优化 3. 小文件优化
第6个主题:MapReduce的任务调度 1. Queue调度的使用 2. 公平调度的使用 3. 能力调度的使用
第7个主题Hadoop 生态系统介绍 分布式管理组件-Zookeeper 分布式数据仓库-Hive 分布式数据库-HBase 数据导入导出-Sqoop 工作流管理- Ozzie Hadoop数据仓库-Hive Hive基础 Hive的作用和原理说明 Hadoop仓库和传统数据仓库的协作关系;Hive与传统数据库的对接使用 Hadoop/Hive仓库数据数据流
|
| 第 三 天 | Hadoop数据仓库-Hive
Hive Cli 的基本用法 HQL基本语法 自行编写数据库与Hadoop相互ETL工具的思路
| Hadoop 分布式数据仓库-HBase Hbase概念与架构 hbase核心知识点 hbase安装、部署 HBase配置优化综述 表设计优化相关参数 监控工具使用方法及注意事项 常见异常现象级处理方法 |
网上预报名
微信扫描二维码,马上联系商家
1、微信扫描二维码
2、关注“求学快递网”公众号
3、点击给商家留言
当您发现本站有涉及个人的侵权内容时,建议您先尝试与当事人沟通解决问题。 如果您无法联系到当事人,您可通过此渠道提交举报诉求。
根据求学快递网侵权举报规范,您需要向我们提交您的个人信息,其中包括身份证明。如您确认已准备齐全,可点击下方按钮进入诉求提交页。
当您发现本站有涉及企业的侵权内容时,建议您先尝试与当事人沟通解决问题。如果您无法联系到当事人,您可通过此渠道提交举报诉求。
根据求学快递网侵权举报规范,您需要向我们提交您企业和个人的证明材料。如您确认已准备齐全,可点击下方按钮进入诉求提交页。
举报成功!
已经收到您的举报信息,我们会尽快核实并处理,感谢您的信任与帮助~