• 您好,欢迎来到北京中科信软高级技术培训中心!

010-6288****

24小时全国统一学习热线

北京首页 > 培训课程 > 电脑与IT > 软件开发培训 > Hadoop大数据时代:Hadoop&YarnSpark企业级最佳实践培训

Hadoop大数据时代:Hadoop&YarnSpark企业级较佳实践培训

上传时间:2017-12-02 08:00:00
上传用户:
ymrwgc15

ymrwgc15

北京 - 北京

  • 51

    发布
  • 0

    关注
  • 12.9年

    求学年龄

  • 开课日期:随到随学/常年招生
  • 上课时间:自由安排
  • 授课学校:北京中科信软高级技术培训中心
  • 上课地点:北京市海淀区中关村东路89号(中科院物理所边)恒兴大厦16层B(保福寺桥南)

求学价:面议

已有788人浏览

北京中科信软高级技术培训中心

人气度:851 课程总数:51 主营业务:...... 机构介绍 ➔
北京中科信软科技有限公司(以下简称中科信软)作为中国领先的企业高端技术服务机构,公司秉承“诚信、创新、开放、合作、服务”的企业文化,依托中国科学院的雄厚技术实力,与国内外大型知名企业IBM,SUN,ORACLE,微软等建立了广泛的合作关系、致力于整合国内外进、较流行、较实用的技术服务于企事业单位,为客户创造价值,其专业服务和质量承诺在客户中享有卓越的声誉。培......
  • 课程详情
课程详情

培训内容

第几部分

第1个主题:Hadoop三问(彻底理解Hadoop)

1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?

2、Hadoop的具体是如何工作?

3、Hadoop的生态架构和每个模块具体的功能是什么?

第2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)

1、 Hadoop集群的搭建

2、 Hadoop集群的监控

3、 Hadoop集群的管理

4、 集群下运行MapReduce程序

第3主题:彻底掌握HDFS(具备开发自己网盘的能力)

1、HDFS体系架构剖析

2、NameNode、DataNode、SecondaryNameNode架构

3、保证NodeName高可靠性较佳实践

4、DataNode中Block划分的原理和具体存储方式

5、修改Namenode、DataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

第4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)

1、RPC架构剖析

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFS的RPC实现

4、源码剖析客户端与与NameNode的RPC通信

第二部分

第1个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1、MapReduce执行的经典步骤

2、wordcount运行过程解析

3、Mapper和Reducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

第2个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

第3个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用较佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

第4个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)

通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程

第三部分

第1个主题:YARN(具备理解和使用YARN的能力)

1、YARN的设计思想

2、YARN的核心组件

3、YARN的共组过程

4、YARN应用程序编写

第2个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)

1、ResourceManager的架构

2、ClientRMService 与AdminService 

3、NodeManager

4、 Container

5、 Yarn的 HA机制

第3个主题:NodeManager深度剖析(具备掌握NodeManager及Container的能力)

1、 NodeManager架构

2、 Container Management

3、 Container  lifecycle

4、  资源管理与隔离

第4堂课:Spark的架构设计(具备掌握Spark架构的能力)

1.1 Spark生态系统剖析

1.2 Spark的架构设计剖析

1.3 RDD计算流程解析

1.4 Spark的出色容错机制

第四部分

第1堂课:深入Spark内核

1 Spark集群

2 任务调度

3 DAGScheduler

4 TaskScheduler

5 Task内部揭秘

第2堂课:Spark SQL

1 Parquet支持

2 DSL

3 SQL on RDD

第3堂课:Spark的机器学习

1 LinearRegression

2 K-Means

3 Collaborative Filtering

第4堂课:Spark的图计算GraphX

1 Table Operators

2 Graph Operators

3 GraphX

 


网上预报名

×

微信扫描二维码,马上联系商家

1、微信扫描二维码

2、关注“求学快递网”公众号

3、点击给商家留言

在线报名×

您的姓名:
您的手机:
想学什么:
×
投诉举报
选择举报类型
×
投诉举报
填写并确认举报信息
为了确保问题能及时得到处理,请务必保证您提交的信息真实有效、清晰完整

*举报理由:

*举报描述:

截图证明:

×
投诉举报
填写并确认举报信息
为了确保问题能及时得到处理,请务必保证您提交的信息真实有效、清晰完整

*举报描述:

*原文链接:

联系方式:

截图证明:

×
投诉举报

当您发现本站有涉及个人的侵权内容时,建议您先尝试与当事人沟通解决问题。 如果您无法联系到当事人,您可通过此渠道提交举报诉求。

根据求学快递网侵权举报规范,您需要向我们提交您的个人信息,其中包括身份证明。如您确认已准备齐全,可点击下方按钮进入诉求提交页。

如果您举报的仅仅是辱骂等不友善内容,无需提交证明资料,可返回上一步点击【包含有害内容>辱骂、歧视、挑衅和诽谤等不友善信息】直接举报。
进入诉求提交页
×
投诉举报

当您发现本站有涉及企业的侵权内容时,建议您先尝试与当事人沟通解决问题。如果您无法联系到当事人,您可通过此渠道提交举报诉求。

根据求学快递网侵权举报规范,您需要向我们提交您企业和个人的证明材料。如您确认已准备齐全,可点击下方按钮进入诉求提交页。

如果您举报的仅仅是辱骂等不友善内容,无需提交证明资料,可返回上一步点击【包含有害内容>辱骂、歧视、挑衅和诽谤等不友善信息】直接举报。
进入诉求提交页
×
投诉举报

举报成功!

已经收到您的举报信息,我们会尽快核实并处理,感谢您的信任与帮助~