• 您好,欢迎来到科力特认证教育中心!

028-8674****

24小时全国统一学习热线

成都首页 > 培训课程 > 电脑与IT > 软件开发培训 > 成都大数据Hadoop应用开发实战培训

成都大数据Hadoop应用开发实战培训

上传时间:2018-03-09 08:00:00
上传用户:
qtedu

qtedu

四川 - 成都

  • 3

    发布
  • 0

    关注
  • 11.1年

    求学年龄

  • 开课日期:2015-10-16
  • 上课时间:自由安排
  • 授课学校:科力特认证教育中心
  • 上课地点:成都鼓楼南街248号

求学价:面议

已有260人浏览

科力特认证教育中心

人气度:713 课程总数:3 主营业务:...... 机构介绍 ➔
科力特(QualiTechEducation)是专业从事计算机高级技术培训的权威教育机构,成立于1999年,是IBM、思科、甲骨文、HP、SUN、微软、ITIL、CIW、NCSE等多家世界知名IT厂商在全球范围内的授权培训中心及合作伙伴,专业从事知名厂商核心技术的教育培训和推广工作。科力特是IBM在中国区四大软件体系白金级培训提供服务商,同时也是IBM西南授......
  • 课程详情
课程详情
 

1、大数据Hadoop应用培训

大数据Hadoop应用培训[第几阶段]

培训机构

科力特认证教育中心

(028)86749489

授课对象

计算机专业,有Linux基础,有编程、系统网络管理基础的学员

课程目标

目标:培养具备工程实践能力的hadoop系统管理人员

重点:Hadoop 是一个能够对大量数据进行分布式处理的软件框架。本培训使学员在真实模拟讲解的基础上了解掌握hadoop的基本概念和操作。

  

第几天

上午

大数据概念

Hadoop背景
HDFS
设计目标

HDFS不适合的场景

介绍Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig等知识点。大数据的背景,大数据的发展

下午
HDFS
架构详尽分析

HDFS和本地文件系统的关系

Hadoop是如何把超大的数据放进HDFS

把本地文件系统上的文件传到hdfs

为什么hdfs不支持随机写

Mysql和HDFS之间的数据传输,哪种方式较常用

hadoop客户端在写入HDFS时的实现

mfs、luster、Hdfs等分布式存储的不同侧重点

MapReduce的基本原理

MapReduce, Google File System 之间的关系

为什么MapReduce的key-value抽象模型被广泛使用

用 Hadoop / MapReduce 实现并行化算法

如何验证MapReduce结果的正确性

hadoop mapreduce 程序的布署

MapReduce,Spark比较

第二天

上午

Hadoop的版本介绍

安装配置单机版Hadoop
安装配置Hadoop集群

在虚拟机中安装Hadoop集群

下午

 HDFS命令行基本操作

(1)    检查和机器名是否正确

(2)    关闭防火墙

(3)    查看磁盘空间是否正常

(4)    检查目录是否正常

(5)    单独启动各个进程

Namenode的工作机制

  (1) Hadoop读写文件时内部工作机制

(2). NameNode的主要职责

(3)、NameNode布式文件系统的整体运行状态是否正常等

(4). NameNode故障转移的解决方案
 HDFS
基本配置管理

第三天

上午

HDFS应用实战:

图片服务器 - 系统设计

应用的环境搭建 jsp + bootstrap  

使用Hadoop Java API实现向HDFS写入文件

下午

使用Hadoop Java API实现读取HDFS中的文件
使用Hadoop Java API实现获取HDFS目录列表
使用Hadoop Java API实现删除HDFS中的文件

第四天

上午

MapReduce的基本原理
MapReduce
的运行过程

1、Map-Reduce的逻辑过程

2、编写Map-Reduce程序

3、Map-Reduce数据流(data flow)

3.1、任务提交

3.2、任务初始化

3.3、任务分配

3.4、任务执行

3.4.1、Map的过程

3.4.2、Reduce的过程

3.5、任务结束
下午

搭建MapReduce的java开发环境

操作步骤:
(1)
首先建立开发环境

1.引用外部包

2.插件开发端口设置
(2)
开发环境建立之后自己建立一个包,起名为mapreduce。
(3)
然后建立一个.java文件,可以是mapreduce文件:mapreduce.java。
(4)
把下面代码放入放入mapreduce.java
(5)
这样建立了一个mapreduce程序。

使用MapReduce的java接口实现WordCount

WordCount运算过程分析
MapReduce
的combiner

第五天

上午

1、使用MapReduce实现

2、数据去重

2.使用MapReduce实现数据排序,倒排索引
3.
使用MapReduce实现数据平均成绩计算

4、实际演练

下午

完成所有实验提交答辩

培训环境

 Cloudera Hadoop 4 (Hadoop 2.0)

虚拟机

Liunx或者windows+cygwin

网上预报名

×

微信扫描二维码,马上联系商家

1、微信扫描二维码

2、关注“求学快递网”公众号

3、点击给商家留言

在线报名×

您的姓名:
您的手机:
想学什么:
×
投诉举报
选择举报类型
×
投诉举报
填写并确认举报信息
为了确保问题能及时得到处理,请务必保证您提交的信息真实有效、清晰完整

*举报理由:

*举报描述:

截图证明:

×
投诉举报
填写并确认举报信息
为了确保问题能及时得到处理,请务必保证您提交的信息真实有效、清晰完整

*举报描述:

*原文链接:

联系方式:

截图证明:

×
投诉举报

当您发现本站有涉及个人的侵权内容时,建议您先尝试与当事人沟通解决问题。 如果您无法联系到当事人,您可通过此渠道提交举报诉求。

根据求学快递网侵权举报规范,您需要向我们提交您的个人信息,其中包括身份证明。如您确认已准备齐全,可点击下方按钮进入诉求提交页。

如果您举报的仅仅是辱骂等不友善内容,无需提交证明资料,可返回上一步点击【包含有害内容>辱骂、歧视、挑衅和诽谤等不友善信息】直接举报。
进入诉求提交页
×
投诉举报

当您发现本站有涉及企业的侵权内容时,建议您先尝试与当事人沟通解决问题。如果您无法联系到当事人,您可通过此渠道提交举报诉求。

根据求学快递网侵权举报规范,您需要向我们提交您企业和个人的证明材料。如您确认已准备齐全,可点击下方按钮进入诉求提交页。

如果您举报的仅仅是辱骂等不友善内容,无需提交证明资料,可返回上一步点击【包含有害内容>辱骂、歧视、挑衅和诽谤等不友善信息】直接举报。
进入诉求提交页
×
投诉举报

举报成功!

已经收到您的举报信息,我们会尽快核实并处理,感谢您的信任与帮助~