成都大数据Hadoop应用开发实战培训
- 开课日期:2015-10-16
- 上课时间:自由安排
- 授课学校:科力特认证教育中心
- 上课地点:成都鼓楼南街248号
求学价:面议
求学价:面议
1、大数据Hadoop应用培训
| 大数据Hadoop应用培训[第几阶段] | ||
| 培训机构
| 科力特认证教育中心 (028)86749489 | |
| 授课对象
| 计算机专业,有Linux基础,有编程、系统网络管理基础的学员 | |
|
课程目标 | 目标:培养具备工程实践能力的hadoop系统管理人员 重点:Hadoop 是一个能够对大量数据进行分布式处理的软件框架。本培训使学员在真实模拟讲解的基础上了解掌握hadoop的基本概念和操作。 | |
|
|
第几天 | 上午 大数据概念 Hadoop背景 HDFS不适合的场景 介绍Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig等知识点。大数据的背景,大数据的发展 下午 HDFS和本地文件系统的关系 Hadoop是如何把超大的数据放进HDFS 把本地文件系统上的文件传到hdfs 为什么hdfs不支持随机写 Mysql和HDFS之间的数据传输,哪种方式较常用 hadoop客户端在写入HDFS时的实现 mfs、luster、Hdfs等分布式存储的不同侧重点 MapReduce的基本原理 MapReduce, Google File System 之间的关系 为什么MapReduce的key-value抽象模型被广泛使用 用 Hadoop / MapReduce 实现并行化算法 如何验证MapReduce结果的正确性 hadoop mapreduce 程序的布署 MapReduce,Spark比较 |
| 第二天 | 上午 Hadoop的版本介绍 安装配置单机版Hadoop 在虚拟机中安装Hadoop集群 下午 HDFS命令行基本操作 (1) 检查和机器名是否正确 (2) 关闭防火墙 (3) 查看磁盘空间是否正常 (4) 检查目录是否正常 (5) 单独启动各个进程 Namenode的工作机制 (1) Hadoop读写文件时内部工作机制 (2). NameNode的主要职责 (3)、NameNode布式文件系统的整体运行状态是否正常等 (4). NameNode故障转移的解决方案 | |
| 第三天
| 上午 HDFS应用实战: 图片服务器 - 系统设计 应用的环境搭建 jsp + bootstrap 使用Hadoop Java API实现向HDFS写入文件 下午 使用Hadoop Java API实现读取HDFS中的文件 | |
|
第四天
| 上午 MapReduce的基本原理 1、Map-Reduce的逻辑过程 2、编写Map-Reduce程序 3、Map-Reduce数据流(data flow) 3.1、任务提交 3.2、任务初始化 3.3、任务分配 3.4、任务执行 3.4.1、Map的过程 3.4.2、Reduce的过程 3.5、任务结束 搭建MapReduce的java开发环境 操作步骤: 1.引用外部包 2.插件开发端口设置 使用MapReduce的java接口实现WordCount WordCount运算过程分析
| |
|
第五天
| 上午 1、使用MapReduce实现 2、数据去重 2.使用MapReduce实现数据排序,倒排索引 4、实际演练 下午 完成所有实验提交答辩 | |
| 培训环境 | Cloudera Hadoop 4 (Hadoop 2.0) 虚拟机 Liunx或者windows+cygwin
| |
网上预报名
微信扫描二维码,马上联系商家
1、微信扫描二维码
2、关注“求学快递网”公众号
3、点击给商家留言
当您发现本站有涉及个人的侵权内容时,建议您先尝试与当事人沟通解决问题。 如果您无法联系到当事人,您可通过此渠道提交举报诉求。
根据求学快递网侵权举报规范,您需要向我们提交您的个人信息,其中包括身份证明。如您确认已准备齐全,可点击下方按钮进入诉求提交页。
当您发现本站有涉及企业的侵权内容时,建议您先尝试与当事人沟通解决问题。如果您无法联系到当事人,您可通过此渠道提交举报诉求。
根据求学快递网侵权举报规范,您需要向我们提交您企业和个人的证明材料。如您确认已准备齐全,可点击下方按钮进入诉求提交页。
举报成功!
已经收到您的举报信息,我们会尽快核实并处理,感谢您的信任与帮助~