培训对象
本次Hadoop培训对象针对各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
学员基础
了解Java语言、Linux系统;
课程大纲
大数据架构概述
1.1大数据层级架构及各层软件设计要求,包括数据收集、存储、计算框、应用
1.2 Hadoop生态系统概述以及版本演化,并给出版本选择建议。
1.3 Spark生态系统概述及其特点,并与Hadoop对比
数据收集系统Flume与Sqoop
2.1使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘
大数据存储系统HDFS与HBase
3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。
3.2 HBase原理,基本架构与案例分析
3.3 HBase应用场景、原理和架构,典型应用案例(互联网、银行)
集群资源管理与调度系统
4.1 介绍YARN应用场景、基本架构与资源调度
Zookeeper部署及典型应用
5.1 介绍Zookeeper是什么,基本原理及在应用
大数据计算平台
介绍主流的三大类大数据计算框架,分别是批处理、交互式计算和流式计算框架,并选取当下主流的开源实现进行介绍。
6.1 批处理计算框架
6.1.1 MapReduce2.0基本原理与架构、程序编写(使用java、C++、php语言)
6.1.2 数据分析系统Hive与Pig应用与比较,如何使用其中的海量数据
6.1.3 Spark计算框架,背景及应用案例
6.2 交互式计算框架,Impala和presto应用场景,基本架构和典型应用案例
6.3 流式/实时计算框架,storm、SparkStreaming基本架构特点,及应用案例
数据挖掘与机器学习库
7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。