班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
坚持小班授课,为保证培训效果,增加互动环节,每期人数限3到5人。 |
上课时间和地点 |
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):即将开课,详情请咨询客服! |
实验设备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
质量保障 |
1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
课程大纲 |
互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据分析的决策模型和技术支持。
大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战,更好地管理和处理这些数据也将会获得意想不到的收获。
Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架,证明了在处理海量网页数据时该框架的优越性。在此基础上,Apache Hadoop开源项目开发团队,克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳,并孵化出众多子项目(如Hive,Zookeeper和Mahout等),日益形成一个易部署、易开发、功能齐全、性能优良的系统。在此基础上,以Berkley牵头设计的Spark/BDAS技术,实现了内存级别的分布式处理模式,使用户无需关注复杂的内部工作机制,无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统的部署与大数据的并行处理。
本课程从大数据挖掘分析技术实战的角度,结合理论和实践,全方位地介绍Mahout和 MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括:大数据挖掘及其背景,Mahout和 MLlib大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,以及与流挖掘和Docker技术的结合,分析了大数据挖掘前景分析。
本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。
本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。通过本课程学习,希望推动大数据分析挖掘项目开发上升到一个新水平。
培训目标
1, 全面了解大数据处理技术的相关知识。
2,学习Hadoop/Yarn/Spark的核心数据分析技术
3,深入学习Mahout/MLlib挖掘工具在大数据中的使用。
4,掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。
课程大纲
第一讲、大数据挖掘及其背景
1)数据挖掘定义
2)Hadoop相关技术
3)大数据挖掘知识点
第二讲、 MapReduce/DAG计算模式
1)分布式文件系统DFS
2)MapReduce计算模型介绍
3)使用MR进行算法设计
4)DAG及其算法设计
第三讲、 云挖掘工具Mahout/MLib
1)Hadoop中的Mahoutb介绍
2)Spark中的Mahout/MLib介绍
3)推荐系统及其Mahout实现方法
4)信息聚类及其MLlib实现方法
5)分类技术在Mahout/MLib中的实现方法
第四讲、 推荐系统及其应用开发
1)一个推荐系统的模型
2)基于内容的推荐
3)协同过滤
4)基于Mahout的电影推荐案例
第五讲、 分类技术及其应用
1)分类的定义
2)分类主要算法
3)Mahout分类过程
4)评估指标以及评测
5)贝叶斯算法新闻分类实例
第六讲、 聚类技术及其应用
1)聚类的定义
2)聚类的主要算法
3)K-Means、Canopy及其应用示例
4)Fuzzy K-Means、Dirichlet及其应用示例
5)基于MLlib的新闻聚类实例
第七讲、 关联规则和相似项发现
1)购物篮模型
2)Apriori算法
3)抄袭文档发现
4)近邻搜索的应用
第八讲、 流数据挖掘相关技术
1)流数据挖掘及分析
2)Storm和流数据处理模型
3)流处理中的数据抽样
4)流过滤和Bloom filter
第九讲、 云环境下大数据挖掘应用
1)与Hadoop/Yarn集群应用的协作
2)与Docker等其它云工具配合
3)大数据挖掘行业应用展望
课程主讲
由业界知名大数据专家亲自授课:
杨老师 主要研究网络信息分析以及云计算相关技术,长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。
课程对象
1,系统架构师、系统分析师、高级程序员、资深开发人员。
2,牵涉到大数据处理的数据中心运行、规划、设计负责人。
3,政府机关,金融保险、移动和互联网等大数据来源单位的负责人。
4,高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。
学员基础
1,对IT系统设计有一定的理论与实践经验。
2,数据仓库与数据挖掘处理有一定的基础知识。
3,对Hadoop/Yarn/Spark大数据技术有一定的了解。 |
|
|
|
|
|
|