曙海教育集团
全国报名免费热线：4008699035 微信：shuhaipeixun
或15921673576（微信同号） QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
 
     班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
         坚持小班授课，为保证培训效果，增加互动环节，每期人数限3到5人。
     上课时间和地点
  上课地点：【上海】：同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】：电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】：北京中山学院/福鑫大楼 【南京分部】：金港大厦(和燕路) 【武汉分部】：佳源大厦（高新二路） 【成都分部】：领馆区1号（中和大道） 【沈阳分部】：沈阳理工大学/六宅臻品 【郑州分部】：郑州大学/锦华大厦 【石家庄分部】：河北科技大学/瑞景大厦 【广州分部】：广粮大厦 【西安分部】：协同大厦
最近开课时间(周末班/连续班/晚班）：即将开课，详情请咨询客服！
     实验设备
  　    ☆资深工程师授课
        
        ☆注重质量 ☆边讲边练
        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
     质量保障
 

        1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
        2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
        3、培训合格学员可享受免费推荐就业机会。
 
课程大纲
   
 
 
一、Scala编程详解： 
Spark的前世今生
课程介绍、特色与价值
Scala编程详解：基础语法
-Scala编程详解：条件控制与循环
-Scala编程详解：函数入门
Scala编程详解：函数入门之默认参数和带名参数
Scala编程详解：函数入门之变长参数
Scala编程详解：函数入门之过程、lazy值和异常
Scala编程详解：数组操作之Array、ArrayBuffer以及遍历数组
Scala编程详解：数组操作之数组转换
Scala编程详解：Map与Tuple
Scala编程详解：面向对象编程之类
Scala编程详解：面向对象编程之对象
Scala编程详解：面向对象编程之继承
Scala编程详解：面向对象编程之Trait
Scala编程详解：函数式编程
Scala编程详解：函数式编程之集合操作
Scala编程详解：模式匹配
Scala编程详解：类型参数
Scala编程详解：隐式转换与隐式参数
Scala编程详解：Actor入门
 
二、课程环境搭建： 
课程环境搭建：CentOS 6.5集群搭建
课程环境搭建：Hadoop 2.4.1集群搭建
课程环境搭建：Hive 0.13搭建
-课程环境搭建：ZooKeeper 3.4.5集群搭建
课程环境搭建：kafka_2.9.2-0.8.1集群搭建
-课程环境搭建：Spark 1.3.0集群搭建
 
三、Spark核心编程：
Spark核心编程：Spark基本工作原理与RDD
Spark核心编程：使用Java、Scala和spark-shell开发wordcount程序
Spark核心编程：wordcount程序原理深度剖析
Spark核心编程：Spark架构原理
Spark核心编程：创建RDD实战（集合、本地文件、HDFS文件）
Spark核心编程：操作RDD实战（transformation和action案例实战）
Spark核心编程：transformation操作开发案例实战
Spark核心编程：action操作开发案例实战
Spark核心编程：RDD持久化详解
Spark核心编程：共享变量（Broadcast Variable和Accumulator）
Spark核心编程：高级编程之基于排序机制的wordcount程序
Spark核心编程：高级编程之二次排序实战
Spark核心编程：高级编程之topn与分组取topn实战
 
四、Spark内核源码深度剖析：
Spark内核源码深度剖析：Spark内核架构深度剖析
Spark内核源码深度剖析：宽依赖与窄依赖深度剖析
Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析
Spark内核源码深度剖析：SparkContext初始化原理剖析与源码分析
Spark内核源码深度剖析：Master主备切换机制原理剖析与源码分析
Spark内核源码深度剖析：Master注册机制原理剖析与源码分析
Spark内核源码深度剖析：Master状态改变处理机制原理剖析与源码分析
Spark内核源码深度剖析：Master资源调度算法原理剖析与源码分析
-Spark内核源码深度剖析：Worker原理剖析与源码分析 
Spark内核源码深度剖析：Job触发流程原理剖析与源码分析
Spark内核源码深度剖析：DAGScheduler原理剖析与源码分析（stage划分算法与task最佳位置算法）
Spark内核源码深度剖析：TaskScheduler原理剖析与源码分析（task分配算法）
Spark内核源码深度剖析：Executor原理剖析与源码分析
Spark内核源码深度剖析：Task原理剖析与源码分析
Spark内核源码深度剖析：Shuffle原理剖析与源码分析（普通Shuffle与优化后的Shuffle）
Spark内核源码深度剖析：BlockManager原理剖析与源码分析（Spark底层存储机制）
Spark内核源码深度剖析：CacheManager原理剖析与源码分析
Spark内核源码深度剖析：Checkpoint原理剖析与源码分析
 
五、Spark性能优化：
Spark性能优化：性能优化概览
Spark性能优化：诊断内存的消耗
Spark性能优化：高性能序列化类库
Spark性能优化：优化数据结构
Spark性能优化：对多次使用的RDD进行持久化或Checkpoint
Spark性能优化：使用序列化的持久化级别
Spark性能优化：Java虚拟机垃圾回收调优
Spark性能优化：提高并行度
Spark性能优化：广播共享数据
Spark性能优化：数据本地化
Spark性能优化：reduceByKey和groupByKey
Spark性能优化：shuffle性能优化
 
六、Spark SQL：
课程环境搭建：Spark 1.5.1新版本特性、源码编译、集群搭建
Spark SQL：前世今生
Spark SQL：DataFrame的使用
Spark SQL：使用反射方式将RDD转换为DataFrame
Spark SQL：使用编程方式将RDD转换为DataFrame
Spark SQL：数据源之通用的load和save操作
Spark SQL：Parquet数据源之使用编程方式加载数据
-Spark SQL：Parquet数据源之自动分区推断
Spark SQL：Parquet数据源之合并元数据
Spark SQL：JSON数据源复杂综合案例实战
Spark SQL：Hive数据源复杂综合案例实战
Spark SQL：JDBC数据源复杂综合案例实战
Spark SQL：内置函数以及每日uv和销售额统计案例实战
Spark SQL：开窗函数以及top3销售额统计案例实战
Spark SQL：UDF自定义函数实战
Spark SQL：UDAF自定义聚合函数实战
Spark SQL：工作原理剖析以及性能优化
Spark SQL：与Spark Core整合之每日top3热点搜索词统计案例实战
Spark SQL：核心源码深度剖析（DataFrame lazy特性、Optimizer优化策略等）
-Spark SQL：延伸知识之Hive On Spark
 
七、Spark Streaming：
-Spark Streaming：大数据实时计算介绍
Spark Streaming：DStream以及基本工作原理
Spark Streaming：与Storm的对比分析
Spark Streaming：实时wordcount程序开发
Spark Streaming：StreamingContext详解
Spark Streaming：输入DStream和Receiver详解
Spark Streaming：输入DStream之基础数据源以及基于HDFS的实时wordcount案例实战
Spark Streaming：输入DStream之Kafka数据源实战（基于Receiver的方式）
Spark Streaming：输入DStream之Kafka数据源实战（基于Direct的方式）
Spark Streaming：DStream的transformation操作概览
Spark Streaming：updateStateByKey以及基于缓存的实时wordcount案例实战
Spark Streaming：transform以及广告计费日志实时黑名单过滤案例实战
Spark Streaming：window滑动窗口以及热点搜索词滑动统计案例实战
Spark Streaming：DStream的output操作以及foreachRDD性能优化详解
Spark Streaming：与Spark SQL结合使用之top3热门商品实时统计案例实战
Spark Streaming：缓存与持久化机制详解
Spark Streaming：Checkpoint机制详解（Driver高可靠方案详解）
Spark Streaming：部署、升级和监控实时应用程序
Spark Streaming：容错机制以及事务语义详解
Spark Streaming：架构原理深度剖析
Spark Streaming：StreamingContext初始化与Receiver启动原理剖析与源码分析
Spark Streaming：数据接收原理剖析与源码分析
Spark Streaming：数据处理原理剖析与源码分析（block与batch关系透彻解析）
Spark Streaming：性能调优详解
讲-课程总结（学到了什么？达到了什么水平？）
 
Spark开发进阶(升级内容！)
 
一、Scala编程进阶： 
Scala编程进阶：Scaladoc的使用
Scala编程进阶：跳出循环语句的3种方法
Scala编程进阶：多维数组、Java数组与Scala数组的隐式转换
Scala编程进阶：Tuple拉链操作、Java Map与Scala Map的隐式转换
Scala编程进阶：扩大内部类作用域的2种方法、内部类获取外部类引用
Scala编程进阶：package与import实战详解
Scala编程进阶：重写field的提前定义、Scala继承层级、对象相等性
Scala编程进阶：文件操作实战详解
Scala编程进阶：偏函数实战详解
Scala编程进阶：执行外部命令
Scala编程进阶：正则表达式支持
Scala编程进阶：提取器实战详解
Scala编程进阶：样例类的提取器实战详解
Scala编程进阶：只有一个参数的提取器
Scala编程进阶：注解实战详解
Scala编程进阶：常用注解介绍
Scala编程进阶：XML基础操作实战详解
Scala编程进阶：XML中嵌入scala代码
Scala编程进阶：XML修改元素实战详解
Scala编程进阶：XML加载和写入外部文档
Scala编程进阶：集合元素操作
Scala编程进阶：集合的常用操作方法
Scala编程进阶：map、flatMap、collect、foreach实战详解
Scala编程进阶：reduce和fold实战详解
 
二、Spark核心编程进阶： 
环境搭建-CentOS 6.4虚拟机安装
环境搭建-Hadoop 2.5伪分布式集群搭建
环境搭建-Spark 1.5伪分布式集群搭建
第一次课程升级大纲介绍以及要点说明
Spark核心编程进阶-Spark集群架构概览
Spark核心编程进阶-Spark集群架构的几点特别说明
Spark核心编程进阶-Spark的核心术语讲解
Spark核心编程进阶-Spark Standalone集群架构
Spark核心编程进阶-单独启动master和worker脚本详解
-Spark核心编程进阶-实验：单独启动master和worker进程以及启动日志查看
Spark核心编程进阶-worker节点配置以及spark-evn.sh参数详解
Spark核心编程进阶-实验：local模式提交spark作业
Spark核心编程进阶-实验：standalone client模式提交spark作业
Spark核心编程进阶-实验：standalone cluster模式提交spark作业
Spark核心编程进阶-standalone模式下的多作业资源调度
Spark核心编程进阶-standalone模式下的作业监控与日志记录
Spark核心编程进阶-实验：运行中作业监控以及手工打印日志
Spark核心编程进阶-yarn-client模式原理讲解
Spark核心编程进阶-yarn-cluster模式原理讲解
Spark核心编程进阶-实验：yarn-client模式提交spark作业
Spark核心编程进阶-yarn模式下日志查看详解
Spark核心编程进阶-yarn模式相关参数详解
-Spark核心编程进阶-spark工程打包以及spark-submit详解
Spark核心编程进阶-spark-submit示例以及基础参数讲解
Spark核心编程进阶-实验：spark-submit简单版本提交spark作业
Spark核心编程进阶-实验：spark-submit给main类传递参数
Spark核心编程进阶-spark-submit多个示例以及常用参数详解
Spark核心编程进阶-SparkConf、spark-submit以及spark-defaults.conf
Spark核心编程进阶-spark-submit配置第三方依赖
-Spark核心编程进阶-spark算子的闭包原理详解
Spark核心编程进阶-实验：对闭包变量进行累加操作的无效现象
Spark核心编程进阶-实验：在算子内打印数据的无法看到现象
Spark核心编程进阶-mapPartitions以及学生成绩查询案例
Spark核心编程进阶-mapPartitionsWithIndex以开学分班案例
Spark核心编程进阶-sample以及公司年会抽奖案例
Spark核心编程进阶-union以及公司部门合并案例
Spark核心编程进阶-intersection以及公司跨多项目人员查询案例
Spark核心编程进阶-distinct以及网站uv统计案例
Spark核心编程进阶-aggregateByKey以及单词计数案例
Spark核心编程进阶-cartesian以及服装搭配案例
Spark核心编程进阶-coalesce以及公司部门整合案例
Spark核心编程进阶-repartition以及公司新增部门案例
-Spark核心编程进阶-takeSampled以及公司年会抽奖案例
Spark核心编程进阶-shuffle操作原理详解
Spark核心编程进阶-shuffle操作过程中进行数据排序
第Spark核心编程进阶-会触发shuffle操作的算子
Spark核心编程进阶-shuffle操作对性能消耗的原理详解
Spark核心编程进阶-shuffle操作所有相关参数详解以及性能调优
Spark核心编程进阶-综合案例1：移动端app访问流量日志分析
Spark核心编程进阶-综合案例1：日志文件格式分析
Spark核心编程进阶-综合案例1：读取日志文件并创建RDD
Spark核心编程进阶-综合案例1：创建自定义的可序列化类
Spark核心编程进阶-综合案例1：将RDD映射为key-value格式
Spark核心编程进阶-综合案例1：基于deviceID进行聚合操作
Spark核心编程进阶-综合案例1：自定义二次排序key类
Spark核心编程进阶-综合案例1：将二次排序key映射为RDD的key
Spark核心编程进阶-综合案例1：执行二次排序以及获取top10数据
Spark核心编程进阶-综合案例1：程序运行测试以及代码调试
Spark核心编程进阶-部署第二台CentOS机器
Spark核心编程进阶-部署第二个Hadoop节点
Spark核心编程进阶-将第二个Hadoop节点动态加入集群
Spark核心编程进阶-使用yarn-client和yarn-cluster提交spark作业
 
三、Spark内核原理进阶： 
Spark内核原理进阶-union算子内部实现原理剖析
Spark内核原理进阶-groupByKey算子内部实现原理剖析
-Spark内核原理进阶-reduceByKey算子内部实现原理剖析
Spark内核原理进阶-distinct算子内部实现原理剖析
Spark内核原理进阶-cogroup算子内部实现原理剖析
Spark内核原理进阶-intersection算子内部实现原理剖析
Spark内核原理进阶-join算子内部实现原理剖析
Spark内核原理进阶-sortByKey算子内部实现原理剖析
Spark内核原理进阶-cartesian算子内部实现原理剖析
Spark内核原理进阶-coalesce算子内部实现原理剖析
Spark内核原理进阶-repartition算子内部实现原理剖析
 
四、Spark SQL实战开发进阶： 
Spark SQL实战开发进阶-Hive 0.13安装与测试
Spark SQL实战开发进阶-Thrift JDBC、ODBC Server
Spark SQL实战开发进阶-CLI命令行使用
Spark SQL实战开发进阶-综合案例2：新闻网站关键指标离线统计
Spark SQL实战开发进阶-综合案例2：页面pv统计以及排序和企业级项目开发流程说明
Spark SQL实战开发进阶-综合案例2：页面uv统计以及排序和count(distinct) bug说明
Spark SQL实战开发进阶-综合案例2：新用户注册比例统计
-Spark SQL实战开发进阶-综合案例2：用户跳出率统计
Spark SQL实战开发进阶-综合案例2：版块热度排行榜统计
Spark SQL实战开发进阶-综合案例2：测试与调试
 
五、Spark Streaming实战开发进阶： 
Spark Streaming实战开发进阶-flume安装
Spark Streaming实战开发进阶-接收flume实时数据流-flume风格的基于push的方式
Spark Streaming实战开发进阶-接收flume实时数据流-自定义sink的基于poll的方式
Spark Streaming实战开发进阶-高阶技术之自定义Receiver
Spark Streaming实战开发进阶-kafka安装
Spark Streaming实战开发进阶-综合案例3：新闻网站关键指标实时统计
Spark Streaming实战开发进阶-综合案例3：页面pv实时统计
Spark Streaming实战开发进阶-综合案例3：页面uv实时统计
Spark Streaming实战开发进阶-综合案例3：注册用户数实时统计
Spark Streaming实战开发进阶-综合案例3：用户跳出量实时统计
Spark Streaming实战开发进阶-综合案例3：版块pv实时统计
 
六、Spark运维管理进阶： 
Spark运维管理进阶-基于ZooKeeper实现HA高可用性以及自动主备切换
Spark运维管理进阶-实验：基于ZooKeeper实现HA高可用性以及自动主备切换
Spark运维管理进阶-基于文件系统实现HA高可用性以及手动主备切换
Spark运维管理进阶-实验：基于文件系统实现HA高可用性以及手动主备切换
Spark运维管理进阶-作业监控-实验：通过Spark Web UI进行作业监控
Spark运维管理进阶-作业监控-实验：standalone模式下查看历史作业的Web UI
Spark运维管理进阶-作业监控-实验：启动HistoryServer查看历史作业的Web UI
Spark运维管理进阶-作业监控-实验：使用curl+REST API进行作业监控
Spark运维管理进阶-作业监控-实验：Spark Metrics系统以及自定义Metrics Sink
Spark运维管理进阶-作业资源调度-静态资源分配原理
Spark运维管理进阶-作业资源调度-动态资源分配原理
Spark运维管理进阶-作业资源调度-实验：standalone模式下使用动态资源分配
Spark运维管理进阶-作业资源调度-实验：yarn模式下使用动态资源分配
Spark运维管理进阶-作业资源调度-多个job资源调度原理
Spark运维管理进阶-作业资源调度-Fair Scheduler使用详解
 

Spark2.0(升级内容！)

 

七、Spark 2.0深入浅出
Spark 2.0-新特性介绍
Spark 2.0-新特性介绍-易用性：标准化SQL支持以及更合理的API
Spark 2.0-新特性介绍-高性能：让Spark作为编译器来运行
Spark 2.0-新特性介绍-智能化：Structured Streaming介绍
Spark 2.0-新特性介绍-Spark 1.x的Volcano Iterator Model技术缺陷分析
Spark 2.0-新特性介绍-whole-stage code generation技术和vectorization技术
Spark 2.0-Spark 2.x与1.x对比以及分析、学习建议以及使用建议
Spark 2.0-课程环境搭建：虚拟机、CentOS、Hadoop、Spark等
Spark 2.0-开发环境搭建：Eclipse+Maven+Scala+Spark
Spark 2.0-SparkSession、Dataframe、Dataset开发入门
Spark 2.0-Dataset开发详解-初步体验untypd操作案例：计算部门平均年龄与薪资
Spark 2.0-Dataset开发详解-action操作：collect、count、foreach、reduce等
Spark 2.0-Dataset开发详解-基础操作：持久化、临时视图、ds与df互转换、写数据等
Spark 2.0-Dataset开发详解-typed操作：coalesce、repartition
Spark 2.0-Dataset开发详解-typed操作：distinct、dropDuplicates
Spark 2.0-Dataset开发详解-typed操作：except、filter、intersect
Spark 2.0-Dataset开发详解-typed操作：map、flatMap、mapPartitions
Spark 2.0-Dataset开发详解-typed操作：joinWith
Spark 2.0-Dataset开发详解-typed操作：sort
Spark 2.0-Dataset开发详解-typed操作：randomSplit、sample
Spark 2.0-Dataset开发详解-untyped操作：select、where、groupBy、agg、col、join
Spark 2.0-Dataset开发详解-聚合函数：avg、sum、max、min、count、countDistinct
Spark 2.0-Dataset开发详解-聚合函数：collect_list、collect_set
Spark 2.0-Dataset开发详解-其他常用函数
Spark 2.0-Structured Streaming：深入浅出的介绍
Spark 2.0-Structured Streaming：wordcount入门案例
Spark 2.0-Structured Streaming：编程模型
Spark 2.0-Structured Streaming：创建流式的dataset和dataframe
Spark 2.0-Structured Streaming：对流式的dataset和dataframe执行计算操作
Spark 2.0-Structured Streaming：output mode、sink以及foreach sink详解
Spark 2.0-Structured Streaming：管理streaming query
-Spark 2.0-Structured Streaming：基于checkpoint的容错机制
Spark面试、简历中的项目编写以及实际生产环境的集群和资源配置等

 
 

        Troubleshooting Java Applications
                Classpath Errors
                Class Loaders
                Common Java Errors
        Troubleshooting Servers
                Native Libraries
                Threading Architecture
                Work Managers
                Deadlocks
                Overload Protection
                Deployment Problems
        Troubleshooting JDBC
                Data Source Management
                Diagnostics
                Debug Flags
                Connectivity Problems
                Connection Leaks
                Database Availability
        Troubleshooting JMS
                Management
                MBean Hierarchy
                Message Logging
                Diagnostics
                Debug Flags
                Overload Protection
                Lost Messages
                Duplicate Messages
        Troubleshooting Security
                SSL Internals
                Keystore Management
                Debug Flags
                Common SSL Problems
                Certificate Validation
                Embedded LDAP
                Security Audit
                Common LDAP Problems
        Troubleshooting Node Manager
                Internals
                Security
                Common Issues
        Troubleshooting Clusters
                Plug-in Configuration
                OHS Overview
                Plug-in Connectivity
                Plug-in Diagnostics
                Unicast Communication
                Replication Debug Flags
                Typical Replication Issues
热线:4008699035 手机:15921673576( 微信同号)
 备案号：沪ICP备08026168号 .(2014年7月11).....................
友情链接：Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期班培训班系列课程培训机构 长期课程列表班实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期班培训班系列课程培训机构 长期课程列表班实践课程高级课程学校培训机构周末班 曙海 教育 企业 学院 培训课程 系列班 级 长期课程列表班实践课程高级课程学校培训机构周末班 短期班培训班系列课程培训机构 曙海教育企业学院培训课程 系列班级