班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
坚持小班授课,为保证培训效果,增加互动环节,每期人数限3到5人。 |
上课时间和地点 |
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):即将开课,详情请咨询客服! |
实验设备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
质量保障 |
1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
课程大纲 |
|
- Apache NiFi大数据数据处理和分发系统培训实战
课程信息
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
- 培训特色
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
- 目标收益
NiFi这个项目在2015年7月成功成为Apache开源社区的顶级项目,NiFi之前是在美国国家安全局使用了8年的一个可视化,可定制的数据集成产品,2014年贡献给了Apache开源社区。我们认为NiFi的出现填补的大数据集成领域的空白, 它不仅提供了可视化的工具实现大数据环境下不同系统之间进行数据移动和互联互通如SQL,HDFS,Kafka, HBASE, Solr,HTTP(s)、(s)FTP 而且还可以以可视化的方式进行各种数据格式的转换,json,xml,avro等。NiFi的出现使得大数据环境下的数据移动变得简单、高效、安全、可视 化,大大方便了业务和开发人员。
- 培训对象
- 大数据开发团队、大数据运维团队、数据采集和ETL人员、数据治理和管理人员
- 课程大纲
- 主题 内容
模块 1:Nifi原理和架构
- Nifi的功能概述
Nifi原理和架构
Nifi基本模块介绍
Nifi Groups、Processor、queue和connector模块介绍
Nifi toolbar 界面演示
- 模块2:Nifi安装和配置
- Nifi单机版安装
Nifi分布式安装
Nifi slaves节点配置
数据丢失容错和保证交付
低延迟和高吞吐量
动态优先级
流可以在运行时修改
- 模块3:GUI 操作介绍
- 无缝体验设计、控制和监视
processor的create、stop、start、restart、delete等操作
- 模块4:Nifi自带处理器介绍
- Processor的原理和功能
Kafka Processor介绍和实战
JMS Processor介绍和实战
Hbase、Cassandera、redis Processor介绍和实战
Hdfs Processor、spark Streaming实战
JDBC Processor介绍和实战
FTP、Http、XML、Json Processor介绍和实战
- 模块5:创建Nifi数据流
- 创建发送/接收目录
getFile和putFile Processor创建
创建复制文件从发送放到接收
创建Queue队列
- 模块6:创建高级数据流
- 自定义文件名
添加自定义属性
添加正则表达式
实现Path过滤规则
- 模块7:Nifi安全
- 创建用户、用户组、角色
SSL,SSH,HTTPS加密认证
可插拔的基于角色的验证/授权
基于webUI的SLA认证授权
- 模块8:创建Nifi处理器
- 实现一个Kafka、JMS到HDFS的流程设计
查看运行日志
查看监控
- 模块9:Nifi集群配置和管理
- Nifi集群添加节点
删除节点
Nifi性能优化
Slaves节点的负载均衡配置
制定特定的Processor到特定的node节点
集群动态负载均衡配置
- 模块10:用户自定义处理器
- eclipse工程创建
实现一个FilterFileProcessor功能
编译&添加到Nifi的lib下面
创建用户自定义的FilterFile处理器
- 模块11:Nifi实战
- Nifi在互联网的使用实战
Nifi在某大型商业银行实战案例分享
3.IAAS存储选型及规划
四:云数据中心运维
1. 云数据中心面临的主要问题
2. 云数据中心运维平台总体架构。
3. 云数据中心监控
4. 云数据中心资本管理
5. IT服务管理
五:云数据中心基础设施规划与建设
1. 土建和施工
2. 绿色机房的规划
3. 绿色机房建设要点
六:灾备解决方案的规划与建设
1. 灾备的概念
2. 灾备的标准规范
3. 灾备的建设要点
七:传统数据中心的改造和整合
1. 架构治理的框架
2. 运营模型
3. 传统数据中心改造和整合
八:云数据中心安全
1. 从“斯诺登事件”看安全
2. 云数据中心安全措施
3. 安全机制与应急方案
九:云数据中心展望
1. 标准化数据中心
2. 绿色节能模式的深入应用。
3. 大虚拟化时代的到来
4. 云数据中心在大数据方向的应用
7.2 使用ansible-vault
7.3 典型应用场景
第8章 Ansible与云计算
8.1 了解云平台管理流程
8.2 Ansible AWS和OpenStack
8.3 Ansible与Docker
8.4 Ansible Jenkins
第9章 部署Zabbix组件
9.1 了解部署流程
9.2 编写业务roles
9.3 安装部署
第10章 部署HAProxy + LAMP架构
10.1 了解整体架构流程
10.2 编写业务roles
10.3 配置部署以及测试
10.4 扩容与维护
第11章 大数据环境的应用实战
11.1 某运营商大数据环境
11.2 准备大数据集群环境
11.3 部署Hadoop集群
11.4 部署后Hadoop初始化与验证
第12章 Ansible管理Windows系统
12.1 Ansible管理Windows工作原理
12.2 搭建Ansible管理工作组Windows环境
12.3 搭建Ansible管理活动目录Windows环境
12.4 支持管理Windows模块
12.5 常用Windows管理实例
第13章 网络自动化管理的应用实战
13.1 网络管理也自动化了
13.2 Ansible官方集成的网络角色
13.3 生成配置文件及部署
13.4 通过SNMP方式配置网络
13.5 网络设备厂商提供接口实现自动化
第14章 Ansible API
14.1 runner API
14.2 playbook API
14.3 使用Flask封装Ansible API
14.4 使用Celery实现任务异步化
14.5 使用jQuery Ajax异步请求
"
|