2018年Flink入门及实战视频教程

2018年最新Flink入门及实战视频教程，总三套视频

第一套目录

Flink视频教程(两套) 主要内容
1. Flink基本原理概述
2. Flink实战生产技术。
3.  Druid。
课程大纲：
第一课： Flink基本概念与部署
1. Flink 简介
2. 编程模型
3. 运行时概念
4. 应用部署与原理
a. 部署模式
b. On-Yarn 启动设置与原理
c. Job 启动设置与原理

第二课： DataStream
1. DataStreamContext环境
2. 数据源(DataSource)
  3. 转化(Transformation)
4. 数据Sink

第三课：Window & Time
    1. Window详情
a. 为什么要有Window
b. Window类型
2. Window API的使用
a. Window的三大组件
b. Time&watermark
c. 时间语义
d. 乱序问题处理WaterMark
e. AllowLateness正确设置与了解
f. Sideoutput在Window中的使用
3. Window的内部实现原理
a. Window的解决流程
b. Window中的状态存储
4. 生产环境中的Window使用遇到的少量问题
第四课： Connector
1. 基本Connnector
2. 自己设置Source 与 Sink
3. Kafka-connecotor
a. Kafka 简介
b. Kafka Consumer 与Sink 的正确使用方式
c. Kafka-Connector 内部机制与实现原理

第五课：状态管理与恢复机制
1. 基本概念
    2.  KeyState 基本类型及用法
a.  ValueState
b.  ListState
c.  ReduceState
d.  FoldState
e.  AggregatingState
3.  OperatorState基本用法
4.  Checkpoint
         a.  概念
    b. 开启checkpoint
        c.  基本原理
第六课： Metrics 与监控
1.  Metrics的种类
2.  Metrics的获取方式
a. Web Ui
b. Rest API
c. MetricReporter
3.  客户自己设置Metric指标方式
4.  监控和诊断:Metric和Druid 实时OLAP联合使用
a. Metric上报
b. Metric指标聚合
c. Metric的分类和格式定义
5. Druid查询和指标系统
a. Flink作业反压监控
b. Flink作业的推迟监控
c. 其余
6. Metric系统的内部实现
7. 生产环境中的案例分析 — 通过指标来排查应用问题

第七课： Flink应用案例详情
1. 数据清洗：map/flatmap等
2. 监控告警系统
a. 数据拉平
b. 基础窗口计算等
3. 线上经营系统
4. 风控系统
第八课： Druid基本概念与架构设计
1. Druid与OLAP VS Kylin、ES等
2. Druid与指标系统 VS 各种时序数据库
3. Druid特性
4. 基本架构:角色节点与基本职责
a.  角色行为
b. 角色暴露的API
5. 基本架构:外部依赖
a. MySQL数据结构
b. ZK数据结构
c. HDFS数据结构

第九课： Druid数据写入与查询
1. 数据流向与存储格式
a. 数据写入流程
b. 存储与索引格式
2. 实时数据写入
a. Firehose
b. Realtime Node
c. Index-Service原理详情
d. Tranquility原理详情
e. Kafka-index-service原理
3. 离线数据写入
a. Indexer
b. MR Indexer
4. 查询模式与查询类型详情
第十课： Druid实践详情
  1. 容错设计
2. 指标监控
  a. 基于Graphite搭建指标监控系统
b. 重要的指标项
3. 运维实践
a. 数据修复
b. 集群更新实践
c. Segment元数据管理
d. JVM调优
c. 资源隔离

第二套目录：

Flink入门及实战
讲述了Flink实时框架的基本操作使用以及案例实战开发。通过本课程的教学，使学生既能学习Flink的理论知识，也能掌握Flink的实战内容。为后期工作中的实时解决业务提供多一种技术选择。
本套课程基于Flink最新版本V1.6.1，基于java代码 scala代码讲解。
1：Flink基本原理及应用场景分析
2：Flink vs Storm vs SparkStreaming
3：Flink案例开发需求分析
4：滑动窗口单词计数-java代码实现
5：滑动窗口单词计数-scala代码实现
6：batch批解决-java代码实现
7：batch批解决-scala代码实现
8：Flink streaming和Batch代码层面的使用区别
9：Flink local集群安装以及集群代码提交执行
10：Flink standalone集群安装部署
11：Flink on yarn的两种方式
12：Flink on yarn内部实现
13：Flink standalone集群HA配置
14：如何处理集群启动失败的问题
15：Flink on yarn集群HA配置
16：Flink scala shell代码调试

Flink入门及实战(下)-课程安排
1：课程内容详情
2：DataStreamAPI之source讲解-(java代码)
3：DataStreamAPI之自己设置source-1-(java代码)
4：DataStreamAPI之自己设置source-2-(java代码)
5：DataStreamAPI之transformation-(java代码)
6：DataStreamAPI之partition-(java代码)
7：DataStreamAPI之sink-(java代码)
8：DataStreamAPI之source-(scala代码)
9：DataStreamAPI之transformation-(scala代码)
10：DataStreamAPI之partition-(scala代码)
11：DataStreamAPI之sink-(scala代码)
12：DataSetAPI之transformation-1-(java代码)
13：DataSetAPI之transformation-2-(java代码)
14：DataSetAPI之partition-(java代码)
15：DataSetAPI之transformation-1-(scala代码)
16：DataSetAPI之transformation-2-(scala代码)
17：TableApi简介 Flink支持的dataType和序列化
18：Flink Broadcast广播变量-(java代码)
19：Flink Broadcast广播变量-(scala代码)
20：Flink Accumulators-Counters-(java代码)
21：Flink Accumulators-Counters-(scala代码)
22：Flink Distributed Cache-(java scala代码)
23：Flink state之keyedState分析
24：Flink state之operatorState分析
25：Flink checkPoint分析
26：Flink state backend详细分析
27：Flink state backend实战演示
28：Flink Restart Strategies(重启策略)分析
29：Flink 从checkpoint恢复数据
30：Flink savePoint的使用详解
31：Flink window详解
32：Flink time详情
33：Flink watermark详情
34：Flink watermark处理乱序数据-1
35：Flink watermark处理乱序数据-2
36：Flink parallelism并行度分析
37：Flink UI界面详情
38：Flink kafka-connector分析
39：Flink kafka-connector代码操作-(java代码)
40：Flink kafka-connector代码操作-(scala代码)
41：Flink 生产环境配置详情
42：实战需求分析(数据清洗（实时ETL）)
43：数据清洗（实时ETL）-java代码实现-1
44：数据清洗（实时ETL）-java代码实现-2
45：数据清洗（实时ETL）-java代码提交集群运行
46：数据清洗（实时ETL）-把任务提交命令封装成脚本
47：数据清洗（实时ETL）-scala代码实现
48：实战需求分析(数据报表)
49：数据报表-java代码实现-1
50：数据报表-java代码实现-2
51：数据报表-es和kibana的安装
52：数据报表-运行任务
53：数据报表-执行脚本封装
54：数据报表-scala代码实现
55：项目代码地址