由前文我们知道，StreamGraph 表示一个流任务的逻辑拓扑，可以用一个 DAG 来表示（代码实现上没有一个 DAG 结构），DAG 的顶点是 StreamNode，边是 StreamEdge，边包含了由哪个 StreamNode 依赖哪个 StreamNode。本文我们主要介绍一个 StreamGraph 是如何转换成一个 JobGraph。

一、JobGraph 概述

• JobGraph 将会在原来的基础上做相应的优化（主要是算子的 Chain 操作，Chain 在一起的算子将会在同一个 task 上运行，会极大减少 shuffle 的开销）
• JobGraph 用来由 JobClient 提交给 JobManager，是由顶点（JobVertex）、中间结果（IntermediateDataSet）和边（JobEdge）组成的 DAG 图
• JobGraph 定义作业级别的配置，而每个顶点和中间结果定义具体操作和中间数据的设置

当我们将编写的Flink任务提交到Flink集群后，Flink作业会被抽象成不同的图然后提交到集群上执行：

• StreamGraph：程序流图，最接近用户的程序本身
• JobGraph：抽象的程序流图会被切粉橙大小不同的作业放在集群的不同节点上执行
• ExecutionGraph：JobGraph图还不能被放在集群上执行，必须抽象成执行图才能执行。
• 物理执行图：集群上真正可以执行的作业

Flink程序的编写由三部分构成：Source-->transformaer-->sink,最后调用execute()方法触发Flink程序的执行。

• Flink技术手册
  • Flink 基础篇
    • 1、什么是Flink？描述一下
    • 2、能否详细解释一下其中的数据流、流批一体、容错能力等概念？
    • 3、Flink 和 Spark Streaming的区别？
      • 架构模型
      • 任务调度
      • 时间机制
      • 容错机制
    • 4、Flink的架构包含哪些？
    • 5、简单介绍一下技术架构
    • 6、详细介绍一下Flink的运行架构
    • 7、Flink的并行度介绍一下？
    • 8、Flink的并行度的怎么设置的？
    • 9、Flink编程模型了解不？
    • 10、Flink作业中的DataStream，Transformation介绍一下
    • 11、Flink的分区策略了解吗？
    • Flink中图的介绍
    • 12、描述一下Flink wordcount执行包含的步骤有哪些？
    • 13、Flink常用的算子有哪些？
  • Flink 核心篇
    • 14、Flink的四大基石包含哪些？
    • 15、说说Flink窗口，以及划分机制
    • 16、看你基本概念讲的还是很清楚的，那你介绍下Flink的窗口机制以及各组件之间是如何相互工作的
    • 17、讲一下Flink的Time概念
    • 18、那在API调用时，应该怎么使用？
    • 19、在流数据处理中，有没有遇到过数据延迟等问题，通过什么处理呢？
    • 20、WaterMark原理讲解一下？
    • 21、如果数据延迟非常严重呢？只使用WaterMark可以处理吗？那应该怎么解决？
    • 22、刚才提到State，那你简单说一下什么是State。
    • 23、Flink 状态包括哪些？
    • 24、Flink广播状态了解吗？
    • 25、Flink 状态接口包括哪些？
      • 状态操作接口
      • 状态访问接口
    • 26、Flink状态如何存储
    • 27、Flink 状态如何持久化？
    • 28、Flink 状态过期后如何清理？
    • 29、Flink 通过什么实现可靠的容错机制
    • 30、什么是Checkpoin检查点？
    • 31、什么是Savepoin保存点？
    • 32、什么是CheckpointCoordinator检查点协调器？
    • 33、Checkpoint中保存的是什么信息？
    • 34、当作业失败后，检查点如何恢复作业？
    • 35、当作业失败后，从保存点如何恢复作业？
    • 36、Flink如何实现轻量级异步分布式快照？
    • 37、什么是Barrier对齐？
    • 38、什么是Barrier不对齐？
    • 39、为什么要进行barrier对齐？不对齐到底行不行？
    • 40、Flink支持Exactly-Once语义，那什么是Exactly-Once？
    • 41、要实现Exactly-Once,需具备什么条件？
    • 42、什么是两阶段提交协议？
    • 43、Flink 如何保证 Exactly-Once 语义？
    • 44、对Flink 端到端 严格一次Exactly-Once 语义做个总结
    • 45、Flink广播机制了解吗？
    • 46、Flink反压了解吗？
    • 47、Flink反压的影响有哪些？
    • 48、Flink反压如何解决？
    • 49、Flink支持的数据类型有哪些？
    • 50、Flink如何进行序列和反序列化的？
    • 51、为什么Flink使用自主内存而不用JVM内存管理？
    • 52、那Flink自主内存是如何管理对象的？
    • 53、Flink内存模型介绍一下？
    • 54、Flink如何进行资源管理的？
  • 1、集群架构剖析
  • 2、Slot与资源管理
  • 3、应用执行
  • 03、Flink 源码篇
    • 55、FLink作业提交流程应该了解吧？
    • 56、FLink作业提交分为几种方式？
    • 57、FLink JobGraph是在什么时候生成的？
    • 58、那在jobGraph提交集群之前都经历哪些过程？
    • 59、看你提到PipeExecutor，它有哪些实现类？
    • 60、Local提交模式有啥特点，怎么实现的？
    • 61、远程提交模式都有哪些？
    • 62、Standalone模式简单介绍一下？
    • 63、yarn集群提交方式介绍一下？
    • 64、yarn - session模式特点？
    • 65、yarn - perJob模式特点？
    • 66、yarn - application模式特点？
    • 67、yarn - session 提交流程详细介绍一下？
    • 68、yarn - perjob 提交流程详细介绍一下？
    • 69、流图、作业图、执行图三者区别？
    • 70、流图介绍一下？
    • 71、作业图介绍一下？
    • 72、执行图介绍一下？
    • 73、Flink调度器的概念介绍一下？
    • 74、Flink调度行为包含几种？
    • 75、Flink调度模式包含几种？
    • 76、Flink调度策略包含几种？
    • 77、Flink作业生命周期包含哪些状态？
    • 78、Task的作业生命周期包含哪些状态？
    • 79、Flink的任务调度流程讲解一下？
    • 80、Flink的任务槽是什么意思？
    • 81、Flink 槽共享又是什么意思？
  • 04、Flink SQL篇
    • 82、Flink SQL有没有使用过？
    • 83、Flink被称作流批一体，那从哪个版本开始，真正实现流批一体的？
    • 84、Flink SQL 使用哪种解析器？
    • 85、Calcite主要功能包含哪些？
    • 86、Flink SQL 处理流程说一下？
    • 87、Flink SQL包含哪些优化规则？
    • 88、Flink SQL中涉及到哪些operation？
    • 89、Flink Hive有没有使用过？
    • 90、Flink与Hive集成时都做了哪些操作？
    • 91、HiveCatalog类包含哪些方法？
    • 92、Flink SQL1.11新增了实时数仓功能，介绍一下？
    • 93、Flink -Hive实时写数据介绍下？
    • 94、Flink -Hive实时读数据介绍下？
    • 95、Flink -Hive实时写数据时，如何保证已经写入分区的数据何时才能对下游可见呢？
    • 96、源码中分区提交的PartitionCommitTrigger介绍一下？
    • 97、PartitionTimeCommitTigger 是如何知道该提交哪些分区的呢？（源码分析）
    • 98、如何保证已经写入分区的数据对下游可见的标志问题（源码分析）
    • 99、Flink SQL CEP有没有接触过？
    • 100、Flink SQL CEP了解的参数介绍一下？
    • 101、编写一个CEP SQL案例，如银行卡盗刷
    • 102、Flink CDC了解吗？什么是 Flink SQL CDC Connectors？
    • 103、Flink CDC原理介绍一下
    • 104、通过CDC设计一种Flink SQL 采集+计算+传输(ETL)一体化的实时数仓
    • 105、Flink SQL CDC如何实现一致性保障（源码分析）
    • 106、Flink SQL GateWay了解吗？
    • 107、Flink SQL GateWay创建会话讲解一下？
    • 108、Flink SQL GateWay如何处理并发请求？多个提交怎么处理？
    • 109、如何维护多个SQL之间的关联性？
    • 110、sql字符串如何提交到集群成为代码？