Flink部署

所处的位置不同，看到的风景和思考的问题也有所不同。——人民日报

Standalone模式Flink自带的

首先运行我们standalone的环境

安装

解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz(如果你两个模式都想试一下就这个压缩包,实际上你要真正搭建独立模式只需要flink-1.7.2后面不需要接hadoop27-scala_2.11的压缩包)，进入conf目录中。

1）修改 flink/conf/flink-conf.yaml 文件：

为了更好地看清图片内容,我复制出来这两行:
# The heap size for the TaskManager JVM
##整个TaskManager的内存大小
taskmanager.heap.size: 1024m    

下面是,这一个G的内存可以同时允许你同时并行运行多少个Task,每个task会占用一个插槽

# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
##插槽即可理解为流水槽,你的水从流水槽上流出去,这个slot就好比是两个木板上的流水槽,这个slot是TaskManager的
##TaskManager说白了就暂时是我们的worker节点,实际上来说你也可以看成是executor节点也可以.
##但是这里和saprk的standalone去类比的话这就矛盾了,因为flink的TaskManager在这里有相当于executor,也相当
##于worker.   spark的standalone模式中,一个worker下面可以有多个executor,每一个executor并行可以运行两个
##以上的任务吗?可以的. 所以我们spark独立模式理解起来有点难度.他是一个worker下面有一个executor,executor下面
##又可能会运行多个task,也可能只运行一个task.这对初学者不好理解.而这里我们的flink将他简化了,他把worker这
## 一层去掉了,worker这一层就是taskmanager,就还好比是executor一样.这个executor上到底运行了几个task是由
## slot来决定的.即由插槽来决定的. 这里的插槽设置为1,表示每一个TaskManager上有多少个slot.这里是有1个slot.这就意味着
##我这个taskmanager上只能同时运行一个任务.你如果想要增加我们的并行度,就必须修改插槽数量.
# taskmanager.numberOfTaskSlots: 1
# 修改为3个插槽,表示每一个TaskManager里面有三个插槽,这三个插槽可以同时允许运行三个并行度,这三个并行度可以是不一样的广告
taskmanager.numberOfTaskSlots: 3

# The parallelism used for programs that did not specify and other parallelism.

就只需要配置下面两个文件就可以了

2）修改 /conf/slave文件：

3）分发给另外两台机子：

4）启动：

访问http://localhost:8081可以对flink集群和任务进行监控管理

提交任务

赏

谢谢你请我吃糖果

支付宝

微信

• 本文作者： xubatian
• 本文链接： http://xubatian.cn/Flink部署/
• 版权声明： 本博客所有文章除特别声明外均为原创，采用 CC BY 4.0 CN协议 许可协议。转载请注明出处:https://www.xubatian.cn/