Flink on yarn搭建及其俩种启动方式

【Flink on yarn搭建及其俩种启动方式】
文章目录

关闭独立集群
配置HADOOP_CONF_DIR
- 判断是否生效
上传依赖
启动方式

flink on yarn只需要在一个节点上部署即可
关闭独立集群 stop-cluster.sh
配置HADOOP_CONF_DIR vim /etc/profile export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/ 注意：这里前面的export必须得加上，因为加上就是适用于全局，之前我们不加是因为要在下面的PATH里面引用

最后大家别忘记还需要source一下
判断是否生效只需要echo一下就好了
echo $HADOOP_CONF_DIR
上传依赖将hadoop依赖jar上传到flink lib目录
flink-shaded-hadoop-2-uber-2.6.5-10.0
其实，到这里flink on yarn已经完成了，比较简单，就俩步，大家可以试一下
启动方式 1、yarn-session 在yarn里面启动一个flink集群 jobManager(ApplicationMaster)
yarn-session 是所有任务共享同一个jobmanager
先启动hadoop
yarn-session.sh -jm 1024m -tm 1096m

提交任务任务提交的是偶根据并行度动态申请taskmanager	1、在web页面提交任务	2、同flink命令提交任务	flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar3、rpc方式提交任务关闭yarn-session yarn application -kill application_1647657435495_0001

?
2、直接提交任务到yarn 每一个任务都会有一个jobManager
flink run -m yarn-cluster -yjm 1024m -ytm 1096m -c com.shujia.flink.core.Demo1WordCount flink-1.0.jar

杀掉yarn上的任务yarn application -kill application_1599820991153_0005查看日志yarn logs -applicationId application_1647657435495_0002

yarn-session先在yarn中启动一个jobMansager ,所有的任务共享一个jobmanager (提交任务更快，任务之间共享jobmanager ，相互有影响)
直接提交任务模型，为每一个任务启动一个joibmanager （每一个任务独立jobmanager , 任务运行稳定）