flink on yarn 搭建完成之后提交官方jar包测试,在提交第一个任务的时候是OK的,但是在提交第二个任务的时候,任务一直处于accept状态 。然后就开始查原因
log日志是正常的,flink后端的日志也是正常的
一开始百度查看各种文章
- zookeeper未正常启动
- flink-conf.yaml中的cluster_id配置未注释
yarn application -status $app_id 这里问题就出现了,发现是队列的资源不足导致了,于是查看了相关官方文档,发现是
etc/hadoop/capacity-scheduler.xml里面的一个配置出现了问题yarn.scheduler.capacity.maximum-am-resource-percent0.1 Maximum percent of resources in the cluster which can be used to runapplication masters i.e. controls number of concurrent runningapplications. 具体的配置可以在官网中查看,这里附上相关链接https://hadoop.apache.org/docs/r3.2.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
这里意思是集群中可用于运行应用程序主机的最大资源百分比 - 控制并发活动应用程序的数量 。每个队列的限制与其队列容量和用户限制成正比 。官方文档默认是每个队列最大使用10%的资源,把这里的0.1按需更改最大使用的资源数就行了
完成!!!
- 春季老年人吃什么养肝?土豆、米饭换着吃
- 三八妇女节节日祝福分享 三八妇女节节日语录
- 老人谨慎!选好你的“第三只脚”
- 校方进行了深刻的反思 青岛一大学生坠亡校方整改校规
- 脸皮厚的人长寿!有这特征的老人最长寿
- 长寿秘诀:记住这10大妙招 100%增寿
- 春季老年人心血管病高发 3条保命要诀
- 眼睛花不花要看四十八 老年人怎样延缓老花眼
- 香槟然能防治老年痴呆症? 一天三杯它人到90不痴呆
- 老人手抖的原因 为什么老人手会抖
