×

Hadoop

大数据Hadoop(二十九):​​​​​​​关于YARN常用参数设置

Lanson Lanson 发表于2022-03-05 12:08:53 浏览646 评论0

抢沙发发表评论

关于yarn常用参数设置

设置container分配最小内存

yarn.scheduler.minimum-allocation-mb 1024  

给应用程序container分配的最小内存


设置container分配最大内存

yarn.scheduler.maximum-allocation-mb 8192 

给应用程序container分配的最大内存


设置每个container的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1

每个container默认给分配的最小的虚拟内核个数


设置每个container的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32 

每个container可以分配的最大的虚拟内核的个数


设置NodeManager可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager 

可以分配的最大内存大小,默认8192Mb


定义每台机器的内存使用大小

yarn.nodemanager.resource.memory-mb 8192


定义交换区空间可以使用的大小

交换区空间就是讲一块硬盘拿出来做内存使用,这里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio 2.1


  • 📢博客主页:https://lansonli.blog.csdn.net

  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!

  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉

  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨


欢迎留言

访客