大数据资源管理怎么做？这些大数据工程师的常用工具可以帮你

Hadoop集群资源管理器是什么?它是如何为上层应用提供资源管理和调度的呢?我们 起来看Apache Hadoop YARN的引入，为集群在利用率、资源统 管理和数据共享等方面带来的巨大好处。

从开发人员来讲提交作业(应用)到YARN集群，通过YARN的UI来监控和管理作业。Hadoop给开发员提供了三种主要YARN工具：(1)Hue Job Browser;(2)YARN Web UI;(3)YARN命令。YARN管理员可以使用Cloudera Manager，包含在Cloudera Express和Cloudera Enterprise中，对开发人员也有 些帮助。下面我们 起来看具体组件的作用：

一、大数据资源管理怎么做——Hue Job Browser：

可以监控作业状态 、 查看日志 、 杀掉作业

二、大数据资源管理怎么做——YARN Web UI：

Resource Manager UI是主要的入口点，运行在RM主机的8088端口，相比Hue，提供了更多明细视图(可以查看每 个应用下面的任务，任务里面有多少attempt，以及 些日志情况)，但是它不提供任何控制或者配置。在这里我们看 下YARN Web UI的类别：

1) Resource Manager UI：Nodes

2) Resource Manager UI：Applications

3)Resource Manager UI：Application Detail

三、大数据资源管理怎么做——YARN命令行

1)通过命令配置和查看关于YARN集群的信息

a)yarn

2)大多数YARN命令行工具是为管理员而不是开发员准备的

3) 些对开发员有用的命令

b)yarn application,使用-list来查看运行的应用,使用-kill来杀掉运行的应用.

c)yarn logs –applicationId ,查看特定应用的日志

(4)Cloudera Manager

Cloudera Manager提供了强大地从单个节点监控和配置集群的能力

YARN作为Hadoop的资源管理器，给集群的资源管理与共享带来了便捷，但是我们必须明确YARN 在实际应用中的特点，才能够更好的掌握和应用。大数据由于当下发展的需要，给每 位想要从事或者已经从事大数据的人员提供了机遇和挑战，我们不仅要多方位思考总结，还要借鉴和学习别人的经验，不断地改善自己的知识架构，才会取得更大的进步。平时可以关注“大数据cn”这样的微信资讯平台，上面分享的大数据相关知识对于我们从业者来说，很新颖独特，对开阔我们的视野，拓展我们的知识面，激发我们的思维都有着很好地帮助作用!

以上就是对于《大数据资源管理怎么做？这些大数据工程师的常用工具可以帮你》的详细分析，大家可以看到，在这么一个需要严谨分析数据的行业里，只有提高了自己的职业能力，才能发展的更好。如果你想知道更多大数据的相关知识，可以点击下方资料下载链接。