当前位置:首页>正文

hadoopjps主节点应该要有哪些进程

2023-07-01 00:33:14 互联网 未知

hadoopjps主节点应该要有哪些进程?

主节点有以下进程:

1)NameNode它是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存有metadate。

2)SecondaryNameNode它不是namenode的冗余守护进程,而是提供周期检查点和清理任务。帮助NN合并editslog,减少NN启动时间。

3)DataNode它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个datanode守护进程。

4)ResourceManager(JobTracker)JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker,它们执行实际工作。

5)NodeManager(TaskTracker)执行任务

6)DFSZKFailoverController高可用时它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。

7)JournalNode 高可用情况下存放namenode的editlog文件

在Hadoop中,主节点(也称为NameNode)通常应该运行以下进程:


1. NameNode进程:它是主节点的核心服务进程,负责管理分布式文件系统中所有数据块的元数据,包括文件、目录及其属性。


2. Secondary NameNode进程:它是NameNode的辅助节点,用于帮助NameNode管理元数据,避免元数据过度膨胀导致的性能问题。


3. JobTracker进程:它是Hadoop MapReduce的核心服务进程,负责协调任务的执行,如分配任务、监控任务的执行情况,并负责维护任务队列。


4. ResourceManager进程:它是Hadoop YARN的核心服务进程,用于管理集群资源,并协调任务的执行,包括任务的分配、监控、容错处理和重调度等。


因此,在Hadoop中,主节点应该至少运行NameNode和JobTracker(或ResourceManager)两个进程。如果需要减少单点故障的影响,还可以运行Secondary NameNode或ResourceManager HA(高可用)等进程,来提高Hadoop集群的可靠性和弹性。