Hadoop是一个分布式系统基础架构,允许用户使用Java编程语言开发分布式应用程序。在Hadoop系统中,所有节点都是平等的,其中有一台机器作为“NameNode”,另外的机器作为“DataNode”,用来存储数据。为了满足用户的需求,Hadoop提供了一个结构化的配置文件,用户可以根据自己的需求进行修改。
Hadoop配置文件
Hadoop的配置文件主要包括以下三个文件:
1. core-site.xml:Hadoop分布式系统中的核心配置文件,主要用来指定Hadoop文件系统的默认块大小、HDFS路径等信息。
2. hdfs-site.xml:Hadoop分布式文件系统的配置文件,主要用来设置副本数量、NameNode的RPC端口等信息。
3. mapred-site.xml:Hadoop MapReduce的配置文件,主要用来设置JobTracker和TaskTracker的RPC端口等信息。
修改配置文件命令
1. 启动Hadoop
在Linux终端中启动Hadoop前,需要修改Hadoop的配置文件,可以使用vi编辑器打开需要修改的文件,例如:
vi /usr/local/hadoop/etc/hadoop/core-site.xml
2. 修改配置
找到需要修改的属性,修改对应的值,例如:
修改为:
表示将HDFS的端口号由9000修改为8020。
3. 保存文件并退出
在vi编辑器中,按下Esc键退出编辑模式,输入:wq,保存文件并退出。
4. 使配置生效
在修改完配置文件后,需要重新启动Hadoop使修改的配置生效,可以使用以下命令启动Hadoop:
sbin/start-dfs.sh
sbin/start-yarn.sh
扫码咨询 领取资料