速览体育网

Linux环境下Hadoop集群配置详解

Linux作为Hadoop集群部署的首选操作系统，其稳定性和灵活性为大数据处理提供了坚实基础，本文将详细介绍在Linux环境下Hadoop集群的完整配置流程，从环境准备到核心服务部署，帮助读者构建高效可靠的分布式存储与计算平台。

环境准备与基础配置

在开始Hadoop配置前，需确保Linux系统满足基本要求，推荐使用CentOS 7或Ubuntu 18.04及以上版本，内核建议3.10以上，首先配置主机名与hosts文件，确保集群内节点间可通过主机名通信，以三节点集群为例（Master、Slave1、Slave2），执行以下命令：

sudo hostnamectl set-hostname Master  
echo "192.168.1.10 Master" | sudo tee -a /etc/hosts  
echo "192.168.1.11 Slave1" | sudo tee -a /etc/hosts  
echo "192.168.1.12 Slave2" | sudo tee -a /etc/hosts  

关闭防火墙并禁用SELinux（或配置相应策略），避免网络访问限制：

sudo systemctl stop firewalld && sudo systemctl disable firewalld  
sudo setenforce 0  

创建专用用户（如hadoop）并配置免密登录，提升集群管理效率：

sudo useradd -m hadoop && sudo passwd hadoop  
su - hadoop  
ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa  
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
chmod 600 ~/.ssh/authorized_keys  

JDK安装与环境变量配置

Hadoop依赖Java环境，推荐安装JDK 1.8，下载Oracle JDK或OpenJDK后，解压至/usr/local/java并配置环境变量：

sudo tar -zxvf jdk-8u291-linux-x64.tar.gz -C /usr/local/  
sudo ln -s /usr/local/jdk1.8.0_291 /usr/local/java  

编辑~/.bashrc文件，添加以下内容：

export JAVA_HOME=/usr/local/java  
export JRE_HOME=$JAVA_HOME/jre  
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib  
export PATH=$PATH:$JAVA_HOME/bin  

执行source ~/.bashrc使配置生效，通过java -version验证安装。

Hadoop分布式模式部署

下载Hadoop 3.3.1稳定版并解压至/usr/local/hadoop，创建软链接方便管理：

sudo tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local/  
sudo ln -s /usr/local/hadoop-3.3.1 /usr/local/hadoop  
sudo chown -R hadoop:hadoop /usr/local/hadoop  

配置Hadoop环境变量，在~/.bashrc中追加：

export HADOOP_HOME=/usr/local/hadoop  
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  

核心配置文件修改

进入$HADOOP_HOME/etc/hadoop目录，编辑以下关键文件：

• core-site.xml：配置HDFS默认名称节点地址：

  <configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://Master:9000</value>
    </property>
  </configuration>

• hdfs-site.xml：设置HDFS副本数和临时目录：

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/home/hadoop/hadoopdata/namenode</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/home/hadoop/hadoopdata/datanode</value>
    </property>
  </configuration>

• mapred-site.xml：指定MapReduce运行框架为YARN：

  <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  </configuration>

• yarn-site.xml：配置ResourceManager资源管理地址：

  <configuration>
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>Master</value>
    </property>
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
  </configuration>

• workers：列出所有从节点主机名：

  Slave1
  Slave2

集群初始化与启动

在Master节点执行NameNode格式化（仅需首次）：

hdfs namenode -format  

启动HDFS集群：

start-dfs.sh  

启动YARN集群：

start-yarn.sh  

通过jps命令验证进程：Master节点应包含NameNode、ResourceManager、SecondaryNameNode；从节点应包含DataNode和NodeManager。

集群验证与故障排查

使用HDFS命令测试文件操作：

hdfs dfs -mkdir /test  
hdfs dfs -put /etc/passwd /test  
hdfs dfs -ls /test  

访问Web管理界面：HDFS NameNode（http://Master:9870）、YARN ResourceManager（http://Master:8088）。

常见问题解决：

• DataNode无法启动：检查$HADOOP_HOME/logs目录下的日志文件，确认datanode目录权限为hadoop:hadoop。
• SSH免密登录失败：确保authorized_keys文件权限为600，且authorized_keys包含所有节点公钥。
• YARN任务卡顿：检查NodeManager日志，确认资源分配是否充足，调整yarn-site.xml中的内存参数。

优化与扩展建议

为提升集群性能，可进行以下优化：

1. 磁盘调度：在DataNode节点使用SSD并调整I/O调度器为deadline。
2. 内存配置：根据物理内存调整yarn.nodemanager.resource.memory-mb和mapreduce.map.memory.mb。
3. 高可用部署：通过ZKFC实现NameNode高可用，避免单点故障。

通过以上步骤，即可完成Linux环境下Hadoop集群的完整配置，合理的架构设计与细致的参数调优,将为后续的大数据应用提供稳定可靠的基础设施支撑。