五、Hadoop集群部署：从零搭建三节点Hadoop环境（保姆级教程）
作者：IvanCodes
日期：2025年5月7日
专栏：Hadoop教程
前言：
想玩转大数据，Hadoop集群是绕不开的一道坎。很多小伙伴一看到集群部署就头大，各种配置、各种坑。别慌！这篇教程就是你的“救生圈”。
一、磨刀不误砍柴工：环境准备（虚拟机与网络）虚拟机克隆与基础配置 (以VMware为例)
第一步：准备一台基础Linux虚拟机：你需要一台安装好Linux（推荐CentOS 7 或 Ubuntu 24.04.2/20.04）的虚拟机。确保它已安装常用工具，网络能通。
centos 7的详细安装教程可以参考《安装篇–CentOS 7 虚拟机安装》Ubuntu 24.04.2的详细安装教程可以参考《安装篇–Ubuntu24.04.2详细安装教程》第二步：克隆虚拟机：1.启动克隆向导： 在VMware Workstation中，右键点击你准备好的虚拟机，选择 “管理” -> “克隆”。
在这里插入图片描述
接着会弹出“欢迎使用克隆虚拟机向导”界面，直接点击“下一步”。
在这里插入图片描述
2.选择克隆源： 默认选择“虚拟机中的当前状态”，直接点击“下一步”。
在这里插入图片描述
3.选择克隆类型： 选择“创建完整克隆”。完整克隆会复制整个虚拟硬盘，确保每台“小鸡”都是独立的，不会相互影响。链接克隆虽然省空间，但不适合我们做集群。点击“下一步”。
在这里插入图片描述
4.命名与存放位置：
在这里插入图片描述第三步：Windows宿主机VMnet8网卡IP配置1.在Windows设置中，进入 “网络和 Internet”
2.点击 “高级网络设置”
在这里插入图片描述
3.找到 “VMware Network Adapter VMnet8”，展开它，点击 “查看其他属性”
在这里插入图片描述
4.点击“IP 分配”旁边的“编辑”
在这里插入图片描述
5.在“编辑 IP 设置”中，选择“手动”，打开IPv4，然后填写IP地址（如 192.168.121.1）和子网掩码（255.255.255.0）。网关和DNS对于这个宿主机的虚拟网卡通常不需要填写，或者可以填写VMnet8的网关（192.168.121.2）和你的常用DNS。
在这里插入图片描述第四步：VMware虚拟网络配置 (关键步骤！)1.在VMware Workstation主界面，点击菜单栏的 “编辑” -> “虚拟网络编辑器”
在这里插入图片描述
2.在“虚拟网络编辑器”中，你会看到一个网络列表，找到 VMnet8 (通常类型是NAT模式)
3.如果下方的配置选项是灰色的，你需要点击右下角的 “更改设置” 按钮，并可能需要提供管理员权限
在这里插入图片描述
4.选中VMnet8，然后进行以下配置：
4.1.确保连接类型选择 “NAT模式(与虚拟机共享主机的IP地址)”。
4.2.取消勾选 “使用本地DHCP服务将IP地址分配给虚拟机”
子网IP: 输入 192.168.121.0
子网掩码: 输入 255.255.255.0
在这里插入图片描述
5.配置NAT设置 (网关)：
将 “网关 IP(G):” 设置为 192.168.121.2
在这里插入图片描述
配置DHCP设置 (定义IP地址范围，可选但推荐检查)：
起始 IP 地址(S): 192.168.121.130
结束 IP 地址(E): 192.168.121.255
在这里插入图片描述第五步：Linux虚拟机静态IP配置 (核心！以CentOS 7为例)：在每台Linux虚拟机上，编辑网络配置文件，例如 /etc/sysconfig/network-scripts/ifcfg-ens33 (你的网卡名可能不同)。
代码语言：javascript复制 vim /etc/sysconfig/network-scripts/ifcfg-ens33在这里插入图片描述
hadoop02 的配置：将 IPADDR 改为 192.168.121.132。
hadoop03 的配置：将 IPADDR 改为 192.168.121.133。
配置源码 (ifcfg-ensXX)：代码语言：javascript复制TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ensXX
DEVICE=ensXX
ONBOOT=yes
IPADDR=192.168.121.131
NETMASK=255.255.255.0
GATEWAY=192.168.121.2
DNS1=114.114.114.114 配置主机映射在hadoop01, hadoop02, hadoop03上都执行：代码语言：javascript复制vim /etc/hosts在这里插入图片描述修改 hadoop01 的主机名：代码语言：javascript复制hostnamectl set-hostname hadoop01重启主机代码语言：javascript复制reboot用ip a验证ip是否改正查看网络能否正常ping通在这里插入图片描述第六步：使用FinalShell连接虚拟机：在这里插入图片描述在这里插入图片描述2. 关闭防火墙和selinux
关闭防火墙：代码语言：javascript复制systemctl stop firewalld
systemctl disable firewalld关闭SELinux：代码语言：javascript复制vim /etc/selinux/config
# SELINUX=disabled
#需重启虚拟机在这里插入图片描述3.配置SSH免密登录 (核心)：
在 hadoop01 中执行：
代码语言：javascript复制#验证ssh协议
ps -e | grep sshd
#生成钥匙
ssh-keygen -t rsa
#复制密码发送到其他设备
ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03在这里插入图片描述在这里插入图片描述4.时间同步 (NTP)：
代码语言：javascript复制yum install -y ntp
systemctl start ntpd
systemctl enable ntpd在这里插入图片描述在这里插入图片描述5. 安装Java JDK
代码语言：javascript复制# 创建存放软件和安装包的目录
mkdir -p /export/server /export/softwares5.1.上传并解压JDK安装包：
将你准备好的 jdk-8u361-linux-x64.tar.gz 文件，通过 FinalShell 的上传功能（或者其他sftp工具），上传到三台虚拟机的 /export/softwares/ 目录下。
进入 /export/server/ 目录，并解压 JDK 安装包：
代码语言：javascript复制cd /export/server/ # 进入我们计划安装软件的目录
# 解压 JDK 安装包
tar -xzf /export/softwares/jdk-8u361-linux-x64.tar.gz
# 重命名jdk
mv jdk1.8.0_361 jdk在这里插入图片描述5.2.配置 JAVA_HOME 环境变量：
在每台机器上，编辑环境变量文件 /etc/profile：
代码语言：javascript复制vim /etc/profile在这里插入图片描述代码语言：javascript复制export JAVA_HOME=/export/server/jdk # 注意这里的路径和解压出来的目录名一致
export PATH=$PATH:$JAVA_HOME/bin代码语言：javascript复制source /etc/profile在这里插入图片描述二、Hadoop 安装与配置1. 解压Hadoop到指定目录 (/export/server/) 上传Hadoop安装包：将 hadoop-3.3.4.tar.gz 安装包，通过 FinalShell 上传到三台虚拟机的 /export/softwares/ 目录下。
解压Hadoop到 /export/server/ 并重命名：
代码语言：javascript复制# 解压 Hadoop 安装包
tar -xzf /export/softwares/hadoop-3.3.4.tar.gz
# 为了方便，我们把它重命名为简洁的 hadoop
mv hadoop-3.3.4 hadoop在这里插入图片描述2. 配置Hadoop环境变量编辑/etc/profile 文件，追加 Hadoop 相关的环境变量：
代码语言：javascript复制vim /etc/profile在这里插入图片描述在文件末尾添加：
代码语言：javascript复制export HADOOP_HOME=/export/server/hadoop # 注意这里的路径是自定义安装路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 将 Hadoop 的命令加入到 PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop # 指定 Hadoop 配置文件的位置
export HADOOP_LOG_DIR=$HADOOP_HOME/logs # 指定 Hadoop 日志文件的位置让环境变量生效：
代码语言：javascript复制source /etc/profile在这里插入图片描述3. 修改Hadoop核心配置文件 (重点)主要在 hadoop01 上修改，然后分发给其他节点。
(A) hadoop-env.sh (所有节点一致修改) 这个文件主要配置 Hadoop 运行的环境，比如指定 Java。代码语言：javascript复制cd /export/server/hadoop/etc/hadoop/
vim hadoop-env.sh代码语言：javascript复制export JAVA_HOME=/export/server/jdk1.8.0_361
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"在这里插入图片描述在这里插入图片描述(B) core-site.xml (所有节点一致修改) 这是 Hadoop 的核心配置文件，配置HDFS的地址、临时文件目录等。代码语言：javascript复制vim core-site.xml代码语言：javascript复制
© hdfs-site.xml (所有节点一致修改) 这个文件配置 HDFS 的具体参数，比如副本数量、NameNode和DataNode数据存放位置等。代码语言：javascript复制vim hdfs-site.xml代码语言：javascript复制
(D) yarn-site.xml (所有节点一致修改) 这是 YARN (资源管理器) 的配置文件。代码语言：javascript复制vim yarn-site.xml代码语言：javascript复制
(E) mapred-site.xml (所有节点一致修改) 这个文件配置 MapReduce 的运行时框架和 JobHistory Server。代码语言：javascript复制vim mapred-site.xml代码语言：javascript复制
(F) workers 文件 (仅在 hadoop01 上修改，然后分发) 这个文件告诉 start-dfs.sh 和 start-yarn.sh 脚本，需要在哪些机器上启动 DataNode 和 NodeManager 进程。代码语言：javascript复制vim workers代码语言：javascript复制hadoop01
hadoop02
hadoop034. 分发配置文件 (在 hadoop01 上执行)好了，配置文件修改完了。把 hadoop01 上的配置文件同步到 hadoop02 和 hadoop03 去。
确保你在 hadoopuser 用户下，且在 $HADOOP_HOME/etc/ 目录下（也就是 /export/server/hadoop/etc/）。代码语言：javascript复制cd /export/server
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
#传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件
scp -r hadoop hadoop02:$PWD
scp -r jdk hadoop02:$PWD
scp -r hadoop hadoop03:$PWD
scp -r jdk hadoop03:$PWD5.验证是否成功在这里插入图片描述