分享好友 最新动态首页 最新动态分类 切换频道
Hadoop集群安装和搭建(全面超详细的过程)
2024-12-27 03:09

   Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存有基础环境的配置(虚拟机安装、Linux安装等,Hadoop集群搭建,配置和测试。


   VMware (Virtual Machine ware)是一个“虚拟PC”软件公司,提供服务器、桌面虚拟化的解决方案。
使用的虚拟软件:VMware15
VMware15软件的安装包与安装教程:https://mp.weixin.qq.com/s/AqPE61EmGJ89lO6sJshOzA


  • VMware15.5 pro
  • Centos7镜像文件(mini)
  • Centos7下载链接:https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/

2.1 新建虚拟机,选择典型


3.选择语言(默认为English


1.查看网络是否连通

 
 

2.安装net-tools

 

3.查看Mac地址(enter后面

4.查看ip地址的起始和结束地址

5.修改网络配置文件

 

mac地址为2步骤的enter值
ip地址参照4步骤自行选择(必须在起始和结束的范围内
子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1:8.8.8.8

6.重启网络服务,查看是否配置成功

 

7.重启虚拟机后,查看是否连通网络(ip地址并未改变,且能连通网络

 
 

1.克隆虚拟机(右键相应虚拟机->管理->克隆

2.创建完整克隆

3.克隆虚拟机名称和位置(等待克隆完成

4.开启Hadoop02,修改主机名

 
 

5.查看mac地址

 
 

6.网络配置文件修改(标红需要修改,IP自己设置,mac用步骤5查到地址,网关为ip地址最后改为2

 
 

7.重新启动网络配置(查看网络是否可用

 

8.按照以上步骤,再克隆另外一台虚拟机Hadoop03


1.修改hosts配置文件(所有虚拟机都需要配置此文件

 
 

2.生成密钥文件(四次回车

 
 

2.将本机公钥文件复制到其它虚拟机上(接收方需先开机
 在hadoop01上执行,先输入yes,后输入对应主机的密码,多台虚拟机配置操作相同

 
 

3.在虚拟机hadoop02,hadoop03都需要执行,保证三台主机都能够免密登录

 

3.查看是否成功免密登录


1.在所有虚拟机根目录下新建文件夹export,export文件夹中新建data、servers和software文件

 

2.准备安装包
hadoop-2.7.4.tar.gz
jdk-8u161-linux-x64.tar.gz

4.在Xshell先进入software文件内,然后下载rz命令,并使用rz命令进行文件上传,此时会弹出上传的窗口,选择要上传的文件,点击确定即可将本地文件上传到Linux上。

 
 
 

5.安装JDK(所有虚拟机都要操作
5.1 解压jdk

 

5.2 重命名jdk目录

 

5.3 配置环境变量

 
 
 

5.4 使配置文件生效

 

5.5 查看是否配置成功

 
 

6.Hadoop安装(所有虚拟机都要操作
6.1 解压hadoop

 

6.2 打开配置文件

 

6.3 配置hadoop环境变量

 
 

6.4 使配置文件生效

 

6.5 查看是否配置成功

 
 

7.Hadoop集群配置
7.1 进入主节点配置目录

 

7.2 修改hadoop-env.sh文件

 

7.3 修改core-site.xml文件

 
 
 

7.4 修改hdfs-site.xml文件

 
 

7.5 修改mapred-site.xml文件

 
 
 

7.6 修改yarn-site.xml文件

 
 

7.7 修改slaves文件

 
 

7.8将主节点中配置好的文件和hadoop目录copy给子节点

 

7.9 使子节点中的配置文件生效

 

7.10 在主节点格式化文件系统(successfully formatted 格式化成功

 
 

1.启动集群
1.1在主节点启动所有HDFS服务进程

 

1.2 在主节点启动所有HDFS服务进程

 
 

2.关闭防火墙(所有虚拟机都要操作

 
 

3.打开window下的C:WindowsSystem32driversetc打开hosts文件,在文件末添加三行代码
192.168.121.134 hadoop01
192.68.121.135 hadoop02
192.168.121.136 hadoop03

5.在Windows系统下,访问http://hadoop01:8088,查看Yarn集群状态

最新文章
跨境电商独立站建站平台解析,独立站如何运营?独立站优势
越来越多的人涌入跨境电商这行业,无论是大平台还是独立站,蜂拥而至的小白,新手,各种开车,各种上路,但是大家真的了解独立站这个行业麽?或者说,怎么找到未来自己的第一块根据地呢?那么咱就说说,你只要干独立站,就怎么都绕不开的这
虚拟微博热搜生成器
虚拟微博热搜生成器是一款可以让用户随时登上热门排行榜的APP,当然这是虚假的,微博是不少用户喜欢使用的一款软件,这款APP的界面与微博非常的相似,可以说一模一样,将自己喜欢的内容填充进去就可以打造一个热门排行榜,恶搞一下好友是非
问道加盟
  【市场优势】  1、媒体,网络等多方面的品牌宣传;  2、全国各地设置分支机构及战略合作伙伴,统一的品牌及企业文化导入;  3、全国各地定期举办线下交流会;  4、成为福建游龙网络科技有限公司的战略合作伙伴,共享旗下产品资
这款AI论文写作在线工具助你一臂之力!论文生成不再难
​​创新性强:开启学术研究的新思路时间对于研究者来说无比珍贵,千笔AI论文深知这一点。它通过高效的选题建议生成机制,大大缩短了研究者在选题阶段的时间投入。只需输入关键词、研究领域或基本要求,千笔AI论文就能在短时间内提供多个精
雨人Ghost Win7x86 SP1无精简纯净版
雨人Ghost Win7x86 SP1无精简纯净版_C8.32***************************GHOST版的迅捷 安装版的品质 百分百完整 真正的纯净雨人Ghost Win7x86 SP1无精简纯净版_C8.32 ------智能识别品牌机兼容机,自动激活……****************************
鹤岗网站排名优化,策略与实践,鹤岗seo
鹤岗网站排名优化策略与实践,包括关键词研究、内容优化、链接建设等。通过深入了解用户需求和搜索习惯,选取合适的关键词,提高网站在搜索引擎中的排名。注重网站内容的质量和原创性,定期更新有价值的内容,吸引用户访问和分享。积极寻求
超逼真美女写真生成全攻略,教你用AI轻松制作完美作品!
在社交媒体蓬勃发展的时代,我们似乎每天都被美丽的图片和视频包围。然而,这些令人心动的写真到底是如何生成的呢?是否有一种工具可以帮助我们轻松制作出逼真而富有魅力的美女写真?答案是肯定的!通过画画、拍照、修图,我们可以用AI技术
高档轿车的智能化配置有哪些亮点?
高档轿车的智能化配置亮点众多。比如奔驰纯电 G 级,内饰搭载第 2 代 MBUX 智能人机交互系统,有“数字越野座舱”“实时越野路面影像”功能,可选 MBUX 高端后排娱乐系统,丰富车内娱乐。奥迪 AUDI E 概念车,采用激光雷达路线,配备高级驾
连点器免费永久版下载安装
连点器免费永久版下载安装是一款无需root权限的连接器app,它可以帮助用户快速连接,解放双手,非常完整和强大。用户只需要设置点击频率和点击位置,就可以挂机了,而且还支持后台自动运行。这款万能连接器非常实用,适用于各种需要频繁点
香港最准100‰免费,揭秘“香港最准100%免费”关键词背后的真相与风险:警惕网络陷阱,保护个人隐私安全
  揭秘“香港最准100%免费”关键词背后的真实面纱与潜在危害  摘要:
相关文章
推荐文章
发表评论
0评