Hadoop安装中出现的各种问题及解决办法
前言
经历了几天的不断尝试，最终成功的安装并配置了Hadoop3.1.3，在安装的过程中踩了很多的坑，在此将我的经历分享给各位，希望在大家遇到问题时能给予一定的帮助，特别是初次接触或者打算学习大数据的朋友们，在安装及配置Hadoop之前如果能仔细阅读我的这篇文章，可以避免很多不必要的错误和麻烦，使安装过程更加顺利。
本文涉及安装过程：VirtualBox——Ubuntu18.04.4——Hadoop3.1.3
注：作者是按照厦门大学林子雨的系列安装教程进行安装操作的，其中不仅包含上述的版本，还有针对Mac系统，以及Centos、Ubuntu不同版本、Hadoop不同版本的详细安装教程，本文的写作目的就是在参考林子雨或其它安装教程安装Hadoop及之后的单机/伪分布式配置的过程中可能出现的问题进行统一的整理收纳，如已经安装好Ubuntu，请在内置的火狐浏览器打开本文，方便文中链接的访问与资源的下载。
关于VBox安装
关于Ubuntu安装及使用
在Windows中使用VirtualBox安装Ubuntu
可能出现的问题及解决办法：
（1）强烈建议使用Ubuntu官方的18.04或14.04
附：Ubuntu18.04.4官网下载链接下载下来是iso镜像文件，先不要急着解压，之后要在VBox内使用盘片导入，具体操作教程中有
Ubuntu安装时一定注意不要选择kylin版本，有很多人包括作者最初使用的是优麒麟版本的Ubuntu（在Vbox导入盘片时要看清iso文件）安装配置，从安装开始到后期配置有很多不同的地方(安装Ubuntu时会优麒麟会显示kylin的字样，且系统主题为蓝色 )，并且使用例如apt get-update等更新时经常出现更新失败的情况，影响后续的配置安装，后改为Ubuntu18.04 一些问题就迎刃而解，并且Ubuntu的新版提升了使用体验，诸如对分辨率设置很友好，在调整对话框大小后，系统会根据当显示情况自动调整分辨率，不需要经常的打开设置调整分辨率，等等。
优麒麟 Ubuntu Kylin是由中国CCN联合实验室支持和主导的开源项目，其宗旨是采用平台国际化与应用本地化融合的设计理念，通过定制本地化的桌面用户环境以及开发满足广大中文用户特定需求的应用软件来提供细腻的中文用户体验，做更有中国特色的操作系统。
在Ubuntu终端窗口中，复制粘贴的快捷键需要加上 shift，即粘贴是 ctrl+shift+v。
在分配内存时有条件的主机最好分配大一些的运行内存通常4G对应1-2G、8G对应3G，Ubuntu的使用会更加流畅。
（10）如果有时出现解决不了的问题，可以输入以下命令，尝试更新
关于Hadoop安装及调试
Hadoop3.1.3安装教程_单机/伪分布式配置-Ubuntu18.04(16.04)
Hadoop2.6.0(2.7.1)安装教程-单机-伪分布式配置–Ubuntu14.04(16.04)
（1）Hadoop最好直接在Ubuntu的火狐浏览器里下载，注意是tar.gz不是src ，src是未编译版本，无法直接使用。
Hadoop3.1.3官网下载链接（在虚拟机用Firefox浏览器打开下载）
（2）关于使用什么分布式的安装，由于分布式需要多个主机同时运行，对电脑的要求很高，所以建议使用单机/伪分布式安装。
单机模式：单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
伪分布式模式：Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
分布式模式：使用多个节点构成集群环境来运行Hadoop。
（3）关于安装java环境有两种办法，第一个就是按照教程中操作，下载安装JDK，第二种则是打开终端，输入下边命令，等待更新就好，安装时会自动生成usr／lib／jvｍ文件夹，如果安装成功，按照这个路径就能找到JDK
第一条输入以后如果安装成功就不用输入23条，当安装失败时再输入2和3条
（4）配置环境变量时，如果成功用vim编辑器打开文件，会弹出编辑窗口的，若没有弹出，则需要检查vim的安装是否成功，在编辑环境变量时如果安装的是openjdk-8-jdk，在配置环境变量时将路径里边相应的jdk换成openjdk-8-jdk就行，基本的vim编辑器操作方法参考下边教程
Linux系统中vim编辑器的安装和使用方法
vim编辑器是Linux系统上最著名的文本/代码编辑器，是vi编辑器的加强版，可以帮助我们完成文件的创建和代码的编写
（5）在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。而在windows系统中,输入密码一般都会以“*”表示你输入的密码字符，在输入sudo命令后，需要输入密码时，不要认为没有反应就是没输入，所以为了方便建议设置密码时就设置比较简单的密码。
sudo命令
安装中会大量使用到sudo命令。sudo是ubuntu中一种权限管理机制，管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。当使用sudo命令时，就需要输入您当前用户的密码.
（6）执行相对路径时要保证已经cd进要执行相对路径的目录，比如下边的usr/local/hadoop,如果直接执行相对路径会提示找不到目标文件
（7）输入shell命令时，注意不要出现拼写错误，例如将"start"拼成"strat"、将"local"拼成"loacl"的情况，否则会报错，找不到对应文件。
———————————————————————————————————
下面是关于Hadoop启动后出现的错误及解决办法（错误主要集中在NameNode/DataNode/SecondaryNode的启动上）：
（8）执行https://blog.csdn.net/DZFinder/article/details/sbin/start-dfs.sh启动Hadoop进程后日志报告中出现错误：
ERROR conf.Configuration:error parsing conf hdfs-site.xml或core-sit.xml时，原因是在伪分布式配置修改core-site.xml和hdfs-site.xml时出现了拼写错误，需要先关闭进程sbin/stop-dfs.sh，再重新进入/usr/local/hadoop/etc/hadoop/使用gedit https://blog.csdn.net/DZFinder/article/details/hdfs-site.xml打开相应的xml文件仔细查找错误，保存后重启hadoop进程
core-site.xml文件正确配置：
hdfs-site.xml文件正确配置
（9）执行过一次NameNode格式化后，若后续开启Hadoop进程后输入jps没有列出相应成功进程提示的话，不要急着再一次格式化NameNode，因为多次格式化NameNode之后可能出现即便成功配置，启动进程后输入jps仍只显示jps的情况，而没有其它三个Node的情况，那样问题就比较麻烦了
要按照以下顺序排除所有错误后再格式化：
- 先重启Hadoop
- 重新打开core-site.xml和hdfs-site.xml核对错误
- 排除java环境变量问题
- 格式化NameNode
（11）启动 Hadoop 时出现很多 Could not resolve hostname提示
可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c 中断启动，然后在 ~/.bashrc 中，增加如下两行内容（设置过程与 JAVA_HOME 变量一样，其中 HADOOP_HOME 为 Hadoop 的安装目录）
（12）若只有 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：
（13）如果 SecondaryNameNode 没有启动，运行 关闭进程，然后再次尝试启动尝试
关于虚拟机和电脑间数据传输
FileZilla是一个免费开源的FTP软件，分为客户端版本和服务器版本，
具备所有的FTP软件功能。
可控性、有条理的界面和管理多站点的简化方式
使得Filezilla客户端版成为一个方便高效的FTP客户端工具
4）在Windows系统中利用FTP软件向Ubuntu系统上传文件
使用方法：FTP软件使用方法
FTP就是文件传输协议。用于互联网双向传输，
控制文件下载空间在服务器复制文件从本地计算机
或本地上传文件复制到服务器上的空间。
虚拟机和电脑之间的双向剪切板不容易设置，安装时需要访问的链接最好直接在虚拟机的火狐浏览器上访问，同样下载的软件最好也直接在虚拟机里边下载，
关于Linux的提示
（1）Linux中英文的切换方式是使用键盘“shift”键来切换。
（2）~的含义
在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释，只需要输入前面命令即可。
（3）查询虚拟机的ip地址
打开终端——输入"ifconfig"——查看"inet地址" （每次不同，每次登陆，重新查询）
（4）在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。而在windows系统中,输入密码一般都会以“*”表示你输入的密码字符，在输入sudo命令后，需要输入密码时，不要认为没有反应就是没输入，所以为了方便建议设置密码时就设置比较简单的密码。
涉及Hadoop的常用命令
（1）启动Hadoop(要先进入Hadoop安装目录):
（2）关闭Hadoop
（3）更新apt
Linux系统的常用命令及基本练习
Linux系统常用命令
下面是一些基础的操作可以在自己的虚拟机上进行实验，里边的文件增加删除操作是安全的闭环动作，完成操作后不会对系统造成影响
1.切换到local文件夹：
2.返回上一级：
3.切换到用户主文件夹：
4.查看usr下所有的文件和目录：
———————————————————————————————————
目录（文件夹管理）
1.进入/tmp目录，创建一个名为a的目录，并查看/tmp目录下已经存在的哪些目录
2.删除空目录:
3.在/tmp目录下新建test：
3.将/usr目录下的文件bashrcl复制到/usr/test目录下:
4.将/usr目录下的test重命名为test2：
5.将/usr/test2 目录下的移除(删除)bashrcl：
6.查看当前主用户文件夹下的.bashrc文件的内容(cat命令)：
7.文件查找(finder命令)找出主文件夹下文佳名为.bashrc文件：
8.压缩命令(tar)，在根目录"/“下新建文件夹test，然后在根目录”/"下打包成
9.解压缩命令，把上面的test.tar.gz压缩包，解压缩到/tmp目录