Ubuntu——详细部署Hadoop(伪分布式)-白红宇

Ubuntu——详细部署Hadoop(伪分布式)

阅读量：2291 次

发布时间：2019-05-09

本文共 2398 字，大约阅读时间需要 7 分钟。

我是用的是桌面般的Ubuntu

1、创建hadoop用户

打开Ubuntu终端

sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户，并使用/bin/bash作为shellsudo passwd hadoop                   #为hadoop用户设置密码，之后需要连续输入两次密码sudo adduser hadoop sudo             #为hadoop用户增加管理员权限su - hadoop                          #切换当前用户为用户hadoopsudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

2安装SSH,设置SSH无密码登陆

sudo apt-get install openssh-server   #安装SSH serverssh localhost                         #登陆SSH，第一次登陆输入yesexit                                  #退出登录的ssh localhostcd ~/.ssh/                            #如果没法进入该目录，执行一次ssh localhostssh-keygen -t rsa

输入完 $ ssh-keygen -t rsa　语句以后，需要连续敲击三次回车，如下图：

出现这个图，既成功

然后输入

cat ./id_rsa.pub >> ./authorized_keys #加入授权ssh localhost

如果不需要输入密码（出现下图，既安装成功）

3、安装JDK

前面有一篇单独安装JDK的，就不在此再次写了

4、安装Hadoop

A、下载hadoop

B、把下载的文件放到虚拟机里

C、在虚拟机根目录创建hadoop文件夹

sudo mkdir /hadoop

D、解压并移动文件

我的hadoop放在下载文件夹下(中文的乌班图)

1、解压

sudo tar -zxvf /home/hadoop/下载/hadoop-2.7.7.tar.gz

2、移动文件

解压后会发现在下载文件里多了个hadoop-2.7.7 文件夹

sudo mv  hadoop-2.7.7 /hadoop

注意此时我实在下载目录下

E、配置环境变量

打开配置文件

sudo gedit /etc/profile

环境变量（在打开的文件，写入环境变量）

export HADOOP_HOME=/hadoop/hadoop-2.7.7 #相应文件夹路径export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

使用source /etc/profile 命令使配置文件生效。

F、测试是否安装成功

在终端输入

hadoop version

注意，和测试JAVA的环境变量不同的是，这里的version前面没有-

出现下图，则安装成功

5、伪分布式配置

需要修改四个文件，四个文件都在hadoop_path/etc/hadoop/
hadoop_pathhadoop安装目录
1、sore-site.xml


   	
    		
     
      fs.defaultFS
     		
     
      hdfs://localhost/

2、hdfs-site.xml


   	
    		
     
      dfs.replication
     		
     
      1

3、mapred-site.xml

注意：目录没有这个文件，但是有一个mapred-site.xml.template，复制并重命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml


   	
    		
     
      mapreduce.framework.name
     		
     
      yarn

4、yarn-site.xml


   
    	
    		
     
      yarn.resourcemanager.hostname
     		
     
      localhost
     	
    	
    		
     
      yarn.nodemanager.aux-services
     		
     
      mapreduce_shuffle