澳门永利234555com设置spark用户密码,那搞个双系统吧

linux上又不能安装qq等必须软件,用户spark账户登录服务器

步骤

服务器环境:Ubuntu一5.0肆、jdk一.七、Hadoop2.七.1

第二步:配置Ubuntu子系统

  • 设置主机名(不是必须的)

子系统主机名暗许使用windows宿主机的名字,若是你平昔没改过呈现的应该是一串字符,为了方便开发,你应当修改主机名。通过设置->系统->关于->重命名这台电脑更改主机名。

  • 设置root密码

sudo passwd root
  • 设置默许登录用户

为了能便宜开发,能够设置Ubuntu的暗中认可登录用户为当前报到win十的用户名,因为您付出时是以当下报到用户执行顺序的,所以为了防止权限难点,推荐您这么做。
比如说当前小编win十的用户为manlier,那就设置默许用户为manlier,若是当前ubuntu中一向不应当用户,会让您创设。

在Power shell 中执行

ubuntu config --default-user <username>
  • 安装ssh服务

Ubuntu 私下认可安装了ssh服务,假使未有安装,执行

sudo apt-get install openssh-client
sudo apt-get install openssh-server
  • 启动ssh服务

sudo service ssh start

要是蒙受问题,重新安装ssh服务

sudo apt-get purge openssh-server
sudo apt-get install openssh-server

重国民党的新生活运动行suddo service ssh --full-restart查阅是还是不是已开行成功

  • 配置ssh端口

ssh端口私下认可是2二号端口,该端口在win10中早就被sshProxy服务占了,你可以关闭该服务。也得以透过下边的下令在Ubuntu中改变ssh端口。

修改/etc/ssh/sshd_configPort 22为其余端口

vi /etc/ssh/sshd_config

重启ssh服务

sudo service ssh --full-restart

正文采取第2种,即直接关闭sshProxy服务。若你挑选第三种,之后必要布署Hadoop集群的ssh端口。

  • 布署免密登录

旗帜分明,Hadoop需求建立在ssh的免密服务之上,由此供给展开ssh的公钥登录配置。

修改sshd_config文本,首要更改下边几行

UsePrivilegeSeparation no
PermitRootLogin no         #如果你确实要用root方式登录的话设为yes
PasswordAuthentication yes

在Ubuntu中重启ssh服务

sudo service ssh --full-restart

执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa变更密钥,注意不要采取dsa加密,它不安全也不再被扶助。

执行ssh-copy-id -i ~/.ssh/id_rsa.pub <username>@localhost将公钥发送至Ubuntu,时期供给输入2回(之后就不供给了)用户的密码。

迄今结束免密服务业已布置实现。运维ssh localhost翻看是不是不需求密码登录,若出现难题,请查看输出到屏幕的日记。

4. 配置Hadoop###\

四.一 下载安装Hadoop

Hadoop 2 能够经过
http://mirror.bit.edu.cn/apache/hadoop/common/
下载,壹般选拔下载最新的安定版本,即下载 “stable” 下的
hadoop-2.x.y.tar.gz 这一个格式的文件,那是编写翻译好的,另多个暗含 src
的则是 Hadoop 源代码,供给展开编写翻译才可采纳。
自个儿直接下载编写翻译好的压缩包:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压缩:

tar xfz hadoop-2.7.1.tar.gz

将安装包移动到usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

更改hadoop文件夹的主人为spark用户

sudo chown -R spark /usr/local/hadoop

测试hadoop是还是不是可用
/usr/local/hadoop/bin/hadoop version
是的展现hadoop版本表示可用

4.二 Hadoop相关环境变量配置
打开./bashrc文件:

sudo vim ~/.bashrc

在.bashrc文件末尾添加相关环境变量:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

应用环境变量:

source ~/.bashrc

四.3 hadoop相关铺排文件的计划

  1. 配置hadoop-env.sh

    sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
    

    更改JAVA_HOME为
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  2. 配置core-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
    

    <configuration></configuration>以内进入HDFS的安插(HDFS的端口配置在七千):
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>

  3. 配置yarn-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
    

    <configuration></configuration>中间进入以下内容:
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

  4. 配置mapred-site.xml
    HADOOP_HOME目录下有三个布局模板$HADOOP_HOME/etc/hadoop/mapred-site.xml.template,先拷贝到$HADOOP_HOME/etc/hadoop/mapred-site.xml。

    cp $HADOOP_HOME/etc/hadoop/mapred-site.xml{.template,}
    

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件:

   sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

  在`<configuration></configuration>`之间加入以下内容:
   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value>
   </property>

4.3 配置HDFS文件目录
1. 开立文件目录
假设准备将数据存放在/mnt/hdfs,方便起见,现将其设为2个环境变量:

export HADOOP_DATA_DIR=/mnt/hdfs

创办DataNode和NameNode的囤积目录,同时将那八个文本夹的全部者修改为spark:

sudo mkdir -p $HADOOP_DATA_DIR/namenode
sudo mkdir -p $HADOOP_DATA_DIR/datanode
sudo chown -R spark $HADOOP_DATA_DIR

2. 配置hdfs-site.xml文件

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration></configuration>里面扩展DataNode和NameNode的配备,如下:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/mnt/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/mnt/hdfs/datanode</value>
</property>

三. 格式化HDFS文件系统
应用下列命令格式化HDFS文件系统:

hdfs namenode -format

要求

系统:win十(唯有win拾能够安装子系统)

3. 安装Java环境###\

安装JDK:

sudo apt-get update
sudo apt-get install openjdk-7-jdk

安装成功后,使用java -version java版本

澳门永利234555com 1

正规展现java版本

布置Java环境变量,假设选用方面包车型地铁艺术安装jdk,那么Java的安装路径应该是/usr/lib/jvm/java-7-openjdk-amd6四,不过只要不可能分明,能够动用如下命令:

update-alternatives - -config java

输入结果:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

小编们只取前边的局地 /usr/lib/jvm/java-7-openjdk-amd6四
配置.bashrc文件:

sudo vim ~/.bashrc  #如果没有vim 请另行安装vim

在文书末尾追加上面内容,然后保留

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

施行上边命,使添加的环境变量生效:

source ~/.bashrc

测试Java环境变量结果:

echo $JAVA_HOME

借使输出/usr/lib/jvm/java-7-openjdk-amd6四 则意味着配置成功

第一步:安装Ubuntu子系统

开拓windows商店,搜索Ubuntu,找到后点击安装,等待安装实现即可。
安装实现后,为了未来能加快布局速度,设置包源为Ali源

1. 创建spark用户###\

为了隔绝Hadoop和别的软件, 创立了能够登6的 spark 用户,并使用 /bin/bash
作为 shell:

sudo useradd -m spark-s /bin/bash

安装spark用户密码:

sudo passwd spark

可为 spark用户扩充管理员权限,幸免陈设时候碰到有的意料之外的权限难题:

sudo adduser hadoop sudo

添加完用户后,用户spark账户登录服务器,举行服务器配置。

普遍错误

  • 用户权限难点

若您在Ubuntu中以root身份运行了hadoop,并且创办了文件,那么那一个文件就属于root。而在开发条件中,你是用作其余用户运营程序的,未有权力访问该公文,要拜访文件,可经过以下指令更改文件全部者:

sudo hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

OWNER:GROUP就是用户:所属组,例如更改为manlier:supergroup将文件的主人改为了supergroup组下的manlier用户

  • datanode进度未运行

查看logs/hadoop-<username>-datanode-<hostname>.log文件检查错误。

若出现java.io.IOException: Incompatible
clusterIDs,则证实您的data进度的集群id与name进度的集群id不一样,化解办法如下:

找到您的hdfs的文书存放路径,若你没有钦命,私下认可为/tmp/hadoop-<username>,彻底去除它,重新格式化文件系统,重启hadoop即可,查看切切实实原因

  • 出现 Unable to load native-hadoop library for your platform…

查阅当前是不是安插好了HADOOP_HOME环境变量

echo $HADOOP_HOME

若果出口为空,你供给在/etc/enviroment文件中安装Hadoop目录:

HADOOP_HOME=your_hadoop_path

并再一次更新环境变量

source /etc/enviroment

二. SSH登录配置####\

集群、单节点情势都必要用到
SSH登陆
,并且安顿ssh的免密码登录,在集群运营时候可防止去输入密码的麻烦。Ubuntu
暗许已设置了 SSH client,其余还亟需安装 SSH server:

sudo apt-get install openssh-server

测试使用ssh登录本机:

ssh localhost

签到成功后得以输入exit退出

澳门永利234555com 2

ssh登录本机

安装ssh无密码登录
设置免密码登录,生成私钥和公钥,利用 ssh-keygen
生成密钥,并将密钥参预到授权中。
变动公钥/私钥对:

ssh-keygen -t rsa -P ""

-P代表密码,-P ”
就代表空密码,也得以不要-P参数,那样就要三车回车,用-P就2遍回车。它在/home/spark下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
上面大家将公钥追加到authorized_keys中,它用户保存全数允许以近期用户地点登录到ssh客户端用户的公钥内容

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再也行使ssh登六localhost,就不再需求输入密码:

ssh localhost

记得退出登录,继续拓展配置exit

澳门永利234555com 3

ssh登录本地不必要再输入密码

Win10上利用子系统搭建hadoop本地开发环境及广大难题化解

七. 参考资料###\

一. Hadoop单节点安装
贰. Ubuntu14.0四下安装Hadoop贰.四.0
(单机形式)

叁.
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

第三步:安装Hadoop

在布局完ssh后,你能够直接依照合法文书档案中的说明,在linux环境下安装Hadoop了,这里列出主要步骤。

  • 安装JDK

Hadoop 依赖JDK,首先须求设置Java,那里设置Oracle Java 8

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
  • 配置JAVA_HOME

查看JAVA安装路径

sudo update-alternatives --config java

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      auto mode
* 1            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      manual mode

看到JDK路径为/usr/lib/jvm/java-8-oracle

/etc/environment中率先行添加如下内容:

JAVA_HOME="/usr/lib/jvm/java-8-oracle"

更新环境变量

source /etc/enviroment
  • 下载Hadoop并解压

cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar xzvf hadoop-2.9.0.tar.gz
  • 设置HADOOP_HOME路径

/etc/environment文本中第三行添加HADOOP_HOME变量,为了输入指令时的便利着想,你能够投入到PATH环境变量中。

HADOOP_HOME="/opt/hadoop-2.9.0"
PATH="$HADOOP_HOME/bin:..."

source /etc/environment
  • 设置JAVA_HOME路径

修改etc/hadoop/hadoop-env.sh文本中的JAVA_HOME变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  • 以伪分布情势配置Hadoop

修改etc/hadoop/core-site.xml文件内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml文本内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  • 配置YACR-VN(若您利用YA中华VN作为能源管理器)

修改etc/hadoop/mapred-site.xml如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 格式化文件系统

bin/hdfs namenode -format
  • 打开 NameNode 和 DataNode 守护进度

sbin/start-dfs.sh
  • 开启YARN

sbin/start-yarn.sh
  • 翻开是或不是运转成功

输入jps命令,若以下进度都运行了,表明运行成功

1984 SecondaryNameNode
2212 ResourceManager
2376 Jps
1738 DataNode
1612 NameNode
2334 NodeManager
  • 成立用户目录

hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

从这之后windows上的hadoop环境就搭建完毕了,你能够打开localhost:50070查看是或不是运营成功。

好了,未来你能够应用idea或别的开发工具进行支付和调剂了,而不用每一次都打包到服务器上运维了(击手)

5. 启动Hadoop###\

启动HDFS:

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn:

$HADOOP_HOME/sbin/start-yarn.sh

HDFS和yarn的web控制台私下认可监听端口分别为50070和808八。能够由此浏览放访问查看运市价况。

终止命令:
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
假诺一切不奇怪,使用jps能够查阅到正在运转的Hadoop服务,在自我机器上的显得结果为:

5003 SecondaryNameNode
5341 NodeManager
4798 DataNode
5182 ResourceManager
7311 Jps
4639 NameNode

说明

满心鼓舞的准备上学hadoop,没悟出困难重重,具体多坑?
Hadoop对微软如此不友好,
原来打算安装在docker上能够吧,一查找,三个科目都并未有,作者???,
那装个虚拟机吧,配置范围了自己的想像,
那搞个双系统吧,linux上又不能设置qq等必须软件,
就算也可编写翻译Hadoop源码为windows版本,然而hadoop那么多生态环境,难道小编要每八个都编写翻译?
您或者会将代码打包为jar包再发送到服务器上运转,可是那扩张了大气的调节工作,而且浪费了汪洋时日。
小编拿那windows能怎么做?甚至已经想换个黑苹果(忍住了)。

推测我大微软本人也发觉这样下来不大概毛利,只好尽早叫上兄弟Ubuntu来填坑。
本学科利用win拾自带的Ubuntu子系统来安顿Hadoop运营条件。

6. 运行WordCount测试###\

单机情势安装实现,上面通过执行hadoop自带实例WordCount验证是不是安装成功。
查看HDFS根目录下的文本:

hdfs dfs -ls /

在HDFS上创建input目录:

hdfs dfs -mkdir /input

将Hadoop路径下的README.txt传到HDFS:

hdfs dfs -put $HADOOP_HOME/README.txt /input/

做到后运转如下命令,实行Word Count操作:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount /input /output

澳门永利234555com 4

尚无万分 ,职责执行到位

翻看总结结果:

hdfs dfs -cat /output/*

澳门永利234555com 5

来得出单词的统计结果

末尾Hadoop单节点的布局就完结了。如有何难题,希望大家批评指正。