乐虎游戏|乐虎国际登录|欢迎你

mg老虎机:安装hadoop-2.3.0-cdh5.1.2全过程

日期:2019-10-30编辑作者:计算机资讯

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

搭建Hadoop2.6.0+Spark1.1.0集群环境

前几篇文章主要介绍了单机模式的Hadoop和Spark的安装和配置,方便开发和调试。本文主要介绍,真正集群环境下Hadoop和Spark的安装和使用。

  1. 环境准备

集群有三台机器:

  • master:W118PC01VM01/192.168.0.112
  • slave1:W118PC02VM01/192.168.0.113
  • slave2:W118PC03VM01/192.168.0.114

首先配置/etc/hosts中ip和主机名的映射关系:

  • 192.168.0.112 W118PC01VM01
  • 192.168.0.113 W118PC02VM01
  • 192.168.0.114 W118PC03VM01 

其次配置3台机器互相免密码ssh连接,参考《在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境》。

  1. ISB电子游艺,基本安装步骤

(1) 安装Java(本例使用jdk1.7.0_55)和Scala(使用scala2.10.4)。

(2) 安装Hadoop2.6.0集群。

(3) 安装Spark1.1.0集群。

  1. Jdk和Scala安装

在master和slave机器的安装路径和环境变量配置保持一致。安装过程参考《在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境》。

  1. Hadoop集群安装

4.1. 安装Hadoop并配置环境变量

安装Hadoop2.6.0版本,安装目录如下。在~/.bash_profile中配置环境变量,参考《在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境》。

mg娱乐场线路检测 1

4.2. 修改Hadoop配置文件

涉及到的hadoop配置文件主要有以下7个:

  1. /home/ap/cdahdp/tools/hadoop/etc/hadoop/hadoop-env.sh
  2. /home/ap/cdahdp/tools/hadoop/etc/hadoop/yarn-env.sh
  3. /home/ap/cdahdp/tools/Hadoop/etc/hadoop/slaves
  4. /home/ap/cdahdp/tools/hadoop/etc/hadoop/core-site.xml
  5. /home/ap/cdahdp/tools/hadoop/etc/hadoop/hdfs-site.xml
  6. /home/ap/cdahdp/tools/hadoop/etc/hadoop/mapred-site.xml
  7. /home/ap/cdahdp/tools/hadoop/etc/hadoop/yarn-site.xml

配置 hadoop-env.sh(修改JAVA_HOME)

# The java implementation to use.

export JAVA_HOME=/home/ap/cdahdp/tools/jdk1.7.0_55

配置 yarn-env.sh (修改JAVA_HOME)

# some Java parameters

export JAVA_HOME=/home/ap/cdahdp/tools/jdk1.7.0_55  

配置slaves(增加slave节点)

W118PC02VM01

W118PC03VM01  

配置 core-site.xml(增加hadoop核心配置)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.112:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/ap/cdahdp/app/tmp</value>
        <description>Abasefor other temporary directories.</description>
    </property>
    <property>
        <name>hadoop.proxyuser.spark.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.spark.groups</name>
        <value>*</value>
    </property>
</configuration>

 

配置hdfs-site.xml(增加hdfs配置信息,namenode、datanode端口和目录位置)

 

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.112:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/ap/cdahdp/app/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/ap/cdahdp/app/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.datanode.du.reserved</name>【配置磁盘中保留不用作hdfs集群的空间大小,单位是Byte】
        <value>10240000000</value>
    </property>
</configuration>

 

配置mapred-site.xml(增加mapreduce配置,使用yarn框架、jobhistory地址以及web地址)

 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.112:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.112:19888</value>
    </property>
</configuration>

PP电子游戏, 

配置 yarn-site.xml(增加yarn功能)

 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
mg老虎机,        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
mg娱乐场线路检测,    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.112:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.112:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.112:8035</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.112:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.112:8088</value>
    </property>
</configuration>

 

将配置好的hadoop文件copy到两台slave机器上,配置和路径和master一模一样。

4.3. 格式化namenode

在master和slave机器上分别操作:

cd ~/tools/hadoop/bin

./hdfs namenode -format  

4.4. 启停hdfs和yarn

cd ~/tools/hadoop/sbin

./start-hdfs.sh

./stop-hdfs.sh

./start-yarn.sh

./stop-yarn.sh  

启动后可以用jps查看进程,通常有这几个:

NameNode、SecondaryNameNode、ResourceManager、DataNode

如果启动异常,可以查看日志,在master机器的/home/ap/cdahdp/tools/hadoop/logs目录。

4.5. 查看集群状态

查看hdfs:

查看RM:

4.6. 运行wordcount示例程序

上传几个文本文件到hdfs,路径为/tmp/input/

之后运行:

mg娱乐场线路检测 2

查看执行结果:

mg娱乐场线路检测 3

正常运行,表示hadoop集群安装成功。

  1. Spark集群部署

5.1. 安装Spark并配置环境变量

安装Spark1.1.0版本,安装目录如下。在~/.bash_profile中配置环境变量。

mg娱乐场线路检测 4

5.2. 修改Hadoop配置文件

配置slaves(增加slave节点)

mg娱乐场线路检测 5

配置spark-env.sh(设置spark运行的环境变量)

把spark-env.sh.template复制为spark-env.sh

mg娱乐场线路检测 6

将配置好的spark文件copy到两台slave机器上,配置和路径和master一模一样。

5.3. Spark的启停

cd ~/tools/spark/sbin

./start-all.sh

./stop-all.sh  

5.4. 查看集群状态

spark集群的web管理页面:

spark WEBUI页面:

启动spark-shell控制台:

mg娱乐场线路检测 7

5.5. 运行示例程序

往hdfs上上传一个文本文件README.txt:

mg娱乐场线路检测 8

在spark-shell控制台执行:

统计README.txt中有多少单词:

mg娱乐场线路检测 9

mg娱乐场线路检测 10

过滤README.txt包括The单词有多少行:

mg娱乐场线路检测 11

正常运行,表示Spark集群安装成功。

 

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

前几篇文章主要介绍了单机模式的Hadoop和Spark的安装和配置,方便开发和调试。本文主要介绍,真正集群环境...

安装hadoop-2.3.0-cdh5.1.2全过程

工欲善其事,必先利其器,啥都不说,Hadoop下载:  选择好相应版本搞起,在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。(安装环境为自己在VMWare 10里面搭建的三台 Linux 虚拟机)。

1、hadoop 是大apache开源的分布式离线计算框架,语言:java,既然这样,要想搭建hadoop环境(不管伪分布式 还是多机集群),那必须在服务器上安装好jdk。

简单过程简单说,简要描述下jdk安装配置过程(据说,hadoop-2.3.0需要jdk1.7+版本支持,咱也不管了,那就装吧,版本:jdk-7u67-linux-i586.tar.gz,安装新jdk之前记得找到linux自带的jdk版本并删除,不明白处自百之)

Ubuntu 12.04下安装JDK1.7

CentOS6.3安装JDK和环境配置

Ubuntu14.04 64位 安装JDK1.7 

a、解压到/usr/java目录下

tar  xvf jdk-7u67-linux-i586.tar.gz  -C /usr/java

b、 vi /etc/profile

export  JAVA_HOME=/usr/java/jdk1.7.0_67

export  CLASSPATH=/usr/java/jdk1.7.0_67/lib

export  PATH=$JAVA_HOME/bin:$PATH

c、source /etc/profile //不重启服务器情况下,这句让配置文件生效

d、java -version  //验证jdk是否正确安装

2、我们先规划好三台机,并制定好 三台机之后的角色:

主机名    ip                            角色

master  192.168.140.128    NameNode    ResourceManager

slave1  192.168.140.129    DateNode    NodeManager

slave2    192.168.140.130    DateNode    NodeManager

3、修改 主机名:

      root 权限下:vi /etc/sysconfig/network

      修改内容:HOSTNAME=master (同理 两台slave主机也要修改此配置,并分配相应的名字)

      同时 vi  /etc/hosts          ( 同理 两台slave主机也要修改此配置,并分配相应的hosts对应关系) 
          127.0.0.1 master
          192.168.140.129 slave1
          192.168.140.130 slave2

      修改完重启:reboot

4、建立hadoop用户(包括两台slave):

        useradd hadoop 

        passwd hadoop

5、master上配置SSH免密码登录

  su  hadoop  //切换到hadoop用户目录下

  ssh-keygen-t rsa(一路回车 生成密钥)

  cd/home/hadoop/.ssh/
    ls  //查看是否有生成两个文件 id_rsa.pub id_rsa

6、同步ssh信息到两台slave,  登录两台slave

      mkdir /home/hadoop/.ssh

      scp  id_rsa.pub [email protected]:/home/hadoop/.ssh/

      mv id_rsa.pub authorized_keys

7、新建hadoop安装目录  (root权限下操作)

      mkdir -p /data/hadoop
8、 解压下载下来的hadoop安装包到安装目录(root权限下操作)

      tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop
9、将安装目录权限赋予给 hadoop用户:(root权限下操作)

      chown -R hadoop.hadoop /data/hadoop/
10、配置hadoop安装信息和路径(root权限下操作)
      vi /etc/profile (在最后加上下面内容)
          export HADOOP_HOME=/data/hadoop
          export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
      source /etc/profile  //让配置生效
11、master上/data/hadoop/etc/hadoop
      vi slaves
          slave1
          slave2
      vi masters
          master
12、修改如下几个文件,并在中间添加以下相应内容:

a、vi core-site.xml

<configuration>

        <property>

              <name>fs.defaultFS</name>

              <value>hdfs://master:9000</value>

        </property>

        <property>

              <name>io.file.buffer.size</name>

              <value>131072</value>

        </property>

        <property>

              <name>hadoop.tmp.dir</name>

              <value>file:/data/hadoop/tmp</value>

        </property>

</configuration>

b、vi hdfs-site.xml

<configuration>

        <property>

              <name>dfs.namenode.name.dir</name>

              <value>file:/data/hadoop/dfs/name</value>

        </property>

        <property>

              <name>dfs.namenode.data.dir</name>

              <value>file:/data/hadoop/dfs/data</value>

        </property>

        <property>

              <name>dfs.replication</name> 

              <value>2</value>

        </property>

</configuration>

c、vi yarn-site.xml

<configuration>

        <property>

              <name>yarn.resourcemanager.address</name>

              <value>master:8032</value>

        </property>

        <property>

              <name>yarn.resourcemanager.scheduler.address</name>

              <value>master:8030</value>

        </property>

        <property>

              <name>yarn.resourcemanager.resource-tracker.address</name>

              <value>master:8031</value>

        </property>

        <property>

              <name>yarn.resourcemanager.admin.address</name>

              <value>master:8033</value>

        </property>

        <property>

              <name>yarn.resourcemanager.webapp.address</name>

              <value>master:8088</value>

        </property>

        <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

        </property>

        <property>

              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

              <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

</configuration>

d、mapred-site.xml

<configuration>

        <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

        </property>

        <property>

              <name>mapreduce.jobhistory.address</name>

              <value>master:10020</value>

        </property>

        <property>

              <name>mapreduce.jobhistory.webapp.address</name>

              <value>master:19888</value>

        </property>

</configuration>

至此 配置文件基本配置完毕。

13、将master上的hadoop安装文件同步到slave1 slave2,(hadop用户权限下即可)

      cd /data/hadoop
      scp -r /data/hadoop/*[email protected]:/data/hadoop/        //同步到slave1

      scp -r /data/hadoop/*[email protected]:/data/hadoop/        //同步到slave2

14、最后我们来到 /data/hadoop/bin目录下

      ./hadoop namenode -format  //启动hadoop

15、如果没有报错信息,基本是可以说 hadoop起来了,随便截取了最后几段日志:

15/01/13 18:08:10 INFO util.GSet:VM type      = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB
15/01/13 18:08:10 INFO util.GSet:capacity      = 2^19 = 524288 entries
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension    = 30000
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache on namenode is enabled
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis
15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache
15/01/13 18:08:10 INFO util.GSet:VM type      = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.029999999329447746% max memory 966.7 MB = 297.0 KB
15/01/13 18:08:10 INFO util.GSet:capacity      = 2^16 = 65536 entries
15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false
Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y
15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-729401054-127.0.0.1-1421143697660
15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.
15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0
15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1
************************************************************/

程序员干久了,性格沉闷,言辞干瘪,简单的描述只为做个记录,多多指教。

 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

工欲善其事,必先利其器,啥都不说,Hadoop下载: 选择好相应版本搞起,在本文...

一、修改hosts文件

在主节点,就是第一台主机的命令行下;

vim /etc/hosts

我的是三台云主机:

在原文件的基础上加上;

ip1 master worker0 namenode
ip2 worker1 datanode1
ip3 worker2 datanode2

其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点。

二、ssh互信(免密码登录)

注意我这里配置的是root用户,所以以下的家目录是/root

如果你配置的是用户是xxxx,那么家目录应该是/home/xxxxx/

#在主节点执行下面的命令:
ssh-keygen -t rsa -P '' #一路回车直到生成公钥

scp /root/.ssh/id_rsa.pub root@worker1:/root/.ssh/id_rsa.pub.master #从master节点拷贝id_rsa.pub到worker主机上,并且改名为id_rsa.pub.master
scp /root/.ssh/id_rsa.pub root@worker1:/root/.ssh/id_rsa.pub.master #同上,以后使用workerN代表worker1和worker2.

scp /etc/hosts root@workerN:/etc/hosts   #统一hosts文件,让几个主机能通过host名字来识别彼此

#在对应的主机下执行如下命令:
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys #master主机
cat /root/.ssh/id_rsa.pub.master >> /root/.ssh/authorized_keys #workerN主机

这样master主机就可以无密码登录到其他主机,这样子在运行master上的启动脚本时和使用scp命令时候,就可以不用输入密码了。

三、安装基础环境(JAVA和SCALA环境)

1.Java1.8环境搭建:

配置master的java环境

#下载jdk1.8的rpm包
wget --no-check-certificate --no-cookies --header "Cookie: Oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm 
rpm -ivh jdk-8u112-linux-x64.rpm 

#增加JAVA_HOME
vim etc/profile

#增加如下行:
#Java home
export JAVA_HOME=/usr/java/jdk1.8.0_112/

#刷新配置:
source /etc/profile #当然reboot也是可以的

配置workerN主机的java环境

#使用scp命令进行拷贝
scp jdk-8u112-linux-x64.rpm root@workerN:/root

#其他的步骤如master节点配置一样

2.Scala2.12.2环境搭建:

Master节点:

#下载scala安装包:
wget -O "scala-2.12.2.rpm" "https://downloads.lightbend.com/scala/2.12.1/scala-2.12.2.rpm"
#安装rpm包:
rpm -ivh scala-2.12.2.rpm

#增加SCALA_HOME
vim /etc/profile

#增加如下内容;
#Scala Home
export SCALA_HOME=/usr/share/scala

#刷新配置
source /etc/profile

WorkerN节点;

#使用scp命令进行拷贝
scp scala-2.12.2.rpm root@workerN:/root

#其他的步骤如master节点配置一样

四、Hadoop2.7.3完全分布式搭建

MASTER节点:

1.下载二进制包:

wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

2.解压并移动至相应目录

我的习惯是将软件放置/opt目录下:

tar -xvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 /opt

本文由乐虎游戏发布于计算机资讯,转载请注明出处:mg老虎机:安装hadoop-2.3.0-cdh5.1.2全过程

关键词:

Java高级软件工程师面试考纲,java考纲

【java技术栈】总序,java 技术栈(technologystack)常被用来指代某项工作或某个职位需要掌握的一系列技能的总和。一...

详细>>

游戏中战斗伤害范围攻击计算完整全版,战斗范围

游戏中战斗伤害范围攻击计算完整全版,战斗范围 还是看代码,比较直接,里面有详细的描述,应该能看懂。 前瞻回...

详细>>

Linux目录与文件权限的意义

AG游戏网站,JDB电子游戏,Linux目录与文件权限的意义 g娱乐场4355手机版,目录与文件权限的意义 新建新的文件与目录...

详细>>

Red5 服务器应用配置中文文档

Red5是一个采用Java开发开源的Flash流媒体服务器。它支持:把音频(MP3)和视频(FLV)转换成播放流;录制客户端播放...

详细>>