乐虎游戏|乐虎国际登录|欢迎你

Hadoop2.5.2 新特性

日期:2019-11-05编辑作者:计算机资讯

YARN
YARN的REST API支持write/modify操作。用户可以通过REST API提交和杀死一个应用。
时间线存储到YARN中,用来存储通用的和应用特定的信息,支持Kerberos认证技术。
公平调度器(Fair Scheduler)支持动态的分层的用户队列,用户队列在运行时动态的创建在任意指定的父队列下。

Hadoop是获取大数据的应用程序。 在这篇文章中,我们将安装一个用于伪分布式操作的Hadoop单节点集群。 我们将使用YARN运行mapreduce。

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

配置YARN

创建YARN需要的目录。

# bin/hdfs dfs -mkdir /user
# bin/hdfs dfs -mkdir /user/root

编辑 etc/hadoop/mapred-site.xml 并添加以下内容:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

很编辑 etc/hadoop/yarn-site.xml:

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
 </property>

启动 YARN:

# sbin/start-yarn.sh

您现在可以查看网页界面 .

今天看了下Hadoop官网,2.5.2版本已经发布好几天了。赶紧看看有什么新东西。

测试我们的安装

为了测试所有的工作,我们可以使用YARN运行MapReduce job:

# bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.2.jar pi 16 1000

这将使用quasiMonteCarlo方法来计算PI到小数点后16位。 一两分钟后,你应该得到你的回应:

Job Finished in 96.095 seconds
Estimated value of Pi is 3.14250000000000000000

这应该足以让您开始您的Hadoop旅程。我希望你喜欢这篇文章, 如果对您有帮助,或者如果有问题,请发表评论并告诉我。

Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  http://www.linuxidc.com/Linux/2017-04/143095.htm

Hadoop2.7.2集群搭建详解(高可用)  http://www.linuxidc.com/Linux/2017-03/142052.htm

使用Ambari来部署Hadoop集群(搭建内网HDP源)  http://www.linuxidc.com/Linux/2017-03/142136.htm

Ubuntu 14.04下Hadoop集群安装  http://www.linuxidc.com/Linux/2017-02/140783.htm

CentOS 6.7安装Hadoop 2.7.2  http://www.linuxidc.com/Linux/2017-08/146232.htm

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  http://www.linuxidc.com/Linux/2017-07/145503.htm

CentOS 7.3下Hadoop2.8分布式集群安装与测试  http://www.linuxidc.com/Linux/2017-09/146864.htm

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  http://www.linuxidc.com/Linux/2017-06/144932.htm

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  http://www.linuxidc.com/Linux/2017-06/144926.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-12/149852.htm 

图片 1

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

安装所需的软件

更新您的系统并重新启动,以便我们开始尝试。

# apt update && apt upgrade -y
# reboot

由于Hadoop基于Java,我们将需要在我们的服务器上安装Java 8。

# apt install -y openjdk-8-jdk

为了确保Hadoop附带的脚本正常工作,确保安装了ssh和pdsh。

# apt install ssh pdsh -y

现在我们可以开始配置Hadoop了。

Apache Hadoop 2.5.2包含了一些重要的基于2.5.0发行版的bug修复。

下载 Hadoop

在撰写本文时,Hadoop的最新稳定版本是2.8.2,因此我们将下载该版本。

# wget http://apache.cs.utah.edu/hadoop/common/stable/hadoop-2.8.2.tar.gz
# tar -xzvf hadoop-2.8.2.tar.gz
# cd hadoop-2.8.2/

我们需要对我们的配置做一些补充,所以用适当的内容编辑下面几个文件:

etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr

etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

现在为了使脚本正常工作,我们需要设置无密码的SSH登录localhost:

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

格式化HDFS文件系统。

# bin/hdfs namenode -format

最后,启动HDFS。

# sbin/start-dfs.sh

启动后,您可以通过以下URL访问NameNode的Web界面:http://{server-ip}:50070

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

必要条件

对于本文,我创建了一个具有8GB内存的VM和4个vcpu,使用的是Ubuntu Server 17.10 ISO,其中有60gb的驱动器空间。请记住,这是在此配置下测试我们Hadoop的最低限度。 我们最后运行的例子需要一些时间来运行。 这个设置是如果你是Hadoop的新手,并且想尝试运行它。 在稍后的文章中,我们将介绍并配置一个更强大的集群,它将会有更好的性能和功能。

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Common
使用HTTP代理服务器时认证技术改进。当通过代理服务器访问WebHDFS时,这将非常有用。
增加了一个新的hadoop指标监控sink,允许将监控数据直接写入到Graphite。
与hadoop兼容文件系统相关的规范工作。

本文由乐虎游戏发布于计算机资讯,转载请注明出处:Hadoop2.5.2 新特性

关键词:

在CentOS上安装rvm

本文系统CentOS6.5 x64 如果是Ubuntu系统,先安装编译环境 Ruby On Rails是一个用Ruby语言写的开源Web框架,和J2EE,PHP等类似...

详细>>

mg电子游戏娱乐场Liunx PHP的GD库 增多 jpeg 文件的援救

GD Support enabled  代码如下 本文永久更新链接地址 :http://www.linuxidc.com/Linux/2014-11/109911.htm 很显然多了个 JPEG Support en...

详细>>

CentOS7 yum安装LNMP以及LAMP

CentOS 7.11053最小化安装LNMP通过yum安装,由于CentOS7没有MySQL的yum源,所以要自己安装MySQL的yum源,但是安装上了,在我这...

详细>>

Nginx 作为Web Server 的优化要点

Nginx既可用作Web Server,也可用作反向Proxy,这里先研商作为WebServer的平淡无奇优化主旨。 常用优化中央 Nginx使用的是...

详细>>