乐虎游戏|乐虎国际登录|欢迎你

Hadoop namenode配置以及问题处理

日期:2019-11-07编辑作者:计算机资讯

先是步:修改core-site.xml,配置如下内容:

尝试情形

重装系统后有折腾了漫长,才解决。。感到依然不可信赖。。先记下下

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

CentOS 6.1,x86

Hadoop 伪布满式配置:

<!-- Put site-specific property overrides in this file. -->

jdk1.7.0_02

1,hadoop版本

<configuration>

 

hadoop@Ubuntu:~/collector_3h/hadoop-0.20.2/bin$ ./hadoop version
Hadoop 0.20.2
Subversion -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

<property>

条件设置

2,配置文件

<name>fs.default.name</name>

$ cat ~/.bash_profile

hdfs-site.xml

<value>hdfs://localhost:9000</value>

# .bash_profile

hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<final>true</final>

 

<!-- Put site-specific property overrides in this file. -->

</property>

# Get the aliases and functions

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

 

if [ -f ~/.bashrc ]; then

    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property> 

<property>

        . ~/.bashrc

    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/name</value>
    </property>

<name>dfs.replication</name>

fi

    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/data</value>
    </property>
</configuration>

<value>1</value>

JAVA_HOME=/usr/java/default


</property>

Hadoop_INSTALL=/home/jiangzy/hadoop/hadoop-1.0.0

mapred-site.xml

</configuration>

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

其次步:改正hdfs-site.xml文件,配置如下内容:

PATH=$PATH:$HADOOP_INSTALL/bin

<!-- Put site-specific property overrides in this file. -->

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

<!-- Put site-specific property overrides in this file. -->

export PATH

    <property>
    <name>mapred.local.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/local</value>
    </property> 

<configuration>

export JAVA_HOME

    <property>
    <name>mapred.system.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/system</value>
    </property>

<property>
<name>dfs.name.dir</name>
<value>/cygdrive/d/Hadoop/working/name</value>
<final>true</final>
</property>

export HADOOP_INSTALL

</configuration>

<property>
<name>dfs.data.dir</name>
<value>/cygdrive/d/hadoop/working/data</value>
<final>true</final>
</property>

Hadoop配置


<property>
<name>fs.checkpoint.dir</name>
<value>/cygdrive/d/hadoop/working/checkpoint</value>
<final>true</final>
</property>

core-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

</configuration>

<!-- Put site-specific property overrides in this file. -->

其三步:纠正mapred-site.xml配置如下内容:

[jiangzy@hadoop-2 hadoop-1.0.0]$ cat conf/hdfs-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<?xml version="1.0"?>

  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/tmp</value> 
  </property> 

本文由乐虎游戏发布于计算机资讯,转载请注明出处:Hadoop namenode配置以及问题处理

关键词:

文件操作,c++文件操作

文件操作,c++文件操作 Java文件操作 读写操作,java文件操作读写 一、Java读取文件 案例1:读取D盘的1.txt文件      ...

详细>>

[.NET] 《Effective C#》快速笔记(三)- 使用 C# 表达设计,

[.NET] 《Effective C#》飞快笔记(三卡塔尔国- 使用 C# 表达设计, 《Effective C#》急忙笔记(三卡塔 尔(阿拉伯语:قطر...

详细>>

C#之事件

C#之事件, 事件基于委托,可以为任何大器晚成种委托项目提供生龙活虎种宣布订阅机制。 使用event关键字将多少个...

详细>>

mina.net 梳理,mina.net

mina.net 梳理,mina.net LZ最近离职,闲着也是闲着,打算梳理下 mg娱乐场www4355com,公司做的是电商,CTO打算把2.0系统用...

详细>>