博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop入门(一):Hadoop伪分布安装
阅读量:6262 次
发布时间:2019-06-22

本文共 1520 字,大约阅读时间需要 5 分钟。

 

1安装Hadoop

首先解压下载来的hadoop 0.20包到/home/admin目录:

tar xzfhadoop-0.20.2.tar.gz

 

配置Hadoop环境变量:

exportHADOOP_INSTALL=/home/admin/hadoop-0.20.2

exportPATH=$PATH:$HADOOP_INSTALL/bin

 

测试下是否安装成功:

hadoop version

2创建SSH无密码模式密钥

为当前用户配置无密码的SSH登录:

         ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa

cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

测试一下是否还提示输入密码:

ssh localhost

3配置Hadoop伪分布模式

/home/admin/hadoop-0.20.2/conf/core-site.xml

===============================================================================

<configuration>

       <property>

               <name>fs.default.name</name>

               <value>hdfs://localhost</value>

       </property>

</configuration>

 

/home/admin/hadoop-0.20.2/conf/hdfs-site.xml

===============================================================================

<configuration>

       <property>

               <name>dfs.replication</name>

                <value>1</value>

       </property>

</configuration>

 

/home/admin/hadoop-0.20.2/conf/mapred-site.xml

===============================================================================

<configuration>

       <property>

               <name>mapred.job.tracker</name>

               <value>localhost:8021</value>

       </property>

</configuration>

4启动Hadoop服务

4.1格式化NameNode

hadoop namenode -format

4.2启动服务

start-dfs.sh

start-mapred.sh

4.3常见问题

在namenode启动脚本%HADOOP_HOME%/bin/start-dfs.sh的时候发现datanode报错:

Error: JAVA_HOMEis not set

原因是在%HADOOP_HOME%/conf/hadoop-env.sh内缺少JAVA_HOME的定义,只需要在hadoop-env.sh中增加:

exportJAVA_HOME=/export/servers/jdk1.6.0_25/

5测试HDFS

hadoop fs -mkdir books

hadoop fs -ls .

hadoop fs -copyFromLocal NOTICE.txthdfs://localhost/user/root/books/NOTICE.txt

 

参考资料

《Hadoop权威指南》

 

转载地址:http://wkzpa.baihongyu.com/

你可能感兴趣的文章
敏捷结果30天之第九天:使用必须、应该、可以来确定每天事情的优先级
查看>>
NFS在redhat中的一些简易应用
查看>>
mysqlbinlog查看编码问题
查看>>
进程通信(VC_Win32)
查看>>
MVP福利--利用Azure虚拟机玩Windows Server 2012
查看>>
Mac中将delete键定义为删除键
查看>>
python 函数关键参数
查看>>
ubuntu一键安装lamp
查看>>
漫谈 Clustering (1): k-means
查看>>
SQL Server 查询性能优化——索引与SARG(三)
查看>>
Oracle EBS:打开工作日历查看
查看>>
浅谈字节序(Byte Order)及其相关操作
查看>>
OSG闪存
查看>>
C#迭代器
查看>>
[Android] Change_xml.sh
查看>>
POJ-1925 Spiderman 动态规划
查看>>
实战BULK COLLECT(成批聚合类型)和数组集合type类型is table of 表%rowtype index by binary_integer ....
查看>>
Linux编程基础——线程概述
查看>>
Hive内部表外部表转化分析
查看>>
【转】使用Xcode和Instruments调试解决iOS内存泄露
查看>>