windows搭建hadoop环境

之前虽然在wsl和docker上都搭建了hadoop的环境,但由于需要本地的代码调试,不得以而再次搭建windows平台的运行环境。


[TOC]

下载

首先下载我们需要的hadoop文件(这里的bin 和etc文件已经替换过,配置后直接使用即可):

下载地址

提取码:owtg

强调:将该文件解压到一个没有中文与空格的路径

拷贝dll文件

解压之后拷贝bin目录下的hadoop.dllC:\Windows\System32目录


配置环境变量

配置JAVA_HOME

将自己的jdk目录添加到环境变量中

配置HADOOP_HOME

就是刚才你解压的路径,不要有中文或者空格。

配置PATH

将hadoop和java的环境变量配置好。

%HADOOP_HOME%\bin
%JAVA_HOME%\bin

检验

打开cmd窗口,如果是之前打开的就关掉重新打开。

java -version
hadoop version

可以显示出版本就代表环境变量配置完成。


伪分布式配置

修改hadoop-env.cmd

  • 使用编辑器打开
解压路径\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
  • 修改JAVA_HOME的路径

修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/D:/Program/hadoop-2.7.7/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/D:/Program/hadoop-2.7.7/data/datanode</value>
</property>
</configuration>

记得改成你的解压路径:

检验

管理员打开cmd:

hdfs namenode -format

等待完成之后,进入到hadoop文件夹下,并启动hadoop:

.\sbin\start-all.cmd

也可以使用jps来查看当前进程:

关闭hadoop

.\sbin\stop-all.cmd

Enjoy it !

-------------本文结束感谢您的阅读-------------