Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

本篇内容介绍了“Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

Hadoop版本:0.20.203.0

eclipse版本:indigo最新版( )

安装eclipse其实就是解压,不过得先修改压缩文件的权限:

sudo chmod 777 eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz

然后将解压出来的文件夹的权限也改为777:

sudo chmod 777 -R eclipse

现在可以进入到eclipse文件夹中打开eclipse了,但还不能编写Hadoop程序。下面,问题也就来了

网上说直接把hadoop-0.20.203.0/contrib/下的hadoop-eclipse-plugin-0.20.203.0.jar复制到eclipse/plugins下就可以了,但是笔者就遇到如下问题:Map/Reduce location status updater,org/codehaus/jackson/map/JsonMappingException

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

查找网上的解决办法,说是刚才复制的包里少了5个jar包,要加入进去,到hadoop的根目录下的lib文件夹里将下列5个包加入hadoop-eclipse-plugin-0.20.203.0.jar的lib中(把刚才复制的那个包打开,直接将下面这五个包拖进去就行了)

commons-configuration-1.6.jar

commons-httpclient-3.0.1.jar

commons-lang-2.4.jar

jackson-core-asl-1.0.1.jar

jackson-mapper-asl-1.0.1.jar

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

然后更改该包META-INF目录下的MANIFEST.MF,将classpath修改为一下内容:

Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

保存退出,最后,把这个新的包复制过去重现打开eclipse

然后,在eclipse中加入Hadoop的路径,如下:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

加入Hadoop路径即可

打开MapReduce视图:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

然后选则Map/Reduce:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

然后可以看到下面多出了Map/Reduce Locations

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

在下方空白处单击右键选择New Hadoop location,出现如下画面:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

Map/Reduce Master中填写mapred-site.xml中的端口号,旁边那个Port中填写core-site.xml中的端口号

上面那个Location name随便填一个就行。完成后可以看到左边如下图:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

不过里面的内容不会马上显示,必须刷新一下。以后在运行程序,或者上传东西到HDFS上后都得刷新才能看到东西,如果各位要在这上面看的话。

现在,演示一个在eclipse上执行Hadoop程序的操作(程序为WordCount):

选择Run Congratulations:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

进入如下画面:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

左侧双击Java Application,右侧的内容将自动生成,然后切换到Arguments选项卡,填入如下内容:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

前一段为输入文件夹,后一段为输出文件夹。点击Run,程序开始运行,如下:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

运行成功,结果如下:

Ubuntu上怎么为eclipse安装hadoop插件以及在eclipse运行Hadoop程序

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。