1.进入我们的hadoop安装目录(hadoop-2.7.5-centos-6.7.tar.gz版本),里面有我们需要的jar包G:\myProgram\hadoop-2.7.5\share\hadoop2.按照如图所示进行添加eclipse用户自己的jar包3.把下图红线内的所有jar都添加...
1.进入我们的hadoop安装目录(hadoop-2.7.5-centos-6.7.tar.gz版本),里面有我们需要的jar包
G:\myProgram\hadoop-2.7.5\share\hadoop
2.按照如图所示进行添加eclipse用户自己的jar包
3.把下图红线内的所有jar都添加进eclipse中(以mapreduce为例)
按照上图的操作把
全部添加进去
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
win7下编译过的hadoopjar包 hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译。
有时候在eclipse上运行项目,需要引用的Hadoop的jar包,这里总结了一个很有用的小技巧 首先需要下载Hadoop的安装包 这里我直接分享一个官网hadoop的一个版本的下载链接: ...需要下载其他版本的可以看下面的步骤 ...
有时候在eclipse上运行项目,需要引用的Hadoop的jar包,这里总结了一个很有用的小技巧
(如果已经有所需jar包,要看怎么使用,直接跳到博客最后面看)
首先需要下载Hadoop的安装包
这里我直接分享一个官网hadoop的一个版本的下载链接:
http://us.mirrors.quenda.co/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
需要下载其他版本的可以看下面的步骤
1 浏览器,搜索【hadoop】,点击进到官网
2 进到后,点击Getting Started进去
3 点击download
4 点击 Apache Download Mirrors
5 点击官网建议的链接
6 进去后,看到方框圈圈地是Hadoop各个版本的下载,各位可以自行选择,这里我选择的是hadoop-3.1.3
7 进到里边有好几个文件,src的那个是源码,最下面那个是安装包。点击安装包下载。
下载完Hadoop的安装包,解压到某个磁盘下,打开如下
点击里面的share文件夹
点击hadoop文件夹
在搜索框输入jar
输入后结果如下,ctrl+A全选,ctrl+C复制提取出所有的 jar 包, 新建一个名为lib的文件夹放进去
在lib文件夹中,在搜索框输入test,将有含有test 名称的jar包删除
同样在搜索框输入source,将有含有source 名称的jar包删除。
留下剩余的jar包, 把该lib文件夹拷贝到eclipse 中的项目目录下。(如果已经有所需jar包,则建立一个名为lib的文件夹把所需jar包放进去,然后把该lib文件夹拷贝到eclipse 中的项目目录下,然后进行下面的最后一步)
打开lib文件夹,全选里面的jar包(点击第一个jar包,然后按住shift不放开,拉到lib文件夹最后一个jar包鼠标左键点击它),右键选择Buid Path——add to path即可!!
若对博客有疑问或者想进一步深究,欢迎讨论或者私聊。
若想直接获取 handoop 的jar包,可在我的博客资源里寻找。
hadoopeclipse mapreduce 下开发所有需要用到的 JAR 包。hadoopeclipse 下进行mapreduce开发所有需要用到的JAR包 mapreduce
hadoopeclipse 下进行mapreduce开发所有需要用到的JAR包
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包 转自:http://blog.csdn.net/liu_jason/article/details/7707472 在使用hadoop的过程中,不可避免地遇到一些问题需要对hadoop代码...
在使用hadoop的过程中,不可避免地遇到一些问题需要对hadoop代码进行改进,这就要求我们必须建立一个可修改hadoop代码的开发环境,下面的过程,我们就来建立一个基于Eclipse的hadoop开发环境。
- 安装Ant
Hadoop的编译需要Ant的支持,从这里下载并安装最新的Ant:http://ant.apache.org/bindownload.cgi。
安装完成后,别忘了将Ant的bin目录路径加入到windows系统的PATH环境变量中。
- 安装TortoiseSVN
Hadoop代码是以SVN的形式存放在apache服务器上,因此我们需要先安装一个SVN客户端,我选用的是熟悉的TortoiseSVN。
- Checkout hadoop代码
在我们前面建立的代码目录D:\hadoop\code\common\chunk目录下,checkout hadoop代码。我选用的是1.0.3版本的hadoop,所以远程服务器代码的URL填入的是:http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/。
- 安装Eclipse
代码checkout完成后,就该安装Eclipse工具了。
- 建立hadoop工程
在Eclipse中,点击File菜单的New->Java project,在打开的界面中输入以下信息:
然后点击Finish,即可导入我们已经checkout的hadoop基础组件代码。
导入完成后,你会看见左侧工程上会有很多小红叉,这是因为hadoop是需要用Ant进行编译,而不是java,所以我们要配置启用Ant编译:
* 左键点击common工程,选择Properties
* 选择左侧树形列表的Builders
*点击右侧的New按钮,在弹出的对话框中选择AntBuilder,然后点击OK
*在弹出的对话框中,将Name输入为:common_builder;并点击Browser File System按钮,选择D:\hadoop\code\common\chunk\build.xml文件
在点击上面的Target标签页,在第二项ManualBuild右侧点击SetTargets按钮,将原来的勾选去掉,选择jar选项,如下图:
然后点击OK按钮
* 在回到的对话框中再点击OK按钮,即可保存common_Builder编译器配置,然后将原来的Java Building下移并去掉勾选,如下图后点击OK即可:
回到eclipse视图,点击菜单项Project,去掉Build Automatically选项。
* 修改hadoop代码
为了解决在运行hadoop的wordcount程序遇到的“Failed to set permissions ofpath”错误问题,我们需要修改代码如下:
l使用快捷键Ctrl+Shift+R,打开文件FileUtil.java
l将checkReturnValue函数包含的代码注释掉
privatestaticvoidcheckReturnValue(booleanrv, File p,
FsPermission permission
)throwsIOException {
// if (!rv) {
// throw new IOException("Failed to setpermissions of path: " + p +
// " to " +
//String.format("%04o", permission.toShort()));
// }
}
- 编译hadoop程序
在菜单项windows->preferences->ant->Runtime->Classpath中,点击Add Jars,添加jdk目录下的\lib\tools.jar。
然后点击菜单项Project->Buildproject,等待编译完成。
- 使用编译后的代码
编译完成后,会看到Console输出中提示:
[jar] Building jar:D:\hadoop\code\common\chunk\build\hadoop-core-1.0.4-SNAPSHOT.jar
这就编译成功了,我们得到了新的hadoop jar文件。
将这个jar文件拷贝到D:\hadoop\deploy\hadoop-1.0.3目录下,并重命名为hadoop-tools-1.0.3.jar。
然后进入cygwin环境,重新stop-all.sh和start-all.sh启动hadoop,这样就使用了新的编译代码了。
在建立开发环境的过程中,我曾经遇到过以下一些问题:
- eclipse中第一次编译出现找不到javac错误
错误信息为:
Unable to find a javac compiler;
com.sun.tools.javac.Main is not on theclasspath.
遇到这个问题,是因为在classpath找不到javac。
解决方法:
在windows->preferences->ant->Runtime->Classpath中,点击Add Jars
添加jdk目录下的\lib\tools.jar即可。
至此,我们就成功建立了cygwin环境下的hadoop 1.0.3的运行和开发环境,下面就可以按照自己的想法使用和修改hadoop了。
1.右键需要导入hadoopjar包的项目,Build Path --> Congigure Build Path 先找到Hadoop的文件夹(注意不是Hadoop-2.8.5-src 源码文件夹),下面导入常用的4个包,包的位置如下。hadoop/share/...
1.右键需要导入hadoop jar包的项目,Build Path --> Congigure Build Path
先找到Hadoop的文件夹(注意不是Hadoop-2.8.5-src 源码文件夹),下面导入常用的4个包,包的位置如下。
hadoop/share/hadoop/common
hadoop/share/hadoop/hdfs
hadoop/share/hadoop/yarn
hadoop/share/hadoop/mapreduce
在离线分析任务中,为了在hadoop集群上分布式运行我们的程序,需要在eclipse环境中将需要运行的程序打好jar包,丢到服务器端,用hadoop jar xxx.jar <arg0> <arg1> ...... 命令来执行。...
我们已经习惯了windows,希望在Windows上进行hadoop代码开发,因为方便调试,如果要搭建这个运行环境,我们需要安装插件hadoop在eclipse中的插件hadoop-eclipse-plugin-2.7.6.jar包。** 一、下载hadoop-eclipse-...
一、用eclipse将Hadoop程序打包成jar 1、选中要打包的文件,右键选择“Export” 2、在java下选择JAR file 3、①中全选,②中自定义输出目录 4、直接“Next” 5、选择main class并选择...
有时候在eclipse上运行项目,需要引用的Hadoop的jar包,也就是hadoop的外部依赖包,有conf,fs,io,mapreduce等等,这里列举了一部分,基本上hadoop的所有外部依赖jar包都包含在内了,如果下载了不会使用,可以看我...
hadoop 2.7.5eclipsejar包,只需要放到eclipse的plugin目录下重启即可