Hadoop應(yīng)用引用第三方j(luò)ar的幾種方式（一）

雖然我們可以在Eclipse下面開發(fā)Hadoop應(yīng)用程序，但是當(dāng)我們引用了第三方j(luò)ar文件的時(shí)候，把我們編寫的程序打成jar包之后，如何能夠在Hadoop集群下面運(yùn)行，是一個(gè)我們?cè)诔绦蜷_發(fā)的過程中必須要解決的一個(gè)問題，通過搜索資料，在這里把幾種可行的解決方案在這里總結(jié)一下。

創(chuàng)新互聯(lián)從2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站制作、網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元建始做網(wǎng)站,已為上家服務(wù),為建始各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

本來打算也一篇的，可是寫到后來，發(fā)現(xiàn)我太啰嗦了，寫的有點(diǎn)太細(xì)了，決定分開來寫，寫成兩篇好了。。。。

第一篇：主要寫Eclipse下面引入第三方j(luò)ar，以及打包在集群上運(yùn)行。

第二篇：主要寫Hadoop應(yīng)用程序如何引入第三方j(luò)ar，以及對(duì)生產(chǎn)環(huán)境下應(yīng)該怎么去引入第三方j(luò)ar的個(gè)人見解，文章鏈接《Hadoop應(yīng)用引用第三方j(luò)ar的幾種方式（二）》

===========================================================================================

在這里先說一下Eclipse下面引入第三方j(luò)ar的方法，這和下面的打成jar包有關(guān)系，一般來說有兩種方法：一種方法是直接在本地磁盤的目錄下，然后引入；另一種方法是在Eclipse工程根目錄下面新建lib目錄，然后引入。

第一種引入方法

在這里以Hadoop的提供的WordCount進(jìn)行簡(jiǎn)單的修改來進(jìn)行測(cè)試。代碼如下：

package com.hadoop.examples;
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import com.hadoop.hdfs.OperateHDFS;

public class WordCount {

    public static class TokenizerMapper extends
            Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);

        private Text word = new Text();

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            
            //它什么都不做，就是為了測(cè)試引入第三方j(luò)ar的，如果找不到，肯定就會(huì)報(bào)ClassNotFound異常
            OperateHDFS s = new OperateHDFS();
            
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends
            Reducer<Text, IntWritable, Text, IntWritable> {

        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        
        String[] otherArgs =
                new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length < 2) {
            System.err.println("Usage: wordcount <in> [<in>...] <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        for (int i = 0; i < otherArgs.length - 1; ++i) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        FileOutputFormat.setOutputPath(job, new Path(
                otherArgs[otherArgs.length - 1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1); 
    }
}

我把一個(gè)jar包放在的D盤的mylib目錄下面，這個(gè)jar是上一篇文章《使用Hadoop提供的API操作HDFS》中的類打成的jar包