分布式计算模型MapReduce

一、学习目标理解MapReduce设计思想
熟练掌握MapReduce分布式计算的基本原理
掌握使用java进行MapReduce编程
掌握在Hadoop集群中提交MapReduce任务
HDFS读文件
HDFS写文件
HDFS文件格式
二、MapReduce的设计思想分而治之：简化并行计算的编程模型
构建抽象模型：开发人员专注于实现Mapper和Reducer函数
隐藏系统层细节：开发人员专注于业务逻辑实现
三、MapReduce特点优点：易于编程，可扩展性，高容错性，高吞吐量
不适用领域：难以实时计算（迅速做出反应），不适合流式计算，不适合DGA（有向图）计算
四、MapReduce编程规范
五、编写mapper 1.导入依赖 org.apache.hadoophadoop-client2.6.0org.apache.hadoophadoop-common2.6.0org.apache.hadoophadoop-hdfs2.6.0org.apache.hadoophadoop-mapreduce-client-core2.6.0org.apache.hadoophadoop-mapreduce-client-common2.6.0 2.编写mapper类（1）继承
org.apache.hadoop.mapreduce.Mapper （2）分割 map方法的重写
package com.njbdqn.mywz.wcserver;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/*LongWritable, Text, Text, IntWritable前两个是进来的参数，后面两个是出来的参数进出都是键值对 */public class wcMapper extends Mapper {private final static IntWritable one = new IntWritable(1);/*** 分割* @param key* @param value* @param context* @throws IOException* @throws InterruptedException*/@Overrideprotected void map(LongWritable key, Text value, Mapper.Context context) throws IOException, InterruptedException {//分割单词/** hello hadoop hello hadoop java* hello 1* hadoop 1* hello 1* hadoop 1* java 1* */String[] words = value.toString().split("\\s+");//这边不负责聚合。由MapReducefor (String word :words) {context.write(new Text(word), one);//想内存表添加一条数据 key value}}/** hello ==> hello list[1,1]* hadoop ==> hadoop list[1,1]* java ==> java list[1]* */} 3.编写Reduce类（1）继承
org.apache.hadoop.mapreduce.Reducer （2）聚合 reduce方法的重写
package com.njbdqn.mywz.wcserver;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;import java.io.IOException;/*Text, IntWritable,Text,IntWritable前两个是进来的参数，后面两个是出来的参数这边前两个的进相当于mapper里面的出的两个参数进出都是键值对 */public class WcReduce extends Reducer {/*** 聚合* @param key* @param values* @param context* @throws IOException* @throws InterruptedException*/@Overrideprotected void reduce(Text key, Iterable values, Reducer.Context context) throws IOException, InterruptedException {int num = 0;for (IntWritable n :values) {num += n.get();//获取IntWritable中的基本类型的数据}context.write(key,new IntWritable(num));}} 4.编写启动类APP 一定要注意自己导入的包！！！！！
package com.njbdqn.mywz.wcserver;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WcApp {public static void main(String[] args) throws Exception {//产生1个job任务注意导入的包是 mapreduce下的Job job = Job.getInstance(new Configuration(), "wc");//设置当前类未Jar包的引导主类job.setJarByClass(WcApp.class);//设置你读取文件的位置注意导入的包是 mapreduce下的FileInputFormat.setInputPaths(job,new Path("d:/English.txt"));//设置结果存放路劲文件夹一定要是空的否则输出不了FileOutputFormat.setOutputPath(job,new Path("d:/hahaha"));//把自己的mapper嵌入到MapMapper中job.setMapperClass(WcMapper.class);//把自己的mapper类的输出类型通知框架job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);//把自己的reduce嵌入到MapReduce中job.setReducerClass(WcReduce.class);//吧自己的reduce的输出类型通知框架job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);//启动框架运行job.waitForCompletion(true);}} 5.查看你的文档
【分布式计算模型MapReduce】