InputFormat组件

InputFormat主要用于描述输入数据的格式，它提供以下两个功能：

• 数据切分：按照某个策略将输入数据切分成若干个分片（split），以便确定MapTask个数以及对应的分片（split）。
• 为Mapper提供输入数据：给定某个分片（split），将其解析成一个一个的key/value键值对。

​ Hadoop自带了一个 InputFormat接口，该接口的定义代码如下所示：

  public abstract class InputFormat<K, V> {

​     public abstract List<InputSplit> getSplits(JobContext context

​               ) throws IOException, InterruptedException;

​     public abstract RecordReader<K,V>createRecordReader(InputSplit split,

​                     TaskAttemptContext context

​               ) throws IOException, InterruptedException;

  }

从上述代码可以看出，InputFormat接口定义了getSplits()和createRecordReader()两个方法，其中，getSplits()方法负责将文件切分为多个分片(split)，createRecordReader()方法负责创建RecordReader对象，用来从分片中读取数据。下面，我们主要对getSplits()方法进行介绍。

getSplits()方法主要实现了逻辑切片机制。其中，切片的大小splitSize是由3个值确定的，即minSize、maxSize和blockSize。

• minSize：splitSize的最小值，由参数mapred.min.split.size确定，可在mapred-site.xml中进行配置，默认为1MB。
• maxSize：splitSize的最大值，由参数mapreduce.jobtracker.split.metainfo.maxsize确定，可在mapred-site.xml中进行设置，默认值为10MB。
• blockSize：HDFS中文件存储块的大小，由参数dfs.block,size确定，可在hdf-site.xml中进行修改，默认为128MB。