Sqoop原理

Sqoop是传统关系型数据库服务器与Hadoop间进行数据同步的工具，其底层利用MapReduce并行计算模型以批处理方式加快了数据传输速度，并且具有较好的容错性功能，工作流程如图1所示。

图1 Sqoop工作流程

从图1可以看出，通过客户端CLI（命令行界面）方式或Java API方式调用Sqoop工具，Sqoop可以将指令转换为对应的MapReduce作业（通常只涉及到Map任务，每个Map任务从数据库中读取一片数据，这样多个Map任务实现并发的拷贝，可以快速的将整个数据拷贝到HDFS上），然后将关系型数据库和Hadoop中的数据进行相互转换，从而完成数据的迁移。

可以说，Sqoop是关系型数据库与Hadoop之间的数据桥梁，这个桥梁的重要组件是Sqoop连接器，它用于实现与各种关系型数据库的连接，从而实现数据的导入和导出操作。Sqoop连接器能够支持大多数常用的关系型数据库，例如MySQL、Oracle、DB2和SQL Server等，同时它还有一个通用的JDBC连接器，用于连接支持JDBC协议的数据库。

1．导入原理

在导入数据之前，Sqoop使用JDBC检查导入的数据表，检索出表中的所有列以及列的SQL数据类型，并将这些SQL类型映射为Java数据类型，在转换后的MapReduce应用中使用这些对应的Java类型来保存字段的值，Sqoop的代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录。

2．导出原理

在导出数据之前，Sqoop会根据数据库连接字符串来选择一个导出方法，对于大部分系统来说，Sqoop会选择JDBC。Sqoop会根据目标表的定义生成一个Java类，这个生成的类能够从文本中解析出记录数据，并能够向表中插入类型合适的值，然后启动一个MapReduce作业，从HDFS中读取源数据文件，使用生成的类解析出记录，并且执行选定的导出方法。