一个Spark作业运行时包括一个Driver进程,也是作业的主进程,具有main函数,并且有SparkContext的实例,是程序的人口点。
Driver的功能是负责向集群申请资源,向master注册信息,负责作业的调度、解析、生成Stage并调度Task到Executor上。包括DAGScheduler,TaskScheduler。