学科分类
学科分类
Java工程师
前端工程师
Python工程师
大数据工程师
PHP工程师
C/C++工程师
目录
Hadoop
HDFS
MapReduce
Zookeeper
Hive
Flume
Kafka
HBase
Spark
如何对Spark进行调优
Spark处理数据比Hive快的原因
Spark中Worker的主要职责
Spark中的Driver功能
Spark任务提交后的执行流程
Spark如何防止内存溢出
Spark工作机制
Spark技术栈中的组件
Spark比Mapreduce快的原因
spark的shuffle阶段和mr的shuffle阶段
Spark任务中的宽窄依赖及每个Spark任务的stages划分
Spark master HA主从切换是否会影响集群已有作业的运行
Spark 使用Zookeeper实现HA，哪些资源保存到Zookeeper
Spark Core
Spark SQL
SparkStreaming
Flink

Spark任务提交后的执行流程

  1. 客户端启动后直接运行用户程序，启动Driver相关的工作：DAGScheduler和BlockManagerMaster等。
  2. 客户端的Driver向Master注册。
  3. Master还会让Worker启动Exeuctor。Worker创建一个ExecutorRunner线程，ExecutorRunner会启动 ExecutorBackend进程。
  4. ExecutorBackend启动后会向Driver的SchedulerBackend注册。Driver的DAGScheduler解析作业并生成相应的Stage，每个Stage包含的Task通过TaskScheduler分配给Executor执行。
  5. 所有stage都完成后作业结束。
点击此处
隐藏目录