Cluster Mode Overview

Spark Cluster Mode

Cluster Mode Overview

Spark Cluster Mode - 2.4.5 - CN

目前来说，Spark 支持以下几种集群模式：

• Standalone：Spark 内置的简单集群模式
• Apache Mesos
• Hadoop YARN
• Kubernetes

Docker 快速集群测试

big-data-europe/docker-spark

对于快速测试的目的，可以通过 big-data-europe 项目下的 docker-spark 进行快速 spark 集群创建，基于 docker-compose。

Spark 作业提交

Submitting Applications

Spark 任务提交

Submitting Applications

Spark 任务提交 - 2.4.5 - CN

spark-submit

Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下：

./bin/spark-submit \
  --class <main-class> \        # 应用程序主入口类
  --master <master-url> \       # 集群的 Master Url
  --deploy-mode <deploy-mode> \ # 部署模式
  --conf <key>=<value> \        # 可选配置       
  ... # other options    
  <application-jar> \           # Jar 包路径 
  [application-arguments]       #传递给主入口类的参数