简介

Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。

特点

Apache Spark 具有以下特点：

• 使用先进的 DAG 调度程序，查询优化器和物理执行引擎，以实现性能上的保证；
• 多语言支持，目前支持的有 Java，Scala，Python 和 R；
• 提供了 80 多个高级 API，可以轻松地构建应用程序；
• 支持批处理，流处理和复杂的业务分析；
• 丰富的类库支持：包括 SQL，MLlib，GraphX 和 Spark Streaming 等库，并且可以将它们无缝地进行组合；
• 丰富的部署模式：支持本地模式和自带的集群模式，也支持在 Hadoop，Mesos，Kubernetes 上运行；
• 多数据源支持：支持访问 HDFS，Alluxio，Cassandra，HBase，Hive 以及数百个其他数据源中的数据。

集群架构