Spark 函数参考

Functions

Spark 内建函主要包含以下 2 大类：

标量函数（Scalar Function）

• Array Function：数组处理函数
• Map Function：Map 结构处理函数
• Date and Timestamp Function：时间日期处理函数
• JSON Fuction：JSON 处理函数

聚合函数（Aggregate-like Function）

• Aggregate Function：聚合函数
• Window Function：窗口函数

自定义函数

Spark 支持用户自定义函数，主要是对以下 2 种自定义函数提供支持：

• UDF：用户自定义标量函数

  Scalar User Defined Functions (UDFs)

• UDAT：用户自定义聚合函数

  User Defined Aggregate Functions (UDAFs)

Join 连接操作

支持的 Join 类型

Spark 中支持多种连接类型：