Spark的框架模块和运行模式是什么？

更新时间:2022年01月05日16时54分来源:传智教育浏览次数:

整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。

Sparkd的框架模块和运行模式

Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。

SparkSQL：基于SparkCore之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进处理,SparkSQL本身针对离线计算场景。同时基于SparkSQL，Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流式计算。

SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。

MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。

Spark提供多种运行模式，包括：

本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境

Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境

Spark中的各个角色运行在YARN的容器内部，并组成Spark集群环境

Spark中的各个角色运行在Kubernetes的容器内部，并组成Spark集群环境

猜你喜欢：

什么是Spark SQL？Spark SQL简介

最新资讯