spark需要掌握哪些知识,学spark需要什么基础

spark需要掌握哪些知识,学spark需要什么基础

开发Spark应用程序时，可以使用Scala、Python、Java、R等语言。首选语言是Scala，因为Spark软件本身就是使用Scala语言开发的。使用Scala语言编写Spark应用程序可以达到Spark的最佳性能。 将操作的中间数据（shuffle阶段产生的数据）存储在内存中，迭代计算效率更高。MapReduce的中间结果需要执行并保存到磁盘；Spark计算框架比MapReduce具有更高的内存利用率和运行并行性。

Spark基础理论知识●前言●RDDS●共享变量●Hadoop●MapReduce●缓存●Windows下Spark的基本操作●参考前言Spark的shell。例如：Spark可以使用Hadoop的YARN和ApacheMesosa作为其资源管理和调度器；可以处理Hadoop支持的所有数据，包括HDFS、HBase、Cassandra等。 适用于已部署的Hadoop集群

?０? SparkCore：实现Spark的基本功能，包括RDD、任务调度、内存管理、错误恢复以及与存储系统交互等模块。 SparkSQL：用于操作结构化数据的Spark包。 通过SparkSQL，我们可以详细讲解Spark的基础知识。ApacheSpark是一个快速且多功能的集群计算系统。 它提供Java、Scala、Python和R中的高级API，以及支持常见执行图的优化引擎。 它还支持一组丰富的高级工具，包括SQL

3.说说Spark的工作流程，主要考察对Spark运行机制的理解，需要掌握Spark的任务提交、资源申请、任务分配等。第二阶段、Spark的内置模块我们先来看看Spark的内置模块：一个个解释一下，语言太官方了，选一些你能看懂的，看其他的，你就明白了我只是通过使用它们：SparkCore：SparkCore包括Spark的基本功能，例如 -内存计算