spark基礎(chǔ)知識介紹

Spark是一種開源集群計算環(huán)境，與Hadoop相似但又有所不同。Apache Spark最初是由加州大學(xué)伯克利分銷的AMP實驗室開發(fā)出來的，后來成為Apache的開源項目之一，作為專門為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用型計算引擎來使用。與MapReduce技術(shù)相比，Spark有著多種優(yōu)勢，如提供了統(tǒng)一全面的框架、大大提高了應(yīng)用運(yùn)行速度、可以快速使用Java等語言來編寫程序等，目前Spark形成一個應(yīng)用廣泛、發(fā)展高速的生態(tài)系統(tǒng)。接下來就讓我們一起來了解下Spark的性能特點、運(yùn)行模式、運(yùn)行特點以及體系架構(gòu)等知識。

• 

  spark性能特點

  1、專注性。由于高級API剝離了對于集群本身的關(guān)注，所以spark開發(fā)者可以專注于應(yīng)用所需要做的計算本身。
  2、速度快。Spark支持復(fù)雜算法和交互式計算，運(yùn)行速度快。
  3、通用性。Spark是一個通用引擎，因此可以用來完成如文本處理、SQL查詢等運(yùn)算。
  4、支持多種資源管理器。如Hadoop YARN、Apache Mesos等管理器都支持使用。

• 

  spark運(yùn)行模式

  1、spark的運(yùn)行模式是多種多樣的，并不限于一種，可以按需選擇。
  2、以單機(jī)方式部署時，spark可以用本地模式運(yùn)行或者偽分布模式運(yùn)行。
  3、部署在分布式集群時，也可以根據(jù)集群的實際選擇不同的運(yùn)行模式。底層資源調(diào)度既可以使用spark內(nèi)建的獨(dú)立集群運(yùn)行模式，也可以依賴外部資源調(diào)度框架。

• 

  spark運(yùn)行特點

  1、除非在外部存儲系統(tǒng)寫入數(shù)據(jù)，否則Spark Application就不能跨應(yīng)用共享數(shù)據(jù)。
  2、spark的運(yùn)行和資源管理器是沒有關(guān)系的，只需獲取executor進(jìn)程并保持通信即可。
  3、提交SparkContext的Client需靠近運(yùn)行Executor的節(jié)點，而且最好在同一個Rack里。
  4、Task采用的優(yōu)化機(jī)制是數(shù)據(jù)本地性和準(zhǔn)側(cè)執(zhí)行。

• 

  spark體系架構(gòu)

  Spark體系架構(gòu)主要有三個組件。
  1、數(shù)據(jù)存儲。Spark使用HDFS文件系統(tǒng)來存儲數(shù)據(jù)。
  2、資源管理。Spark有多種不同的部署方式，可以部署在一個單獨(dú)服務(wù)器上，也可以部署在分布式計算框架上，如Mesos等。
  3、API。Spark提供三種程序設(shè)計語言的API，分別是Java、Scala和Python。開發(fā)者可以利用標(biāo)準(zhǔn)的API接口來創(chuàng)建基于Spark的應(yīng)用。

• 

  spark與hadoop的關(guān)系

  1、spark自身是沒有提供分布式文件系統(tǒng)的，其分析大部分都需要依賴于Hadoop的分布式文件系統(tǒng)，也就是HDFS。
  2、Mapreduce是Hadoop的分布式計算模塊，Mapreduce和spark都可以計算數(shù)據(jù)，但Mapreduce比spark速度要慢一些，且功能也不如spark豐富。
  3、spark可以看作是Hadoop MapReduce的替代品，用來提供一個全面、統(tǒng)一的管理大數(shù)據(jù)用例和需求的解決方案。