Apache_Spark

Infobox Software | name = Apache Spark | logo = | caption = | developer = Apache軟體基金會, 加州大學柏克萊分校AMPLab, Databricks | status = 活躍 | latest release version = 2.4.3 | latest release date = | latest preview version = | latest preview date = | operating system = Linux, Mac OS, Microsoft Windows | size = | programming language = Scala, Java, Python | genre = 數據分析, 機器學習演算法 | license = Apache授權條款 2.0 | website = Apache Spark是一個開源叢集運算框架 ， 最初是由加州大學柏克萊分校AMPLab所開發 。 相對於Hadoop的MapReduce會在執行完工作後將中介資料存放到磁碟中 ， Spark使用了記憶體內運算技術 ， 能在資料尚未寫入硬碟時即在記憶體內分析運算 。 Spark在記憶體內執行程式的運算速度能做到比Hadoop MapReduce的運算速度快上100倍 ， 即便是執行程式於硬碟時 ， Spark也能快上10倍速度 。 Spark允許用戶將資料加載至叢集記憶體 ， 並多次對其進行查詢 ， 非常適合用於機器學習演算法 。 使用Spark需要搭配叢集管理員和分散式儲存系統 。 Spark支援獨立模式 （ 本地Spark叢集 ） 、 Hadoop YARN或Apache Mesos的叢集管理 。 在分散式儲存方面 ， Spark可以和 Alluxio 、 HDFS 、 Cassandra 、 OpenStack Swift和Amazon S3等介面搭配 。 Spark也支援僞分散式 （ pseudo-distributed ） 本地模式 ， 不過通常只用於開發或測試時以本機檔案系統取代分散式儲存系統 。 在這樣的情況下 ， Spark僅在一臺機器上使用每個CPU核心執行程序 。 在2014年有超過465位貢獻者投入Spark開發 ， 讓其成爲Apache軟體基金會以及巨量資料衆多開源專案中最爲活躍的專案 。