Apache Spark Apache Spark是一個開源叢集運算框架最初是由加州大學柏克萊分校AMPLab所開發相對於Hadoop的MapReduce會在執行完工作後將中介資料存放到磁碟中Spark使用了記憶體內運算技術能在資料尚未寫入硬碟時即在記憶體內分析運算Spark在記憶體內執行程式的運算速度能做到比Hadoop MapReduce的運算速度快上倍即便是執行程式於硬碟時Spark也能快上倍速度Spark允許用戶將資料加載至叢集記憶體並多次對其進行查詢非常適合用於機器學習演算法 使用Spark需要搭配叢集管理員和分散式儲存系統Spark支援獨立模式本地Spark叢集Hadoop YARN或Apache Mesos的叢集管理 在分散式儲存方面Spark可以和 AlluxioHDFS Cassandra OpenStack Swift和Amazon S等介面搭配 Spark也支援偽分散式pseudodistributed本地模式不過通常只用於開發或測試時以本機檔案系統取代分散式儲存系統在這樣的情況下Spark僅在一台機器上使用每個CPU核心執行程序 在年有超過位貢獻者投入Spark開發讓其成為Apache軟體基金會以及巨量資料眾多開源專案中最為活躍的專案