Apakah data saya perlu untuk muat dalam memori untuk menggunakan Spark?

Tidak. Operator Spark menumpahkan data ke disk jika tidak sesuai dengan memori, memungkinkan untuk berjalan dengan baik pada data berukuran apapun. Demikian pula, dataset cache yang tidak sesuai dengan memori baik menumpahkan ke disk atau dihitung ulang saat terbang bila diperlukan, sebagaimana ditentukan oleh tingkat penyimpanan RDD.