Apa perbedaan antara Spark Streaming dan Spark Structured Streaming? Apa yang harus saya gunakan?

Spark Streaming adalah generasi sebelumnya dari Spark's streaming engine. Tidak ada lagi pembaruan untuk Spark Streaming dan itu adalah proyek warisan. Spark Streaming menyediakan abstraksi tingkat tinggi yang disebut diskretized stream atau DStream, yang mewakili aliran data yang berkelanjutan. Secara internal, DStream diwakili sebagai urutan RDD. Spark Structured Streaming adalah generasi saat ini dari Spark's streaming engine, yang lebih kaya fungsi, lebih mudah digunakan, dan lebih terukur. Spark Structured Streaming dibangun di atas mesin Spark SQL dan memungkinkan Anda untuk mengekspresikan komputasi streaming dengan cara yang sama seperti Anda mengekspresikan komputasi batch pada data statis. Anda harus menggunakan Spark Structured Streaming untuk membangun aplikasi streaming dan pipa dengan Spark. Jika Anda memiliki aplikasi warisan dan pipa yang dibangun di Streaming Spark, Anda harus memindahkannya ke Spark Streaming Structured.