Apa itu PySpark?

PySpark adalah antarmuka untuk Apache Spark dalam Python. PySpark tidak hanya memungkinkan Anda untuk menulis aplikasi Spark menggunakan Python API, tetapi juga menyediakan shell PySpark untuk menganalisis data Anda secara interaktif dalam lingkungan terdistribusi. PySpark mendukung sebagian besar fitur Spark seperti Spark SQL, DataFrame, Streaming, MLlib (Machine Learning) dan Spark Core.