Apache Spark

Spark on Apache Software Foundationin avoimen lähdekoodin ohjelmisto yleiskäyttöiseen klusteripohjaiseen laskentaan.

Spark laajentaa ja yleistää MapReducen käyttöä ns. Big data käytössä ja mahdollistaa laajemman eri muotoisten tietolähteiden käytön (esimerkiksi tekstitiedostot ja SQL-kyselyt).

Spark tarjoaa ohjelmointirajapinnat muun muassa Java, Python, R ja Scala -kielille ja sitä voidaan käyttää Apache Hadoop ja Apache Mesos -klustereissa. Spark on usein mukana Hadoopin kanssa, mutta on korvannut MapReducen käytön nopeusedun vuoksi.

Spark käyttää RAM-muistia välimuistina eikä tiedostojärjestelmää kuten Hadoop, joka mahdollista Sparkille käsitellä käyttötapauksia joita Hadoopilla ei voi. Pienissä kuormituksissa Spark voi olla sata kertaa nopeampi.

Lähteet

Kirjallisuutta

Aiheesta muualla 
 Apache Spark Projektin kotisivut 

Tiedonhallinta
Apache Software Foundation