"Big Data" ist ein weit verbreiteter Begriff, der unsere datenreiche Welt beschreibt, in der praktisch jede Aktivität einen digitalen Datenfußabdruck erzeugt, der gesammelt und analysiert werden kann. Daten und Datenanalyse sind zwar nicht unbedingt neu, aber die effektive Nutzung der extrem großen - und schnell wachsenden - Datenmengen von heute erfordert neue Ansätze für die Datenverwaltung.
Um Big Data für wichtige Anwendungen wie maschinelles Lernen und künstliche Intelligenz nutzbar zu machen, brauchen Sie mehr als eine Excel-Tabelle oder eine herkömmliche relationale Datenbank und SQL. Stattdessen ist eine komplette Dateninfrastruktur erforderlich, um diese Daten in großem Umfang zu sammeln und zu verarbeiten, einschließlich Datenpipelines, Data Lakes und Data Warehouses.
Um dies zu ermöglichen, verlassen sich Dateningenieure auf neue Ansätze zur Datenverarbeitung wie das von Google entwickelte MapReduce, das Open-Source-Ökosystem Apache Hadoop einschließlich Apache Spark und Apache Hive sowie zunehmend auf Cloud Computing und Cloud-Datenbankplattformen wie Cloudera.