Die Datenaufbereitung erfolgt in einer Reihe von Schritten, die mit der Erfassung der richtigen Daten beginnen, gefolgt von der Bereinigung, Kennzeichnung und abschließend der Validierung und Visualisierung.
Daten erfassen
Das Erfassen von Daten ist der Prozess des Zusammenstellens aller Daten, die Sie für ML benötigen. Die Datenerfassung kann mühsam sein, da sich die Daten in vielen Datenquellen befinden, unter anderem auf Laptops, in Data Warehouses, in der Cloud, in Anwendungen und auf Geräten. Eine Verbindung zu verschiedenen Datenquellen zu finden, kann eine Herausforderung sein. Auch nimmt das Datenvolumen exponentiell zu, so dass es eine Menge Daten zu durchsuchen gibt. Darüber hinaus haben die Daten je nach Quelle sehr unterschiedliche Formate und Typen. So sind beispielsweise Videodaten und tabellarische Daten nicht einfach gemeinsam zu verwenden.
Daten säubern
Die Datenbereinigung korrigiert Fehler und ergänzt fehlende Daten, um die Datenqualität zu gewährleisten. Nachdem Sie die Daten bereinigt haben, müssen Sie sie in ein einheitliches, lesbares Format umwandeln. Dieser Prozess kann die Änderung von Feldformaten wie Datumsangaben und Währungen, die Anpassung von Namenskonventionen und die Korrektur von Werten und Maßeinheiten umfassen, damit sie konsistent sind.
Daten beschriften
Die Datenbeschriftung ist ein Prozess, bei dem Rohdaten (Bilder, Textdateien, Videos usw.) identifiziert und mit einer oder mehreren aussagekräftigen und informativen Beschriftungen versehen werden, um einen Kontext zu schaffen, aus dem ein ML-Modell lernen kann. Beispielsweise können Beschriftungen anzeigen, ob auf einem Foto ein Vogel oder ein Auto zu sehen ist, welche Wörter in einer Audioaufnahme erwähnt wurden oder ob bei einer Röntgenaufnahme eine Unregelmäßigkeit entdeckt wurde. Die Beschriftung von Daten ist für verschiedene Anwendungsfälle erforderlich, beispielsweise für Computer Vision, natürliche Sprachverarbeitung und Spracherkennung.
Validierung und Visualisierung
Nachdem die Daten bereinigt und beschriftet sind, untersuchen ML-Teams die Daten oft, um sicherzustellen, dass sie korrekt und bereit für ML sind. Visualisierungen wie Histogramme, Streudiagramme, Box- und Whisker-Diagramme, Liniendiagramme und Balkendiagramme sind alles nützliche Tools, um die Korrektheit der Daten zu bestätigen. Darüber hinaus helfen Visualisierungen den Teams der Datenwissenschaft bei der Durchführung explorativer Datenanalysen. Dieser Prozess nutzt Visualisierungen, um Muster zu entdecken, Anomalien zu erkennen, eine Hypothese zu testen oder Annahmen zu überprüfen. Für die explorative Datenanalyse ist keine formale Modellierung erforderlich. Stattdessen können die Teams der Datenwissenschaft Visualisierungen verwenden, um die Daten zu entschlüsseln.