Der Zweck unserer Plattform ist es, große Mengen an Handelsdaten (mehr als 6 Milliarden Datensätze) in einen Mehrwert für unsere Kunden zu verwandeln, so dass sie als Nutzer aus diesen Informationen gezielt Wissen gewinnen können. Durch die Kombination von verschiedenen Werkzeugen unserer Plattform sind die Kunden in der Lage, bessere strategische Entscheidungen oder Vorhersagen zu treffen und ihren Wettbewerbsvorteil zu sichern. Bevor wir diese Informationen veröffentlichen oder visualisieren können, müssen die Daten verarbeitet und analysiert werden, um eine hohe Qualität und Zugänglichkeit zu garantieren. Um ein besseres Verständnis für diesen Transformationsprozess zu erhalten, haben wir jeden Schritt im Detail für Sie beschrieben: 1. Sammeln und Extrahieren Unsere Daten kommen aus einer Vielzahl von Quellen, die im Allgemeinen eher schlecht strukturiert sind. Diese Rohdaten sind normalerweise nicht selbsterklärend, verschiedenartig, nicht hierarchisch abgespeichert und in keinem bestimmten Format vorhanden. Sie werden aus unterschiedlichen operativen Systemen mit Dateneingabe-Anwendungen generiert und uns übermittelt. Diese Anwendungen erzeugen ihre Daten zum Teil aus Tag-zu-Tag-Transaktionen (Sendungen). Oft werden aber auch per OCR-Software (Optical Character Recognition) gescannte Dokumente und Text-Dateien mit einer unvermeidlichen Fehlerrate übermittelt. Auch verfügen wir über statistische Daten, die von verschiedenen Ländern gemeldet werden, meist strukturiert, aber nicht immer validiert. 2. Transformieren Bevor die Daten in unsere Plattform importiert / geladen werden können, müssen wir die Daten in ein von uns definiertes Standardformat umwandeln, indem wir die Daten analysieren, dekodieren, umbenennen, transponieren und abbilden, so dass sie in unser Data-Warehouse passen. 3. Verifizieren Wir überprüfen unsere Daten durch quantitative und qualititive Analysen mithilfe von statistischen Modellen und Stichproben. Unser System überwacht den Gesamtprozess, vom Sammeln bis zur Veröffentlichung / Visualisierung der Daten auf unserer Plattform. Auf diese Weise können wir die Vollständigkeit und Richtigkeit unserer Daten fundiert und objektiv bewerten. 4. Validieren Um zu garantieren, dass unser System unsere Anforderungen und Spezifikationen von Genauigkeit, Wiederholbarkeit, Reproduzierbarkeit, Stabilität und Sicherheit erfüllt, validieren wir unsere Daten und Programme nach Datentyp-, Konstanten- und Querverweiskonsistenz. Ein paar Beispiele unserer Validierungsmethoden sind: Plausibilitätsprüfungen: Überprüft die Felder, um sicherzustellen, dass Daten in diesen Feldern dem erwarteten Wert entsprechen Systemübergreifende Plausibilitätsprüfungen: Vergleicht Daten in verschiedenen Systemen, um sicherzustellen, dass diese plausibel sind Prüfsummen: Dies geschieht mittels numerischer Werte unterschiedlicher Art, die in jedem Datensatz erscheinen Kardinalitätsprüfung: Überprüft, ob der Datensatz eine gültige Anzahl in Beziehung stehender Datensätze hat 5. Bereinigung Vor dem Prozess der Organisation von Informationen in einem Data Warehouse ist die Datenbereinigung und -verbesserung entscheidend. Wichtige Aufgaben in der Datenbereinigung sind: Deduplizieren / Zusammenführen von Datensätzen Fehlerhafte oder fehlende Datenwerte aufgrund von Dateneingabefehlern erkennen Inkonsistente Namenskonventionen, aufgrund unterschiedlicher Quellformate, vereinheitlichen (Abkürzungen wie "ONE" vs. "1" oder "Ltd." vs. "Limited") Firmennamen und -adressen sind falsch geschrieben, in verschiedenen Variationen oder beinhalten zusätzliche deplatzierte Informationen 6. Ordnen und Standardisieren Bevor Informationen aus den Daten extrahiert werden können, müssen sie organisiert, strukturiert und standardisiert werden. Um eine Vergleichbarkeit untereinander zu ermöglichen, werden die Strukturen und Elemente der Datensätze unter Zuhilfenahme einer einheitlichen Definition angepasst. So kann die später implementierte Geschäftslogik Analysen und Interpretationen aller Daten für die Plattform zur Verfügung stellen. Dazu verwenden wir mehr als 20 verschiedene Softwarekomponenten, die in verschiedenen, für den Einsatzzweck optimalen Programmiersprachen, geschrieben sind. 7. Anreicherung Durch die Datenanreicherung können wir eine signifikante Verbesserung des Geschäftswertes unserer integrierten Daten bieten. Einige Beispiele für die Anreicherung sind: Zusammenstellung eingehender Datensätze mit vorhandenen Daten zur Identifizierung neuer Sendungen, Produkte, Kunden oder Lieferanten Korrektur von ungültigen Daten auf der Grundlage anderer Daten im Datensatz oder in der Datenbank Interpolierung von fehlenden Werten basierend auf anderen verfügbaren Daten 8. Analyse Einer der wichtigsten Schritte in der Transformation zum Wissen ist die Analyse der Daten. Neben Datenforschung, Datenmodellierung, Data Mining und Datenkorrelation durch Algorithmen sind quantitative und qualitative Statistiken ein wesentlicher Bestandteil unserer Datenanalyse. Erst nach der richtigen Analyse werden die Daten in Informationen umgewandelt, die wir nutzen können, um unser Wissen auszubauen. Für Ihr Verständnis: Datenforschung: ein Ansatz zur Analyse von Datensätzen, um ihre Hauptmerkmale, oft mit visuellen Methoden zusammenzufassen. Data Mining: der rechnergestützte Prozess der Entdeckung von Mustern in großen Datensätzen mit Methoden aus Gebieten wie der künstlichen Intelligenz, maschinelles Lernen, Statistik und Datenbank-Systeme. Data Mining umfasst 6 Aufgabenstellungen: Anomalieerkennung - (Ausreißer- / Abweichungserkennung) Die Identifizierung von ungewöhnlichen Datensätzen, die interessant sein könnten oder Datenfehler, die weitere Untersuchungen erfordern. Abhängigkeitsmodellierung (Assoziationsregel erkennen) - Sucht nach Beziehungen zwischen einzelnen Variablen in den Daten Clustering - ist die Aufgabe, Gruppen und Strukturen in den Daten zu erkennen, die in irgendeiner Weise ähnlich sind, ohne bekannte Strukturen in den Daten zu verwenden. Klassifizierung - ist die Aufgabe, Daten zu klassifizieren und sie auf die neuen Daten anzuwenden. Regression - versucht, eine Struktur zu finden, die die Rohdaten mit dem kleinsten Fehler modelliert Verdichtung - Bereitstellung einer kompakteren Darstellung des Datensatzes, einschließlich Visualisierung und Reportgenerierung. 9. Visualisierung Das primäre Ziel unserer Datenvisualisierung ist es, Informationen über statistische Grafiken, Tabellen und Informationsgrafiken klar und effizient zu kommunizieren. Bei numerischen Daten kann die Verwendung von Diagrammen quantitative Verhältnisse visuell kommunizieren. Eine effektive Visualisierung hilft unseren Anwendern, Daten schnell und einfach zu analysieren und zu begründen. Es macht komplexe Daten zugänglicher, verständlicher und nutzbar. Benutzer haben Interesse an bestimmten analytischen Aufgaben, wie Vergleiche zu machen oder ein Verständnis von Kausalitäten zu gewinnen. Das Designkonzept unserer Oberfläche folgt dieser Kundenanforderung. In diesen 9 Schritten verwandelt ABRAMS World Trade Wiki internationale Handelsdaten in kostbares Wissen. Wir sind davon überzeugt, dass unsere Plattform Wettbewerbsvorteile für Sie bereithält!