Distributed and Parallel Data Management to Support Geo-Scientific Simulation Implementations
Creators: name: Jahn, Markus Wilhelm
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2022
Subjects: Verteiltes und paralleles Geodaten-Management
räumliche und raum-zeitliche Geodatenmodellierung
topologische Konsistenz
Systemdenken
Simulation

description: Es ist eine schwierige Aufgabe, innerhalb und zwischen den wissenschaftlichen Domänen eine gemeinsame Sprache zu finden. Eine Lösung ist die Verwendung von Abstraktionen. Allgemeine Systemwissenschaft als wissenschaftliche Abstraktionsschicht ist die Wissenschaft der Modellierung beliebiger Phänomene, Systeme, deren Verhalten analysiert werden kann, um ein tieferes Verständnis über diese Phänomene zu erlangen. Angewandte Systemwissenschaftler modellieren, analysieren und simulieren Phänomene der Wirklichkeit, die mehrere wissenschaftliche Domänen umfassen können. Das Hauptziel der Computational Science ist es, jede wissenschaftliche Arbeit durch die Bereitstellung anwendbarer Computertechnologie in Verbindung mit Datenmanagement- und Verarbeitungskonzepten zu unterstützen. Expertenwerkzeuge neigen dazu, sich aus wirtschaftlichen, technischen oder anderen Gründen auf bestimmte wissenschaftliche Bereiche zu konzentrieren, auf Kosten der Zusammenarbeit und bereichsübergreifender Abstraktion. Daraus resultiert eine schwierige Zusammenarbeit mit und zwischen Experten unterschiedlicher Wissenschaftsbereiche, die den wissenschaftlichen Arbeitsablauf behindert. Das Data Mining für groß angelegte Simulationen und die Modellgenerierung ist ein komplexer Prozess, bei dem Wissenschaftler unterschiedlicher Fachrichtungen in einem kooperativen Prozess eng zusammenarbeiten müssen. Die meisten Daten basieren auf Schätzungen und Interpretationen geowissenschaftlicher Daten aus verschiedenen Quellen, darunter Photogrammetrie, Fernerkundung, Geodäsie, freiwillig bereitgestellte geografische Informationen, Internetquellen (z. B. Twitter) und viele mehr. Es zeigt sich, dass es einige Defizite gibt, welche die Entwicklung von verteiltem Data Mining behindern, welches räumliche oder raum-zeitliche Geoinformationen beinhaltet. Aufgrund der Bandbreitenbeschränkung ist eine massive Datenübertragung nicht möglich. Des Weiteren konzentrieren sich viele Teildisziplinen der Geographie aus Vereinfachungsgründen auf die Erstellung und Analyse von 2D-Karten. Die Geometriekerne und Koordinatensysteme gängiger Geoinformationssysteme basieren häufig auf diesen 2D-Karten und ihren Bezugssystemen. Der Schritt zur Entwicklung von auf Computerarithmetik zugeschnittenen Koordinatensystemen mit geeigneter Genauigkeit in großen Maßstäben ist noch nicht vollständig getan. Dazu gehören Schritte hin zu effizienten 3D (räumlich) oder sogar 4D (raum-zeitlich) Datenmodellen im globalen Maßstab und die Übergänge zwischen diesen Räumen. Außerdem fehlt es an Integration von Geoinformationskonzepten wie der Verwaltung von 2D/3D (räumlich) und 3D/4D (raum-zeitlich) Datenzugriffen durch geeignete räumliche und raum-zeitliche Zugriffsverfahren in moderne parallele und verteilte Datenhaltungstechnologien. Den Hintergrund für diese Arbeit lieferten die DFG-Projekte “3D-Daten- und Modellmanagement für die Geowissenschaften unter besonderer Berücksichtigung von Topologie und Zeit” (Projektnummer: 94512227) und “Topologisch konsistente Modellierung im raum-zeitlichen Kontext mit bewegten Objekten im Stadtmodell” (Projektnummer: 326802322). Die Ziele der Projekte sind die Etablierung eines Datenmanagementmodells, das in der Lage ist, Topologien im Kontext der Geowissenschaften und Stadtmodellen zu verwalten, die auch 4D (raum-zeitliche) Daten beinhalten können. Das vorgeschlagene Datenmanagementkonzept basiert auf abstrakten mathematischen Modellen in Bezug auf Geometrie, Arithmetik und Topologie. Diese Dissertation erweitert die Forschung auf verteilte und parallel Datenmanagementkonzepte zur Unterstützung von Simulationsimplementierungen, um die Kooperationslücke zwischen angewandten Systemwissenschaftlern und spezialisierten Wissenschaftlern zu schließen. Es wird ein Kollaborationskonzept entwickelt und diskutiert. Daraus ergibt sich ein vorgeschlagenes Datenmanagementkonzept. Die geometrisch induzierte Topologie und der Begriff der topologischen Konsistenz spielen für einige Arten von Simulationsimplementierungen eine große Rolle. Es gibt jedoch auch andere topologische Beziehungen, die durch das vorgeschlagene Datenverwaltungskonzept verwaltet werden müssen. Die Menge der Relationstypen bildet zusammen mit den räumlichen und raum-zeitlichen Modellen ein abstraktes Datenmanagementmodell, das auf dem Property Graph Model und dem Feature Model der ISO 19109 basiert. Die Entwicklung von räumlichen, raum-zeitlichen und topologischen Zugriffsmethoden, die in der Lage sind, einen Property Graph in parallelen und verteilten Umgebungen zu verwalten, vervollständigen das vorgeschlagene Datenmanagementkonzept. Das vorgeschlagene Datenmanagementkonzept ist implementiert und mit DB4GeO fusioniert. DB4GeO ist eine servicebasierte, objektorientierte Forschungsdatenbankarchitektur für räumliche und raum-zeitliche Geodaten der Arbeitsgruppe von Martin Breunig. Der Objektkern von DB4GeO ist komplett neu gestaltet. Neue Knotenoperationen können den Property Graph mit der Menge der speziellen Beziehungen und den Eigenschaften der zugrunde liegenden Geometrien erstellen. Die Knotenoperationen beinhalten einen speziellen Algorithmus, der in der Lage ist, eine Menge von $d$-dimensionalen simplizialen Komplexen in eine Menge von disjunkten $(d+1)$-dimensionalen simplizialen Komplexen zu triangulieren. Der Geometriekern von DB4GeO basiert auf “double” Genauigkeit. Dieser Kern ist überarbeitet und um neue Algorithmen für Triangulations-, Differenz- und Gleichheitsberechnungen erweitert, um die Knotenoperationen implementieren zu können. Darüber hinaus sind zwei neue Zugriffsverfahren implementiert, ein skalierbarer $p$-adischer Index basierend auf raumfüllenden Kurven und ein topologisches Zugriffsverfahren. Alle neuen Implementierungen werden ausführlich erklärt, durch Experimente auf Basis unterschiedlicher Felddaten evaluiert und abschließend diskutiert. Die praktische Umsetzung des vorgeschlagenen Kollaborationskonzepts in Kombination mit dem beschriebenen Datenmanagementkonzept vermag die Zusammenarbeit zwischen Experten verschiedener wissenschaftlicher Domänen zu verbessern, welche nicht nur auf räumlich (oder raum-zeitlich) topologisch konsistente Geodaten angewiesen sind.