title: Collaborative Data Lake Management – A Query-Driven Approach
title: Kollaboratives Data Lake Management – Ein Anfrage-getriebener Ansatz
Creators: name: Wahl, Andreas Maximilian
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: Rapid advancements regarding the digitalization of numerous areas of everyday life have led to an explosive global growth of available data over the last decades. To utilize this abundance of data, data scientists combine advanced methods from data management, computing, statistics, and machine learning. The intention to support the complex work of these interdisciplinary experts has sparked the development of innovative data management concepts. One emerging concept is the creation of data lakes. In a data lake, heterogeneous data sources are centrally stored in their original format. Data scientists can gain data access by formulating queries against the data lake. Queries are structured representations of interactions between a data scientist and a data lake and express the intent to retrieve or modify a subset of data. While data lakes enable convenient data access for data scientists, maintaining the long-term usefulness of constantly evolving data lakes requires significant data lake management efforts. This thesis introduces novel mechanisms for data lake management. We aim to study how data lake management mechanisms can be integrated into existing socio-technical environments and applied to newly created data lake environments. Our contribution focuses on collaborative aspects of data lake management and aims to facilitate synergies between all data scientists working with a shared data lake. To integrate our research with established data science methodologies, we adopt a query-driven approach by relying on queries as the primary source of input for our support mechanisms. Our research encompasses five distinct areas of interest to cover the complete interaction flow between data scientists and data lakes: Ensuing from our fundamental research regarding the minimally-intrusive augmentation of data science workflows, we provide query-driven mechanisms for query management. Furthermore, we introduce query-driven approaches for data ingestion, data profiling, as well as knowledge sharing. We present OCEAN (Open and Collaborative Query-Driven Analytics), a query-driven data lake management system to be deployed as a companion system along with a data lake. Each of the interconnected subsystems of OCEAN embodies our research results in one of our areas of interest. OCEAN successfully demonstrates that it is feasible to support data scientists through query-driven mechanisms for collaborative data lake management.
description: Die rasanten Fortschritte in Bezug auf die Digitalisierung zahlreicher Bereiche des täglichen Lebens haben zu einem explosionsartigen Anstieg der verfügbaren Datenmengen geführt. Um diese Fülle an Daten zu nutzen, kombinieren Datenwissenschaftler fortschrittliche Methoden aus Datenmanagement, allgemeiner Informatik, Statistik und maschinellem Lernen. Das Ziel, die komplexe Arbeit dieser interdisziplinären Experten zu unterstützen, hat zur Entwicklung innovativer Datenmanagementkonzepte geführt. Eines dieser neuen Konzepte ist die Schaffung von Data Lakes. In einem Data Lake werden heterogene Datenquellen zentral in ihrem ursprünglichen Format gespeichert. Datenwissenschaftler können auf die Daten zugreifen, indem sie Anfragen gegen den Data Lake formulieren. Anfragen sind strukturierte Darstellungen von Interaktionen zwischen einem Datenwissenschaftler und einem Data Lake und repräsentieren die Absicht, eine Teilmenge von Daten abzurufen oder zu modifizieren. Während Data Lakes einen bequemen Datenzugriff für Datenwissenschaftler ermöglichen, verursacht die Aufrechterhaltung der langfristigen Nutzbarkeit von sich ständig weiterentwickelnden Data Lakes erhebliche Aufwände. Diese Dissertation stellt neuartige Mechanismen für das Management von Data Lakes vor. Wir untersuchen, wie Mechanismen zum Data Lake Management in bestehende sozio-technische Umgebungen integriert werden können und auch auf neu erstellte Data Lake-Umgebungen angewendet werden können. Wir konzentrieren uns auf kollaborative Aspekte des Data Lake Managements und zielen darauf ab, Synergien zwischen allen Datenwissenschaftlern zu fördern, die mit einem gemeinsamen Data Lake arbeiten. Um unsere Forschung in etablierte datenwissenschaftliche Methoden zu integrieren, verfolgen wir einen anfrage-getriebenen Ansatz, indem wir Anfragen an einen Data Lake als primäre Eingabequelle für unsere Unterstützungsmechanismen nutzen. Wir präsentieren OCEAN (Open and Collaborative Query-Driven Analytics), ein anfrage-getriebenes Data Lake Management System, das begleitend zu einem Data Lake eingesetzt werden kann. Durch OCEAN zeigen wir auf, dass es möglich ist, Datenwissenschaftler durch anfrage-getriebene Mechanismen für das kollaborative Data Lake Management zu unterstützen.