Betreuung: Prof. Dr.-Ing. Nils Jensen & Prof. Dr. rer. nat. habil. Torsten Sander Vorhaben einer Masterarbeit im Online-Masterstudiengang Medieninformatik Jens Gäbeler Fakultät Informatik ENTWICKLUNG EINER STEUERUNGSKOMPONENTE ZUR PRIORISIERUNG VON AUFTRÄGEN FÜR VERTEILTE WEBCRAWLS Motivation Mithilfe des Open Web Index (OWI) möchte die Open Search Foundation eine europäische Alternative zu den kommerziellen Webindizes der Firmen Google, Microsoft, Baidu und Yandex schaffen. Dieser Index als öffentliche Infrastruktur soll von europäischen Organisationen genutzt werden können, um vielfältige Dienste erstellen und anbieten zu können. Die geplante modulare Bauweise des OWI (siehe Abbildung 1) ermöglicht die Konzentration auf einzelne Aspekte, wie zum Beispiel das in der Masterthesis zu bearbeitende Thema der Priorisierung und Verteilung von Crawlaufträgen. Fragestellung Vor der Erstellung einer Steuerungskomponente zur Priorisierung entstehen die folgenden wissenschaftlichen Fragen: Vorgehensweise Die Masterthesis durchläuft geplant 5 Phasen (siehe Tabelle 1). Davon finden die ersten beiden Phasen parallel statt, die weiteren Phasen laufen konsekutiv. Zeitplanung Der Beginn der Masterarbeit ist der 19.09.2019. Das späteste Abgabedatum ist der 23.07.2020. Dies entspricht einer Bearbeitungszeit von 44 Wochen in Teilzeit. In Abbildung 3 sind die geplanten Arbeitspakete und deren Zeiten dargestellt. Stand der Arbeit Organisatorisch Die Literaturrecherche erweist sich als umfangreicher als während der initialen Planung gedacht. Daher wurde der Zeitplan für die ersten beiden Phasen um zwei Wochen verlängert. Im Gegenzug wird der zeitliche Rahmen der Realisierung gekürzt. Abbildung 3 zeigt die aktuelle Version. Wissenschaftliche Erkenntnisse (Phase 1) Mit der Methode SLR (Systematic Literature Review) werden zu den Forschungsfragen passende wissenschaftliche Arbeiten gesucht, kategorisiert und ausgewertet. Zum aktuellen Stand wurden die folgenden relevanten Arbeiten identifiziert: Des Weiteren wurden die folgenden Grundlagenwerke zur umgebenden Recherche des Themas ermittelt: Technische Bereitstellung (Phase 2) Die OWI Architektur wurde analysiert und folgender Einhängepunkt der zu entwickelnden Steuerungskomponente identifiziert: Für die Realisierung wird Python und das Microframework Flask verwendet. Python eignet sich durch die umfangreichen Funktionen seiner Standardbibliothek und durch eine Vielzahl an Bibliotheken zur Berechnung (z.B. Numpy, SciPy), Datenhaltung (z.B. Pandas) und bei Bedarf Künstlicher Intelligenz (z.B. SciKit, Keras, TensorFlow). Das Microframework Flask eignet sich sehr für die Erstellung einer Anwendung, die über eine REST API zur Verfügung gestellt wird. Phase Methode Ziel 1. Akademische Analyse SLR & Kriterienaufnahme Katalog mögl. Priorisierungs- und Evaluationstechniken 2. Techn. Vorbereitung Bereitstellung der techn. Umgebung Erstellung einer Minimalversion 3. Entwurf Umsetzung auf Basis von 1) Funktionsentwurf & Prozessentwurf 4. Realisierung Umsetzung auf Basis von 3) Prototyp 5. Evaluation Vergleich Ranking [1] Huss, N.; Lewandowski, D.; Sander-Beuermann Wolfgang; Ude, A.: Proposal for an Open Web Index, Hannover 2017. https://openwebindex.eu/wp-content/uploads/2019/01/Open_Web_Index_proposal.pdf, abgerufen am 09. August 2019 Quelle Abbildung 1: Modularer Aufbau der Dienste des OWI [1] 1. Welche Arten der Priorisierung von Crawler-Warteschlangen gibt es? 4. Welche Vergleiche gibt es und wie erfolgt die Evaluation? 2. Gibt es Priorisierungstechniken explizit für verteilte Crawler? 3. Welche geotopologische Ansätze gibt es bereits? Abbildung 2: Forschungsfragen Tabelle 1: Phasen der Masterthesis Jul 20 Okt 19 Nov 19 Dez 19 Jan 20 Feb 20 Mrz 20 Start Abgabe Apr 20 Mai 20 Jun 20 Sep 19 4. Realisierung 5. Evaluation 6. Schriftl. Ausarbeitung 7. Projektmanagement 1. Analyse 3. Entwurf 2. Admin. Vorbereitung Puffer M3 M4 M5 M1 M2 OSS Abbildung 3: Zeitplanung der Masterthesis Abbildung 4: Verortung der Steuerun