Active Deep Learning of Representations for Similarity Search
Aktives tiefes Lernen von Repräsentationen für die Ähnlichkeitssuche
Creators: name: Löffler, Christoffer
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2023
Subjects: Active Learning
Deep Learning
Similarity Search
Metric Learning
Football
Trajectory Data
Deep Active Learning
Imitation Learning

description: In recent years Deep Learning has revolutionized many fields in computer science such as Computer Vision (CV), Natural Language Processing (NLP), and Information Retrieval (IR). For example, modern DL is at the core of systems that process large amounts of complex data, such as images, video or text, and then retrieve information or even generate semantically meaningful responses to queries within fractions of a second. However, the (historic) data that is available for many potential applications brings new problems that require human attention. The cleaning, preparing and annotation of data can evolve into a similar issue as the search of a needle in a haystack: take too much time, and increase costs. Some data may even never be annotated in sufficient detail and thus require alternative solutions. In this cumulative dissertation, I address gaps in the literature at three levels of the Machine Learning process, that enable modeling of complex data and reduce cost of annotations. The first objective considers issues with the retrieval of complex, unstructured and sparsely annotated data from large (historic) databases. We proposed a metric learner [P1] that learns a lower-dimensional representation of the data and thus enables efficient Information Retrieval. It jointly estimates a structure of the unstructured data and learns pairwise similarity, such that a previously prohibitive distance metric can be calculated orders of magnitudes faster. The second objective consists of a unified Deep Active Learning (DAL) policy that reduces the annotation costs in Deep Learning via the use of Active Learning. We propose Imitat- ing Active Learner Ensembles (IALE) [P2], an Imitation Learning approach to DAL that leverages a learner Deep Neural Network (DNN)’s state and uses different signals to learn how to learn actively from multiple heuristics. Our method then acquires more informative samples than any of these baseline heuristic. The third objective considers cost-efficient learning of individual similarity functions, in cases where Machine Learning models for Information Retrieval suffer from a semantic gap in the problem domain. In [P3], we propose to learn similarity from few annotated samples by combining fine-tuning of large pre-trained models with Active Learning sampling methods to reduce cost. We present a user study that demonstrates the strong benefits of the sampling method w.r.t. both cost and query difficulty. To summarize, we contribute to Metric Learning, Deep Active Learning and Information Retrieval, and show adaptive similarity search for unstructured data. Hence, our work facilitates the efficient use of annotators’ time and the collection of high quality annotations, even on highly complex data.
description: In den letzten Jahren haben tiefe lernende Verfahren die Informatik revolutioniert. So bilden tiefe lernende Verfahren den Kern von Systemen, die große Mengen komplexer Daten wie bspw. Bilder, Videos oder Texte verarbeiten, und innerhalb von Sekundenbruchteilen semantisch aussagekräftige Antworten auf Anfragen finden oder sogar synthetisieren kön- nen. Die (historischen) Daten, die für viele potenzielle Anwendungen zur Verfügung stehen, bringen jedoch neue Probleme mit sich, die menschliche Aufmerksamkeit erfordern. Die Bereinigung, Aufbereitung und Annotation dieser Daten entwickelt sich zu einem ähnlichen Problem wie die Suche nach der metaphorischen Nadel im Heuhaufen: Die Arbeiten dauert lange und treiben die Kosten in die Höhe. Manches kann sogar nie ausreichend annotiert werden und erfordert daher alternative Lösungen. In dieser kumulativen Dissertation befasse ich mich mit den Lücken in der Literatur auf drei Ebenen des maschinellen Ler- nens. Meine Forschungsziele sind die Modellierung komplexer Daten per tiefer lernender Verfahren sowie die Senkung der Kosten für Annotationen. Das erste Ziel befasst sich mit der schnellen Ähnlichkeitssuche für komplexe, unstrukturi- erte und spärlich annotierte Daten innerhalb von großen (historischen) Datenbeständen. Wir stellen einen Ansatz des metrischen Lernens vor [P1], der eine niedrigdimensionale Repräsentation der Daten erlernt und so ein effizientes Durchsuchen der Daten ermöglicht. Das System lernt sowohl eine Struktur der unstrukturierten Daten und als auch ein Maß einer paarweise Ähnlichkeit, so dass eine zuvor zu teure Distanzmetrik um Größenordnun- gen schneller berechnet werden kann. Das zweite Ziel besteht in der Entwicklung einer besseren Strategie für aktives Lernen für tiefe lernende Verfahren, wodurch Annotationskosten reduziert werden. Wir stellen mit Imitating Active Learner Ensembles [P2] ein Verfahren für aktives Lernen vor, das den Zustand eines tiefen neuronalen Netzes nutzt, um selbst zu lernen, welche Strategie des aktiven Lernens für das Zielnetz zu welchem Zeitpunkt einzusetzen ist. Unsere Methode wählt informativere Daten zum Annotieren aus, als andere Basisheuristiken. Das dritte Ziel ist das kosteneffiziente Lernen individueller Ähnlichkeitsfunktionen in Fällen, in denen Modelle des maschinellen Lernens für die Ähnlichkeitssuche aufgrund der semantischen Lücke in der Problemdomäne suboptimal sind. In [P3] stellen wir ein Verfahren hierfür vor, welches eine Ähnlichkeitsmetrik von nur wenigen annotierten Daten erlernt. Dazu kombinieren wir zur Kostenreduktion ein vortrainiertes Modell mit einer optimierten Methodik des aktiven Lernens. Im Zuge einer Nutzerstudie zeigen wir die Vorteile der Optimierung sowohl in Bezug auf die Kosten als auch auf die Schwierigkeit der Annotationsaufgabe vor. Zusammenfassend tragen wir zu den Themen des metrischen Lernens, des aktiven Ler- nens von tiefen Verfahren, und des Informationsabrufs bei, und zeigen eine adaptive Ähnlichkeitssuche für unstrukturierte Daten. Unsere Arbeit ermöglicht hierdurch eine effizienter Nutzung der Zeit von Annotatoren und die Sammlung höherwertiger Annotatio- nen, selbst bei der Verarbeitung von hochkomplexen Daten.