title: Towards Data Efficient Deep Learning - Vision Applications to Microscopy Image Segmentation and Natural Image Classification
title: Dateneffizientes Deep Learning Vision Anwendungen für die Segmentierung von Mikroskopiebildern und die Klassifizierung natürlicher Bilder
Creators: name: Dawoud, Youssef
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2025

description: Deep neural networks have made a considerable breakthrough in automating many computer vision tasks. However, their effectiveness relies heavily on having a large amount of annotated data, which can be expensive and impractical due to the associated training and annotation costs. Prior work has proposed learning approaches, such as few-shot and semi-supervised learning, to relax the annotation burden and facilitate data-efficient learning. In line with this goal, this dissertation addresses, for the first time, learning with limited annotated data in the context of few-shot microscopy image cell segmentation to relax the laborious efforts and enable ubiquitous automation with deep neural networks. Moreover, selection approaches are studied to optimize the annotation efforts to determine label-worthy data samples from the task of interest in microscopy image cell segmentation and natural image recognition to improve few-shot fine-tuning performance. This is a cumulative dissertation founded on four publications. The first two publications [1, 2] focus on learning with limited annotated data paradigms with the goal of adapting the trained models using few annotated samples from the dataset of interest. Notably, the first publication showcases the first-ever study of few-shot microscopy image cell segmentation, where a generic segmentation model is trained using a collection of different microscopy datasets. The second publication presents a semi- supervised few-shot microscopy image cell segmentation, which trains a segmentation model using a partially annotated training dataset. In both studies, the trained models are adapted to the microscopy dataset of interest using a few annotated samples. The third and fourth publications [3, 4] propose bootstrapping the few-shot fine-tuning performance of microscopy image cell segmentation and natural image recognition by optimizing the selection of the few annotated samples from the dataset of interest. In summary, this dissertation presents a foundational study of microscopy image cell segmentation under the paradigms of few-shot and semi-supervised learning. Furthermore, it emphasizes automating support set selection to enhance few-shot fine-tuning performance for microscopy image cell segmentation and natural image recognition.
description: Tiefe neuronale Netze haben einen beträchtlichen Durchbruch bei der Automatisierung vieler Bildverarbeitungsaufgaben erzielt. Ihre Effektivität hängt jedoch stark von einer großen Menge an kommentierten Daten ab, was aufgrund der damit verbundenen Schulungs- und Kommentierungskosten teuer und unpraktisch sein kann. In früheren Arbeiten wurden Lernansätze, wie zum beispiel few-shot und semi-supervised learning, vorgeschlagen, um den Annotationsaufwand zu verringern und dateneffizientes Lernen zu ermöglichen. Im Einklang mit diesem Ziel befasst sich diese Arbeit zum ersten Mal mit dem Lernen mit begrenzten annotierten Daten im Zusammenhang mit der Zellsegmentierung von Mikroskopiebildern mit wenigen Aufnahmen, um die mühsamen Anstrengungen zu verringern und eine allgegenwärtige Automatisierung mit tiefen neuronalen Netzen zu ermöglichen. Darüber hinaus werden Auswahlansätze untersucht, um die Annotation Bemühungen zu optimieren, um Label-würdigen Datenproben aus der Aufgabe von Interesse in der Mikroskopie Bild Zellsegmentierung und natürliche Bilderkennung zu bestimmen, um die wenigen Schuss Feinabstimmung Leistung zu verbessern. Dieses Manuskript ist eine kumulative Dissertation, die auf vier Veröffentlichungen beruht. Die ersten beiden Publikationen konzentrieren sich auf das Lernen mit begrenzten annotierten Daten mit dem Ziel, die trainierten Modelle mit wenigen annotierten Proben aus dem Datensatz von Interesse anzupassen. In der ersten Publikation wird die allererste Studie zur Zellsegmentierung von Mikroskopiebildern mit wenigen Aufnahmen vorgestellt, bei der ein generisches Segmentierungsmodell mit einer Sammlung verschiedener Mikroskopiedatensätze trainiert und dann mit wenigen beschrifteten Proben an den Mikroskopiedatensatz von Interesse angepasst wird. In der zweiten Veröffentlichung wird eine semi-supervised few-shot microscopy image cell segmentation vorgestellt, bei der ein Segmentierungsmodell anhand eines teilweise annotierten Trainingsdatensatzes trainiert und dann anhand einiger annotierter Proben an den interessierenden Mikroskopiedatensatz angepasst wird. In der dritten und vierten Veröffentlichung wird vorgeschlagen, die Feinabstimmungsleistung der Mikroskopie Bildzellsegmentierung und der natürlichen Bilderkennung durch Optimierung der Auswahl der wenigen kommentierten Proben aus dem interessierenden Datensatz zu testen. Zusammenfassend stellt diese Arbeit eine grundlegende Studie der Mikroskopie Bild Zellsegmentierung unter den Paradigmen der wenigen Schuss und semi-supervised Lernen. Darüber hinaus betont sie die Automatisierung der Support-Set-Auswahl zur Verbesserung der few-shot Feinabstimmung Leistung für Mikroskopie Bild Zellsegmentierung und natürliche Bilderkennung.