title: Bayesian active learning for microscopy image segmentation
Creators: name: Bleiberschnig, Jakob
Publisher: name: :none
Year: 2025

description: Daten-effiziente Lernalgorithmen sind der Schlu ¨ssel, um maschinelles Lernen in Bereichen zu ermo ¨glichen, in denen wenig Daten vorhanden sind. Ein Beispiel fu ¨r einen solchen Bereich sind Mikroskopiebilder, da die Erstellung und insbesondere die Annotation solcher Bilder oft kost- spielig ist. Diese Abschlussarbeit behandelt die Anwendung der Instanz-Segmentierung, bei der ein Modell lernt aus annotierten Trainingsdaten einzelne Objekte auf einem Mikroskopiebild zu identifizieren. Die Erstellung manuell annotierter Trainingsbilder ist zeitaufw ¨andig und muss von Experten im jeweiligen Fachgebiet durchgefu ¨hrt werden. Daher ist es unser Ziel, die Anzahl der ben ¨otigten Trainingsbilder so weit wie mo ¨glich zu reduzieren. Um dieses Ziel zu erreichen, trainieren wir das Modell durch Active-Learning. Dadurch wird das Modell in die Lage ver- setzt, selbst zu entscheiden, welche Bilder als n ¨achstes annotiert und fu ¨r das Training verwen- det werden sollen. Auf diese Weise soll das Modell nur aus Trainingsbildern mit einem max- imalen Informationsgehalt lernen, anstatt Ressourcen fu ¨r die Annotation weniger informativer Bilder zu verschwenden. Wir nutzen ein neuronales Netzwerk mit einer U-Net-Architektur als Basismodell zur Segmentierung der Mikroskopiebilder. Ein Standard-neuronales Netzwerk lernt eine Punktsch ¨atzung der Netzwerkparameter fu ¨r einen gegebenen Datensatz, was zu niedriger Genauigkeit fu ¨hren kann, wenn der Trainingsdatensatz die zugrunde liegende Datenverteilung nicht gut repr ¨asentiert. Das kann leicht der Fall sein, wenn wir einen kleinen Trainingsdatensatz haben. Im Gegensatz dazu lernen Bayessche neuronale Netzwerke keine Punktsch ¨atzung, sondern eine Verteilung u ¨ber die Parameter. Dies erm ¨oglicht es, eine Verteilung u ¨ber m ¨ogliche Ausgaben fu ¨r ein einzelnes Eingabebild vorherzusagen. Ein Bayessches neuronales Netzwerk kann daher als Ensemble unendlich vieler neuronaler Netzwerke betrachtet werden, bei denen jedes Netzwerk eine leicht unterschiedliche Lo ¨sung fu ¨r ein gegebenes Eingabebild erzeugt. Diese Netzwerke sind ein sehr leistungsf ¨ahiges Werkzeug, um von Unsicherheiten in den Trainingsdaten zu lernen und dadurch den Informationsgehalt der Eingabebilder abzusch ¨atzen. Unser Hauptbeitrag besteht darin, die Trainingsbilder aktiv zu sampeln, indem wir die durch ein Gaußsches Bayessches neuronales Netzwerk generierte Unsicherheitssch ¨atzung als Maß fu ¨r den Informationsgehalt eines Bildes nutzen. Diese Arbeit ist eine der ersten Studien, die diesen Bayesschen Active-Learning Ansatz auf die Instanz-Segmentierung von Mikroskopiebildern an- wendet. Gaußsche Bayessche neuronale Netzwerke sind teurer im Training als andere g ¨angige Bayessche Methoden und erfordern einen zus ¨atzlichen Hyperparameter, bieten jedoch den Vorteil einer komplexeren Parameterverteilung, die zu einer detaillierteren Sch ¨atzung der Unsicherheit fu ¨hren kann. Es wurden Experimente mit vier verschiedenen Mikroskopie-Datens ¨atzen durchgefu ¨hrt, bei denen Active-Learning mit Uniform-Sampling verglichen wird. Zus ¨atzlich wird der Effekt unter- sucht, der sich ergibt, wenn das U-Net auf einem anderen Datensatz vortrainiert wird. Es konnte festgestellt werden, dass das gew ¨ahlte Active-Learning-Framework in zwei von vier verwendeten Datens ¨atzen Uniform-Sampling u ¨bertrifft. Eine Limitierung dieser Arbeit ist, dass die Annota- tionskosten fu ¨r alle Bilder als konstant betrachtet werden. Zuku ¨nftige Studien k ¨onnten diese Arbeit dahingehend erweitern.
description: Data efficient learning algorithms have been the key to enable machine learning applications in domains where data is scarce. An example of such a domain are microscopy images, since in many cases the generation of such images and especially the annotation is costly. This thesis focuses on instance segmentation whereby a model learns from training data to identify individual objects on a microscopy image. The creation of manually annotated training images is time consuming and needs to be done by experts in the respective field. Thus, our goal is to reduce the number of training images as much as possible. To achieve this goal, we train the model by using active learning. Through active learning, the model is enabled to decide on its own, which images should be annotated next and used for training. By this we want the model to only learn from training images with a maximum level of information, instead of wasting annotation effort on images that are less informative. We utilize a neural network with a U-Net architecture as the base model for segmenting the microscopic images. A standard neural network learns a single point estimate of the network parameters for a given dataset, which can have low performance if the training set does not represent the underlying data distribution well. This can easily be the case if we have a small training set. In contrast to this, Bayesian neural networks learn not a point estimate, but a distribution over the parameters. This further allows to predict a distribution of possible outputs for a single input image. A Bayesian neural network can thus be seen as an ensemble of infinitely many neural networks. They are a very powerful tool for learning the uncertainty caused by limited data, and therefore capable of estimating the informativeness of the input images. Our main contribution is to actively sample the training images by utilizing the uncertainty estimation generated by a Gaussian Bayesian neural network as a measure of informativeness. This work is one of the first studies that apply this Bayesian active learning approach to instance segmentation of microscopy images. Gaussian Bayesian neural networks are more expensive to train than other common Bayesian based methods and require an additional hyperparameter, but come with the advantage of a more complex parameter distribution that can lead to a more detailed estimation of the uncertainty. We conduct experiments on four different microscopy image datasets, where we compare active learning with uniform sampling as a baseline. Additionally we pretrain each U-Net on another dataset in a transfer learning manner. We find that our chosen active learning framework can outperform uniform sampling and thus reduce the amount of training images for two of our four used datasets. A limitation of this work is, that the annotation costs are considered to be constant for all images. Future research could extend this work in that matter.