A system for the automatic detection and identification of engineered nanoparticles in scanning electron microscopy images
Creators: name: Kockentiedt, Stephen
Publisher: name: Universitäts- und Landesbibliothek Sachsen-Anhalt
Year: 2018
Subjects: subject: Maschinelles Sehen
subject: 006

description: Small particles are all around us and even nanoparticles (smaller than 100nm in diameter) can stem from natural sources. However, intentionally created (so-called engineered) nanoparticles are used in more and more products such as deodorants and sun creams. Research is still ongoing if such particles pose a health risk. Especially people handling engineered nanoparticles at their workplace and potentially breathing them in could be at risk. Therefore, it is desirable to measure their concentration in the air in work environments. One promising approach to do so is to gather the particles in the air and image them using a scanning electron microscope (SEM). After that, the engineered nanoparticles in the images have to be distinguished from all other particles in order to estimate their concentration. Currently, this can only be done manually, which takes much time. This thesis introduces a fully automatic system to classify such particles in SEM images into engineered nanoparticles and other particles. As far as we know, it is the first system of its kind. It is able to save time for the user while improving the classification quality. We compile and outline literature on automatic image-based particles analysis and propose many novel algorithms as the available methods are not suitable for our problem. A segmentation method with a completely new noise estimation algorithm targeted at SEM is developed. In our evaluation, this method provides a good segmentation and is able to find about 10% more engineered particles than a manual search. We select appropriate features for the classification and devise a new one able to capture the size of local shape features. In addition, we show a completely new statistically derived method to estimate the detected electron count of each pixel of an SEM image. We derive features from these electron counts, which prove to be the most informative features we use for classification. This thesis selects suitable classifiers, parameters, performance measures and preprocessing steps for the particle classification. In addition, we propose an automatic model selection method so that no classification expert is needed to train the system for new particle types. In our evaluation, the classification performance (measured as the geometric mean of the true positive rate and the true negative rate) of our system is on average about 18% better than that of human experts. The user can save about 3.6 h when analyzing a typical workplace sample using the trained system. This amounts to about 44% of the time when considering sampling and imaging and almost all of the time after the images have been made. Finally, this thesis proposes a method to predict the classification performance under the assumption that more particles are added to train the system. In our evaluation, the median relative error of the predicted classification performance change is about 0.39.
description: Kleine Partikel gibt es fast überall. Sogar Nanopartikel (Partikel mit einem Durchmesser von weniger als 100nm) können natürlich auftreten. Allerdings werden auch immer mehr künstlich hergestellte Nanopartikel in Produkten wie Deodorants und Sonnencremes verwendet. Es wird aktuell daran geforscht, ob diese Partikel gesundheitsschädlich sind. Dieses Risiko wäre besonders hoch für Personen, die an Arbeitsplätzen mit solchen Partikeln arbeiten und sie einatmen könnten. Daher ist es wünschenswert, die Konzentration von künstlich hergestellten Nanopartikeln in der Luft an Arbeitsplätzen zu messen. Ein erfolgversprechender Ansatz ist, die Partikel in der Luft zu sammeln und Bilder von ihnen mit einem Rasterelektronenmikroskop (REM) zu machen. Danach müssen die künstlich hergestellten Nanopartikel von allen anderen Partikeln unterschieden werden, damit man ihre Konzentration schätzen kann. Aktuell kann dieser Arbeitsschritt nur manuell durchgeführt werden, was viel Zeit in Anspruch nimmt. In dieser Dissertation wird ein vollautomatisches System vorgestellt, um solche Partikel in REM-Bildern als künstlich hergestellte Nanopartikel oder andere Partikel zu klassifizieren. Soweit wir wissen ist es das erste System dieser Art. Es kann den Zeitaufwand für den Nutzer reduzieren, während die Klassifikationsqualität verbessert wird. Wir sammeln Literatur zur automatischen bildbasierten Partikelanalyse und fassen sie zusammen. Außerdem haben wir viele neue Algorithmen entwickelt, da die vorhandenen nicht für unser Problem geeignet sind. In dieser Dissertation wird eine Segmentierungsmethode mit einem komplett neuen Rauschschätzungsalgorithmus für REM-Bilder vorgestellt. In unserer Evaluation zeigt diese Methode eine gute Segmentierungsqualität und findet ungefähr 10% mehr künstlich hergestellte Partikel als eine manuelle Suche. Wir wählen passende Klassifikationsmerkmale aus und stellen ein neues vor, welches die Größe von lokalen Konturmerkmalen erfasst. Zusätzlich entwickeln wir eine komplett neue statistisch hergeleitete Methode, die die Anzahl der detektierten Elektronen für jeden Pixel eines REM-Bildes schätzt. Von diesen Elektronenzahlen leiten wir Merkmale her, die sich als wertvollste aller von uns verwendeten Merkmale erweisen. In dieser Dissertation werden passende Klassifikatoren, Parameter, Klassifikationsgütemaße und Vorverarbeitungsschritte für die Parvii tikelklassifikation ausgewählt. Zusätzlich stellen wir ein automatisches Verfahren zur Modellauswahl vor, sodass kein Klassifikationsexperte nötig ist, um das System für neue Partikeltypen zu trainieren. In unserer Evaluation ist die Klassifikationsgüte (berechnet als geometrisches Mittel aus Sensitivität und Spezifität) unseres Systems im Durchschnitt ungefähr 18% besser als die menschlicher Experten. Der Benutzer des trainierten System kann bei der Auswertung einer typischen Arbeitsplatzprobe etwa 3.6 h sparen. Das entspricht etwa 44% der Zeit, wenn Probenahme und Bilderfassung berücksichtigt werden, und nahezu der gesamten Zeit, falls man diese vernachlässigt. Zuletzt wird in dieser Dissertation eine Methode zur Vorhersage der Klassifikationsgüte beim Hinzufügen von weiteren Trainingspartikeln vorgestellt. In unserer Evaluation ist der Median des relativen Vorhersagefehlers der Veränderung der Klassifikationsgüte etwa 0.39.