Deep Learning Studie zur Hämatoxylin-Eosin histomorphologischen Klassifikation von Urothelkarzinomentitäten mittels Whole-Slide Image Managing Pipeline
Creators: name: Geyer, Christoph
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2023
Subjects: Deep Learning

description: Abstract Background: Processing pathological Whole Slide Images (WSI) to train neural networks currently requires a lot of work and high expertise in the programming of digital systems. The use of predesigned and customizable pipelines minimizes the entry hurdle of programming for medical professionals. The aim of this doctoral thesis is to generate a reliable classification of the hematoxylin-eosin (HE) stained sections of the various urothelial carcinomas within the Deep Learning Morphology (DLM) pipeline of the Friedrich-Alexander-University Erlangen-Nürnberg without incurring high costs or increased expenditure of time for the immunohistochemical and molecular pathological processing in the future. Methods: At the beginning, this paper offers an indespensable historical overview, which gives a well-founded scientific classification of artificial intelligence and the deep neural networks of BigData, which has a rapidly growing impact on the medical field in the context of the fourth industrial revolution (cf. Kim 2022: 1; Topol 2020: 22). The paper furthermore presents the urothelial carcinoma with high international and national incidence, which is highly relevant for the deep learning application of image recognition (cf. Grignon et al. 2016: 81; RKI 2021: 24). The pipeline is trained and evaluated for a classification task using artificial intelligence with the following twelve urothelial carcinoma entities: not otherwise specified urothelial carcinoma (NOS), squamous urothelial carcinoma, sarcomatoid urothelial carcinoma, micropapillary urothelial carcinoma (MPUC), plasmacytoid urothelial carcinoma (PUC), neuroendocrine carcinoma (NEC), large nested urothelial carcinoma (LNUC), nested urothelial carcinoma (NUC), glandular urothelial carcinoma, lymphoepithelioma-like urothelial carcinoma, glycogen rich (clear cell) urothelial carcinoma and trophoblastoid urothelial carcinoma. A short section about the hardware and the software provides an overview of the necessary technology for processing and annotating WSI. Fine, manual annotation of the WSI was performed with the QuPath program using the GAOMON S620 pen pad. The chapter on the Whole-Slide Image Managing Pipeline lays out the basic working steps of a customizable digital pathology framework suitable, so that a clinical pathologist with no programming experience can use it to explore digital projects without major obstacles. The DLM pipeline generates four-field tables with true and false-positive rates, as well as Receiver Operating Curves (ROC) and precision-recall curves (PR-Curves) for interpreting the results. Results: A reliable classification cannot be achieved with this dataset. Even with a highly unequal distribution of the quantity of tumor entities - with underrepresented entities of ≤ 5 % and weakly represented entities - the framework still achieved a very high score of almost 100 %, which, however, must be attributed to a high probability of correct guessing by the artificial intelligence. Conclusions and discussion: The results are a definite clue for the necessity of approximately equal distribution of different entities. Furthermore the paper also presents some difficulties and dead ends, which may occur during the process. As an example, a loss of depth of field through data transfer to an external storage medium is corrected by using jpeg-compression of the SlideConverter from 3D-Histech. Also, the distortion of the coordinates, which occurs by implementing the Mirax file formats (.mrxs) into the pipeline, is corrected using the pre-programmed scirpt of the DLM framework by removing the black and white padding around the pathological slides added by OpenSlide. The conclusion offers an outlook into the future development of deep learning applications for medical disciplines involving pattern (cf. Topol 2020: 109-129). Zusammenfassung Hintergrund und Ziele: Die Verarbeitung von pathologischen Whole Slide Images (WSI) für das Training neuronaler Netzwerke setzt aktuell einen hohen Arbeitsaufwand und hervorragende Kenntnisse der Programmierung digitaler Systeme voraus. Die Verwendung von vorgefertigten und anpassbaren pipelines minimiert diese Hürde der Progammierarbeit für Mediziner. Diese Promotionsarbeit verfolgt das Ziel, eine sichere Klassifikation der Hämatoxylin-Eosin (HE) gefärbten Schnitte der verschiedenen Urothelkarzinome innerhalb der Deep Learning Morphology (DLM) pipeline der Friedrich-Alexander-Universität Erlangen-Nürnberg zu generieren, ohne in Zukunft hohe Kosten oder erhöhten Zeitaufwand durch die immunhistochemische und molekularpathologische Aufarbeitung zu erzeugen. Methoden: Zu Beginn befasst sich diese Arbeit mit einem unverzichtbaren historischen Exkurs, der eine fundierte wissenschaftliche Einordnung der künstlichen Intelligenz und der tiefen neuronalen Anwendungen von BigData innerhalb des schnell wachsenden, jungen medizinischen Fachgebietes im Rahmen der vierten industriellen Revolution bietet (vgl. Kim 2022: 1; Topol 2020: 22). Anschließend folgt eine Darstellung des Urothelkarzinoms, dessen hohe internationale und nationale Inzidenz von großer Relevanz für die Deep Learning Anwendung einer Bilderkennung ist (vgl. Grignon et al. 2016: 81; RKI 2021: 24). Insgesamt werden folgende zwölf Urothelkarzinomentitäten für eine Klassifizierungsaufgabe mittels künstlicher Intelligenz in der pipeline trainiert und evaluiert: not otherwise specified urothelial carcinoma (NOS), squamous urothelial carcinoma, sarcomatoid urothelial carcinoma, micropapillary urothelial carcinoma (MPUC), plasmacytoid urothelial carcinoma (PUC), neuroendocrine carcinoma (NEC), large nested urothelial carcinoma (LNUC), nested urothelial carcinoma (NUC), glandular urothelial carcinoma, lymphoepithelioma-like urothelial carcinoma, glycogen rich (Clear cell) urothelial carcinoma und trophoblastoid urothelial carcinoma. Ein kurzer Abschnitt über die verwendete Hard- und Software schafft einen Überblick über die angewendete Technik zur Prozessierung und manuellen Annotation der WSI. Mit dem Stiftzeichenpad GAOMON S620 erfolgte eine feine manuelle Annotation der WSI mit dem Programm QuPath. Das Kapitel Whole-Slide Image Managing Pipeline legt die grundlegenden Arbeitsschritte eines anpassbaren framework für digitale Pathologie dar, derer sich ein in Programmierung unerfahrener klinischer Pathologe in der Erforschung digitaler Projekte ohne große Hindernisse bedienen kann. Die DLM pipeline erzeugt Vierfeldertafeln mit true and false-positive rates, sowie reciever operating curves (ROC) und precision-recall curves (PR Curves) zur Interpretation der Ergebnisse. Ergebnisse und Beobachtungen: Eine sichere Klassifizierung wird mit diesem Datensatz nicht erreicht. Wegen der überaus ungleichen Mengenverteilung der Tumorentitäten erzielt der framework für die unterrepräsentierten Entitäten mit ≤ 5 % und für die schwach repräsentierten Entitäten sehr hohe Trefferquoten von nahezu 100 %, die jedoch einer hohen richtigen Ratewahrscheinlichkeit der künstlichen Intelligenz zuzuschreiben sind. Schlussfolgerungen und Diskussion: Die gewonnen Resultate liefern allerdings Aufschluss über die Notwendigkeit einer annähernd gleichen Verteilung verschiedener Entitäten. Weiterhin werden die aufgetretenen Probleme und Irrwege dargestellt, die bei der Prozessierung auftreten. Zum einen erfolgt die Korrektur eines Tiefenschärfeverlustes durch Datenübertragung auf externe Speichermedien mittels jpeg-Kompression des SlideConverter von 3D-Histech. Ebenso findet eine Korrektur der Koordinatenverschiebung mittels DLM framework eigenem script statt, da die Verwendung von OpenSlide bei der Implementierung der Mirax-Dateiformate (.mrxs) ein schwarzes und weißes padding um die pathologischen slides erzeugt. Den Abschluss bildet ein Ausblick auf die zukünftige Entwicklung der Deep Learning Anwendungen für die medizinischen Disziplinen mit Mustern (vgl. Topol 2020: 109-129).