Challenges and Opportunities of End-to-End Learning in Medical Image Classification

Das Paradigma des End-to-End Lernens hat in den letzten Jahren die Bilderkennung revolutioniert, aber die klinische Anwendung hinkt hinterher. Bildbasierte computergestutzte Diagnosesysteme basieren immer noch weitgehend auf hochtechnischen und domanen-spezifischen Pipelines, die aus unabhangigen regelbasierten Modellen bestehen, welche die Teilaufgaben der Bildklassifikation wiederspiegeln: Lokalisation von auffalligen Regionen, Merkmalsextraktion und Entscheidungsfindung. Das Versprechen einer uberlegenen Entscheidungsfindung beim End-to-End Lernen ergibt sich daraus, dass domanenspezifische Zwangsbedingungen von begrenzter Komplexitat entfernt werden und stattdessen alle Systemkomponenten gleichzeitig, direkt anhand der Rohdaten, und im Hinblick auf die letztendliche Aufgabe optimiert werden. Die Grunde dafur, dass diese Vorteile noch nicht den Weg in die Klinik gefunden haben, d.h. die Herausforderungen, die sich bei der Entwicklung Deep Learning-basierter Diagnosesysteme stellen, sind vielfaltig: Die Tatsache, dass die Generalisierungsfahigkeit von Lernalgorithmen davon abhangt, wie gut die verfugbaren Trainingsdaten die tatsachliche zugrundeliegende Datenverteilung abbilden, erweist sich in medizinische Anwendungen als tiefgreifendes Problem. Annotierte Datensatze in diesem Bereich sind notorisch klein, da fur die Annotation eine kostspielige Beurteilung durch Experten erforderlich ist und die Zusammenlegung kleinerer Datensatze oft durch Datenschutzauflagen und Patientenrechte erschwert wird. Daruber hinaus weisen medizinische Datensatze drastisch unterschiedliche Eigenschaften im Bezug auf Bildmodalitaten, Bildgebungsprotokolle oder Anisotropien auf, und die oft mehrdeutige Evidenz in medizinischen Bildern kann sich auf inkonsistente oder fehlerhafte Trainingsannotationen ubertragen. Wahrend die Verschiebung von Datenverteilungen zwischen Forschungsumgebung und Realitat zu einer verminderten Modellrobustheit fuhrt und deshalb gegenwartig als das Haupthindernis fur die klinische Anwendung von Lernalgorithmen angesehen wird, wird dieser Graben oft noch durch Storfaktoren wie Hardwarelimitationen oder Granularitat von gegebenen Annotation erweitert, die zu Diskrepanzen zwischen der modellierten Aufgabe und der zugrunde liegenden klinischen Fragestellung fuhren. Diese Arbeit untersucht das Potenzial des End-to-End-Lernens in klinischen Diagnosesystemen und prasentiert Beitrage zu einigen der wichtigsten Herausforderungen, die derzeit eine breite klinische Anwendung verhindern. Zunachst wird der letzten Teil der Klassifikations-Pipeline untersucht, die Kategorisierung in klinische Pathologien. Wir demonstrieren, wie das Ersetzen des gegenwartigen klinischen Standards regelbasierter Entscheidungen durch eine gros angelegte Merkmalsextraktion gefolgt von lernbasierten Klassifikatoren die Brustkrebsklassifikation im MRT signifikant verbessert und eine Leistung auf menschlichem Level erzielt. Dieser Ansatz wird weiter anhand von kardiologischer Diagnose gezeigt. Zweitens ersetzen wir, dem Paradigma des End-to-End Lernens folgend, das biophysikalische Modell, das fur die Bildnormalisierung in der MRT angewandt wird, sowie die Extraktion handgefertigter Merkmale, durch eine designierte CNN-Architektur und liefern eine eingehende Analyse, die das verborgene Potenzial der gelernten Bildnormalisierung und einen Komplementarwert der gelernten Merkmale gegenuber den handgefertigten Merkmalen aufdeckt. Wahrend dieser Ansatz auf markierten Regionen arbeitet und daher auf manuelle Annotation angewiesen ist, beziehen wir im dritten Teil die Aufgabe der Lokalisierung dieser Regionen in den Lernprozess ein, um eine echte End-to-End-Diagnose baserend auf den Rohbildern zu ermoglichen. Dabei identifizieren wir eine weitgehend vernachlassigte Zwangslage zwischen dem Streben nach der Auswertung von Modellen auf klinisch relevanten Skalen auf der einen Seite, und der Optimierung fur effizientes Training unter Datenknappheit auf der anderen Seite. Wir prasentieren ein Deep Learning Modell, das zur Auflosung dieses Kompromisses beitragt, liefern umfangreiche Experimente auf drei medizinischen Datensatzen sowie eine Serie von Toy-Experimenten, die das Verhalten bei begrenzten Trainingsdaten im Detail untersuchen, und publiziren ein umfassendes Framework, das unter anderem die ersten 3D-Implementierungen gangiger Objekterkennungsmodelle umfasst. Wir identifizieren weitere Hebelpunkte in bestehenden End-to-End-Lernsystemen, bei denen Domanenwissen als Zwangsbedingung dienen kann, um die Robustheit von Modellen in der medizinischen Bildanalyse zu erhohen, die letztendlich dazu beitragen sollen, den Weg fur die Anwendung in der klinischen Praxis zu ebnen. Zu diesem Zweck gehen wir die Herausforderung fehlerhafter Trainingsannotationen an, indem wir die Klassifizierungskompnente in der End-to-End-Objekterkennung durch Regression ersetzen, was es ermoglicht, Modelle direkt auf der kontinuierlichen Skala der zugrunde liegenden pathologischen Prozesse zu trainieren und so die Robustheit der Modelle gegenuber fehlerhaften Trainingsannotationen zu erhohen. Weiter adressieren wir die Herausforderung der Input-Heterogenitaten, mit denen trainierte Modelle konfrontiert sind, wenn sie an verschiedenen klinischen Orten eingesetzt werden, indem wir eine modellbasierte Domanenanpassung vorschlagen, die es ermoglicht, die ursprungliche Trainingsdomane aus veranderten Inputs wiederherzustellen und damit eine robuste Generalisierung zu gewahrleisten. Schlieslich befassen wir uns mit dem hochst unsystematischen, aufwendigen und subjektiven Trial-and-Error-Prozess zum Finden von robusten Hyperparametern fur einen gegebene Aufgabe, indem wir Domanenwissen in ein Set systematischer Regeln uberfuhren, die eine automatisierte und robuste Konfiguration von Deep Learning Modellen auf einer Vielzahl von medizinischen Datensetzen ermoglichen. Zusammenfassend zeigt die hier vorgestellte Arbeit das enorme Potenzial von End-to-End Lernalgorithmen im Vergleich zum klinischen Standard mehrteiliger und hochtechnisierter Diagnose-Pipelines auf, und prasentiert Losungsansatze zu einigen der wichtigsten Herausforderungen fur eine breite Anwendung unter realen Bedienungen wie Datenknappheit, Diskrepanz zwischen der vom Modell behandelten Aufgabe und der zugrunde liegenden klinischen Fragestellung, Mehrdeutigkeiten in Trainingsannotationen, oder Verschiebung von Datendomanen zwischen klinischen Standorten. Diese Beitrage konnen als Teil des ubergreifende Zieles der Automatisierung von medizinischer Bildklassifikation gesehen werden - ein integraler Bestandteil des Wandels, der erforderlich ist, um die Zukunft des Gesundheitswesens zu gestalten.