Towards the automatic generation of medical reports in low supervision scenarios
Creators: name: Seibold, Constantin
Publisher: name: Karlsruher Institut für Technologie (KIT)
Year: 2023
Subjects: Medical Report Generation
Deep Learning
Computer Vision
Medical Image Analysis

description: Automatisierte medizinische Berichterstellung auf der Grundlage von Deep Learning hat das Potenzial, die Arbeitsbedingungen in der Radiologie weltweit erheblich zu verbessern. Ein wesentliches Hindernis für die Entwicklung solcher Systeme ist jedoch die Notwendigkeit einer ausreichenden Anzahl von Trainingsdaten für die explizite Modellierung sichtbarer pathologischer und anatomischer Strukturen, die eine sinnvolle Verarbeitung in nachfolgenden klinischen Schritten ermöglicht. Da das Sammeln solcher feinen Annotationen schwierig und zeitaufwändig ist, unter Anderem durch den Mangel an medizinische Experten, entwickeln wir Methoden, die in Szenarien mit geringer Überwachung agieren können, um die genaue Lokalisierung der menschlichen Anatomie und Pathologie in Thoraxröntgenbildern, dem weltweit am häufigsten verwendeten bildgebenden Verfahren, zu ermöglichen. Konkret untersuchen wir drei Szenarien mit wenigen Daten, um eine Basis von Werkzeugen für den Einsatz von medizinischen Berichterstattungsmethoden zu schaffen. Zunächst betrachten wir die verfügbaren Daten, Bilder und zugehörigen medizinischen Berichte. Da es sich bei medizinischen Berichten um unstrukturierte Daten handelt, werden diese typischerweise in wenig dimensionale binäre Vektoren zerlegt, die das Vorhandensein von bestimmten Pathologien beschreiben. Diese werden genutzt um Modelle zur Krankheitserkennung zu trainieren. Da jedoch eine ordnungsgemäße Berichterstattung nicht nur das Erkennen einer Anomalie, sondern deren Position erfordert, entwickeln wir Methoden, die aus medizinischen Berichten in einer geparsten oder Freitextform lernen können, um Pathologien nicht nur genau zu erkennen, sondern auch zu lokalisieren. Indem wir uns von den geparsten Berichten lösen, können wir außerdem Rauschen bei der Labelextraktion vermeiden und es Ärzten ermöglichen, beliebig nach Befunden von Interesse suchen zu lassen, was zu einer erleichterten Integration von Deep Learning Modellen in strukturierte Befundungsmethoden führen kann. Die Identifizierung von visuell anomalen Mustern ist für medizinische Berichte zwar unerlässlich, aber erst die Kombination mit anatomischen Strukturen ermöglicht es dem Arzt, alles in die richtige Perspektive zu rücken und Strategien für die Behandlung eines Patienten zu entwickeln. Da alle anatomischen Strukturen in der Regel immer bei einem Patienten vorkommen, lassen sie sich kaum durch Strategien erlernen, die beim schwach überwachten Lernen üblich sind. Daher müssen wir auf eine Form der manuellen Annotation zurückgreifen. Um die Last der Annotation zu verringern, untersuchen wir im nächsten Schritt Szenarien, in denen wir einige wenige manuell gelabelte Bilder haben, aber wesentlich mehr Daten unannotiert lassen, nämlich das semi-überwachte Lernen. Wir stellen fest, dass in Szenarien mit sich überschneidenden Beschriftungsstrukturen gängige semi-überwachte Ansätze scheitern, insbesondere dann, wenn fast keine annotierten Daten vorhanden sind. Aus diesem Grund haben wir ein referenzgeleitetes Pseudo-Labeling-Schema entwickelt, das es uns ermöglicht, das gemeinsame Auftreten bestehender Klassen in nicht beschrifteten Daten zu nutzen. Dadurch ereichen wir es die Schwachstellen anderer semi-überwachte Methoden für die Segmentierung von anatomischen Strukturen in Thoraxröntgenbildern zu umgehen. Obwohl unser Ansatz ein immenses Potenzial aufweist, benötigen wir immer noch manuelle Annotationen in einem Umfang, der für den Menschen nicht sammelbar ist. Um diese Hürde zu überwinden, schauen wir uns andere medizinische Bereiche an. Aufgrund ihrer gemeinsamen Strahlungsart sehen sowohl Computertomografien als auch Röntgenbilder ähnlich aus, wenn sie auf eine zweidimensionale Ebene projiziert werden. Diesem Gedankengang folgend, fassen wir alle verfügbaren anatomischen Annotationen für Computertomografiebilder zusammen und entwickeln den PAX-Ray(++)-Datensatz, indem wir die Volumina mit ihren Beschriftungen auf eine 2D-Ebene zurückprojizieren. Dieser Datensatz ermöglicht die allererste feingranulare Segmentierung der menschlichen Anatomie in Röntgenbildern des Brustkorbs, die wir durch menschliche Annotation und Downstreamtasks validieren. Diese Arbeit hat eine wichtige Grundlage für die automatisierte Erstellung medizinischer Berichte geschaffen, da wir Methoden für die offene Erkennung pathologischer und anatomischer Strukturen bereitgestellt und die medizinische Bildanalyse durch die Identifizierung neuer Aufgaben und die Entwicklung von Algorithmen und Datensätzen vorangetrieben haben. Die Ergebnisse unserer Experimente sind sehr vielversprechend für die Anwendung solcher Algorithmen in der Praxis.