Deep Learning and Image Processing for Stroke Diagnosis with Computed Tomography Angiography
Deep Learning und Bildverarbeitung für die Schlaganfalldiagnose mit der Computertomographie-Angiographie
Creators: name: Thamm, Florian
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2023
Subjects: Stroke
Computed Tomography Angiography
CTA
Deep Learning
Image Processing
Stroke Diagnosis

description: Computed Tomography (CT) is an effective tool, especially in acute situations, which contributes significantly to diagnosing a wide variety of clinical pictures. This includes, with a high prevalence, ischemic stroke, in which an oxygen deficiency is caused by the occlusion of a vessel, e.g., by a thrombus. Typically, an interventional thrombectomy is performed, where the thrombus is surgically removed. Yet, this technically demanding procedure requires precise planning. The vessel pathway must be known, as well as the position of the occlusion. Insight is provided by administering a contrast agent, which makes it possible to highlight blood vessels with high contrast. This type of imaging is called CT angiography (CTA). However, the vascular tree with many branches is complex, and concrete path planning is tedious and time-consuming. In this work, we present methods that use image processing and deep learning to process the CTA data in such a way that (1) the patient's vascular tree can be interactively explored, (2) vascular occlusions can be automatically and coarsely localized, and (3) the information gain from the available data is increased by enhancing soft tissue contrasts. First, we introduce ``VirtualDSA++'', an image processing pipeline for CTA head images used in many ways in the present work. In the first step of the pipeline, seed points are automatically determined for an initial segmentation of blood vessels through region growing. With the help of a vessel atlas, relevant blood vessels are located in the segmentation mask and, for a better overview, marked accordingly in the volume or in the later render view. The next step extends the segmentation to include distal arteries and veins. Subsequently, the vascular mask is skeletonized, and a surface model is computed on which different ways of interaction are possible. In this work, two concrete examples of interactive use were elaborated. First, the shortest paths between two points can be planned and visualized. Second, sub-trees at a certain geodetic distance from a reference point can be interactively hidden from the visualization. The latter makes it possible to restrict the visualization to arteries, which are usually of higher relevance than veins during the diagnosis of strokes. The segmentation of blood vessels, calculated by VirtualDSA++, is also used in the automated detection of large vessel occlusions (LVO). Thrombi lead to a blood flow stop in the affected blood vessel, including contrast agents. In CTA, therefore, affected vessels appear interrupted in their course and, thus, in their segmentation. Using 3-dimensional Convolutional Neural Networks (CNN), an affected vessel tree can hence be classified for the presence of an LVO. However, our experiments have shown that this requires a large number of datasets. Thus, in our initial work, we show that we can significantly increase classification accuracy by aggressively deforming the blood vessel segmentations. Since the deformation is only done on the vessel tree and not in the original scan, deformed trees still represent realistic cases since the vessel trees differ from patient to patient in the actual vessel course anyway. In a follow-up work, we additionally introduced the recombination of vascular trees. The vessel trees are first divided into sub-regions, which are then recombined between patients. With the data obtained, an increase in classification accuracy was again achieved. Dose and reconstruction in CTA scans are designed to highlight vessels. A loss of soft tissue contrast accompanies this. The boundary between the gray and white matter of the brain becomes blurred, allowing only limited views of brain tissue. In our work `SyNCCT'', we present a method that synthesizes non-contrast CT scans from CTA scans while using only one energy level in the CTA scan. The method consists of a GAN-based CNN that, in addition to a segmentation from VirtualDSA++ of the blood vessels to be removed, also receives additional prior knowledge in the form of a statistical estimate of the target image. Quantitatively, the proposed approach was superior to existing methodologies. In a Turing test with physicians, the realism of the images could also be confirmed. In the present work, it was shown that vascular tree extraction enables various applications. Through deep learning, image processing, and their combination, we were able to contribute to modern stroke diagnostics.
description: Der Computer Tomograph (CT) ist besonders in akuten Situationen ein effektives Werkzeug, welches maßgeblich zur Diagnose von verschiedensten Krankheitsbildern beiträgt. Dazu gehört mit hoher Prävalenz auch der ischämische Schlaganfall, bei dem eine Sauerstoffunterversorgung durch den Verschluss eines Gefäßes, z.B. durch einen Thrombus, hervorgerufen wird. Typischerweise wird interventionell thrombektomiert, d.h. der Thrombus wird operativ entfernt. Dieser technisch anspruchsvolle Eingriff erfordert jedoch eine genaue Planung. So muss der Gefäßverlauf bekannt sein neben der Position des Verschlusses. Einblicke verschafft hier die Kontrastmittelgabe, welche es ermöglicht Blutgefäße im Computertomographen klar und kontrastreich hervorzuheben. Diese Art der Bildgebung wird als CT-Angiographie (CTA) bezeichnet. Jedoch ist der Gefäßbaum mit den vielen Verzweigungen komplex und die konkrete Pfadplanung ist mühsam und zeitintensiv. In dieser Arbeit präsentieren wir Methoden, die mit Hilfe von Bildverarbeitung und Deep Learning, die CTA Daten so verarbeiten, dass (1) der Gefäßbaum des Patienten interaktiv untersucht werden kann, (2) Gefäßverschlüsse automatisch und grob lokalisiert werden können und (3) der Informationsgewinn aus den vorhandenen Daten erhöht wird indem Weichteilkontraste nachträglich verstärkt werden. Zunächst stellen wir ``VirtualDSA++'' vor, eine Bildverarbeitungspipeline für CTA Kopf-Aufnahmen, die in der vorliegenden Arbeit vielseitig eingesetzt wird. Im ersten Schritt der Pipeline werden automatisiert Saatpunkte für eine erste Segmentierung der Blutgefäße durch Region Growing ermittelt. Mithilfe eines Gefäß-Atlasses werden in der Segmentierungsmaske relevante Blutgefäße lokalisiert und, zur besseren Übersicht, entsprechend im Volumen oder in der späteren Renderansicht markiert. Im nächsten Schritt wird die Segmentierung ausgeweitet sodass auch distale Arterien und Venen erfasst werden. Anschließend wird die Gefäßmaske skeletonisiert und ein Oberflächenmodell berechnet, auf dem verschiedene Wege zur Interaktion möglich sind. In dieser Arbeit wurden zwei konkrete Beispiele zur interaktiven Nutzung ausgearbeitet. Zum Einen können kürzeste Pfade zwischen zwei Punkten geplant und visualisiert werden. Zum anderen lassen sich Sub-Bäume interaktiv aus der Visualisierung ausblenden, die eine bestimmte geodätische Distanz von einem Referenzpunkt entfernt sind. Letzteres ermöglicht es, die Visualisierung auf Arterien zu beschränken, welche in der Regel während der Diagnose von Schlaganfällen von höherer Relevanz sind als Venen. Die Segmentierung der Blutgefäße, berechnet durch VirtualDSA++, findet auch bei der automatisierten Erkennung von Großgefäßverschlüssen (LVO) Anwendung. Thromben führen zu einem Blutflussstop im betroffenen Blutgefäß und dies umfasst auch Kontrastmittel. Im CTA erscheinen daher betroffene Gefäße im Verlauf unterbrochen und somit auch in der Segmentierung. Mithilfe von 3-dimensionalen Convolutional Neural Networks (CNN) kann ein betroffener Gefäßbaum auf das Vorhandensein einer LVO klassifiziert werden. Jedoch haben unsere Experimente gezeigt, dass dazu eine hohe Anzahl an Datensätzen erforderlich ist. In unsere ersten Arbeit zeigen wir daher, dass wir durch aggressives Deformieren der Blutgefäßsegmentierungen eine signifikante Steigerung der Klassifikationsgenauigkeit erreichen können. Da die Deformation nur auf dem Gefäßbaum erfolgt und nicht im Originalscan, stellen deformierte Bäume dennoch realistische Fällen da, da die Gefäßbäume sich ohnehin von Patient zu Patient im tatsächlichen Gefäßverlauf unterscheiden. In einer Folgearbeit, führten wir zusätzlich die Rekombination von Gefäßbäumen ein. Die Gefäßbäume werden zunächst in Sub-Regionen unterteilt, welche dann zwischen den Patienten rekombiniert werden. Mit den gewonnen Daten konnte wieder eine Steigerung der Klassifikationsgenauigkeit erreicht werden. Dosis und Rekonstruktion bei CTA Scans sind darauf ausgelegt Gefäße hervorzuheben. Dies geht mit einem Verlust des Weichteilkontrasts einher. Die Grenze zwischen grauer und weißer Hirnmaterie verwischt, sodass nur begrenzt Einblicke in das Hirngewebe möglich sind. In unserer Arbeit ``SyNCCT'' stellen wir eine Methode vor, die aus CTA Scans nicht-kontrast CT Scans synthetisiert während nur ein Energieniveau im CTA Scan verwendet wird. Die Methode besteht aus einem GAN-basierten CNN, welches neben der Segmentierung aus VirtualDSA++ der zu entfernenden Blutgefäße auch weiteres Vorwissen in Form einer statistische Schätzung des Zielbildes erhält. Quantitativ war die vorgeschlagene Ansatz der bereits bestehenden Methodiken überlegen. In einem Turing Test mit Ärzten konnte auch der Realismus der Bilder bestätigt werden. In der vorliegenden Arbeit wurde gezeigt, dass die Extraktion des Gefäßbaumes eine Vielzahl von Applikationen ermöglicht. Durch Deep Learning, Bildverarbeitung und deren Kombination konnten wir einen Beitrag zur modernen Schlaganfalldiagnostik leisten.