Data-Driven Derivation of Rheumatological Disease Characteristics from Medical Images
Datengestützte Ableitung von rheumatologischen Krankheitsmerkmalen aus medizinischen Bildern
Creators: name: Folle, Lukas
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2023
Subjects: Deep learning
pattern recognition
medical engineering

description: Rheumatologists have various tools at hand that allow characterizing the diseases of their patients. A multitude of those tools requires human annotation, which in some cases is time-intensive and error-prone. This poses a unique challenge, that can be addressed by modern pattern recognition advancements. In this work, a brief overview of rheumatic diseases was provided. Thereafter, imaging methods commonly used in rheumatology were described. Lastly, the fundamentals of deep learning and neural networks were explained, which build the foundation of the methods applied during the works, that are part of this thesis. As a first step to reducing time and increasing consistency, the workflow to estimate the density of patient bones using computed tomography (CT) was addressed. Tracking the bone density of patients over time provides necessary information for clinicians to adequately adapt patient therapy. As this requires manual annotation of the bone in CT images, it is time-intensive and error-prone. By using a segmentation network to assist humans in this step, the clinical workflow could be considerably accelerated while still generating high-quality results. The second step of this thesis regarded the classification of patients based on magnetic resonance images (MRI) and CT scans to different groups of diseases. As rheumatic diseases specifically target the soft tissue of patients and the bone structures, those imaging techniques are of great utility in the rheumatological practice. However, disease mechanisms are still not fully understood. Thus, in this thesis, the ability to classify patients into the different disease entities of rheumatic diseases using the information present only in MRI and CT was investigated. Based on both imaging techniques, with the help of neural networks, classifiers with solid performance were trained. Interestingly, certain features in the shape of the bones, that have been described in previous works, influenced the predictions of the network to a high degree. In the last work of this thesis, the classification and prediction of the severity of nail psoriasis, a condition that occurs during severe disease stages of psoriasis, was studied. Currently, the grading of nail psoriasis is mostly based on the nail psoriasis severity index (NAPSI). However, even though this can help clinicians in their decision process, it is not clinically used due to the high time-intensiveness of the grading process. By acquiring a dataset of hand photos and the corresponding labels, a neural network was trained to predict the NAPSI automatically. By providing access to the complete system online, the applicability of the approach for other clinicians was greatly improved and enables for the first time the usage of the NAPSI not just in clinical studies but also in clinical practice. At the end of this thesis, the limitations of the proposed works were discussed. A common aspect across all works was the necessity for a greater amount of training data. Specifically, the disease entity classification works reached a solid performance, but would likely benefit greatly from an increasing amount of training data. The nail psoriasis classification work reached very good performance, but future work, that would increase utility for patients would be the development of a mobile application that runs the proposed method and tracks the estimated disease severity over time. Briefly, rheumatic diseases and their representation in CT, MRI, and hand photos were investigated in this thesis. With the help of neural networks, time-consuming workflows could be considerably accelerated and new insights into the disease mechanics were gained.
description: Kliniker in der Rheumatologie verfügen über verschiedene Instrumente, mit denen sie die Krankheiten ihrer Patienten charakterisieren können. Eine Vielzahl dieser Instrumente erfordert eine menschliche Annotation, die in einigen Fällen zeitintensiv und fehleranfällig ist. Dies stellt eine einzigartige Herausforderung dar, die durch moderne Fortschritte in der Mustererkennung bewältigt werden kann. In dieser Arbeit wurde zunächst ein kurzer Überblick über rheumatische Erkrankungen gegeben. Danach wurden die in der Rheumatologie üblichen bildgebenden Verfahren beschrieben. Schließlich wurden die Grundlagen des Deep Learning und der neuronalen Netze erläutert, die die Grundlage für die in dieser Arbeit verwendeten Methoden bilden. Als erster Schritt zur Zeitersparnis und Erhöhung der Konsistenz wurde der Arbeitsablauf zur Schätzung der Knochendichte von Patienten mit Hilfe der Computertomographie (CT) behandelt. Die Verfolgung der Knochendichte von Patienten im Laufe der Zeit liefert den Klinikern die notwendigen Informationen, um die Therapie der Patienten angemessen anzupassen. Da dies eine manuelle Beschriftung des Knochens in CT-Bildern erfordert, ist dies zeitintensiv und fehleranfällig. Durch den Einsatz eines Segmentierungsnetzes, das den Menschen bei diesem Schritt unterstützt, könnte der klinische Arbeitsablauf erheblich beschleunigt werden, während gleichzeitig qualitativ hochwertige Ergebnisse erzielt werden. Der zweite Schritt dieser Arbeit betraf die Klassifizierung von Patienten anhand von Magnetresonanzbildern (MRT) und CT-Scans in verschiedene Krankheitsgruppen. Da rheumatische Erkrankungen speziell die Weichteile der Patienten und die Knochenstrukturen betreffen, sind diese bildgebenden Verfahren von großem Nutzen für die Rheumatologie. Die Krankheitsmechanismen sind jedoch noch immer nicht vollständig verstanden. In dieser Arbeit wurde daher untersucht, inwieweit sich Patienten anhand der Informationen aus MRT und CT in die verschiedenen rheumatischen Krankheitsbilder einordnen lassen. Auf der Grundlage beider bildgebender Verfahren wurden mit Hilfe neuronaler Netze Klassifikatoren mit solider Leistung trainiert. Interessanterweise beeinflussten bestimmte Merkmale in der Form der Knochen, die in früheren Arbeiten beschrieben worden waren, die Vorhersagen des Netzes in hohem Maße. In der letzten Arbeit dieser Dissertation wurde die Klassifizierung und Vorhersage des Schweregrads der Nagelpsoriasis untersucht, die bei schweren Krankheitsstadien der Psoriasis auftritt. Derzeit basiert die Einstufung der Nagelpsoriasis meist auf dem Nagelpsoriasis-Schweregradindex (NAPSI). Obwohl dieser Index Ärzten bei der Entscheidungsfindung helfen kann, wird er aufgrund des hohen Zeitaufwands für die Einstufung nicht klinisch eingesetzt. Durch die Erfassung eines Datensatzes von Handfotos und der entsprechenden Beschriftungen wurde ein neuronales Netz zur automatischen Vorhersage des NAPSI trainiert. Durch den Online-Zugriff auf das komplette System wurde die Anwendbarkeit des Ansatzes für andere Kliniker erheblich verbessert und ermöglicht erstmals den Einsatz des NAPSI nicht nur in klinischen Studien, sondern auch in der klinischen Praxis. Am Ende dieser Arbeit wurden die Grenzen der präsentierten Arbeiten diskutiert. Ein gemeinsamer Aspekt aller Arbeiten war die Notwendigkeit einer größeren Menge an Trainingsdaten. Insbesondere die Arbeiten zur Klassifizierung von Krankheitsgruppen erreichten eine solide Leistung, würden aber wahrscheinlich stark von einer größeren Menge an Trainingsdaten profitieren. Die Arbeit zur Klassifizierung der Nagelpsoriasis erreichte eine sehr gute Leistung, aber zukünftige Arbeiten, die den Nutzen für die Patienten erhöhen würden, wären die Entwicklung einer mobilen Anwendung, die die vorgeschlagene Methode ausführt und den geschätzten Krankheitsschweregrad im Laufe der Zeit verfolgt. Im Rahmen dieser Arbeit wurden rheumatische Erkrankungen und ihre Darstellung in CT-, MRT- und Handfotos untersucht. Mit Hilfe von neuronalen Netzen konnten zeitaufwändige Arbeitsabläufe erheblich beschleunigt und neue Erkenntnisse über die Krankheitsmechanismen gewonnen werden.