title: Leveraging machine learning for prediction and treatment effect heterogeneity analysis in healthcare
Creators: name: Langenberger, Benedikt
Publisher: name: Technische Universität Berlin
Year: 2024
Subjects: subject: 600 Technik, Medizin, angewandte Wissenschaften::650 Management, Öffentlichkeitsarbeit::650 Management und unterstützende Tätigkeiten
subject: 600 Technik, Medizin, angewandte Wissenschaften::610 Medizin und Gesundheit::610 Medizin und Gesundheit
subject: 600 Technik, Medizin, angewandte Wissenschaften::610 Medizin und Gesundheit::614 Inzidenz und Präventation von Krankheiten
subject: machine learning
subject: causal inference
subject: treatment effect heterogeneity
subject: prediction
subject: adverse drug events
subject: high cost patients
subject: hip replacement
subject: knee replacement

description: Machine learning (ML), a discipline of artificial intelligence (AI), has gained significant traction in healthcare. A highly relevant subset of ML is supervised ML, where models are trained on labelled data and, thereafter, able to make predictions on new data. Besides prediction, some ML methods are suitable for causal analysis, for example to estimate the heterogeneity of treatment effects. The main motivation of this thesis is to identify practical use cases where ML-based predictions may enhance medical or political decision-making, thereby improving patient safety, outcomes, resource allocation, and overall efficiency of the healthcare system. For an overview of ML prediction applications, the identification of reporting standards and potential pitfalls, the thesis begins with a systematic review of ML applications in orthopedics. Based on the knowledge gained, five ML prediction studies are included, thereof three in orthopedics and two using routine data for predictions on broader populations. These studies compare ML with traditional modeling techniques, as ML does not always outperform traditional models. Additionally, the analysis of variable importance in these studies offers insights into how various factors influence predictions. Finally, a causal forest is applied to analyze treatment effect heterogeneity of a remote monitoring and alert intervention for patients that underwent hip or knee arthroplasty. Six studies predicting minimal clinically important differences (MCIDs) for hip and knee arthroplasty patients are assessed in the review. Despite reasonable ML performance, some studies exhibit reporting issues and risk of bias. The dissertation addresses these concerns in the application studies. Notably, the best ML algorithms for binary classification predict MCID and hospital length of stay in orthopedics as well as high-cost patients with ‘good’ performance as measured by the area under the receiver operating characteristics curve (AUC). Furthermore, ML predicts adverse drug events with ‘fair’ performance. The model for duration of surgery prediction reaches a mean absolute error (MAE) of 10.87 minutes. For length of stay, the continuous outcome prediction yields a MAE of 1.21 days. The causal forest application finds that the monitoring and alert intervention is most effective for patients with specific sociodemographic characteristics and morbidities. In conclusion, this dissertation uncovers complexities and pitfalls in ML reporting. The subsequent ML applications address these issues and generally show promising results in prediction tasks. Particularly in large datasets, ML gains performance relative to traditional models. The causal forest method demonstrates how a novel ML approach can analyze treatment effect heterogeneity, informing policy makers and potentially improving healthcare resource allocation. The next crucial step is practical testing to ascertain whether these ML applications can tangibly enhance patient care.
description: Maschinelles Lernen (ML), eine Disziplin der künstlichen Intelligenz (KI), hat im Gesundheitswesen erheblich an Bedeutung gewonnen. Ein besonders relevanter Teilbereich des ML ist das überwachte ML, bei dem Modelle mit Hilfe von vollständigen Datensätzen (‚gelabelten‘ Daten) trainiert werden und daraufhin Vorhersagen für neue Daten mit fehlenden Outcome-Werten treffen können. Neben der Prädiktion eignen sich einige ML-Methoden für kausale Analysen, beispielsweise zur Schätzung der Heterogenität von Behandlungseffekten. Die Hauptmotivation der Dissertation ist es, praktische Anwendungsfälle zu identifizieren, in denen ML-basierte Prädiktionsmodelle die medizinische oder politische Entscheidungsfindung unterstützen und somit die Sicherheit von Patientinnen und Patienten, Behandlungsergebnisse, Ressourcennutzung und folglich die Gesamteffizienz des Gesundheitssystems verbessern können. Für einen Überblick über ML-Prädiktionsmodelle, die Identifizierung sinnvoller Berichtsstandards und potenzieller Fallstricke, beginnt die Arbeit mit einer systematischen Übersichtsarbeit von ML-Anwendungen in der Orthopädie. Basierend auf den gewonnenen Erkenntnissen werden fünf ML-Prädiktionsstudien vorgestellt. Während drei dieser Studien Prädiktionsmodelle im Bereich der Orthopädie anwenden, behandeln die übrigen zwei Studien Prädiktionsmodelle für breitere Populationen. Die Prädiktionsstudien vergleichen ML mit traditionellen Methoden, da ML-Modelle traditionelle Prädiktionsmethoden nicht zwingend hinsichtlich der Vorhersagegüte übertreffen. Zusätzlich bietet die Analyse der Bedeutung der Variablen in diesen Studien Einblicke, welche Variablen die Vorhersagen in besonderem Maß beeinflussen. Schließlich wird ein ‚Causal Forest‘ – eine kürzlich entwickelte ML-Methode – angewendet, um die Heterogenität der Behandlungseffekte einer Monitoringintervention für Patientinnen und Patienten, die eine Hüft- oder Kniearthroplastie durchlaufen haben, zu analysieren. Die systematische Übersichtsarbeit bezieht sechs Studien ein, die minimale, klinisch relevante Unterschiede (MCIDs) für Patientinnen und Patienten mit Hüft- und Kniearthroplastie vorhersagen. Trotz robuster Vorhersageleistung wiesen einige Studien Probleme in der Methodik oder der Darstellung der Ergebnisse sowie Risiken für Verzerrungen auf. Folglich überwindet die Dissertation diese Probleme in den Anwendungsstudien. Die besten Prädiktionsmodelle für binäre Klassifizierung erreichen eine ‚gute‘ Vorhersagegüte für die Prädiktion von MCIDs, der Krankenhausverweildauer im Bereich der Orthopädie und von Hochkostenpatienten, gemessen an der Fläche unter der Receiver-Operating-Characteristic-Kurve (AUC). Die Vorhersage von unerwünschten Arzneimittelereignissen erzielt eine ‚faire‘ Vorhersagegüte. Für die Prädiktion kontinuierlicher Variablen erreicht das Model zur Vorhersage der Operationsdauer einen mittleren absoluten Fehler (MAE) von 10.87 Minuten. Für die Krankenhausverweildauer liegt der MAE bei 1.21 Tagen. Die Anwendung des Causal Forest zeigt, dass die Behandlung für Patientinnen und Patienten mit spezifischen soziodemografischen Merkmalen und Krankheiten am effektivsten ist. Zusammenfassend zeigt diese Dissertation Komplexitäten und Fallstricke in der ML-Berichterstattung auf. Die nachfolgenden ML-Anwendungen behandeln diese Probleme und zeigen generell vielversprechende Ergebnisse bei verschiedenen Vorhersagefragestellungen. Insbesondere bei großen Datensätzen übertrifft ML traditionelle Prädiktionsmodelle. Die Anwendung des Causal Forest demonstriert, wie eine neuartige ML-Methode die Heterogenität von Behandlungseffekten analysieren kann, um politische Entscheidungsträger zu informieren und möglicherweise die Ressourcenzuteilung im Gesundheitswesen zu verbessern. Der nächste, entscheidende Schritt ist das praktische Testen, um festzustellen, ob diese ML-Anwendungen die Versorgung von Patientinnen und Patienten tatsächlich spürbar verbessern können.