title: XAI for understanding deep neural networks in regression
title: with applications to wind energy
titleType: Subtitle
Creators: name: Letzgus, Simon
Publisher: name: Technische Universität Berlin
Year: 2024
Subjects: subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::005 Computerprogrammierung, Programme, Daten
subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::004 Datenverarbeitung; Informatik
subject: 600 Technik, Medizin, angewandte Wissenschaften::620 Ingenieurwissenschaften::620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
subject: Explainable AI
subject: XAI
subject: neural networks
subject: regression
subject: wind energy
subject: power curve modelling
subject: erklärbare künstliche Intelligenz
subject: XAI
subject: neuronale Netze
subject: Regression
subject: Windenergie
subject: Leistungskuvenmodellierung

description: This thesis focuses on explaining deep neural network regression models. While much of the work in explainable AI (XAI) has centred on classification models, regression problems are equally significant. Furthermore, machine learning models used for regression share the need for powerful XAI methods that promote transparency, reliability, and robustness. However, key differences, such as the continuous nature of regression outputs and the focus on quantitative relationships between variables, demand tailored explanatory approaches that set regression apart from classification in the XAI domain. We begin by examining the challenges these differences pose when applying XAI attribution methods to explain complex, non-linear regression models. In particular, we identify the completeness property of attribution methods as crucial for ensuring that the model’s output unit is fully accounted for in the attributions. Additionally, we emphasize the importance of customizing explanations to address the specific explanatory needs posed by the user in the regression context. To address the latter, we introduce two approaches, retraining and restructuring, which allow the incorporation of a user-defined reference value relative to which the explanation is contextualized. We further extend these solutions into a broader framework called XpertAI, which improves usability in combination with state-of-the-art XAI attribution methods and provides additional insights into how these two approaches relate. The effectiveness of these contextualization techniques is demonstrated through extensive quantitative and qualitative benchmark experiments. Finally, we apply our methods to a real-world problem, showing how the regression-specific challenges can be tackled when explaining wind turbine power-curve models. Using a newly developed validation framework, we ensure that the machine learning models employ physically reasonable strategies and that the XAI attributions provide insights that are meaningful to domain experts. We then demonstrate how properly contextualized attributions can be effectively used for turbine monitoring. In conclusion, the findings of this thesis underscore the critical importance of using XAI techniques that are tailored to the specific problem, context, and domain. Our contributions mark a step forward in enhancing the understanding of deep neural networks in regression, moving closer to more effective and context-aware explanations.
description: Die vorliegende Dissertation behandelt Methoden zur Erklärung von tiefen neuronalen Netzen im Regressionsfall. Während sich das Feld der erklärbaren Künstlichen Intelligenz (XAI) bisher vorwiegend mit der Erklärung von Klassifikationsmodellen beschäftigt hat, werden an Regressionsmodelle dieselben Anforderungen im Hinblick auf Transparenz, Robustheit und Zuverlässigkeit gestellt. Daher ist eine Entwicklung von XAI-Methoden unter Berücksichtigung charakteristischen Regressionseigenschaften wie der kontinuierlichen Ausgangsgröße und dem Fokus auf quantitative Zusammenhänge zwischen Eingangs- und Ausgangsgrößen dringend erforderlich. Mit Blick auf XAI-Attributionsmethoden zeigen wir die Wichtigkeit der Vollständigkeitseigenschaft für die Beibehaltung der (physikalischen) Modell-Ausgangseinheit und die Notwendigkeit, die entsprechende Erklärung quantitativ in Bezug auf einen konkreten Referenzwert zu abzustimmen. Letzteres ermöglichen wir mit unseren neu entwickelten Methoden Neu-Training und Neu-Strukturierung, welche die Einbeziehung eines nutzerspezifischen Referenzwerts für gängige Attributionsmethoden ermöglichen. Anschließend betten wir diese Lösungen in den XpertAI-Framework ein, der eine Synthese der beiden Ansätze darstellt. Die Kontextualisierungsfähigkeit aller vorgeschlagenen Methoden demonstrieren wir in umfangreichen quantitativen und qualitativen Benchmark-Experimenten. Abschließend zeigen wir, wie den oben genannten regressionsspezifischen Herausforderungen beim Modellieren von Windturbinen Leistungskurven begegnet werden kann. Zunächst stellen wir mithilfe eines Frameworks zur Modellvalidierung sicher, dass die gelernten Modellstrategien physikalisch sinnvoll und die entsprechenden XAI-Attributionen für Windenergie-ExpertInnen interpretierbar sind. Anschließend zeigen wir, wie die korrekt kontextualisierte Attributionen effektiv zum Monitoring von Windturbinen eingesetzt werden können. Insgesamt zeigen die Ergebnisse dieser Dissertation die Bedeutung von problem- und anwendungsfeldspezifischen Erklärmethoden. Vor diesem Hintergrund stellen die Beiträge dieser Arbeit einen bedeutenden Schritt zu einem besseren Verständnis von tiefen neuronalen Netzen im Regressionsfall allgemein und von Windenergie Leistungskurvenmodellen im Speziellen dar.