title: Deep Time Series Representation Learning
Creators: name: Henze, Janosch
Publisher: name: KOBRA Universität Kassel
Year: 2025
Subjects: subject: Energiesysteme
subject: Merkmalsrepräsentation
subject: Erklärbarkeit
subject: energy systems
subject: feature representation
subject: interpretability/explainability
classificationCode: 620
subject: 620
classificationCode: Prognoseverfahren
subject: Prognoseverfahren
classificationCode: Zeitreihenanalyse
subject: Zeitreihenanalyse
classificationCode: Deep Learning
subject: Deep Learning

description: <p>This work explores advances in end-to-end time series forecasting within the context of energy systems using deep learning techniques to learn feature representations. With an exponential increase in data availability and the increasing need for accurate prediction for renewable energy integration and power grid management, this work aims to enhance forecasting methodologies and their interpretability.</p>
<p>The thesis starts by outlining the motivation behind this research, highlighting the need for accurate energy forecasts and the increasing role of deep learning.</p>
<p>The related work section discusses the relevant literature in the field, emphasizing gaps and opportunities for contributions. Furthermore, it highlights its research contributions and sets the stage for discussing the novelty in the field of energy systems.</p>
<p>Afterward, the background section establishes the foundation of this thesis by elaborating on concepts such as time series analysis, forecasting techniques, and numerical weather prediction. Furthermore, it introduces critical components, such as feature representation and deep learning architectures, e.g., autoencoders or convolutional autoencoders, and it addresses the importance of explainability for machine learning problems.</p>
<p>The core of the thesis focuses on the employed methodologies. Measuring the influence in a forecasting task introduces techniques to assess the impact of features in forecasting tasks, using distance and information-theory-based measures, and therefore setting the basis to evaluate the different regression models and feature representation.</p>
<p>The feature engineering process is applied to obtain a feature representation using traditional methods, such as preprocessing, extraction, and selection. Next to this traditional process, representation learning methods are investigated as well. Both processes are detailed with experiments, results, and a respective discussion.</p>
<p>The resulting representations are used in a practical forecasting task. Both engineered and learned representations are compared, and insights from the experimental outcomes and their implications on forecasting accuracy are discussed.</p>
<p>Lastly, the interpretability of time series forecasting is analyzed by introducing a novel technique to enhance model interpretability for CNN based autoencoders: TS-GradCAM algorithm. This method offers insights into the whole CNN autoencoder and the explainability of individual forecasts. </p>
<p>The concluding chapter summarizes the contributions of this thesis, emphasizing the advancements in energy forecasting using learned deep representations. Research use cases for end-to-end time series forecasting are explained based on the example of the c/sells research project. The thesis ends with a roadmap for the continued evolution of precise and interpretable end-to-end energy forecasting methodologies.</p>
description: <p>In dieser Arbeit werden Fortschritte bei Ende-zu-Ende Zeitreihenprognose im Kontext von Energiesystemen unter Verwendung von Deep-Learning-Techniken zum Erlernen von Merkmalsdarstellungen untersucht. Angesichts der exponentiellen Zunahme der Datenverfügbarkeit und des zunehmenden Bedarfs an genauen Vorhersagen für die Integration erneuerbarer Energien und das Stromnetzmanagement zielt diese Arbeit darauf ab, Vorhersagemethoden und ihre Interpretierbarkeit zu verbessern.</p>
<p>Zu Beginn der Arbeit wird die Motivation für diese Forschung dargelegt, wobei der Bedarf an genauen Energieprognosen und die zunehmende Bedeutung von Deep Learning hervorgehoben wird.</p>
<p>Im Abschnitt über verwandte, wissenschaftliche Arbeiten wird die einschlägige Literatur auf diesem Gebiet erörtert, wobei Lücken und Möglichkeiten für entsprechende Beiträge hervorgehoben werden. Darüber hinaus werden die Forschungsbeiträge hervorgehoben und der Rahmen für die Erörterung der Neuerungen auf dem Gebiet der Energiesysteme geschaffen. </p>
<p>Anschließend wird im Abschnitt "Hintergrund'" die Grundlage für diese Arbeit geschaffen, indem Konzepte wie Zeitreihenanalyse, Vorhersagetechniken und numerische Wettervorhersage erläutert werden.
Darüber hinaus werden kritische Komponenten wie Merkmalsrepräsentation und Deep-Learning-Architekturen, z.B. AutoEncoder oder Convolutional AutoEncoder, vorgestellt, und es wird auf die Bedeutung der Erklärbarkeit von Problemen des maschinellen Lernens eingegangen.</p>
<p>Der Schwerpunkt der Arbeit liegt auf den verwendeten Methoden. Die Messung des Einflusses in einer Vorhersageaufgabe führt Techniken ein, um den Einfluss von Merkmalen in Vorhersageaufgaben zu bewerten, wobei Distanz- und informationstheoretische Maße verwendet werden. Damit wird die Grundlage für die Bewertung der verschiedenen Regressionsmodelle und Merkmalsdarstellungen geschaffen.</p>
<p>Das Feature-Engineering-Verfahren wird angewandt, um eine Merkmalsdarstellung mit Hilfe traditioneller Methoden, wie Vorverarbeitung, Extraktion und Auswahl, zu erhalten. Neben diesem traditionellen Prozess werden auch Methoden des Repräsentationslernens untersucht. Beide Verfahren werden anhand von Experimenten, Ergebnissen und einer ent-sprech-enden Diskussion detailliert beschrieben.</p>
<p>Die resultierenden Repräsentationen werden in einer praktischen Vorhersageaufgabe verwendet. Sowohl konstruierte als auch gelernte Repräsentationen werden verglichen, und die Erkenntnisse aus den experimentellen Ergebnissen und ihre Auswirkungen auf die Vorhersagegenauigkeit werden diskutiert.</p>
<p>Abschließend wird die Interpretierbarkeit von Zeitreihenvorhersagen analysiert, wobei zunächst eine neuartige Technik zur Verbesserung der Modellinterpretierbarkeit für CNN-basierte Auto-Encoder vorgestellt wird: TS-GradCAM. Diese Methode bietet Einblicke in den gesamten CNN-AutoEncoder und in die Erklärbarkeit einzelner Prognosen. </p>
<p>Das abschließende Kapitel fasst die Beiträge dieser Arbeit zusammen und hebt die Fortschritte bei der Energieprognose mit Hilfe von gelernten Repräsentationen hervor. Am Beispiel des Forschungsprojekts c/sells werden Anwendungsfälle für die Ende-zu-Ende-Zeitreihenprognose erläutert. Die Arbeit endet mit einer Roadmap für die Weiterentwicklung präziser und interpretierbarer Ende-zu-Ende-Energieprognosemethoden.</p>