title: Wisdom of crowds and forecasting time series subject to structural breaks
Creators: name: Weichselbaumer, Georg
Publisher: name: :none
Year: 2025

description: Die Vorhersage von Zeitreihen, die plötzlichen Veränderungen unterliegen, auch als strukturelle Brüche bezeichnet, stellt für bestehende Modelle eine Herausforderung dar. Insbesondere statistische Ansätze haben oft Schwierigkeiten, sich diesen abrupten Veränderungen anzupassen. Daher haben Vorhersagen, die auf menschlicher Intuition und Expertise beruhen, als ergänzende Methode zu statistischen Modellen zunehmend an Aufmerksamkeit gewonnen. Zusätzlich dienen sie weiterhin als beliebter Benchmark für neue Prognosemethoden. Trotz zahlreicher Studien zu der Vorhersage von Zeitreihen, haben sich nur wenige auf die kollektive Leistung von Teilnehmern für Zeitreihen im Allgemeinen und insbesondere für solche mit plötzlichen Veränderungen konzentriert. Diese Arbeit analysiert daher die Anwendbarkeit des wisdom of crowd concepts („Weisheit der Masse“, eine Methode zur Aggregation mehrerer individueller Schätzungen) bezüglich der Vorhersage von Zeitreihen, die strukturellen Brüchen ausgesetzt sind. Die kollektive Leistung wurde dabei anhand des Median, des Mittleren Absoluten Fehlers (MAE) und des Prozentsatzes der Teilnehmer gemessen, deren MAE höher war als der der Gruppe. Die Ergebnisse der vorliegenden Arbeit stellen dar, dass die Vorhersagen der Gruppe jene der individuellen Teilnehmer für die 12 Zeitreihen in Genauigkeit übertrafen, insbesondere jene mit zwei strukturellen Brüchen. Die mittleren Fehler der Gruppe waren jedoch bei aufwärts gerichteten Trends und aufwärts gerichteten strukturellen Brüchen höher im Vergleich zu abwärts gerichteten Verläufen. Die einzige Situation, in der individuelle Vorhersagen genauer waren als die Gruppenvorhersage, war bei abwärts gerichteten Trends zu Beginn der jeweiligen Zeitreihen. Trotz der besseren Vorhersagen der Gruppe im Vergleich zu den individuellen Vorhersagen hatte die Gruppe Schwierigkeiten, die korrekte Richtung und das Ausmaß der Strukturbrüche vorherzusagen. Kleinere Gruppen mit zufällig ausgewählten Teilnehmern (3,5,9 oder 15 Teilnehmer) erreichten zum Teil eine gleichwertige oder sogar höhere Genauigkeit im Vergleich zur gesamten Gruppe von 71 Teilnehmern, vor allem bei der Vorhersage von strukturellen Brüchen. Die Ergebnisse leisten insbesondere einen Beitrag zur bestehenden Literatur über crowd wisdom und Prognosemethoden, indem sie die Wirksamkeit der Aggregation von individuellen Schätzungen bei der Vorhersage von Zeitreihen mit strukturellen Brüchen demonstrieren.
description: Forecasting time series subject to sudden shifts, also known as structural breaks, is a challenging task for existing models, especially for statistical approaches, which often struggle to adapt to these abrupt shifts. Consequently, judgmental forecasting, which relies on human intuition and expertise has gained increasing attention as a complementary method to statistical models and still poses as a popular benchmark for new forecasting methods. Despite numerous literature studying the performance of individuals on forecasting time series, few focused on the collective performance of individuals for time series in general and in particular for those which undergo sudden shifts. Therefore, this thesis analyzes the applicability of the wisdom of crowd concept (a method of aggregating multiple individual forecasts) in terms of predicting the direction of time series subject to structural breaks and compares it to individual forecasts. The crowd performance was evaluated by using the median, the mean absolute error (MAE) and determining the percentage of individuals displaying a higher MAE than the crowd. Results revealed that the crowd forecasts outperformed individual predictions for the 12 time series, particularly for those containing two structural breaks. However, the crowd's performance was weaker for upward trends and upward structural breaks compared to downward patterns. The only scenario in which individual forecasts were more accurate than the crowd predictions was for downward initial trends. Despite the outperformance of the induvial forecasts, the crowd in general struggled to predict the right direction as well as the magnitude of structural breaks. Smaller crowds with randomly selected participants (3, 5, 9 or 15 participants) occasionally achieved equivalent or greater accuracy compared to the whole crowd of 71 participants, especially on predicting structural break points. The findings contribute to the literature on crowd wisdom and forecasting by demonstrating the effectiveness of crowd aggregation for time series forecasting subject to structural breaks in comparison to individual judgmental forecasts.