Progressive Visual Analytics for Temporal Data
Creators: name: Ulmer, Alex
name: :Unav
Publisher: name: Fraunhofer-Gesellschaft
Year: 2024
Subjects: Branche: Information Technology
Research Line: Human computer interaction (HCI)
LTA: Interactive decision-making support and assistance systems
Visual analytics
Graphical interactive user interfaces
Progressive data transfer
Progressive rendering
Interactive data analysis

description: Progressive visual analytics represents a relatively newly emerging research field, with the objective of accelerating the process of data analysis by computing intermediate results in a progressive manner. While the accuracy of the results improves over time, the sampling order can be steered by the user, thereby enabling the acquisition of valuable insights at an early stage, which in turn facilitates a more agile data analysis workflow. This thesis presents a novel taxonomy for progressive visualisations and a conceptual framework for the design of new web-based progressive visual analytics systems. The time required for data processing, which serves as the foundation for providing an analyst with a visualisation, is dependent upon two primary factors: 1. The quantity of data that must be processed. 2. The degree of complexity of the processing algorithm. Data collection is a ubiquitous practice across a multitude of domains, necessitating the ability to process substantial data repositories for a diverse array of users. Furthermore, more sophisticated algorithms are required to compute statistics, identify similarities or make predictions based on artificial intelligence. The current state of the art is that the majority of visual analytics systems are required to await the completion of computations before a visual representation can be displayed. It is common for analysts to wait for several hours for complex computations, such as simulations, to complete. Nevertheless, it is not always feasible to rely on increased computational power as a solution. Progressive visual analytics represents an approach whereby data or computation steps are segmented, thereby enabling the analyst to access intermediate results while the processing is still running in the background. The distinctive feature is that the user is able to interact with and respond to the results as they evolve. They can steer the computation by selecting regions of interest on which the processing algorithm should focus or modify parameters to adapt the progression based on early results. This enables the analyst to rapidly gain insights or intervene if the computation is not running as expected, thereby avoiding the loss of numerous hours. This dissertation advocates the design of progressive visual analytics for web-based systems, establishing a novel taxonomy for the design of progressive visualisations and providing a technical concept for the implementation of such systems. The conceptual contribution of this thesis is the formulation of a new taxonomy for the research field. The concept of progressive visual analytics has been applied in other research areas under a variety of different names. Even within the field of visualisation, the progressive approaches were referred to by a number of different names, including incremental, fine-grain, and approximate visualisation. The concept of enhancing accuracy over time is not a novel one, having been applied in other research areas such as rendering and parallel processing. However, the distinctive and challenging aspect of progressive visual analytics is that the user is always able to interact with the system, and the results for data analytics are not precomputed. This necessitates the adaptation of visualisation techniques, which are addressed in the proposed taxonomy. This dissertation presents a technical contribution in the form of a concept for the application of progressive visual analytics for temporal data in web-based systems. Temporal data is ubiquitous across all domains and is instrumental in analytical processes aimed at comprehending past phenomena and forecasting future trends. The data in question is frequently of a considerable magnitude, given that measurements may be taken at intervals as brief as one second, or that events may occur in even shorter fractions of a second. The progressive concept is beneficial in scenarios where the data is voluminous or the algorithms are slow, as well as in situations where computational resources are constrained, such as in mobile devices. The thesis proposes a concept for optimising the synergy between progressive computation and web-based visualisation for data analytics. The concept is evaluated with two case studies from the field of cybersecurity, in which communications are sent with nano-second precision, resulting in large data sources. The case studies demonstrated the benefits of progressive visual analytics for the cybersecurity domain and contributed to the refinement of the new taxonomy for progressive visualisations.
description: Progressive Visual Analytics ist ein relativ neues Forschungsgebiet, das darauf abzielt, den Prozess der Datenanalyse durch die schrittweise Berechnung von Zwischenergebnissen zu beschleunigen. Während sich die Genauigkeit der Ergebnisse im Laufe der Zeit verbessert, kann die Reihenfolge der Datenverarbeitung vom Nutzer gesteuert werden, wodurch wertvolle Erkenntnisse in einem frühen Stadium gewonnen werden können, was wiederum einen flexibleren Analyseablauf ermöglicht. Die vorliegende Dissertation präsentiert eine innovative Taxonomie für progressive Visualisierungen und ein Konzept für die Gestaltung webbasierter, progressiver visuell-interaktiver Analysesysteme. Die für die Datenverarbeitung erforderliche Zeit, welche die Grundlage für die Bereitstellung einer Visualisierung für einen Analysten darstellt, ist von zwei wesentlichen Faktoren abhängig: 1. Die Menge der zu verarbeitenden Daten. 2. Der Komplexität des Verarbeitungsalgorithmus. In der heutigen Zeit ist die Datenerfassung in einer Vielzahl von Bereichen allgegenwärtig, sodass die Verarbeitung umfangreicher Datenbestände für eine Vielzahl von Nutzern erforderlich ist. Des Weiteren werden zunehmend komplexere Algorithmen benötigt, um Statistiken zu berechnen, Ähnlichkeiten zu erkennen oder Vorhersagen auf Basis künstlicher Intelligenz zu treffen. Der aktuelle Stand der Technik ist, dass die meisten visuellen Analysesysteme zunächst das Ergebnis der Berechnung abwarten, bevor eine visuelle Darstellung angezeigt wird. Die Wartezeit bei komplexen Berechnungen, wie beispielsweise Simulationen, beträgt für Analysten häufig mehrere Stunden. Allerdings kann nicht immer auf eine höhere Rechenleistung als Problemlösung zurückgegriffen werden. Die progressive visuelle Analyse stellt einen Ansatz dar, bei dem Daten oder Berechnungsschritte in Segmente unterteilt werden, sodass der Analyst auf die Zwischenergebnisse zugreifen kann, während die Verarbeitung im Hintergrund noch läuft. Die Besonderheit besteht in der Möglichkeit für den Benutzer, direkt auf die Entwicklung der Ergebnisse zu reagieren, indem Interaktionen ermöglicht werden. Der Analyst hat die Möglichkeit, die Berechnung zu steuern, indem er relevante Bereiche auswählt, auf die sich der Verarbeitungsalgorithmus konzentrieren soll, oder Parameter ändert, um den Verlauf der Progression anzupassen. Dadurch kann er schnell Erkenntnisse gewinnen oder eingreifen, wenn die Berechnung nicht wie erwartet verläuft, wodurch der Verlust zahlreicher Stunden vermieden wird. Die Dissertation befasst sich mit der Konzeption progressiver visueller Analysen für webbasierte Systeme. Zu diesem Zweck wird eine neuartige Taxonomie für die Gestaltung progressiver Visualisierungen vorgestellt und ein technisches Konzept für die Implementierung solcher Systeme entwickelt. Der konzeptionelle Beitrag dieser Arbeit besteht in der Formulierung einer neuen Taxonomie für das Forschungsgebiet. Das Konzept der progressiven visuellen Analytik wurde in anderen Forschungsbereichen unter verschiedenen Bezeichnungen angewandt. Auch im Bereich der Visualisierung wurden die progressiven Ansätze mit einer Reihe verschiedener Begriffe bezeichnet, darunter inkrementelle, feinkörnige und approximative Visualisierung. Der Ansatz, die Genauigkeit im Laufe der Zeit zu verbessern, ist in anderen Forschungsbereichen wie dem Rendering und der Parallelverarbeitung bereits etabliert. Der besondere und anspruchsvolle Aspekt der progressiven visuellen Analyse besteht jedoch darin, dass der Benutzer zu jeder Zeit in der Lage ist, mit dem System zu interagieren, und die Ergebnisse für die Datenanalyse nicht vorab berechnet werden. Dies erfordert eine maßgeschneiderte Anpassung der Visualisierungstechniken, die in der vorgestellten Taxonomie behandelt werden. Die vorliegende Dissertation präsentiert ein technisches Konzept für die Anwendung progressiver visueller Analytik für zeitliche Daten in webbasierten Systemen. Zeitbasierte Daten sind in nahezu allen Bereichen allgegenwärtig und spielen eine wesentliche Rolle bei analytischen Prozessen, die darauf abzielen, vergangene Phänomene zu verstehen und zukünftige Trends zu prognostizieren. In vielen Fällen handelt es sich dabei um Daten mit beträchtlichem Umfang, da Messungen in sekündlichen Intervallen vorgenommen werden oder Ereignisse in Sekundenbruchteilen auftreten können. Das innovative Konzept erweist sich insbesondere in Szenarien mit großen Datenmengen oder langsamen Algorithmen sowie in Situationen mit eingeschränkten Rechenressourcen, wie beispielsweise bei mobilen Geräten, als vorteilhaft. Die vorliegende Arbeit präsentiert ein Konzept, welches eine Optimierung der Synergie zwischen progressiver Berechnung und webbasierter Visualisierung für Datenanalyse anstrebt. Die Effektivität des Konzepts wird anhand von zwei Fallstudien aus dem Bereich der Cybersicherheit evaluiert. Gegenstand der Untersuchungen sind Kommunikationen, deren Datenverkehr im Nanosekundenbereich liegt, was zu großen Datenmengen führt. Die Ergebnisse der Fallstudien demonstrieren die Vorteile der progressiven visuellen Analyse für den Bereich der Cybersicherheit und tragen zur Verfeinerung der neuen Taxonomie für progressive Visualisierungen bei.