title: Saccadic decision-making in dynamic real-world scenes
Creators: name: Roth, Nicolas
Publisher: name: Technische Universität Berlin
Year: 2025
Subjects: subject: 100 Philosophie und Psychologie::150 Psychologie::152 Sinneswahrnehmung, Bewegung, Emotionen, Triebe
subject: active vision
subject: computational modeling
subject: object-based attention
subject: eye movements
subject: computer vision
subject: science of intelligence

description: With every waking hour, we make thousands of rapid eye movements, known as saccades, effortlessly shifting our gaze to perceive the world around us. Each saccade is, whether conscious or not, preceded by a decision-making process about where and when to look next. The complexity of dynamic real-world scenes makes it difficult to analyze how specific aspects of visual attention shape this decision-making process under natural conditions. This thesis investigates what visual attention operates on in complex scenes, how its underlying perceptual units are formed, and what guides visual exploration behavior, specifically in dynamic scenes. To this end, we developed a computational framework and experimental designs to disentangle the contributions of individual attentional mechanisms to the saccadic decision-making process when observing dynamic real-world scenes. In the first study, we systematically explored the role of object-based attention in saccadic decision-making. We introduced our computational framework that simulates the saccadic decision-making process and reproduces the temporal and spatial aspects of human gaze behavior. Its modular and mechanistic design allowed us to assess the implications of object- versus space-based attentional mechanisms by comparing the simulated gaze behavior with human eye-tracking data. The results suggest that object-level perceptual units play a crucial role in attentional processing and form the basis for saccadic selection. Building on this foundation, the second study examined how perceptual units are dynamically formed and refined during active exploration. By incorporating mechanisms that link saccadic decision-making with object segmentation, this model reduces uncertainty and refines its object representations through saccades. This approach reproduced human-like scanpaths by leveraging the active reduction of segmentation uncertainty, rather than relying on explicit inhibitory mechanisms as previous models did. Ablation studies of the interconnected model revealed the importance of semantic cues in object-based attention. The third study extended these insights by empirically investigating how top-down expectations about scene dynamics shape gaze behavior. We found that even in visually identical scenes, expectations about potential scene changes lead to systematic differences in viewing behavior. The computational models and experimental design presented in this thesis enable principled hypothesis testing while maintaining high ecological validity. By bridging experimental findings with their algorithmic implementations, this framework establishes a foundation for future studies of saccadic decision-making and the underlying attentional mechanisms in dynamic real-world scenes.
description: Während jeder wachen Stunde führen wir Tausende von schnellen Augenbewegungen aus, sogenannte Sakkaden, die es uns ermöglichen, die Welt aktiv wahrzunehmen. Jede Sakkade wird, bewusst oder unbewusst, von einem Entscheidungsprozess bestimmt, der festlegt, wann und wohin wir als Nächstes schauen. Die Analyse dieses Prozesses wird durch die Komplexität dynamischer, realer Szenen erschwert. Diese Arbeit untersucht, worauf visuelle Aufmerksamkeit in komplexen Szenen basiert, wie zugrunde liegende Repräsentationen entstehen und welche Mechanismen das Explorationsverhalten, insbesondere in dynamischen Szenen, bestimmen. Zur Beantwortung dieser Fragen entwickelten wir ein Modellierungs-Framework und ein experimentelles Paradigma, um den Beitrag spezifischer Aufmerksamkeitsmechanismen zum sakkadischen Entscheidungsprozess in bewegten Szenen zu untersuchen. In der ersten Studie analysierten wir die Rolle der objektbasierten Aufmerksamkeit bei sakkadischen Entscheidungen und stellten unser Framework vor, das den sakkadischen Entscheidungsprozess simuliert und die zeitlichen sowie räumlichen Muster menschlichen Blickverhaltens nachbildet. Durch dessen modularen und mechanistischen Aufbau konnten wir die Effekte von objekt- und raumbasierten Aufmerksamkeitsmechanismen quantifizieren, indem wir das simulierte Blickverhalten mit menschlichen Blickbewegungsdaten verglichen. Unsere Ergebnisse zeigen, dass Wahrnehmungseinheiten auf Objektebene eine zentrale Rolle für die Aufmerksamkeitsverarbeitung spielen und die Grundlage der sakkadischen Auswahl bilden. Darauf aufbauend untersuchte die zweite Studie, wie Wahrnehmungseinheiten während der aktiven Exploration dynamischer Szenen gebildet und verfeinert werden. Durch Interaktion der sakkadischen Entscheidungsfindung mit Objektsegmentierung nutzt dieses Modell aktive Exploration um Unsicherheiten zu verringern und die Objektrepräsentation zu verbessern. Dabei reproduzierte das Modell menschliche Blickmuster, ohne auf explizite inhibitorische Mechanismen angewiesen zu sein---diese ergaben sich stattdessen aus der dynamischen Reduzierung von Segmentierungsunsicherheiten. Ablationsstudien mit diesem Modell verdeutlichten zudem die Bedeutung semantischer Einflüsse für objektbasierte Aufmerksamkeit. Die dritte Studie erweiterte diese Erkenntnisse durch empirische Untersuchungen wie Top-down-Erwartungen über die Dynamik von Szenen das Blickverhalten beeinflussen. Unsere Ergebnisse zeigen, dass selbst bei visuell identischen Szenen unterschiedliche Erwartungen über mögliche Szenenveränderungen zu systematischen Unterschieden im Blickverhalten führen. Die vorgestellten Computermodelle und das experimentelle Design ermöglichen hypothesengetriebene Tests ohne starke Vereinfachungen der visuellen Umgebung. Durch die Verknüpfung experimenteller Befunde mit algorithmischen Implementierungen schafft diese Arbeit eine Grundlage für zukünftige Untersuchungen zur sakkadischen Entscheidungsfindung und den zugrunde liegenden Aufmerksamkeitsmechanismen in realistischen dynamischen Szenen.