title: Visual attention in the real world
title: Visuelle Aufmerksamkeit in der realen Welt
Creators: name: Hart, Bernard Marius ´T
Publisher: name: Philipps-Universität Marburg
Year: 2011
Subjects: Visuelle Wahrnehmung
task
features
perception
Psychologie
action
Handlung
visual attention
Visuelle Aufmerksamkeit
Real world

description: Humans typically direct their gaze
      and attention at locations important for the tasks they are
      engaged in. By measuring the direction of gaze, the relative
      importance of each location can be estimated which can reveal
      how cognitive processes choose where gaze is to be directed.
      For decades, this has been done in laboratory setups, which
      have the advantage of being well-controlled. Here, visual
      attention is studied in more life-like situations, which
      allows testing ecological validity of laboratory results and
      allows the use of real-life setups that are hard to mimic in
      a laboratory. All four studies in this thesis contribute to
      our understanding of visual attention and perception in more
      complex situations than are found in the traditional
      laboratory experiments. Bottom-up models of attention use the
      visual input to predict attention or even the direction of
      gaze. In such models the input image is analyzed for each of
      several features first. In the classic Saliency Map model,
      these features are color contrast, luminance contrast and
      orientation contrast. The “interestingness” of each location
      in the image is represented in a ‘conspicuity maps’, one for
      each feature. The Saliency Map model then combines these
      conspicuity maps by linear addition, and this additivity has
      recently been challenged. The alternative is to use the
      maxima across all conspicuity maps. In the first study, the
      features color contrast and luminance contrast were
      manipulated in photographs of natural scenes to test which of
      these mechanisms is the best predictor of human behavior. It
      was shown that a linear addition, as in the original model,
      matches human behavior best. As all the assumptions of the
      Saliency Map model on the processes preceding the linear
      addition of the conspicuity maps are based on physiological
      research, this result constrains future models in their
      mechanistic assumption. If models of visual attention are to
      have ecological validity, comparing visual attention in
      laboratory and real-world conditions is necessary, and this
      is done in the second study. In the first condition, eye
      movements and head-centered, first-person perspective movies
      were recorded while participants explored 15 real-world
      environments (“free exploration”). Clips from these movies
      were shown to participants in two laboratory tasks. First,
      the movies were replayed as they were recorded (“video
      replay”), and second, a shuffled selection of frames was
      shown for 1 second each (“1s frame replay”). Eye-movement
      recordings from all three conditions revealed that in
      comparison to 1s frame replay, the video replay condition was
      qualitatively more alike to the free exploration condition
      with respect to the distribution of gaze and the relationship
      between gaze and model saliency and was quantitatively better
      able to predict free exploration gaze. Furthermore, the onset
      of a new frame in 1s frame replay evoked a reorientation of
      gaze towards the center. That is, the event of presenting a
      stimulus in a laboratory setup affects attention in a way
      unlikely to occur in real life. In conclusion, video replay
      is a better model for real-world visual input. The hypothesis
      that walking on more irregular terrain requires visual
      attention to be directed at the path more was tested on a
      local street (“Hirschberg”) in the third study. Participants
      walked on both sides of this inclined street; a cobbled road
      and the immediately adjacent, irregular steps. The
      environment and instructions were kept constant. Gaze was
      directed at the path more when participants walked on the
      steps as compared to the road. This was accomplished by
      pointing both the head and the eyes lower on the steps than
      on the road, while only eye-in-head orientation was spread
      out along the vertical more on the steps, indicating more or
      large eye movements on the more irregular steps. These
      results confirm earlier findings that eye and head movements
      play distinct roles in directing gaze in real-world
      situations. Furthermore, they show that implicit tasks (not
      falling, in this case) affect visual attention as much as
      explicit tasks do. In the last study it is asked if actions
      affect perception. An ambiguous stimulus that is
      alternatively perceived as rotating clockwise or
      counterclockwise (the ‘percept’) was used. When participants
      had to rotate a manipulandum continuously in a pre-defined
      direction – either clockwise or counterclockwise – and
      reported their concurrent percept with a keyboard, percepts
      weren’t affected by movements. If participants had to use the
      manipulandum to indicate their percept – by rotating either
      congruently or incongruently with the percept – the movements
      did affect perception. This shows that ambiguity in visual
      input is resolved by relying on motor signals, but only when
      they are relevant for the task at hand. Either by using
      natural stimuli, by comparing behavior in the laboratory with
      behavior in the real world, by performing an experiment on
      the street, or by testing how two diverse but everyday
      sources of information are integrated, the faculty of vision
      was studied in more life like situations. The validity of
      some laboratory work has been examined and confirmed and some
      first steps in doing experiments in real-world situations
      have been made. Both seem to be promising approaches for
      future research.
description: Menschen richten üblicherweise
      Blick und Aufmerksamkeit auf für ihre momentane Tätigkeit
      wichtige Orte. Blickrichtungsmessungen erlauben die relative
      Wichtigkeit jedes Ortes abzuschätzen und somit Rückschlüsse
      auf die grundlegenden kognitiven Prozesse, die der Auswahl
      der Blickrichtung unterliegen. Seit Jahrzehnten wird dies
      unter Laborbedingungen mit dem großen Vorteil guter
      Kontrollierbarkeit gemacht. Diese Arbeit untersucht visuelle
      Aufmerksamkeit in natürlicheren Umgebungen, um sowohl
      Laborergebnisse auf Realitätsnähe zu testen als auch
      Experimente unter realistischeren, im Labor nur schwer
      nachahmbaren, Bedingungen durchzuführen. Die vier Studien
      dieser Arbeit tragen zum Verständnis visueller Aufmerksamkeit
      und Wahrnehmung unter komplizierteren Bedingungen als man sie
      in herkömmlichen Laborexperimenten vorfindet, bei.
      Bottom-up-Aufmerksamkeitsmodelle sagen Aufmerksamkeit oder
      Blickrichtung lediglich aufgrund der optischen Reize voraus.
      Solche Modelle zerlegen ein Bild zuerst in unterschiedliche
      Merkmale, im klassischen Saliency Map Model Farb-, Luminanz-
      und Orientierungskontrast. Pro Merkmal wird die
      “Interessantheit” aller Stellen im Bild in einer sogenannten
      ‘conspicuity map’ (‘Auffälligkeitskarte’) erfasst. Diese
      werden linear zu einer Salienzkarte addiert und diese
      Additivität wurde in letzter Zeit in Frage gestellt. Eine
      Alternative wäre, für jede Stelle das Maximum aller Karten zu
      verwenden. Die erste Studie verwendet Veränderungen in Farb-
      und Luminanzkontrast an Bildern natürlicher Szenen, um die
      Vorhersagefähigkeit der beiden Mechanismen über menschliches
      Verhalten einander gegenüberzustellen. Es wird gezeigt, dass
      die lineare Additivität des ursprünglichen Modells am besten
      mit menschlichen Verhalten übereinstimmt. Da alle Annahmen
      des Salienzkartenmodells bis auf die Addition der Karten auf
      Ergebnissen physiologischer Experimente beruhen, grenzt
      dieser Befund zukünftige Modelle ein. Um die Realitätsnähe
      von Modellen visueller Aufmerksamkeit zu testen, wurde der
      dazu erforderliche Vergleich zwischen natürlichen und
      Laborbedingungen in einer zweiten Studie überprüft. In einer
      Bedingung wurden kopfzentrierte Filme aus der
      Eigenperspektive aufgenommen und simultan die Augenbewegungen
      gemessen, während die Teilnehmer 15 natürliche Umgebungen
      erkundeten (“free exploration”). Abschnitte dieser Filme
      wurden in zwei Laborversuchen gezeigt. Im "video replay"
      wurden die Abschnitte wie aufgenommen gezeigt, im “1s frame
      replay” wurden zufällig ausgewählte Einzelbilder für je eine
      Sekunde in zufälliger Reihenfolge gezeigt. Dabei gemessene
      Augenspuren zeigen, dass im Vergleich zur
      1s-frame-replay-Bedingung die Blickwinkelverteilung der
      video-replay-Bedingung qualitativ ähnlicher zur
      free-exploration-Bedingung ist und dass die Modellsalienz die
      Blickwinkel während der free-exploration-Bedingung
      quantitativ am besten vorhersagt. Außerdem ruft das Zeigen
      eines neuen Einzelbilds bei der 1s-frame-replay-Bedingung
      eine Neuorientierung zur Mitte hervor. Folglich beeinflusst
      die Reizdarstellung unter Laborbedingungen Aufmerksamkeit auf
      eine Weise, die im echten Leben nur sehr unwahrscheinlich
      vorkommen wird. Die video-replay-Bedingung modelliert
      folglich natürliche visuelle Reize am besten. In der dritten
      Studie wurde auf einer örtlichen Straße (“Hirschberg”)
      überprüft, ob Laufen auf unregelmäßigem Terrain verlangt,
      mehr Aufmerksamkeit auf den Weg zu richten. Die Teilnehmer
      liefen dazu auf zwei Seiten dieser ansteigenden Straße; auf
      der gepflasterten Straße und dem angrenzenden, unregelmäßig
      gestuften Fußweg. Umgebung und Anweisungen an die Teilnehmer
      blieben gleich. Beim Laufen auf dem Fußweg wurde der Blick
      häufiger auf den Weg gerichtet als beim Laufen auf der
      Straße. Dabei waren sowohl Kopf als auch Augen auf dem Fußweg
      mehr nach unten orientiert als auf der Straße, während die
      Orientierung des Auges im Kopf auf dem gestuften Fußweg
      vertikal breiter verteilt war, was auf häufigere oder größere
      Augenbewegungen hindeutet. Dies untermauert frühere Befunde
      über unterschiedliche Rollen von Auge und Kopf bei der
      Blickausrichtung in der realen Welt. Weiterhin zeigt es, dass
      eine implizite Aufgabe (z.B. nicht zu stürzen) visuelle
      Aufmerksamkeit ebenso bestimmt wie eine explizite Aufgabe. In
      der letzten Studie wurde untersucht, ob Handlung Wahrnehmung
      beeinflusst. Dazu wurde ein zweideutiger Reiz benutzt, der
      entweder als im, oder als gegen den Uhrzeigersinn drehend
      (das ‘Perzept’) wahrgenommen wird. Mussten die Teilnehmer
      fortlaufend ein Manipulandum in eine vorgegebene Richtung
      drehen – mit oder gegen den Uhrzeigersinn – und gleichzeitig
      das Perzept über eine Tastatur angegeben, wurden die Perzepte
      nicht von den Handlungen beeinflusst. Benutzten die
      Teilnehmer das Manipulandum zur Anzeige des Perzeptes –
      entweder durch Rotieren in die gleiche oder in die
      entgegengesetzte Richtung – beeinflusste die Handlung die
      Wahrnehmung. Folglich beruht die Auflösung von Ambiguität in
      visuellen Reizen auf Motorsignalen, aber nur wenn diese
      relevant für die momentane Aufgabe sind. Durch die Verwendung
      natürlicher Reize, den Vergleich von Verhalten im Labor und
      in realer Welt, der Durchführung eines Experimentes auf der
      Straße sowie das Studium der Integration zweier
      verschiedenartiger aber alltäglicher Informationsquellen
      wurde Sehen unter realitätsnahen Umständen untersucht. Die
      Stichhaltigkeit einiger Laborergebnisse wurde überprüft und
      bestätigt und einige erste Schritte zur Durchführung von
      Experimenten unter realitätsnahen Umständen wurden getan.
      Beide Ansätze erscheinen vielversprechend für zukünftige
      Forschung.