title: Measuring gaze and pupil in the real world: object-based attention,3D eye tracking and applications
title: Blick- und Pupillen-Messung in natürlicher Umgebung: Objekt-basierte Aufmerksamkeit, 3D Augenbewegungsmessung und Anwendungen
Creators: name: Stoll, Josef
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: Pupillometry
Mobile Augenbewegungsmessung
Mobile eye-tracking
Gaze allocations on objects
pupillometry
Blicksetzung auf Objekten
Locked-in Syndrome
overt attention
Pupillometrie
eye-tracking
Naturwissenschaften
Locked-in-Syndrom

description: This dissertation contains studies
      on visual attention, as measured by gaze orientation, and the
      use of mobile eye-tracking and pupillometry in applications.
      It combines the development of methods for mobile
      eye-tracking (studies II and III) with experimental studies
      on gaze guidance and pupillary responses in patients (studies
      IV and VI) and healthy observers (studies I and V). Object
      based attention / Study I What is the main factor of fixation
      guidance in natural scenes? Low-level features or objects? We
      developed a fixation-predicting model, which regards
      preferred viewing locations (PVL) per object and combines
      these distributions over the entirety of existing objects in
      the scene. Object-based fixation predictions for natural
      scene viewing perform at par with the best early salience
      model, that are based on low-level features. However, when
      stimuli are manipulated so that low-level features and
      objects are dissociated, the greater prediction power of
      saliency models diminishes. Thus, we dare to claim, that
      highly developed saliency models implicitly obtain
      object-hood and that fixation selection is mainly influenced
      by objects and much less by low-level features. Consequently,
      attention guidance in natural scenes is object-based. 3D
      tracking / Study II The second study focussed on improving
      calibration procedures for eye-in-head positions with a
      mobile eye-tracker.We used a mobile eye-tracker prototype,
      the EyeSeeCam with a high video-oculography (VOG) sampling
      rate and the technical gadget to follow the users gaze
      direction instantaneously with a rotatable camera. For a
      better accuracy in eye-positioning, we explored a refinement
      in the implementation of the eye-in-head calibration that
      yields a measure for fixation distance, which led to a mobile
      eye-tracker 3D calibration. Additionally, by developing the
      analytical mechanics for parametrically reorienting the
      gaze-centred camera, the 3D calibration could be applied to
      reliably record gaze-centred videos. Such videos are suitable
      as stimuli for investigating gaze-behaviour during object
      manipulation or object recognition in real worlds
      point-of-view (PoV) perspective. In fact, the 3D calibration
      produces a higher accuracy in positioning the gaze-centred
      camera over the whole 3D visual range. Study III,
      eye-tracking methods With a further development on the
      EyeSeeCam we achieved to record gaze-in-world data, by
      superposing eye-in-head and head-in-world coordinates. This
      novel approach uses a combination of few absolute
      head-positions extracted manually from the PoV video and of
      relative head-shifts integrated over angular velocities and
      translational accelerations, both given by an inertia
      measurement unit (IMU) synchronized to the VOG data.
      Gaze-in-world data consist of room-referenced gaze directions
      and their origins within the environment. They easily allow
      to assign fixation targets by using a 3D model of the
      measuring environment – a strong rationalisation regarding
      fixation analysis. Applications Study III Daylight is an
      important perceptual factor for visual comfort, but can also
      create discomfort glare situations during office work, so we
      developed to measure its behavioural influences. We achieve
      to compare luminance distributions and fixations in a
      real-world setting, by also recording indoor luminance
      variations time-resolved using luminance maps of a scenery
      spanning over a 3pi sr. Luminance evaluations in the
      workplace environment yield a well controlled categorisation
      of different lighting conditions and a localisation as well
      as a brightness measure of glare sources.We used common tasks
      like reading, typing on a computer, a phone call and thinking
      about a subject. The 3D model gives the possibility to test
      for gaze distribution shifts in the presence of glare patches
      and for variations between lighting conditions. Here, a low
      contrast lighting condition with no sun inside and a high
      contrast lighting condition with direct sunlight inside were
      compared. When the participants are not engaged in any
      visually focused task and the presence of the task support is
      minimal, the dominant view directions are inclined towards
      the view outside the window under the low contrast lighting
      conditions, but this tendency is less apparent and sways more
      towards the inside of the room under the high contrast
      lighting condition. This result implicates an avoidance of
      glare sources in gaze behaviour. In a second more extensive
      series of experiments, the participants’ subjective
      assessments of the lighting conditions will be included.
      Thus, the influence of glare can be analysed in more detail
      and tested whether visual discomfort judgements are
      correlated in differences in gaze-behaviour. Study IV The
      advanced eye-tracker calibration found application in several
      following projects and included in this dissertation is an
      investigation with patients suffering either from idiopathic
      Parkinson’s disease or from progressive supranuclear palsy
      (PSP) syndrome. PSP’s key symptom is the decreased ability to
      carry out vertical saccades and thus the main diagnostic
      feature for differentiating between the two forms of
      Parkinson’s syndrome. By measuring ocular movements during a
      rapid (&lt; 20s) procedure with a standardized fixation
      protocol, we could successfully differentiate pre-diagnosed
      patients between idiopathic Parkinson’s disease and PSP, thus
      between PSP patients and HCs too. In PSP patients, the
      EyeSeeCam detected prominent impairment of both saccade
      velocity and amplitude. Furthermore, we show the benefits of
      a mobile eye-tracking device for application in clinical
      practice. Study V Decision-making is one of the basic
      cognitive processes of human behaviours and thus, also evokes
      a pupil dilation. Since this dilation reflects a marker for
      the temporal occurrence of the decision, we wondered whether
      individuals can read decisions from another’s pupil and thus
      become a mentalist. For this purpose, a modified version of
      the rock-paper-scissors childhood game was played with 3
      prototypical opponents, while their eyes were video taped.
      These videos served as stimuli for further persons, who
      competed in rock-paper-scissors. Our results show, that
      reading decisions from a competitor’s pupil can be achieved
      and players can raise their winning probability significantly
      above chance. This ability does not require training but the
      instruction, that the time of maximum pupil dilation was
      indicative of the opponent’s choice. Therefore we conclude,
      that people could use the pupil to detect cognitive decisions
      in another individual, if they get explicit knowledge of the
      pupil’s utility. Study VI For patients with severe motor
      disabilities, a robust mean of communication is a crucial
      factor for well-being. Locked-in-Syndrome (LiS) patients
      suffer from quadriplegia and lack the ability of articulating
      their voice, though their consciousness is fully intact.
      While classic and incomplete LiS allows at least voluntary
      vertical eye movements or blinks to be used for
      communication, total LiS patients are not able to perform
      such movements. What remains, are involuntarily evoked muscle
      reactions, like it is the case with the pupillary response.
      The pupil dilation reflects enhanced cognitive or emotional
      processing, which we successfully observed in LiS patients.
      Furthermore, we created a communication system based on
      yes-no questions combined with the task of solving arithmetic
      problems during matching answer intervals, that yet invokes
      the most solid pupil dilation usable on a trial-by-trial
      basis for decoding yes or no as answers. Applied to HCs and
      patients with various severe motor disabilities, we provide
      the proof of principle that pupil responses allow
      communication for all tested HCs and 4/7 typical LiS
      patients. Résumé Together, the methods established within
      this thesis are promising advances in measuring visual
      attention allocation with 3D eye-tracking in real world and
      in the use of pupillometry as on-line measurement of
      cognitive processes. The two most outstanding findings are
      the possibility to communicate with complete LiS patients and
      further a conclusive evidence that objects are the primary
      unit of fixation selection in natural scenes.
description: Diese Dissertation enthält Studien
      über visuelle Aufmerksamkeit, welche mittels Blickrichtungen
      gemessen wird, wobei mobile Augen- und Pupillenmessungen
      angewendet werden. Sie kombiniert Methodenentwicklungen für
      mobile Augenbewegungsmessungen (Studien II und III) mit
      experimentellen Studien zu Blicksteuerung und
      Pupillenreaktionen in Patienten (Studien IV und V) sowie
      gesunden Probanden (Studien I und VI). Objekt-basierte
      Aufmerksamkeit / Studie I Welches ist der ausschlaggebende
      Faktor für die Blickpositionssteuerung in natürlichen Szenen?
      Einfache Merkmale oder Objekte? Wir erarbeiteten dafür ein
      Modell zur Fixationsvorhersage, welches bevorzugte
      Blickpunkte pro Objekt berücksichtigt und mit der Gesamtheit
      aller Objekte in der Szene kombiniert. Dessen Performanz
      steht dem besten Salienzmodell, welches ausschließlich
      niedere Merkmale verwertet, bei natürlichen Szenen in nichts
      nach. Wenn aber durch Bildmanipulation niedere Merkmale von
      Objekten dissoziiert werden, verliert das Salienzmodell
      deutlich mehr an Vorhersagekraft. Somit haben wir gezeigt,
      dass bessere Salienzmodelle implizit die Objektrelevanzen
      einer Szene miteinbeziehen und die Fixationsauswahl stärker
      von Objekten abhängt, als von niederen Merkmalen. Folglich
      arbeitet auch die Aufmerksamkeitslenkung in natürlichen
      Szenen objekt-basiert. 3D Blickvermessung / Studie II An
      einem mobilen Augenbewegungsmessgerät sollte hier das
      Kalibrationsverfahren für Aug-in-Kopf-Positionen optimiert
      werden. Wir verwendeten hierzu den Prototypen eines mobilen
      Augenbewegungsmessgeräts, der EyeSeeCam, die sich durch eine
      hohe Samplingrate bei der Video-Okulographie (VOG) und den
      technischen Zusatz einer schwenkbaren Kamera, welche der
      Blickrichtung des Nutzers praktisch instantan folgt,
      auszeichnet. Für eine höhere Genauigkeit der
      Augenpositionsbestimmung arbeiteten wir eine Verfeinerung der
      Implementierung der Auge-in-Kopf-Kalibration aus, welche nun
      die Messung der Fixationsdistanz liefert und somit zu einer
      3D-Kalibration des mobilen Augenbewegungsmessgeräts führt.
      Zusätzlich entwickelten wir eine analytische Mechanik zur
      parametrischen Ansteuerung des Schwenkapparates für die
      blickzentrierte Kamera wofür auch 3D-Kalibration zwingend
      war. Tatsächlich resultiert aus der 3D-Kalibration eine
      höhere Genauigkeit bei der Positionierung der
      blickgesteuerten Kamera über das komplette Sehfeld in 3D. Die
      blickzentrierten Videos sind besonders geeignet als Stimuli
      zur Untersuchung von Blickverhalten bei Objektmanipulation
      oder zur Objekterkennungsmodellierung in echter
      Point-of-View-Perspektive (PoV). Studie III,
      Augenmessmethodik Mit einer weiteren Entwicklung an der
      EyeSeeCam erreichten wir durch die Superposition von
      Aug-in-Kopf- und Kopf-im-Raum-Koordinaten die Aufnahme von
      Blick-im-Raum-Daten. Dieser neuartige Ansatz verwendet eine
      Kombination aus wenigen absoluten Kopfpositionen, welche
      manuell aus PoV-Videos extrahiert wurden, und aus relativen
      Kopf-Verschiebungen, integriert über Winkelgeschwindigkeit
      und Translationsbeschleunigung, welche beide von einer zur
      VOG synchronisierten Inertialmesseinheit gegeben sind.
      Blick-im-Raum-Daten bestehen aus raumbezogenen
      Blickrichtungen und deren jeweiligem Ursprung in der
      Messumgebung. Sie erlauben durch die Verwendung eines
      3DModells der Messumgebung eine einfache Auswertung von
      Fixationszielen – eine starke Rationalisierung hinsichtlich
      von Fixationsanalysen. Anwendungen Studie III Tageslicht hat
      einen wichtigen Einfluss auf die Wahrnehmung von visuellem
      Komfort, aber es kann auch unbehagliche Blendungen während
      der Büroarbeit hervorrufen. Deren Verhaltenseinflüsse zu
      messen, streben wir hier an. Wir erreichen dies, indem wir
      Fixationen mit Helligkeitsverteilungen in einer realen
      Messumgebung vergleichen, für welche wir Variationen der
      Helligkeit über einen 3pi-Raumwinkel zeit-aufgelöst in
      Luminanz-Karten festhalten. Die Helligkeitsauswertung der
      Schreibtischumgebung ergibt eine wohl kontrollierte
      Kategorisierung von unterschiedlichen Lichtbedingungen und
      die Lokalisierung sowie das Helligkeitsmaß von
      Blendung-Quellen.Wir ließen die Probanden gewöhnliche
      Aufgaben wie Lesen, Tippen am Computer, Telefonieren und
      Nachdenken über ein Thema ausüben. Mithilfe des 3D-Modells
      haben wir die Möglichkeit, das Blickverhalten auf
      Verschiebungen seiner Verteilungen in Gegenwart von
      Blendung-Flecken und durch Variation der Lichtbedingungen zu
      testen. Hier vergleichen wir ein nieder-kontrastierte
      Lichtbedingung ohne direkte Sonneneinstrahlung gegenüber
      einer hoch-kontrastierten Lichtbedingung mit direkter
      Sonneneinstrahlung in den Raum. Wenn die Teilnehmer nicht auf
      irgendeine visuelle Aufgabe fokussiert sind und die Präsenz
      des Aufgabenmediums minimal ist, sind die
      Hauptblickrichtungen unter der nieder-kontrastierten
      Bedingung tendenziell zur Aussicht aus dem Fenster geneigt,
      aber bei der hoch-kontrastierten Bedingung schwindet diese
      Tendenz und die Hauptblickrichtung schwenkt eher in den
      Innenraum. Dieses Ergebnis impliziert ein Ausweichen der
      Blendung-Quellen beim Blick-Verhalten. In einer zweiten
      umfangreicheren Messreihe werden auch subjektive Bewertungen
      der Lichtbedingungen von den Teilnehmern mitberücksichtigt.
      Somit kann der Einfluss durch Blendungen detaillierter
      analysiert und darauf getestet werden, inwieweit
      Beurteilungen über visuelles Unbehagen mit Unterschieden im
      Blickverhalten korrelieren. Studie IV Die weiterentwickelte
      Kalibration des Augenbewegungsmessgeräts fand Anwendung in
      mehreren Folgeprojekten und hier ist eine Untersuchung mit
      Patienten miteinbezogen, welche entweder an Morbus Parkinson
      oder an progressiver supranukleärer Blickparese (PSP) leiden.
      PSP’s Schlüsselsymptom ist die stetig schwindende Fähigkeit,
      senkrechte Sakkaden auszuführen und daher das
      Hauptdiagnosemerkmal zur Differenzierung zwischen den beiden
      Formen von Parkinson-Syndromen. Durch eine zügige Prozedur
      von Augenbewegungsmessung mit einem Standardprotokoll konnten
      wir vor-diagnostizierte Patienten erfolgreich zwischen Morbus
      Parkinson und PSP, sowie auch zwischen PSP und
      Kontrollprobanden, differenzieren. Bei PSP Patienten
      detektierte die EyeSeeCam eine prominente Verminderung von
      beiden Sakkaden-Geschwindigkeit und –Amplitude. Außerdem
      zeigen wir damit, dass die Verwendung mobiler
      Augenbewegungsmessgeräte für die klinische Praxis sehr
      nützlich ist. Studie V Entscheidungsbildung ist ein äußerst
      grundlegender Prozess menschlichen Verhaltens und erzeugt
      eine Pupillenerweiterung. Da diese Erweiterung ein
      Kennzeichen des zeitlichen Auftretens der Entscheidung
      wiedergibt, untersuchten wir, ob Personen aus der Pupille
      eines Gegenübers Entscheidungen ausmachen und damit zum
      "Gedankenleser" werden können. Zu diesem Zweck spielten 3
      Gegner eine modifizierte Version des Kinderspiels
      Schere-Stein-Papier, während ihr Auge gefilmt wurde. Diese
      Videos dienten als Stimuli für weitere Personen, welche gegen
      die ersten in Schere-Stein-Papier wetteiferten. Unsere
      Ergebnisse zeigen, dass das Entscheidungs-Lesen aus eines
      Gegner’s Pupille machbar ist und dass man damit die eigene
      Gewinnwahrscheinlichkeit deutlich steigern kann. Diese
      Fähigkeit bedarf keines Trainings aber der Instruktion, dass
      der Zeitpunkt der größten Pupillenerweiterung als Hinweis für
      des Gegners Wahl dient. Unsere Schlussfolgerung lautet, dass
      Personen die Pupille eines Anderen zur Erkennung seiner
      Entscheidungsbildung nutzen könnten, wenn sie die
      ausdrückliche Kenntnis über die Nützlichkeit der Pupille
      haben. Studie VI Für Patienten mit schweren
      Bewegungseinschränkungen ist ein stabiles
      Kommunikationsmittel ein entscheidender Faktor für das
      Wohlbefinden. Locked-in-Syndrom- (LiS) Patienten sind
      Tetraplegiker und unfähig zu sprechen, obschon ihr
      Bewusstsein vollkommen intakt ist. Während klassische und
      unvollständige LiS-Patienten zumindest durch gewollte
      senkrechte Augenbewegungen oder Wimpernschläge kommunizieren,
      können totale LiS-Patienten nicht einmal solche Bewegungen
      ausführen. Übrigbleibend sind nur willenlos ausgelöste
      Muskelreaktionen, wie dies auch bei Pupillenantworten der
      Fall ist. Die Pupillenerweiterung spiegelt erhöhte kognitive
      oder emotionale Tätigkeit wider und wir konnten diese bei
      LiS-Patienten erfolgreich beobachten. Des Weiteren entwarfen
      wir ein Kommunikationssystem, welches Ja-Nein-Fragen mit dem
      Lösen von Rechenaufgaben während der passenden Antwortoption
      kombiniert. Damit konnte die bislang solideste
      Pupillenerweiterung zur robusten Dekodierung von einzelnen
      Durchgängen realisiert werden. Angewandt auf Kontrollpersonen
      und auf Patienten mit verschiedenen akuten
      Bewegungseinschränkungen erweisen die Resultate den
      Machbarkeitsbeweis, dass Pupillenantworten als
      Kommunikationsmittel bei allen Kontrollpersonen und bei 4 von
      7 typischen LiS Patienten dienen können. Fazit Die in dieser
      Dissertation eingeführten Methoden stellen zukunftsträchtige
      Fortschritte zur Messung von visueller
      Aufmerksamkeitszuordnung mit 3D-Augenmessungen in der echten
      Welt bzw. bei der Verwendung von Pupillometrie zur
      Online-Messung von kognitiven Prozessen dar. Die zwei
      herausragendsten Erkenntnisse sind die Möglichkeit zur
      Kommunikation mit komplette LiS-Patienten und der schlüssige
      Beweis, dass Objekte die ursprüngliche Einheit zur
      Fixationswahl in natürlichen Szenen sind.