「進化認知科学」 「言語情報科学特別講義I」
201１年9月30日 14:00～15:30

眼球運動測定を利用した
心理言語学研究
理化学研究所神長 伸幸

注意と注視点
眼球運動測定の原理

読みの眼球運動
話し言葉を理解しているときの眼球運動
眼球運動測定の利点と限界

質疑応答

注意と注視点

カメラのイメージ

目で見たイメージ
中心窩
fovea
傍中心窩
parafovea
周辺視野
peripheralvision解像度の高いイメージは中心窩のみ

自分が最も興味を持っている位置に視点をあわせる必要がある

心眼仮説（Eye-Mind Hypothesis）
Just & Carpenter (1980)

注視点 ＝ 注意している場所

常に成り立つわけではない。

眼球運動測定の原理

Tobii 1750

近赤外線光の反射イメージ

Tobii Technology (2010)

注視点ごとの瞳孔と角膜反射像の関係

Duchowski (2003)

出力データTimesta XGazeP YGazeP XCamer YCamer DiameterXGazeP YGazeP XCamer YCamer DTimesta
Distance ValidityL
mpMicro osLeftEy osLeftEy aPosLeft aPosLeft PupilLeft
osRightE osRightE aPosRig aPosRig P
mpSec
LeftEye eftEye
secee
Eye
Eye
Eye
yeye
htEye htEye h259
2724 497264 0.435135 0.345329 0.595478 0.516161 3.358761 699.4908
0 0.42253 0.330558 0.333036 0.515946 32572724 517292 0.424448 0.350856 0.595654 0.516696 3.372919 699.4908
0 0.430805 0.321014 0.332965 0.516627 3245
2724 537263 0.442911 0.33148 0.595972 0.517112 3.383989 699.4908
0 0.430674 0.307115 0.332959 0.517414 3265
2724 557137 0.43709 0.377656 0.59625 0.517859 3.402236 699.4908
0 0.425784 0.314475 0.333102 0.518348
267
2724 577011 0.433068 0.371606 0.596671 0.518774 3.39292 699.4908
0 0.43386 0.323827 0.333279 0.519311 32662724 597010 0.441395 0.369419 0.59712 0.519566 3.391321 697.25
0 0.434071 0.324543 0.333519 0.520231 32672724 617010 0.435297 0.370112 0.597691 0.519994 3.391568 697.25
0 0.441808 0.326148 0.333998 0.520774 3265
2724 636888 0.441606 0.393969 0.59835 0.520671 3.570886 697.25
0 0.433948 0.298612 0.334392 0.521515 32682724 656887 0.435856 0.343626 0.598934 0.520863 3.441515 697.25
0 0.428913 0.355646 0.334847 0.52176 32642724 676761 0.434841 0.377295 0.599536 0.521005 3.405939 697.25
0 0.436234 0.312628 0.335413 0.522173 32682724 696760 0.435253 0.380896 0.600031 0.52124 3.456161 695.5432
0 0.435867 0.318311 0.335796 0.522403 3251
2724 716638 0.441118 0.334881 0.600565 0.521131 3.425452 695.5432
0 0.436513 0.31954 0.336234 0.522418 3368
2724 736635 0.48824 0.478323 0.599981 0.522337 3.44506 695.5432
0 0.496447 0.480418 0.336262 0.523599 3388
2724 756511 0.496469 0.518527 0.600444 0.522911 3.496779 695.5432
0 0.489076 0.493035 0.33674 0.524449 3398
2724 776510 0.487408 0.525466 0.600957 0.52302 3.458731 695.5432
0 0.478764 0.511485 0.336942 0.524513 3403
2724 796388 0.489627 0.528226 0.60145 0.522856 3.493154 698.1235
0 0.470013 0.5232 0.3373 0.524541 3382
2724 816385 0.485933 0.520675 0.601957 0.522489 3.488951 698.1235
0 0.486759 0.4752 0.337661 0.524209 3388
2724 836262 0.492439 0.496231 0.602389 0.521996 3.461466 698.1235
0 0.492013 0.514198 0.33798 0.523722 3379
2724 856136 0.489516 0.520764 0.602771 0.521656 3.482087 698.1235
0 0.499188 0.468101 0.33835 0.523554 3375
2724 876136 0.497469 0.501177 0.603248 0.52152 3.464012 698.1235
0 0.473665 0.477544 0.338554 0.523411 33822724 896137 0.497907 0.510201 0.6036 0.521443 3.472235 698.2267
0 0.477449 0.487002 0.338894 0.523437 3387
2724 916009 0.491131 0.489497 0.604047 0.521808 3.437062 698.2267
0 0.477546 0.519212 0.339197 0.523667 3364
2724 935888 0.491131 0.47281 0.604442 0.522482 3.454996 698.2267
0 0.489113 0.477158 0.339655 0.524362 3408
2724 955889 0.492216 0.540081 0.604866 0.522637 3.531069 698.2267
0 0.483124 0.523654 0.339851 0.524537
3852724 975886 0.480341 0.516173 0.605187 0.522644 3.470804 698.2267
0 0.496166 0.488334 0.340205 0.524543 3

CursorX CursorY
439
437
447
441
443
448
449
448
442
445
446
449
504
504
494
491
498
504
506
497
499
495
501
499
499

読みの眼球運動

停留（Fixation)
サッカード（Saccade）

停留時間の分布

225 msRayner (1998)

サッカード距離の分布

8 文字

Rayner (1998)

具体例を考えてみよう中心窩にある文字・単語の認識停留する時間に影響する

周辺視野にある文字・単語の認識停留する位置に影響する

サッカードの実行

次の文字・単語の認識が始まる

心眼仮説（Eye-Mind Hypothesis）
Just & Carpenter (1980)

処理負荷の増大 ⇒ 停留時間の増加

眼球運動測定を用いた先行研究

単語の特性（頻度・予測可能性）
文構造の複雑さ

文構造の曖昧性

単語の頻度効果の検討

疑問単語の出現頻度によって文理解の処理負荷は高まるか？

単語の頻度効果の検討
低出現頻度条件

The slow waltz captured her attention.
The exhausted steward left the plane.

高出現頻度条件

The slow music captured her attention.
The exhausted student left the plane.

Rayner & Duffy (1986)

単語の頻度効果の検討

波及効果（Spill-over effect)

350
330
Ga 310ze 290270（ Dmu 250s） r 230
at 210io 190
n 170

低出現頻度
高出現頻度
Rayner & Duffy (1986)

150
ターゲット‐１

ターゲット

ターゲット＋１単語の予測可能性の検討

疑問
先行文脈から予測可能な単語の処理は、負荷が軽減されるだろうか？

単語の予測可能性の検討
予測可能性 高 vs. 中

The woman took the warm cake out of the _____ so that
she could frost it.
oven (.98); stove (.23)
予測可能性 中 vs. 低Calm seas are always good for _____ on hot summer days.
swimming (.65); floating (.05)
予測可能性 高 vs. 低

The postman opened the package to inspect its _____
before sending it.
Contents (1.00); packing (.05)
Rayner & Well(1996)

単語の予測可能性の検討
1GazeDuration(ms290*

Gaze Duration
Fixation Prob.

270
250

*

230

210

F
i0.9 xat0.8 ion0.7)

P
r0.6 ob.

190
170
1500.5
予測可能性低予測可能性中予測可能性高文構造の複雑さの検討

疑問文を構成する各単語が提示された時点で、文構造を決める処理がなされるのか？

文構造の複雑さの検討

主語関係節文The businessman that married the secretary invitedthe bookkeeper to the party.

目的語関係節文The businessman that the secretary married invitedthe bookkeeper to the party.
Traxler et al. (2002)

文構造の複雑さの検討

目的語関係節文は、主語関係節文と比較するといろいろな理由で処理負荷が高い。

文構造の複雑さの検討
理由１： 項の属性の重なり

主語関係節文： businessman 主節主語 ＆ 関係節主語
主語関係節文： businessman 主節主語 ＆ 関係節目的語

主語関係節文The businessman that married the secretary invitedthe bookkeeper to the party.
目的語関係節文The businessman that the secretary married invitedthe bookkeeper to the party.
Traxler et al. (2002)

文構造の複雑さの検討
理由２： 名詞に割り当てられる意味役割の重なり

主語関係節文： businessman 主節動詞の動作主 ＆ 関係節動詞の動作主
主語関係節文： businessman 主節動詞の動作主 ＆ 関係節動詞の被動作主

主語関係節文The businessman that married the secretary invitedthe bookkeeper to the party.
目的語関係節文The businessman that the secretary married invitedthe bookkeeper to the party.
Traxler et al. (2002)

文構造の複雑さの検討
理由３： 記憶への負荷の違い

主語関係節文： businessman 関係節動詞の出現が早い
主語関係節文： businessman 関係節動詞の出現が遅い

主語関係節文The businessman that married the secretary invitedthe bookkeeper to the party.
目的語関係節文The businessman that the secretary married invitedthe bookkeeper to the party.
Traxler et al. (2002)

文構造の複雑さの検討
1200(T 1000
ot 800am l
600
sti 400me 200)

主語関係節文目的語関係節文0
関係節

主節動詞married the secretary
the secretary marriedinvited
Traxler et al. (2002)

文構造の曖昧性の検討

疑問文の構造が一時的に曖昧になる場合、読み手はどのように解釈しているのか？
直列処理（Serial processing） vs. 並列処理(Parallel processing)文構造の曖昧性の検討
Late closure 条件

Since Jay always jogs a mile and a half this seems likea short distance to him.
Early closure 条件

Since Jay always jogs a mile and a half seems likea short distance to him.

後の閉鎖原則（Late closure）によると、Late closure解釈が先好される
Frazier & Rayner (1982)

文構造の曖昧性の検討
Late closure 条件

Since Jay always jogs a mile and a half this seems likea short distance to him.
Early closure 条件

Since Jay always jogs a mile and a half seems likea short distance to him.

Late closure解釈のみを保持していると、Early closure 条件で矛盾が生じる。
（ガーデンパス効果）
二つの解釈を保持し続けられるならば、解釈が確定したところで一つに決めればよい。

文構造の曖昧性の検討
350

Duration300

Fi250
xat 200iom n 150s

(Late closure
Early closure)100

ターゲット‐3ターゲット‐2ターゲット‐１ターゲット

thisseems

ターゲット＋1

ターゲット＋2

Frazier & Rayner (1982)

話し言葉を理解しているときの眼球運動これまでの話では、視覚提示された文字を眼球運動は見るときに利用された。

近年、話し言葉の理解も眼球運動で調べることが（海外では）標準的になりつつある。

はじまりは…

The control of eye fixation by the meaning of
spoken language: A new methodology for the realtime investigation of speech perception, memory,and language processing
Roger M. Cooper, (1974).Cognitive Psychology

While on a photographic

safari

In Africa,… wondering how he gotten away from camp,

研究方法として注目されたきっかけは…

Integration of Visual and Linguistic Information in
Spoken Language Comprehension
Michael K. Tanenhaus, Michael J. Spivey-Knowlton, Kathleen M.
Eberhard, Julie C. Sedivy (1995). Science

以降、視覚世界パラダイム（Visual World Paradigm）と呼ばれるようになる。

疑問
実世界の視覚文脈は、文構造に曖昧性のある文の処理に影響を与えるか？

ガーデンパス理論 ｖｓ. 制約依存モデル(Garden-path theory)(Constraint-based model)

課題
聴覚提示された指示（文）を聞いて、その通りに行動する。
（Act out課題）

曖昧条件

Put the apple on the napkin in the box.
非曖昧条件

Put the apple that’s on the napkin in the box.

視覚文脈その１
Put the apple on the napkin in the box.

視覚文脈その１
Put the apple that’s on the napkin in the box.

視覚文脈その2
Put the apple on the napkin in the box.

視覚文脈その2
Put the apple that’s on the napkin in the box.

Trueswell et al (1999) による追試

TargetIncorrect goal

Competitor

Correct goal

文の解釈に対応するオブジェクトがあれば、聞き手の予測した解釈もわかるかもしれない。

動詞 （あいさつする）

ウエイトレスが客に直接目的語（料理を） ＋動詞

動詞 （見る）
ウエイトレスが客を間接目的語（席に） ＋動詞

ウエイトレスが客に 楽しげに ハンバーガーを運ぶ。

ウエイトレスが客を 楽しげに からかう。

主語目的語Kamide et al. (2003)

眼球運動測定の利点と限界利点１
文理解中の処理負荷が高まる

タイミングを敏感に知ることができる。

処理負荷の増大 ＝ 停留時間の上昇利点２

文の意味が確定する前段階の解釈を推論できる。

注視されたオブジェクト ＝ 解釈利点３

統合過程だけでなく予測的処理を捉えられる。

予測と異なる単語の出現による停留時間の増加
提示されていない情報を用いた解釈に対応した注視点の変化利点４

実世界の文脈が文理解に及ぼす影響を捉えられる。

視覚文脈の違いが注視点に及ぼす影響限界１

どんなタイプの処理であってもその負荷が増大すると停留時間の増加という形で現れる。
低頻度
低親密度
文構造の複雑さ
多義語
文構造の曖昧性停留時間の増加

限界2

視覚世界パラダイムでは解釈の無限の可能性からあらかじめいくつかだけを残して見せている。

“Closed-set issues” (Tanenhaus & Trueswell, 2001)

限界3

心理言語学研究では眼球運動の特性に関して考慮しきれていない要素が多い。

視覚刺激の大きさ
視覚文脈全体の複雑さ
眼球運動のコントロール

英語と日本語では読み方が違うの？

文字の種類の違い

英語

Alphabet

日本語

漢字；ひらがな；カタカナ表記方法の違い

英語

A sentence contains spaces between words.

日本語 基本的に空白は使いません。

結果：停留位置の違い

英語
Feng (2009)

日本語
Kajii el al. (2001)

なぜ日本語の文章は停留位置が単語の先頭に偏るの？

１. 漢字はひらがなに比べて空間的な密度が高い。
２. 内容語の先頭は漢字である確率が高い。

周辺視野で密度の高い所へ停留すると結果的に単語の先頭になることが多い。

どの位置で効果が出現するのか？

前の単語

ターゲット単語

次の単語

Parafoveal-on-foveal効果

心眼仮説に一致波及効果

文中のどの位置でどのような処理が行われるのかを理論・仮説に基づいてきちんと予測する。

検討したい要因以外の要因からの影響を最小にする。
文の解釈に一対一対応する視覚文脈を設定する。

本講義の課題
Chambers, C.G., Tanenhaus, M.K & Magnuson, J.S. (2004). Action-based affordances andsyntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, &Cognition, 30, 687-696.

指定された論文を読んで、１．研究内容の要約を行う。
（要旨の日本語訳ではない）
２．どのような点において眼球運動測定がこの研究にとって重要かを考える。