進化認知科学
言語情報科学特別講義 I2011.9.30 (4コマ目）
大石 衡聴（理研・言語発達研究チーム／JSPS特別研究員）

講義内容

 前日の脳波測定実習、および本日の言語理解研究の議論で学んだことをふまえて、脳波を測定することで、どのように人間の言語理解能力の解明に貢献することができるのかを実際の研究例を通して講義する。

OUTLINE なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

OUTLINE なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

文理解研究になぜ心理実験が必要なのか？
 Empirical scienceとしての言語研究


現象の観察 → 仮説の立案 → 実験 → 仮説の妥当性の検証Language competence （言語能力）

等質的な言語共同体に属し、その言語を駆使し、実際の運用の際に非言語的要因（記憶容量や注意の移行など）の影響を受けない「理想的な言語話者」の脳内に実在する言語に関する知識研究者が修業を積んで「理想的な言語話者」になり、自分の頭の中で思考実験を行えばOK

文理解研究になぜ心理実験が必要なのか？
 Empirical scienceとしての言語研究


現象の観察 → 仮説の立案 → 実験 → 仮説の妥当性の検証

language performance （言語運用）


非言語的要因が反映される場面で、言語能力のみならず他の様々な要因の関与のもとで行われる動的な処理非言語的要因による多大なる影響、さらには個人差 客観性の欠如
 動的な処理の内容を反映する客観的な指標が必要


OUTLINE
なぜ文理解研究に心理実験が必要なのか？
文理解研究で用いられる指標
文理解に関連したERP成分
ERPを用いた文理解モデルの妥当性の検証ERPを用いた文理解研究の近年の成果
まとめ

文理解研究で用いられる指標
 行動指標読み時間 (reading time) 眼球運動 (eye movement) 電気生理学的指標

事象関連電位 (event-related potential: ERP)
 脳磁図 (magnetoencephalogram: MEG) 生理指標（ヘモダイナミクス（血行動態））

機能的磁気共鳴画像法 (functional magnetic resonanceimaging) 近赤外線分光法 (near infrared spectroscopy: NIRS)
文理解研究で用いられる指標
 行動指標読み時間 (reading time) 眼球運動 (eye movement) 電気生理学的指標

事象関連電位 (event-related potential: ERP)
 脳磁図 (magnetoencephalogram: MEG) 生理指標（ヘモダイナミクス（血行動態））

機能的磁気共鳴画像法 (functional magnetic resonanceimaging) 近赤外線分光法 (near infrared spectroscopy: NIRS)
文理解研究で用いられる指標
 行動指標読み時間 (reading time) 眼球運動 (eye movement) 電気生理学的指標

事象関連電位 (event-related potential: ERP)
 脳磁図 (magnetoencephalogram: MEG) 生理指標（ヘモダイナミクス（血行動態））

機能的磁気共鳴画像法 (functional magnetic resonanceimaging) 近赤外線分光法 (near infrared spectroscopy: NIRS)
文理解研究で用いられる指標
 行動指標読み時間 (reading time) 眼球運動 (eye movement) 電気生理学的指標

事象関連電位 (event-related potential: ERP)
 脳磁図 (magnetoencephalogram: MEG) 生理指標（ヘモダイナミクス（血行動態））

機能的磁気共鳴画像法 (functional magnetic resonanceimaging) 近赤外線分光法 (near infrared spectroscopy: NIRS)読み時間測定(READING TIMEMEASUREMENT)

実験方法：読み時間測定
 自己ペース読文法 (self-paced reading task)

キーボードのボタンを押すたびに次の文節が呈示される
ボタンを押してから次にボタンを押すまでの時間が記録される★
★警官が★警官が犯人を★警官が犯人を捕まえた★警官が犯人を捕まえた青年に

実験方法：読み時間の場合
 どのようにして処理内容を推論するのか？

 読み時間：その文節を処理するのに必要となったコストを反映
 一時的構造曖昧性が実際に解消される文節の読み時間を比較

a. 警官が犯人を捕まえたおかげで・・・ （統制条件）
b. 警官が犯人を捕まえた青年に・・・ （ターゲット条件） ターゲット条件の方が統制条件に比べて統計的に有意に読み時間が長かった → b.でガーデンパス現象が観察された

用語 (TECHNICAL TERM)
 Spill-over effect と delayed effect
文節１

文節２

文節３

文節４

文節５

文節６

文節7

太郎が/力の限り/次郎を/助けた/三郎を/ほめた/。
一時的構造曖昧性

ガーデンパス現象

Spill-over effect: 文節５で観察された処理負荷が次の文節まで及ぶこと
Delayed effect: 文節5で観察されると予測された処理負荷が文節５ではなく次の文節（以降）で観察されること

眼球運動測定(EYE MOVEMENTMEASUREMENT)

実験方法：眼球運動の場合
 眼球運動測定 (eye tracking measurement) 画面に文全体が一度に呈示される
 AOI (Area of Interest) への停留時間や逆行眼球運動などが記録される

実験方法：眼球運動測定
 眼球運動測定 (eye tracking measurement)

画面に文全体が一度に呈示される
 AOIへの停留時間や逆行眼球運動などが記録される
★ 警官が犯人を捕まえた青年に丁寧にお礼を言った。

眼球運動

枠：各AOI、丸：停留位置および時間、線：サッカード

小学校3年生

小学校5年生成人

 処理内容の推論に関して：一時的構造曖昧性が実際に解消されるAOIにおける停留時間等を条件間で比較
文節n+1

文節nB
A

DC

1回目の停留時間（A）
最初の停留からの合計停留時間（A+B）
読み返し停留時間（D）
20
総停留時間(A+B+D) 20

事象関連電位測定(ERP MEASUREMENT)脳波 (ELECTROENCEPHALOGRAM) とは
 定義：脳の活動に伴って生じる電気的活動を、頭皮上などに貼りつけた電極で記録したもの
実際は2つの電極間の電位差を測定したもの
 大きさは数十マイクロボルト（1μVは100万分の1V）
 脳波計で数万倍に増幅するとリズムを持った波として観察可能

13~40Hz
8~13Hz4~8Hz

0.5~4Hz事象関連電位 (EVENT-RELATED POTENTIAL)とは
 定義：外的あるいは内的な事象（刺激の入力など）に時間的に関連して生じる脳の電気的活動EEGに重なって記録される
 EEGに比べて電位量が小さいため、1試行ごとに観察するのは困難 一般的には加算平均法を用い、事象とは関連しないEEGを相殺することで抽出される


広島大学認知心理生理学研究室・入戸野先生HPより抜粋

実験方法：ERP測定
 ERP測定 (ERP measurement)

1文節ずつ画面中央に呈示各文節のオンセットを０ｍｓ、呈示前１００ｍｓ間の平均電位をベースラインとして電位量を算出★

警官が犯人を捕まえた青年に

実験方法：ERP測定

文理解研究で用いられる指標の比較
時間解像度

空間解像度

読み時間
眼球運動

highERPhighpoor

MEG

high

relatively highfMRI

poorhighNIRS

relatively highrelatively poor

各実験方法で得られるデータの性質の比較
 読み時間測定

1つの文節を読むのに必要となった時間

 眼球運動測定

1つのArea of interest（AOI）から次のAOIへと眼球が移動するまでに必要となった時間

 ERP測定


刺激の入力に時間的に関連して惹起 (elicit)されたERP成分

極性、ピーク潜時、振幅量、頭皮上分布
処理負荷の量のみならず、その質や、いつ処理が始まったのかについても検討可能

OUTLINE なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

文理解過程で観察されるERP成分 (1) N400 (Kutas & Hillyard, 1980)(1)

a. He spread the warm bread with butter.
b. He spread the warm bread with socks.
c. He spread the warm bread with BUTTER.

統語的な問題はないが意味的に問題のある文 ((1b)) と、表記法に問題のある文 ((1c)) とで異なるERP成分が惹起 (elicit) された

N400は言語の意味的な側面に特化した成分？
 言語の他の側面に対するERP反応を観る必要アリ文理解過程で観察されるERP成分 (2) P600 (Osterhout & Holcomb, 1992; Hagoort et al., 1993)
Osterhout & Mobley (1995)
a. The elected officials hope …
b. The elected officials hopes …

 統語的な問題が生じた際に、N400とは極性も潜時帯も異なる成分が惹起された。
 文の統語的側面と意味的側面とが脳内で区別されている？？OUTLINE
 なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

一時的構造曖昧性の解消について：直列モデル(SERIAL PARSER) VS. 並列モデル (PARALLELPARSER)
 一時的構造曖昧性：

文理解過程のある時点で複数の解釈可能性があること
 Serial modular two-stage model (e.g., Garden-pathmodel)First-pass analysisでは、文処理装置は統語的情報のみに基づいて新たに入力された語を既存の構造に結合する
 Parallel interactive one-stage model (e.g., Constraint-based model)First-pass analysisの段階から、統語的情報に基づく構造のみならず、語彙情報などの非統語的情報に基づく構造も構築し、最終的には可能な解釈のうちで最も制約に適合するものを選択する一時的構造曖昧性の解消について：直列モデル(SERIAL PARSER) VS. 並列モデル (PARALLELPARSER)

どちらのモデルがより妥当なのか？
ERPによる検証

一時的構造曖昧性の解消について：直列モデル(SERIAL MODEL) VS. 並列モデル (PARALLELMODEL) Osterhout, Holcomb, & Swinney (1994)(3)



a. The doctor hoped the patient was lying. (intransitive)b. The doctor believed the patient was lying. (intransitively-biased)c. The doctor charged the patient was lying. (transitively-biased)
d. *The doctor forced the patient was lying. (transitive)

直列モデルによる予測

動詞の下位範疇化情報を無視し、最少付加方略(minimalattachment strategy) に基づいて最も単純な構造を構築する全ての文で ”the patient” を直接目的語として分析するため、全ての文で “was” が入力された際にガーデンパス現象が生じる

一時的構造曖昧性の解消について：直列モデル(SERIAL PARSER) VS. 並列モデル (PARALLELPARSER)
 Osterhout, Holcomb, & Swinney (1994)(3)



a. The doctor hoped the patient was lying. (intransitive)b. The doctor believed the patient was lying. (intransitively-biased)c. The doctor charged the patient was lying. (transitively-biased)
d. *The doctor forced the patient was lying. (transitive)

並列モデルによる予測


文処理装置は動詞の下位範疇化情報のみならず、用途バイアスをも利用して構造を構築する

(3c, d) では “the patient” が直接目的語として分析されるため、“was” が入力された際にガーデンパス現象が生じる

一時的構造曖昧性の解消について：直列モデル(SERIAL PARSER) VS. 並列モデル (PARALLELPARSER)(3) a. The doctor hoped the patient was lying. (intransitive)b. The doctor believed the patient was lying. (intransitively-biased)c. The doctor charged the patient was lying. (transitively-biased)
d. *The doctor forced the patient was lying. (transitive)
 曖昧性解消領域 (i.e., “was”)


直列モデルによる予測
動詞の下位範疇化情報を無視し、最少付加方略(minimalattachment strategy) に基づいて最も単純な構造を構築する
全ての文で ”the patient” を直接目的語として分析するため、全ての文で “was” が入力された際にガーデンパス現象が生じる



並列モデルによる予測
transitively-biased条件およびtransitive条件では”the patient”は直接目的語として分析されており、”was”が入力された際、前者では構造の再分析が行われ、後者では非文性が発見される

P600を指標として
 P600 (Osterhout & Holcomb, 1992; Hagoort et al., 1993)

Osterhout & Holcomb (1992)

a. The broker hoped to sell the stock was sent to jail.
b. The broker persuaded to sell the stock was sent to jail.
(Osterhout & Holcomb (1992), EXP2)

 P600は文の統語構造に関する再分析に伴う負荷も反映
 どの条件で文の統語構造の再分析が行われたのかを判断するための指標

Results

(a)

(c)

(b)

(d)

 (3a, b) ではERPに差はなかったが、(3c, d)では潜時600ms辺りでピークを迎える陽性電位が観察された  P600
 並列処理モデルによる予測と合致  並列処理を支持する結果

OUTLINE なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

各ERP成分が反映する認知的処理について：・・・ 近年の研究成果 ・・・
伝統的な解釈： N400＝意味的処理にかかるコスト

新たに入力された語を先行文脈に意味的に統合するのにかかる負荷を反映
He spread the warm bread with butter/#socks.

 P600＝統語的処理にかかるコスト



当該言語の統語規則に逸脱する語が入力された場合や、既存の統語構造とは合致しない構造を要求する語が入力された際に生じる負荷を反映
The elected officials hope/*hopes …
The broker hoped/persuaded to sell the stock was …

各ERP成分が反映する認知的処理について：・・・ 近年の研究成果 ・・・

N400に関する成果

N400に関する研究の成果
 Federmeier & Kutas (1999)
N400がsemantic integrationにかかるコストのみを反映するならば、同程度にcloze probabilityの低い（i.e., semanticintegration costも同程度の）刺激に対するN400振幅量に差は生じないと予測される(5) They wanted to make the hotel look more like a
tropical resort. So along the driveway they plantedrows of ...
a. palms/b. pines / c. tulips
有意差ありN400に関する研究の成果
 semantic integration costが同程度の2条件間でN400振幅量に有意差が生じた
 先行文脈の内容を意味記憶に照合し、次の単語を予測

幅量は予測との一致度と反比例
Federmeier et al. (2002)
High Constraint
He caught the pass and scored anothertouchdown. There was nothing he enjoyed morethan a good game offootball/baseball/monopoly.

Low Constraint
Eleanor offered to fix her visitor somecoffee. Then she realized she didn’t have a clean
cup/bowl/spoon.

→ N400振各ERP成分が反映する認知的処理について：・・・ 近年の研究成果 ・・・

P600に関する成果

P600に関する研究成果
 一対一対応神話崩壊：P600がある種の意味的逸脱を反映

P600に関する研究成果


統語的には何の問題もないが、ある種の意味的な逸脱が含まれる文でP600が出現 --> “Semantic P600”(5) Kuperberg et al. 2003
a. For breakfast the boys would eat …
b. For breakfast the eggs would eat …
c. For breakfast the boys would plant …

“the eggs”“the boys”

統語的分析
動作主
動作主

意味的分析
対象
動作主
意味役割の分析に関してミスマッチ有り

P600に関する研究成果
 英語だけでなくオランダ語を対象とした研究でも観られている(6) Hoeks et al. 2004 (Dutch)
a. De speer werd door de atleten geworpen.
The javelin was by the athletes thrownb. De speer heeft de atleten geworpen.
The javelin has the athletes thrown 印欧語のみならず、日本語を対象とした研究でも観察されている(7) Oishi & Sakamoto, 2009 (Japanese)a. サバンナのハイエナがライオンの食べ残しに群がった。
b. ライオンの食べ残しがサバンナのハイエナに群がった。

P600に関する研究成果
 読み手の持つ世界知識が影響(8) Kolk et al., 2003
a. De muizen die voor de kat vluchtte … (Control)
The mice that from the cat fledb. De kat die voor de muizen vluchtte … (Semantic P600)
The cat that from the mice fled
 動詞とその項との間の意味的関連性の強弱が影響(9) Kim & Osterhout, 2005
a. The hearty meal was devoured … (Control)b. The hearty meal was devouring … (Semantic P600)
c. The dusty tabletops were devouring … (N400)

P600に関する研究成果
 統語と意味は脳内で質的に区別されているだけでなく、それぞれの情報に基づく処理が独立して実行されている。
 それぞれの出力結果を統合して最終的な心的表象を構築するが、意味的情報に基づく処理の出力の妥当性がある程度の基準を超えて高い場合には統語的情報に基づく処理の出力に「物言い」をつける場合がある。
 意味的情報に基づく処理の出力を信頼した結果、統語的情報に基づく処理の出力に誤りがあると判断し、P600が惹起される？

P600に関する研究成果 其の弐
 Syntactic P600 = Semantic P600 ??

(10) 警官が犯人を捕まえた青年に ...
(11) ライオンの食べ残しがサバンナのハイエナに群がった。

どちらも表面上は同じP600成分ではあるが・・・⇒ 時間周波数解析 (Time-frequency analysis)

P600に関する研究成果 其の弐

時間周波数解析とは？
周波数解析：任意の時間枠の脳波データに、どの周波数帯域の波がどの程度あるのかを、離散フーリエ変換を行って 調べる解析方法。各周波数ごとに、その強さを求めることができる。

例えば、人は安静にしているとアルファ波(8～13Hz)の脳波が増大し、逆に、何かに集中していると、アルファ波は減少し、ベータ波(13～Hz)などの周波数の高い脳波が増大する。

P600に関する研究成果 其の弐

時間周波数解析とは？
時間周波数解析：ある時間窓で離散フーリエ変換をして、その時間窓をずらしていくという解析法。
参考ウェブサイト：
http://eegkaiseki.web.fc2.com/ft.html
http://brainsc.com/eeg/kaiseki.html＊なお、離散フーリエ変換ではなく、ウェーブレット変換を用いる方法もある。
詳しくはwebで。

P600に関する研究成果 其の弐
 Syntactic P600 = Semantic P600 ??

(12) a. 警官が犯人を捕まえた青年にお礼を言った。
b. 犯人を捕まえた青年に警官がお礼を言った。
(13) a. ライオンの食べ残しがサバンナのハイエナに群がった。
b. サバンナのハイエナがライオンの食べ残しに群がった。
 (12a)を呈示した際の脳波データと(13a)を呈示した際の脳波データについて時間周波数解析を行い、活性化する周波数帯域が同じか否かを検証する

P600に関する研究成果 其の弐P600に関する研究成果 其の弐
(12a)

(12b)

(13a)

(13b)

OUTLINE なぜ文理解研究に心理実験が必要なのか？
 文理解研究で用いられる指標
 文理解に関連したERP成分
 ERPを用いた文理解モデルの妥当性の検証
 ERPを用いた文理解研究の近年の成果
 まとめ

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

まとめ
 文処理研究におけるERPの有用性

時間解像度が高い（1ms単位）
 処理負荷の質的側面（意味的な問題なのか、統語的な問題なのか）に敏感
 すでにいくつかの文処理に関連した成分のfunctionalsignificanceに関して多くの研究が積み重ねられている

（下世話な話ではあるが）日本国内にERPを用いて言語（特に文レベルの）処理を専門的にやっている研究者は少ないのですぐに「日本で○本の指に入る研究者」になれる

（下世話な話ではあるが）MEGや、fMRIのようなニューロイメージング系の機械に比べて安く、比較的お手軽に実験ができる

THANK YOU FOR YOURATTENTION!

文理解過程で観察されるERP成分 (1) N400の振幅量はcloze probabilityの逆関数


Cloze probability: the proportion of individuals who provide thatparticular word as the most likely completion for that sentence
fragment in a paper and pencil test.