言語情報科学特別講義I

言語理解研究概論

新井 学
学術振興会特別研究員
東京大学大学院総合文化研究科 言語情報科学専攻

Introduction

文全体の意味は個々の単語だけでは決まらない。
a) The dog bit the man.
b) The man bit the dog.



全く異なる意味情報を伝達(a, b)の文の意味の違いは「語順」、つまり個々の単語・句が現れる順序による。

語順によって文構造が決定する （= 統語情報）


個々の語・句の情報と文構造の情報を統合することで文全体として正しい解釈が得られる。

Introduction• 語順により正しい文構造を知る為にはしばしば文末までの情報が必要である。
英語の例）
The horse raced past the barn fell.
The horse raced past the barn yesterday.
日本語の例）
教授が学生に図書館司書が貸した珍しい古文書を見せた。
（Kamide & Mitchell, 1999)

教授が学生に図書館司書が貸した珍しい古文書を奪った。

Introduction• では、文構造の決定は文を構成するすべての語を見て・聞いてから行われるのか？
 語句間の関係性を持たないまますべての語句を記憶に保持するのは不可能（又は、負荷が高すぎる）。
• e.g., It was the banker that praised the barber that alienated
his wife that climbed the mountain.
 実際には受け取った情報を順次処理(incremental processing)しながら読み・聞き進めている。

Incremental processing (漸次的処理)• 話し言葉（=Listening）では時間上、書き言葉(=Reading)では空間上において言語情報を段階的に与えられる
 そうして受け取る情報を順次処理することで人間の限られたcognitive resourceを使って複雑な文を理解することができる。
 各言語固有の文法によって制約はあるが、これは人間の言語処理の特徴と言える。

代償• 効率化の代償として必然的に一時的な曖昧性、それに伴う誤分析が起こる。
• その再分析において処理負荷が起こる。
もう一度同じ例を漸次的処理の観点から見てみる。
The horse raced past the barn fell.

One example (English)
The horse

raced×NP (animate)agent

Verb (past)

Main clausefell.

past the barn

VPPP

Verb (past)
矛盾！

One example (English)
再分析
The horse

raced

past the barnfell.

NP (animate)

Verb (pastparticiple)

PP

Verb (past)

agent in MC
patient in RC

Main clause

関係節“(which was) raced past the barn”

Another example (Japanese)

S

E.g.

“OLがワインを飲んでいる・・・”

NPVP

OL

NP

V

winedrinking

Another example (Japanese)
E.g. “OLがワインをOffice lady-NOM wine-ACC

飲んでいる

ビジネスマンに… “

drinking

businessman
S

S
NP

VP

OL

NP

VP

(V)

NPOL?
NP

V

wine

drinkingSNibusinessman

VPei
NP

Vwinedrinking

Another example (Japanese)
E.g. “OLがワインを飲んでいる

ビジネスマンに… “

drinking

businessman

Office lady-NOM wine-ACC

S
S
NP

VP

OL

NP

VP

(V)

NP

OL

?
NP

V

wine

drinkingSNibusinessman

VPei

ワインを飲んでいるのはOLではなくてビジネスマンだった！

NPV

wine

drinking

Incremental processing•

言語情報が漸次的に処理される限り曖昧性のない文は存在しない。

•

中でもこのように文の構造解釈において再分析を強いられるタイプの文をGarden-path文と呼ぶ。

•Garden-path文における処理困難は人が言語情報を漸次的に処理していることの証拠である。

Q1. このような文においてどのように漸次的処理が行われるのか？
Q2. どのような言語情報がその分析に影響を与えるのか？

2つの考え方
1) Serial syntax-driven models
 一度に一つの文構造だけ検討する
 まず統語情報が分析を主導する
Garden-path model (Frazier, 1987)
2) Parallel interactive models
 一度に複数の文構造を検討する
 様々な情報の影響により分析が決まる。

Constraint-based models (MacDonald, Pearlmutter, &Seidenberg, 1994)

Garden-path model

第1段階では各語彙の持つ情報を無視した統語情報によって文構造が決定される。具体的には二つの原則に従う。

1) Minimal attachment- 新しい語句は最もシンプルな構造を作るように統合される。
e.g., The student forgot the solution was in the back of the book.
名詞句を直接目的語として解釈する方が補文より構造的にシンプル

2) Late closure- 構造的な複雑さが同等の場合、新しい語句は既に処理した句ではなく、現在処理している(i.e., late)句に修飾する。
e.g., John said he would leave yesterday.
(early)×○(late) 常に決まった解釈が選択される(i.e., fixed-choice model)

Garden-path model それ以外の情報は遅れて（第2段階で）扱われる。
<第1段階>

統語情報<第2段階>

語彙レベルの情報

意味的整合性

文脈再分析

初分析

このモデルによる予想
意味的整合性（Plausibility）や文脈情報などの影響は遅れて現れる。

Constraint-based models•

様々な言語情報のみならず非言語情報を含むあらゆる情報が即時に制限（Constraint）として作用し、可能な解釈の中で最もその制限に適合した解釈が選択される。
語彙レベルの情報

意味的整合性
文脈統語情報

韻律情報

文解釈
このモデルによる予想
あらゆる情報が同時に初分析に影響を与える

争点•

語彙レベルの情報、特に特定の動詞の持つ語彙レベルの統語情報が初分
析に影響を与えるか？
- Garden-path model=> 与えない

- Constraint-based models => 与える具体例）“The young athlete realized her exercises one day might make her a worldclass sprinter.”(Pickering et al., 2000)•

上の文を処理する際に動詞realizeが補文の解釈を（直接目的語の解釈より）好むという情報が即時に使われるかどうか？

•

過去の研究結果は二分されている。

Garden-path modelのサポート
Mitchell (1987) 読み実験

• 特定の動詞が自動詞かどうかという情報が即時に使われるかどうか調査。
After the child had sneezed the doctor | prescribed a course ofinjections.
• ‘the doctor’において読み時間の増加があった ⇒ the doctor’がsneezeの直接目的語だという誤った解釈を行った。
• 特定の動詞が他動詞であるか自動詞であるかという情報は無視される、つまり語彙レベルの統語情報は初分析に使われないと結論。

Garden-path modelのサポート
Ferreira & Henderson (1990): 読み実験

• 補文の選好性が高い動詞(wish)と直接目的語の選好性が高い動詞（forgot）を比較し、こうした語彙固有の選好情報が即時に使われるかどうか調査。
a) He wished Pam needed a ride with him.
b) He forgot Pam needed a ride with him.
 (a)も(b)も語彙の選好情報とは関係なく、neededで処理困難（ガーデンパス効果）が見られた。
 語彙レベルの統語情報は初分析に使われないと結論

Constraint-based modelsのサポートAltmann & Steedman (1988): 読み実験
 ターゲット文
1a) The burglar blew open the safe with the new lock.
1b) The burglar blew open the safe with the dynamite.

- 名詞句修飾- 動詞句修飾

通常は動詞句修飾が好まれる為、 (1a)は再分析による処理負荷がかかる。



しかし以下の先行文脈の後では(1a)の方が(1b)よりも処理が容易だった。

 先行文脈e.g., A burglar broke into a bank carrying some dynamite. He planned to blow
open a safe. Once inside he saw that there was a safe with a new lock and a safewith an old lock.
文脈情報が文構造分析に影響を与えたのでGP modelを反証すると結論。

Constraint-based modelsのサポート
Spivey, Tanenhaus, Eberhard, ＆ Sedivy (2002)： Visual World Paradigm“Put the apple on the towel
in the box”

“on the towel”は一時的にmodifierかgoalか曖昧（最終的にmodifierが正しい）
タオルを見た確率 りんごが二つある場合即時に正しいmodifierの解釈を行った（逆にひとつの場合はGarden-pathが起きた）
 Visual context（絵刺激によって与えられる文脈）がオンラインの解釈に影響を与えたのでCB modelsをサポートすると結論

二つのモデルの実証• 過去の研究結果を見ると、各語彙固有の情報が即時に使われるか否かで結果は二分されている
使われない使う

Ferreira & Henderson, 1990
Mitchell, 1987
Pickering et al., 2000
Pickering & Traxler, 2003
Van Gompel & Pickering, 2001

Clifton et al., 1984
Garnsey et al., 1994
Stowe et al., 1991
Trueswell et al., 1993
Staub, 2007

• 問題点
 文脈など統語以外の情報はGP modelの第2処理段階で使われた（つまり再分析が速く行われた）と主張することもでき、こうした読み・注視時間の結果をもってGP modelを完全に反証することは難しい。
 また、CB modelsはどんな情報もすべて影響しうると言っているが、実際どの情報がどの程度影響するかなど細かな予測は立てられず実証が難しい。

過去の研究の問題点
e.g., “The young athlete realized her exercises one day mightmake her a world-class sprinter.” 今までは動詞の後の名詞句における処理を見ていた
 動詞を受け取った時点でどのような処理が行われているのか見ていない。
 ここで動詞固有の情報が漸次的に処理されるのであれば、動詞を聞いた時点で「次に何が来るか」という予測に影響を与えるはず。

予測プロセス 今までの研究により人が文を理解する時、既に受け取った情報を処理しているだけではなく、その情報を元に次にどのような語句、文構造が続くか予測をしていることがわかっている。
 これまで、予測に関する研究結果は主に、1) 脳波計測、2) Visual
World Paradigmによる予測的眼球運動、そして3)読みにおける眼球運動計測によって明らかにされてきた。

予測プロセスの実証例 1
特定の単語の予測
 Delong, Urbach, & Kutas (2005)

e.g., The day was breezy so the boy went outside to fly...
- 予測とは異なる名詞句‘an airplane’を聞いた時には予測通りの単語‘a kite’を聞いた時とは異なった反応（N400）が観測された。
- 重要なことにこの効果が名詞ではなく冠詞を聞いた時点で観測された。
- Clozeテストによる予測確率とN400の反応が反比例した(予測確率が低ければ低いほどN400反応は大きかった。)。
•

似たような単語予測の結果はオランダ語でVan Berkum et al. (2005)、スペイン語で Wicha et al. (2004)によって報告されている。

予測プロセスの実証例 2
語彙の意味的情報による予測
Altmann and Kamide (1999): Visual World Paradigm実験“When the boy will{eat …”
move …”
ケーキを見た確率（黒線）のタイムコース

予測プロセスの実証例 3
Eitherによるorに続く情報の予測
 Staub & Clifton (2006)a) Either Linda bought the red car or her husband leased the green one.
b)

Linda bought the red car or her husband leased the green one.

 (a)の方が(b)に比べて接続詞orに続く名詞句（her husband）における読み時間が短かった。
•(b)の文では、接続詞orの後名詞句の等位接続構造を検討することによる処理困難が見られたが、(a)では見られなかった。

•

これによって読み手がeitherがあった場合、orを見た時点でその後に文節の等位接続構造が来ることを予測したことがわかった。

予測的プロセスの実証例 4態の意味的情報による予測
Altmann and Kamide (2007)“The man{will drink …”
has drunk …”

空のグラスとジョッキいっぱいのビールを見た確率><予測的プロセスの実証例 5
音韻的情報による予測
Ito & Speer (2008)‘‘First, hang the green drum’’‘‘Now, hang the BLUE drum’’Contrastive focus cue (L+H*)によってターゲットへの注視が促された。

予測的プロセスの実証例 6
格助詞による予測
Kamide, Altmann, & Haywood (2003)a) ウェイトレスが客に楽し気にハンバーガーを運ぶ。

b) ウェイトレスが客を楽し気にからかう。

 (a)の「客に」（dative case）の後では、(b)の「客を」(accusative case)の後に比べてハンバーガーを多く見た。

予測を研究することで• その語を受け取った時点でその語固有の情報が即座に使われるか知ることができる。
• 漸次的処理が実際どのように起きているか詳細に調査することができる。
• 最近の研究により、予測された語句・構造と、その後実際にそれらの情報を受け取った時の処理負荷の関係性について明らかになってきた。

予測を元に処理コストを計算する新しい数理文処理モデルの提唱(Hale, 2001; Levy, 2007)。

予測を含んだ文処理モデル
Surprisal theory (Hale, 2001; Levy, 2007)•

Wn-1までで予測される解釈の確率とWnを受け取った後のその解釈の確率の差(= surprisal)が処理負荷と比例する。
<定義>• これはつまりSurprisal = –log(Pr(w1…n|w1….n–1))log(Pr(w1...n−1)) − log(Pr(w1...n))
予測の確率分布と同じ。

実際の確率分布 Wn-1においてある情報の出現確率が高く、そしてその情報が実際に現れた時にはSurprisalの値は0に近くなる。
 逆にWn-1においてある情報の確率が低く、しかしWnで現れた場合、Surprisalの値は大きくなる。
(Hale, 2001)

Summary 人は漸次的に言語情報を処理することで作業の効率化を行っているが、それと共に曖昧性による誤分析のリスクが生じる。
 文処理モデルにはserial syntax-drivenのGarden-path modelとparallelinteractiveのConstraint-based modelsという二つの良く知られた考え方がある。
 この二つのモデルの争点は語彙レベルの情報が初分析に影響を与えるか否かにある。
 今までの研究結果は二分されているが、その理由の一つに過去の研究では対象となっている語ではなく、その後に続く語における処理プロセスを調査していたことが挙げられる。
 予測プロセスを見ることで研究対象の語を見た・聞いた時点でのプロセスを見ることができ、漸次的処理の解明に繋がる。
 予測された語句・構造の確率に従って処理負荷が決まるとする予測プロセスを含めた文処理モデルが近年提唱され、文理解における予測プロセスの役割が次第に明らかになってきた。

課題

Tanenhaus, M. K., Spivey Knowlton, M. J., Eberhard, K. M., & Sedivy, J. C.
(1995). Integration of visual and linguistic information in spoken language
comprehension. Science, 268, 1632-1634.
上の1995年にScienceに掲載された論文を読み、(1) 何故この研究で扱われている文"Put the apple on the towel in the box"が通常処理困難を引き起こすのか漸次的処理の観点から説明し、(2) 報告されている実験結果がなぜConstraint-based modelsを支持し、Garden-path modelを反証することになるのか説明してください。