# ベイジアンネットを用いた袋小路文読解モデル

高橋直人
産業技術総合研究所人工知能研究センター
naoto.takahashi@aist.go.jp
竹内泉
産業技術総合研究所人工知能研究センター
takeuti@ni.aist.go.jp
一杉裕志
産業技術総合研究所人工知能研究センター
y-ichisugi@aist.go.jp

## 1 はじめに

袋小路文（garden path sentences）[1] とは、文法的に正しく、かつ比較的単純な構造をしているにもかかわらず、人間にとって読解が困難な一連の文を指す.たとえば

Fat people eat accumulates.

という文を初めて目にしたとき、多くの人は “fat people” (太った人々) を文の主語、eat（食べる）を学の動詞と捉えるので、次に来る accumulates（動詞「蓄積する」の 3 人称単数現在形 $)$ に惑うことになる。

この現象は、人間が自然言語を理解するときは文の終了を待たず、先頭から漸進的に解析を進めているという主張を支持する，光れと同時に、人間は自然言語の理解に際して並列解析もバックトラックも苦手であることを示している. 最初の 3 語が入力された時点で統語構造を仮定してしまうため、4 語目が来たときに全体を再構成することができず、結果として文の解析に失敗するというわけである．

一方で、もし適切な文脈が与えられれば、袋小路文は容易に解釈できることが知られている。たとえば

Carbohydrates that people eat are quickly broken down, but fat people eat accumulates.

と書かれていれば、fat は脂肪という意味の名詞であり、people eat は光れを修飾する関係節で先頭の that あるいは which が省略されているとわかるので、文の後半は「人々が食べるところの脂肪は蓄積する」 という意味であると解釈できる.
(S (NP (NP carbohydrates)

(SBAR (WHNP that)

(S/NP (NP people) $($ (VP/NP eat))))

(VP are quickly broken down))

図 1 "carbohydrates that people eat are quickly broken down" の統語解析例 . 表示に用いた文法範疇は基本的に Penn Treebank 方式 [3] に準拠しているが、空範疇を消去し、スラッシュ記号を用いた組合せ範疇文法 [4] 風の記法で置き換えている。

文脈によってこの解釈が可能になるのは、文の前半が概略図 1 のように統語解析され、爫の結果として以下の効果が生じるためだと我々は考えている。

1. 単語 fat は「太った」という意味の形容詞とも、「脂肪」という意味の名詞とも解釈できる。特定の文脈がない場合は前者の解釈が優位となっているが、carbohydrates (炭水化物) という名詞が出現すると語彙プライミング効果 [2] が生じ、炎の結果として意味的に関係の強い「脂肪」の解釈が優先されるようになる．

2. 文の前半に “that people eat” という明示的な関係節 (SBAR) が登場することによって、後半の “people eat” の部分か関係節であると認識されやすくなる．

人間は上記のような言語情報処理を大脳皮質の言語野で行っていると考えられるが、近年の計算論的神経科学の研究によると、大脳皮質はベイジアンネット的な計算をしている可能性が高い $[5,6]$. もし実際に乥うであるならば、上に掲げた袋小路文の読解過程を、ベイジアンネットを用いてモデル化す

ることが可能なはずである．以下では关のような計算心理言語学的モデルの構築を試みる。

## 2 統語解析用ベイジアンネット

前述の通り、人間が自然言語を理解するときは文の終了を待たず、先頭から漸進的に解析を進めていると考えられる．ただし、1語読む毎に部分木を順次一意に決定するのではなく、ある程度の先読みが可能とされている [7]. 光こで本節では、“fat people eat accumulates” という 4 語文の先頭 3 語までを同時に入力した状態をベイジアンネットでモデル化することを考える。

統語解析用の文法がチョムスキー標準形の文脈自由文法で与えられるという条件の下で、光のようなベイジアンネットをナイーブに実装した例を図 2 に示す. Nii のように二つの添字番号が等しいノードは、 $\mathrm{i}$ 番目の入力語に対応する. 一方 $\mathrm{Nij}$ のように二つの添字番号が異なるノードは、 $\mathrm{i}$ 番目の入力語から $\mathrm{j}$ 番目の入力語までを結合した文法範疇に対応する.これらのノードが取り得る值は、乥れ光れの位置において適用可能な生成規則である ${ }^{11}$. すなわち $\mathrm{i}<\mathrm{j}, \mathrm{i} \leq \mathrm{k} \leq \mathrm{j}$ としたときに $\mathrm{Nij}$ が取り得る値は、右辺第 1 項が Nik の左辺、右辺第 2 項が $\mathrm{Nkj}$ の左辺となる生成規則である。

生成規則の一覧を表 1 に、各ノードの条件付き確率表を表 2 から表 7 に示す.たただし、表 2 と表 6 に示した数値は一例に過ぎない、なお、生じる確率が 0 となる生成規則、および当該ノードの值が void (適用可能規則なし) となる場合に関しては、条件付き確率表内での記述を省略してある。

また、図 2 中の $\mathrm{Nc}$ は特別なノードで、入力文内における文法範疇を示すのではなく、適切な先行文脈の有無を示す. 適切な先行文脈がある場合は、 ノード N11 において fat を「脂肪」と解釈する確率、 およびノード N23 において “people eat”を関係節と解釈する確率が上昇する。

$\mathrm{Nc}$ の値は事前確率によって決まるのではなく、実験者が計算を行う際に決定するものである．したがって、表 2 内に表現されている

$
\begin{aligned}
& \mathrm{p}(\mathrm{N} 11=\text { "JJ } \rightarrow \text { fat" } \mid \mathrm{Nc}=\mathrm{no})=0.7 \\
& \mathrm{p}(\mathrm{N} 11=\text { "NP } \rightarrow \text { fat" } \mid \mathrm{Nc}=\mathrm{no})=0.3
\end{aligned}
$

とは、「実験者が $\mathrm{Nc}=\mathrm{no}$ と決定したときは、 $\mathrm{N} 11=$ “JJ $\rightarrow$ fat" となる事前確率が 0.7 で、 $\mathrm{N} 11=$ "NP $\rightarrow$ fat"

1) 各ノードが取る值は、 $\rightarrow$ の左辺に来る文法範疇ではなく、 $\rightarrow$ を含んだ個々の生成規則である．

図 2 連続 3語解析用ベイジアンネットのナイーブな実装

表 1 図 2 中で、 $\mathrm{Nc}$ 以外の各ノードが值として取り得る生成規則のリスト . 最後の void は、当該ノードにおいて適用可能な生成規則が存在しないことを示す特別な值で

となる事前確率が 0.3 である」ことを意味する．

## 3 文脈が読解に与える影響

本節では文脈の有無が袋小路文の読解に与える影響に関して考察する。

まず、特定の文脈が存在しない $(\mathrm{Nc}=\mathrm{no})$ という条件の下で “Fat people eat accumulates.” という文を読んだ場合、“fat people eat”までの部分を「太った人々は食べる」と解釈する $(\mathrm{N} 13=$ " $\mathrm{S} / \mathrm{NP} \rightarrow \mathrm{NP}$ VP/NP”) 確率は以下のようになる。
$\mathrm{p}(\mathrm{N} 13=$ "S/NP $\rightarrow \mathrm{NP}$ VP/NP" $\mid \mathrm{Nc}=$ no $)$

$=\mathrm{p}(\mathrm{N} 12=$ "NP $\rightarrow \mathrm{JJ} \mathrm{NP}$ ",

$\mathrm{N} 33=$ "VP/NP $\rightarrow$ eat"

| $\mathrm{Nc}=$ no )

$\because$ 上記 N13 の値を成立させる組み合わせは、

このN12と N33 のみ

$=\mathrm{p}(\mathrm{N} 11=$ "JJ $\rightarrow$ fat",

$\mathrm{N} 22=$ "NP $\rightarrow$ people",

$\mathrm{N} 33=$ "VP/NP $\rightarrow$ eat"

| $\mathrm{Nc}=$ no )

$\because$ 上記 N12 の值を成立させる組み合わせは、

このN11と N22のみ

$=0.7 * 1 * 1=0.7$

また、同じく特定の文脈が存在しない状態で“fat people eat”までの部分を「人々が食べるところの脂肪は」と解釈する (N13 = “NP $\rightarrow$ NP SBAR”) 確率は以下のようになる．

$\because$ 上記 N13 の値を成立させる組み合わせは、 この $\mathrm{N} 11$ と $\mathrm{N} 23$ のみ

$=0.3 * 0.5=0.15$

したがって特定の文脈が存在しない場合は、「太った人々は食べる」という解釈が優位となり、光の結果 4 語目が来たときに戶惑ってしまうことが説明できる。

なお上記の確率値を合計しても 1 にならない理由は、ノード N13 の值が void となるような組み合わせ（すなわち統語解析に失敗するような組み合わせ）が他に存在するからである．

一方、適切な先行文脈が存在する場合 $(\mathrm{Nc}=\mathrm{yes})$ に同樣の計算を実行すると、以下の結果を得る．

「人々が食べるところの脂肪は」と解釈する確率 :

$
\begin{aligned}
& \mathrm{p}(\mathrm{N} 13=\text { "NP } \rightarrow \mathrm{NP} \text { SBAR" } \mid \mathrm{Nc}=\text { yes }) \\
& =\mathrm{p}(\mathrm{N} 11=\text { "NP } \rightarrow \text { fat", } \\
& \mathrm{N} 23=\text { "SBAR } \rightarrow \text { NP VP/NP" } \\
& \mathrm{Nc}=\text { yes }) \\
& =0.7 * 0.6=0.42
\end{aligned}
$

今度は「人々が食べるところの脂肪は」という解釈が優位となるため、4 語目の accumulates に戶惑うことがなくなる.

もちろんこれらの数値は恣意的に設定した条件付き確率表に依存しているが、少なくとも原理的にはベイジアンネットを用いて袋小路文の読解モデルが作成可能であることを上記の計算結果は示している。

## 4 関連研究

人間が自然言語を理解する過程をモデル化した研究は古くから存在する．

これまで多くの研究において、ある種の文が理解困難であるのは人間の作業記憶の容量と関係があると仮定されてきた . 最初期の研究の一つとして、Marcus[7] が挙げられる.ここで提案された PARSIFAL と呼ばれるパーザは、解析途中の部分木の記憶容量に意図的な制限が加えられている。 PARSIFAL は言語学的に興味を引く複杂倠な統語構造の解析に成功する一方で、人間と同樣、袋小路文の解析に失敗するという興味深い特徵を持つ。

これに対し Crain and Steedman[8] は、適切な文脈さえ与えられれば人間は袋小路文が理解可能になると主張した . Schuler[9] は、この主張が PARSIFAL では説明できない点を指摘し、更に人間の統語処理が汎用の短期記憶の中で実現されるという仮定の下に、階層型隠れマルコフモデルに基づくパーザを作成して、爫の実効性を大規模コーパスを用いて示した.

また、言語理論の面から袋小路文の理解困難性の説明を試みた例には、Pritchett[10]がある．ここでは袋小路文の理解困難性が、統率・束縛理論の $\theta$ 規準に基づいて説明されている. 処理の原則は提案されているが、具体的なパーザや、爫のメカニズムは提案されていない。

一方、ベイジアンネットを統語解析に利用する試みとしては Takahashi and Ichisugi [11,12,13] などがあるが、これらで用いられているベイジアンネットは簡略版であるため、具体的な確率値を計算することはできない．炎のため同一の文に対して複数の解
釈が存在した場合に、どの解釈がより確からしいかを本稿のように比較検討することはできない．

## 5 おわりに

人間はベイジアンネット的計算に基づいて文を読解しているという仮説を検討するために、実際にべイジアンネットを用いて袋小路文の読解モデル作成を試みた . 人手で恣意的に作成した条件付き確率を用いてはいるものの、目標とするモデルが原理的には作成可能であることを示した . 読解モデルの条件付き確率表を人手で与えるのではなく、訓練データから学習することは可能かどうかを探るのは今後の課題である。

今回作成したモデルが対象しているのは、単一の袋小路文に過ぎない，一般に知られている袋小路文の種類は数十かせいぜい数百と思われるが、光の中には今回の例文とは異なる要因で読解困難となっているパターンも多いはずである．今後はと艺れらの読解困難性と光れを解消する仕組をモデル化する必要がある.また、文脈が袋小路文の読解に与える影響が、多義語や生成規則の選択に関するプライミング効果だけに限られるのか否かも興味ある問題である.

今後はこれらの点を考慮しつつ研究を進めていきたい.

表 21 番目の入力語 fat に対応するノードN11 の条件付き確率表 $. \mathrm{Nc}=$ no の場合（特定の文脈が存在しない場合)、fat は「太った」という意味の形容詞 (JJ) と解釈されやすいが、 $\mathrm{Nc}=$ yes の場合は、「脂肪」という意味の名詞

表 32 番目の入力語 people に対応するノード N22 の条件付き確率表 . 語彙的暧昧性がないため、このノードが值として取り得る生成規則は一意に定まる。

$
\begin{array}{c|c}
\mathrm{N} 22 & \mathrm{p}(\mathrm{N} 22) \\

\end{array}
$

表 43 番目の入力語 eat に対応するノードN33 の条件付き確率表 . 語彙的暧昧性がないため、このノードが値として取り得る生成規則は一意に定まる．VP/NPは、右側に NP が来ると全体として VP となる文法範疇、すなわち他動詞を意味する。

表 51 番目の入力語と 2 番目の入力語を結合した文法範疇に対応するノードN12 の条件付き確率表 . N22 の値は常に一定なので、N12 が意味のある値（void 以外の値）を取る組み合わせは一意に定まる．

表 62 番目の入力語と 3 番目の入力語を結合した文法範疇に対応するノードN23 の条件付き確率表 . N22 が取る值は常に同一であり、 $\mathrm{N} 33$ が取る値も常に同一である. よって N23 がどのような確率でどのような值を取るかは、文脈ノード $\mathrm{Nc}$ のみに依存する $. \mathrm{Nc}=\mathrm{no}$ の場合（特定の文脈が存在しない場合) は、S/NP を左辺とする規則も SBAR を左辺とする規則も同じ確率で選択され得るが、先行文脈にSBAR を左辺とする規則が出現するとSBAR を左辺とする規則か優位となる．なお S/NP は、右側に NP が来ると全体として S となる文法範疇、すなわち名詞句と他動詞の連続を意味する。

表 7 1番目の入力語から 3 番目の入力語までを結合した文法範疇に対応するノードN13 の条件付き確率表 . このノードが取り得る値と正の確率は統語上は N11、N23、 N12、N33 の4ノードに依存するが、N12 の值は N11 から一意に定まるため、また N33 は常に一定値を取るため、

 & 1 \\

## 参考文献

[1] スティーブン・ピンカー. 言語を生みだす本能 [上] . NHK 出版, 1995. 椋田直子 [訳]

[2] 阿部純一, 桃内佳雄, 金子康朗, 李光五. 人間の言語情報処理:言語理解の認知科学. サイエンス社, 1994.

[3] A. Bies. Bracketing guidelines for Treebank II style Penn Treebank project. Technical report, Department of Linguistics, University of Pennsylvania, Philadelphia, PA, USA, 1995.

[4] 戶次大介. 日本語文法の形式理論. くろしお出版, 2010.

[5] Tai Sing Lee and David Mumford. Hierachical bayesian inference in the visual cortex. Journal of Optical Society of America A, Vol. 20, No. 7, pp. 1434-1448, 2003.

[6] 一杉裕志. 大脳皮質とベイジアンネット. 日本口ボット学会誌, Vol. 29, No. 3, pp. 412 -415, 2011.

[7] Mitch Marcus. Theory of Syntactic Recognition for Natural Language. 1980.

[8]

[9] William Schuler, Samir AbdelRahman, Timothy A. Miller, and Lane Schwartz. Broad-coverage parsing using humanlike memory constraints. Comput. Linguistics, Vol. 36, No. 1, pp. 1-30, 2010.

[10] Bradley L. Pritchett. Garden path phenomena and the grammatical basis of language processing. Language, Vol. 64, No. 3, pp. 539-576, 1988.

[11] 高橋直人, 一杉裕志. 制限付き疑似ベイジアンネットを用いた文脈自由文法解析の試み. 第 31 回人工知能学会全国大会, 2017.

[12] Naoto Takahashi and Yuuji Ichisugi. Restricted quasi bayesian networks as a prototyping tool for computational models of individual cortical areas. In Proceedings of Machine Learning Research, Vol. 73. PMLR, 2017.

[13] Naoto Takahashi and Yuuji Ichisugi. Toward Human-Like Sentence Interpretation-a Syntactic Parser Implemented as a Restricted Quasi Bayesian Network-: Proceedings of the Ninth Annual Meeting of the BICA Society, pp. 301-309. Springer, 012019.