人工知能学会研究会資料
SIG-AGI-008-06

脳における文の意味解析機構のモデル
A Model of the Mechanism of Semantic Analysis in the Brain
一杉裕志 1∗ 高橋直人 1
Yuuji Ichisugi1
Naoto Takahashi 1
産業技術総合研究所 人工知能研究センター
National Institute of Advanced Industrial Science and Technology (AIST), AIRC
1

1

Abstract: We propose a formal model of the mechanism of semantic analysis in the language
areas of the cerebral cortex. The framework of Combinatory Categorial Grammar is modified sothat it does not use lambda calculus that represents semantic rules. By disabling some parts ofthe model, it is possible to reproduce utterances resembling Broca aphasia and Wernicke aphasia.

概要
大脳皮質の言語野における、意味解析機構の形式的モデルを提案する。このモデルは、計算論的神経科学
における大脳皮質ベイジアンネット仮説と、理論言語学における組み合わせ範疇文法の理論を融合させたものである。文の意味は、アドレスと意味表現からなる組の集合で表される。この表現方法のおかげで従来意味論の記述に用いられてきたラムダ計算が不要になり、可変長の値を持つ変数を一切用いずに、統語素性の単一化の機構だけを用いて意味解析することが可能になる。このため、提案モデルは神経科学的に妥当なベイ
ジアンネットでの実現がおそらく容易である。文法と意味の処理は局所化されているため、モデルの一部を破壊することで、ブローカー失語とウェルニッケ失語に似た発話を再現できる。これらの結果は、大脳皮質
ベイジアンネット仮説に対する、新たな状況証拠を与
えている。

1

はじめに

言語野は大脳皮質の一部であり、言語活動の中枢と考えられている。
「大脳皮質はベイジアンネットである」という仮説 [3] が正しいならば、ベイジアンネットでヒトの言語野の振る舞いを模倣するシステムが構築可能なはずである。そこで我々は、ベイジアンネットを用いて組み合わせ範疇文法 (CCG, Combinatory Categorial
Grammar)[2][7] を処理するシステムの構築を目指している [12]。本論文ではその目標に向けた１つのステッ∗ 連絡先：産業技術総合研究所

茨城県つくば市梅園１−１−１ 中央第１E-mail: y-ichisugi@aist.go.jp

プとして、CCG をベースにした、脳の意味解析機構の形式的モデルを提案する。
CCG の意味規則の記述の道具として通常はラムダ計算が用いられるが、ラムダ項のような可変長の値を神経回路でそのまま扱うことは難しい。提案モデルでは、文の意味の表現に階層アドレス表現と呼ぶものを用いることで、CCG におけるラムダ計算を不要にし、可変長のデータ構造を値として持つ変数を完全になくしている。このモデルは、我々がこれまで提案してきた大脳皮質モデル [11] でおそらく実装可能である。
CCG の特徴の１つとして関係代名詞を用いた文などが素直に扱えるという点があるが、提案モデルを用いて実際に、単純化した英語の文法のもとでそのような文が扱えること示す。
実在するすべての自然言語の文法規則・意味規則に対して提案手法が適用可能かどうかは現時点では不明
だが、本研究が計算論的神経科学と理論言語学を結びつけ、双方を大きく進展させるブレークスルーにつながると我々は確信している。
以下の章ではまず必要となる前提知識としてベイジ
アンネット、理論言語学、単一化、CCG について簡単に説明した後、提案モデルの詳細といくつかの文の解析例について説明する。その後、提案モデルの大脳皮質モデルによる実現可能性について考察する。また、提案モデルと脳の領野との対応を述べた後、一部のモジュールの破壊による失語症の症状の再現例を示す。

2

ベイジアンネット

ベイジアンネット [1] とは、確率変数の間の因果関係をネットワーク構造で表現する、知識表現の技術である。Feedforward 型のニューラルネットワークと違い、

人工知能学会研究会資料
SIG-AGI-008-06

Ă

ď
C

U

Đ
Open

U

Close

U

言語野で何らかの形で単一化が行われていることを強く示唆している。

G
X

X

X

図 1: ゲートの役割を果たす確率変数を持ったベイジ
アンネット。(a) 確率変数 G の条件付確率表を適切に設定しておけば、C の値に応じて U と X の間の結合を制御できる。例えば (b) C=Open のときは U と Xが結合されているかのように、 (c) C=Close のときはU と X が切断されているかのように振る舞うようなベ
イジアンネットを定義することができる。逆に U と Xの値から C の事後確率を推定することも可能である。
ベイジアンネットでは入力と出力の場所は決まっていない。ベイジアンネットの任意の一部の確率変数に値を与えると、残りの確率変数の値を効率的に推論することができる。
回路構成を動的に切り替えるゲートのような機構[11][13] をベイジアンネットの枠組みの中で定義する
ことができる（図 1）。この機構を用いれば、一部の変数の値によって他の変数間の結合を変えるような、複雑な情報処理機構が実現可能である。例えば後述の単一化を行うネットワークを動的に構成可能になる。
ベイジアンネットは大脳皮質と解剖学的・機能的に多くの類似点を持っている。我々が提案する大脳皮質
モデル BESOM [6] では、ベイジアンネットの確率変数を大脳皮質のマクロコラムに、確率変数が取り得る
値を大脳皮質のミニコラムに、条件付確率をシナプスの重みに対応付けている。

3

単一化とラムダ計算

3.1

理論言語学

理論言語学 (theoretical linguistics) とは、自然言語の性質を数理的手法などによって研究する言語学の一分野である。言語学と理論言語学の関係は、神経科学と計算論的神経科学の関係に似ている。理論言語学の１つの目的は、実在するすべての自然言語が共通して持つ何らかの特徴を見出すことにある。それはいわば、脳の言語野が行う情報処理の特徴を明らかにする試みと解釈できる。
理論言語学において単一化という操作を中核に用いる枠組みが複数存在し、それらは単一化文法と呼ばれる。3.3 節で述べる CCG も単一化文法の１つである。
自然言語の性質を表現する道具として洗練され到達した１つの結果が単一化文法であるという事実は、脳の

3.2

単一化

単一化 (unification) は数理論理学や計算機科学でよく使われる操作である。確定値と不確定値の組み合わせで構成される２つのデータ構造を単一化すると、不確定だった値が確定するか、あるいは取り得る値に関する制約が強められる。例えば X, Y を不確定値を表す変数としたとき、２つの数値ベクトル (2, X), (Y, 3)を単一化すると (2,3) という数値ベクトルになり、不確定だった変数への値の割り当てが X=3, Y=2 に確定する。その他の単一化の例を図 2 に示す。
２つのベクトルの単一化の機構はベイジアンネット
で実現可能である（図 3）。ベイジアンネット上の一部の変数に値を与え、残りの変数の値を推論することで、単一化の結果と変数の割り当てが得られる。もし推論の結果ネットワーク全体の同時確率が０になってしまったら、それは単一化が失敗したことを意味する。
図 3 の例では値が下の層と上の層を何度も往復しながら伝搬していき、それぞれの変数の値を確定させる。
このように一般に単一化の過程は複雑であり、単純な
feedforward 型ニューラルネットワークでは実現しずらいであろうことが想像される。言語野が行っていると思われる単一化という複雑な処理がベイジアンネット
で簡潔に実現できるということは、大脳皮質が一種のベイジアンネットであることの強い状況証拠であると
言える。

3.3

組み合わせ範疇文法

組み合わせ範疇文法 (CCG) は理論言語学において成功を収めている文法記述の枠組みの１つである。チョ
ムスキー階層における文脈依存文法の中でも文脈自由文法に近い「マイルドな文脈依存」を持つ文法を記述する能力を持っている。CCG を用いて英語 [4] や日本語 [7] の大規模な文法が記述されている。
文脈自由文法における非終端記号に相当するものは、CCG では統語範疇 (syntactic category) と呼ばれる。
統語範疇は基底範疇 (例えば文 S や名詞句 NP など)
を “/” または “\” で再帰的に結合した構造（例えば(S\N P )/N P など）をしており、理論上、長さには制限はない。
基底範疇に統語素性 (syntactic feature) を持たせる
場合がある。統語素性は離散値を取り得る変数で、構文解析が進むにつれ単一化によって値が確定していく。
基底範疇 S が統語素性 F を持つ場合は SF のように書く。

人工知能学会研究会資料
SIG-AGI-008-06

ベクトル１(2, X)(2, X)(X, Y )
(2, X, X)

ベクトル２(Y, 3)(1, 3)(Z, Z)(Y, 3, Z)

単一化した結果(2, 3)
単一化失敗(X, X)(2, 3, 3)

変数の割り当てX = 3, Y = 2
X=Y =ZX = Z = 3, Y = 2

図 2: ２つの数値ベクトルの単一化の例。値が不確定な変数を含む２つのデータの単一化に成功すれば、変数の値が絞り込まれる。３番目の例では単一化後も変数の値は確定しないが、３つの変数の値がどれも同じ値になるよう制約される。

༢୍໬䛾⤖ᯝ

X

Y

Z

2

3

2

3

3

3

>

>B
2

3

3

䝧䜽䝖䝹䠍

2

3

3

X/Y : f

Y/Z : g

X/Z : λx.f (gx)>T

X:aT/(T\X) : λf.f a

<

<B

Y: a

X\Y : f
X : faY\Z : g<T

X\Y : f

X\Z : λx.f (gx)
X:aT\(T/X) : λf.f a䝧䜽䝖䝹䠎

図 3: ２つのベクトル (2, X, X) と (Y, 3, Z) の単一化を行うためのベイジアンネット。結合された変数どうしはすべて同じ値になるように条件付確率表が設定されているものとする。太線の丸で示した確率変数に値を与え、他の確率変数の値を推論することで、単一化を行うことができる。
文脈自由文法における生成規則に相当するものは、CCG では推論規則 (inference rules) の形で定義される。推論規則は２つの統語範疇を１つに統合するための規則である。図 4 は CCG における推論規則の一部である。CCG において構文解析は、単語列が文であることを証明する証明探索として定式化されており、構
文解析の結果得られる構文木は証明図に対応する。推論規則の数は比較的少数であり、理論としての枠組み
は非常に単純だが、その枠組みの中で定義される文法は（完全ではないにせよ）多くの言語現象を説明することに成功している。

3.4

X/Y : f
Y: a
X : fa意味規則とラムダ計算

CCG の推論規則には、意味を合成する意味規則も付随している。辞書には単語ごとに統語範疇の他に意味の部品となるラムダ項も登録されている。CCG による
意味解析の素直な実装では、まず構文解析によって構文木を決めた後、その木構造にそって葉から順にラムダ式の関数適用（ベータ簡約）もしくは関数合成を行う。最終的には構文木の頂点における項が文全体の意
味を表す意味表現となる。図 5 に、文法を単純化した
英文 ’black cats eat mice’ を構文解析した結果を例として示す。

図 4: 従来の CCG における推論規則（一部）。コロン“:” の左側は統語範疇、右側は意味表示。f, g は関数、
f a は関数 f への a の適用（ベータ簡約）、λx.y は xを引数に受け取って y を返す関数を表す。

CCG に限らず、理論言語学において意味論を記述するための道具として、従来からラムダ計算がよく用いられる。統語論に関しては、理論言語学はチューリン
グマシンよりもはるかに制限の強い枠組みを見出すことによって自然言語が持つ特徴を浮き彫りにしているが、それとは対照的に、意味論に関しては、チューリン
グマシンと等価な表現力を持ったラムダ計算という道具がいまだに使われているのである。しかし、複雑なラムダ計算の機構をそのままの形で言語野の神経回路が実現しているとは考えにくい。次の章では、神経回路やベイジアンネットでの実現がおそらく容易な、ラムダ計算を用いない意味解析の機構を提案する。

4

提案モデル

4.1

本取り組みが対象とする範囲

本取り組みでは、比較的単純な文が文字通りに表す
表面的な意味を、人間が無意識かつ瞬時に解釈する機構のモデルの構築を目指している。複雑な構造を持つ
文の意識的な解釈や、言外の意図の推定などは、今回のモデルでは対象としない1 。
構成性の原理 (Principle of Compositionality)2 に従わない慣用表現なども扱わない。
1 これらはおそらく脳の言語野以外の部分も使った、遅いが汎用的で強力な推論機構を用いていると考える。
2 構成要素の意味を合成することによって、より大きな単位の意
味が決定されるという性質。

人工知能学会研究会資料
SIG-AGI-008-06

black
eat
mice
cats
N P/N P : λx.black(x)N P : cats
(S\N P )/N P : λy.λx.eat(x, y)
N P : mice>>
N P : black(cats)
S\N P : λx.eat(x, mice)<
S : eat(black(cats), mice)
図 5: 文法を単純化した英文 ’black cats eat mice’ の CCG による構文木。CCG では構文解析を証明探索と見なし、文の生成過程を上下逆にして証明図の形で書く。各単語に対応する統語範疇の列に対して推論規則を適用していくことで文 S が導出できれば、単語列が文であることが証明できたことになる。構文木の形が決まれば、それに沿って意味表現をベータ簡約もしくは関数合成していき、最終的に文全体の意味を表すデータ構造（ここでは eat(black(cats), mice)）が構築される。

㎡᭩ x nϮϭ༢ㄒ x nϮϮϰ䝟䞊䝃䜰䝗䝺䝇 x nϯϲϱ䝀䞊䝖 x nϳ⤫ㄒ⠊␪ x nព࿡⾲⌧

図 6: 提案モデルの全体像と、構文解析・意味解析時におけるモジュール間の典型的な情報の流れ。

アドレス(sconj, −, −)(c1, agent, size)(c1, agent, color)(c1, agent, entity)(c1, modality, −)(c1, action, −)(c1, patient, size)(c1, patient, color)(c1, patient, entity)(c2, agent, size)(c2, agent, color)(c2, agent, entity)(c2, modality, −)(c2, action, −)(c2, patient, size)(c2, patient, color)(c2, patient, entity)

意味表現
if
big
*
dogs
*
chase
small
*
mice
*
black
cats
may
eat
*
*
mice

図 7: プロトタイプシステムにおける全アドレスと、文“if small mice areChasedBy big dogs black cats may
eat mice” を意味解析した結果得られる意味表現。値が不確定なものは * とした。

単語列の長さ、統語範疇の長さ、生成する意味表現の長さはいずれも有限長に制限する。また、人間は長い文を先頭から逐次的に解釈することがある程度可能だが、今回はすべての単語が一度に与えられると仮定する。
本稿では、 モデルの説明をわかりやすくするため、単純化した英語の文法を扱う。２つの節を従位接続詞(if など) でつないだ複文や、関係代名詞 (which など)を用いた文は扱うが、従位接続詞または関係代名詞は文の中に高々一度しか現れないものと仮定する。
本稿では CCG の特徴の１つである等位接続詞 (and,or など) による構成素の結合は扱わない3 。

4.2

意味解析モデルの全体像

提案モデルの模式図を図 6 に示す。全体をベイジア
ンネットで実現する場合、図中の各モジュールは、離散値をとる確率変数の集合となる。文法規則・意味規則・語彙など、言語に関する知識はすべて確率変数の値の間の制約条件（条件付確率）として表現される。単語列を確率変数の観測値として与え、残りの確率変数のMAP （事後確率最大の値の組）を求めることで、意味表現が得られる。
このモデルでは、構文解析と意味解析は同時に行われる。その際の典型的な情報の流れは次のようになる（図 6）。(1) まず単語列が与えられる。(2) 辞書のテー
ブルを参照して、統語範疇・アドレス・意味表現という３つの値が、単語ごとに得られる。ただし、この時点
では統語素性やアドレスには、値が不確定な変数が含まれ得る。(3) パーサは統語範疇を統合して全体が文ととなるような構文木を探索する。その際、不確定だった統語素性の値が単一化による確定していく。(4) 構文
木が決まると統語素性の値が確定する。(5) アドレスの値も確定する。(6)(7) 文全体の意味を表す、アドレスと意味表現からなる組の集合が得られる。
3 本論文の枠組みを少し拡張することで等位接続も扱えることをプロトタイプ実装で確認している。

人工知能学会研究会資料
SIG-AGI-008-06

単語’if’’black’’big’’cats’’eat’’areEatenBy’’may’’which’’which’統語範疇(Sc1 /Sc2 )/Sc1
N PC,R /N PC,R
N PC,R /N PC,R
N PC,R(SC \N PC,agent )/N PC,patient(SC \N PC,patient )/N PC,agent(SC \N PC,R )/(SC \N PC,R )(N Pc1,R1 \N Pc1,R1 )/(Sc2 \N Pc2,R2 )(N Pc1,R1 \N Pc1,R1 )/(Sc2 /N Pc2,R2 )アドレス(sconj, −, −)(C, R, color)(C, R, size)(C, R, entity)(C, action, −)(C, action, −)(C, modality, −)(c2, R2 , entity)(c2, R2 , entity)

意味表現
if
black
big
cats
eat
eat
may
(c1, R1 , entity)(c1, R1 , entity)

図 8: 辞書に含まれる語彙項目の例。各語彙項目は４つの値 (単語, 統語範疇, アドレス, 意味表現) の組である。太文字は変数であり、１つの語彙項目内に同じ変数が何度も現れるとき、その変数の値は構文解析の結果、同じ値が割り当てられなければならない。２つある which は、１つ目は主格、２つ目は目的格として使われる。

>

>B

X/Y

Y
X

X/Y

Y/Z
X/Z

>T

X
T/(T\X)

<

<B

Y

X\Y
X

Y\Z

<T

X\Y
X\Z

X
T\(T/X)

図 9: 提案モデルにおける推論規則。通常の CCG における推論規則と全く変わらない。ラムダ式を用いた意味規則は用いられず、統語素性の単一化のみで意味解析が行われる。
なお、一般には情報の流れはこの形に限定されない。
例えば意味に関する事前知識が別途与えられている場
合は、その情報を逆流させ、語義や構文木の曖昧さの解消に役立てることができる。
また、意味表現を与えて、その内容を表現する単語列を推定することも可能である。7 章でその例を示す。

4.3

階層アドレス表現、辞書、推論規則与えられた各単語の意味表現を書き込むアドレスは、
３つの変数の値の組 (C, R, F ) によって表される。今回実装したプロトタイプシステムにおいて可能なアドレスを列挙したものを図 7 に示す。
最上位の階層 C の値は従位接続詞 (if など) や関係
代名詞 (which など) を用いた文を構成する節 (clause)の番号を表しており、値 c1 あるいは c2 を取る。ただし、従位接続詞の種類自体は (sconj, −, −) という特殊なアドレスに書き込まれる。例えば ‘if’ で始まる文であれば、そのアドレスに意味表現 if が書き込まれる。
次の階層 R の値は、節の中における意味役割 (semantic role) を表す。意味役割の種類は少数かつ固定個とする。具体的には動作主 (agent)、被動作主 (patient)、道具、場所、時間などがあり得るが、今回のプロトタイプ実装では agent, patient のみとする。それに加え、便宜的に R は action, modality という値も取り得る。これは、それぞれその節の動詞 (eat など) とある種の助動詞 (may, must など) を書き込む場所を表すものとする。
R の値が agent や patient の場合、すなわち名詞
句である場合は、次の階層 F の値はその名詞の特徴(feature) の種類を表す。F が取り得る値も少数かつ固定個とする。今回の実装では特徴は size, color という値を取り得る。それに加え、名詞がさす物体自身を表す
値を書き込む場所を便宜的に entity という値で表す。
階層アドレス表現は、文が能動態か受動態かに関わらず、動作主と被動作主がそれぞれ脳の決まった場所で表現されていることを示す神経科学的知見 [10] から着想を得ている4 。文の意味の構成要素の表現場所を固定することで、神経回路やベイジアンネットでの実現を容易にすることを意図している。
辞書 (lexicon) は語彙項目 (lexical item) の集合である。このモデルにおける語彙項目は図 8 のように４つの値 (単語, 統語範疇, アドレス, 意味表現) の組で表される。
図 9 は、提案モデルにおける推論規則である。ラムダ式がなくなっている点を除いて、通常の CCG と全
く同じである。

4 その他にフィルモアの格文法、Neo-Davisonian 事象論理、認知科
学におけるオブジェクトファイル理論、深層学習における disentangle
といった考え方などから着想を得ている。階層アドレス表現は脳にとっての表現獲得のしやすさ、利用のしやすさという特徴を持った脳内表象であると考えているが、詳細な考察は別の機会に行うこととする。

人工知能学会研究会資料
SIG-AGI-008-06

black
N PC1 ,R1 /N PC1 ,R1>
N PC1 ,R1<

eat
(SC3 \N PC3 ,agent )/N PC3 ,patient>
SC3 \N PC3 ,agent
SC3

cats
N PC2 ,R2

mice
N PC4 ,R4

図 10: “black cats eat mice” の構文木（証明図）。意味役割を表す変数 Ri の値は最初は不確定値だが、構文解析が終了すれば単一化により R1 = R2 = agent （動作主）, R4 = patient （被動作主） という値が確定する。
“black cats areEatenBy mice” という文の構文木も同じ形になるが、agent と patient が入れ替わる。Ci の値は不確定だがすべて同じ値、すなわち C1 = C2 = C3 = C4 となる。

<>

NP c1 a

-

-

-

-

-

-

S c1 -

-

-

-

-

-

-

-

-

-

NP c1 a-NP c1 a>S c1 -

NP c1 a ----NP c1 p䜰䝗䝺䝇
c1 a coc1 a enc1 ac -

c1 p en⤫ㄒ⠊␪
NP c1 a/ NP c1 a -

black

-

-

-

NP c1 a

-

-

-

-

cats

-

-

-

-

S c1 -

NP c1 aeat

/ NP c1 p

NP c1 p -

-

-

-

-

-

-

-

mice

図 11: 文 “black cats eat mice” を構文解析した結果の変数間の主な依存関係。統語素性の値 agent (a) と patient(p) が ’eat’ の統語範疇から伝搬していく経路をそれぞれ青、赤で示した。ここでは１つの統語範疇を１１個の変数で表現している。また、推論規則の適用ごとに、変数の単一化を行うための補助的な変数が３個ずつ導入されている。変数間の接続を制御するゲートの役割を果たす変数は、この図では省略した。脳内ではこの図の丸それぞれが大脳皮質のマクロコラムに相当すると考えている。

人工知能学会研究会資料
SIG-AGI-008-06

アドレス(c1, agent, color)(c1, agent, entity)(c1, action, −)(c1, patient, entity)

意味表現
black
cats
eat
mice

図 12: 文 “black cats eat mice” を図 10 のように構文解析の結果確定したアドレスと意味表現。アドレス Cの値は任意でよいのでこでは c1 とした。

4.4

解析の例

図 10 は文 “black cats eat mice” の構文解析木である。
“black cats” の部分について処理の過程を以下に詳しく説明する。まずそれぞれの単語ごとに辞書を検索し、対応する統語範疇 N PC1 ,R1 /N PC1 ,R1 と N PC2 ,R2を得る。次にこの２つの統語範疇と単一化可能な前提部分を持つ推論規則を１つ選択する。推論規則 ”>” の前提部分 X/Y と Y は

X = N PC1 ,R1 , Y = N PC1 ,R1 = N PC2 ,R2
C1 = C2 , R1 = R2と値を割り当てることで、これら２つの統語範疇と単一化可能であるため、これが選択される。推論規則 ”>”の結論部分 X = N PC1 ,R1 は２つの統語範疇を統合した結果となる。その値は、さらに他の統語範疇と統合されていく。
このようにして証明が進んでいき、最終的に文を表す統語範疇 SC が導出されれば、単語列全体が文であることの証明が完了する。構文解析の過程で行われる
単一化によって、 cats と mice の意味役割 R2 と R4の値がそれぞれ agent と patient に決まり、それによりそれぞれの単語の意味表現をどのアドレスに書き込めばよいのかが決まる（図 11）。最終的に得られるア
ドレスと意味表現を図 12 に示した。
図 13 は、従位接続詞 if を用いた文の構文木の一部である。単一化により２つの節を表す意味表現をどこに書き込めばよいのかが決まる。意味解析の結果は図7 のようになる。
図 14, 図 15 は目的格の関係代名詞を用いた文 “micewhich dogs chase areEatenBy cats” の構文木である。
解析には CCG の特徴である型繰り上げ規則 ”> T ” が必要となる。単語 which の意味表現は、それが指し示
す対象のアドレスになる（図 16）。

5

関連研究

我々が提案したモデルは固定したベイジアンネット
で実現可能な脳の言語野のモデルを目指すものであり、可変長の値を持つ変数を完全に排除している点が、従来の形式意味論の枠組みとの大きな違いである。非終端記号の素性の単一化を利用して意味規則を表現する
こと自体は従来から行われているが、素性の値や意味表現は通常は木構造が使われる。意味を木構造ではなくフラットな構造で表現する方法として MRS (Minimal
Recursion Semantics) [5] があるが、これも可変長のデータ構造を扱う必要がある。
因子グラフ上の loopy belief propagation を用いた
効率的な構文解析の試みがいくつかあり、そのうち [8]は CCG を対象としているが、構文解析のみを行うシ
ステムであり、意味解析は扱っていない。

6大脳皮質ベイジアンネットモデルによる実現可能性

提案モデルは prolog で実装し動作を確認した5 。今回のプロトタイプ実装により、モデル全体を神経科学的に妥当なベイジアンネットで実現できる可能性が高いという感触を得た。
2 章で述べたゲートをうまく使うことによって文脈自由文法のチャートパーサが実装可能 [13] であり、これを CCG に適用することは比較的容易だと思われる。
また、ゲートを用いてアドレスで指定されたメモリにアクセスする機構や、単一化を用いて推論規則を適用する機構が実現可能であることも、疑似ベイジアンネッ
ト [11] と呼ぶプロトタイピング手法を用いてすでに確認している。これらの機構を組み合わせることで、提案した意味解析モデルと同じ働きをするネットワークが、現実的なパラメタ数で構築可能であると考えている。

7

脳の領野との対応

提案モデル（図 6）の各モジュールと、脳の領野との対応の１つの可能性を図 17 に示す。
ブローカー野（ブロードマンの 44 野・45 野）は文法処理に関与、ウェルニッケ野（一次聴覚野 41・42 野と角回 39 野の近くにある）は言語の音と概念の連合に関与すると考えられている [9]。ブローカー野は運動野に近く、ウェルニッケ野は一次聴覚野に近いが、ブローカー野が言語生成、ウェルニッケ野が言語理解の中枢というわけではない。どちらの領野の損傷も、発話と言語理解の両方に、特徴的な障害を引き起こす。ブローカー失語は運動性失語とも呼ばれるが、かつて考えられていたような発話のみの障害ではなく、文法構造の5 型繰り上げ規則 ”> T ” はそのままでは shift-reduce パーザで実装できないため、今回の実装では ”> T ” の後に ”> B” を適用したものに相当する推論規則を導入した。脳内でもそのような実装を行っている可能性があると考えている。

人工知能学会研究会資料
SIG-AGI-008-06>“small mice areChasedBy big dogs”
SC1
Sc1 /Sc2>
Sc1

if(Sc1 /Sc2 )/Sc1“black cats may eat mice”
SC2

図 13: “if small mice areChasedBy big dogs black cats may eat mice” の構文木の一部。単一化により C1 = c1,
C2 = c2 という値が確定する。

dogs
>T

<

mice
>
N PC1 ,R1

which
(N Pc1,R21 \N Pc1,R21 )/(Sc2 /N Pc2,R22 )>B

N PC3 ,R3

chase
T3 /(T3 \N PC3 ,R3 ) (SC4 \N PC4 ,agent )/N PC4 ,patient
SC4 /N PC4 ,patient

N Pc1,R21 \N Pc1,R21
N Pc1,R21

図 14: ’mice which dogs chase’ の構文木。単一化により、関係代名詞節 C3 = C4 = c2 において、dogs の意味役
割は R3 = agent , which の意味役割は R22 = patient となる。mice の節は C1 = c1 に決まるが、 mice の意味
役割 R1 = R21 はこの部分だけからは決まらず、文全体が構文解析されれば確定する。

“mice which dogs chase”
N Pc1,R21<

areEatenBy(SC5 \N PC5 ,patient )/N PC5 ,agent>
SC5 \N PC5 ,patient
Sc1

cats
N PC6 ,R6

図 15: “mice which dogs chase areEatenBy cats” の構文木のうち図 14 の残りの部分。単一化により cats の意味
役割は R6 = agent , mice の意味役割は R21 = patient となる。

人工知能学会研究会資料
SIG-AGI-008-06

アドレス(c1, agent, entity)(c1, action, −)(c1, patient, entity)(c2, agent, entity)(c2, action, −)(c2, patient, entity)

意味表現
cats
eat
mice
dogs
chase
(c1, patient, entity)

図 16: 文 “mice which dogs chase areEatenBy cats”
を図 14, 図 15 のように構文解析した結果確定したア
ドレスと意味表現。

䠐䠐䞉䠐䠑㔝

䜰䝗䝺䝇
⤫ㄒ⠊␪
䝟䞊䝃

䠐䠌䞉䠐䠍䞉䠐䠎㔝

ព࿡⾲⌧
䠎䠎㔝

༢ㄒ

䝀䞊䝖

cats eat mice” に相当する図 12 の意味表現を与えて、４単語からなる可能な文をすべて推論させるとblack cats eat mice
mice areEatenBy black catsという２つの文が解として得られる。どちらの文も、与えられた意味を正しく表現する単語列になっている。
同じ条件で、提案モデルのパーサ部分だけを削除して推論させると、

black black black black
black black black cats
black black black mice
black black black eat
black black black areEatenBy
black black cats black
black black cats cats
black black cats mice
...

㎡᭩
䠏䠕㔝

図 17: 提案モデルのモジュールと脳の領野との対応の１つの可能性。
分析を必要とする文の理解も障害される。ウェルニッ
ケ失語は感覚性失語とも呼ばれるが、言語理解だけでなく後述のように発話も障害される。興味深いことに、脳においては「発話」と「理解」というモジュール分
割ではなく、「文法」と「意味」というモジュール分割が行われているのである。
提案モデルにおけるパーサは文法処理をするモジュールであり、ブローカー野に対応付けられる。一方、動作主と被動作主を表現する場所が上側頭回であることが示されている [10] ため、意味表現の場所は 22 野にあると考える。他のモジュールと領野ついては現段階では仮の対応付けであり、多くの文献調査を踏まえた再検討が必要だろう。なお、ゲートは特定の領野に対応するのではなく、樹状突起上の抑制性結合であると考えている。
提案モデルの一部を「破壊」することで、ブローカー
失語とウェルニッケ失語に似た発話を再現できる。失語症の症状 [9] は複雑でかつ個人差も大きいが、単純化すると以下のようになる。ブローカー失語はブロー
カー野の損傷で生じ、単語どうしがばらばらで文を構成しない発話となる。ウェルニッケ失語はウェルニッ
ケ野の損傷で生じ、発話時には流暢に話すが単語の選択を間違えるため意味のない内容になる。
まずモデルが正常な文生成を行う例を示す。文 “blackというふうに、文法的に正しくない文まで解になってしまうが、意味的に正しい単語だけが選択されている。
この振る舞いはブローカー失語の発話と本質的に同じである。
次に、具体的な意味表現を与えないで、４単語からなる可能な文を推論させるとwhite dogs eat dogs
white dogs eat cats
white dogs eat mice
white dogs chase dogs
white dogs chase cats
white dogs chase mice
white dogs areEatenBy dogs
white dogs areEatenBy cats...というふうに、文法的に正しいあらゆる文が解となる。
この振る舞いはウェルニッケ失語の発話と本質的に同じである。
提案モデルは全体がベイジアンネットで実現されることを想定しているが、ネットワークの一部が損傷しても必ずしも全体が破たんせず、なんらかの動作をする。これは部分的な損傷に強い大脳皮質の性質と似ている。ベイジアンネットは確率変数の間の条件付確率の形で様々な知識を表現している。それぞれの変数の値の組み合わせは、条件付確率によって制約されており、それのおかげで、提案モデルは文法的制約と意味的制約の両方を満足する発話や言語理解を行うことができる。モデルの一部の「破壊」は一部の制約条件を取り除くことに対応し、システム全体の動作は破たん

人工知能学会研究会資料
SIG-AGI-008-06

はしないものの、本来満たされるべき制約を満たさない振る舞いが生じるようになる。
提案モデルでは、パーサは意味を書き込むアドレスだけを処理しており、意味の内容そのものは扱わない。
文法に関する知識と意味に関する知識が明確に分離されたアーキテクチャになっているため、ここで見たよ
うな、文法だけ障害、意味だけ障害、という振る舞いを起こすことができる。
なお、本当のブローカー失語では機能語が発話されないという特徴があるが、今回は areEatenBy を一単語にしたため、その現象は観測されない。より現実に近い英文法を定義すれば、機能語が出てこないという現象も再現できるかもしれないが、それは将来の課題
とする。

8

まとめ

文の意味を階層アドレス表現と呼ぶ方法で表すこと
で、意味規則の記述に従来必要であったラムダ計算をなくし、統語素性の単一化の機構だけで意味解析を行う機構を提案した。単一化の機構は、 feedforward 型
ニューラルネットワークでは実現しずらいが、ベイジ
アンネットでは簡潔に実現すること可能である。さらに構文解析・意味解析の機構全体もおそらく、神経科学的に妥当なベイジアンネットで実現可能である。提案
モデルは脳の領野と対応付けることが可能であり、モデルの一部を「破壊」することである種の失語症の発話を再現することができる。これらの結果は、大脳皮質ベイジアンネット仮説に対して新たな状況証拠を与えている。本研究が計算論的神経科学と理論言語学を結びつけ、双方を大きく進展させるブレークスルーにつながると我々は確信している。
今回実装したプロトタイプでは、語彙項目と推論規則はすべてあらかじめ与えられている。しかしモデル
全体がベイジアンネットで実現されれば、単語列と意
味表現のペアをデータとして与えることで、原理的にはこれらは学習可能なはずである。しかし学習を成功させるためには、局所解・過適合を避けるための適切な事前分布の設定が不可欠であろう。実装したプロトタイプを分析することにより、設定すべき事前知識が明らかになりつつあるが、今後さらなる分析と実証を進めていく。

謝辞
お茶の水大 戸次大介氏には、本研究に有意義なコメントをいただいており、深く感謝いたします。

参考文献[1] J. Pearl , Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.
[2] M. Steedman, The Syntactic Process. The MIT Press,
2000.
[3] T.S. Lee, D. Mumford, Hierarchical Bayesian inference inthe visual cortex. Journal of Optical Society of America,
A 20(7): pp.1434–1448, 2003.
[4] Julia Hockenmaier and Mark Steedman, CCGbank: Users Manual, Technical Report MS-CIS-05-09, Departmentof Computer and Information Science, University of Pennsylvania, Philadelphia, 2005.
[5] Ann Copestake, Daniel Flickinger, Carl Pollard, and Ivan
A. Sag. Minimal Recursion Semantics. An introduction.
Research on Language and Computation, 2005.
[6] Yuuji ICHISUGI, The Cerebral Cortex Model that SelfOrganizes Conditional Probability Tables and Executes
Belief Propagation, In Proc. of IJCNN 2007, pp.1065–
1070, Aug 2007.
[7] 戸次大介, 日本語文法の形式理論-活用体系・統語構造・意味合成-, くろしお出版, 2010.
[8] Auli, M. and Lopez, A., A Comparison of Loopy Belief
Propagation and Dual Decomposition for Integrated CCG
Supertagging and Parsing, In Proc. of ACL, pp.470-480,
2011.
[9] Eric R. Kandel et.al ed., Principles of Neural Science,
Fifth Edition, McGraw-Hill Companies, 2012.
[10] Frankland S. M., Greene J. D., An architecture for encoding sentence meaning in left mid-superior temporal
cortex., Proc. Natl. Acad. Sci. U.S.A. 112, 11732-11737,
2015.
[11] 一杉裕志, 疑似ベイジアンネットを用いた認知モデルのプロト
タイピング手法の提案, 第 4 回 人工知能学会 汎用人工知能研究会 (SIG-AGI), 2016.
[12] 一杉裕志、高橋直人、尾崎 竜史, 「大脳皮質の計算論的モデルを用いた組み合わせ範疇文法パーサ実装の構想」言語処理学会
第 23 回年次大会 (NLP2017), 2017.
[13] Naoto Takahashi and Yuuji Ichisugi, Restricted Quasi
Bayesian Networks as a Prototyping Tool for Computational Models of Individual Cortical Areas, Proceedingsof Machine Learning Research (AMBN 2017), Vol .73,
pp.188―199, 2017).