脳における文の意味解析機構のモデル
汎用人工知能研究会(SIG-AGI)
2018-03-20
産業技術総合研究所
人工知能研究センター
一杉裕志

私の研究の長期的目標• 脳を模倣して「人間のような知能を持つ機械」を作る。
今日の話

運動野
前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳

脳のリバースエンジニアリング
2ここでいう「意味」とは• 文が文字通りに表現する表面的意味。
例： Black cats eat mice.
↓∃e.∃x,y.black(e,x) ∧ cats(e,x) ∧ eat(e,x,y) ∧ mice(e,y)• いわば意味の中間表現。
文（音素列）

言語野

中間表現

本論文が扱う部分

前頭前野
海馬
感覚連合野

文の意味のより深い「解釈」は言語野以外が行うと想定

今日の話に必要な背景知識• 大脳皮質• ベイジアンネット• 単一化(Unificaion)• 組み合わせ範疇文法(Combinatory Categorial Grammar, CCG)

大脳皮質
• 脳の様々な高次機能（認識、意思決定、運動制御、思考、推論、言語理解など）が、たった５０個程度の領野のネットワー
クで実現されている。

Wikipedia よりDaniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in thePrimate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

マクロコラム
ミニコラム

I
II
III
IVV
VI

I
II
厚さ約２ミリ

III
IV

5V
VI

x1
w2
x2 .
.
wn.
xn

w1

シナプス

y = φ (∑ wi xi )i

ニューロンからの出力

大脳皮質の動作原理解明が最大の課題ベイジアンネットを使った
大脳皮質モデル• 視覚野の機能、運動野の機能、解剖学的構造、電気生理学的現象などを説明••••••••••[Lee and Mumford 2003][George and Hawkins 2005][Rao 2005][Ichisugi 2007] [Ichisugi 2010] [Ichisugi 2011] [Ichisugi 2012][Rohrbein, Eggert and Korner 2008][Hosoya 2009] [Hosoya 2010] [Hosoya 2012][Litvak and Ullman 2009][Chikkerur, Serre, Tan and Poggio 2010][Hasegawa and Hagiwara 2010][Dura-Bernal, Wennekers, Denham 2012]

ベイジアンネット[Pearl 1988]とは• 確率変数の間の因果関係をグラフで効率的に表す知識表現の技術。
• すべてのノードが入力にも出力にもなり得る。
雲が出ている
スプリンクラーが動くP(芝生 | スプリンクラー,雨)Node = 確率変数
Edge = 因果関係

雨が降る

P(雨|雲)
P(S=yes)
0.2

芝生がぬれるS
nonoyesyesR
noyesnoyes

P(R=yes)
0.02
P(W=yes|S,R)
0.12
0.8
0.9
0.98

R P(C=yes|R)
no 0.3yes 0.995

単一化文法• 「単一化」という操作を使って構文解析を進めていく文法枠組みの総称• 理論言語学における文法記述の枠組みの多くが単一化文法– LFG, HPSG, CCG, TAG, ...
自然言語の性質を表現する道具として洗練され到達した１つの結果が単一化文法であるという事実は、脳の言語野で何らかの形で単一化が行われていることを強く示唆している。

単一化(unification)とは• 計算機科学でもよくつかわれる。
– prolog 言語, 型推論など• 変数を含む２つの項が等しくなるように、変数の値を割り当てる操作。
例：単一化を行うベイジアンネット
ベクトル (2,X,X) と (Y,3,Z) を単一化する回路結合された変数は必ず同じ値になるように結合の重みを設定
単一化の結果X

23ベクトル１ベクトル２YZ

非観測変数の値の推定結果
ベクトル (2,X,X) と (Y,3,Z) を単一化する回路
情報が上の層と下の層を何度も往復し伝搬
feedforward NN
では実現しにくい

単一化の結果2233ベクトル１3323XYZ

3233ベクトル２

ここまでのまとめ• 理論言語学における単一化文法の成功は、大脳皮質の言語野が単一化を行っていることを示唆。
• 単一化はベイジアンネットで簡潔に実現可能。
• 大脳皮質がある種のベイジアンネットである強い状況証拠。

組み合わせ範疇文法(CCG)組み合わせ範疇文法[Steedman 2000](Combinatory Categorial Grammar, CCG)
• 単一化文法の１つ。
• 単純な枠組みで多くの言語現象を説明できる。
• 日本語の文法も記述されている。

日本語文法の形式理論
戸次大介 くろしお出版 2010チョムスキー階層(Chomsky 1956)
複雑な枠組み単純な枠組みhttps://ja.wikipedia.org/wiki/チョムスキー階層

・ タイプ１と２の中間（タイプ 1.5）にある文法フレームワー
クが複数提案されている。
CCG, TAG, HG, LIG
弱文脈依存言語 [Joshi 1985]

文法的な単語列と非文法的な単語列の例
a man who I think that Keats likes* a man who I think that likes Keats

Give a teacher an apple and policeman a flower.
* Policeman a flower and give a teacher an apple.
* は非文法的であることを示す印。

Combinatory Categorial Grammars for Robust Natural Language Processing
http://homepages.inf.ed.ac.uk/steedman/papers/ccg/nasslli12.pdf
Slides p.22, p.24

CCG における構文解析の流れ
１． まず辞書を使って各単語を統語範疇（≒非終端記号）に変換
２． ２つの統語範疇に推論規則を適用していき統語範疇 S を導出
少数の推論規則（≒生成規則）

単語
統語範疇

Combinatory Categorial Grammars for Robust Natural Language
Processing
http://homepages.inf.ed.ac.uk/steedman/papers/ccg/nasslli12.pdf
Slides p.21

ＣＣＧでの意味解析

構文木に沿って関数適用・関数合成を行っていく。

分全体の意味脳のモデルとしての問題点
・ ラムダ計算は強力すぎる：言語野の情報処理の特徴が浮き彫りにならない。
・ 可変長データ構造を扱っている：神経回路で扱いにくい。

提案モデル

今回の提案モデルの制限• 単純化した英語の文法に従う文を扱う。
– 従位接続詞(if など)を使った複文または関係代
名詞 which を高々１度だけ使った文を扱う。

• 文の長さ・統語範疇の長さなど、すべて有限とする。
• 文を構成する単語を一度に与える。
– インクリメンタルな処理は今回は扱わない。

• ある程度複雑な文は言語野以外の領域も使って処理すると考え、今回は扱わない。

提案モデルの特徴：
階層アドレス表現• 文の意味を、木構造をした論理式ではなく、アドレスとそこに書き込む値の組の集合というフラットな構造で表現。
• アドレスごとに書き込まれた値が何を表現するかがあらかじめ固定されている。
• 可変長データを不要にし、神経回路で扱いやすくすることを意図している。

階層アドレス表現
アドレス： (C,R,F)
節 Clause:C ∈{sconj, c1, c2}
意味役割 Semantic Role:R ∈{action, agent, patient,...}
特徴 Feature:F ∈ {entity, color, size, ...}
論理式に相当する情報をアドレスと意味表現からなる組の集合で表現

if small mice areChasedBy big dogs
black cats may eat mice

解析の手順１．辞書を使って単語列を統語範疇の列に変換

２．統語範疇の列に推論規則を適用して
文 S を導出

３．個々の単語の意味を書き込む
アドレスが確定

𝐂𝐂3 , 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎, −𝐂𝐂2 , 𝐑𝐑 2 , 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒

𝐂𝐂1 , 𝐑𝐑1 , 𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐

𝐂𝐂4 , 𝐑𝐑 4 , 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒

単語
統語範疇
アドレス

アドレス
coen

ac -en

統語範疇
NP/ NP-

black---

NP----cats----

S-

∖ NP

aeat

/ NPp

NP--------

mice

１．辞書を検索し、単語ごとに、このような共有構造をもったアドレスと統語範疇を得る。

>NP--------NP>S-∖ NPa----

NPp

アドレス
coen

ac -p en

統語範疇
NP/ NP

black----

NP----

cats----S-∖ NPaeat/ NPpNPp--------

mice

２．推論規則を適用して統語範疇を統合していく。
その際、統語素性が単一化されていく。

<>

NP c1 a------

S c1 ----------

NP c1 a->NP c1 aS c1 -∖ NP c1 a----NP c1 pアドレス
c1 a coc1 a enc1 ac -c1 p en

統語範疇
NP c1 a/ NP c1 a

black----

NP c1 a----cats----

S c1 -∖ NP c1 aeat

/ NP c1 p

NP c1 p----mice

３．構文解析が終わると構文木が確定し、各単語のアドレスも確定する。

----

black cats eat mice を解析し終えた状態における変数間の依存関係

辞書

単語列
blackcats

eat

mice
<

S c1 ---------

NP c1 aパーサ>

NP c1 a--アドレス

c1 a coNP c1 a-/ NP c1 a-

統語範疇-------

NP c1 a>S c1 -

c1 a en-NP c1 a--------∖ NP c1 a----

NP c1 pc1 ac -

S c1 -∖ NP c1 a/ NP c1 p

NP c1 pc1 p en-------

ゲート-

blackcatseat

C : c1
R : agent
F : colorc1
agent
entityc1
action
--

mice

c1
c1
patient patientcolor
entity

意味表現

大脳皮質モデルBESOM Ver.4 での実現方針

ゲートノード

制御ノード
OpenU

CloseU

ゲートノード制御ノードの値がOpen なら U と Ｘ が結合、Close なら切断
ゲートノードの条件付確率表

X

𝑃𝑃 𝐺𝐺 = 0 𝑐𝑐, 𝑢𝑢 = 1 − 1 − 𝑤𝑤𝑢𝑢 ¬𝑢𝑢 1 − 𝑤𝑤𝑐𝑐 c
𝑃𝑃 𝐺𝐺 = 1 𝑐𝑐, 𝑢𝑢 = 1 − 𝑤𝑤𝑢𝑢 ¬𝑢𝑢 1 − 𝑤𝑤𝑐𝑐 𝑐𝑐

X・ 論理回路のような感覚で生成モデルを設計できる。
・ あくまでベイジアンネットなので、 出力（下流の値）から入力（上流の値）の推定もできる。
ゲートノードの行列
CU1CU2

U1

U2

X1X2

略記X1X2文脈自由文法のチャートパーサ[Takahashi, Ichisugi 2017]

Φ1,2-4

S

Φ

2,3-4

Φ

1NP

time

Naoto Takahashi and Yuuji Ichisugi,
Restricted Quasi Bayesian Networks as a Prototyping Tool for
Computational Models of Individual Cortical Areas, In Proc. ofAMBN 2017, Proceedings of Machine Learning Research,Vol.73, pp.188--199, 2017.

VP

Φ2

Vflies

PP3

P

like4

NP

an-arrow

CCG の推論規則を適用する回路
推論規則"X/Y, Y -> X"
統合された統語範疇>
AA/

単一化される変数B/-C-//DB-C

統語範疇１(A/B)/(C/D), C/D -> A/B--C-//

D

統語範疇２

D--

型繰り上げ規則は、他の推論規則を組み合わせて表現
T/X,T¥X はおそらく有限個[Steedman 2000]
p.44(>T) X -> T/(T¥X)(>B) T/(T¥X), (Y¥X)/Z -> Y/Z↓(>T,>B) X , (Y¥X)/Z -> Y/Z

推論規則" X , (Y¥X)/Z -> Y/Z "B

A-----

統語範疇１--/-C-

B-

¥A

A/-C

統語範疇２---

語彙項目の表現方法
例：(単語, 統語範疇, アドレス, 意味表現)＝ ("white", 𝑁𝑁𝑃𝑃𝑅𝑅 ⁄𝑁𝑁𝑃𝑃𝑅𝑅 , 𝐶𝐶, 𝑅𝑅, 𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 , 𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤)

辞書ノード"white"

単語
C

R

color

アドレス
NP

R/統語範疇

NP

R

同じ値を持つべき変数をゲートを通じて結合

white

意味表現

階層的アドレスとデータ
アドレス
３進数２ケタめ

アドレス
３進数１ケタめ

データ

A1

A0

D

注目する場所以外への接続が閉じられる。

A1=v1, A0=v0

0

0

000

D

000

X8

X7

X6

X5

X4

X3

X2

X1

X0

A1

G8

G7

G6

G5

G4

G3

G2

G1

G0

A0

G8

G7

G6

G5

G4

G3

G2

G1

G0

v0

I

I

I

I

I

I

O

O

O

v0

I

I

O

I

I

O

I

I

O

v1

I

I

I

O

O

O

I

I

I

v1

I

O

I

I

O

IIOI

v2OOO

IIIIIIv2O

IIOIIOII

大脳皮質モデルに関して新たに得られた仮説• 仮説１：
２層間の結合は行列（２階テンソル）では不十分だが３階テンソルなら十分である。
• 仮説２：
学習時に結合の重みが０か１に近づくような prior が設定されている。

提案モデルと脳との対応、失語症の発話の再現

言語野
ブローカー野（４４・４５野）

脳の絵は Wikipedia より

ウェルニッケ野（一次聴覚野と角回の近く）

脳との対応の１つの可能性
単語 x n

辞書 x n４４・４５野

アドレス
統語範疇
パーサ

パーサ

アドレス x n

４０・４１・４２野

意味表現

ゲート x n２２野

単語ゲート

辞書３９野

統語範疇 x n

意味表現

注：・ パーサと意味表現以外のモジュールの位置については要再検討。
・ 運動野はこの図には入っていない。BA39 と接続する？
・ 縁上回 BA40 は単語列のバッファだと思うが他の部位との関係はまだよくわからない。
・ 言語野にも腹側経路があると考えられつつあるが、それはこの図には入っていない。
・ ゲートは特定の領野に対応するのではなく樹状突起上の抑制性結合であると考えている。

ブローカー野とウェルニッケ野• ブローカー野：文法処理に関与– ブローカー失語：• 発話：電文体（機能語が省略される）• 理解：文法に強く依存した文の理解が困難• ウェルニッケ野：言語音と概念の連合に関与– ウェルニッケ失語：• 発話：流暢に話すが意味のない内容• 理解：障害されている
参考：カンデル神経科学 p.1336-1339、言語処理学事典 p.772-787
脳においては「発話」と「理解」というモジュール分割ではなく「文法」と「意味」というモジュール分割がなされている

正常な発話

アドレス
統語範疇
パーサ

正常な文の生成
意味表現

単語ゲート

辞書

?- M=[[[c1,agent,color],black],[[c1,agent,entity],cats], [[c1,action,-],eat],[[c1,patient,entity],mice]],
Ws=[W1,W2,W3,W4], maplist(lexicalItem,Ws, Cs, As, Ds), parse([], Cs, s(c1)),
maplist(bind(M), As, Ds), print(Ws), nl, fail.
出力（重複を除く）：[black,cats,eat,mice][mice,areEatenBy,black,cats]ブローカー失語と似た発話

パーサ部分を取り除いた場合

アドレス
統語範疇
パーサ

意味表現

単語

ゲート

辞書

文法的に正しくないが、意味的に正しい単語が選択される。

?- M=[[[c1,agent,color],black],[[c1,agent,entity],cats], [[c1,action,-],eat],[[c1,patient,entity],mice]],
Ws=[W1,W2,W3,W4], maplist(lexicalItem, Ws,Cs, As, Ds), /* parse([], Cs, s(c1)),*/
maplist(bind(M), As, Ds), print(Ws), nl, fail.
出力：[black,black,black,black][black,black,black,cats][black,black,black,mice][black,black,black,eat][black,black,black,areEatenBy][black,black,cats,black][black,black,cats,cats][black,black,cats,mice]...

ウェルニッケ失語と似た発話意味表現を与えずに文を生成

アドレス
統語範疇
パーサ

意味表現

単語

ゲート

辞書

文法的に正しいあらゆる文が生成される。

?- /* M=[[[c1,agent,color],black],[[c1,agent,entity],cats], [[c1,action,-],eat],[[c1,patient,entity],mice]],*/
Ws=[W1,W2,W3,W4], maplist(lexicalItem,Ws, Cs, As, Ds), parse([], Cs, s(c1)),
maplist(bind(M), As, Ds), print(Ws), nl, fail.
出力（重複を除く）[white,dogs,eat,dogs][white,dogs,eat,cats][white,dogs,eat,mice][white,dogs,chase,dogs][white,dogs,chase,cats][white,dogs,chase,mice][white,dogs,areEatenBy,dogs][white,dogs,areEatenBy,cats]...

従来のＣＣＧではこれらの症状は再現できない
従来のＣＣＧでは文法と意味の情報が混在している。

提案モデルでは、パーサはアドレスだけを処理しており、意味の内容そのものは分離されている。
そのため、文法だけ障害、意味だけ障害、ということが起きうる。

まとめ• CCG を修正し、ラムダ計算や可変長データを使わない意味解析機構を提案。
• 簡単な文法を prolog で実装。
– 大脳皮質モデル BESOM Ver.4 で実現できる見込みが立った。
– 大脳皮質モデルが持つべき特徴のヒントが得られた。

• 失語症の発話を再現。
• 計算論的神経科学と理論言語学を融合させ、双方を大きく進展させる可能性がある。

今後
Yuuji Ichisugi, A Computational Model ofMotor Areas Based on Bayesian Networks
and Most Probable Explanations, In Proc.
of The International Conference on Artificial
Neural Networks (ICANN 2012), Part I,
LNCS 7552, pp.726--733, 2012.

今回の論文

Hidemoto Nakada and Yuuji Ichisugi,Context-Dependent Robust Text Recognition
using Large-scale Restricted Bayesian Network,
In Proc. of International Conference on
Biologically Inspired Cognitive Architectures(BICA 2017), Procedia Computer Science, Vol.
123, pp.314--320, 2018.

運動野
前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳

脳型ＡＧＩアーキテクチャの本丸：
前頭前野と海馬を中心とする思考のモデルに取り組みたい