大脳皮質の計算論的モデルを用いた組み合わせ範疇文法パーザ実装の構想
一杉 裕志

尾崎 竜史

高橋 直人

産業技術総合研究所 人工知能研究センター{y-ichisugi,naoto.takahashi,ozaki.ryushi}@aist.go.jp

はじめに

1

ネットはニューラルネット違い、ネットワーク上の任意のノードに観測値を与えると、他のノードの値を大脳皮質のすべての領野は似通った解剖学的構造を推論することができる。厳密な推論は一般にはネットしていることから、視覚野、言語野、運動野を含むすワークのノードの数に対し指数関数的な時間が必要だ

べての領野は共通の動作原理で動いていると考えられが、 loopy belief propagation と呼ばれる効率的な近る。その動作原理を解明するための有力な手がかりの似推論手法が存在する。

１つに「大脳皮質がベイジアンネット [1] である」と筆者らが提案する BESOM モデル [5] では、大脳皮する仮説がある [6][8]。この仮説が正しいならば、大脳質の直径約 500 ミクロンの柱状構造であるマクロコ皮質がつかさどる視覚認識、言語理解・発話、運動制ラムを確率変数に対応付け、その中に約 100 個ある直御などの様々な認知機能は、領野のネットワーク構造

径約 50 ミクロンのミニコラムを確率変数の取り得るを模したベイジアンネットで再現できるはずである。

値に対応づけている。このモデルに従えば、ヒトの大逆に言えばそうした認知機能の再現は大脳皮質ベイジ

脳皮質は約 100 万個の 100 値変数からなる巨大なベイアンネット仮説の新たな証拠の１つとなる。

ジアンネットということになる。

一方、形式言語学において成功した枠組みの１つに言語処理に関係するブローカー野とウェルニッケ野組み合わせ範疇文法 (CCG)[2][7] がある。CCG の構はいずれも大脳皮質の一部分である。しかし、これら造は脳の言語処理機構の何らかの側面を反映しているの領野と他の領野との間のマクロな結合様式の詳細はと考えてよいだろう。

いまだ明確ではなく、解剖学的な結合様式だけを第一もしベイジアンネットを用いて効率的に動作する原理として言語野の情報処理モデルを構築することはCCG パーザが実現できれば、それは大脳皮質ベイジ現時点では難しい。言語学や計算機による言語処理なアンネット仮説の新たな証拠になり、同時に CCG のどの他の分野の知見を組み合わせることで、脳の言語言語理論としての妥当性の神経科学に基づいた根拠に処理の仕組みを明らかにするアプローチが必要となる。

なる。さらに、従来記号処理的に定義されてきた CCGを統計的機械学習の枠組みの中で実現することで、工学的に有用な言語処理システムの実現にもつながる可能性がある。
本稿では CCG パーザ実現に向けた試みの背景と意義について述べた後、必要な要素技術のプロトタイプの実装の状況について述べる。

2.2

実現に向けた課題

ベイジアンネットを使った CCG パーザの実現方法は全く自明ではない。まず第一に、扱う語彙や文の長さに対するメモリや計算量の爆発を回避する必要がある。その上で、統語範疇の素性の単一化、意味を表現するラムダ式のベータ簡約に相当する情報処理を実現

22.1

研究構想の背景と意義しなければならない。

大脳皮質とベイジアンネット

ない固定したサイズのベイジアンネット上で情報処理

ベイジアンネットは確率変数の間の因果関係をネットワークで表現するデータ構造である。ベイジアンヒープやスタックを持たず、有限の状態しか持ちえを実現しなければならない点も大きな制約である。ここでは、扱う文の長さや複雑さ、統語範疇の複雑さ、意味表現の複雑さなどはすべて何らかの意味で有限のものに制限するが、その制限は言語学的・認知科学的ไᚚ䝜䞊䝗に妥当なものである必要がある。

2.3

Cトの動作は表面上は大きく異なっている。それゆえ、神経解剖学的構造を模したベイジアンネットで CCGパーザが動作することを実証できれば、大脳皮質ベイジアンネット仮説と CCG の両方の妥当性の強力な根拠となるだろう。それだけでなく、ベイジアンネット

CU䝀䞊䝖CloseXX

図 1: ゲートノードの性質。ノード U と X の間の結合上に接続している黒丸がゲートノード。U と X は、制御ノード C の値が Open なら結合、Close なら切断されているかのように振る舞う。

3.2

仮説と CCG の両方に対する欠陥や改良点の発見、未知の神経科学的現象や言語現象の予言、それらの実験U䝀䞊䝖Open

CCG パーザをベイジアンネットで実現する意義

CCG の構文解析・意味解析の動作とベイジアンネッไᚚ䝜䞊䝗

ゲートノード

ここでは、３種類のノードのうち、ゲートノードと呼ぶものの振る舞いについて説明する。

やデータによる検証が可能になり、計算論的神経科学

ゲートノードは、一般に複数の制御ノードと、1 個と言語学の両方に新たな貢献ができる可能性がある。の上流ノードを親ノードとして持つ。制御ノードの値

ベイジアンネットで実装された CCG パーザは、言により、２ノード間の結合の結合・切断を制御するこ語処理システムとしても様々な工学的利点が考えられとができる（図 1）。これにより、論理回路のようなる。構文解析が確率的グラフィカルモデルの枠組みの感覚で生成モデルを設計できる。設計した回路はベイ中だけで実現されれば理論的見通しが良くなり、拡張ジアンネットなので、原因から結果を推論するだけでも容易になる。例えば、構文解析だけでなく部分的になく、結果から原因を推定することもできる。また、与えられた単語列から他の単語を推論したり [4]、複データからゲートの制御方法を学習することもできる。

数の高次特徴量の利用 [9]、構文解析と supertagging[10]、構文解析と固有表現抽出 [11] など、異なる制約条件やタスクを loopy belief propagation で同時に解4

CCG パーザの要素技術のプロト
タイプ実装

4.1

疑似ベイジアンネット QBC

くことが素直に実現可能になる。パーザが意味解析も扱うならば、単語列と意味表現の間の相互変換や、意味に関する知識を用いた構文解析の曖昧性解消も素直に実現できるだろう。

3

制限付きベイジアンネット

3.1

条件付確率表の制約

通常のベイジアンネットは親ノードの数が増えると、近似推論や学習の１ステップに必要な計算量が指数関数的に増えるため、複雑なモデルを設計する際に問題となる。しかし、ノードの条件付確率表に制約を入れることで計算量の爆発を回避できる場合がある。
我々は現在３種類の条件付確率表のモデルの導入を検討している。具体的にはＯＲノード、ゲートノード、排他ノードの３種類のモデルである [12]。これら

将来の CCG パーザの実装に向けて、我々はまず、QBC(Quasi Bayesian Cognitive circuits) [12] と呼ぶ、確率値の０と非０のみを区別するように簡略化した「疑似ベイジアンネット」を用いて、要素技術のプロトタイプ実装を行った。

QBC は条件付確率表の値をデータから学習することはできず、設計者が手で与える。その代わり、大規模機械学習特有の局所解・過適合の問題を回避し、モデル設計の本質的な作業に専念できる。

QBC ネットワークが与えられると、ノード間の結合行列として局所的に定義される制約をすべて満たす値の組み合わせ（これを QBC の解と呼ぶ）をすべて求めることができる。のノードに対し推論の高速化の手法 [3] を適用することで、近似推論と学習の１ステップをエッジの数に対して線形時間にまで高速化する計画である。

4.2

構文解析器

QBC を用いて、チャートパーザと似たデータ構造を持った PCFG の構文解析器のプロトタイプを実装

᥎ㄽつ๎J15༢୍໬䛥䜜䜛ኚᩘ䛾್

P15X, X ĺ Y ‫ ج‬YAJ14P14J25-P25A.

.

๓ᥦ䠍
P13BP24A

ĺ

B

๓ᥦ䠎

B.

.

⤖ㄽ

P35

図 3: 単一化の動作例。
P12P23P34

P45

図 2: 構文解析を行う QBC ネットワークを、ネットワーク設計用の記法を用いて図式化したもの。

は推論規則および単一化する変数の値を表現する。ここでもゲートノードが重要な役割を果たす。推論規則が１つ選択されると、下の層にある単一化されるべき項に対応するすべてのノードを、上の層の１つのノードに結合する。結合されたノードは同じ値を持つようした。
ネットワークの規模が大きくなると記述に間違いが入りやすい上、計算量爆発により解の探索が事実上でにあらかじめ結合の重みを設定しておくことで、単一化が実現できる（図 3）。

きなくなる恐れがあるため、プロトタイピング時には問題の本質を保ったまま極力扱う問題のサイズを小さくする必要がある。今回は、構文解析できる単語の数は４個に固定、文法も単純なものとした。
図 2 は、構文解析を行う QBC のネットワークである。なお、この図は QBC ネットワーク設計用の独自記法を用いており、四角いノードはゲートノードの行列を表している。CKY のテーブルと同じ役割をするノード Pij と、ゲートノードを制御して構文木の形を制約するためのノード Jij から構成される。文法は、

Pij の親子間の結合の重みとして表現される。Jij と子ノードとの間の結合の重みは文法には依存しない。
ネットワーク全体のパラメタ数は単語数に対して多項式のオーダーで抑えられている。
このネットワークのすべての解を出力させると、可能な文がすべて生成される。単語列を観測データとして与えれば、可能な解釈がすべて解として出力されるはずである。もし単語列が文として受理できない場合は、解の集合は空集合となる。

4.4

単語列と意味表現との間の相互作用

CCG の大きな特徴の１つとして、構文解析と同時に、ラムダ式で表現された意味表現の合成が行われるという点がある。ベイジアンネットで同等の機能を実現するためには、CCG が最終的に出力する意味表現と同等なものを、固定したベイジアンネットの回路で表現する必要がある。
ここで我々は、文の意味構造が有限の複雑さを持つ場合のみを扱うことにする。複数の文の連なりからなる複雑な意味構造を人間は理解可能だが、それには海馬を含む脳全体の情報処理が関わるものと考えられる。ここでは、有限の複雑さの文であれば、大脳皮質の言語処理に関わる限定した領野のネットワークのみで無意識に高速に処理されると仮定し、その処理過程に関する仮説をベイジアンネットで表現することを試みる。
第一歩として、能動態と受動態のみが表現可能なきわめて単純な文を与えると、入力文の態の違いに関わらず、動作主・被動作主がそれぞれ特定のノードの値

4.3

単一化と推論規則の適用

CCG による構文解析は統語範疇に推論規則を適用し、単語列が文であることを証明する証明木を構築する形で進んでいく。この処理をベイジアンネットで実として推論されるネットワークを構築した。このように意味的役割ごとにあらかじめ表現するノードを固定するアイデアは、動作主と被動作主の脳内での表現に関する神経科学的知見 [13] からヒントを得ている。

現するための第一歩として、推論規則の適用の機構のプロトタイプを QBC で実装した。
この機構は２層構造をしたネットワークで表現される。下の層は前提１、前提２、結論の３つの項をそれぞれ有限個のノードで符号化したものを表現し、上の層4.5

今後実現すべき機構

今後は、プロトタイプ実装した要素技術を結合し、不足している機能を追加していく必要がある。

現在の構文解析器のプロトタイプは文脈自由文法しこの成果は、国立研究開発法人新エネルギー・産業か扱えない。CCG と文脈自由文法との大きな違いの技術総合開発機構（ＮＥＤＯ）の委託業務の結果得ら１つに関数合成規則の存在があり、それのベイジアンれたものです。

ネットによる実現可能性を検証することは特に重要な課題である。
現在の QBC を用いたプロトタイプでは結合の重みの学習はできないが、将来は同じ構造をした真のベイジアンネットを用いることで学習可能になる。ネット

参考文献[1] J. Pearl , Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.

ワークの大まかな構造を作り込み、適切な事前分布を設定することで、データから文法規則・意味規則・辞書を学習することを目指している。

5関連研究
ベイジアンネットを用いた PCFG パーザ構築の試みがある [4] が、パラメタ数や推論にかかる時間は構文解析対象の単語数の上限に対し指数関数的に増えるという問題があった。
因子グラフ上の Loopy belief propagation を用いた効率的な構文解析の試みがいくつかある [9][10][11] 1 。
これらはいずれも木構造に関する因子を特別扱いすることでメッセージ計算の高速化を図っている。一方、我々は個別タスクに依存した特殊な因子を仮定せず、脳の構造をヒントに、高速に動作する汎用的な部品の組み合わせだけで、言語処理などの認知機能を実現することを目指している。
上記先行研究のうち [10] は CCG を対象としているが、構文解析のみを行い、意味表現の生成は扱っていない。

6

おわりに大脳皮質の計算論的モデルの１つである制限付きベイジアンネット BESOM を用いた CCG パーザの実現の構想を述べ、その神経科学的、言語学的、工学的な意義について述べた。疑似ベイジアンネット QBCを用いたいくつかの要素技術のプロトタイプについて説明した。

謝辞
お茶の水大 戸次大介氏には、本研究の構想について多大な示唆をいただいており、深く感謝いたします。
1 グラフィカルモデルを用いた言語処理については下記チュート
リアル資料が詳しい。
http://www.cs.cmu.edu/~mgormley/bp-tutorial/[2] Steedman, M.: Combinators and Grammars, CategorialGrammars and Natural Language Structures, (Oehrle,R. T., Bach, E. and Wheeler, D., eds.), Studies in Linguistics and Philosophy, Vol. 32, pp.417–442, 1988.
[3] David Heckerman, Causal Independence for Knowledge
Acquisition and Inference, In Proc. of UAI-93, 122–127,1993.
[4] D. V. Pynadath and M. P.Wellman, Generalized queries
on probabilistic context-free grammars, In Proc. of
the 14th National Conference on Artificial Intelligence(AAAI 96), pp.1285–1290, 1996.
[5] Yuuji ICHISUGI, The Cerebral Cortex Model that SelfOrganizes Conditional Probability Tables and Executes
Belief Propagation, In Proc. of IJCNN 2007, pp.1065–1070, Aug 2007.
[6] T.S. Lee, D. Mumford, Hierarchical Bayesian inferencein the visual cortex. Journal of Optical Society of America, A 20(7): pp.1434–1448, 2003.
[7] 戸次大介, 日本語文法の形式理論-活用体系・統語構造・意味合成-, くろしお出版, 2010.
[8] 一杉裕志, 解説：大脳皮質とベイジアンネット, 日本ロボット学会誌 Vol.29 No.5, pp.412–415, 2011.
[9] D. A. Smith and J. Eisner, Dependency Parsing byBelief Propagation, In Proceedings of the Conferenceon Empirical Methods in Natural Language Processing(EMNLP), pp. 145-156, 2008.
[10] Auli, M. and Lopez, A., A Comparison of Loopy Belief Propagation and Dual Decomposition for Integrated
CCG Supertagging and Parsing, In Proc. of ACL,
pp.470-480, 2011.
[11] J. Naradowsky, T. Vieira, and D. A. Smith, Grammarless Parsing for Joint Inference. In Proc. of COLING
2012, pp.1995–2010, 2012.
[12] 一杉裕志, 疑似ベイジアンネットを用いた認知モデルのプロトタイピング手法の提案, 第 4 回 人工知能学会 汎用人工知能研究会 (SIG-AGI), 2016.
http://www.sig-agi.org/sig-agi/events/
sig-agi-04/publications/SIG-AGI-004-01.pdf[13] Frankland S. M., Greene J. D., An architecture for encoding sentence meaning in left mid-superior temporalcortex., Proc. Natl. Acad. Sci. U.S.A. 112, 11732-11737,2015.