言語処理学会 第24回年次大会 発表論文集 (2018年3月)

制限付き疑似ベイジアンネットを用いた組合わせ範疇文法パーザ
高橋 直人

一杉 裕志

国立研究開発法人 産業技術総合研究所 人工知能研究センター{naoto.takahashi, y-ichisugi}@aist.go.jp

1

はじめに

限付き疑似ベイジアンネットには，信号の流れを制御するためのゲートと呼ばれる機構が備わっており，こ失語症の症例研究や，fMRI を使った観察などから，ヒトの文法処理能力には大脳皮質の一部（いわゆる言れによって論理回路的感覚で生成モデルを設定することが可能となっている．

語野）が強く関与していることは間違いない [5]．ま

制限付き疑似ベイジアンネットは，条件付確率表のた近年の計算論的神経科学においては，大脳皮質がベ値をデータから学習することはできないので，設計者イジアンネット的計算を行っているという仮説が注目が手で条件付確率表を記述する必要がある．その代わを集めている [6, 2]．ヒトの文法処理能力が大脳皮質りに設計者は問題を解く上で非本質的な作業から解放において実現されており，かつ大脳皮質がベイジアンされ，問題の定性的な面・本質的な部分に専念するこ

ネット的計算を行っているのならば，ベイジアンネッとが可能となる．

トを用いてヒトの文法処理能力を再現することが少なくとも原理的には可能であるはずである．
筆者らはこの考えに基づき，通常のベイジアンネッ

3

組合わせ範疇文法

トや，制限付き疑似ベイジアンネット [3, 4, 9] を用い組合わせ範疇文法 [7, 1] は，古典的範疇文法に関数て，文脈自由文法や日本語係り受けのパーザの実装を合成規則を取り入れたものである．組合わせ範疇文法

試みてきた [8, 10]．
本稿では，制限付き疑似ベイジアンネットを用いた組合わせ範疇文法パーザに関して新たに報告する．の弱生成能力は文脈自由文法と文脈依存文法の中間に位置し，自然言語の文法記述に適していると考えられている．
通常の句構造文法では，個々の統語範疇に対して固2

制限付き疑似ベイジアンネット

有の非終端記号を割り当てる．たとえば文には S ，名詞句には N P ，動詞には V が割り当てられることが言語能力などの高次認知機能をベイジアンネット等多い．の機械学習技術を用いてモデル化する際には，たとえこれに対し組合せ範疇文法では，基底範疇と演算子小規模なプロトタイプであっても，ハイパーパラメタを用いて統語範疇を表現する．たとえば英語の動詞句の調整など非本質的な作業を伴う点が問題となる．まは，その左側の名詞句 (N P ) と組合わされて文 (S) とた実装上の問題や局所解・過適合の問題などが関係しなる．そのため S と N P を基底範疇とした場合，組合てくるため，意図した結果が得られない場合に，モデ

わせ範疇文法では動詞句を S\N P と表現する．
（X\Yルが本質的に間違っているのか，それとも単なる調整は，「左側の Y と組み合わされて X となる統語範疇」を不足なのかの切り分けが難しい．

意味する．
）さらに動詞とは，その右側の名詞句 (N P )そこで筆者らは，ベイジアンネットを用いてヒトのと組合わされて動詞句 (S\N P ) となるものであるか

高次認知機能をモデル化する際のプロトタイピング

ら，(S\N P )/N P と表現できる．
（X/Y は，「右側の Yツールとして，制限付き疑似ベイジアンネットを提案と組合わされて X となる統語範疇」を意味する．
）

した [3, 4, 9]．制限付き疑似ベイジアンネットは，確率値の０と非０のみを区別するようにベイジアンネッ
トを簡略化した上で，さらに条件付確率表に制限を加えることでパラメタ数の爆発を抑えたものである．制― 1207 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

通常の範疇表現

固定⻑前置表現

𝑋/𝑌/

𝑌 𝑋

.

(X/Y)\Z\𝑍/

𝑌 𝑋

X/(Y\Z)/\𝑍 𝑌 𝑋

判定器FA.

関数適⽤後の統語範疇

C0 C1 C2⽐較器

A1B0A2B1A3B2ゲート

図 1: 組合わせ範疇文法における一般的な範疇表現（左）と，ベイジアンネットのノードによる固長定前置表現（右）の対応．ピリオドはフィラーを表す．

A0 A1 A2 A3 A4

B0 B1 B2 B3 B4

左統語範疇

右統語範疇

実装

4

本節では，組合わせ規則のうち，順/逆関数適用規

図 2: 順関数適用規則を実現する制限付き疑似ベイジ則をベイジアンネットで実装する一方法を説明する．

アンネットの全体図．統語範疇を表現する各ノードは，基底範疇あるいは演算子を値としてとる．比較器は，２個の子ノードの値が等しい場合はそれらと同じ値を4.1

ベイジアンネットによる統語範疇表現

組合わせ範疇文法における統語範疇表現は，理論上任意の長さが想定可能であるが，人間の情報処理能力の制約からここでは有限であると仮定する．今回は１範疇を５ノードの固定長で表現することとする．各ノードは，値として基底範疇あるいは演算子をとる．
まず括弧を消去するために，演算子は前置記法とする．
（中置記法による処理も別途検討中である．
）演算子の直後には元来演算子の右側に書かれていた統語範とり，そうでない場合は否定記号としてフィラーと同じ値をとる．判定器は比較器の値に応じて，左統語範
疇と関数適用後の統語範疇の間のゲートを開閉する．
関数適用規則が適用された場合は統語範疇の表現が必ず短くなるので，この図では最初の３ノードのみを示している．
関数適用後の統語範疇のノードの値が等しくなるようにゲートが動作する．

疇を記述し，続けて演算子の左側に書かれていた統語範疇を記述する．５個１組のノードは左詰めで使用し，4.3

逆関数適用規則・統語範疇数の拡大使われないノードには値として明示的にフィラーを入順関数適用規則と同様の方法で逆関数適用規則を実れる（図 1）．

現する制限付き疑似ベイジアンネットを図 5 に示す．
順関数適用規則の左右を入れ替えて考えればよいので，4.2

順関数適用規則説明は省略する．

順関数適用規則を実現する制限付き疑似ベイジアン
ネットを図 2 に示す．また，この場合に非０の確率で生じる値の組み合わせを表 1 に示す．
左統語範疇の先頭ノード（すなわち最上位の演算子）が / であり，かつそれに続く３ノードの値が右統語範
疇の先頭３ノードとマッチした場合（図 3）は，左統語範疇の最終ノードと関数適用後の統語範疇の先頭ノードを結ぶゲートが開き，両ノードの値が等しくなる．
同時に関数適用後の統語範疇のうち，先頭ノード以外のノードはフィラーで埋められる．
また左統語範疇の先頭ノードが / であり，かつそれに続く１ノードのみが右統語範疇の先頭ノードとマッチした場合（図 4）は，左統語範疇の残り３ノードと図 2 と図 5 を重ね合わせたネットワークを作成することで，２個の統語範疇間の関数適用可能性を判定することができる．そのように重ね合わせたネットワー
クを図 6 の上のように略記することにすると，重ね合わせたネットワーク同士を合成することで同図下のように３個の統語範疇間の関数適用可能性を判定することができるようになる．
３個の統語範疇間で関数適用が可能であるためには，F と G の少なくとも一方で関数適用が成功しなければならず，そのためには D と E の少なくとも一方で関数適用が成功している必要がある．実際に制限付き疑似ベイジアンネットを用いて図 6 下のネットワークを作成したところ，関数適用可能なすべての入力パターン― 1208 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

FAA0C0C1C2

A1B0

A2B1

A3B2C0A2C0A4

C1A3

C2A4C0/

X.

.

/, \X

X

切入切

切

C1//, \, X

X, .

X, .

X.

入切入入

表 1: 図 2 において非０の確率で生じる値の組み合わせ．X は任意の基底範疇（列ごとに違っていてもよい），ピリオドは明示的なフィラー，あるいは「マッチせず」を意味する否定記号，アンダースコアは任意の値を意味する．最後の４列はゲートによるノード間の連結・非連結を示している．FA の値は各行を区別できるものであれば何でもよい．
C0>

Z\/\X

X

Z/(Y \X)

Y \XZ

.

C1.

Y

Y

Z/(Y \X)

Y/X

>

Z\X

Y.

.

Y \XX

.

.

X

Y.

X
Y

Y.

.

X.

.

図 3: 順関数適用規則において左統語範疇の一部と右統語範疇の先頭３ノードがマッチした状態．左統語範/

疇の最終ノードと関数適用後の統語範疇の先頭ノード.

において関数適用が成功し，適用不可能なパターンはC1解に含まれないことが確認できた．４個以上の統語範疇に対しても，同様の実装が可能であると考えられる．

(Z \Y )/X

>

5.

X

Y/Xが等しくなるようにゲートが動作する．

.

おわりに
本稿では，制限付き疑似ベイジアンネットを用いた

X.

.

X\YXZ \Y\YZ

X.

.

組合わせ範疇文法パーザの実装可能性を検討した．現段階では，数種類ある組合わせ規則のうち関数適用規則のみが実装できたに過ぎない．また受理可能な統/語範疇の数も非常に小さく制限されている．実用的な(Z \Y )/Xパーザに発展させるためには，現在の実装方針の下で受理可能な統語範疇を増加させたときに，ネットワークのパラメータ数が指数関数的に増大しないことを確認する必要がある．
また，組合わせ範疇文法においては，組合せ規則によって統語導出と意味合成が同時に行なわれるというZ.

.

X

図 4: 順関数適用規則において左統語範疇の一部と右統語範疇の先頭１ノードのみがマッチした状態．左統語範疇の最終３ノードと関数適用後の統語範疇が等しくなるようにゲートが動作する．

エレガントな特徴があるので，その特徴を活かした意味表現方式を考案する必要もある．
制限付き疑似ベイジアンネットは確率が非０になる― 1209 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

FA

C0 C1 C2A0B1A1B2A2B3A0 A1 A2 A3 A4

B0 B1 B2 B3 B4FGDE

図 5: 逆関数適用規則を実現する制限付き疑似ベイジ
アンネットの全体図．
組合せを全解探索で求めるが，真のベイジアンネットは一番もっともらしい組合わせを高速に近似計算することができる．ヒトは文を解析する際に意識に上る形での全解探索は行っていない上，深い中央埋め込み文Aなどの処理に失敗することから，やはり何らかの近似BC計算を用いることで実時間での解析を実現している可能性が高い．制限付き疑似ベイジアンネットによるプ

図 6: 図 2 と図 5 を重ね合わせた場合の略記法（上）ロトタイピングで方向性を定め，真のベイジアンネッと，それを用いて３個の統語範疇間の関数適用可能性

トを用いてヒトの言語能力をモデル化することが筆者を判定するネットワーク（下）．

らの目標である．

[5] David Kemmerer.

Cognitive Neuroscience ofLanguage. Psychology Press, 2015.

謝辞[6] Tai Sing Lee and David Mumford. Hierachical

この成果は，国立研究開発法人新エネルギー・産業

bayesian inference in the visual cortex. Journal

技術総合開発機構 (NEDO) の委託業務の結果得られof Optical Society of America A, Vol. 20, No. 7,たものである．

pp. 1434–1448, 2003.
[7] Mark Steedman. The Syntactic Process. MIT

参考文献

Press, Cambridge, MA, USA, 2000.

[1] 戸次大介. 日本語文法の形式理論. くろしお出版,[8] 高橋直人. ベイジアンネットを用いた疑似日本語の係り受け解析. 第 30 回人工知能学会全国大会,2010.

2016.
[2] 一杉裕志. 大脳皮質とベイジアンネット. 日本
ロボット学会誌, Vol. 29, No. 3, pp. 412 – 415,

[9] Naoto Takahashi and Yuuji Ichisugi. Restrictedquasi bayesian networks as a prototyping tool

2011.

for computational models of individual cortical[3] 一杉裕志. 疑似ベイジアンネットを用いた認知モ

areas. In Proceedings of Machine Learning Re-

デルのプロトタイピング手法の提案. 人工知能学

search, Vol. 73. PMLR, 2017.

会研究会資料 SIG-AGI-004-01, 2016.

[4] 一杉裕志, 高橋直人, 尾崎竜史. 大脳皮質の計算[10] 高橋直人, 一杉裕志. 制限付き疑似ベイジアンネッ論的モデルを用いた組み合わせ範疇文法パーザ実装の構想. 第 23 回言語処理学会年次大会, 2017.

― 1210 ―トを用いた文脈自由文法解析の試み. 第 31 回人工知能学会全国大会, 2017.

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.