メッセージの階層構造を把握するためのparsingactionがランダムではないのはなぜか？

古くから盛んに行われており[7]、EC分野外におい言語創発(EmergentCommunication;EC)[1]は、ては、人間の言語処理の認知プロセスを階層的に扱構成論的アプローチを用いて人間の言語の起源を探うことの妥当性は考察され続けている[8]。る、計算言語学の一分野である。ニューラルネットこのような背景から、加藤ら[9]は、階層的なバワークで構成されるエージェント同士に、協調的なイアスを明示的に持つアーキテクチャを、receiverタスクを解かせる中で記号列を介した会話をさせ、のメッセージを受け取る部分(メッセージエン学習の中で生じるその記号列の集合を、ある種の言コーダ)に組み込み、ECにどのような影響があ語—創発言語とみなし、人間の言語と比較・解析するか検証する実験を行った。彼らは、未知のデーるのが、本分野の主な目的の1つである。タを用いた際のコミュニケーションの成功率ECにおいてエージェント間に言語を創発させる(ComunicationAccuracy;ComAcc)を調べ、階層的には、シグナリングゲーム[2]と呼ばれる枠組みをなモデルのComAccが他モデルに比べて高くなる使うことが多い。シグナリングゲームでは、senderような条件について議論した。その中で彼らは、とreceiverという2種類のエージェントが登場すrandom-branchingと呼ばれるベースラインを独自る。環境として、意味空間X、メッセージ空間Mに定義した。これはメッセージの階層構造を把握すを準備する。まず、ランダムにサンプルされた入るためのparsingactionをランダムに予測する、人間力𝑥∈Xがsenderのみに渡され、senderは𝑥をもとの言語理解とは乖離した戦略を持つにも関わらず、―1862―.ComAccが非常に高くなるという結果を得た。この結果は一見直感に反するように思えるが、コミュニケーションの精度を上げるということだけに焦点を当てた場合には、メッセージの階層構造をどう捉えるかに意味が寄らない記号体系は頑健であるという点において、むしろ良い選択肢であると言えるかもしれない。しかし、現実の人間のparsingactionを決める戦略は、そうはなっていない。この原因を探る一助になり得る考察として、加藤ら[9]は、実験で用いた意味空間が、ランダムにメッセージの階層構造を予測しても意味が伝達してしまうほど簡潔なものになっており、意味空間が十分に複雑でないことがこの結果の要因の1つである可能性を指摘した。また、人間の言語の単語・文字順序に影響を与えるとされるsurprisal[10]の側面がモデル化されていないことも、要因として考えられるとした。この見解を踏まえ本研究では、StackLSTM[11,12]というモデルを使って、以下の2つの自然で最小限な条件を加えた実験を行い、random-branchingのComAccが下がるか否か、下がらなかったとしても、人間の言語理解をモデル化するものとして不適切な結果が生じるか、ということを検証する1）。実験I：より階層的な構造を持った意味空間を用いる.加藤ら[9]が用いたattribute-value形式の代わりに、より階層的な構造を持つDyck-𝑘という文脈自由言語を意味空間として用いた実験を行う。実験II：surprisalの側面を組み込んだ枠組みを用いる.シグナリングゲームを(beta-)VAE[14,15]として再解釈すると、surprisalの側面を自然に組み込むことができるという理論[13]を用いた実験を行う。実験Iでは、attribute-value形式より複雑な意味空間を入力として用いることで、random-branchingのComAccが低くなる傾向が見られ、人間のようなparsingactionの戦略が生まれるためには複雑な意味空間が重要であるという示唆を得られる結果となった。実験IIでは、surprisalの側面をモデル化してもComAccを比較した際の傾向は変わらないことが分かった。しかし、random-branchingが未知の意味を理解しようとする際に、人間の言語理解では通常忌1）実験IIで用いる理論[13]の都合上、先行研究で用いられたモデルは確率モデルが異なり使えないため、別のモデルとしてStackLSTMを使うこととなった。StackLSTMは予備実験(付録Bを参照)を通じて、概ね先行研究と同様の結果が得られることが分かっている。実験Iに関しては、RL-SPINNでも実験することができるが、今回は簡単のため、StackLSTMを統一的に使って実験を行うことに注意されたい。避される高い認知負荷を受けていることも分かり、人間をモデル化するエージェントとして不適であることを説明する一助となる結果も得た。