ニューラルネットワークで構成されたエージェント同士に会話の模倣をさせ、人工的な言語を創発させて、人間の自然言語と比較・解析する言語創発という分野が、近年注目を浴びている。しかし、エージェントのアーキテクチャとして、系列の順序に沿って厳密に左から右に文を読む標準的なRNNを採用することが多く、文の中の隠れた木構造を見出しながら文意を理解する人間の理解プロセスとは大きく乖離している。そこで我々は、強化学習を用いて教師なしで文の木構造を学習できるRL-SPINNをエージェントに組み込み、言語を創発させるモデルを提唱する。実験の結果、RL-SPINNを用いた創発言語は、既存のアーキテクチャを含む複数のベースラインに勝る汎化性能を持つことが確認された。

人間は日々、意志疎通や情報伝達のために無意識のうちに言語を用いているが、言語自体がどのように創発し発展してきたのかという問いは、未だ謎に包まれたままである。この問いに対する突破口と成り得るものとして、最近注目を集めている研究分野に言語創発[1]がある。ニューラルネットワークで構成されたエージェント同士に、人間の会話のシミュレーションを行わせ、その間に生じたメッセージのプロトコルを言語とみなす。この言語が、どのような側面で人間の自然言語に似ている・異なっているのかを調査し、創発した言語が自然言語に似た特徴を持つようになるための条件を探っていく。このような構成論的なアプローチでもって言語の発展の歴史を解き明かしていくことが、言語創発分野における大きな研究テーマの一つである。しかし現状の言語創発の研究においては、エージェントのアーキテクチャとして非常に簡易化されたものを採用することが多い。この問題に対処する研究の一例として、Riら[2]は、人間の言語認知プロセスを反映したアーキテクチャを含んだエージェントでの実験が少ないことを指摘し、人間の言語理解に重要とされる「注意機構」をエージェントに組み込んで既存のアーキテクチャとの比較評価を行った。我々もRiら[2]と同様に、人間の言語理解のプロセスとエージェントのアーキテクチャとのギャップに問題意識を持った。その中で、言語創発分野における過去の研究の多くが、エージェントのアーキテクチャとして標準的なRNNを採用していること[3,4]に注目した。人間はメッセージを受け取った際、系列ベースの理解（＝厳密な順番で最初のトークンから最後のトークンに沿った理解）をするわけではなく、木ベースの理解（＝文の構成要素を再帰的に合成しながら最終的な意味を作り上げるような理解）をするとされている[5]。これに対し、RNNは系列ベースに文の意味表現を構成することから、現状のエージェントによる人間の言語理解の模倣は、明らかに不十分である。そこで我々は、木構造を教師なしで学習するRL-SPINN[6]を創発言語の枠組みに組み込むことを提唱する。言語創発分野において、言語を創発させる枠組みとして、シグナリングゲーム[7]が頻繁に用いられる。シグナリングゲームでは、送信者と受信者という2種類のエージェントが登場する。本研究では、受信者がメッセージから意味表現を構成するアーキテクチャとしてRL-SPINNを適用し、それ以外の部分は従来と同じアーキテクチャを採用した。また本研究では、評価指標として、訓練時には不可視なデータに対する性能である汎化性能を用いる。Yogatamaら[6]は、RL-SPINNが、自然言語の文意をより良く捉えられる方向へのバイアスがかかるように木構造を学習し、汎化性能が上昇すること実証した。我々も同様に、RL-SPINNを組み込んだ受信者が、送信者からのメッセージの意味をより良く捉えられるようになる木構造を学習し、メッセージごとに柔軟に意味表現を構成できるようになること.で、汎化性能がより上がるだろうという仮説を立てた。実験の結果、RL-SPINNを組み込んだゲームにおける汎化性能が高くなる傾向があることが示された。今後、RL-SPINNの性能をさらに引き出すための手法の開発や、異なる評価指標による評価が行われることが期待される。本研究は、言語創発において、人間の持つ木ベースの理解を模倣するエージェントを用いた初めての研究であり、言語創発分野における新たなトピックの示唆となり得るだろう。