創発言語はなぜZipf短縮に従わないのか？暗黙の事前分布に基づく再解釈

創発言語は、シミュレーション上においてエージェント同士でコミュニケーションを取らせたときに生じる、言語のようなプロトコルのことを指し、近年研究対象として注目されつつある[1]。創発言語の構造を理解し、それが自然言語とどの程度類似・乖離しているのかを知り、乖離をどのようにして埋めていけばよいのかを考えることが、当分野で重要なテーマの1つである。Chaabouniら[2]は、自然言語の普遍性質であるZipf短縮[3,4,5]を取り上げ、シグナリングゲーム[6]において創発する言語が、Zipf短縮に従うか検証した。Zipf短縮とは「頻出する単語ほど、単語長が短い傾向にある」という自然言語に普遍的にみられる性質である。例えば、英単語“of”や“the”は高頻出であり、かつ短い。また、シグナリングゲームはシンプルなコミュニケーションモデルであり、言語創発分野で頻繁に用いられる。シグナリングゲームには、送信者・受信者と呼ばれる2人のエージェントが登場し、送信者から受信者への単方向通信のみが許される。各プレイにおいて、送信者は入力𝑖∈Iを1つ受け取り、メッセージ𝑚∈Mを生成する。続いて、受信者はそのメッセージ𝑚を受け取り、元の入力が何であったのかを推測する。この推測が当たっていればゲームは成功である。このとき、送信者と受信者をつなぐメッセージ(の集合)は、何かしらの意味を伝達する言語のようなものであると考えることができる。[2]は、1メッセージがちょうど1単語を成すと見做せる設定の下、創発言語がZipf短縮に従うか検証した。ところが、標準的な設定のシグナリングゲームにおいて生じる創発言語は、Zipf短縮に従わないことが示された。具体的には、メッセージが明らかに不必要に長くなってしまうばかりでなく、頻度の高いメッセージほど長くなるという、反Zipf短縮とでもいうべき傾向が示された。これまで、創発言語がZipf短縮に従わないのは、エージェントの元となるニューラルネットワーク(NN)アーキテクチャ(e.g.,LSTM[7])の帰納バイアスに問題があるからであろうと考えられてきた[2,8,9]。それに対して、本稿では、反Zipf短縮が起こる原因について新たな解釈を提示する。シグナリングゲームの学習の際に用いられる目的関数の中で、暗黙に仮定されているメッセージの事前分布𝑃(𝑚)に着目し、その事前分布が反Zipf短縮の一因となっている可能性を示唆する。