変分ベイズ名付けゲームに基づく多エージェントによる記号創発の評価

人間は他者や環境との相互作用を通じて，集団内で意味を共有し，意図を伝達できる記号を創り出すことが可能である．この過程を創発コミュニケーションと呼び，そのメカニズムを構成論的に解明する研究が進められている．谷口は，言語が集合的な予測符号化によって形成されるという集合的予測符号化仮説を提唱している[1]．集合的予測符号化では，図1のように複数の独立したエージェントが同一の対象を観測し，それを表現する共有サイン𝑧を推論する問題として記号創発現象をモデル化している．共有されたサインの具体的な推論法として，言語ゲームの一種である名付けゲームを活用したMetropolisHastingsNamingGame(MHNG)[2,3]および変分ベイズ名付けゲーム(VBNG)[4]が提案されている。MHNGはMH法に基づく推論法であり，2エー𝑧InferenceCommunication𝑧InferenceCommunication𝑧InferenceCommunication他者の観測情報を間接的に使用し共有される記号の創発をしている．ジェント間で観測対象を表現するサインの提案と受理・棄却を繰り返すことで推論する．MHNGによる3体以上のエージェント間での記号の創発では，2エージェント間のコミュニケーションを再帰的に繰り返す必要があった[5]．一方で我々は，変分ベイズ法に基づく推論法であるVBNGにより，シンプルな形式で3エージェント以上への拡張が可能であることを示している[4]．また，一般にMH法に比べて変分ベイズ法の方が学習効率が良いことが知られている．複数のエージェントでのコミュニケーションが重要になる設定や，エージェント数やデータ数が多い設定においては顕著な違いが生じると考えられる．そこで本稿では，VBNGとMHNGの学習性能・効率性の比較を行う．関連研究として，深層強化学習を用いた創発コミュニケーションの研究が行われている[6,7]．これらの研究では，送り手から受け手への一方向のコミュニケーションを用いて，適切な対象を選択するReferentialGameタスクを強化学習により学習している．一方，本稿では，双方向コミュニケーションを利用した教師なし表現学習によって，エージェ.𝐾𝛼1,𝑛𝜙1,𝑘𝛽1,𝑘𝜃1,𝑛𝑥1,𝑛𝑧𝑛𝑁(𝑙)𝑧2,𝑛(𝑙)(𝑙)𝑧𝑀,𝑛(𝑙)𝑧𝑀−1,𝑛𝑧3,𝑛𝑁𝑁𝑁𝑁𝑧𝑛𝑧𝑛𝑧𝑛𝑧𝑛・・・𝑥𝑀,𝑛𝑥2,𝑛𝜃3,𝑛𝜃2,𝑛𝜃𝑀,𝑛𝑥3,𝑛𝑥𝑀−1,𝑛𝜃𝑀−1,𝑛𝐾𝐾𝐾𝐾𝜙𝑀,𝑘𝜙3,𝑘𝜙2,𝑘𝜙𝑀−1,𝑘𝛼𝑀−1,𝑛𝛼3,𝑛𝛼2,𝑛𝛼𝑀,𝑛𝛽𝑀,𝑘𝛽𝑀−1,𝑘𝛽3,𝑘𝛽2,𝑘測，灰色ノードは可観測を表す．一点鎖線矢印はコミュニケーションによる推論を表す）変数定義𝑧𝑚,𝑛観測を表現する共有されたサイン𝑥𝑚,𝑛各エージェントのn番目の観測𝜃𝑚,𝑛,𝜙𝑚,𝑘多項分布のパラメータ𝛼𝑚,𝑛,𝛽𝑚,𝑘ディリクレ事前分布のパラメータント間で共有される記号を学習することが目的である．また，コミュニケーションチャンネルを用いた深層強化学習も，エージェント間でコミュニケーションに使用する共有された記号を学習していると見ることができる[8,9]．これらの研究では複数のエージェントをネットワークで接続し，他エージェントの内部状態から計算された誤差情報を逆伝播することで学習している．しかし，他者の内部状態を直接利用することは，独立した個体間のコミュニケーションでは不可能であると考えられる．さらに，これらの研究の目的は記号の創発現象のモデル化ではなく，特定のタスクを高精度に達成することであり，本稿の目的とは異なる．