分散的ベイズ推論としてのマルチエージェント強化学習と記号創発

人間は生まれてから未分化な認識世界の中で活動を始め，外部の環境との相互作用を通じて様々な概念や言語，行動を獲得することができる．また，獲得した言語を用いて他者とコミュニケーションを取ることで，互いに協調した行動を学習することができる．このように，人間同士が記号を介してコミュニケーションを取ることで，両者の間で理解できる共通言語が形成されていく過程を，コミュニケーションの創発と呼ぶ．これまでに，コミュニケーションの創発に基づくアプローチで，エージェント同士で記号を創発し，タスクを実行する様々な研究がなされてきた[1,2]．さらに，近年ではコミュニケーションの創発を深層強化学習に拡張することで，より複雑なタスクへの応用が可能であることが示されている[3,4,5,6]．一方で，谷口らによって，人間の言語獲得の基礎となる一部の発達過程を実現したメトロポリス・ヘイスティングス名付けゲーム1と呼ばれる言語ゲームが提案されている[7,8]．文献[7,8]では，同ゲームを用いて2体のエージェントがコミュニケーションを取ることで記号を創発し，物体の概念を形成できることを示している．この手法では，確率的生成モデルを用いることでコミュニケーションの創発を実現している．しかし，このアプローチで協調行動を学習し，実環境のタスクを遂行できるようなモデルは，未だに確立されていない．そこで本稿では，メトロポリス・ヘイスティングス名付けゲームと強化学習と組み合わせることで，生成モデル的アプローチでエージェントが協調行動を学習することができるモデルを提案する．実験では，学習したモデルを実環境のタスクに適用し，2台のロボットが創発した記号を用いて環境に適した協調行動を選択できるかを検証した．.