分散的ベイズ推論による創発コミュニケーションに基づくマルチエージェント強化学習

れている[1–5]．これらの研究では，コミュニケー人は共同タスクを遂行する中で，他者や環境とイションを通じて，複数のエージェントが協調行動をンタラクションすることによって，協調行動を学習学習している．しかし，従来手法の多くは中央集権することができる．また，互いの内部状態を表現し(CentralizedTraining:CT)型の学習である．CT型のたメッセージを伝達し合うことで，互いの状態を知モデルは，エージェント同士がネットワークを介しることができる．このように，コミュニケーションて接続されており，学習時に他者の内部状態や観測を通じて互いに理解できる記号が創発される過程から計算された誤差情報が各ネットワークに逆伝播のことを，創発コミュニケーションと呼ぶ．これますることで，各エージェントは他者の状態を考慮しで，マルチエージェント強化学習によって協調行動た行動を学習できる．一方で，人間は独立した個体を学習する研究が行われおり，これらの研究では主であり，他者の内部状態から計算された情報を直接にエージェント同士をネットワークで接続して学習利用することはできない．すなわち，独立した個体するアプローチが取られていた．しかしこれは，独同士の創発コミュニケーションの観点から考える立した個体同士の創発コミュニケーションの観点かと，CT型は不自然な設定だといえる．したがって，らすると，不自然な設定である．そこで本稿では，各エージェントが自身の内部状態のみからメッセー創発コミュニケーションとマルチエージェント強化ジを創発し，独立して学習を行う分散（Decentralized学習を組み合わせることで，エージェント間をネッTraining:DT）型の学習が適切だと考えられる．トワークで接続することなく，協調行動を学習でき一方，谷口は，記号は集合的な確率推論によってるモデルを提案する．実験では，エージェント同士形成されているとする集合的予測符号化仮説[6,7]が協調し，異なるゴールに到達する移動タスクを行を提唱し，記号の推論手法としてメトロポリス・ヘい，適切な協調行動を学習できることを示す．またイスティングス名付けゲーム(MHNG)[8,9]を提案提案手法が，エージェント同士をネットワークで接した．MHNGは確率的生成モデルによって記号創続して学習する従来手法と同等の性能を発揮できる発の過程を定式化し，独立したエージェント間で，ことを示す．共有される記号を創発できる手法である．さらに，MHNGによって，特定の記号創発タスクにおける人