れている[1–5]．これらの研究では，コミュニケー人は共同タスクを遂行する中で，他者や環境とイションを通じて，複数のエージェントが協調行動をンタラクションすることによって，協調行動を学習学習している．しかし，従来手法の多くは中央集権することができる．また，互いの内部状態を表現し(CentralizedTraining:CT)型の学習である．CT型のたメッセージを伝達し合うことで，互いの状態を知モデルは，エージェント同士がネットワークを介しることができる．このように，コミュニケーションて接続されており，学習時に他者の内部状態や観測を通じて互いに理解できる記号が創発される過程から計算された誤差情報が各ネットワークに逆伝播のことを，創発コミュニケーションと呼ぶ．これますることで，各エージェントは他者の状態を考慮しで，マルチエージェント強化学習によって協調行動た行動を学習できる．一方で，人間は独立した個体を学習する研究が行われおり，これらの研究では主であり，他者の内部状態から計算された情報を直接にエージェント同士をネットワークで接続して学習利用することはできない．すなわち，独立した個体するアプローチが取られていた．しかしこれは，独同士の創発コミュニケーションの観点から考える立した個体同士の創発コミュニケーションの観点かと，CT型は不自然な設定だといえる．したがって，らすると，不自然な設定である．そこで本稿では，各エージェントが自身の内部状態のみからメッセー創発コミュニケーションとマルチエージェント強化ジを創発し，独立して学習を行う分散（Decentralized学習を組み合わせることで，エージェント間をネッTraining:DT）型の学習が適切だと考えられる．トワークで接続することなく，協調行動を学習でき一方，谷口は，記号は集合的な確率推論によってるモデルを提案する．実験では，エージェント同士形成されているとする集合的予測符号化仮説[6,7]が協調し，異なるゴールに到達する移動タスクを行を提唱し，記号の推論手法としてメトロポリス・ヘい，適切な協調行動を学習できることを示す．またイスティングス名付けゲーム(MHNG)[8,9]を提案提案手法が，エージェント同士をネットワークで接した．MHNGは確率的生成モデルによって記号創続して学習する従来手法と同等の性能を発揮できる発の過程を定式化し，独立したエージェント間で，ことを示す．共有される記号を創発できる手法である．さらに，MHNGによって，特定の記号創発タスクにおける人

の行動も説明できることが示されている[10]．人間は他者や環境とのインタラクションによっこれまでに我々は，MHNGと強化学習を組み合わて，協調行動を学習することができる．また，他者せることで，DT型で協調行動を学習する手法を提の内部状態を表現したメッセージを通じて他者の案した[11]．しかし，この従来手法では離散的な状状態を知ることにより，適切な行動を選択すること態・行動を用いていたため，限られたタスクのみにができる．このようなコミュニケーションを通じしか適用することができなかった．そこで，本稿でて互いに理解できる記号が創発する過程は創発コは，MHNGと深層強化学習を組み合わせることで，ミュニケーションと呼ばれており，記号や言語の形連続的な状態行動空間で協調行動を学習できるDT成を説明する創発コミュニケーションの構成論の型のモデルMASAC-ECo(Multi-agentSoftActor-Critic探求は計算言語学において重要な課題である．近年withEmergentCommunication）を提案する．実験ででは，そのような創発コミュニケーションとマルチは，2体のエージェントが創発されたメッセージを―2216―.AgentB!!&'𝑟#𝑟#Reinforcelearning(SAC)!&'!𝑎%𝑎%!&'!𝑠%𝑠%MessageInference(MHNG)𝑚!𝑟"!𝑚!&'𝑟"!&'!&'!𝑠#𝑠#Reinforcelearning(SAC)!&'!𝑎#𝑎#!&'!𝑟#𝑟$AgentA状態・行動モデルである2つのマルコフ決定過程が，メッセージ𝑚𝑡で接続された確率的生成モデルである．𝑠𝑡𝐴,𝑠𝑡𝐵各エージェントの状態𝑎𝑡𝐴,𝑎𝑡𝐵各エージェントの行動𝑟𝑡𝐴,𝑟𝑡𝐵各エージェントの報酬𝑟𝑡𝑚協調行動の報酬𝑚𝑡エージェント間でやり取りされるメッセージ介してコミュニケーションすることで，協調行動の学習が可能であることを示す．また，CT型の従来手法との性能を比較し，提案手法がそれらと同等の性能を発揮できることを示す．