日本ロボット学会誌 Vol. xx No. xx, pp.1〜4, 202x1

レター

ガウス過程潜在変数モデルとニューラルネットワークの統合によるマルチエージェント記号創発と潜在表現学習中村友昭∗1鈴木雅大∗2谷口彰∗3谷口忠大∗3

Symbol Emergence and Representation Learning
by Integrating GPLVM and Neural NetworkTomoaki NAKAMURA∗1 , Masahiro SUZUKI∗2 , Akira TANIGUCHI∗3 and Tadahiro TANIGUCHI∗3In this paper, we propose a novel model for multi-agent symbol emergence that integrates Gaussian Process Latent
Variable Model (GPLVM) and neural networks, in which shared symbols between two agents can emerge. In theproposed model, the agents create symbols bottom-up by interacting with the environment and share their meanings
by interacting with others. Using GPLVM, the symbols are represented as continuous variables that are more expressive than discrete variables. For the inference of symbols in GPLVM, we utilize Metropolis-Hastings Naming Game(MHNG). MHNG is a method that enables agents to acquire shared symbols and their meanings by communicating
the symbols between them without directly observing the other’s internal states. Furthermore, we introduce theneural network called Neural Conversion Adapter (NCA) that converts the features extracted from observation to
low dimensional latent variables that are internal states of each agent. NCA facilitates the inference of appropriate
latent variables for representing symbols. Experiments show that the GPLVM-based symbol emergence model cangenerate shared symbols and that more explicit symbols can be learned by combining NCA with GPLVM.
Key Words: Symbol emergence in robotics, multi-agent, Gaussian process, Metoropolis Hastings naming game

1. は じ め にShared representation(Symbol)

記号はエージェントが環境と相互作用しながらボトムアップ!に創発される．さらに他者とインタラクションすることでその意味が共有されることで，その集団の中で意図伝達が可能となる [1]．本稿では，そのような記号の創発が可能な，ガウス過程
潜在変数モデル（Gaussian Process Latent Variable Model:GPLVM）とニューラルネットワークを組み合わせたマルチエー
ジェント記号創発モデルを提案する．
図 1 が提案するモデルと想定するタスクの概要である．提案
モデルは共有された記号から両者の観測が生成される確率的生成モデルである．2 体のエージェントが異なる方向から物体をFig. 1 Overview of generative (black arrows) and inference(blue dotted arrows) processes of symbol emergence by
two agents.

観測し，その物体を表現可能な共有された記号である潜在変数 sを提案した．MHNG は，2 体のエージェントの記号を介したを推論することで記号を創発する．ただし，両者が記号 s で接コミュニケーションにより，他者の内部状態を直接観測するこ続されたモデルで推論することは，他者の内部状態をお互いが直となく共有された記号を創発し，その意味を獲得可能な手法で接観測可能であることを表しており，個体として切り離されてある．ただし，これまでの研究では離散的な記号を対象としているエージェント同士の記号創発としては不自然である．このいた．記号は必ずしも離散的なものに限定されるわけではなく，問題に対して，谷口らはメトロポリス・ヘイスティングス名付け

例えば表情，ジェスチャ，鳴き声といった連続的なものも含まれゲーム（Metropolis-Hastings Naming Game: MHNG）[2] [3]る．また，離散的に捉えられる言語であっても，音声によるコミュニケーションによって創発されており，創発する過程では原稿受付
電気通信大学∗2東京大学∗3立命館大学∗1
The University of Electro-Communications∗2
The University of Tokyo∗3
Ritsumeikan University■ 要素分野∗1

日本ロボット学会誌 xx 巻 xx 号

連続的である．記号を表す潜在変数が連続的になることで，表現力の向上や潜在変数の内挿による新たな表現の生成なども可能になると考えられる．そこで，本稿では図 1 の確率的生成モデルを GPLVM で構築することで，連続的な記号の創発を実現する．
また，本稿では画像からの特徴量抽出に学習済みの基盤モデ—1—202x 年 xx 月

中村2

友昭

鈴木雅大

$#$%

谷口忠大

名付けゲーム（MHNG）[2] [3] を利用することで，他者の内部状

"%"#

NN

NN

$%

$#

態は直接観測できない仮定で s を推論する．また，従来手法はs はカテゴリカル変数であったに対し，本稿では連続潜在変数として推論することを考える．そこで，p(za |s) と p(zb |s) のモデルをガウス過程としたガウス過程潜在変数モデル（GPLVM）を用いる．

(b)

(a)

彰

そこで，谷口らが提案しているメトロポリス・ヘイスティングス

!
!

谷口

なお，本節の説明では図 2(a) のモデルで説明するが，fa , fbFig. 2 Graphical model of the proposed method: (a) GPLVMbased symbol emergence model and (b) GPLVM-based
symbol emergence model with representation learning.

ルを用いることを想定している．しかし，このような学習済みモデルでは，必ずしもタスクに適合した特徴量が抽出できるとは限らない．そこで，そのような学習済みモデルと確率的生成モデルを Serket [4] [5] の枠組みで接続し，特徴量変換が可能なの代わりに za , zb を用いることで，図 2(b) の場合も同様の方法で推論可能である．

2. 1. 1 メトロポリス・ヘイスティングス名付けゲーム
MHNG は，メトロポリスヘイスティングス法に基づく推論法であり，事後分布（式 (1)）からのサンプル s を生成するために，次式を目標分布とする．

Neural Conversion Adapter (NCA) を提案する．NCA によっp(s|fa , fb ) ≈ Cp(s|fa )p(s|fb )（2）て，各エージェントが観測した特徴量を，記号を表現するのにただし，C は正規化項であり，この式変形には Product of Ex-適した低次元の潜在表現へ変換することができる．
関連研究として，創発コミュニケーションを目的とした深層学習モデルが提案されている [6] [7]．これらの研究では，送り手perts 近似を用いた．次に，エージェント A がメッセージ s∗ を生成する提案分布 Q(s∗ ) をから受け手への一方向のコミュニケーションを用いているもの

Q(s∗ ) = p(s∗ |fa )が多く，またコミュニケーションを通じて適切な対象を選択す（3）る referential game タスクを強化学習で学習している．一方，とする．式 (2) と式 (3) より，MH 法における新たなサンプル

本稿では双方向のコミュニケーションを利用した教師なし学習s∗ の採択率 r は次式となる．

によって記号創発することを目的としている．また，コミュニr=ケーションチャンネルを持つ深層強化学習もエージェント間で共有される記号を創発してると見ることができる [8] [9]．これらの研究では複数のエージェントをネットワークで接続し，メッセージを微分可能な変数とすることで推論している．すなわち他者の内部状態から計算された誤差情報が直接自身に伝達されることになり，個体間のコミュニケーションと言う観点から見ると不自然なモデルである．また，これらの研究は記号を創発することよりもタスクを達成することが目的であるため，本稿とは目的が異なる．

2. 提 案 手 法
図 1 のプロセスを表現した確率的生成モデルのグラフィカルモデルが図 2 である．fa と fb は，2 体のエージェントの観測

p(s∗ |fb )Q(s)p(s∗ |fa , fb )=Q(s∗ )p(s|fa , fb )p(s|fb )（4）

すなわち，エージェント A からの提案 s∗ に対して，その提案を受け入れるかどうかはエージェント B の情報のみで決定することができ，その逆の場合も同様である．したがって，両エージェントはお互いに自身の内部状態からサンプリングできるメッセー
ジを相手に投げかけ，相手が受け入れられた場合にメッセージを更新する．このプロセスを繰り返すことで式 (1) をみたす両者で共有される記号を創発することができる．

2. 1. 2 GPLVM に基づく定式化
GPLVM では，N 個の記号 S = [s1 , s2 , · · · , sN ]T が与えられた条件のもとで，対応する学習データ Fb = [fb1 , fb2 , · · · , fbN ]Tが生成される確率は次式となる．

p(Fb |S) ∝画像から抽出される特徴量である．図 2(a) では，各特徴量から記号である共有潜在変数 s を GPLVM に基づき直接推論する(11exp − tr(K −1 Fb FbT )2|K|D/2)（5）

モデルである．しかし，必ずしも fa , fb が記号を表現するのにただし，D は fb の次元数であり，K は，k をカーネル関数とし適した特徴量であるとは限らない．そこで，図 2(b) では，各特て，その i 行 j 列の要素が k(si , sj ) となるグラム行列である．

徴量から記号を表現するのに適した潜在表現 za , zb を推論する

したがって，n 番目の観測に関して新たな記号 s∗n が提案されたことで，2 体の観測をより適切に表現した記号を学習する．z∗場合を S ∗ = [s1 , s2 , · · · , s∗n , · · · , sN ]T とすると，その採択率と f∗ の変換には識別モデルであるニューラルネットワークを（式 (4)）は用い，これを確率的生成モデルとして統合するための Neuralr=p(Fb |S ∗ )p(Fb |S ∗ )p(S ∗ )=p(Fb |S)p(S)p(Fb |S)（6）

Conversion Adapter (NCA) を提案する．
2. 1 GPLVM に基づく記号創発
記号の創発は，2 体のエージェントの観測を表現できる共有された記号 s を推論することである．となる．ただし，p(S) は一様分布とした．このように式 (4) のs ∼ p(s|fa , fb )雑であり，そのままでは提案分布 Q(S ∗ ) = P (S ∗ |Fa ) からサン

（1）

採択率は，GPLVM であっても計算可能である．
一方，s を変数として見た場合の式 (5) で表される分布形状は複プルを生成することはできない．そこで，提案分布からのサンプ

ただし，本稿では 2 体のエージェントは分離した個体であり，両ルもメトロポリス・ヘイスティングス法で生成する．p(S) を一様者の内部状態である fa , fb を互いに観測することができないこ分布とし，ここでの目標分布を Q(S ∗ ) = p(S ∗ |Fa ) ∝ p(Fa |S ∗ )とを想定しているため，このままでは推論することができない．とする．提案分布として，現在のサンプル s と新たなサンプル

JRSJ Vol. xx No. xx—2—xx, 202xガウス過程潜在変数モデルとニューラルネットワークの統合によるマルチエージェント記号創発と潜在表現学習s∗ に対して対称なガウス分布 N (s∗ |s, σ 2 ) とすると，その採択

𝜙"(𝑝 𝑧! 𝑠 )

率は

r′ =

p(Fa |S ∗ )N (s|s∗ , σ 2 )p(Fa |S ∗ )=∗2p(Fa |S)N (s |s, σ )p(Fa |S)

3𝑓!

𝑔(⋅; 𝜃)𝑝 𝑓! 𝑧!
(a)

（7）

𝜓"

(𝑝 𝑧!" 𝑠" )からのサンプルを生成し，もう一方のエージェントに提案する．

softmax

次に，もう一方のエージェントの情報を利用して式 (6) により𝑤"

そのサンプルを受理/棄却することで，GPLVM 基づくメトロ
ポロスヘイスティングス名付けゲームによる記号創発が可能である．

2. 2 Neural Conversion Adapter (NCA)
次に，図 2(b) のように，各特徴量から記号を表現するのに適した潜在表現 za , zb を推論することで，2 体の観測をより適切に表現した記号を創発することを考える．すなわち，za は記号s と画像特徴量 fa の影響を受けるため，次式に従い za を推論(𝑝 𝑧!" 𝑓!" , 𝑠" )Norm𝜙"となる．これらの式を用いた MH 法により一方のエージェント𝑓!

𝑔(⋅; 𝜃)𝑝 𝑓! 𝑧!
softmax(𝑤" )(𝑞 𝑧! 𝑓! )(b)Fig. 3 Network architecture for (a) feed-forward estimation and(b) inference of wn that is the parameter of q. The blue
blocks represent the network to be trained.

式 (9) における尤度最大化を二乗誤差最小化に置き換え，期待値計算をサンプル近似すると次式となる．

1 ∑{||fan − g(ψn ; θ)||22NNする．

losswn =za ∼ p(za |s, fa ) ≈ C ′ q(za |fa )p(za |s)n（8）+β∑log softmax(wn )i }（11）p(za |s) は，前節の GPLVM により計算可能であり，事後分
布 q(za |fa ) も確率的生成モデルであれば計算可能である．一方，NCA では，za ∼ p(za |s) から fa への変換に任意の構造を持つニューラルネットワーク fa = g(za ; θ) を使用する．θ は

β は正則化項に対する重みパラメータであり，添字 i はベクトニューラルネットワークのパラメータである．決定的な識別モ

ルの i 番目の要素を表すインデックスである．図 3(b) が，wnデルであるニューラルネットワークでは，そのままでは事後確を学習するネットワークの構造である．ϕn と softmax(wn ) のiψn = C ′ ϕn ⊙ softmax(wn )（12）率 q(za |fa ) を求めることができない．そこで，fa = g(za ; θ) が要素積 ψn から，p(zan |fan , sn ) のパラメータを計算し，固定しfa ∼ p(fa |za ) を近似的に表現していると考え，以下のようにたニューラルネットワーク g へと入力する．このネットワーク

周辺尤度の下界である変分下限を求める．の出力が教師信号 fan に近づくように wn を更新する．

∫log p(fa |s) = log∫≥

適化することで，各データ点に与えられた重み wn の推論により，事後分布 q(zan |fan ) を求めることができる．

p(fa |za )dzaq(za |fa )p(za |s, fa ) log∫=

このように提案手法では，式 (10) の最適化後に式 (11) を最q(za |fa )p(za |s)p(fa |za )dzaq(za |fa )2. 3 GPLVM と NN の相互学習
図 2(b) のモデルの場合，全てを同時に学習することが困難である．そこで，Serket [4] [5] のアイデアを用いて，以下の手順

p(za |s, fa ) {log p(fa |za ) − log q(za |fa )} dzaにより各モデルを交互に学習する．

= EC ′ q(za |fa )p(za |s) [log p(fa |za ) − log q(za |fa )] （9）（1）p(zan |sn ), p(zbn |sn ) を一様分布として初期化する

log p(fa |za ) は対数尤度を，− log q(za |fa ) が q の正則化項を表している．すなわち，この変分下限を最大化する q を求めれば（2）以下を L 回繰り返す（a）2. 2 節で述べた方法により，w∗n を求めて p(z∗n |sn , f∗n )のパラメータを推論する

よい．
ここで，p(za |s) を多項分布とし，n 番目のデータの p(zan |sn )（b）各分布から zan と zbn を生成する．の パ ラ メ ー タ を ϕn ，q(zan |fan ) の パ ラ メ ー タ を 重 み ベ クz∗n ∼ p(z∗n |sn , f∗n )トル wn を使い softmax(wn ) とすると，p(zan |fan , sn ) ≈C ′ q(zan |fan )p(zan |sn ) の分布は C ′ ϕn ⊙ softmax(wn ) をパラメータとした多項分布となる．ただし，⊙ はアダマール積の演算子である．そこで，p(zan |sn ) と p(zan |fan , sn ) からのサン
プルをその 1 試行分の期待値 ϕn と C ′ ϕn ⊙ softmax(wn ) を用

これらを両エージェントの観測として，2. 1 節で述べた方法により sn を決定し，p(zan |sn )，p(zan |sn ) を更新する

3. 実いて，各目的関数を近似する．
ネットワーク g の学習では，最小化すべき誤差関数は次式となる．

1 ∑||fan − g(ϕn ; θ)||22N（10）nすなわち，図 3(a) のように p(zan |sn ) を表現するパラメータを入力として，fan を出力するよう学習する．
事後分布 q のパラメータである wn を求める誤差関数では，

日本ロボット学会誌 xx 巻 xx 号

験2 エージェントのコミュニケーションによって，GPLVM と，GPLVM と NCA の統合モデル（GPLVM+NCA）によって物体を表現する記号が学習可能か検証した．

Nlossθ =（13）3. 1 実験設定
実験には図 4(a) に示す 11 カテゴリの 67 個の物体を使用した．図 1 に示した通り，エージェント A はこれらの物体の正面画像を，エージェント B は背面画像を観測として使用した．特徴
量 fa , fb の抽出には CLIP [10] の学習済みの Vision Encorder—3—

202x 年 xx 月中村

4Category 0

Category 2友昭

鈴木雅大

谷口彰

谷口忠大

Category 1

Category 3
Category 4

Category 5

Category 8

Category 6

Category 9

Category 7

Category 10(a)

(b)

(c)

Fig. 4 (a) Objects used in the experiment, (b) learned symbols of 67 objects by GPLVM,and (c) learned symbols of 67 objects by GPLVM+NCA. The numbers represent
category indices of objects, and their positions are symbols that are continuous
two-dimensional vectors.

を用いた．s は 2 次元，za , zb は 32 次元とした．NCA には，以とができず，NCA が物体カテゴリ以外の特徴を表現する潜在表下の構造のニューラルネットワークを使用し，最適化には学習現を学習してしまう可能性もある．今後，このような学習の頑率 10−3 の Adam を用いた．

健性に関して検証する必要があると考えている．また今後，より複雑なタスクを用いて評価することを考えている．

Linear(32, 128) → ReLU → Linear(128,512)
また，GPLVM と NCA と相互学習回数は L = 10 回とした．

3. 2 実験結果

謝 辞 本研究は，JST ムーンショット型研究開発事業 JPMJMS2011 の支援を受けたものである．

図 4(b)(c) が GPLVM，GPLVM+NAC で学習された二次元の共有潜在変数である記号である．図 4(b) が GPLVM での結果であり，カテゴリ 4, 5, 9 の物体の記号は比較的明確に分離されているのが確認できる．しかし，この空間の中央付近では，
カテゴリ 0 と 2 と 7，カテゴリ 3 と 6 のように境界が明確でない物体も存在する．一方，NAC によって潜在表現 za , zb と画像特徴量をマッピングしている図 4(c) では，カテゴリ 0, 3, 6,の境界が，GPLVM の結果に比べて明確になっている．
物体カテゴリを適切に表現する記号が学習できているかを評価するために，正解カテゴリを教師ラベルとして，学習された記号s を分類するクローズドテストを行った．分類機には Support
Vector Machine を使用した．その結果，GPLVM+NCA で学習された記号を利用した分類精度は 92.5%, GPLVM で学習された記号を利用した分類精度は 83.6%となった．また，画像特徴量 f∗ を直接分類した場合の精度は 40.3%であった．分類精度が高いほど，記号が物体カテゴリをより適切に表現できていると考えることができ，この結果は GPLVM+NCA によって各カテゴリをより明確に分離する記号が学習できていることを意味している． ただし，カテゴリ 1 を表す記号は，どちらの手法においても明確に分離することができていない．今回用いたデータは似たようなテクスチャが描かれた人工物が多く，画像のみではこのカテゴリを分離することが難しかったためだと考えられる．

4. まとめ本稿では GPLVM と NCA を組み合わせた 2 体のエージェントの記号創発モデルを提案した．GPLVM を用いることで，連続的な記号の創発を実現した．NCA を用いることで，エージェントの観測と記号の間に潜在表現を導入することができ，より明確な記号の創発を実現した．本提案手法では，GPLVMが物体カテゴリを表現する潜在表現を捉え，その表現を NCAにフィードバックすることで，GPLVM と NCA が相補的に学習される．しかし，物体カテゴリとは無関係な特徴量やノイズが多く含まれた場合，GPLVM ではそのような表現を捉えるこJRSJ Vol. xx No. xx—4—参考文

献[ 1 ] T. Taniguchi, T. Nagai, T. Nakamura, N. Iwahashi, T. Ogata,and H. Asoh. Symbol emergence in robotics: A survey. Advanced Robotics, Vol. 30, Issue 11, pp. 706–728, 2016.
[ 2 ] Yoshinobu Hagiwara, Kazuma Furukawa, Akira Taniguchi, andTadahiro Taniguchi. Multiagent multimodal categorization forsymbol emergence: emergent communication via interpersonalcross-modal inference. Advanced Robotics, Vol. 36, No. 5-6,pp. 239–260, 2022.
[ 3 ] Tadahiro Taniguchi, Yuto Yoshida, Akira Taniguchi, andYoshinobu Hagiwara.
Emergent communication throughmetropolis-hastings naming game with deep generative models. arXiv preprint arXiv:2205.12392, 2022.
[ 4 ] Tomoaki Nakamura, Takayuki Nagai, and Tadahiro Taniguchi.
Serket: An architecture for connecting stochastic models
to realize a large-scale cognitive model.
arXiv preprint
arXiv:1712.00929, 2017.
[ 5 ] Tadahiro Taniguchi, Tomoaki Nakamura, Masahiro Suzuki,
Ryo Kuniyasu, Kaede Hayashi, Akira Taniguchi, Takato Horii,and Takayuki Nagai. Neuro-serket: development of integrative
cognitive system through the composition of deep probabilistic generative models. New Generation Computing, pp. 1–26,2020.
[ 6 ] Katrina Evtimova, Andrew Drozdov, Douwe Kiela, andKyunghyun Cho. Emergent communication in a multi-modal,multi-step referential game. In International Conference on
Learning Representations, 2018.
[ 7 ] Rahma Chaabouni, Florian Strub, Florent Altché, CorentinTallec, Eugene Trassov, Elnaz Davoodi, Kory Mathewson,Olivier Tieleman, Angeliki Lazaridou, and Bilal Piot. Emergent communication at scale. In International Conference on
Learning Representations, 2022.
[ 8 ] Sainbayar Sukhbaatar, Rob Fergus, et al. Learning multiagent
communication with backpropagation. Advances in neural information processing systems, Vol. 29, , 2016.
[ 9 ] Jakob Foerster, Ioannis Alexandros Assael, Nando De Freitas,and Shimon Whiteson. Learning to communicate with deep
multi-agent reinforcement learning. Advances in neural information processing systems, Vol. 29, , 2016.
[10] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh,
Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell,
Pamela Mishkin, Jack Clark, et al. Learning transferable visualmodels from natural language supervision. In International
conference on machine learning, pp. 8748–8763. PMLR, 2021.

xx, 202x