VectorQuantizationに基づく離散系列の発話による分散型深層モデルの提案

近年，記号創発ロボティクスでは，ベイズ脳仮説[1]に基づいた分散的ベイズ学習による言語創発の研究が行われてきた[2,3,4,5]．文献[2]では，メトロポリス・ヘイスティングス法を拡張したメトロポリス・ヘイスティングス名付けゲームによる分散的ベイズ学習を提案している．具体的には，ベイズモデルであるGaussianMixtureModel（GMM）と深層ベイズモデルであるVariationalAuto-Encoder（VAE）をSerket[6]を使用して統合する．統合したモデルをFruits-360データセット[7]（果物の異なる視点画像）を使用してGMMでカテゴリを学習する．カテゴリを発話とし，学習済みモデル（エージェントA）と未学習モデル（エージェントB）をメトロポリス・ヘイスティングス名付けゲームでコミュニケーション学習する．その結果，異なる視点の入力画像に対しても発話の一致率が約8割の性能となり，メトロポリス・ヘイスティングス名付けゲームによる記号創発現象を示した．さらに，文献[5]では，マルチモーダル情報をMultimodalLatentDirichletAllocation（MLDA）[8]で統合し，潜在変数からGaussianProcessHiddenSemi-MarkovModel（GP-HSMM）[9]による単語パターンの推論と連続記号の生成をメトロポリス・ヘイスティングス名付けゲームで学習することで，連続記号から分節化に基づいた言語創発を可能にした．しかし，これらの文献では，MCMC法による学習が一般的であり，勾配降下法を使用する深層モデルへの応用は，困難である．そこで本稿では，VectorQuantizedVariationalAuto-Encoder（VQ-VAE）[10]を分散型深層モデルに拡張したVectorQuantizedCommunicationVariationalAuto-Encoder（VQCom-VAE）を提案する．本提案手法では，エージェント𝐴のエンコーダの出力𝑧から量子化した離散系列の発話𝑚𝐴を生成し，エージェント𝐵に送信する．エージェント𝐵は受信した発話𝑚𝐴を埋め込み空間𝐸を通して，デコーダから予測画像ˆ𝑜𝐵を生成することで，コミュニケーションに基づいた画像生成が可能である．また，コミュニケーションは，エージェント𝐴から𝐵，エージェント𝐵から𝐴の双方向による予測も可能である．学習では，ミニバッチ𝑡におけるエージェント𝐴の発話𝑚𝐴を含めてエージェント𝐵の埋め込み空間𝐸𝐵𝑡を更新することで予測画像ˆ𝑜𝐵と発話𝑚𝐴との関連付け学習が可能である．さらに，重み係数𝛼∗を導入し，エージェント間の発話における学習の影響度合いを表現する．実験では，MNISTデータセット[11]を使用し，2者エージェントによる発話𝑚𝐴,𝑚𝐵に基づいた数字画像の予測が可能であることを検証した．その結果，提案手法によるエージェント𝐴の発話𝑚𝐴に基づいた予測画像ˆ𝑜𝐵をエージェント𝐵で生成可能であることを示した．さらに，重み係数𝛼を変化させたコミュニケーションでは，相手の発話に対する重み係数を低くすることで，コミュニケーションが通じなくなることを示した．.VectorQuantizedCommunicationSender𝒎𝑨Encoder𝒒(𝒛𝑨|𝒐𝑨)Input:𝒐𝑨