言語処理学会 第26回年次大会 発表論文集 (2020年3月)

ロボットの概念・語意学習における言語モデルと画像特徴抽出の教師なし学習中村 友昭
電気通信大学tnakamura@uec.ac.jp

1

はじめに
これまで我々のグループでは，ロボットが取得可能な情報をクラスタリングすることで得られるカテゴリが概念であると考え，Latent Dirichlet Allocation(LDA)[1] を拡張した Multimodal LDA (MLDA) を用いた教師なしクラスタリングによりロボットによる概念学習手法を提案してきた [2, 3, 4, 5, 6, 7]．さらに，人から与えられる言語もクラスタリングすることで，単語と概念が確率的に結びつき，語意の獲得も可能となる [3, 5, 6]．しかし，これらの研究では，人の音声を音声認識器を用いて文字列へと変換し，ロボットが取得する画像を学習済みの Convolutional Neural
Network (CNN) を用いて画像特徴量へと変換していた．すなわち，教師なしでの学習を考えているのにも関わらず，学習済みの言語モデルと CNN を用いているという問題があった．そこで本稿では，これらの問題を解決するための手法である，言語モデルと画像特徴抽出の教師なし学習手法に関して紹介する．

2

図 1: 実験に用いたロボット

マルチモーダル情報
図 2: 実験に用いた物体

マルチモーダル情報として，図 1 のロボットが物体を観察し得られる画像（視覚情報）と，把持することで得られる触覚センサーの値（触覚情報）と，振るこ

3

概念と言語モデルの相互学習とで発生する音（聴覚情報）を使用した．物体として，

図 3 は，言語モデルと物体概念を統合したモデル [6]

図 2 の 499 個の身の回りにある物体を用いた．さらに，であり，白色のノードは未観測情報，灰色のノードはロボットが物体からマルチモーダル情報を取得してい観測情報を表している．図中の o が人から教示されるる際に，人がその物体の特徴を音声にて教示した．教音声である．この音声を，A をパラメータとする音響

示発話は音声認識し単語列へと変換し，画像からは特モデル，L をパラメータとする言語モデルにより認識徴抽出を行い，それらを MLDA によってクラスタリした結果が s である．さらに，認識結果 s を言語モデングすることで概念・語意を学習する．

ル L を用いて単語へ分割し，Bag of words (BoW) 表
現へと変換したものが単語情報 ww である．また，wv ，wa ，wt はそれぞれ物体から得られる視覚情報，聴覚― 397 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Words
Words
VisionVisionAudioTactile

図 4: 物体概念と画像特徴抽出の相互学習モデル
図 3: 物体概念と言語モデルの相互学習モデル

しで学習可能なモデルを提案する．図 4 が提案モデルのグラフィカルモデルである．本実験では，触覚情情報，触覚情報を示している．これらのマルチモーダ

報と聴覚情報は用いずに，視覚情報と単語情報のみ

ル情報は，それぞれ β ∗ をパラメータとする多項分布を利用した．このモデルでは，ϕ をパラメータとする∗から生成される．π はディリクレ事前分布のパラメー

Variational Autoencoder (VAE) [8] のエンコーダータである．また，z は物体のカテゴリを表しており，を用いて，画像 I を画像特徴量 wv へと変換する．

カテゴリ z の出現確率分布を表す多項分布のパラメー提案モデルの学習では，MLDA の学習と VAE の学タを θ とする．α はディリクレ事前分布のパラメータ習を交互に行う．まず，MLDA によって ww と wv をである．J, W ∗ , Ij は，それぞれ物体数，モダリティ*クラスタリングし，MLDA のパラメータを Θ を計算の情報の生起回数，j 番目の物体への教示発話数を表する．次に，MLDA により他のモダリティから画像している．このモデルでは，音声認識結果 s と物体カ特徴量が生成される確率 p(wv |ww , Θ) を計算し，以下w

テゴリ z が単語 w によって接続されている．そのたの損失関数を最小化するエンコーダーとデコーダーのめ，物体カテゴリと認識文字列や言語モデルが相互にパラメータ ϕ, ρ を学習する．

影響するモデルとなっており，物体カテゴリ z だけでlossなく，言語モデルのパラメータ L も同時に学習可能な= −Eqϕ (wv |I) [log pρ (I|wv )] +γDKL (qϕ (wv |I)||p(wv |ww , Θ)) (1)モデルである．
このモデルを，前述のマルチモーダル情報を用いて学習した．ただし視覚情報として，画像を学習済みのCNN1 に入力して得られる中間層の出力を用いた．その結果，物体の分類精度は言語モデルの学習をしない場合が 38.1%となったのに対し，言語モデルを学習することで 61.7%となった．さらに，音声認識精度は，言語モデルの学習をしない場合は 67.2%となったのに対し，言語モデルを学習することで 73.3%となった．
このように，物体概念と言語モデルを相互に学習することで，双方の精度を向上させることができている．

MLDA と VAE の学習を交互に繰り返すことによって，分類に適した特徴量 wv が学習される．
実際に，2 章の単語情報と画像を用いて提案モデルの学習を行った．潜在変数 wv は 128 次元とした．その結果，学習済みの CNN1 を利用した場合の分類精度が 66.8%だったのに対して，画像特徴量を教師なしで学習した場合の分類精度は 66.1%となった．すなわ
ち，教師なし学習によって，大量のデータから学習した CNN を用いた場合と近い性能を得ることができた．
さらに 128 次元の潜在変数を，t-SNE で 2 次元に圧縮し可視化した．その結果が図 5 である．各点の色4が，物体の正解カテゴリと対応した色となっている．

概念と画像特徴抽出の相互学習

図 5(a) は VAE 単体で潜在変数を学習した結果であり，前章のモデルによって，言語モデルを学習により獲図 5(b) は MLDA と VAE を相互に学習した結果であ得できることが示された．しかし，視覚情報 wv としる．この図から，相互学習により，分類に適した潜在て，学習済みの CNN の中間層の出力を特徴量として変数が学習できていることが分かる．

用いていた．そこで本章では，この特徴抽出も教師な
1 ImageNet2012 で学習した CaﬀeNet を利用した― 398 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

chical Dirichlet Process. In IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1520–1525, 2011.
[3] Tomoaki Nakamura, Takaya Araki, Takayuki Nagai, and Naoto Iwahashi.

Grounding of word

meanings in lda-based multimodal concepts. Advanced Robotics, Vol. 25, pp. 2189–2206, 2012.
[4] Yoshiki Ando, Tomoaki Nakamura, Takeshi(a)Araki, and Takayuki Nagai. Formation of hierarchical object concept using hierarchical latent
dirichlet allocation. In IEEE/RSJ International
Conference on Intelligent Robots and Systems,
pp. 2272–2279, 2013.
[5] Muhammad Attamimi, Yuji Ando, Tomoaki
Nakamura, Takayuki Nagai, Daichi Mochihashi,
Ichiro Kobayashi, and Hideki Asoh. Learning
word meanings and grammar for verbalization ofdaily life activities using multilayered multimodal(b)
図 5: 学習された潜在変数：(a) VAE のみを用いて得らlatent dirichlet allocation and bayesian hidden
markov models. Advanced Robotics, Vol. 30, No.

れた潜在変数，(b) VAE と MLDA の相互学習によっ11-12, pp. 806–824, 2016.て得られた潜在変数

5[6] JoeNishihara,Tomoaki

Nakamura,

andTakayuki Nagai. Online algorithm for robots to

おわりにlearn object concepts and language model. IEEE
Transactions on Cognitive and Developmental

本稿では，概念学習と同時に，言語モデルと画像特Systems, Vol. 9, No. 3, pp. 255–268, 2017.

徴抽出を教師なしで学習する手法を紹介した．これらのモデルでは，マルチモーダル情報が相補的に影響し[7] Tomoaki

Nakamura

andTakayukiNagai.

合うことで，カテゴリ分類精度だけでなく，言語モデ

Ensemble-of-concept models for unsupervised

ルや画像特徴抽出の性能が向上した．本稿の実験では，

formation of multiple categories. IEEE Transac-

言語モデルと画像特徴抽出をそれぞれ独立して学習しtions on Cognitive and Developmental Systems,たが，今後はこれら 2 つを同時に学習することを考え

Vol. 10, No. 4, pp. 1043–1057, 2018.ている．

[8] Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models. In-

参考文献

ternational Conference on Learning Representations, 2017.

[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet Allocation. Journal of Machine Learning Research, Vol. 3, pp. 993–1022,
2003.
[2] Tomoaki Nakamura, Takayuki Nagai, and Naoto
Iwahashi. Multimodal Categorization by Hierar-― 399 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.