立命館大学情報理工学部 准教授
谷口忠大

2015/2/9

1

Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ

2

自己紹介
 学歴・職歴
 2006年3月 京都大学大学院工学研究科

精密工学専攻博士後期課程（指導教員：椹木哲夫）
 2005年4月 日本学術振興会特別研究員(DC2)
谷口忠大 @tanichu 2006年4月 日本学術振興会特別研究員(PD) 2008年4月 立命館大学情報理工学部知能情報学科 助教
 2010年4月 立命館大学情報理工学部知能情報学科 准教授

自律分散型
スマートグリッド

機械学習
応用
記号創発
ロボティクス
Machinelearning
2015/2/9

Cognitive
robotics

コミュニケーション支援⊃ビブリオバトル
Decentralized
autonomous
systemHumancommunication3

余談ですが，ついったーはこんなかんじです．

2015/2/9

4記号創発システム論
記号創発ロボティクス

谷口忠大「コミュニケーショ
ンするロボットは創れるか」
2015/2/9 （NTT出版）2010

谷口忠大「記号創発ロボティクス」（講談社メチエ）2014

5

Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ

6

発達する知能
環境に適応し多様な概念や行動を獲得する知能 人間は生まれた時，未分化な認識世界の中で活動を始める．
 環境適応の中で様々な概念や行動を獲得していく．
 そして言語を用いたコミュ

ニケーションをも可能にする．
 その構造，計算論的プロセ
2015/2/9

スを知りたい．

7言葉の意味とは何か？
グラフ構造を持った意味ネットワーク，辞書の例で・・

意味ネットワークの例「人工知能の基礎 」サイエンス社 より

2015/2/98言葉の意味とは何か？
グラフ構造を持った意味ネットワーク，辞書の例で・・
辞書に存在しない言葉

辞書に存在する言葉

精神作用

社会秩序

未定義語に基づく定義

心

自由
意志
無限ループに基づく定義

積極的束縛「岩波国語辞典」の例• 石 <土や木より固く，水に沈み，砂より大きく，岩より小さいかたまり．>• 砂 <非常に粒の細かい石>• 岩 <大きな石>岩

石

国語辞典の罠!!

砂

言葉の意味は感覚的に理解するしかない．

2015/2/9

9
鈴木孝夫「ことばと文化」より)

記号接地問題 ロボットがいかに自らの身体を通して記号を意味づけるか？という問題．[Harnad ‘90]

 人間が設計した記号に対して，ロボットがセンサ・モータ系を通して意味づける．

 記号の恣意性 （記号論より）
 ラベル付けの恣意性
 範疇化・分節化の恣意性
 「接地」の考え方では，人間が作った恣意的な記号系を真なる記号系として用いている．（「真の記号系」存在仮定）

ロボットにとっての記号系と人間にとっての記号系は同じか？
2015/2/910記号系を創発的にとらえる理解
 環世界
 「生物から見た世界」 (ユクスキュル)

記号系

 それぞれの動物が知覚し作用する世界の総体
 センサ・モータ系の閉じから記号へ 認知的に閉じた経験から得られる情報の中で如何に，記号系が組織化されていくのか．

実世界

 自らの環世界に立脚して，多様な行動や概念を獲得し，それに基づいてコミュニケーションを行なう知能を計算論的に理解する．

記号創発システムへの構成論的アプローチ
2015/2/9≒記号創発ロボティクス

エルンスト・マッハ「感覚の分析」より
11

“記号”

創発システムとは？

集団の持つ記号系

 創発
 システム構成要素間の局所的な相互作用を通じ、大域的な秩序がボトムアップ的に発現し、こうしてできる大域的な秩序が境界条件として要素間の局所的相互作用をトップ
ダウン的に支配するという双方向の過程により、新しい機能、形質、行動などの獲得をもたらすこと．
コミュニケーション

12記号創発システムのミクロ・マクロループ
 ボトムアップな自己組織化
 個々のエージェントが自らの身体（感覚・運動）に基づく環境との相互作用を通して，概念形成等を行い，記号過程を支える情報
を自己組織化させる．
 トップダウンな制約
 他者との記号論的な相互作用（コミュニケーション）を実現する
ために，また，それを通した協調作業を可能にするために，集団によって担われる創発した記号系にトップダウンな制約を受ける．
また，それをボトムアップに変更する．

2015/2/913記号創発ロボティクス

2015/2/9

人工知能学会誌 特集号 2012/11 「記号創発ロボティクス」

14

個体の閉じた認識世界の中でいかにして言語獲得を行えるか？
 言語獲得の「動的過程」を表現する記述の必要性
 実世界で動作しうる計算論モデルの構築
BC
AC

AD
BA

ABC

二重分節解析器

※もちろん他にもやらないといけないことは山ほどありますが・・．
2015/2/9

マルチモーダル
カテゴリ形成AC
15

Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ

16

マルチモーダル情報統合とカテゴリ形成 人は物体をカテゴリに分けて記憶している!?
 物体カテゴリを形成
 全ての物体を個別に覚える事なく様々な物体に対応
 カテゴリを通した様々な予測
 新たに「見る」物体に対しても「これも〇〇だろう」とカテゴリを通して認識することで，他のモダリティ情報を想起可能，柔軟に対応可能．
 単語・言語情報への接続
 人と対話するために必要 マルチモーダル情報統合
 カテゴリ形成には複数の感覚系の情報が利用されている．

2015/2/9

身体性に基づくボトムアップな
マルチモーダルカテゴリ形成

17マルチモーダルカテゴリ形成
 MHDP [Nakamura ‘11]

 視覚・聴覚・触覚情報を用いた物体のカテゴリ形成
 確率モデルLatent Dirichlet Allocation (LDA)のマルチ

モーダル拡張 => MLDA
 教師なしでカテゴリ分類しロボットの物体カテゴリを形成
 ノンパラメトリックべイズに基づくカテゴリ数の自動推定=> MHDP
物体カテゴリLDAからMLDAへ
Nakamura, T. et. al. "Multimodal categorization by hierarchical dirichlet process" IEEE/RSJ
2015/2/9
18
International Conference on Intelligent Robots and Systems (IROS), pp.1520- 1525. (2011)

実験[Nakamura ‘11]
見る
握る
振る

• 視覚情報 PCA SIFT (36次元) 500次元のHG• 聴覚情報 MFCC (13次元)
50次元のHG• 触覚情報 センサー値の変化情報(2次元) 15次元HG

 マルチモーダル情報は

全てロボットにより取得
2015/2/9

19

ロボットに扱わせた物体

Objects used in the experiment and their categories
2015/2/9

Graphical modelof MHDP-LDA 20

マルチモーダル情報統合に基づく
カテゴリ分類結果
ぬいぐるみ

鈴入り人形

カップ

野菜のおもちゃマラカス

積み木スポンジボール

ペットボトル

ガラガラ

ゴム製人形

マルチモーダルな情報の統合によって多くの被験者と同様なカテゴリ分類を自動的に形成した．
2015/2/9

21

単一モダリティの分類
 視覚情報のみによる分類
 分類精度：79.6％
 推定カテゴリ数：12

 聴覚情報のみによる分類
 分類精度：38.4％
 推定カテゴリ数：3

 触覚情報のみによる分類
 分類精度：53.8%
 推定カテゴリ数：12

モダリティを制限すると、人間の物体カテゴリと同様な形成はできていない
2015/2/9

カテゴリの
身体依存性
22

階層マルチモーダルLDAを用いたロボットによる階層的概念の形成[安藤 他 2013]
LDAを階層化したhLDA [Blei ’03]をマルチモーダル化，ツリー構造の概念形成

安藤義記，中村友昭，荒木孝弥，長井隆行，"階層マルチモーダルLDAを用いたロボットによる階層的概念の形成"，日本ロボット学会誌，Vol.31, No7, pp.2-12 (2013)2015/2/9
23

Bag of Multimodal HDPを用いた ロボットによる概念・語意の獲得 [Nakamura ‘12]
 モダリティの重みを様々に変更することで，多様な概念を獲得させた．

Tomoaki Nakamura, Takayuki Nagai, and Naoto Iwahashi, "Bag of Multimodal Hierarchical
Dirichlet Processes: Model of Complex Conceptual Structure for Intelligent Robots", IROS2012,
pp.3818-3823

Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ25

人間の記号的・言語的知能を支える
二重分節解析器
 二重分節構造を持つ時系列データを解析する能力，

生成する能力を人間は持ち，その能力は音声言語
以外にも広く用いられているのではないか？
 音声言語の生成と認識 文字情報の生成と認識
 歌の学習と生成
 運動の模倣と生成
 etc. etc. ..

作業仮説
2015/2/926

記号論における二重分節構造概念(音声言語に含まれている構造)

 二重分節と意味のある分節
 音声信号は高次の連続した時系列情報である．
 音声信号は音素(phoneme)の系列として捉えられる．
 人々は通常，音素には意味を与えず，ひとまとまりの音素列である

単語(word)に意味を与える．
How

much

is

[h a u ]

[m ʌ́

tʃ]

[i

h au

m ʌ́

tʃ

I

意味あり

this?

z

]
z

[ð
ð

í

s]
í s

意味なし

非分節
2015/2/927

さまざまな隠れた二重分節構造[WHAT] [IS]

音声言語

[THIS][THIS] [IS] [A]W H A T I S T H I S[PEN]

T H I S I S A P E N

身体動作[1 2 7 6 4]

1

2

7

[8 5 10]

6

4

8

5

[11 13]

10

11

13

[14]

14

[1 2 7 6 4]

1

2

7

6

4

自動車運転挙動
Start Waiting at a pedestrian crossing

2015/2/9

Turning right

Following a leading vehicle

28

二重分節解析器の応用
身体動作データ••

Imitation learning [Taniguchi ‘11]
Motion segmentation [Taniguchi’11]

自動車運転挙動データ

Language Model
afa

fd

?

Segment

DAA

Chunk

•
•
•
•
•

Extracting driving chunk [Nagasaka ‘12]
Detecting intentional changing points [Takenaka ‘12]
Prediction [Taniguchi ‘12]
Video summarization [Takenaka ‘12]
collaborative work
For topic modeling [Bando ‘13]

音声発話データ*•

Language acquisition[Araki ‘12][Nakamura ‘14]

*Only NPYLM was used.
2015/2/9

with DENSO co.

bottle !!
collaborative work29
with Nagai lab.

二重分節解析器
Double Articulation Analyzer (DAA)
Language Modelafafd 教師なし学習 推定対象NPYLM?
[Moachihashi ‘09]

iHMM
[Fox ‘07]

Segment
Chunk

言語モデル
 出力分布 分節点とチャンク 条件 単語数と文字数未知 出力分布パラメータ未知 推論
 段階的な近似推論手法[Taniguchi ‘11]
Nonparametric Bayesian approachTadahiro Taniguchi, Shogo Nagasaka, Double Articulation Analyzer for Unsegmented Human Motion using Pitman2015/2/9 model and Infinite Hidden Markov Model, 2011 IEEE/SICE SII.(2011)30
Yor Language

sticky HDP-HMM [Fox ‘07]
 可変個(潜在的に無限個)の隠れ状態を持つHMM [Teh ‘06]
 遷移行列を複数の多項分布と見なしてモデル化 基本的にergodic HMMとなる．
 自己遷移確率を高くなるようにバイアスしたSticky Hierarchical
Dirichlet Process-HMM (sticky
HDP-HMM) を用いる．[Fox ‘08]
 出力分布に多次元ガウス分布を仮
定する．

γ

β

κ
α

πk

λ

θk

∞

z1

z2

z3

zT

y1

y2

y3

yT

Fox, Emily B., et al. "An HDP-HMM for systems with state persistence."Proceedings of the25th international conference on Machine learning. ACM, 2008.

教師無し形態素解析
 形態素解析 日本語のような単語間の区切りのない言語では，単語の切れ目を解析することが重要になる．「分かち書き」
 離散文字列から言語モデルを作るためには，この形態素解析ができる必要がある．
 しかし，通常，形態素解析自体が「辞書」の存在を前提とする．
鶏が先か卵が先か・・・
 教師無し形態素解析
 辞書を使わずN-gram統計量のみを用いて，未知のテキストから
単語・キーワードを抽出する手法が開発されてきている．


多くはヒューリスティック，もしくはMDLを基準にして計算量が重い．

 ノンパラメトリックベイズ理論に基づく教師無し形態素解析[Mochihashi ’09]

2015/2/9

32

NPYLM (Nested Pitman-Yor Language Model) 階層ディリクレ過程の拡張であるPitman-Yor過程によりスムー

ジングを行い，単語Ngramモデル，文字Ngramモデルを
iterativeに推論することで，教師無し形態素解析を実現した．
[Mochihashi ’09]
 完全にベイズ理論的な教師無し形態素解析

D. Mochihashi, T. Yamada, and N. Ueda, “Bayesian unsupervised word segmentation with nested
Pitman-Yor language modeling,” in Proceedings of the Joint Conference of the 47th Annual Meeting of
the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP:
Volume 1, 2009, pp. 100-108.

[持橋2015/2/9 発表資料より]

http://chasen.org/~daiti-m/paper/jfssa2009segment.pdf 34

運転挙動データの二重分節解析
 二重分節構造
 「交差点での右折」は単純に「ステアリングを右に回す」 操作ではなく，複雑な操作の系列になっている．

チャンク（Chunk）: (セグメントの系列)
文脈的な情報としてまとまりのある運転行動の単位
Start Waiting at a pedestrian crossing

Following a leading vehicle

Turning right

Chunk
Segment
Images fromvehicle video
Driving-behavior
data
12

17

22

27

32

37

42

セグメント（Segment）:
物理的な情報としてまとまりのある運転行動の単位

潜在的な二重分節構造の推定

二重分節解析器

Language Model
afa

fd

?

NPYLM
[Moachihashi ‘09]

チャンク
セグメント
自動車運転
挙動データ

sticky HDP-HMM[Fox ‘07]

Segment

二重分節化

Chunk

ノンパラメトリックベイズ法に基づく教師なし学習手法
Tadahiro Taniguchi, Shogo Nagasaka, Double Articulation Analyzer for Unsegmented Human Motion using PitmanYor Language model and Infinite Hidden Markov Model, 2011 IEEE/SICE SII.(2011)

二重分節解析器を用いたドライバ意図変化点の自動抽出 二重分節解析器により推定されたチャンクの切れ目が，人間により認識される運転行動文脈の変化点を上手く推定できることを示した[Takenaka ’12a].
 また，ドライブレコーダーにより記録された運転動画の自動要約手法を提案した[Takenaka ’12b]．

a) Kazuhito Takenaka, Takashi Bando, Shogo Nagasaka, Tadahiro Taniguchi, Kentarou Hitomi, Contextual Scene
Segmentation of Driving Behavior based on Double Articulation Analyzer, IEEE/RSJ International Conference onIntelligent Robots and Systems 2012 (IROS 2012), 4847-4852 .(2012)b) Kazuhito Takenaka, Takashi Bando, Shogo Nagasaka, Tadahiro Taniguchi, "Drive Video Summarization
based on Double Articulation Structure of Driving Behavior", ACM multim media 2012, [特許出願済み]

運転挙動データからのトピック抽出[Bando ‘13]
 二重分節解析器により分節化された運転行動のチャンクが運転行動について良いトピックのまとまりを持っていることを示した．

Takashi Bando, Kazuhito Takenaka, Shogo Nagasaka, Tadahiro Taniguchi,
Unsupervised drive topic finding from driving behavioral data, 2013 IEEE Intelligent
Vehicles Symposium,（2013)IEEE-IV’13 Best poster paper award 1st prize

運転行動変化タイミングの予測[Nagasaka ‘14][Taniguchi ‘15]
今後の運転行動の可能性を確率的に考慮した上で現在の運転行動チャンクの終了時間を予測する手法を提案
Distribution of termination timeof the current chunk

Possible contexts Possible prefixesksl T-k-s+1

l T-k-1

l T-k

l T-k+1

l T-1

lTl T +1l T-k-1

l T-k

l T-k+1

l T-1

lTl T +1l T-k+1

l T-1

lTl T +#(w )-k1

l T +#(w )-k
2

Time

w1

w2

l T-k

Candidates for an incomplete
Candidates fora previous driving word current driving word

Marginalization
Past driving letter sequencel T +1l T +#(wi )-kwi

Candidates forcomplete current driving wordl T-k-sAveraged log-likelihood

Possible future
driving words
Future driving letter sequence

いつ次の運転行動に切り替わるのか？

S. Nagasaka, T. Taniguchi, K. Hitomi, K. Takenaka and T. Bando, “Prediction of Next Contextual Changing Point ofDriving Behavior Using Unsupervised Bayesian Double Articulation Analyzer”, IEEE Intelligent Vehicles Symposium.
(2014) (oral: acceptance ratio 6%).
Tadahiro Taniguchi, Shogo Nagasaka, Kentaro Hitomi, Kazuhito Takenaka, and Takashi Bando
Unsupervised Hierarchical Modeling of Driving Behavior and Prediction of Contextual Changing Points, IEEE
Transactions on Intelligent Transportation Systems, (to appear)Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ42

Online Learning of Concepts and Words Using
Multimodal LDA and Hierarchical Pitman-Yor
Language Model [Araki ‘12] マルチモーダルカテゴリゼーションにより形成した物体概

念と教師なし形態素解析を結合した言語獲得

Takaya Araki, Tomoaki Nakamura, Takayuki Nagai, Shogo Nagasaka, Tadahiro Taniguchi, Naoto Iwahashi
Online Learning of Concepts and Words Using Multimodal LDA and Hierarchical Pitman-Yor Language Model
2015/2/9
43
IEEE/RSJ International Conference on Intelligent Robots and Systems 2012 (IROS 2012), 1623-1630 .(2012)

MLDAとNPYLMを用いた物体概念と言語モデルの相互学習 [Nakamura ‘14]
 マルチモーダルカテゴリの情報を用いて教師なし形態素解析（言語モ
デル学習）の精度向上
 語彙学習による物体カテゴリ形成の高精度化
語彙と概念の相互学習（教師なし学習）による
非分節連続音声とマルチモーダル情報からの実世界に接地された語彙獲得
Tomoaki Nakamura, Takayuki Nagai, Kotaro Funakoshi,
Shogo Nagasaka, Tadahiro Taniguchi and Naoto Iwahashi,
Mutual Learning of an Object Concept and Language
Model Based on MLDA and NPYLM, 2014 IEEE/RSJ
International Conference on Intelligent Robots andSystems (IROS'14), 600 - 607 .(2014)2015/2/944

自己位置推定と語彙獲得の統合“ここはてれび
まえだよ”

音声

認識ラティス

単語分割

発話教示

音声認識

場所概念と言語モデルの相互推定によるロボットの場所に関する語彙獲得 [谷口彰 ‘14]
単語列
O1,1

O1,2

O1,3 O1,4

O1,1

O1,2

O1,3 O1,4

O2,1

O2,2

O2,3

O2,1 O2,2

O2,3

複数候補

言語モデル
日本語音節
＋
選択された単語列

単語列の選択・更新“このばしょはし
ろいたな”

場所概念獲得てびまえ

しろいたの

おおきなたな谷口彰，吉崎陽紀，稲邑哲也，谷口忠大，自己位置と場所概念の同時推定に関する研究，システム制御情報学会論文
誌, Vol.27 (4), pp.166-177 .(2014)
谷口 彰, 稲邑 哲也, 谷口 忠大, 場所概念と言語モデルの相互推定によるロボットの場所に関する語彙獲得, 第32回 日本

Contents
1.
2.
3.
4.
5.
6.

2015/2/9

はじめに記号創発ロボティクス
マルチモーダルカテゴリ形成
二重分節解析器
教師なし語彙獲得
まとめ46

記号創発ロボティクスは・・・
× 記号を創発させる研究をする．
○ 記号系が創発的な存在であることを認めた上で，それを支える認知・運動・言語の学習機構について研究を行う．
Keywords for Symbol Emergence in Robotics
 マルチモーダル対話 相互信念モデル / コンテキストに依存した意味処理 / 言語・運動・画像の統一的処理







概念獲得 予測モデルと概念分化 / 身体性依存の概念形成 / マルチモーダル概念獲得 / 概念獲得とバイアス
言語獲得と発達 教師なし形態素解析 / 教師なし音韻獲得 / 未知語の学習
対話戦略 対話戦略の能動学習 / ターンテイクの学習 / 発話生成 / 自然文生成
動作や行為の学習 非分節動作からの模倣学習 / 行為の汎化 / 運動と言語の相互変換 / 大規模の動作データの学習
コミュニケーション・記号過程の創発 サインの自己組織化 / コミュニケーションの創発 / 言語の超越性 / 比喩・オノマトペ

2015/2/947

記号創発システムの計算知能による表現可能性
 20世紀： 不確実性，言語を操る情報技術の不足
 ’90年代までの人工知能と認知科学の歴史は足りない道具と共に歩んだ道．
 21世紀： 革命の素地
 現実の知能が扱う程度に複雑な大量データ，リッチな計算資源WEB, クラウド，安価なセンサ，広大なメモリ空間，計算資源

 確率的情報処理の進化： ベイズ理論（グラフィカルモデル，ノンパラメトリックベイズ理論），マルコ
フ連鎖モンテカルロ法，など
 安価で統合的なオープンソース知能情報処理環境の充実
 OPEN-CV, JUILIUS, 各種Google API, ROS, など

記号創発ロボティクスは，もはや極めて現実的な研究分野
2015/2/948

記号創発ロボティクスの狙い 言語獲得を始め不確実性を含んだ環境下での知能発達のダイナミクスの記述のためには「自然言語」では不足．
 確率モデル，ダイナミカルシステムを含んだ数理的・計算論的な「実際に動作する」記述様式が必要．
 種々の実験結果を統一的に議論する際にも．
 「実際に言語が獲得できる」，「実世界で活動できる」モ

デルを提供することは，知能理解への大きな示唆となる．
「形式的な言語」を操れるだけでは「現実世界の言語」（接地された言語）の理解としては片手落ち
2015/2/949

記号創発ロボティクス
 記号を操る知能への２つの「構成」
 構成論的アプローチ （constructive approach) 知能を構成することによって理解する．
 構成主義 (constructivism)
 世界を構成する知能を理解する．

モデルを通した理解
構成論的アプローチの役割
1. 不可能性の反証（可能性の証明）
2. 理解するためのモデルの提供
3. 科学的実験のための仮説の示唆
2015/2/9(c) 電通大 長井研究室

50

まとめ
 記号創発システムについて説明した．
 記号創発ロボティクスという研究分野について紹介した．
 研究事例として，マルチモーダルカテゴリゼーション，二重分節解析，教師なし語彙獲得に関する研究について紹介した．

We still have a long way to go....

2015/2/9

51

Special Thanks

Information• 立命館大学• 長坂翔吾，谷口彰，濱畑慶太• 電気通信大学• 長井隆行，中村友昭，荒木孝弥，
安藤美記• DENSO• 坂東誉司，竹中一仁，人見謙太郎• 岡山県立大学• 岩橋直人• 京都大学※学生は在学時の所属• 椹木哲夫• その他• 肩に乗らせてくれた巨人の皆様• 研究費を支援いただいた各団体

twitter: @tanichu

mail: taniguchi@ci.ritsumei.ac.jp
 谷口忠大「記号創発ロボティクス」（講談社メチエ）2014
 谷口忠大「イラストで学ぶ人工知能概論」（講談社）2014

谷口研では以下を募集しています．
 博士前期・後期課程学生
 研究員
詳しくはメールでご相談．
2015/2/952