論文
DBSJ Letters Vol.4, No.2――――――――――――――――――――――――――――――――――――

コミュニケーションロボットのためのセンサデータ可視化ソフトウ
ェア RSV の設計と実装
RSV: Robot Sensor Viewer forCommunication Robot

中村 学★
川島 英行♦
佐竹 覚♣
今井 倫太♠
安西 祐一郎♦Manabu NAKAMURA Hideyuki KAWASHIMA
Satoru SATAKE Michita IMAI
Yuichiro ANZAI

コミュニケーションロボットの行動プログラムにおける問題は，インタラクションをおこなうユーザの挙動をプログ
ラム設計者が事前に予測することが困難なことにある．この問題を解決するために本論文はセンサデータ可視化ソフト
ウェア RSV を提案する．RSV は一連の行動プログラムの流れを俯瞰的に可視化するだけでなく，その微細構造をも抽出する．また，RSV はプログラム設計に際して最も頻繁に解析されるビデオとロボットのセンサデータとの連携を実現する．
さらに RSV は従来研究では不可能であった膨大量の標本を有限空間内に表示することを可能にする．
One of the most important problems to design behavior
programs for communication robots is the difficulty toestimate users' behavior that interacts with robots. Totackle this problem, this paper presents a novel sensor
data visualizer RSV. At first, RSV visualizes both theabstraction of a sequence of behavior programs and themicroscopic structures of them. Then, RSV coordinates
sensor data of robots with video data that is analyzed
most frequently for the design. Furthermore, RSV enables
to display enormous samples in a limited space at thesame time, which was not realized previous work.

1. 序論
コミュニケーションロボットは人間とロボットが共生するという目的で作られたロボットであり，ロボットの行動は行動プログラムで生成される．この行動プログラムでは，センサデータを利用して環境を認識する．現在，行動プログラ★

学生会員 慶應義塾大学大学院理工学研究科
manabu@ayu.ics.keio.ac.jp♦
慶應義塾大学理工学部情報工学科 {kawasima,anzai}@ics.keio.ac.jp♣
慶應義塾大学大学院理工学研究科
satake@ayu.ics.keio.ac.jp♠
慶應義塾大学理学部情報科学科 科学技術振興機構さきがけプログラム michita@ics.keio.ac.jp

1

ムは設計者が人間の行動を予測して作成している．しかし，人間とロボットのコミュニケーションでは，人間はしばしば設計者が見落した行動を取る．行動プログラムは設計者が見落した行動に対応していないため，人間とロボットの間でコミュニケーションが破綻する．そのため，設計者が見落した人間の行動を発見するために，ロボットを人間とコミュニケーションさせて得たデータから人間の行動を分析する必要がある[1],[2],[3]．
人間とロボットのコミュニケーションの分析方法として一般的なものにビデオデータの閲覧が挙げられる．また，ビデオデータとセンサデータを用いる分析を補助する目的で，
R-support [4]というソフトウェアが提案された．R-support
はセンサデータの可視化を行い，ビデオデータに対応するセンサデータを閲覧可能にした．
しかし，従来手法で設計者が見落した人間の行動を発見するには膨大な労力を要する．それゆえ，ビデオデータを見続けて人間の行動を探すことは非効率的である．R-supportはビデオデータとセンサデータを同時に見ながら解析する機能の実現を主な目的としているため，人間の行動分析に要する時間はビデオデータを見続ける手法と同様に非効率的である．
そこで，短時間で人間の行動分析をするフレームワークとして，次の手順を用いてデータを解析することを我は提唱する．1.センサデータの中からロボットが特定の行動をした部分を多数集める．2.集めたセンサデータを可視化する．3.可視化されたセンサデータから特徴的な部分を見つける．4.特徴的な部分について実際の人間行動をビデオデータから確認する．この手順を用いると，あらかじめビデオデータを見ればよい部分を抽出できるため，R-supportよりも短時間で分析ができる．本研究ではこれら一連の手順を支援するセン
サデータ可視化ソフトウェアRSVを提案する．
RSVはロボットが特定の行動をしたときのセンサデータを集めるデータ選択機能として，行動モジュール選択機能を提供する．RSVは集めたセンサデータを可視化する機能を提供し，解析者による特徴的な部分の発見を補助をする．そして，RSVは特徴的な部分について，ビデオデータを再生させる機能を提供する．RSVはデータ選択機能を提供することで，ロボットの特定の行動データを短時間で抜き出せる．RSVは複数データの一括したグラフ化と，グラフのスクロールを用いて多数の標本を扱える可視化を提供する．RSVはこれらの機能を用いて，設計者が見落した行動の発見を支援する．発見した行動を設計者が行動プログラムに反映させることで，より良い人間とロボットのコミュニケーションを実現する．
論文の構成は以下の通りである．第2章でコミュニケーシ
ョンロボットRobovie とソフトウェアの要件について述べる．第3章でRSVの提案する．第4章でRSVの設計を述べる．
第5章でRSVの実行例を示し，第6章でRSV について議論を行い，第7章で結論を述べる．

2. 背景とソフトウェアの要件
2.1

コミュニケーションロボット Robovie

コミュニケーションロボットは，人間とロボットが共生するというコンセプトで作られたロボットであり，音声やジェスチャで人間と実世界のコミュニケーションを行う．本研究ではコミュニケーションロボット Robovie[1]を対象としてRSV を設計する．

2.2

センサデータ

日本データベース学会 Letters Vol.4, No.2

論文
DBSJ Letters Vol.4, No.2――――――――――――――――――――――――――――――――――――
Robovieは周囲の状況を認識するために，多数のセンサを使用している．Robovieは24個の距離センサ，16個のタッチセンサ，10個のバンパセンサを持つ．カメラデータは右目のカメラ，左目のカメラ，全方位カメラから取得できる．
Robovieは多数のセンサを使用しているため，大量のデータが発生する．Robovieは50個のセンサについてデータを30msec周期で取得している．Robovieを1時間稼働させたとすると，そのセンサデータの数は600万個にものぼる．通常の実験は30人程度に約10分行うため，約5時間のデータを取得する．

2.3

行動モジュール

Robovieの行動プログラムは多数の行動モジュールから構成される．行動モジュールは握手，じゃんけんなどの単一の行動に対応するモジュールであり，単一の行動を実行する際の発話，モーション，人間の動作を検出する条件が記述されている．Robovieが握手を求めたときと，じゃんけんを求めたときでは人間の反応は変わるため，人間の行動を分析するには行動モジュールごとに分析をするのが良いと考えられる．そこで，本研究では大量のデータから解析者が必要とするデータを抜き出すためのラベルとして行動モジュールの名前を採用する．

2.4

行動モジュール設計に用いられるデータ

人間の行動を認識するために，Robovieの行動モジュール
では距離センサデータ，タッチセンサデータ，カメラデータを使用している．距離センサデータは整数値，タッチセンサデータは2値，カメラデータはJPEG形式である．

2.5

ソフトウェアの要件

設計者が見落した行動の発見を支援するためのソフトウ
ェアには以下の要件がある．1.センサデータの中からロボッ
トが特定の行動をした部分を多数集めるために，膨大なセンサデータから必要なデータのみを抜き出せなければならな
い．2.集めたセンサデータを比較して特異なセンサデータを発見するために，多数の標本についてセンサデータを可視化できなければならない．3.人間がとった行動をビデオデータから確認するために，センサデータの特異点についてビデオデータを閲覧できなければならない．従って，この手順を支援するソフトウェアが満たす必要のある条件は以下の通りである．
C1 = 膨大なセンサデータから必要なデータを抜き出せるC2 = 多数の標本についてセンサデータを可視化できる
C3 = センサデータに対応するビデオデータを閲覧できる

3. RSV の提案
RSVはC1を満たすために，データ選択機能として，行動モジュール選択機能を提供する．RSVはC2を満たすために距離センサグラフとタッチセンサグラフを提供する．これらの距離センサグラフ，タッチセンサグラフをまとめてグラフ表示機能と呼ぶことにする．RSVはC3を満たすためにカメラ画像表示機能というカメラデータを動画として再生する機能を提供する．
これらの機能を実現するために，センサデータである距離センサデータ，タッチセンサデータ，カメラデータのほかに，行動モジュール名，時間を取得し，データの取得開始からデータの取得終了までに得たデータすべてに同一の ID を割り振る．この ID をデータ ID と呼ぶ．

3.1

行動モジュール選択機能

行動モジュール選択機能は解析したい行動モジュールの2選択を解析者に提供することで，膨大なセンサデータから特定のデータを抜き出す機能である(図 1)．抜き出した行動モジュールを標本と呼ぶ．行動モジュール選択機能はC1を満たすためにデータID指定，行動モジュール選択，同名行動モジュール一括選択を提供する．

図1

行動モジュール選択機能

Fig.1 Behavior Module Selection Function
解析者がデータ ID を選択することで，データ ID 指定は，そのデータ ID 内で行われた行動モジュールの名前を時系列に提示すること，そのデータ ID 内で行われた行動モジュールの種類を提示することを行う．解析者は時系列に提示された行動モジュールを選択することで，データの中からその行動モジュールを抜き出すことができる．また，行動モジュールの種類を選択することで，データ ID 内で行われた同名行動モジュールを一括で抜き出すことができる．RSV はこれらの機能で膨大なデータから必要なデータを高々2 ステップで抜き出すことを実現する．すなわち，RSV は短時間で必要なデータを抜き出せる．
行動モジュール選択機能は，これ以外にも文献[5]で述べる機能を持つ．

3.2

グラフ表示機能

グラフ表示機能は，取得したデータを可視化する機能であり，距離センサグラフとタッチセンサグラフがある．これら
2 つの機能を提供することでRSVはC2を満たす．センサは一定周期ごとにデータを取得するため，センサデータは時系列データとなる．そこで，距離センサグラフとタッチセンサグ
ラフは各センサデータの時系列の変化を可視化する．
距離センサデータは数値データであるため，数値データの時系列変化を観察できる折れ線グラフを用いて可視化する．
タッチセンサデータは 2 値データであるため，距離センサグ
ラフと同様に折れ線グラフを用いて重ねて表示すると，グラフが繁雑化する．そのため，グラフを並列して表示しなければならない．そこで，タッチセンサグラフは帯グラフを並列してタッチセンサデータを可視化する(図 2)．

図2タッチセンサグラフ

Fig.2 Touch Sensor Graph

日本データベース学会 Letters Vol.4, No.2

論文
DBSJ Letters Vol.4, No.2――――――――――――――――――――――――――――――――――――
タッチセンサグラフはグラフを並列に表示するため，標本すべてを一括して可視化することができない．そこで，RSVはグラフをスクロールする機能を提供することですべての標本について，タッチセンサデータを可視化する．
グラフ表示機能は，これ以外にも文献[5]で述べる機能を持
つ．

3.3

カメラ画像表示機能

発見し，その部分についてカメラ画像表示機能にカメラデータの表示を指示する．
C-(2) カメラ画像表示機能は，標本データを用いて，データベースシステムにクエリを投げ，カメラデータを表示するために必要なデータを取り出す．
C-(3) カメラ画像表示機能は，取り出したカメラデータを表示し，解析者に提示する．

解析者は標本とカメラの種類を選択することでカメラ画像を表示できる(図 3)．標本とカメラの種類の選択はカメラ選択機能で行う．Robovieはビデオを搭載しておらず，画像データはカメラによる静止画像のみしか取得できない．そこで，カメラ画像表示機能でカメラデータをアニメーションで切り替えて動画として再生する機能を提供する．そして，動画の再生に同期して距離センサグラフやタッチセンサグラ
フのタイムラインを動かす．これにより，RSVはセンサデータとカメラデータを対応付けた解析を可能にする．従って，
RSVはC3を満たす．
図4

RSV の構成

Fig.4 Structure of RSV

4.2

設計

図 4 に示すように，RSV は行動モジュール選択機能，グラフ表示機能，カメラ画像表示機能から構成される．各機能の具体的な設計は文献[5]を参照していただきたい．

4.3
図3

カメラ画像表示機能

Fig.3 Camera Display Function

4. RSV の設計
4.1

全体の構成

RSV の構成を図 4 に示す．RSV は行動モジュール選択機
能，グラフ表示機能，カメラ画像表示機能で構成され，センサデータの格納にはデータベースシステムを用い，選択された標本をメモリに保存する．図中のデータベースシステムへ入る矢印はクエリを示し，データベースシステムから出る矢印は結果の受け取りを示している．
例えば，(A)解析者がデータから握手モジュールを抜き出し，(B)握手モジュールのタッチセンサデータを可視化して，その後(C)カメラデータを見るとする．この場合，RSV は次のように動く．
A-(1) 解析者が行動モジュール選択機能で握手モジュールを選択する．
A-(2) 行動モジュール選択機能は，データベースシステムから選択された握手モジュールに関するデータを抜き出し，メモリに保存する．
B-(1) 解析者がタッチセンサグラフ(タッチセンサグラフはグラフ表示機能の一つ)を選択し，タッチセンサデータの可視化を指示する．
B-(2) タッチセンサグラフ表示機能は，標本データを用いて，データベースシステムにクエリを発行し，データベースシステムからグラフ描画に必要なタッチセンサデータを取り出す．
B-(3) タッチセンサグラフ表示機能は，取り出したタッチセンサデータの可視化を行い，解析者に提示する．
C-(1) 解析者はタッチセンサデータから，特徴的な部分を3実装RSV の実装には JDK 1.5.0 を使用した．データ格納にはpostgreSQL を使用した．ソースコードは 3000 行程度を要した．

5. 実行例
行動プログラム設計者が見落した人間の行動を RSV が検出できることを確かめるために，5 人の被験者に 5 分間Robovie の相手をさせた．この 5 分間の間，Robovie の行動モジュールである KISS を何回か実行させた．この KISS モ
ジュールで人間がどのような行動をしたかを解析する．
KISS モジュールは次のように動作する行動モジュールである．まずロボットが「キスして」と発話する．次に，画像処理で人間の顔検出を試みる．そして，人間の顔が検出されるとロボットが「好き」や「大好き」と発話する．
KISS モジュールを解析するために，行動モジュール選択機能でデータの中から KISS モジュールを抜き出す．抜き出せた KISS モジュールの数は 27 個である．
距離センサデータから人間の行動を発見できるかもしれないので距離センサグラフを表示する．ここで，人間はロボットの前方にいると仮定し，ロボットの前方の距離センサ以外を非表示にする．さらに，最も人間が近付いたと検知したデータを見るために最小値表示にする．こうしてできたグラフが図 5 である．すると，KISS モジュールを開始してから距離センサデータが小さくなったことがわかる．ここから，人間が近付いたことが推測できる．
タッチセンサデータから人間の行動を発見できるかもしれないのでタッチセンサグラフを表示する．標本ごとに可視化するビューで見たところ，いくつかの標本でタッチセンサの反応があった．そこで，どのタッチセンサが押されたかを見るために，タッチセンサごとに可視化するビューで見る(図6)．ここから，右肩，左肩，右目，左目のタッチセンサが押日本データベース学会 Letters Vol.4, No.2

論文
DBSJ Letters Vol.4, No.2――――――――――――――――――――――――――――――――――――の可視化を実現した．3. カメラ画像表示機能により，可視化されたセンサデータの中で特徴的な部分について，実際に人間がどのような行動を行ったのかを確認できるようにした．本稿は RSV を用いることで，設計者の見落していた人間の行動を発見できると結論する．

されたことがわかる．

[文献］

図5

距離センサグラフ

Fig.5 Sonar Sensor Graph

図6

タッチセンサグラフ

Fig.6 Touch Sensor Graph
以上より，KISS モジュール実行時に人間が近付くこと，特定のタッチセンサが押されることを検出できた．これはKISS モジュールの設計者が予測しなかった行動である．

6. 議論
RSVはC1を解決するために行動モジュール選択機能を提供した．行動モジュール選択機能ではデータIDの選択と，時系列に並んだ行動モジュール名の選択か同名モジュールの一括選択の 2 ステップで膨大なデータから必要なデータのみを抜き出せる．したがって，RSVはC1を満たす．
RSVはC2を解決するために距離センサグラフ，タッチセンサグラフを提供した．これらの機能でRSVはセンサデータを自動的に可視化する．そして，RSVは複数データの一括したグラフ化と，グラフのスクロールを用いて，多数の標本を可視化する．よって，RSVはC2を満たす．
RSVはC3を解決するためにカメラ画像表示機能を提供した．カメラ画像表示機能はカメラデータを動画として再生する機能を提供し，動画の再生に同期して距離センサグラフとタッチセンサグラフのタイムラインを動かす．この機能により，センサデータとカメラデータの対応付けを可能にするため，RSVはC3を満たす．
すなわち，設計者が見落していた人間の行動を発見する支援を RSV は可能にする．

7. 結論
本稿ではコミュニケーションロボットのためのセンサデータ可視化ソフトウェア RSV の設計及び実装を述べた．
RSV は人間の行動分析を支援するための 3 つの条件を次のように満たした．1.行動モジュールを時系列に提示し選択させることで，ロボットが特定の行動をしたときのセンサデータの抜き出しを実現した．2.標本における距離センサグラフ，タッチセンサグラフを作成する機能を提供し，センサデータ

4[1] Takayuki Kanda, Hiroshi Ishiguro, Tetsuo Ono,
Michita Imai and Ryohei Nakatsu: “Development andEvaluation of an Interactive Humanoid Robot“Robovie””, IEEE International Conference on Robotics
and Automation (ICRA 2002), pp.1848-1855 (2002).
[2] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, andHiroshi Ishiguro: “A practical experiment withinteractive humanoid robots in a human society”, IEEEInternational Conference on Humanoid Robots, Oct.
2003.
[3] 神田 祟行, 石黒 浩, 今井 倫太, 小野 哲雄: ``人-ロボッ
ト相互作用における身体動作の数値解析 協調的動作の重要性'', 情報処理学会論文誌, Vol.44, No.11, pp.2699-2709,
2003.
[4] 佐藤 英和: ``Robovieを用いた実験を支援するソフトウ
ェアR-supportの設計と実装'', 修士論文, 慶應義塾大学,
2004.
[5] 中村 学, 川島 英之, 佐竹 聡, 今井 倫太: ``コミュニケーションロボットのためのセンサデータ可視化ソフトウ
ェアRSVの設計と実装'', 情報処理学会研究報告, Vol.
2005, No.68, pp.651-658, 2005.

中村 学

Manabu NAKAMURA

慶應義塾大学大学院理工学研究科前期博士課程在学中．2005
年 慶應義塾大学理工学部情報工学科卒業．センサネットワークの研究に従事．情報処理学会学生会員．日本データベース学会学生会員．

川島 英之

Hideyuki KAWASHIMA

慶應義塾大学理工学部情報工学科助手．2005 年 慶應義塾大学大学院理工学研究科博士課程修了，工学博士．データベースシステムの研究・開発に従事．情報処理学会会員．

佐竹 聡

Satoru SATAKE慶應義塾大学大学院理工学研究科後期博士課程在学中．2005
年 慶應義塾大学大学院理工学研究科修士課程修了．ヒュー
マンロボットインタラクション，センサネットワークの研究・開発に従事．情報処理学会学生会員．

今井 倫太

Michita IMAI慶應義塾大学理工学部情報工学科助教授および，ATR 知能ロボティクス研究所客員研究員，科学技術振興機構さきがけタ
イプ「相互作用と賢さ」研究員．2002 年 慶應義塾大学理工学研究科博士課程修了，工学博士．ロボットの対話，センサを用いた状況知覚に興味を持つ．情報処理学会，電子情報通信学会，人工知能学会，ACM，IEEE 等会員．

安西 祐一郎Yuichiro ANZAI慶應義塾長．慶應義塾大学理工学部情報工学科教授．1974年 慶應義塾大学大学院理工学研究科博士課程修了，工学博士．情報処理学会，電子通信学会，日本認知学会，ACM，IEEE等会員．

日本データベース学会 Letters Vol.4, No.2