Shepherd:ユーザ視点のマルチロボットコントロールを実現するモバイルインターフェイスの提案∗
細井 一弘†
東京大学大学院

1

はじめに

本研究では，ユーザとロボットが同一空間上にいる環境で，ユーザが自己の視点に基づいて，直感的にロボットに操作・指示を行えるインタフェース”Shepherd”を開発した [2]．ユーザはモバイルデバイスに搭載されたカメラで，ロボットを撮影し，移動させたい方向にモバイルデバイスを振ることで，ロボットを移動させることができる．ユーザはロボットの視点になって移動命令を考える必要がなく，任意の方向から自由にロボットを操作可能である．また，複数台のロボットを同時に撮影することで，任意の状態のロボットを同時に制御することが可能である (図 1 参照)．特定のロボットのみを操作したい場合は，そのロボットだけをズームアップして撮影し，操作することが可能である．さらにヒューマノイドのように複雑な機構を持つロボットに対しては，ロボットの一部分をカメラで撮影することで，例えば，首を振る，腕を上げる，腰を下ろすなどの行動も，直感的に操作できると考えられる．

モバイルデバイスを右に動かす
カメラ

ユーザから見て右側へ移動する．

図 1: 提案手法

ロボットや環境にカメラやセンサを搭載して，ジェスチャ・視線・動作などを認識する手法が数多く提案されている．これらの手法では，センサの認識範囲に限界があるため，ユーザは限られた範囲でしかロボットを操作できない．また，飛行ロボットを考えた場合，ユーザとのコミュニケーションのために新たにセンサを追加することは，積載重量の制約から困難である．Shepherd
では，カメラがロボットの状態やユーザのジェスチャを認識するので，ロボットにほとんど変更を加えることなく実装が可能である．カメラ搭載のモバイルデバイ∗ Shepherd:Remote Control for Robots from the Viewpoint of Users
using Camera Phone† Kazuhiro Hosoi‡ Masanori Sugimoto§ Graduate School of Frontier Sciences, University of Tokyo

杉本 雅則‡

新領域創成科学研究科§

スは，携帯電話を始めとして，幅広く普及しており，いつでもどこでも手軽に利用することができる．
また，音声やコマンド入力によりロボットに指示を伝える手法と比較した場合，既存の手法は，「右へ」「前へ」といったはっきりとした方向の指示には対応できるが，あいまいな方向や場所への移動を指示する場合には，複雑な命令をしなければならない．Shepherd では，デバイスを動かすことで直感的に 3 次元の移動命令を生成することが可能である．
本研究では，提案システムのプロトタイプとして，ノート PC を用いたシステムを構築した．本稿では，飛行船とラジコンカーを操作対象としたシステムについて，システム構成，機能，評価実験について述べる．

2 システム構成
本研究の最終目標はモバイルデバイスによる操作の実現であるが，モバイルデバイスの処理能力の問題から，初期段階としてノート PC を用いてシステムを構築した．システムの構成は図 2 の通りである．システムは主にノート PC，USB カメラ，送信機の３つから構成される．
ユーザはカメラが固定されたノート PC を上下左右に振ることで，ロボットに指示を与える．ロボットには，ラジコンカーと屋内用ラジコン飛行船を用いる．ラジコンカーには，カメラからラジコンカーを認識させるために，上面にマーカを貼り付ける．このマーカを認識することで，ラジコンカーの相対位置と移動方向を推定する．また，飛行船には，両側面にマーカを貼り付ける．
ソフトウェアの構成は図 2:右のとおりである．主に画像処理部，ジェスチャ認識，行動プランニング，命令送信部の 4 つに分類される．カメラから得られた画像は，飛行船

WEBカメラで撮影

ノートPC

カメラ画像
ロボット検出

状態推定

画像処理部

ラジコンカー

ジェスチャ認識

行動プランニング

制御信号生成

送信機

送信

命令送信部

図 2: システム構成

画像処理部でマーカを検出する（マーカは予め登録しておく）．マーカの形と大きさから現在の 3 次元の相対位置と方向を検出する．この画像処理には ARToolKit[1]を用いる．
次に画像処理部から得られたマーカの情報を基に，ユーザのジェスチャを推定する．この情報とロボットの状態，ユーザとの相対位置関係から，ロボットの行動をプランニングする．命令送信部では，行動プランを基に，モータ制御レベルの命令を生成し，各ロボットに送信する．

3機能

3.1 マルチロボットの同時制御Shepherd では，複数のロボットを撮影することで，対象となるロボットを同時に操作することが可能である．
システムは，得られた画像から，それぞれのロボットの相対位置と状態を認識する．それらを初期状態として，ユーザのジェスチャにあった行動を，それぞれのロボットに対して，プランニングする．以上の処理で得られた行動プランを，それぞれのロボットに送信することで，同時制御が可能となる．

MODE）を用意している．TRACKING MODE では，移動中のロボットを撮影することで，そのロボットが画面の中央で静止するように，自動的に静止制御を行う．
さらに，TRACKING MODE 時にカメラを少しずつ動かすことで，画面外の任意の位置へロボットを導くことができる．
4 実験
2 台のラジコンカーを用いて，提案システムの評価実験を行った．被験者は学生 5 人で，図 4 のようにインタフェースを持ち，ロボットに向けながら操作をしてもらった．実験後，被験者に簡単なインタビューを行い，提案システムの操作に対する意見を述べてもらった．実験の結果，「まとめて操作できたので便利だった」，「（2台のラジコンカーの向きを）考えないで操作できたので，簡単だった」などの意見が得られた．

3.2 ズームによる特定ロボットの選択

Shepherd は，1 台のロボットを操作する場合と，複数台のロボットを操作する場合とをシームレスに切り替えるために，ズーム機能を備えている．複数台のロボットがいる環境で，特定のロボットのみを操作したい場合は，そのロボットを拡大表示することで，そのロボットのみを操作することができる．
ロボット全体を撮影し，マウスやカーソルキーを使って，操作対象となるロボットを選択する方法も考えられるが，ロボットの数が多くなると，その切り替え作業が複雑になり，また，ロボットが画面上から外れたときには，再選択する必要もでてくる．
ズーム機能による操作方法では，操作したロボットにカメラを向けて，そのロボットにズームインするだけなので，直感的で簡単な操作方法であると考えられる．

図 4: マルチロボットの同時操作

5 おわりに
本研究では、ロボット操作時の視点の問題に注目して，ユーザが自己の視点に基づいて，複数台のロボットを同時に操作できるインタフェースを提案した．ユーザ
はモバイルデバイスに搭載されたカメラで，ロボットを捕らえ，移動させたい方向にモバイルデバイスを振ることで，ロボットを移動させるシステムを構築した．
今後の課題としては，ジェスチャ認識の精度改善，ラジコンカーの制御の改善，応用システムの構築などが挙げられる．また，応用システムとして，多間接アーム型ロボットを対象としたシステムや，多数の異種ロボットを同時操作するシステムなどの構築を目指す．

文献
図 3: ズーム機能

3.3

TRACKING MODE

Shepherd では，ジェスチャによる操作モードの他に，ロボットを特定の位置に停止させるモード（TRACKING[1] H. Kato and M Billinghurst.
http://www.hitl.washington.edu/artoolkit/.

Artoolkit.

[2] 細井一弘, 新田亮, 屋比久保史, 杉本雅則. 携帯カメラを用いたユーザ視点のロボットコントロール. 情報処理学
会研究報告 エンターテイメントコンピューティング, pp.
25–30, 2005.