TouchMe: CG 重畳表示を用いたロボットの直接操作手法
橋本

直†1

石田

明彦†2

稲見

昌彦†1,†3五十嵐

健夫†1,†4

ロボットの操作デバイスとして，ジョイスティックやゲームパッドが広く受け入れられている．
しかし，これらのデバイスはボタンとロボットの動きの対応関係が直感的でないため，初心者が自由自在に操作を行うのは難しい．この問題を解決するため，我々は CG 重畳表示を用いたロボットの遠隔操作インタフェース「TouchMe」を提案する．TouchMe では，操作対象の作業空間を三人称視点で捉えたカメラ映像がタッチスクリーン上に映し出される．ユーザは，ロボットの操作したい部位に直接指を触れることによってロボットを操作することができる．我々のシステムはユーザに直感的な操作を提供し，少ない時間で操作を習得することができる．本論文では，TouchMe の概要
および実装したプロトタイプについて説明する．また，3 種類のタッチインタラクションの手法を提案し，ユーザスタディにおいてそれらを比較した結果を報告する．

TouchMe: Direct Manipulation for Robot Based on Augmented Reality
SUNAO HASHIMOTO†1AKIHIKO ISHIDA†2

MASAHIKO INAMI†1,†3

TAKEO IGARASHI†1,†4

The most popular remote control method for robot is a joystick and a gamepad. However, these methods are
difficult for inexperienced users because the mapping between the user input and resulting robot motion is notalways intuitive. To solve this problem, we propose a augmented reality based interface for remotely
controlling a robot from a third-person view, which is called “TouchMe”. This system allows the user tomanipulate each part of the robot by directly touching it on a view of the world as seen by a camera looking at
the robot from a third-person view. Our system provides intuitive operation, and the user can use our systemwith minimal user training. In this paper we describe the overview of TouchMe and its prototype
implementation. We also introduce three touch interaction methods for controlling the robot in response touser's manipulation and report on the results of empirical comparisons of these methods.

1.

はじめに

ットの遠隔操作は依然として行われている．
人間に代わって物体を把持したり運んだりするロボ

人間が作業を行うのが困難な環境として，水中，高ットは一般的に多自由度の構造を持っているが，その所，高温または低温の環境，毒物や放射性物質が充満ようなロボットの遠隔操作は初心者にとって簡単なもした環境などが上げられる．このような危険環境におのではない．例えば，ロボットアームは一般的に 4 かいて，人間に代わって作業を行うさまざまなロボット

ら 6 の自由度を持つ．また，そのようなロボットアーが提案されている．そのようなロボットは，理想的にムが移動台車の上に固定されていると，自由度はさらは完全自律型で運用されることが望まれるが，一般物に増加する．ロボットの遠隔操作には，一般的にジョ

体認識や状況認識の点で課題が残っており，実現はま

イスティックやゲームパッドが広く利用されている．

だ遠い．この問題を軽減する方法として，物体認識用

しかし，これらの入力デバイスでは，操作可能な自由のタグや，事前に作成した対象空間のモデルを利用す度の数はボタンや軸の数に制限される．複数のボタンる方法が提案されているが，これらの方法は未知環境を同時押しすることによって操作可能な自由度の数をでは使用できない．以上の理由から，人間によるロボ増やす工夫もたびたび行われるが，それは操作をより複雑にし，習得により多くの時間を要する．多関節の†1 科学技術振興機構 ERATO 五十嵐デザインインタフェー
スプロジェクトJapan Science and Technology Agency, ERATO, IGARASHI
Design Interface Project†2 東京理科大学
Science University of Tokyo
†3 慶應義塾大学大学院メディアデザイン研究科
Graduate School of Media Design, Keio University†4 東京大学大学院情報理工学系研究科
Department of Computer Science, The University of Tokyo

ロボットの操作を簡単にする方法として，IK（Inverse
Kinematics：逆運動学）が広く用いられている．IK を用いた一般的なロボットアームの操作では，手先の位置の操作がジョイスティックにマッピングされ，手先の動きに応じて腕や肘の関節の角度は自動的に計算されるようになっている．しかし，一般的なジョイスティックベースのコントローラでは，スティックを傾け情報処理学会 インタラクション 2011

た量に比例した運動速度およびスティックを傾けていRemote workspace

る時間に比例した移動量が与えられる仕組みになっているため，ユーザが思い通りの位置に手先を移動させられるようになるためにはある程度の訓練を要する．
我々は，CG（Computer Graphics）の重畳表示を用
いてロボットを直感的に操作することができるシステ
ム「TouchMe」を提案する．TouchMe によってロボッ
トの遠隔操作を行っている様子を図 1 に示す．このシステムでは入力デバイスとしてタッチスクリーンを使用する．画面上には，操作対象のロボットを三人称視

図1 TouchMe によるロボットの操作風景

点から捉えたカメラ画像が表示される．ユーザは画面に表示されているロボットの操作したい部位に直接触

いうシステムを開発した．CRISTAL[2]では，リビン

れ，ドラッグすることによって，ロボットを任意の位グルームを撮影したカメラ画像がマルチタッチのテー

置・姿勢にすることができる．カメラ画像中のロボッ

ブルトップディスプレイ上に表示され，ユーザは画面

トの上には，実物のロボットと同じ外見の CG が重畳上に表示された家電に直接触れることによってそれら表示される．この CG はユーザの入力に同期して動き，を操作することができる．我々のシステムは，カメラロボットがどのように動くかの予測をユーザに提示す

画像を通して実世界の物体を操作するという点でこれる．Poser に代表される CG キャラクタのポージング

らの研究と共通しているが，多自由度の構造を持つロツールでは，操作したい部位を直接マウスでドラッグボットの遠隔操作を目的とし，単純な装置の On/Off

するという操作手法が用いられているが，我々のシスではなく，ロボットによる複雑なタスクの達成を目標

テムはこれを AR（Augmented Reality：拡張現実感）としているという点で異なる．

の技法によって実世界のロボットの制御に応用するものである．

Sakamoto らは，天井に設置されたカメラの映像をタブレット PC に表示し，その画面上で移動経路をス

典型的なロボットの遠隔操作では，ロボットに搭載

タイラスペンでスケッチすることによって掃除ロボッ

された主観視点のカメラ映像を頼りに操作を行う．こトの移動を指示するシステムを提案した [3]．Kato られに対し，我々のシステムでは，作業空間全体の様子

は，天井カメラの映像をマルチタッチのディスプレイ

を把握しやすい三人称視点のカメラを用いる．我々は，に表示し，タッチ操作で画面上の空間にベクトル場を

三人称視点のカメラを，固定カメラ，空撮カメラ，他

与えることによって同時に複数のロボットを制御するのロボットの視点の 3 種類に分類し，それぞれの長所手法を提案した[4]．Guo らは，天井カメラの映像がと短所について議論する．

表示された大型のテーブル型ディスプレイ上に操作対

本論文では，TouchMe の概要とプロトタイプの実

象のロボットに外見が似た人形を置き，それを操作す

装について説明する．また，タッチインタラクション

ることによってロボットを制御するシステムを提案しの手法として Move-after-touch，Move-during-touch，た[5]．これらの研究は，天井からのトップダウンビ

Move-during-and-after-touch の 3 種類を提案し，ユーザ

ューが 2 次元平面上でのロボットの移動の指示に適しテストにおける比較実験の結果を報告する．

ていることを示しているが，本研究で扱うような 3 次

2.

関連研究

元方向の自由度を持つロボットに対しては適さない．
ロ ボ ッ ト 視 点 を 利 用 し た GUI （ Graphical User

ロボットや家電をコントロールするためのビデオベ

Interface）も提案されている．Sekimoto らは，移動ロースのインタフェースにはさまざまなものが提案されボットに搭載されたカメラの映像をタッチスクリーンている．Tani らは，カメラ画像を通して画面に映っに表示し，その画面上でタッチすることによってロボている実物体とインタラクションを行う手法を提案しットに目的地を指示することができるシステムを提案ている[1]．彼らは対象物を 2 次元でモデル化する手し た [6] ． Fong ら は 同 様 の シ ス テ ム を 携 帯 端 末

法と，3 次元でモデル化する手法の 2 種類を提案し，（PDA）上で実現した[7]．Correa らは，自動制御の前者の方法で，発電所の様子をモニタリングしながらフォークリフトへの指示を行うモバイルタブレットイ

画面に映っている装置を遠隔操作する HyperPlant とンタフェースを提案した[8]．このシステムでは音声TouchMe: CG 重畳表示を用いたロボットの直接操作手法

スケッチジェスチャによって指示を行うことができる．

Camera～～

認識と画面に表示されたロボット視点の映像に対するComputer

ロボット視点の画像から三人称視点を生成し，その画像にロボットの CG を重畳表示する Time follower's
vision[9]では，三人称視点でのロボットの操縦が初心者に対して効果的であることを示している．鈴木らは，
三人称視点のカメラ映像とタッチスクリーンを用いてRobot

ロボットの移動を遠隔で指示する AR インタフェース[10]を提案している．我々の研究は，2 次元の移動制

Touch-screen

御だけではなく，アームを搭載した移動台車のような，

図2 システム構成

より複雑な自由度を持つロボットの操作を目標としている点で異なる．

Real robot

AR を用いたロボット操作インタフェースとして，

CG model以下のようなものが挙げられる．Nawab らは，色分けされた座標軸をロボットアームの手先に重畳表示し，Drag

アームとジョイスティックのキーマップをわかりやすくする手法を提案した[11]．Kobayashi らは，ヒューマノイドロボットがセンシングした情報やパスプラン
ニングの結果を AR の技法によってロボットの周辺に重畳表示する手法を提案した[12]．Chen らは，実物体とバーチャルな物体を使ってロボットのシミュレー

Follow

ションを行う AR システムを提案した[13]．現実のロボットの上に，バーチャルなポインタやワイヤフレー
ム，あるいはロボットと同じ CG を重畳表示し，現実のロボットを操作する AR インタフェースとして，

図3 CG のビジュアライゼーション

Drascic らの ARGOS[14]や Xiong らのシステム[15]がある．これらと同様のコンセプトが我々の研究でも用いられているが，我々は，タッチスクリーンベースのインタフェースを提案し，そのタッチインタラクショ
ンについて議論するという点で異なる．

3.

TouchMe の概要

TouchMe はロボットの遠隔操作のための AR インタ
フェースである．システムの構成を図 2 に示す．シス
テムは，作業空間内の画像をリアルタイムで取得し，それにロボットの CG を重畳表示したものをタッチス
クリーン上に表示する．CG は実物のロボットの画像の上に半透明で重畳され，あたかもロボットの幽霊が憑依したような表示になる．CG は実物と同じ自由度を持ち，ユーザが重畳された CG に触れてドラッグ操作を行うと，CG の位置・姿勢は変化する．CG は実物のロボットに対する目標値として機能する．ユーザ
は，動かしたい部位に触れ，それをドラッグすること
により，ロボットに位置と姿勢を指示することができる．例えば，ロボットを特定の場所に移動させたいときは，ロボットの本体部分に触れ，目的の場所までドラッグする．また，物体を把持するべくアームを伸ばしたいときは，アームの先端部分に触れてドラッグを行う．これらの操作は，3 次元 CG のポージングツー
ルで行われるような，2 次元のディスプレイ平面上での 3 次元物体の操作と同様のものである．
CG のビジュアライゼーションについて図 3 を用いて説明する．ユーザが CG をドラッグすると，CG はロボットに先行して動き，ロボットが幽体離脱をした
ような表示が行われる．その後，ロボットは CG が示す位置と姿勢を目標値として追従動作を行う．CG によって動きの予測ができるため，ユーザはロボットと障害物との位置関係を把握することができる．ロボットが追従を開始するタイミングについては後述する．
3.1

三人称視点カメラ

典型的なロボットの遠隔操作では，ロボットに搭載されたカメラからの得られた主観視点の映像を頼りに操作が行われているが，この方法では，ロボットが回転または後進する際に，ロボットの側方や後方にある

情報処理学会 インタラクション 2011

障害物の回避を行うのが難しい．そこで我々は，ロボット，障害物，目標物体を含む作業空間全体の状況把握を容易にするために，三人称視点のカメラを利用す
る．我々は三人称視点のカメラを 3 種類に分類し，以下にその長所と短所をまとめる．
固定カメラ：一般的に運用されている固定カメラ
として監視カメラがある．監視カメラは，道路，公園，

図4

駅，博物館，工場，学校，商店，住宅などさまざまな

イプ（左）と，ハンドの開閉操作用のレバータイプ（右）．

バーチャルハンドル．ロボットの旋回操作用のリングタ

場所にセキュリティや記録の目的で設置されている．
監視カメラは高い場所に設置され，俯瞰視点を提供する．固定された監視カメラの利点は，作業環境の状況把握をするために安定した視界が得られることだが，カメラの動きはパン，チルト，ズームに限られ，対象空間に遮蔽が生じた場合はそれを解消するのが難しい．
空撮カメラ：無線制御の小型のヘリコプターや飛行 船 な ど ， さ ま ざ ま な UAV （ Unmanned Aerial
Vehicle）が開発されている．UAV に搭載されたカメラ（空撮カメラ）も俯瞰視点を提供するが，固定監視カメラと違い，空間内を自由に移動することができる．
空撮カメラは 3D モデリングツールで行われるような視点操作を実世界において行うことができる．さらに，
操作対象のロボットを常に視界内におさめるように自動追従させることも可能である．空撮カメラは，3D
アクションゲームで使われているような，プレイヤの背後から追従するような三人称視点を提供することができる．しかし，そのような視点を提供するためには，
UAV の制御を非常に安定かつ正確に行う必要がある．
他ロボットの視点：作業空間内に 2 台以上のロボットが存在し，かつ一方のロボットがカメラを持つとき，そのロボットの視点を借りて，三人称視点でもう1 台のロボットを操作することができる．すべてのロ
ボットがカメラを持っていれば，ユーザは主観視点と三人称視点を自由に切り替えて作業を行うことができる．例えば，ロボットのハンドを使った作業を行うときは，そのロボットの主観視点を利用して手元の視界を得ながら作業を行い，そのロボットを別な場所に移動させるときは，他のロボットの視点を用いて障害物を回避しながら移動を行う．
視点の操作は，画面内のロボット以外の領域（背景）をタッチするか，視点操作用のアイコンをタッチすることによって行う．また，作業を行うのに良好な視界を得るためにカメラが自動的に移動する方法も考えられる．本論文では，固定された監視カメラの映像を用いたシステムを実装し，検証を行う．

3.2

バーチャルハンドル

バーチャルハンドルは，CG の操作を支援するために付与される GUI である．バーチャルハンドルは，
小さな可動部位の操作を容易にしたり，パーツの可動方向を可視化するために用いられる．2 種類のバーチャルハンドルを図 4 に示す．リングタイプは，回転部
位（本体やアームの関節）の操作に用いられる．レバータイプは手先などの小さな部位に取り付けられる．
これらのアイデアは CG モデリングのソフトウェアにおいて広く用いられている[16]．我々はそれを AR の技法を用いて実世界のロボットに適用する．
3.3

IK による多関節制御

提案手法では，多関節ロボットの制御を簡単にする
ために，IK を適用する．複数の関節を持つリンクの
1 点を操作した際，その操作に連動して各関節の角度は自動的に計算される．例えば，ロボットアームの手
首部分をひっぱった場合，肘関節や肩関節（あるいは本体）は連動して動く．2 次元ディスプレイ平面における 3 次元多関節物体の操作は，一般的なバーチャル
ヒューマンの 3 次元ポージングツールで用いられる
IK のアルゴリズムを利用する．

4.

タッチインタラクション

ロボットの動作速度には物理的な限界があるため，ユーザによって操作される CG に遅れなくロボットを一致させることは難しい．我々のシステムでは，遅れがあることを前提としたタッチインタラクションを 3
種類提案する．
Move-after-touch：ユーザが画面に触れて CG を操作している間はロボットは動かない．ユーザが画面から指を離すと，その時点の CG の状態がロボットの目
標位置・姿勢となり，それに一致するべくロボットが動き始める．ロボットの位置と姿勢が CG に一致すると，ロボットは停止する．この手法を図 5 に示す．
Move-during-touch：ユーザが画面に指を触れて CGを操作し始めると同時にロボットは CG への追従を開TouchMe: CG 重畳表示を用いたロボットの直接操作手法

ロボット

始する．ユーザが CG を操作している間は，ロボット

5.1の目標位置・姿勢は CG の現在の状態によって更新さ操作対象のロボットとして，ロボット台車

れ，ロボットはそれに追従するように動く．ユーザが（ MobileRobots PIONEER3-DX ） に ロ ボ ッ ト ア ー ム

画面から指を離すと，ロボットは CG に一致している（Neuronics Katana）を取り付けたものを使用した．

かどうかに関わらずすぐに停止し，CG は現在のロボ

図 8 にロボットとその自由度を示す．ロボット台車はットの状態と一致するように更新される．この手法を移動機構として 4 輪のホイールを持ち，前後方向の移図 6 に示す．

動と定置旋回を行う．使用したロボットアームは本来Move-during-and-after-touch：この方法は前述の 2

6 自由度を持つが，簡単化のために可動部位を，ハン

つの方法を組み合わせたものである．ユーザが画面に

ドと 3 つの関節に限定した．したがって，ロボット全

触れて CG を操作し始めると同時にロボットは動作を体での自由度は 6 である．重畳される CG を図 9 に示開始し，CG が操作されている間は，ロボットは CG

す．ロボット本体の回転操作を行うためのリングタイに追従するように動作する．ユーザが画面から指を離プのバーチャルハンドルと，ハンドの開閉操作を行う

してもロボットは CG に一致するまで動作し続ける．

ためのレバータイプのバーチャルハンドルを付与した．

この手法を図 7 に示す．

アーム部位が操作される際，アームの各関節（図 8 に5.

示される 3，4，5 の関節）の角度は IK によって計算

プロトタイプシステム

される．

提案システムのプロトタイプを開発した．以下にそータによって遠隔制御される．ホストコンピュータは，の詳細を述べる．
Touch

ロボット台車とロボットアームは，ホストコンピュ
アームの各関節の角度値を指定することができ，また，Release
Time

各関節の角度値も取得することができる．現在のプロ
トタイ プで は，ホ スト コンピ ュー タとロ ボッ トはUSB ケーブルで接続されている．ハンドを用いて物体を掴む作業を行う際に，狙いをつけるための指標を提示する装置として，緑色の光を発するライトをアー

User is touching
Robot is moving

図5 Move-after-touch
Touch

5

Flashlight4

ReleaseTime

6

3

User is touching1

Robot is moving
2

図6 Move-during-touch
図8 プロトタイプで使用したロボットとその自由度
Touch

ReleaseTime

Virtual handle

Arm

Virtual handle

Hand
VehicleUser is touching
Robot is moving

図7 Move-during-and-after-touch
図9 プロトタイプで使用した CG

情報処理学会 インタラクション 2011

ムの手首部分に装着している．この仕組みは，単眼カメラ画像においてユーザが奥行きを認知するために重BottleCamera

要である．
5.2

CG とロボットの位置合わせRack

三人称視点の監視カメラとして，Logicool QCAM-

Trash-box

200V を作業空間内に支柱を使って固定した．カメラ
画像は 19 インチのタッチスクリーンに表示される．
画像の解像度は 800×600 ピクセル，フレームレート

Robot

は 15fps とし，パンニングやズーミングは行わない．
実物のロボットと CG のロボットの位置合わせにはビ
図10 実験環境

ジュアルマーカ（ARToolKit）を用いた．システム起動時の初期状態およびロボット停止時は，ロボットアームから取得した関節角度値と，マーカから得られた
位置・姿勢の値が CG に与えられる．

6.

ユーザスタディ

開発したプロトタイプを用いて，提案手法の評価および 3 種類のタッチインタラクションの比較を行った．
実験環境を図 10 に示す．タッチスクリーンに表示される CG を重畳したカメラ画像を図 11 に示す．作業空間の広さは 190×250 cm2 である．高さ 58cm の棚
図11 タッチスクリーンに表示される合成画像の上に，青いペットボトル（直径 7cm，高さ 25cm）が置かれており，その向かい側にゴミ箱（42×33×31

ロボットは，試行毎に初期位置に戻した．被験者の操cm3）が置かれている．カメラは床から 123cm の高さ

作ミスによってロボットがペットボトルを床に落としに固定されている．被験者として 20～25 歳の男女 12た場合は，失敗として記録した．試行毎にタスク達成

名（男性 8 名，女性 4 名）が参加した．被験者は全員時間を記録し，条件毎に手法に関するアンケートによコンピュータを日常的に使用している大学生である．

る調査を行った．また，実験終了後にインタビューをほとんどの被験者がロボット操作に関する経験を持た行った．

ず，また，我々のロボットについての知識を持たなか

6.2

った．実験は 1 セッション 1 時間程度を要した．プロ

12 名中 11 名の被験者が 3 条件すべてのタスクに成トタイプを用いて，棚の上に置かれているペットボト

功した．失敗した 1 人の被験者は，すべての試行におルを掴み，ゴミ箱に入れるというタスクをそれぞれのいてボトルを床に落とした．表 1 にタスク達成時間を被験者に与え，実験を行った．

示す（成功したケースのみ）．タスクはおよそ 2 分で

6.1

実験条件

実験結果

達成された．ANOVA 検定（有意水準 0.05）の結果，

Move-after-touch (A)，Move-during-touch (D)，Move-

タスク達成時間には有意差は見られなかった

during-and-after-touch (DA)の 3 条件で実験を行った．

（p=0.77）．アンケートの質問内容を表 2 に，その集

実験は被験者内比較とし，すべての被験者に対してす計結果を図 12 に示す．アンケートは 7 段階のリッカ

べての条件を体験させた．実験順はカウンターバラン

ートスケールで点数評価を行った（点数が高いほど肯スをとった．被験者には作業空間をモニタ以外の方法

定的）．ANOVA 検定（有意水準 0.05）および Ryan 法

で見ることを禁じた．実験前の説明では，ロボットのによる多重比較を行った結果，Q2，Q5，Q6 において操作方法，ロボットの自由度，把持を行う際に狙いを条件 A と条件 D の間で有意差が認められた（それぞつけるためのライトがアームに装着されていることをれ p=0.01，p=0.01，p=0.001）．条件 A はすべての項目説明した．条件毎に，被験者に対し最大 5 分の練習時において，他の条件よりも高い値を示しており，また，間を与えた（ただし被験者が練習に満足したらその時

条件 D と条件 DA の間にはすべての項目において有点で打ち切る）．また，作業空間内にある物体および意差は見られない．

TouchMe: CG 重畳表示を用いたロボットの直接操作手法
表1 タスク達成時間の平均

スク達成時間には有意差がなかったにもかかわらず，

条件

時間（m:ss）

標準偏差（m:ss）

12 人中 9 人の被験者は，インタビューにおいて「A

A

1:52

0:30

D

2:00

0:22

DA

1:53

0:22

は作業を完了するのに最も時間がかかると思う」と答えた．その理由は「D と DA は CG を動かしたらすぐに追従を始めるので A より速いと思う」というものだった．画面から指を離すまでロボットが動かないことと，画面から指を離してロボットが目標位置に到達

表2 アンケートの質問項目
番号するまで操作をせずに待っている時間が長いことが，A に対して心理的に「遅い」という印象を与えている

質問内容

Q1

操作しやすいと感じたと考えられる． Q4 （たくさん練習が必要）について

Q2

自信を持って指示を行うことができた

条件間で有意差は見られなかったが，いずれの条件も

Q3

この方法でロボットを操作したいと感じた

平均得点は 4 未満を示している．また，すべての被験Q4

たくさん練習が必要だと感じた

者は全条件において練習を 4 分未満で終え，12 人中

Q5

多くの人が簡単に操作を行うことができると感じた

11 人の被験者は，5 分未満でタスクを達成している．

Q6

ロボットを想像通りに動かすことができた

Q7

ロボットの操作方法としてふさわしいと感じたQ8

アームを想像通りに動かすことができた

Q9台車を想像通りに動かすことができた

Q10

アームの操作方法としてふさわしいと感じた

Q11

台車の操作方法としてふさわしいと感じた

これらの結果は，提案手法が習得に長い時間を要しないことを示している． Q3 （この方法でロボットを操作したい）と Q7（ロボットの操作方法としてふさわ
しい）には有意差は見られなかったが，インタビュー
において「実際に使いたい度合」と「ふさわしいと思う度合」で 3 条件を比較させた結果，数名の被験者は，「実際に使いたいのは A で，このシステムのロボットの挙動として最もふさわしいのも A である」と答

1

A

2

3

4

5

6

7

D
DA

Q1: Easy to control

Q2: Control with confidence

えた．その主な理由は，A が最も簡単な方法だから，というものだった．一方で，D や DA を好む人は，ユ*ーザの操作に反応してロボットがすぐに動くという点

Q3: Want to useに価値を置いていた．特に D を好む人は，画面からQ4: Training is necessary

指を離すことによって，ロボットが障害物にぶつかり

Q5: Many people can control*

そうになったときに瞬時に止められるという点を高く

Q6: Expectation*

評価していた．D についての否定的なコメントとして

Q7: Suitable
Q8: Expectation (arm part)Q9: Expectation (vehicle part)Q10: Suitable (arm part)「ロボットが目的地に着くまで画面に指を触れ続けな
ければいけないので疲れる」「間違って指を離してしまうことがたびたびある」というものがあった．
6.4

提案手法に関する考察

すべての被験者はバーチャルハンドルの使い方を理Q11: Suitable (vehicle part)

図12 アンケートの結果．*は有意差（p<0.05）がある項目．

解し，ロボットを旋回させる際やハンドを操作する際効率的に活用していた．CG の操作に関する意見として「操作をより軽快にするために，慣性を働かせて欲

6.3

3 条件の比較

ユーザスタディの結果は，A が最も受け入れられる傾向を示している（特に Q2，Q5，Q6）．Q1（操作のしやすさ）では有意差は見られなかったが，インタビ
ューにおいて，12 人中 9 人の被験者が A が最も簡単であると答えた．その主な理由は，指を離すまでロボットが動かないので，あせらずに落ち着いて操作できるから，というものだった．一方で，条件間で平均タ

しい」「ハンドの物体の把持状態がわかりづらかった
ので，物体を掴んだ際にハンドの色が変わるなどの表示が欲しい」などがあった．また，アームの制御については，数名の被験者から「アームの先端を持って動かした際にどこまで動くのかがわかりづらい」という意見が寄せられた．これは，アームの可動範囲を可視化する必要性を示している．また，彼らはアームの制
御に IK と FK（Forward Kinematics：順運動学）の両

情報処理学会 インタラクション 2011

方を使いたいと答えた．
実験を通して，三人称視点でのロボット操作はすべての被験者に受け入れられた．今回の実験で使用した固定カメラによる三人称視点に対しての否定的な意見として，空間の奥行きが認識しにくいことや，ロボッ
トの可動部位の回転軸が視点の方向と直交したり，オクルージョンが発生した際に，特定のパーツが操作不能になることなどが挙げられた．我々は，これらの問
題は複数のカメラや可動式のカメラを用いることで解決できると考えている．被験者からは，トップダウン
ビューや作業領域を横から捉えた視点，ロボットの手首から見た視点などの追加の視点が欲しいとの意見が寄せられた．また，作業領域により近づいて見るためのズーミングが欲しいという意見もあった．
「ペンの方がより正確な操作ができそう」「ペンの方が指に比べて画面が隠れる領域が小さい」などの理由から，ペンによる操作をしたいという意見も寄せられた．また，マルチタッチスクリーンを使いたいという意見もあった．マルチタッチで行いたい操作として，
ピンチジェスチャによってズーミング操作やハンドの開閉操作をしたり，1 本の指でアームの関節を押さえて姿勢を固定した状態で，もう 1 本の指で特定のリンクを動かすような操作が挙げられた．2 本の指を使ったインタラクションは，多関節リンクを操作する際にIK と FK を切り替えるための有効な手段になると考
えられる．

7.

まとめと今後の課題

本論文では，ロボットを遠隔操作するための AR イ
ンタフェースを提案した． TouchMe は，三人称視点のカメラ画像が表示されたタッチスクリーン上で，ロボットの動かしたい部位に直接触れることにより，その部位を動かすことができる．我々は，タッチインタ
ラクションの手法を 3 種類提案し，プロトタイプを用いて比較実験を行った．被験者の過半数は，画面から指を離した後でロボットが動作を開始する手法が最も簡単であると答えた．提案手法は，ヒューマノイド，
小型の卓上ロボット，ブルドーザ，パワーショベルなど，さまざまなタイプのロボットに対して適用可能である．今後はシステムの改良を行っていくとともに，今回実装を行わなかった空撮カメラや他ロボット視点についての実装と検証を行っていく予定である．

参

考

文

献

1) Tani, M., Yamaashi, K., Tanikoshi, K., Futakawa, M.,
Tanifuji, S.: Object-oriented video: interaction withreal-world objects through live video, Proc. CHI'92,
pp.593-598 (1992).
2) Seifried, T., Haller, M., Scott, S.D., Perteneder, F.,
Rendl, C., Sakamoto, D. and Inami, M.: CRISTAL: A
Collaborative Home Media and Device Controller
Based on a Multi-touch Display, Proc. Tabletop'09,
pp.33-40 (2009).
3) Sakamoto, D., Honda, K., Inami, M. and Igarashi, T.:
Sketch and Run: A Stroke-based Interface for Home
Robots, Proc. CHI'09, pp.197-200 (2009).
4) Kato, J., Sakamoto, D., Inami, M. and Igarashi, T.:
Multi-touch Interface for Controlling Multiple
Mobile Robots, Proc. CHI'09, pp.3443-3448 (2009).
5) Guo, C., Young, J. E. and Sharlin, E.: Touch andtoys: new techniques for interaction with a remotegroup of robots, Proc. CHI'09, pp.491-500 (2009).
6) Sekimoto, T. Tsubouchi, T. and Yuta, S.: A Simple
Driving Device for a Vehicle Implementation and
Evaluation, Proc. IROS'97, pp.147-154 (1997).
7) Fong, T., Thorpe, C. and Glass, B.: PdaDriver: A
Handheld system for Remote Driving, Proc. ICAR'03,(2003).
8) Correa, A., Walter, M.R., Fletcher, L., Glass, J., Teller,
S. and Davis, R.: Multimodal Interaction with an
Autonomous Forklift, Proc. HRI'10, (2010).
9) Sugimoto, M., Kagotani, G., Nii, H., Shiroma, N.,
Inami, M., Matsuno, F.: Time Follower's Vision: A
Teleoperation Interface with Past Images, IEEE
Computer Graphics and Applications, 25, 1, pp.54-63,(2005).
10) 鈴木雄介，福島寛之，宮本一郎，竹内 晃一: コ
ミュニケーション支援ロボットシステムの撮影
動作インタフェース，インタラクション 2010 論
文集，pp.165-168 (2010)．
11) Nawab, A., Chintamani, K., Ellis, D., Auner, G. andPandya A.: Joystick mapped Augmented Reality
Cues for End-Effector controlled Tele-operated
Robots, Proc. IEEE VR'07, pp.263-266 (2007).
12) Kobayashi, K., Nishiwaki, K., Uchiyama, S.,
Yamamoto, H., Kagami, S. and Kanade, T.: Overlay
what Humanoid Robot Perceives and Thinks to theReal-world by Mixed Reality System, Proc.
ISMAR'07, pp.1-2 (2007).
13) Chen, I.Y.H., MacDonald, B. and Wünsche, B.:
Mixed reality simulation for mobile robots, Proc.
ICRA'09, pp.922-927 (2009).
14) Drascic, D., Grodski, J. J., Milgram, P., Ruffo, K.,
Wong, P., Zhai, S.: ARGOS: A Display System for
Augmenting Reality, Proc. INTERACT'93, p.521(1993).
15) Xiong, Y., Li, S. and Xie, M.: Predictive display andinteraction of telerobots based on augmented reality,
Robotica, Vol.24, pp.447-453 (2006).
16) Conner, B. D., Snibbe, S. S., Herndon, K. P., Robbins,
D. C., Zeleznik, R. C. and Van Dam, A. Threedimensional widgets, Proc. SI3D'92, pp.183-188(1992).