モバイルディスプレイを用いた直感的なヒューマン・ロボット・インタラクションの提案
細 井 一 弘†森晶 洋†

ダオ ヴィン ニン†
杉 本 雅 則†本稿では掃除ロボットのように人間とのインタラクション機能を持たない単機能ロボットを人間が直感的かつ簡単に操作できる操作手法 “Mobile Display based Manipulation” を提案する．Mobile
Display based Manipulation は，シースルー型のディスプレイを用いてディスプレイ自体を動かすことでロボットを操作する手法である．本稿では提案手法の実装例として，ハンドヘルドディスプレ
イとプロジェクションディスプレイをそれぞれ用いた２つのロボットナビゲーションシステムについて紹介し，システムの考察から提案手法の可能性について議論する．

Mobile Display Based Manipulation for Human-Robot Interaction
Kazuhiro Hosoi,† Vinh Ninh Dao,† Akihiro Mori†
and Masanori Sugimoto †In this paper, we propose the Mobile Display based Manipulation for simple robot control.
By capturing images of robots and moving a mobile display, a user can easily and intuitively
manipulate the simple robots such as cleaning robots. For demonstrating our approach, wedeveloped two prototype systems using a handheld display and a projected display. The preliminary user studies indicated that the proposed technique worked well for supporting users’
intuitive manipulation. This paper also describes several issues to be solved in the futurework.

1. は じ め にとで，人間に高度なサービスを提供することが可能である．基本的にはロボットは人間からの簡単な指示にネットワークロボット3) や環境知能化9) の研究によより自律して作業を行うが，状況に応じて人間が直接り，ロボット単体を知的で高機能にするのではなく，操作を行いたい場合もある．例えば，掃除ロボットに環境全体と組み合わさることで人間にサービスを提供

特定の箇所だけを掃除させたい場合や，自走可能な家

するロボットの提案がされている．このようなロボッ

具を特定の位置に正確に移動させたい場合などがある．

トは，アクチュエータ，センサなどが分散配置される．

しかし，環境中のセンサが常に人間の指示を把握する

実際に作業を行うアクチュエータのロボットには，自ためには，空間内に死角が生まれないように多数のセ己の移動や特定の作業のみを行えれば良いので，人間ンサを配置し，オクルージョンの問題にも対処する必とのインタラクションを行う機能や指示を理解する機要がある．さらに環境中に多数のカメラを設置する場

能は持っていない．たとえば，部屋の掃除を行う掃除

合には，ユーザのプライバシの問題も発生する．また，ロボットや，自走可能なイスやテーブルなどの家具でRoomba6) のような掃除ロボットはプログラムされたある（図 1 参照）．本稿ではこのようなロボットを単行動を実行することで，知能化された環境外でも作業

機能ロボットと呼ぶ．

を行うことが可能であるが，人間からの指示に逐次対単機能ロボットは環境中のセンサなどと協調するこ

応することはできない．

† 東京大学大学院新領域創成科学研究科
Graduate School of Frontier Sciences, University ofTokyo†† 東京大学工学部
School of Engineering, University of Tokyo

直感的に直接操作するためのモバイルインターフェー

以上のことから，我々は単機能ロボットを簡単かつスが必要であると考える．従来の遠隔操作支援シス
テムなどで利用されるジョイスティックを用いたインターフェースではなく，ロボットの操作に慣れていな情報処理学会 インタラクション 2008ࠞࡔ࡜ࡕࡃࠗ࡞࠺ࠖࠬࡊ࡟ࠗ






ኻᔕ
ࠞࡔ࡜ߩ⹺⼂▸࿐⥄⿛น⢻ߥኅౕ

ࠞࡔ࡜⥄⿛น⢻ߥࠗࠬ߿
࠹࡯ࡉ࡞ࡠࡏ࠶࠻ߩ⒖േవࠍ

A

㧫

B

␜ߔᮡ⼂

᝹㒰ࡠࡏ࠶࠻

図2
図 1 単機能ロボット
Fig. 1 Simple robot

Mobile Display based Manipulation によるロボット操作の例
Fig. 2 A example of robot control by ‘Mobile Display
based Manipulation’

い人でも，日常生活の中で簡単にロボットを操作でき携帯端末などの液晶ディスプレイに Augmented Re-

るインターフェースが必要である．

ality の技術を用いて現実世界のロボットと仮想世界の

本稿では，この目的のため単機能ロボットを直感的情報（ロボットへの指示など）を重ね合わせてロボッに操作できる操作手法として Mobile Display based

トを操作する．ディスプレイを動かすことで，二つのManipulation を提案する．提案手法は Augmented

世界の位置関係が変化し，誰でも簡単かつ直感的にロReality 技術によりロボットと指示情報とを重ね合わ

ボットへの指示を逐次変化させて操作することが可能

せ，ユーザはそれを見ながらモバイルディスプレイ自である．Augmented Reality が，現実世界を仮想世界

体を動かすことでロボットを操作する手法である．モの情報を用いて補強するのに対し，我々の提案する手

バイルディスプレイの動きにより仮想世界を操作する

法は Augmented Reality の技術を用いて仮想世界の研究8) とは異なり，モバイルディスプレイの動きを現情報に従って現実世界の状態を変化させる．例えばロ

実世界のロボットの操作に利用する．また，従来のモボットが移動していく経路を提示するのではなく，ロバイルデバイスを用いた Augmented Reality システ

ボットを移動させたい経路をユーザ側から提示し，そムとは異なり，現実世界に情報を付加するだけでなく，れに従ってロボットをコントロールするのである．

仮想世界の情報に従って現実世界のロボットの状態を

例えば小型のビデオシースルー型デバイス（液晶

変化させるという点で大きく異なる．ディスプレイ上

ディスプレイの裏にカメラが固定されているもの）をの指示情報を逐次変更するのではなく，ディスプレイ

用いてロボットを操作することを考える（図 2 参照）．

自体を動かすことでロボットと指示情報との相対的なディスプレイの中央には標識を固定表示しておく．こ

位置関係を変化させることで簡単にロボットを操作でのビデオシースルー型デバイスを用いてロボットを撮きる点が本手法の特徴である．

影すると，ロボットは中央の標識に向かって移動を始

本稿では提案手法である Mobile Display based Ma-

める．ディスプレイ上で標識の位置とロボットが重なnipulation の特徴を述べ，その考えに基づき開発されると，ロボットは停止する．ユーザがロボットを撮影た２つのシステムについて紹介する．２つのシステム

中にビデオシースルー型デバイスを動かすと，ロボッ

は，それぞれ異なった種類のディスプレイを用いて実トと標識との相対的な位置関係が変化する．従ってロ装を行った．実装したシステムは，ハンドヘルドディ

ボットは移動した標識に追従するように動作を変化さ

スプレイを用いたロボットナビゲーションシステム：

せていく．この “ディスプレイを動かす” という操作

Shepherd5) とプロジェクションディスプレイを用いを利用することで，仮想世界の情報をその都度変更したロボットナビゲーションシステム：CoGAME4) でなくても，簡単にロボットをナビゲーションすることある．これらの実装例を基に Mobile Display basedができる．

Manipulation の可能性を探るとともに，今後の課題

2.1 MDM の利点について検討する．

MDM は次の特徴を持つ．

2. Mobile Display based Manipulation

Augmented Reality による視覚的な情報の提示
ロボットの状態や周辺の状況を可視化してディスプレ

Mobile Display based Manipulation（MDM）とイに表示することで，ユーザは視覚的にロボットの状

は，ディスプレイそのものを動かすことで，仮想世界態を把握することができる．また，ロボットに与えたの情報を基に現実世界を変化させる操作手法である．

命令とロボットを重ね合わせることでユーザが自分のモバイルディスプレイを用いた直感的なヒューマン・ロボット・インタラクションの提案

指示を確認できるとともに，その指示に従ってロボッ
トが正しく動作しているかを確認することができる．
ディスプレイの指示によるユーザ視点の操作
インターフェースがロボットの状態を推定し，それにユーザの指示を対応付けてロボットを制御するので，ユーザはロボットの視点を考慮することなく，ユーザ視点でコントロールすることができる．特にロボットとユーザが対面している状況ではロボットとユーザとの左右や前後の対応は逆になるので混乱し易い．また，ロボットの向きが分かり難い円盤や円柱状にデザイン

図 3 ハンドヘルドプロジェクタを用いたロボット操作の視覚化
Fig. 3 Visualizing manipulations of robots using ahandheld projector

されたロボットの中には，一目でロボットの前後左右を判断し難いものもある．インターフェースがロボッ
トの状態を判断することで，ユーザの視点でロボットの指示を与えることができるので，誰でも簡単に操作することが可能となる．

ことができる．
ディスプレイ自体を動かすことによる直感的な操作
ディスプレイ上に移動先や移動方向を表示してロボッ

ディスプレイをフレームとしてとらえれば，ディストを制御するので，ロボットの種類によらず操作方法

プレイの中にロボットを表示することで，そのロボッが統一される．ユーザは事前に表示する標識を決めてトがコントロール可能であるか（インターフェースがおき，ロボットの移動に合わせてディスプレイを動かロボットを認識しているか）をユーザが視覚的に判断すだけで簡単に操作ができる．全方向移動型ロボット

することができる．図 2 のユーザ B のようにディスと車輪型ロボットをジョイスティックを使って移動さプレイに表示せずにセンサとジョイスティックなどのせる場合，前者はジョイスティックを右に入力し続け入力インターフェースとの組み合わせのみでユーザ視れば右方向に移動可能だが，後者は右方向への直接移点の操作を実現することもできるが，ロボットがセン

動ができないため，ジョイスティックの右入力を右回サの認識範囲内にいるかを判断できないので，操作し転に対応付けられている可能性がある．我々の提案す難くなる．また，ロボットやインターフェースにラン

る MDM では，ロボットの行動中あるいは行動後のプを設置し，点滅により認識の有無を知らせる場合と状態を指定することで，アクチュエータの機構によら比べて，認識範囲の境界を視覚的に提示することがでず統一的に操作することができる．

きる．

任意の場所で利用可能

ディスプレイの中に複数のロボットを捕らえること

MDM では，インターフェースがロボットの状態を認で，任意の状態のロボットを同時に操作することがで識するので，環境やロボットにセンサを追加する必要

きる．例えば複数の自走可能なイスをディスプレイにがない．ロボットとの通信を確立すれば，様々な形態表示された配置に従って同時に並べることも可能であのロボットをどこでも操作することが可能である．まると考えられる．複数の中からひとつだけを移動させた，ユーザが保持・装着するインターフェースがロボッ

たいときは，カメラ（もしくはセンサ）のズーム機能

トを認識するので，ロボットや環境のセンサの認識範などにより，ロボットの認識範囲を変化させることで囲を考えずに，（インターフェースがロボットを認識で特定のものだけを操作することができる．また，あらきる範囲なら）任意の方向からロボットを操作するこかじめディスプレイ上で操作したいロボットだけを選とが可能である．

択することも可能である．

ロボット操作の共有

音声やコマンド入力などによりロボットに直接指示

ディスプレイに操作命令を表示することで，操作してする手法と比較した場合，これらの手法では「右へ移いるユーザ以外の人もロボットへの命令を確認できる．

動」「前へ移動」などの表現しやすい方向への指示にさらにハンドヘルドプロジェクタから投影される投影は対応できても，曖昧な方向や特徴のない場所へ移動

画面を “モバイルディスプレイ” として用いれば，よを指示するには複雑な命令を行う必要がある．それにり多くの人と操作を共有することができる．この方法対して我々の提案する MDM では，ディスプレイに表を用いればロボットを利用した教育やエンターテイメ

示された標識を移動させたい場所や方向に一致するよ

ントへの応用に効果的であると考えられる．

うにディスプレイ自体を動かすことで簡単に指示する情報処理学会 インタラクション 2008

2.2 モバイルディスプレイの種類$NWGVQQVJ%COGTC界と仮想世界を融合する位置により下記のように分類できる．

6TCPUOKVVGT%QORWVGT/QDKNG2%

ヘッドマウントディスプレイ（HMD） シースルー
型の HMD を用いて，ユーザの目の前に現実世界

4QDQV

4QDQV
%CRVWTGMDM を実現するモバイルディスプレイは，現実世

図4モバイル PC を用いた Shepherd のシステム構成
Fig. 4 System conﬁguration of Shepherdの映像と仮想世界の情報を重ね合わせるので，広い視野を確保できる．頭部の動きがそのままディ

内蔵の Bluetooth によりロボットと通信を行う．ロ

スプレイの動きになる．

ボットには車輪移動ロボットを用いる．ロボットの認ハンドヘルドディスプレイ カメラ付携帯電話やデジ

識にはあらかじめ形状を記録して，画像処理によりタルカメラなどのように，携帯端末等の液晶ディ認識する手法が考えられるが，認識処理を簡単にする

スプレイの背面にカメラを取り付けたビデオシー

ため ARToolKitPlus18) のマーカを上面に設置する．

スルー型のデバイスを用いる．手で携帯端末を動ARToolKitPlus により，カメラ画像内でのロボット

かすことでロボットを操作できる．

の位置と方向が推定される．この位置と方向をディス

プロジェクションディスプレイ ハンドヘルドプロ

プレイ上に表示されている標識（移動先を示すマーク

ジェクタからロボット操作の標識となる画像をなど）と比較して，その標識に従うように制御する信

投影し，ハンドヘルドプロジェクタ自体を動かす

号をロボットに送信する．

ことで投影画面（プロジェクションディスプレイ）

3.1.2 操 作 方 法を動かすことができる．また，ハンドヘルドプロ

Shepherd を用いたロボットのナビゲーション方法

ジェクタにセンサ（主にカメラ）を取り付け，ロは以下の通りである．ディスプレイ上には，図 5 のよ

ボットの状態を認識する．

うに移動先を示す点の標識が表示されており，ロボッ

3. 実 装 例

トはこの標識に向かって移動する．ユーザはモバイル

PC のカメラでロボットを撮影する．撮影された映像は本研究では，提案手法の MDM の可能性を探るべく，

ディスプレイに表示されるので，ロボットと標識とのハンドヘルドディスプレイを用いたシステム：Shep-

位置関係を確認しながら操作する．例えば，ロボット

herd5) とプロジェクションディスプレイを用いたシスが標識と重なって静止した後にディスプレイを動かし

テム：CoGAME4) の 2 つの異なったディスプレイをて，ロボットと標識を離して再びロボットを移動させ用いたシステムを実装した．

たり，ロボットが標識に到達する前に少しずつロボッ

3.1 ハンドヘルドディスプレイを利用したロボッ
ト操作

トと標識の位置が離れるようにディスプレイを動かすなどの方法がある．また，ディスプレイに表示する標

ハンドヘルドディスプレイは，携帯電話や PDA な

識は，図 5(b)(c) のように点の他に矢印や経路などもど我々の身近に多数存在する．カメラ付携帯電話やデ選択できる．これらの標識はスタイラスペンを用いてジタルカメラなどディスプレイとカメラが対になる形

矢印の向きを変更したり，経路を自由に描いたりするで配置されたデバイスが多く，また PDA やモバイルことも可能である．しかしロボットを実際にナビゲー

PC においては外部カメラを簡単に取り付けることがションするときは標識は変更しないで，ロボットの動できるので，ビデオシースルー型デバイスを簡単に作きに合わせてディスプレイを回転・移動させる方が簡ることができる．そのため，ハンドヘルドディスプレ

単な操作を実現できる．ディスプレイを動かしながらイを用いた AR システムに関する研究12)7)19) も数多

操作することで，狭いディスプレイの中に限らず広範く行われている．本稿では，ハンドヘルドディスプレ

囲にわたってロボットを移動させることができる．

イとしてモバイル PC を用いたナビゲーションシステ

3.2 プロジェクションディスプレイを利用したロムについて紹介する．

3.1.1 システム構成

ボット操作
携帯端末の小型化・多機能化に伴い，プロジェクタ

システム構成は，図 4 のとおりである．主にカメを搭載した携帯端末の開発が進められている14) ．まラ，PC，ロボットとの通信装置からなる．実装にはた，携帯端末にプロジェクタが搭載されることを想定

モバイル PC として Sony，Vaio Type U を用いる．

して，ハンドヘルドプロジェクタを用いたヒューマン

カメラには Vaio Type U 内蔵の背面カメラを利用し，コンピュータインタラクションの研究も盛んに行われモバイルディスプレイを用いた直感的なヒューマン・ロボット・インタラクションの提案

C

図5

D

E

操作方法: (a) 中央のマルに向かって移動する．
（ｂ）矢印の流れに沿って移動する．
（ｃ）経路に沿って矢印の方向に移動
する．
Fig. 5 Manipulation using the Shepherd interface
図7

2QUVWTGQHVJGRTQLGEVQT%NKGPV

5GTXGT

&#EEGNGTCVKQP
5GPUQT

9K(K

5GTXGT2%/QDKNG2%%COGTC

2TQLGEVQT
2TQLGEVKQP

6TCPUOKVVGT&GVGEVKQP%NKGPVSIGGRAPH2007 Emerging Technologies での展示の様子
Fig. 7 Exhivision of SIGGRAPH2007 Emerging
Technologies%NKGPV ࡮࡮࡮%QPVTQN
4QDQV(Logicool, Qcam for Notebooks Pro)，3 軸加速度センサ (サンハヤト, MM-2860) から構成される．総重

図 6 CoGAME システム
Fig. 6 CoGAME system

量は約 1kg であり，プレイヤは手に持って簡単に動かすことができる．クライアントは投影画像を生成し，ている

11)10)16)1)．以上の研究からハンドヘルドプロ

ロボットを検出してそれを制御する機能を備えている．

ジェクタを利用することで，ユーザが自在に動かすこ

サーバにはノート PC(CPU: Pentium M 1.8GHz, メとが可能なプロジェクションディスプレイを作ること

モリ: 1GB) を使用し，ゲーム中の各クライアントのが可能であると考えられる．

情報管理とロボットの制御命令の生成を行う．サーバ

本研究では，プロジェクションディスプレイによるはソフトウェア上の処理のみを行っているので，それMDM の手法を用いたシステムとして，マルチユーザ

をクライアントで処理するようにすれば，サーバを設によるロボットナビゲーションシステム：CoGAME を置する必要はない．しかし，現状ではクライアントの開発した．CoGAME は，複数のユーザがロボットに処理能力が低いため，サーバ用に別の PC を用意して向けて道を投影し，それぞれの投影した道を接続する

いる．サーバと各クライアントの通信には無線 LAN

ことで，ロボットをゴールまで誘導するゲームである．

を用いる．ロボットは，クライアントからの制御信号

CoGAME で実装された MDM のインターフェースにしたがって動作する．

の構成は，図 6 のようになる．ハンドヘルドプロジェ

3.3 評

クタにはカメラが固定され，プロジェクションディス

構築した２つのシステムのうち CoGAME に関する

プレイ全体を撮影することができる．カメラ映像によユーザフィードバックについて簡単に述べる．Shep-

りロボットを検出し，プロジェクションディスプレイ

herd の評価および CoGAME の評価の詳細について上での位置に対応付けることでロボットの自動制御をは，それぞれ文献 5)，4) を参照されたい．

行う．

価

SIGGRAPH2007 Emerging Technologies におい

プロジェクションディスプレイは，投影する方向にて，CoGAME システムの実演展示を行った．子供かよって形状が変化してしまうので，投影される文字

ら大人まで約 500 人以上の人が，実際に CoGAME を情報等の可読性に影響を及ぼすと考えられる．そこ体験した（図 7 参照）．この実演では，2 台のプロジェ

で，この問題を解決するためにプロジェクションディ

クタを 2 人の体験者，または１人の体験者とスタッフ

スプレイの形状をリアルタイムに補正する必要がある．

が協力して，ロボットをスタートからゴールまで誘導

CoGAME システムでは，床面（水平面）のみに投影するゲームを行った．体験者の一部の 111 人にアンすることを前提として，3 軸加速度センサをプロジェ

ケート調査をして，プロジェクションディスプレイにクタに搭載することでこの問題を解決した．

よるロボット操作について評価してもらった．その結

3.2.1 システム構成

果を図 8 に示す．この結果からほとんどの体験者は，システムは複数台のクライアント，サーバ，ロボッ

CoGAME システムでのロボット操作を簡単に理解すトから構成される．図 6 に示すように，クライアント

ることができ，ゲームを楽しむことができたと言える．

はモバイル PC(Sony, Vaio typeU)，ハンドヘルドプ

また，このシステムによって二人のユーザがお互いにロジェクタ (Toshiba, TDP-FF1A17) )，USB カメラ

協力してロボットをナビゲーションすることができる情報処理学会 インタラクション 2008
無効 0.9%average
8.1%

easy
30.6%

無効 0.9%not at all 0.9%
not very much 0.9%
no change 3.6%

ための標識を変更したり，ロボットの情報表示に制限をかけるなどの操作も必要となってくる．ハンドヘル

a little
20.7%
very easy
60.4%

ドディスプレイは文字通りディスプレイを手に持って

a little
26.1%

very much
67.6%

very much
79.3%

いるので，ディスプレイに表示されている情報をスタ
イラスペンなどを用いて簡単かつ直感的に変更するこ

Q2

Q1

Q3

Q1

Was it easy to understand how to use the CoGAME
system?
a) very easy, b) easy ,c) average, d) diﬃcult ,e)very diﬃcult
Q2 Could you collaborate with your game partner by using this system?
a) very much, b) a little ,c) no change, d) not verymuch ,e) not at all
Q3 Was it fun to see the CoGAME system?
a) very much , b) a litte , c) no idea , d) not verymuch , e) not at all
図8

体験者のアンケート結果（アンケートに答えた人数：111 人）
Fig. 8 Results of Quetionariesとが可能である．プロジェクションディスプレイの場
合は床面（CoGAME の場合）に投影するので，直接の操作ができない．マウスカーソルを手元のジョイス
ティックなどを用いて操作することも考えられるが，現状のプロジェクションディスプレイは解像度が低く，環境光の影響でマウスカーソルなどの細かい表示は見
え難い．このような場合は，レーザポインタにより直接ディスプレイをポインティングする，あるいは音声でディスプレイの変更を指示するなどの入力手法を考える必要がある．
マルチユーザでの情報共有
プロジェクションディスプレイの場合，CoGAME シ

こともわかった．また，多くの体験者が「ロボットがステムのデモンストレーションから，複数人でインタ投影画像を認識しているように見える」というコメン

ラクションをとりながら，ロボットを操作できることトをした．このことからロボットがユーザの意図どおが確認できた．ゲームを周りで見ていた人たちは，投り動いていたと考えられる．実際にはロボットはイン

影された道画像を見ながら，プロジェクタを持ってロターフェース側から完全にコントロールされているのボットを操作している人に様々なアドバイスを行ってで，このインターフェースはユーザにとって使いやすいた．このようにプロジェクションディスプレイを用いインターフェースだと考えられる．

いた操作は，他者とのインタラクションをとることが

4. 考

察

可能である．これに対し，ハンドヘルドディスプレイ
の場合は，ディスプレイの大きさが小さいのですぐに実装した２つのシステムはどちらも，ディスプレイ

隣にいる人以外はロボット操作の情報を共有すること自体を動かすことでロボットを簡単かつ直感的にナビはできない．1 台のロボットを複数人で共有して使うゲーションすることができた．各システムにおける利場合を考えると，誰かがロボットを操作していても，点・問題点をまとめると以下のようになる．

別の人がそれに気づかずにそのロボットを操作しよう

操作対象への情報提示の可否として，お互いの操作が干渉してしまう可能性がある．

ハンドヘルドディスプレイは，液晶ディスプレイ上でこれを回避するためには，ロボット自体が特定のユー

実映像と CG を合成するので，基本的には現実世界のザによって操作されているかどうかをインターフェー

任意の場所に情報を付加することが可能である．それ

ス側に知らせる必要がある．

に対し，プロジェクションディスプレイの場合は，情3 次元ロボットの操作

報を投影する面が必要であるため，例えば空中に情報

今回実装したシステムは，ロボットの二次元平面内でを表示することはできない．このため，空中を移動すの移動操作に特化していた．しかしディスプレイを 3る飛行ロボットやロボットアームを MDM を用いて次元的に動かすことで 3 次元移動可能なロボットも簡操作しようとする場合，ハンドヘルドディスプレイを単に操作ができると考えられる．そのためには，どの用いた方がロボットの内部情報等を表示できるので適ようにして 2 次元で構成されるディスプレイの中に 3切であると考えられる．

次元のディスプレイの動きとロボットの移動をマッピ

付加情報の変更のしやすさ

ングするかが問題となる．例えば奥行き方向の情報をMDM は基本的にディスプレイを動かすことで操作す

図 5 で示した円の大きさで表現し，ディスプレイを手るので，ディスプレイに表示されている情報をユーザ前に引く，押すことで円の大きさを変更する．ロボッが頻繁に操作する必要はない．しかし，全く操作しな

トはこの円の中に写るように移動をすることでロボッ

いというわけではなく，状況に応じてロボット操作のトを 3 次元的に移動させることができると考える．しモバイルディスプレイを用いた直感的なヒューマン・ロボット・インタラクションの提案

かしながら，円の大きさと奥行き方向の対応が把握しは，HMD を用いてロボットに人間の外観を合成する

辛いため，より直感的な表現方法と操作方法を考えるシステムを開発している．ロボットに重畳される CG必要がある．

は連動して動くため，体験者はあたかも映像に手を周辺視野について触れて対話しているかのような体験ができる．Young

現状の実装では，2.2 節で採り上げた３つのディスプ

ら20) は，カメラ付タブレット PC を通して Roomba

レイのうち，HMD を用いた MDM によるロボット操を観測し，ディスプレイに表示された Roomba の上作を実現していない．HMD を用いて実装する場合，に漫画の表情をつけることで，ヒューマンロボットイ

頭部を動かすことでロボットナビゲーションを行うこ

ンタラクションを促すシステムを開発した．本研究はとが考えられる．HMD はハンドヘルドディスプレイ

これらの研究と比較して，仮想世界の情報でロボットやプロジェクションディスプレイと比べて視野が広いの状態を表現するだけでなく，現実世界のロボットのため，頭部を少し動かすだけで広範囲でロボットを移状態（位置や行動など）を変化させている点で異なっ

動させることができる．しかし，HMD を装着するこている．

とでユーザの周辺視野を失うため，周りの状況を確認

Augmented Coliseum15) では，プロジェクタや液しながらロボットを操作するのが難しい．周辺を観測

晶など画像提示装置を計測装置として用いる Display-

するために頭部を動かすと，ロボットの操作にも影響

Based Computing（DBC) という概念を提案していがでるため，ロボットを操作すると同時に周辺環境をる．このシステムでは，移動ロボットの上に特定のパ観測することができない．これに対し，ハンドヘルド

ターンを投影することで，高精度に移動ロボットの位

ディスプレイやプロジェクションディスプレイは，ディ

置を求めている．DBC はディスプレイ上の情報によ

スプレイとユーザの視野が分離されているので，周りりロボットをコントロールするという点で，我々の提の状況とディスプレイの中のロボットの状況を交互に案手法と同じである．しかし，DBC はディスプレイ

観測しながらロボットを操作することが可能である．

上のパターンを変化させることでロボットを計測・制またプロジェクションディスプレイにおいては，ディ御するのに対し，我々の提案手法はディスプレイ自体

スプレイと周辺環境がシームレスにつながっているたを動かすことでロボットを操作するという操作手法でめ，状況把握が行いやすい．実際に CoGAME システ

ある．ディスプレイ自体を動かすという操作は，ディムの体験者の多くは，ロボットを導くゴールの位置をスプレイ上の表示を変えてロボットを制御するよりも確認するのと同時にロボットのナビゲーションを行っ

直感的で，場所を選ばずに誰でも簡単に扱えると我々

ていた．

は考える．

以上の考察をまとめると，表 4 のようになる．今回試作したシステムを考察する限りでは，それぞれのディ
スプレイは一長一短であり，状況に応じて使い分ける

6. お わ り に
本稿では単機能ロボットを直感的に操作するための必要がある．しかし，今後の研究において各ディスプ

操作手法として，Mobile Display based Manipula-

レイの問題点を解決していくことで，”Mobile Display

tion を提案した．提案手法では，ディスプレイにロbased Manipulation”を実現するより良いシステムを

ボットを写し，ディスプレイ自体を動かすことで人間構築できる可能性があると考える．

とのコミュニケーション機能を持たないロボットでも

5. 関 連 研 究

簡単かつ直感的に動かすことが可能である．本稿では，提案手法の実装例としてハンドヘルドディスプレイを本研究で提案する Mobile Display based Manipu-

用いたロボットナビゲーションシステムおよび，プロlation は，技術的には Augmented Reality 技術の応

ジェクションディスプレイを用いたロボットナビゲー

用であると考えられる．ロボットの操作やロボットとションシステムについて紹介した．実装した２つのシのインタラクションの研究に Augmented Reality 技

ステムを考察することで，提案手法の可能性および問術を利用した研究の多くは，ロボットの状態や動作を題点を探った．

可視化する，あるいはより豊かな表現にすることを目

今後の課題としては考察で述べた各システムの問題的としている．Collett ら2) の研究では，ロボット開発

点を改善するとともに，提案手法が直感的なロボット

やロボットプログラミングを容易にするため，AR 技術

操作につながることを示していくことである．また，を用いてロボットのセンサ情報等を視覚化するシステ

現状では視覚のディスプレイを用いたシステムの実装

ムを開発した．Virtual Humanoid プロジェクト13) でのみだが，今後は触覚ディスプレイなどの視覚以外の情報処理学会 インタラクション 2008
表 1 各モバイルディスプレイの特性
Table 1 Characteristics of mobile displays
ハンドヘルドディスプレイ

プロジェクションディスプレイ

ヘッドマウントディスプレイ

情報の提示場所

任意投影できる面に限る

任意

情報の変更のし易さ◎△○

マルチユーザ対応

×◎×

3 次元移動ロボットの操作
周辺の確認

○

△

○

○

◎

×

感覚を提示するディスプレイを動かすことでロボット操作するインターフェースについても考えていく．

参 考

文 献

1) Cao, X. and Balakrishnan, R.: Interactingwith Dynamically Deﬁned Information Spaces
using a Handheld Projector and a Pen, The annual ACM symposium on User interface software and technology, pp.225–234 (2006).
2) Collett, T. H.J. and MacDonald, B.A.: Developer oriented visualisation of a robot program,the 1st ACM SIGCHI/SIGART conference on
Human-robot interaction, pp.49–56 (2005).
3) 萩田紀博：ネットワークロボットの将来展望，日本ロボット学会誌， Vol.23, No.6, pp.642–643(2005).
4) 細井一弘，ダオヴィンニン，森 晶洋，杉本雅
則：CoGAME: ハンドヘルドプロジェクタを用いたロボットナビゲーションシステムの試作，日本
バーチャルリアリティ学会論文誌， Vol.12, No.3,
pp.285–294 (2007).
5) 細井一弘，杉本雅則：Shepherd：ユーザ視点のマルチロボットコントロールを実現するモバイルイ
ンターフェイスの試作，日本バーチャルリアリティ
学会論文誌， Vol.11, No.2, pp.225–236 (2006).
6) iRobot Corporation: Roomba, http://www.
irobot.com/.
7) Mogilev, D., Kiyokawa, K., Billinghurst, M.
and Pair, J.: AR Pad: An Interface for Faceto-face AR Collaboration, ACM Conference on
Human Factors in Computing Systems 2002,
pp.654–655 (2002).
8) Moritani, H., Kawai, Y. and Sawada, H.:
Intuitive Manipulation of a Haptic Monitor
for the Gestural Human-Computer Interaction,
Gesture-Based Communication in HumanComputer Interaction, pp.386–398 (2003).
9) 大場光太郎，大原賢一：ユビキタス・ロボティ
クス，日本ロボット学会誌， Vol.25, No.4, pp.
505–508 (2007).
10) Rapp, S., Michelitsch, G., Osen, M., Williams,
J., Barbish, M., Bohan, R., Valsan, Z. andEmel, M.: Spotlight navigation; Interaction
with a handheld projection device, Interna-

tional Conference on Pervasive Computing,Video paper (2004).
11) Raskar, R., van Baar, J., Beardsley, P.,
Willwacher, T., Rao, S. and Forlines, C.: iLamps: Geometrically Aware and Self-Conﬁguring
Projectors, ACM Transactions on Graphics(TOG), Vol.22, No.3, pp.809–818 (2003).
12) Rekimoto, J.: TransVision: A hand-held augmented reality system for collaborative design,
International Conference on Virtual Systems
and Multimedia, pp.85–90 (1996).
13) Shoji, M., Miura, K. and Konno, A.: UTsu-Shi-O-Mi:The Virtual Humanoid You Can
Reach, SIGGRAPH2006 Emerging Technologies (2006).
14) Siemens: Cell Phone with Builtin Projector,
www.physorg.com/news3505.html.
15) Sugimoto, M., Kojima, M., Nakamura, A.,
Kagotani, G., Nii, H. and Inami, M.: Augmented Coliseum: Display-Based Computing
for Augmented Reality Inspiration Computing Robot, SIGGRAPH 2005 Full Conference DVD-ROM Disk1 Emerging Technologies(2005).
16) 杉本雅則，宮原耕介，井上博司，田村晃一：携
帯端末の 3 次元位置に基づく投影画面の表示と直感的な操作手法の試み，情報処理学会論文誌，
Vol.47, No.6, pp.1976–1986 (2006).
17) Toshiba: TDP-FF1A(J), http://www.toshiba.
co.jp/vis/lineup/portable/ff1/index.html.
18) Wagner, D.: ARToolKitPlus, http://studierstube.
icg.tu-graz.ac.at/handheld ar/artoolkitplus.
php.
19) Wagner, D., Pintaric, T., Ledermann, F. andSchmalstieg, D.: Towards Massively Multi-User
Augmented Reality on Handheld Device, Third
International Conference on Pervasive Computing, pp.208–219 (2005).
20) Young, J.E., Xin, M. and Sharlin, E.: Robot
Expressionism through cartooning, International conference on Human-robot interaction,
pp.309–316 (2007).