情報処理学会 インタラクション 2012IPSJ Interaction 20122012-Interaction
2012/3/15

ジェスチャ操作型飛行ロボットによる身体性の拡張吉田	  成朗†,‡	  	  	  鳴海	  拓志††	  	  	  橋本	  直‡	  	  	  谷川	  智洋††
稲見	  昌彦‡,‡‡	  	  	  五十嵐	  健夫‡,††	  	  	  廣瀬	  通孝††
	  ロボットの遠隔操作によって，人間にとって危険な環境での作業や，遠隔医療，遠隔コミュニケーションが可能となる．このような場合，ロボットの操縦を直感的にするために，人型ロボットのようにロボットの形状を操縦者に似せていることが多い．しかし，不整地や空中など，人間の身体形状を保ったままでの活動が難しい場所では，そのようなロボットが十分に活躍できない場合もある．本研究では，三次元空間で高い移動性を持つ小型の飛行ロボット（UAV）を用いて，人間の身体性を拡張する方法を提案する．UAV を自身の身体の一部であるかのように操作できる身体動作とロボットの動作のマッピングについて考える．そして，UAV を擬似的に身体の一部とすることで，自分の手を伸ばしているような感覚や，幽体離脱して遠くに飛んでいるような感覚を提示する．本
稿では，本システムの概要やプロトタイプの構成，実際に本システムを使って行ったデモの様子について報告する．

Augmentation of the Embodied Cognition Using a Gesture-Controlled
Flying Robot
SHIGEO YOSHIDA†,‡TAKUJI NARUMI†† SUNAO HASHIMOTO‡ TOMOHIRO TANIKAWA††
MASAHIKO INAMI‡,‡‡ TAKEO IGARASHI‡,†† MICHITAKA HIROSE††
By a remote control of robot, human working in hazardous environments, telemedicine, remotecommunication becomes possible. In this case, in order to operate a robot intuitively, the shape of the robot isoften similar to the pilot like a humanoid robot. However, such a robot keeping the shape of the human bodymay fully not be sufficient active in the place where activity is difficult, such as an irregular place and the air.
We propose an extension of the body using a UAV, a small flying robot with high mobility in threedimensional space. We consider the mapping of body movements and behavior of the robot can be manipulated
as if UAV were part of own body. And we feel like extending an own hand or flying a field of view like out-ofbody experience using a UAV as a part of the body virtually. This paper describes an overview of this system,
the configuration of the prototype, and the demonstration actually performed using this system.

1.

あるロボットに乗り移ったかのような操作を可能にすはじめにる手法がこれまで研究されている[2]．ロボットの遠	  操縦者が遠隔に存在するロボットを介して，あたか隔操作によって，原子力発電所や高所など人間にとっも遠隔の環境にいるような高度な臨場感を持ちながら，て危険な環境での作業や，遠隔医療，遠隔コミュニケ精密な作業やコミュニケーションを可能にする技術のーションが可能となる．

体系としてテレイグジスタンスがある[1]．テレイグ

多くの場合，テレイグジスタンスでは，操縦者がロジスタンスでは，物理的距離を超えて，まるで自分がボットを制御した際に適切なフィードバックを返すた

その場所にいるかのように遠隔地の人やものとインタめに，操縦者の身体は装置に固定されている．また，ラクションすることが可能になる．このようなテレイロボットの操作を容易にし，臨場感を高めるためには，グジスタンス技術の実現形態として，自身が遠隔地に人間の身体動作とロボットの動作のマッピングが直感的に対応していることが望ましいため，操縦者とロボットの寸法が一致，もしくは相似形となっていること† 東京大学工学部が多い．しかし，不整地，障害物が多い場所，水中，Department of Engineering, The University of Tokyo‡ JST ERATO 五十嵐デザインインタフェースプロジェクト

空中など，人間の身体形状を保ったままでの活動が難JST, ERATO, IGARASHI Design Interface Project

しい場所では，そのようなロボットが十分に活躍でき†† 東京大学大学院情報理工学系研究科
Graduate School of Information Science and Technology, Theない場合もある．

University of Tokyo	 ‡‡ 慶応義塾大学大学院メディアデザイン研究科
Graduate School of Media Design, Keio University403

グとは別のマッピングを考える必要がある．	  新山らは，自身の足を見つめる視点を上下にスライドさせることによって自身の身体イメージを拡張する作品を作成した[3]．岩田らは，上空にある飛行船に取り付けられたカメラを通して自身の体を見ることにより，身体から視覚を切り離すインタラクティブな作品を作成した[4]．	  一方，近年，UAV が三次元空間での高い移動性を活かして，人の入れない場所での情報収集などで活躍するようになっている．最近では，UAV は軍事目的だけではなく，民間でも空撮画像の撮影などに使用されている．市販されている UAV の代表的なものとして，AR.Drone[5]や Mikrokopter[6]などがある．
Quigley らは，PDA やジョイスティック，音声認識，UAV の模型を実際に動かす，飛行に必要なパラメータを直接指定するなどさまざまな UAV 操作手法を提案している[7]．しかし，本研究では自身の身体の拡張として UAV を用いるため，それらの操作インタフ
ェースを用いず，ジェスチャによって UAV を操作する．
樋口らは UAV を用いて柔軟なカメラワークを実現するシステムを提案している[8]．この研究は，三次図1 	 本システムのコンセプト

元空間を自由に移動し，目標物を撮影するために	  本研究では，無線制御された小型のヘリコプターやUAV を用いることが適していることを示している．	  	  	 飛行船のような，三次元空間での高い移動性を持つ飛Shan らは，ジェスチャを用いてパートナーである行ロボット（Unmanned Aerial Vehicle：UAV）を用いUAV を操作する手法を提案している[9]．ジェスチャて人間の身体性を拡張する方法を提案する．提案手法

を用いて UAV を操作することは本研究と共通していでは，UAV を擬似的に身体の一部とすることで，自るが，彼らが UAV を自身のパートナーとして扱って分の手を伸ばしているような感覚や，幽体離脱して遠いるのに対し，我々は UAV を身体の一部として扱っくに飛んでいるような感覚を提示する（図 1）．ているという点で異なる．

本論文では，関連研究と提案システムの概要について述べた後，開発したプロトタイプとそれを用いて行ったデモについて説明する．

2.

3.

提案システム3.1

システムの構成

提案システムの概要を図 2 に示す．深度カメラによ関連研究ってユーザのジェスチャを認識し，その情報に基づい	  本研究に関連する研究として，自身の手や視点を遠て UAV の制御を行う．UAV の前面には小型カメラ隔に拡張している事例を挙げる．舘らは，遠隔操縦，を搭載し，その映像は無線でコンピュータに送られる．

遠隔コミュニケーションのためのテレイグジスタンス
ロボットについて研究している[1][2]．ロボットの感覚情報が操縦者に伝わり，ロボットも操縦者の体の動きに合わせて動くため，自身が遠隔地にいるかのような感覚を体験することができる．しかし，ロボットが人型であるために，操縦が直感的であるが移動は二次元空間に限られてしまう．二次元空間だけでなく，三次元空間も自在に移動するためには，人型ロボットの図2 	 システム概要

場合のような身体の動きとロボットの動きのマッピン
404

3.2

4.

手の拡張	  ユーザの手の拡張として，手を伸ばすメタファを用提案システムのプロトタイプについて説明する．今いた UAV のジェスチャ操作を提案する．ユーザの利き手の動きが UAV の上下左右前後の動きに対応する．
図 3 に，本手法でのジェスチャとそれに対応する回は，操作する UAV として AR.Drone を利用した．
AR.Drone は Parrot 社が開発・販売している 4 翼のラジコンヘリコプターである．Parrot 社より開発用のUAV の移動方向を示す．ユーザの首元を原点とし，そこから一定の距離（閾値）の位置に手があるときに，手の方向を識別する．手がどの方向の閾値も越えない

SDK が公開されており，無線で接続された PC から操作コマンドを送ることにより機体を操作することができる．AR.Drone は，前面カメラ，下面カメラ，超音場所に位置するとき停止する．首元を原点とする理由

波センサ，加速度センサ，ジャイロセンサを搭載しては，首元は両手の付け根同士がなす直線と，体の中心おり，これらの情報を接続された PC で取得すること線との交点であり，手の様々な動きによっても首元のができる．図 5 に AR.Drone の外観図とカメラやセン三次元位置はあまり影響を受けないと考えたからであサの位置を示す．

る．
3.3

プロトタイプシステム

身体の動作を取得するための深度カメラとして，視点の拡張

Microsoft Kinect[10]を使用する．Kinect は RGB 情報と	  ユーザの視点の拡張として，ヘッドマウントディスともに深さ方向の情報を取得することができ，その情プレイ（HMD）を通して UAV に搭載されたカメラ映報を用いてリアルタイムにユーザの骨格情報を取得す像を眺めながら UAV を操作する方法を提案する．本ることができる．

手法では，幽体離脱して自身が飛んでいくような感覚を提示するため，両腕を飛行機の翼に見立てたジェスチャ操作を用いる．視点の拡張で用いるジェスチャ操作を図 4 に示す．いずれのジェスチャにも該当しないとき，機体は停止する．

図3 	 ジェスチャ：手の拡張
図4 	 ジェスチャ：視点の拡張

405

いては，3.3 節の操作手法を拡張し，右手で上下左右前後と停止，左手で回転動作，両手で離着陸を行うよ
うにした．

6.

議論と考察	  デモにおいて，本システムを初めて利用したユーザでも UAV を操れることが確認できた．このことから
本システムにおいて割り当てたジェスチャ操作は，直図5 	 AR.Drone の外観とセンサ位置感性があると考えられる．
現在のプロトタイプでは，以下の制約がある．手の拡張では，UAV の移動方向が上下左右前後の 6 方向に限られ，移動速度も常に一定である．今後は，任意の方向に対して加減速可能な移動を行えるようにする
ため，原点と手がなす三次元ベクトルによって移動方向を決定し，手の移動速度や手の伸ばし具合によって
図6 	 今回使用した HMD と実際に装着した様子移動速度を変化できるような方法を検討する．ジェス	  UAV の カ メ ラ 映 像 を 見 る た め の HMD と し てチャの表現の幅が増えることにより自身の身体動作とeMagin Z800 3DVisor を使用した（図 6）．ユーザに提UAV との動きの関連性が深まると考える．同様に，示される映像を図 7 に示す．画面の左半分に視点の拡張においても，操作の自由度を向上させる必AR.Drone の前方カメラで撮影した映像を表示する．

要がある．今後は，腕の傾きによって移動速度を変化

画面の右半分には，Kinect が自分の姿を捉えているこできるようにし，身体のひねりによって任意方向へのとを確認するために，Kinect から取得した映像を表示移動ができるようにすることを検討する．

する．また，AR.Drone が現在進んでいる方向を示すアイコンと，バッテリー残量を示すメーターを表示する．	  図 8 に本システムの基本構成を示す．PC に Kinectを接続し，AR.Drone と PC の通信は無線 LAN を利用したアドホック通信で行う．Kinect はユーザの全身の骨格情報が認識できるようにユーザの正面に設置する．
また，視点の拡張においては，ユーザは PC に接続し
図7 	 HMD 装着時のユーザへの提示映像

た HMD を装着する．HMD を通して AR.Drone とKinect からの映像や情報が提示される．	  システムのソフトウェアは Processing で記述され，Kinect による骨格情報認識のために simple-openni ライブラリを使用し，AR.Drone の通信，制御，センサ情報の取得には ARDroneForP5 ライブラリ[11]を使用した．

5.

デモ2011 年 10 月 22 日，日本科学未来館で開催された
デジタルコンテンツエキスポ 2011 のステージイベン
ト「TOKYO AR SHOW」において，本システムのデモを行った（図 9）．また，2011 年 10 月 26 日，国際大学 GLOCOM による研究ワークショップ「インター図8 	 システムの基本構成

フェイスの未来 –マイクロソフト・キネクトを中心に−」においても本システムのデモを行った．デモにお406

7.

おわりに

我々は，人間の身体性の拡張として，UAV を疑似的に身体の一部とすることで，自分の手を伸ばしているような感覚や，幽体離脱して遠くに飛んでいるような感覚を提示するシステムを提案した．また，提案するシステムのプロトタイプを 2 種類作成した．
現在は，UAV が滞空しているときのジェスチャ操作のみを扱っており，離着陸に関する操作は定義していない．今後は離着陸についての適切なジェスチャ操作についても検討する．手の拡張では，UAV とユー
ザが向かい合う際に，ユーザが指示する方向と，UAV が移動する方向が逆転する問題がある．機体に付いているカメラを用いた自己位置同定[12]や，電子コンパスのような空間に対する絶対方向を検出可能なセンシングデバイスを導入することにより，この問題は解決できると考える．今後は，実際にユーザが本システムを利用して自身と遠隔地との間で UAV をうまく動かせるかどうかや，割り当てられたジェスチャ操作が，手を伸ばすや，視点を飛ばすといったアクションと対応しているかどうか評価実験を行っていく予定である．また，UAV を複数台使用することによって，両手や両足への拡張を行うことも検討している．
UAV にロボットアームが搭載されれば，ハンドジェスチャによって遠隔にある物体を掴んだり，それを自分のところに持ってきたりすることもできると考える．

参考文献

1) 舘暲，阿部稔: テレイグジスタンスの研究 第一報-視覚ディスプレイの設計-，第 21 回計測自動407

制御学会学術講演会予稿集，pp.167-168 (1982).
2) 渡邊孝一, 竹下佳祐, 佐藤克成, 南澤孝太, 舘暲:
テレイグジスタンスの研究(第 61 報)-telesar3システムの提案と構築-, 日本機械学会 ロボテ
ィ ク ス ・ メ カ ト ロ ニ ク ス 講 演 会 , pp.1A1–F28(2010).
3) Niiyama, R. and Akagawa, T.: Good-bye feet!, Proc.
VRIC ‘09, pp.393-396 (2009).
4) Floating Eye:
http://intron.kz.tsukuba.ac.jp/floatingeye/floatingeye_j.html (2011 年 12 月現在).
5) AR.Drone: http://ardrone.parrot.com/ (2011 年 12 月現在).
6) MikroKopter: http://www.mikrokopter.de/ (2011 年12 月現在).
7) Quigley M., Goodrich M.A. and Randal W.B.: Semiautonomous human-UAV interfaces for fixed-wingmini-UAVs. Proc. of IEEE'04, Intelligent Robots andSystems, pp.2457-2462 vol. 3 (2005).
8) Higuchi, K., Ishiguro, Y. and Rekimoto, J.: Flyingeyes: free-space content creation using autonomous
aerial vehicles, Proc. CHI ‘11, pp.561-570	  (2011).
9) Wai Shan Ng and Sharlin, E.: Collocated interaction
with flying robots, RO-MAN, pp.143-149 (2011).
10) Microsoft Kinect: http://www.xbox.com/ja-JP/kinect(2011 年 12 月現在)
11) ARDroneForP5:
https://github.com/shigeodayo/ARDroneForP5 (2011年 12 月現在).
12) Steder, B., Grisetti, G., Stachniss, C. and Burgard,
W. : Visual slam for flying vehicles, IEEE
Transactions on Robotics, vol. 24, no. 5, pp.1088–1093 (2008).

図9 	 Tokyo AR Show でのデモの様子

408