コミュニケーション支援ロボットシステムの撮影動作インタフェース
鈴木雄介†

福島寛之†

宮本一郎†

竹内晃一†

Control interface for shooting a movie forcommunication supporting robot system.
YUSUKE SUZUKI†

1.

HIROYUKI FUKUSHIMA†ICHIRO MIYAMOTO†

KOICHI TAKEUCHI†

かし，このような利点を有するロボットであっても，はじめに現状の構成ではロボットの操作インタフェースに問題

現在，普及している遠隔会議システムは，映像通信があり，ユーザの本来の意図を反映しない誤動作が多と音声通信とを併用した構成が一般的である．しかし，いなどの問題が生じていた．このため，ロボットの機現状の遠隔会議システムに対しては，以前より問題点能を会議参加者が十分に利用し，遠隔会議の質を高めが多数指摘されてきた．例えば，対面した会議では自ることは難しかった．

然に行われている，会議参加者間での視線を一致させ本研究ではロボットの操作インタフェースの改良にて共同的な注意を向けるという行為が，遠隔会議では，よってこの問題の解決を試みる．一般にロボットを遠視線が正しく伝達できないことによって達成されなく隔操作するシステムにおいて，ロボットが動作する空なること，参加者の身体の動きなどによって表現され間を俯瞰した映像を利用することで操作が容易になる

るジェスチャの伝達が困難になること，映像を介してことが知られているが，筆者らも同様に俯瞰映像を利情報を送受信する場合に，コミュニケーションが非対用する．またロボットに搭載されるカメラを向ける対[1]称になることなどの問題が広く知られている ．

象物と，ロボットとの位置関係によって，ロボットのこうした問題の原因を，空間を共有する通常の会議運動に制限を加え，同時に俯瞰映像に対して拡張現実の場合には，参加者の身体によって表現される情報交感技術（以下 Augmented Reality=AR と略す）を適用

換が欠落するためとして捉え，遠隔からの参加者のし，運動の制限の情報をユーザに対して可視化，提示「身体による情報」の表現を代替する手段としてロボし，ロボットによる撮影操作を支援するというインタットを用いることで，問題の解決を試みた先行研究がフェースをシステムに導入したことを報告する．

複数存在する．先行研究と同様の観点から，筆者らは，「身体による情報」を表現する手段としてロボット技術に着目し，主として遠隔会議を支援するロボットシステムの研究開発を行ってきた．

2.

遠隔コミュニケーション支援にロボットを導入した例

遠隔コミュニケーションにおける共通した問題を解開発中のシステムの主要素であるロボットは，車輪決する一つの方法として，遠隔参加者の「身体によるによる移動機能とカメラによる撮像機能を持ち，カメ情報」を代理して表現するロボットを利用するというラが搭載された頭部の姿勢変更や，身体そのものの移ア プ ロ ー チ が 複 数 提 案 さ れ て い る ． Kuzuoka ら は動によって，操作者の興味を提示する．ロボットは既GestureCam[3] や GestureMan[4] を開発している．これ

存のネットワークパンチルトカメラと同様の機能に加らは遠隔地にいる人に対し熟練者が作業指示をしたり，え，移動機能を備えることを特徴としている．遠隔操教育を行ったりする用途に使われるロボットである．

作可能なカメラにロボット的な移動機能を持たせるこ

GestureMan は自由に移動する台車と，遠隔操作者のとで，遠隔コミュニケーションを改善しうる可能性は視線や興味の方向を表現するための，人間の頭や腕を[2]

先行研究 および筆者らの実験でも示されている．し模した要素が一体化され，社会学でいうところの「志向」[5]（どこを向いているか，どこを指しているか）† 沖電気工業株式会社

研究開発センタOki Electric Industry Co.,Ltd. Corporate Research and Development Center.

をロボットの身体によって表現することができる．ロ

情報処理学会 インタラクション 2010

ボットと空間を共有する参加者がロボットの身体によ影される映像を取得する．また同時に映像を取得するる表現に自然に気がつき，またロボット操作者の意図ためのロボットの動きやカメラの姿勢，方向が遠隔地を 理 解 す る こ と が で き る ． 国 外 で は Paulos ら がのユーザの興味関心の方向や程度を示す要素として動PRoP[6] とよばれるシステムを開発している．飛行船

作し，ロボットと同一空間に存在する人に対して，推や移動台車にディスプレイやカメラを搭載し，遠隔コ測が容易な形で情報を提示することになる．

ントロール可能な物理的な実体であるロボットを利用する利点について報告している．

3.

このようにロボットが遠隔地においてユーザの興味関心の方向を示す一種のメディアとして動作することによって，遠隔コミュニケーションの改善に寄与する

現状のシステム構成ことが期待される．

俯瞰カメラ

4.

操作インタフェースの課題

前節で説明したように，遠隔操作できるロボットを利用することでコミュニケーションの改善効果が期待できるが，作成したシステムを用いて試験的に動作をロボット

操作 I/F試みたところ，通常の GUI やジョイスティックで構成されるインタフェースではロボットを遠隔から動作

図1 システム構成

われわれが開発中のシステムは図 1 に示すような要素から構成される，ロボット，ロボットの動作する空間を上部から撮影するための俯瞰カメラ，俯瞰カメラで撮影された映像を表示し，後に説明する AR インタ
フェースでロボットを操作するためのタッチパネルディスプレイを操作インタフェースとして有する．
ロボットは，車輪による移動機能とカメラによる撮させることが難しく，ロボットを用いることによる利点を十分に発揮することができなかった．
ロボット遠隔操作の一般的な問題点については先行研究があり，例えば文献[7]には次のような問題が示されている．
問題 1．俯瞰映像内でロボットの移動する方向とインタフェースの操作方向が対応しない場合があり，ユーザが思った方向に動かしづらい．

像機能を持ち，カメラが搭載された頭部の姿勢変更や，身体の移動によって，操作者の興味を提示する．図 2にロボットの外形を示す．システムは映像，音声を利用する通常の遠隔会議システムと共に動作し，遠隔地からのユーザのインタフェースを介した操作によってロボットが動作する．またシステムはロボットが移動する空間内を撮像する俯瞰映像を，ロボットが撮影する映像とは別に利用する．利用の方法は後述する．

図3

ロボットの進行方向とインタフェースの操作方向の不一致のイメージ

図 3 に問題 1 の典型的なイメージを示した．通常ジ
本体：実体による存在感の提示
W:250[mm]L:250[mm]H:300[mm]

頭部（パンチルトカメラ）
・ 映像撮影・配信
・頭 部 姿 勢 変 更 で 視 線 の 方
向，興味の方向提示ョイスティックを上に倒した場合にロボットは現在向いている方向に進むが，画面の中でのロボットの進行方向とジョイスティックの向きが一致しない場合，ユーザは自分自身で方向の対応付けを行う必要がある．

移動台車(2自由輪駆動方式)
オカテック社製 “Infant Mini”
・撮影範囲変更
・動きによる注意喚起，ジェスチャ表示
割り込みのきっかけ提供

こうした状況は遠隔操作において典型的であるが，ロボットと同一空間において操作を行う場合であっても操作誤りを生じやすいことが報告されている[8]．
問題 2．ロボットが興味を向けるべき対象物の方向に移動するためには多数の操作が必要になり煩わしい．

図2 ロボットの外形

遠隔地のユーザはロボットを遠隔地からインタフェースを用いて操作して，ロボットのカメラによって撮筆者らの遠隔コミュニケーション支援システムとこれらの問題を関連付けると，問題 1 は，操作誤りによって生じるロボットの意味のない動作から，ロボット

コミュニケーション支援ロボットの撮影操作インタフェース

操作者の意図や興味について誤解を生む原因となり，

5.1

問題 2 はロボットの操作が負担となり，コミュニケー改良したインタフェースを採用したシステムの動作ションに対する参加を阻害するという点で，それぞれについて説明する．図 4 にシステムの概要を示した．

動作補助情報の AR 表示問題となる．

5.

AR インタフェース

筆者らは AR 技術を操作インタフェースに応用して，前節の問題の解決を目指した．先に報告したように，ロボットが動作する空間を俯瞰した映像が表示される
タッチパネルディスプレイの画面上に，ロボットを操作するための仮想矢印を重畳表示することで，ロボッ
図4 新規システムの概要

トの進行方向と提示されるインタフェースの矢印の方向を一致させて，問題 1 について解決の方向を示した[9]

ロボットを操作するユーザは俯瞰映像内に表示されが ，問題 2 については課題が残った．ユーザにロボる興味を持った対象物のマーカをタッチパネルへのタットを完全に自由に操作させると多数の操作が必要にッチによって選択する．システムはマーカの位置，方なりわずらわしく，逆に空間内の特定位置にしかロボ向の情報からロボットの位置と選択された対象物とのットが移動できないようにすると，操作は容易になる位置関係を得て，その位置関係によって動作の制限にが，自由度が失われ，移動機能を搭載した利点を大き関する情報を AR 技術で視覚的に表示する．

く損ねる．

図 5 左に動作補助情報として仮想的な矩形格子を表こうした問題の解決方法として，ユーザに不要な操示した例を示した．この格子は選択された対象物が変作を行なわせず，かつユーザが利用上行う必要がある化するとそれに合わせて向きや大きさが変化する．

動作は実現できるような適切な運動制限を加え，またまたその格子によってロボットの運動可能な方向や位運動制限の理解が容易となるよう，常にユーザに制限置が提示される．同時に格子上，ロボットの位置にカを可視化して提示することを改良方針とした．

ーソルが表示され，そのカーソルをドラッグ操作する

3 節で論じたように本システムは，ユーザがロボッことでユーザは制限の中でロボットを動作させることトを操作して，ロボットのカメラで見たい物を撮影しができる．また表示される仮想の格子によって空間内て見るという行動を基本にしている．このため，ユーでの距離とロボットの移動距離の対応がユーザにとっザが見たい対象物とロボットやカメラの位置と方向のて理解しやすくなる．カーソルを操作する間，ロボッ関係によって，ロボットの動作の方向に制限を加える

トに搭載されたカメラは対象物をカメラ撮影範囲に収ことが，システムの目的に合致すると考えた．また，まる方向に向けるように姿勢変更する．ユーザが最初遠隔側のロボット操作者が興味を持ち，カメラを向けにドラッグした方向によってロボットの動作方向が決るべき空間内の対象物の数には制限があるものと考え定し，その方向へ進む距離がドラッグした距離によった．つまり，操作者は空間内のあらゆる物に一律な興て決定される．この制限によってユーザは対象物のい味を持ってカメラを向けるのではなく，興味を持つ可わゆるドリー撮影，タンブル撮影を容易に行うことが能性が高い対象物の数は限られているものと仮定した．

できる．

現在システムの利用を想定している遠隔会議の状況にロボットの運動の制限は直線方向に限らず，対象物おいては，これらの対象物は，電子化しづらい掲示物の特徴によって変化させることで新たな効果が期待で等の資料や商品の試作品などの立体物，また会議に参きる．図 5 右に同心円状の格子を表示した例を示した．

加している人（の顔）であると考えられる．

この例の場合ロボットの動作の方向は，対象物を中心こうした対象物の位置および姿勢とロボットの位置とした半径の異なる円の円周方向に制限されるが，ロをシステムから取得できるようにし，対象物とロボッボットのカメラは常に対象物の中心を向くようにする

トとの位置関係によってロボットの動作を変更するこことができる．これによって，ユーザは対象物を対象ととした．具体的には対象物となるものの近傍に 2 次物の周囲 360 度，望みの向きから撮影することが可能

元マーカを配置し，ARToolkit[10] によって俯瞰映像内になる．またこのように物体を軌道の中心としたまま，での位置や方向と ID を認識し，またそれらを利用しロボットを動作させることで，ロボットの注視していた AR 情報を画面内に重畳表示できるようにした．

る方向，すなわち遠隔操作者の興味の方向を強調する

情報処理学会 インタラクション 2010

効果も期待される．

A とカメラの方向関係を維持する．ユーザは俯瞰映像中の対象物を選択し，運動制限のモードを適宜切り替えてシステムを利用できる．また制限のモードは AR技術で常に可視化されユーザに適切に提示される．

6.

まとめと課題

遠隔コミュニケーション，中でも遠隔会議を支援す
図5 運動の制限の AR による可視化

5.2

インタフェース利用時の運動に対する制限るロボットシステムのロボット操作インタフェースの現状の問題点を説明し，AR 技術を用いて問題点の解決を図ったシステムについて報告した．

ロボットの動作方向に加えられる制限についてより今後は作成したインタフェースの効果を実験的に評詳細に説明する．まず格子が表示される場合について価する．また新規インタフェースを導入した遠隔会議説明する（図 6 左）．ユーザが図 6 内 Object A に興味

支援ロボットシステムで遠隔会議を行った際に会議のを持つ場合，ユーザがまず A を選択して，次に A の質がどう変化するかを評価する定性的評価を実施する

方向にカーソルを動かすと，ロボットは A の方向に予定である．

体を向け，カメラも同一方向に向ける．その後 A の中心を通り，短軸方向に伸びる直線 L_RA および謝辞

L_RA に垂直な直線 V_RA に平行な方向にのみ運動が感謝する．

筑波大学葛岡研究室メンバとの有益な議論に可能になる．A をカメラの撮像範囲に収めたまま，格子内でカーソルを動かすことで，ロボットと A との距離を変更したり（ドリー動作），撮影される映像内での中心位置を変更したり（タンブル動作）できるが，システムがそれらの動作を制限しているため A の方向にカメラの方向を合わせるなどの操作は不要である．
ユーザが ObjectB に選択を変更すると運動制限の方向がそれぞれ，L_RB，V_RB に変更される．

図6 運動制限の説明

対象物に対する撮影角度を変更したい場合には図 5右の同心円を表示するモードが利用できる．図 6 右を用いて説明する．図 6 の条件で，ユーザが Object Aを選択した場合，まずロボットの車輪軸は r3 で表現される円周の接線方向を向き，同時にカメラは車輪軸の方向と同じ角度でオブジェクトの向く姿勢を保つ．
この状態で回頭速度を設定しロボットを r3 の円周上で移動させると，A を中心にして角度を変えつつ撮影するような運動をさせることができる（図 6 右点線の軌道）．r1，r2 で表される別半径の円周に移動する場
合には，車軸をカメラの軸と一致させてから移動し，参考文献1) Heath, C. and Luff, P. : Disembodied Conduct:
Communication through video in a multi-media
environment, Proc.CHI’91, pp.99-103 (1991).
2) Nakanishi, H., Murakami, Y., Nogami, D.et al:
Minimum Movement matters: Impact of RobotMounted Cameras on Social Telepresence, Proc.
CSCW08, pp.303-312 (2008).
3) Kuzuoka, H., Kosuge, T., and Tanaka, M. :GestureCam: a video communication system forsympathetic remote collaboration, Proc. CSCW’94,pp.35-43 (1994).
4) Kuzuoka, H., Oyama, S., Yamazaki, K., Suzuki, K.,
and Mitsuishi, M. : GestureMan : a mobile robot thatembodies a remote instructor’s actions, Proc.
CSCW’00, pp.155-162 (2000).
5) Schegloff, E. : Body Torque, Social Reseach, Vol.65,
No.5, pp.535-596 (1998).
6) Paulos, E. and Canny, J. : PRoP: Personal Roving
Presence, Proc. SIGCHI’98, pp.296-303 (1998).
7) 村上，中西:案内ロボットの遠隔操作のためのGUI の提案，情処研報，2008-HCI-127，pp.79-86，(2008).
8) 佐藤，城間ほか:遠隔操作ロボットにおける有効な提示カメラ画像の検証，第 22 回日本ロボット学会学術講演会，3A22，(2004).
9) 鈴木，福島ほか:AR インタフェースを搭載した遠隔会議支援ロボットシステム，インタラクシ
ョン 2009，ポスター発表，(2009).
10) Kato, H. et al.:Marker Tracking and HMD
Calibration for a Video-based Augmented Reality
Conferencing System, Proc. of 2nd Int. Workshop on
Augmented Reality, pp.85-94,(1999).