回転式カメラと没入空間による擬似共同外出感覚の実現
張慶椿†高橋伸† 田中 二郎†

本研究では，没入空間内の観察者と遠隔地の移動者との間に，共に外出している感覚を与えるシステムを提案する．ヘッドマウントディスプレイによって実現される没入空間内で観察者が首振り，移動等を行うことで移動者側のヘルメットに搭載されたカメラが回転，ズームする．これにより，観察者は移動者と共に外出している感覚が持てる．また，顔の向きに合わせて，移動者のヘルメットに搭載された LED バーが発光することで，観察者は移動者に対し直観的な方向指示や感情を表現することができ，移動者側も観察者と共に行動している感覚が持てる．

Realization of Co-Existing Feeling Using Pant-Tilt Camera
and Immersive SpaceCHING-TZUN CHANG†

SHIN TAKAHASHI†JIRO TANAKA†

In this research, we build an immersive space using head mount display device. In this space, visitor’s headswing or moving (forward/backward) gesture makes the remote camera to rotate or zoom in/out itself. Remotecamera is mounted on the helmet and wore by mover in the outside. Its orientation is controlled by the visitor’sfacing direction. This enables visitor to feel to go out with the outside mover seemingly. Also LED bar set onside of mover will show the direction according to visitor’s facing direction. Mover in the outside can checkout visitor's direction in intuitive way and feels co-existence with visitor at the same time.

1. はじめに
近年，ビデオ遠隔通信技術とモバイルネットワークの高速化が進んでいる．このような背景の中で，モバ外出者と共に外出するような感覚を得ることができ，相手の視点だけではなく自分の視線も伝えることができれば，お互いに注目している場所の共有ができるため，会話が促進されることが期待される．

イル方式による臨場感ビデオ通信は期待されている．

本研究では，他人と一緒に外出する感覚を作ること臨場感を強調したビデオ通信に関する研究として，共を目的として新しいアプローチを提案する．没入空間

室感，対面感を強調した研究が多数行われてきた．こ内の観察者と遠隔地の移動者との間に，共に外出してれらの研究の多くは従来のビデオ会議等の固定されたいる感覚を与えるシステムを提案する．

場所でのビデオ通信をさらに強化することを目的とし没入空間内で観察者が首振り，移動等を行うことでている．しかし，これらの研究は機材を設置した会議

移動者側のヘルメットに搭載されたカメラが回転，ズ室などでのみ利用可能であることが多い為，外出中なームする．これにより，観察者は移動者と共に外出しどにこれらを用いることは難しい．ている感覚が持てる．

また，これまでのビデオ通信に関する研究は主に

また，顔の向きに合わせて，移動者のヘルメットに相手の顔，体の形状・動き等「相手自身」の情報を表搭載された LED バーが発光することで，観察者は移示することが多い．これらの研究はほとんど「相手を動者に対し直観的な方向指示や感情を表現することが映した」を前提して行った研究であった．また，特定でき，移動者側も観察者と共に行動している感覚が持の場所での利用を対象とし，相手が外出した場合の周てる．

辺環境を共有するのは難しいと考えられる．
そこで我々は，外出している人物と部屋にいる人物

2. 共同外出感の視線や感情を共有ができれば，共同外出感を作るこ

本研究は「外出環境想定の臨場感通信」の中から新とができるのではないかと考えた．部屋にいる人物は，たに「共同外出感」を定義する．共同外出感とは他人と一緒に出かける感覚とする．共同外出感を共有する† 筑波大学大学院システム情報工学研究科コンピュータサイにはいくつかの要素が必要であると我々は考えた．こエンス専攻

れらの要素は，相手の存在を気付き，そして行動を把Department of Computer Science, Graduate School of SIE,握できる環境を達成するために必要な要素である．

University of Tsukuba

情報処理学会 インタラクション 2011

1．互いにどこかを見ているかを分かる
2．一緒に歩きながら，周囲を見渡すことができる
3．外界環境の物事は，話題になり会話を促進する
4．会話の他に，気軽にコミュニケーションを取れる行為

3. 提案アプローチ
本研究では以下のアプローチによって，前述した「共同外出感」を実現する．

図 1 システム概観

1．自由視野の取得
2．向き情報の共有
3．共同注目行為の支援
4．身体的動作等によるコミュニケーション手法
3.1

システム概観本研究は二人での利用を想定し，固定場所にいる観図2

察者と実際に外出する移動者に共同外出の感覚を与える．観察者は外出せずに本システムを介して擬似外出を体験する．そして二人とも共同活動の感覚が持てる．
移動者は「外出して移動している人」と定義し，移動者(図 1 左)はヘルメットを被り外出する．ヘルメッ
ト上にはカメラと各種センサーを搭載し，自分が居る環境の情報を観察者側に提供する．観察者(図 1 右)は固定した場所でヘッドマウントディスプレイあるいは回転プロジェクターを経由し移動者の環境を共有する．
観察者は自分の振り向きによって移動者の所在環境（遠隔地）を見渡すことができ，移動者はヘルメットに付けた LED バーの発光位置で観察者の向き方向を把握できる．
観察者側ではグラフィカルユーザーインタフェース（GUI）を採用した．GUI は HMD に映る遠隔映像の上にオーバーレイして表示する．観察者側の GUI は自分の向き方向（方向と範囲），自分の体勢（チルト・ロール），ズーム範囲，移動者の振り向き，メッセージ，移動者の方位（東南西北），と移動者の所在地図を表示できる．
3.2

自由視野の取得

自由視野は観察者に擬似外出中の仮想視野を与えることである．観察者は首振りによって遠隔地の環境を見渡すことができる．
例えば観察者は右３０度の方向に振り向くと，遠隔地にある回転式カメラも右３０度の方向に回転し，これにより遠隔地から伝わった映像は観察者が向く方向の映像に一致する (図 2)．これで観察者の首振りに合わせた映像を得ることができる．

3.2.1

観察者の向きによって回転するカメラ

観察者向きと傾き情報の取得

地磁気センサーを用いて観察者側の絶対方位角度を取得し，その絶対方位角度から観察者が指定した角度（前向き方向）を引いた角度が相対的な向き方向になる．
傾き情報を得るため，我々は３軸加速度センサーから計測した X 軸と Y 軸の加速度データを用いて傾き角度を算出する．
3.2.2

回転式カメラの制御

回転式カメラは Logicool 社の Orbit AF を採用し，カメラのパンチルトとズームイン・アウト機能を制御する．パンは前方 128 度回転することができ，チルトは上下合わせて 64 度回転することが可能である．
3.2.3

回転式プロジェクターの利用

観察者側のシステムは HMD の他，回転式プロジェクターによる遠隔映像の表示もできる．回転式プロジ
ェクターは観察者の向き方向に追従してアーク状の画面に遠隔映像とユーザーインタフェースを投影する．
3.2.4

観察者によるズーム機能

観察者はコントローラのズームイン・アウトボタンを押すことで，デジタルズーム機能を使用して遠隔から伝わった映像を拡大・縮小することができる．
3.2.5

ビデオ通信と音声通信

ビデオ通信に関しては専用の映像受送信モジュールを開発した．MJPEG 方式で VGA(640x480)15FPS のビデオ通信を実現できる．音声通信は WMV フォーマット(64KBps)で全二重通信を行う．
3.3

向き情報の共有

向き情報の共有は観察者，移動者の間でお互いの向きや注目方向を知らせる機能である．向き情報の共有

回転式カメラと没入空間による擬似共同外出感覚の実現を実現する為，我々は向き方向と振り向く行為の計測一致させる．移動者が要請した場合は観察者側のを行い，そして移動者側に方向表示 LED 発光装置をHMD 画面では共同注目要請のマークが現れ，観察者設置した．観察者の向き方位を取得した後，その方位に「相手の意思で同じ方向を見てもらいたいこと」を情報はネットワークを経由して移動者側の方向表示提示する．観察者が要請した場合は音声で移動者に提LED 発光装置に知らせる．

示する．

3.3.1

移動者への観察者の向き情報の伝達

3.5

身体的動作等によるコミュニケーション手法

我々は移動者に方向表示 LED 発光装置を装着させ外出中，会話以外で気軽にコミュニケーションを取た．方向表示 LED 発光装置は小型の LED バーで構成れると我々は考えた．例えば叩く，目の前に手を振るされる．LED の発光位置で観察者の向き情報を伝達等である．このような行為は共同活動の感覚を促進すする．LED バーはヘルメットの端に取付けているたると考えられる．これを模倣するため我々は以下の手め，LED に注視しなくとも周辺視野で確認できる．

法を提案した．
１，叩く（コントローラが振動する）
２，目の前に手を振る（動画と発光表現で実現）
移動者も観察者も振動機能付きのセンサー装置を使用するため，その振動機能を用いて「肩を叩く」行為を模倣する．観察者はコントローラの「叩く」ボタン

図 3 方向表示 LED 発光装置と表示法

3.3.2

観察者への移動者の振り向く行為の伝達を押すと，移動者側は振動する，これで会話せず相手知らせるあるいは警告することができる．

移動者は歩きながら任意の時点で方向を変える可能「目の前で手を振る」の実現方法として移動者側で性があるため，観察者は移動者の向きを把握するのはは LED バーでの発光か左右交互に移動することで手難しい．ここで我々は移動者振り向きを検出し，観察を振る行為を表現する．観察者側では GUI の中で手者側 GUI 画面で矢印などを表示することで移動者のを振る動画の表現で実現する．

向きと行為を把握し易くなる．
3.4

共同注目行為の支援

4. 利用シナリオ

共同注目では，「あなたがそこを見ているので私もA 君は観察者，B 君は移動者として，A 君が本シス同じ方向を見てみる」という共に外出している人間同テムを用いて B 君と共に秋葉原電気街に散策するシ

士ではよく行う行為を遠隔地にいる人物同士で試みる．

ーンを設定する．A 君は自由視野機能を用いて，首を共同注目の行為により，相手の存在と反応を強く感じ回しながら自分が見たい店と商品に注目する．利用状

ることができる．

況によって A 君は遠隔映像をズームインして店の看3.4.1

自由視野の一時制限による共同注目

板に書いてある値段と情報などを確認する．

移動者は LED 発光装置の発光位置で観察者の向き

B 君は街で散策しながら LED バーで A 君の見てい方向を知ることができる．観察者は３秒以上注目するる方向を知り，これで A 君はどんな店とどんな商品と LED が点滅して「相手注目」の状態になる．
移動者が観察者の向いている方向を向いた時，共同注目は始まる．まず観察者と移動者の視線を一致させについて興味があるかを把握できる．こうして B 君
は A 君に気を払いながら共に行動する．
4.1

共同注目支援の利用シーン

る為にカメラは一時的に正面に戻り，ズームは 100%

共同注目支援を説明するため，A 君は新しいノートに戻る．同時に，観察者側の HMD 画面では共同注目パソコンが欲しくて B 君に声を掛け，一緒にノートのマークが現れ，観察者に「移動者も同じ方向を見てPC 専門店に入るという利用シーンを挙げてみる．

いること」を提示する．
3.4.2

相手の要請による共同注目

A 君は一つのパソコンに注目し続け，B 君は LEDの点滅で A 君の注目行為を知り，ついに B 君も同じ

共同注目は前述した行動によって自動的に起動するパソコンを見てみる．するとカメラは正面に戻り A

ほか，相手の要請により起動することも可能である．

君の視野を B 君と一致させる．これで B 君が視野を移動者あるいは観察者が手元にあるコントローラの注主導しながら二人がパソコンの機能について話し合う．

目ボタンを押すと，カメラは一時強制的に正面に戻り，4.2

そしてズームを初期化して，観察者と移動者の視線を移動者はヘルメットを被り、背中にはモバイル通信

移動者の利用手順

情報処理学会 インタラクション 2011

できるモバイルパソコンを携帯して外出する．
移動者側のシステムはステータスサーバーに登録し，辻田らの遠距離恋愛支援システム[3]では，ランプの調光，ゴミ箱の開閉，空の景色が映るライブカメラ

観察者との通信を待ち続ける．観察者と接続したら音を用いることによって，両地点にいる二人の間に相手声で移動者に提示する．に気付かれやすい環境を作り出す．

ヘルメットの上に設置したカメラは観察者の振り向葛岡らは，ロボットを用いた遠隔作業システム[4]きによってパン・チルトする．移動者はヘルメットのを提案した．操縦者の首振りによりロボットの頭部回端に取付けた LED バーで観察者が見ている方向を確

転を制御し，ロボット頭部に搭載する三台のカメラか認できる．観察者は一つの方向に注目し続けると「相らリアルタイム映像を操縦者側に伝達する．まだ，操手が注目しています」という音声で移動者に知らせる．

縦者はロボットの指示用腕を制御し，遠隔指示を行う．

この時移動者もその方向に向くと共同注目支援機能は起動する，この機能によって観察者の自由視野を一時制限して観察者と移動者の視線を一致させる．

6. まとめ本研究では「共同外出感」という概念を定義し，そなお，移動者は加速度センサー付きのコントローラの感覚を与える手法を提案，実装した．観察者は周囲を持っていて，コントローラを振って観察者にメッセを見渡すことができる為，より臨場感を得られる．観ージを送ることができる．

察者と移動者とお互いの向きを把握できるため，共に観察者の利用手順外出している感覚を得ることができた．二人の間の共4.3

観察者は有線 LAN が備えている固定場所で実験を行う．観察者の頭部にはヘッドマウントディスプレイと小型の無線地磁気センサーを装着させ遠隔画面の表示と観察者の向き方向の計測を行う．
観察者はステータスサーバーで移動者の状態（現在地と通信状態など）を確認してから移動者と接続する．
接続してから観察者が自分の振り向きによって遠隔のカメラを制御して，向き方向通りの遠隔映像はヘッドマウントディスプレイに映される．
移動者の行進方向が変った場合は観察者画面で矢印が表示され，これで移動者はどの方向に振り向いたかを把握し易くなる．
移動者は自分の振り向きでカメラを動かさずに移動者と視線を一致させたい場合はコントローラのボタンを押して「相手要請による共同注目」機能を使用する．
これでカメラは正面に戻り，移動者の正面視野に追従する．

5. 関連研究足立らは，ライブ映像と 3 次元形状モデルを用いて3D 仮想環境[1]を構築した．カメラで作業者側の 3D仮想環境の構成により，指示者は作業者と独立した視点で仮想空間を観察でき，作業効率の向上を目指す．
大田らは「Shared-View」[2]という遠隔指示・支援システムを用いて遠隔環境で心肺蘇生法を指示する．
Shared-View は実施者と指示者と分けており，実施者は HMD とカメラを装着して，指示者は遠隔地で CRT画像(=実施者と同じ視野)をみながら，患者に音声と画面上の指さしにより救急蘇生法の指示を行う．

同注目行為より，相手の存在を強く感じることができた．

参考文献

1) 足立,小川,清川,竹村：ライブビデオと 3 次元実
環境モデルを用いた遠隔協調作業支援システム;
日 本 バー チ ャル リ アリ ティ 学 会 ,Vol.12 No.4,(2007).
2) 太田, 他 : Head Mounted Display (HMD)によるShared-View System を用いた遠隔指示・支援システムの検討; 日救急医会誌,pp1-7,(2000).
3) 辻田, 塚田, 椎尾: SyncDecor : 遠距離恋愛支援システム;日本ソフトウェア科学会 WISS (2006).
4) 小山, 葛岡, 上坂, 山崎 : 実空間上の遠隔コミュニケーションを支援するシステムの開発; 情報処理学会論文誌コラボレーションの「場」とコ ミ ュ ニ テ ィ 特 集 号 ， Vol.45, No.1, pp.178187(2004).
5) 上坂, 葛岡, 小山, 山崎 : 遠隔作業指示支援ロボットの操作インタフェースがロボットの志向表現に与える影響の研究; ヒューマンインタフェースシンポジウム 2003 論文集, pp.255-258.