相互視界共有による実時間遠隔コミュニケーション支援システム
貴島 茂雄

加藤 朋宏

西川 敦

宮崎 文夫

大阪大学大学院基礎工学研究科機能創成専攻機能デザイン領域

１． はじめにの手元にあるパンフレットを一緒に見ている場合インターネットや携帯電話の普及は，離れた場である．このとき 2 人のめがね型ディスプレイに所にいる人同士のコミュニケーションをより便利

は，どちらか一方のフェイスマウントカメラ映像で日常的なものに変えた．特に携帯電話によって及びＡ，Ｂ2 人の手が映っており，これによって，我々はいつでもどこにいても，遠隔地間で音声に同じ場所でパンフレットを見ながら会話しているよる実時間コミュニケーションが可能になった．

場合とほぼ同じコミュニケーションが成立する．

本稿では，「時間的な遅延を感じることなしに離れた場所にいる人同士が何らかのメディアを用い

１「この温泉プランなんかいいんじゃない？」
４「うん．じゃあちょっと見せて」
５（視界切り替え）

カメラて意思の疎通を図ること」を「実時間遠隔コミュニケーション」と定義する．そして，そのメディ

２「そう？こっちのほうがいいな．
」
３「あ，そうだこっちのパンフレッ
ト見てみてよ．
」

カメラ

二人のディスプレイ映像

アとして，めがね型ディスプレイ，ユーザの目の直上にとりつけた小型カメラ，そしてウエアラブ
ルＰＣを用いた，リアルタイムに相手と自分の視ン支援システムを提案する．

A さんの手B さんの手界を相互に共有する実時間遠隔コミュニケーショ

Ａさんの視界を二人で共有
A さん

12

６．
「ほら，これこれ．
」

７「ほんとだ．そっちのパンフレッ
トのほうが面白そう」

２． システムのコンセプト

B さん

視界切り替え遠隔コミュニケーションを遠隔作業支援という二人のディスプレイ映像側面から捉えた研究例として，文献[1][2]等が挙げられる．これらは，指示者が作業者の視界を共有し，作業者の視界のみを用いてコミュニケーションを行う例である．
これらに対し，本システムは，日常的に行われる遠隔コミュニケーションの支援を目的としてお-------------------------------------------------------------------------------------------------------------------------------------------------------------------Ａさん

B さんの手---------------------------------------------------------------------------------A さんの手Ｂさん

Ｂさんの視界を二人で共有

図 1．実時間遠隔コミュニケーションの例

り，互いの視界を適宜切り替えながらコミュニケーションを行う，いわば携帯電話の延長上に位置するようなシステムを目指した．
日常的な実時間遠隔コミュニケーションの一例
として，図１はＡさんとＢさんの二人が離れた場

３． システム構成
以上のコンセプトを実現するためのシステム構成について述べる．
３．１ ハードウェア構成

所で互いの手元にあるパンフレットを参考にしな

本システムのハードウェア構成を図２に示す．

がら旅行のプランについて話し合っている例であフェイスマウントカメラには，カナダ Point Grey

る．上側の図はＡさんの手元にあるパンフレット

Research 社の Dragonfly(VGA‑8bitColor 30[f/s])

を 2 人で一緒に見ている場合，下側の図はＢさんを使用し，6 ピンの IEEE1394 でＰＣ（CPU:pentium42.0GHz, 256MbyteMemory, OS:WindowsXP Pro）とA Real-Time Tele-Communication Support System based on
the Mutual View Sharing.
Shigeo Kijima , Tomohiro Kato, Atsushi Nishikawa,and Fumio Miyazaki
Department of Mechanical Science and Bioengineering,Graduate School of Engineering Science, Osaka University接続した．ディスプレイには，米国 MicroOptical社 製 ク リ ッ プ オ ン デ ィ ス プ レ イ CV‑6 （ VGA16bit‑color）を使用した．また，会話相手のシステムとは無線ＬＡＮを用いて通信を行う．なお，

音声によるコミュニケーションには一般の携帯電
話のハンズフリーモードを利用する．
Face Mounted Camera

Dragonfly (Point Grey Research Inc.)

Wireless LAN
FireWire Card

Wearable PC

Face Mounted Display

図 4．システムのプロトタイプ

CV-6 (Micro Optical Corporation)

図 2．ハードウェア構成

３．２ ソフトウェア構成
システムには，「待ち受け」「相手の視界を共有」「自分の視界を共有」の 3 種類の状態が存在し，これらはユーザの入力や対話相手からの要求により適宜切り替わる．本システムのソフトウェア構成と「相手の視界を共有」している状態のデータフローを図３に示す．
Local Image

CameraFinger Top
Detector

Finger Position

PacketSenderLocal Image
Finger Position
Finger Position

Hand Posture
Recognizer

ComposedImage

ResultButtonPanelState Transition
RequestImage Composer

PacketReceiverPartner’s
View

Display

UDP

State Transition
RequestState Controller

図 5．アプリケーションの画面

To
Partner

From
Partner
UDP行った．その結果，「二人で視界を切り替えながら物を探す」といったようなタスクでは，相手の視界を自分が共有している場合に自分が指示したい対象が映っても，相手が顔を動かすことによって対象がすぐに視野の外に出てしまい，やや使いにくかったが，「お互いに適宜視界を切り替え，互いの雑誌や本を参照しながら談話する」といった顔

図 3．ソフトウェア構成とデータフローの動きが比較的少ないようなコミュニケーション状態の切り替えなどのユーザからシステムへのでは，快適にシステムを利用できた．

要求はボタンパネルにより行う．まず５． おわりにPosture Recognizer
形状に応じてHand

でユーザの手形状を認識し，State Controllerが画面にボタンパネルを表示させ，ユーザへの入力を求める．

４． システムの構築と評価
図 4 に実際に製作したシステムのプロトタイプを，図 5 に「待ち受け状態」での画面を示す．
我々はプロトタイプを用いて，数人で簡単な遠隔コミュニケーションを試みた．実験室内をパーティションで区切り，互いの音声のみ伝わる環境で，模擬的に 1 対 1 の遠隔コミュニケーションを

本稿では日常的な遠隔コミュニケーションを支援するシステムを提案した．今後，本システムを用いて，より多くの状況で実験を行いたい．

謝辞
本研究の一部は文部科学省科学研究費補助金・若手研究（B）(課題番号 14750370)の援助の下で行われた．
参考文献[1] 酒田信親他，「レーザー搭載型ウェラブルアクティブカメラによる遠隔コミュニケーション支援」, 電子情報通信学会信学技報，PRMU2002-172, pp19-24,2003[2] 鈴木雅史他，「遠隔医療指示支援システムの開発」, 日本バー
チャルリアリティ学会第 5 回大会論文集，pp.431-434,Sept 2000