NAIST-IS-MT9951080

修士論文

没入型ディスプレイ内の利用者に追従する
ビデオアバタの生成と提示

中北 賢二

2001 年 2 月 9 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
中北 賢二

審査委員：

横矢 直和 教授
千原 國宏 教授
竹村 治雄 助教授

没入型ディスプレイ内の利用者に追従する
ビデオアバタの生成と提示3
中北 賢二

内容梗概
近年，バーチャルリアリティのためのディスプレイ装置として , 没入型投影ディ

スプレ イ装置が多く開発されており, 没入型ディスプレ イ同士をネットワークで接続し , 複数の装置間で共有された仮想環境内において協調作業を行う試みがなされている. また, 没入型ディスプレイ中で高臨場感コミュニケーションを実現するための手法として , 利用者のビデオ映像を直接アバタとして用いるビデオアバ

タが提案されている．そこで, ビデオアバタを用いて遠隔地間で協調作業を行う

ことが考えられるが , これまでに提案されている視点やアバタの移動操作インタ

フェースでは , 没入型ディスプレイ内の利用者の移動に対応したビデオアバタの移動が考慮されていないため , 利用者にとって共有された仮想環境内の正確な位置把握やビデオアバタの移動操作が直観的でない. そこで本論文では，没入型ディ
スプレ イ内の利用者にとってより直感的なビデオアバタの移動操作インタフェー
スを提案する. 提案手法では , 没入型ディスプレ イ内に配置された首振りカメラを用いて, 利用者を追跡し , 位置を推定することで , 推定された位置に対応する仮
想環境内にビデオアバタを提示する. 実際に首振りカメラを用いて, 利用者に追従するビデオアバタによる共有仮想環境を構築し , 利用者の移動に追従するビデ

オアバタ移動操作実験と, 利用者の位置推定における誤差の定量的な評価実験を行った. その結果, 利用者にとって直感的にビデオアバタの移動操作が行えること
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT9951080, 2001

年 2 月 9 日.

iを確認し , 定量的な評価により利用者の位置の推定誤差は没入型ディスプレ イ内の利用者の移動可能範囲に比べ, かなり小さいく, 提案手法の有効性を確認した .

キーワード
ビデオアバタ, 共有仮想環境, 首振りカメラ, 没入型ディスプレ イ, バーチャルリ
アリティ

ii

Generation and Presentation of Video Avatars
Following User's Position in an Immersive
Projection Display Environment
3

Kenji Nakakita
Abstract
Recently, many immersive projection displays have been developed as display
devices for virtual reality. Some immersive projection displays are connected witheach other by a broad band network and a number of experiments of cooperative
work are reported in a shared virtual environment using immersive projection
displays. A video avatar is proposed as a method to realize high presence ofcommunication in an immersive projection display. However, it is not easy for auser to recognize positional relationship between users and to operate his avatar,
when the avatar's movement is not based on user's position. This paper proposesa method of e ectively presenting video avatars for the user in an immersive
projection display. The proposed method trackes a user using active cameras in an
immersive projection display, estimates the user's position, and presents a video
avatar at the correct positon in a shared virtual environment. The feasibility ofthe proposed method has been successfully demonstrated with experiments using
a prototype system of video avatars following user's position.

Keywords:
3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT9951080,

iii

February 9, 2001.

Video avatar, Shared virtual environment, Active camera, Immersive projection
display, Virtual reality

iv

目 次

1. はじめに1

2. 従来研究と本研究の位置付け

3

2.1 共有仮想環境における協調作業
2.1.1 共有仮想環境の構築
2.1.2 IPD の開発
2.1.3 IPD を用いた共有仮想環境
2.2 コミュニケーションに用いるアバタ
2.2.1 CG アバタの特徴
2.2.2 ビデオアバタの特徴
2.3 視点やアバタの移動操作手法
2.3.1 手で操作するインタフェース
2.3.2 手以外の部位で操作するインタフェース
2.4 本研究の位置づけと概要: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : :: : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :3. 首振りカメラによるビデオアバタ生成

3.1 没入型ディスプレ イ - CYLINDRA 3.2 背景パノラマ画像作成
3.2.1 首振りカメラ
3.2.2 首振りカメラによる背景パノラマ画像作成
3.3 人物領域の抽出と追跡
3.4 人物位置の推定
3.5 アバタ提示

16: : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4. 利用者に追従するビデオアバタを用いた共有仮想環境の構築

4.1 システム構成
4.2 実験
4.2.1 首振りカメラによる人物位置推定
4.2.2 仮想環境内の利用者の移動に追従するビデオアバタ

18
18
18
20
23
25
25

28

: : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :

v

3
3
4
6
8
8
9
11
12
13
15

: : : :

28
30
30
32

4.3 考察: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :35

5. おわりに

37

謝辞

38

参考文献

39

vi

図 目 次

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

IntelligentBox の一画面 [8]CABIN の概要図 [14]シリンド リカル型 IPD の概要図 [16]「さぱり」の一画面 [23]インタースペースの構成 [27]CABIN 内で生成されたビデオアバタ [28]: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :提案システム: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :アバタ生成の処理手順: : : : : : : : : : : : : : : : : : : : : : : :CYLINDRA の外観
CYLINDRA の構造
首振りカメラ (SONY EVI-D30)
CYLINDRA における首振りカメラの配置: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :円筒への投影: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :背景パノラマ画像 : : : : : : : : : : : : : : : : : : : : : : : : : : :人物追跡による首振りカメラの回転 : : : : : : : : : : : : : : : : :利用者の影がスクリーンに映り込む場合
人物位置推定: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :カメラの切換え手法: : : : : : : : : : : : : : : : : : : : : : : : :IPD 内の利用者に追従するビデオアバタシステム
CYLINDRA 内の人物推定位置: : : : : : : : :: : : : : : : : : : : : : : : : : : : :各地点の人物位置推定の誤差
利用者の移動の軌跡
実験の様子: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :利用者に追従するビデオアバタ生成過程: : : : : : : : : : : : : :

4
6
7
9
10
11
16
17
19
19
20
21
22
22
24
24
25
26
28
31
31
33
33
34

表 目 次

1

地点 A で使用した機器 : : : : : : : : : : : : : : : : : : : : : : : :

vii

29

2

地点 B で使用した機器 : : : : : : : : : : : : : : : : : : : : : : : :

viii

29

1. はじめに
近年，計算機能力の急速な向上にともない，高品質なコンピュータグラフィク
ス (Computer Graphics:以下 CG) の描画が行なえるようになってきている．CGを用いて仮想的な環境を構成し，利用者にあたかも現実にいるような臨場感の高い体験を提供する技術はバーチャルリアリティ(Virtual Reality:以下 VR) と呼ばれ，建築，機械等の設計，医療，アミューズメントなど様々な分野で用いられている [1]．中でも, CG を用いて作られた 1 つの仮想的な環境を, 広帯域ネットワー
クを用いて遠隔地の人々と共有する研究が行なわれている [2].

このような CG を用いて作られた仮想環境を, 利用者をとってより臨場感の高い提示を行うために , 高精細な立体視プロジェクタや大型のスクリーンを用いて作られている没入型投影ディスプレ イ (Immersive Projection D:以下 IPD) の開発が盛んになってきた [3]. そうした IPD を上述の共有仮想環境の提示装置として用いることにより, より臨場感の高い共有仮想環境を構築することができる. 共有仮想環境において, 遠隔地の人々が協調して作業を行う試みが行われており, その際, より円滑に協調作業を行うために , 利用者は自分の化身であるアバタを共有
仮想環境に配置することにより, 他の参加者にはあたかも利用者自身が仮想環境内に存在しているかのように表現している [4]. アバタには CG で作成された人体モデルを用いる場合が多いが , この場合利用者の動きを表現することはできても,表情や感情, 身振り手振りまでも伝えることは困難である. そこで, ビデオカメラ

から取得した利用者のビデオ映像をアバタとして用いるビデオアバタが提案された [5]. ビデオアバタを用いることにより, CG では困難であるとされている表情や感情までも伝えることができる.

視点やアバタの移動に関する操作はジョイスティックやマウスなどのデバイスを用いて行われることが一般的である. しかし , 手は細やかな作業やコミュニケー

ションを行う上で非常に重要な働きを持つため , ジョイスティックやマウスによる視点移動やアバタの移動操作ではボディーランゲージやジェスチャに支障をきたす. そこで , IPD 内の利用者の手を使わない様々なインタフェースが提案されている [6]. この場合, 手を拘束しないため , ボディーランゲージやジェスチャなど の細かいコミュニケーションを行うことは可能である. しかし , 必ずしも実際

1

の IPD 内の利用者の移動とアバタの移動が対応づけられておらず , 利用者にとって違和感があり, また特殊な装置を必要とするなどの問題がある.

本論文では , IPD 内の利用者にとって直感的な視点やアバタの移動操作手法として , IPD 内の利用者の移動と共有仮想環境内のアバタの移動を対応付ける手法を提案する. 具体的には , IPD 内の利用者の移動とアバタの移動を対応付けるため, 首振りカメラを用いて利用者を追跡し , 首振りカメラの向きから IPD 内の利用者の位置を推定し , 推定された IPD 内の利用者の位置に対応する共有仮想環境
内の位置に利用者のアバタを提示する. アバタには追跡時に取得した利用者のビ

デオアバタを用いる. これにより, 共有仮想環境内のビデオアバタが利用者の移動に追従することになり, また IPD 内の利用者は特殊なデバイスをつける必要はなく, より直感的なアバタの移動操作が可能である.

以下, 2 章では VR 技術を用いて実現される共有仮想環境の実現に纏わる没入型ディスプレ イやアバタ, またその際必要になる視点やアバタの移動操作に関する従来研究と, 本手法の位置付けを述べる. 3 章では本手法で用いた円筒型の没入型ディスプレイである CYLINDRA の紹介と利用者に追従するビデオアバタ生成から提示までの手法について説明する. 4 章では , 利用者に追従するビデオアバタ

を用いて構築した共有仮想環境の実装について説明し , それを用いて行った実験と実験に対する考察を述べる. 最後に 5 章で本論文のまとめを行う.

2

2. 従来研究と本研究の位置付け
本章では , まずデスクトップ上の CRT を用いた共有仮想環境における協調作業について述べる. 次に, バーチャルリアリティの提示装置として開発されてきたIPD について紹介し , 共有仮想環境における協調作業と IPD を組合せ, 臨場感の高い協調作業を実現している研究を紹介する. さらに , IPD を用いた共有仮想環
境において円滑に協調作業を進めるにあたって必要となる次の 2 つの要素について述べる.
 共有仮想環境内で協調作業を進める参加者同士のコミュニケーションと位置関係を表現するために必要となるアバタ 協調作業を行う上で望まれる視点移動やアバタの仮想環境内での移動操作
手法
最後に, この 2 点を踏まえ本研究の位置付けと概要について述べる.

2.1 共有仮想環境における協調作業

2.1.1 共有仮想環境の構築
CG を用いて遠隔地の人々と協調してネットワーク上に仮想的な環境を作る研究がなされている. Okada らは , 3 次元分散共有仮想環境における実時間協調操
作環境に関する研究を行っており, 操作情報の管理を行う可視部品の分散協調により, 3 次元分散共有仮想環境を構築するフレームワークを提案している [7]. 図
1に Okada らによって提案された 3 次元分散共有仮想環境の一画面を示す.
このフレームワークに基づき, ATM(Asynchronous Transfer Mode) 通信による広帯域ネットワーク上で, 種々の応用例についての実証実験が行われている. こ
こで , テキスト , 図, 音声, 動画像データと 3 次元形状データを含むマルチメディ
アデータを 3 次元マルチメディアデータと呼び , この 3 次元マルチメディアデー
タを画面上で操作可能な可視部品として表現することにより, それらのデータの交換・流通が画面上の対話操作のみにより行えるようになる. その他に, 構築さ3図 1 IntelligentBox の一画面 [8]れた仮想環境を共有し , 種々の共同学習や共同作業を行うといったシステムの研究には, DIVE[8], CommunityPlace[9] などがある.

2.1.2 IPD の開発構築された仮想的な環境の提示方法は利用者に与える臨場感に大きく影響すると言われている. 視覚情報は人間が感覚器から獲得してくる情報の中の約 8090%を占めると言われており, 構成した環境を提示する際には利用者に高い臨場感を与える提示機器の選択が必要となる. 視覚的な臨場感を与える要因としては以下の3 つが挙げられる [10].
 広い視野人間の視野角以上の映像を提供することにより利用者に高い臨場感を与えることが出来る．

 奥行き感4

利用者は三次元形状を認識することによって，より高い臨場感を得る．そのため，両眼立体視が実現されることが望ましい.

 高い解像度
利用者の臨場感を損なわせないためには高品質な映像が提供されることが望ましい.
これらは全て満たされることが望ましいが , 同時に全てを満たすことは難しい.

そのため , 目的・表示データ等によって幾つかの要素を満たすよう高精細の立体
視プロジェクタを用いた様々な種類の IPD の開発が盛んになってきた [11]. 現在

までに提案されている IPD は , 以下の 2 種類に大別することができる.

 多面スクリーン型 IPD

IPD の最初の試みは, 1992 年にイリノイ大学の C.Cruz-Neira らが提唱した
CAVE1[12] である. CAVE は正面, 左右面, 床面の 4 面を大型の平面スクリーンで覆い, そこに立体プロジェクタで映像を投影することで , 利用者は高い没入感を得ることできる. 同様のものに , 東京大学の IML に設置された CABIN[13](図 2) や , COSMOS[14] がある.
しかし , 多面スクリーン型 IPD は高い没入感が得られる反面, 構造上大型化することが困難であるため, 協調作業に伴う利用者の移動も限られたものになる. また, その際利用者の視点追従が正確に行われない場合, 直線はスクリーンの繋ぎ目を頂点をする 2 本の線分として知覚され , 構造物に関して梁などが折れ曲がって見えることになり, 仮想環境の知覚に違和感を感じるといった問題が生じる.
 曲面スクリーン型 IPD
曲面スクリーン型 IPD は多面スクリーン型 IPD の構造的な問題を解決するため, スクリーンを湾曲させることで利用者の周りを覆い, 映像を投影するものである. このスクリーンは曲率が一定であるため, 利用者の視点追従が

1 CAVE は Cave Automatic Virtual Environment の略.

5

反射鏡

TOP

3m
スクリーン

スクリーン

FRONT

反射鏡

反射鏡
3m

BOTTOM
RIGHT

LEFT
反射鏡
正面図

側面図

図 2 CABIN の概要図 [14]
行われていない場合でも , 多面スクリーン型 IPD にみられるような空間の知覚に関する違和感を利用者はそれほど感じない.

利用者の水平方向の視野を広くカバーすることを目的として , 大型スクリー

ンを水平方向に湾曲させたシリンド リカル型と呼ばれる IPD [15](図 3) やさらに垂直方向の視野を確保し , 複数人での利用を目的に , 大型化した球面

ディスプレ イ型の IPD も開発されている [16]. 多面スクリーン型 IPD にあるような違和感はなくなるものの, 複数のプロジェクタで投影するため, その映像間に繋ぎ目を若干オーバラップして投影し , 輝度を平均化するという

エッジブレンディングと呼ばれる機能により, 映像の繋ぎ目を目立たなくする処理が必要になる.

2.1.3 IPD を用いた共有仮想環境
遠隔地間で広帯域ネットワークの整備が各地で進められ , 先に説明した IPD 同士がネットワークによって接続され始めた [17]. ネットワークによって結ばれた

6

プロジェクタスクリーン

図 3 シリンド リカル型 IPD の概要図 [16]

IPD を用いて, 共有仮想環境を構築することによって, これまでにない臨場感を伴ったコミュニケーションの実現が期待され , 円滑な協調作業が行われると考えられる.
これまでにも, 東京大学の CABIN[13] や筑波大学で開発された CoCABIN[18],岐阜 MVL リサーチセンターの COSOMOS[14], 郵政省通信総合研究所の UNIVERS[19] などが広帯域ネットワークによって結ばれ共有仮想環境における協調作業の実験が行われている. また, その他には球面ディスプレ イを用いて遠隔地の人と同一の仮想都市環境を共有し , 協調して設計が行える多人数協調設計支援機能も構築されている [20].
このような共有仮想環境において円滑なコミュニケーションを行うためには ,利用者が相互に自分の動きや表情を十分に伝達し合えることが必要である. ネッ
トワーク上で参加者が自分を表現する手段としては , 自分の化身であるアバタを用いる手法が挙げられる [4]. また, 利用者にとって直感的に視点やアバタの移動操作が行えるインタフェースも必要である.
7

2.2 コミュニケーションに用いるアバタ
アバタには CG で人体モデルを作成し , それを利用者の化身として使用する CG

アバタと利用者のビデオ映像をそのまま使用するビデオアバタに大別できる. 以
下で, それぞれのアバタの特徴について述べる.

2.2.1 CG アバタの特徴
一般的に , 共有仮想環境内で使用されるアバタには , 現実感を損なわないよう

CG で作成した 3 次元の人体モデルを使用することが多い. CG で作成されたアバタの特徴は , 3 次元のモデルであるためどの視点からでも違和感なく人体形状を表現することができる. また, 共有仮想環境においては, 一般に参加者は匿名の存在として取扱われている. このように地位や性別, 年齢といった社会的拘束が取り除かれることによって, 参加者は様々な新しい活動を活発にできる. 図 4に共有仮想環境内の CG アバタの例として , 「さぱり」の一画面を示す [21]. この例では , 利用者は予め CG で作成された人体モデルの中から自分の好みにあったものを選択し , 自分の化身として仮想環境内に配置する. 配置されたアバタは , 利用者のマウス操作により仮想環境内を自由に動き回ることができ, ほぼ正確に利用者の意図を反映させることができる. しかし , アバタの身振りや手振りは , 用意されたポーズの中から利用者が選択することにより行われるため, 利用者の細かい手の動きを伝えることは困難であり, 細かいジェスチャ等による遠隔地の利用者とのコミュニケーションの実現は難しい. そこで , 利用者の意図をより直感的に反映させるため, 利用者の手や足の動きに連動させてアバタの手や足を動かすことが考えられる. CG アバタの場合, モーションキャプチャに代表されるように , 利用者の代表的な部位に光学式や磁気式のセンサを付け , センサからのデータをもとに人体の概略を連続的に再構成することで CG アバタの動きに反映させている[22]. これにより, 利用者の身振りや手振りをアバタに反映させることはできるものの , 利用者にセンサを付ける必要があるなど 装置が複雑になるといった欠点も挙げられる. また, CG で作成されているため, 自分の化身であるアバタに利用者の特徴を瞬時に反映させることは難しく, 表情や感情までをアバタによって表現することは困難である.
8

図 4 「さぱり」の一画面 [23]2.2.2 ビデオアバタの特徴
利用者のビデオ映像を直接アバタとして用いるビデオアバタが提案されている.

利用者のビデオ映像をそのままアバタとして用いているため , CG アバタでは困難であるとされてきた, 利用者の表情や感情を伝えることができる. また CG アバ

タでは , 身振り手振りをアバタに反映させるために一般的に使用されているモーションキャプチャを必要としないという利点も挙げられる.

例えば , 遠隔地間のコミュニケーションにおいてお互いの表情をビデオ映像で伝達し合う手法として , ビデオ会議システムやこれをベースにしたグループウェ

アが挙げられる [23][24]. また, 3 次元のモデルであるためどの視点からでも違和

感なく人体形状を表現することができる CG アバタの利点と, ビデオ映像によって表情や感情までも伝えることができるビデオアバタの利点を組み合わせたイン
タースペース [25] がある. これは , CG によって作成された人体モデルの頭部を利用者の顔のビデオ映像に置き換えたものである. 図 5はインタースペースの構成を示したものであり, 利用者は音声と顔のビデオ映像を用いて 3 次元仮想環境
内に参加し , 他の参加者とリアルタイムのコミュニケーションが可能である. し9

図 5 インタースペースの構成 [27]
かし , これらのビデオアバタは, 撮影した画像をそのまま仮想環境の映像に合成しているため, アバタは撮影時の背景に貼りついた形で合成されることになり臨場感を著しく損なう.

そこで , クロマキーの技術を用いて人物領域のみをリアルタムで切り出し , 仮

想環境に合成することで, 臨場感の高いビデオアバタの生成を行っている [5]. しかし , 利用者を覆うような大型の IPD では , 利用者の背後にもスクリーンが存在

し映像の構成要素となるため, クロマキーの手法を用いることはできない. そこ

で , 小木らは CAVE のような多面スクリーン型 IPD においても, クロマキーの手法を用いた場合と同等のビデオアバタを生成するため, CABIN 内にカメラを配置

し , あらかじめ CABIN 内に利用者が存在しない状態で背景画像を取得し , その後
利用者が CABIN 内に入ると背景差分処理を行うことで, 人物領域を切り出し , 切

り出された人物領域をビデオアバタとして生成する手法を提案している [26]. 図

6に CABIN 内で生成されたビデオアバタの一例を示す.
しかし , 小木らの IPD におけるビデオアバタには次のような問題が考えられる.
共有仮想環境内の相手の視線方向に近いビデオアバタを生成するため, CABIN 内に水平方向約 30 °間隔でカメラを配置している. ここで , アバタの見え方を相手
10

図 6 CABIN 内で生成されたビデオアバタ [28]の視線方向にさらに近づけるためには , カメラを密に配置すればよいが , スクリー

ンの前にカメラが配置されるため, 多数のカメラを配置することは利用者のスクリーンへの視界の妨げになり, 利用者にとって没入感を損なう原因になる.

2.3 視点やアバタの移動操作手法
一般に , 複数の利用者が , 各自のアバタを用いて, 1 つの共有仮想環境内に参加する場合, 利用者自身が行う共有仮想環境内のアバタの移動操作が非常に重要になってくる. 利用者間でアバタを用いて円滑にコミュニケーションが行われるた

めには , 共有仮想環境内を利用者の意図に沿って自由に移動できるアバタが望まれる. そのため , 共有仮想環境内の視点やアバタの移動操作に関する研究がなされている.

仮想環境内における移動操作に関するインタフェースとしては様々なものが提11

案・実現されている. 中でも, マウスやジョイスティックのように手で操作するインタフェースが圧倒的に広く普及している. 一方, IPD 内の利用者にとっては , 手

はジェスチャやボディーランゲージを行う上で重要な役割を果たすため, 手以外の身体の部位を使って操作するインタフェースの研究例も幾つか報告されている.
以下で, 視点やアバタの移動操作のためのインタフェースについて述べる.

2.3.1 手で操作するインタフェース
マウスは最も標準的なインタフェースデバイスであり, 表示装置として CRT を用いることで, 緻密で安定した操作を行うことができる. また, ジョイスティックは , 行きたい方向にスティックを倒すという操作が直感的で, 理解しやすいインタ

フェースと言える. 3 次元マウスと呼ばれるデバイスもこれに似ており, 軸で固定された球状のつまみを前後・左右・上下に押すことで対応する方向に移動することができる. また, つまみを捻ることで向きを変えることができる.

その他に, より直感的な操作を実現するため, 磁気センサ等を用いた 3D-Wandが開発されている. 3D-Wand は手に持つことができる小型の棒状のデバイスで,
位置と方向を検出するセンサと数個のボタンと備えている. 3 次元空間中の位置や方向を指しながらボタンによる指示ができるので, 例えば仮想環境内の物体を掴んで移動したりすることができる [27]. このデバイスを用いて仮想環境内を移動するインタフェースでは , 例えば , 右に転回するには右ボタンを押すというような操作を行う. 3 次元位置センサを使ったインタフェースには , 上記の Wand の他にもセンサ位置を仮想環境内での位置に直接対応させたインタフェースがある.

このようなインタフェースではセンサの有効範囲やユーザの移動可能範囲に限界があるので, クラッチ機構を付加して移動動作と復帰動作を繰り返すことで広い範囲を移動可能にしたインタフェースもある [28]. また, 腕に付けた 3 次元位置センサにより, ハンドジェスチャを入力・認識し , 歩いたり走ったりという指示を出すインタフェースも開発されている [29].

以上のように, 手を使って移動操作を行うインタフェースが幾つかあるが , 提示装置として通常の CRT ディスプレイを用いた場合は , 利用者にとって操作性がよく, 確実な操作を行うことできる. しかし , HMD や IPD のような利用者に高い没12

入感を与え, 臨場感の高い提示を行う場合, 手に持っているデバイス自身が利用者の没入感を減少させてしまう. また, ビデオアバタを用いた共有仮想環境を考えた場合, 手はボディーランゲージやジェスチャ等を行う上で重要な働きをするため, 上述のようなインタフェースではボディーランゲージやジェスチャに支障をきたしてしまうといった問題が挙げられる.

2.3.2 手以外の部位で操作するインタフェース
自然の空間では我々は足を使って移動する. 仮想環境内を移動する場合でも足を使うのは自然な考えである. 自然で直感的なインタフェースを実現するために「歩く」インタフェースの研究が行われている. Iwata らは , ローラースケートや滑べるサンダルを用いた歩くインタフェースを実現している [30][31]. これらのインタフェースでは , 利用者は磁気位置センサと床面との接触を検出するセンサを取り付けた「滑べるサンダル」を履いて輪の形のセーフティーフレームに入る.
その中で移動する方向に歩くが , 実際にはセーフティーフレームに移動を制限されるので足が滑べるだけで移動することはない. センサが歩く動作を検出し仮想環境内の移動に反映させるので , 利用者は歩く動作をすることで仮想環境を移動することができる. また, Slater らのシステムでは, 利用者はその場で足踏みをする [32]. 歩く動作とそれ以外の動作をニューラルネットを利用して分別している.

移動の方向は HMD をつけた利用者が見ている方向によって決定される. また ,treadmill の上で歩くインタフェースも開発されている. 岩田らが試作したトラー
ス状トレッド ミル [33] は横方向に動くベルトを連結して縦方向に動くベルトを構成したものである.
身体を傾けることにより移動を行うインタフエースが Fairchild らによって提案されている [34]. これは , 頭部に取り付けられた磁気位置センサによって計測した頭と上体の位置と傾きの変位量を用いたもので , 2 種類の方法を提案している.
一つは頭の位置の変位量を指数関数的に増幅して仮想空間内の変位量に割り当てたもので , わずかに頭を傾けるだけで遠くへ移動でき, もとの位置に頭を戻せば原点に戻ってくる. もう一つは , 変位量を移動速度に割り当てたもので , 身体を傾けることでその方向に進むことができる. 傾ける量が多いほど 早く移動し , 頭をも13との位置に戻せば止まる. また, 体重移動の変化を測定し , その変化を移動に反映させた装置 [35] や , 足に曲げセンサ (ベンド センサ) をつけ, 足の曲げ角を移動に対応づけた装置 [36] もある.

以上のように, 利用者に提示する環境や装置の複雑さなどによって, 対応する

様々なインタフェースが開発されている. 中でもボディーランゲージやジェスチャに支障をきたさないことを目的に , 手を使わないインタフェースが提案されてきた. このような従来までのインタフェースは , 現実環境の利用者が疑似的な歩く動作を行うことや, 身体を傾けることで視点やアバタの移動操作を行うため, 現実

環境とは関係なく仮想環境を制限なく移動できる. その反面, 利用者によっては違和感があり, また磁気センサなどの複雑な装置が必要となってしまう等の欠点

もある.

14

2.4 本研究の位置づけと概要
本研究では , 遠隔地間の IPD 同士をネットワークを用いて結び , IPD の利用者は構築された共有仮想環境において協調作業を行うことを想定し , その際利用者間のコミュニケーションと位置関係表示に必要となるアバタの生成と, そのアバ

タの直感的な移動操作手法について提案する.

IPD 内の利用者は協調作業に伴って IPD 内を動き回ることが考えられ, 視点追従を行っていない場合, 視点位置が想定されたものとは異なる場合がある. そこで本研究では, 視点追従を行わない場合でも多面スクリーン型 IPD に比べ, 空間の知覚に関する違和感を少なくでき, IPD 内の利用者の移動範囲を容易に広くすることが可能な曲面スクリーン型 IPD を用いる.
アバタには利用者の表情や感情を伝えることができ, 身振り手振りのアバタへの反映が容易なビデオアバタを用いる. ビデオアバタの生成には , 通常の固定カ
メラではなく首振りカメラを用いる. 首振りカメラを用いて利用者を追跡することにより, 少数のカメラで歩き回る利用者のビデオアバタを生成でき, IPD 内の
カメラによって生じるスクリーンへの利用者の視界の妨げを固定カメラを使用している文献 [26] に比べ軽減できる.

また, ビデオアバタを生成するため利用者の追跡を行なう複数台の首振りカメ

ラの向きより, IPD 内の利用者の位置の推定が可能である. そこで , IPD 内の空間

を仮想環境の一部と想定し , IPD 内の複数台の首振りカメラから推定された利用者の位置に対応する共有仮想環境にビデオアバタを提示することにより, 利用者の移動に追従するビデオアバタの移動操作が行なえ , 利用者によってより直感的なアバタの移動操作手法となる. この手法を用いることにより, 移動操作に用いる装置は首振りカメラ以外のセンサを必要としない. その結果, 先に装置が大掛

かりなものにならないといった利点も挙げられる.

15

3. 首振りカメラによるビデオアバタ生成
共有仮想環境A

A

B

ネットワーク

B

B

A

実環境
IPD

IPD
図 7 提案システム

まず最初に , 本研究で提案するシステムを図 7に示す.

遠隔地の 2 台の IPD 間を広帯域ネットワークを用いて接続し , 仮想環境を共有する. IPD には , 文献 [37] で報告されている円筒型の IPD である全周型景観提示システム CYLINDRA2 を使用し , 各 IPD 内の空間は共有仮想環境の 1 部分と想定し , 想定された共有仮想環境を IPD に投影し利用者に没入感を与える. 各 IPD
内には複数台の首振りカメラを配置し , IPD 内の利用者を追跡することで IPD 内の位置に対応する共有仮想環境にビデオアバタを配置する.

図 8にビデオアバタ生成手法の概要を示す. 首振りカメラの任意の角度に対して背景差分処理を行うために , 背景画像として IPD 内に利用者が存在せず, 首振りカメラが設置された状態で各カメラの駆動範囲におけるパノラマ画像をあらかじめ作成しておく. その後, 利用者が IPD 内に入ると, あらかじめ作成しておい
2 CYLINDRA は Cylindrical Yard with Large, Immersive and Novel Display for Reality
Applications

の略.

16

首振りカメラの視野範囲を撮影した複数画像(a)前処理背景パノラマ画像作成(b)実時間処理

背景パノラマ画像

首振りカメラの角度に対応する部分の切り出し

現在の首振りカメラ画像取得

入力画像

背景画像

背景差分処理人物領域二値画像
人物追跡
人物位置の推定
共有仮想環境内の位置

ビデオアバタの提示
図 8 アバタ生成の処理手順

17たパノラマ画像から対応する部分を切り出し , 背景差分処理を行なうことで人物領域を抽出し , 人物領域が画像の中心にくるように首振りカメラを回転させ利用者を追跡する. 同時に, 首振りカメラの現在の角度から IPD 内の利用者の位置を推定し , 対応する共有仮想環境にビデオアバタを配置する. 以下で各処理を詳細に述べる.

3.1 没入型ディスプレ イ - CYLINDRA 提案システムで使用する円筒型 IPD である CYLINDRA の外観を図 9に構造を

図 10に示す. 図 10(a) にあるように半径 3m, 330 °の円筒型スクリーンと 6 台のプロジェクタで構成されている円筒型 IPD であり, 各プロジェクタは円筒の中心から 61.7 °の投影とプロジェクタ同士の映像に約 8 °の重なりを設けるように設置されており, 全 6 台のプロジェクタで 330 °の映像を生成する. また, 図 10(b)にあるように高さ 2.7m のスクリーンに対して , 円筒の中心からの上下視野角は48.3 °である.

3.2 背景パノラマ画像作成

3.2.1 首振りカメラ
光軸軸がパン・チルトの軸まわりを回転する首振りカメラを考える. この首振りカメラには , 幾何学的な性質を決定する二つの要素がある. 一つは投影中心であり, もう一つは回転中心である. 一般的な首振りカメラは , この二つの要素は特に考慮されずに設計されている. その場合, カメラの回転によって, 撮影された画
像間に幾何学的な変化 (運動視差) や光学的変化 (ハイライトの変化等) が生じてしまう. しかし , 次の二つの性質を持つように設計された首振りカメラではこのような変化は生じず , 撮影された画像に対する処理が容易になる.

 パン軸とチルト軸を交差させる
 その交点とカメラの投影中心を一致させる

18

図 9 CYLINDRA の外観

プロジェクタ

330

2.7m
視点

48.3
スクリーン

3m

(a) 上から見た図(b) 横から見た図

図 10 CYLINDRA の構造

19

そこで本研究で試作したシステムには , 上述のような条件を満たす首振りカメ

ラ (SONY EVI-D30) を用いた (図 11).

上述の条件を満たす首振りカメラによって作成されたパノラマ画像は , 一点透視投影の光学特性を持つことになり, 作成されたパノラマ画像の一部分を切り出すことで, 任意の角度の画像を作成することが可能である.

図 11 首振りカメラ (SONY EVI-D30)
この首振りカメラを IPD のスクリーンの内側に 120 °間隔で 3 台配置し , 視線

方向に近い画像を得るため三脚によって床から約 150cm のところに固定し , 水平方向に向ける. また, 今回使用した IPD は正面投影であるため, プロジェクタからの光が直接首振りカメラのレンズに入らないようにカメラの鉛直方向の駆動とズームは固定した . 水平方向の駆動範囲は約 200 °(左右約 100 °) であり, パノラ
マ画像の作成は水平方向の回転に対してのみ行う. 図 12に CYLINDRA における首振りカメラの配置を示す.

3.2.2 首振りカメラによる背景パノラマ画像作成
首振りカメラを用いたパノラマ画像の作成において, 回転によって得られる複数枚の画像を単に繋ぎ合わせるだけでは , 隣合う画像間で幾何学的な不連続が生じる. そこで , 得られた画像を円筒に投影し繋ぎ合わせることで幾何学的に連続20プロジェクタ120°
15cm

3m 330°
120°

2.7m
15cm

スクリーン
120°

視点

約200°
120°

48.3

1.5m

首振りカメラ(a) 上から見た図(b) 横から見た図

図 12 CYLINDRA における首振りカメラの配置
なパノラマ画像を作成する. また, カメラのレンズ歪みや投影時の誤差を考慮し ,首振りカメラを最左端から約 8 °間隔でカメラを回転させ, 首振りカメラから得られる画像 26 枚 (1 枚: 3242225pixel) を円筒に投影し中央 (1002225pixel) のみを繋ぎ合わせることでパノラマ画像 (26002225pixel) を作成する. 首振りカメラの撮影画像上の平面点 (x; y ) から円筒 (; h) への対応は , 図 13から以下のように
なる.

(

x
y

=
=

+ 1
1
y+
1

cx
c

R

h

r

tan
R

(1)

cos

ここで R はカメラの焦点距離 (pixel), r は投影する円筒の半径 (pixel), cx ; cy は撮像画像の中心である. 最後に円筒に投影された各画像を継ぎ合わせることで幾何学的に連続な背景パノラマ画像を作成する.

以上の処理によって作成された背景パノラマ画像の一例を図 14に示す.

21

撮影画像面
h
x

θ

R

y

r

r

Cy

Cx

R
cosθ

円筒面
(b)横から見た図(a)上から見た図
図 13 円筒への投影

図 14 背景パノラマ画像

22

3.3 人物領域の抽出と追跡先に求めた背景パノラマ画像から現在のカメラの向きに対応する部分を切り
出し ,

(



h

+ arctan 0 x= ( 0 y ) 1 cos
=

x

v

c

R

y

c

r



(2)

R

より平面に逆投影を行うことで背景差分処理に用いる背景画像を得る. ここで ,v

は首振りカメラの水平方向の角度である. 得られた背景画像を用いて背景差分処理を行い, これを二値化することで人物領域に相当する画素を求める. 次に , 2

値画像の水平軸への投影を求め, 最大となる場所を画像上の人物位置とする. 人

物領域の抽出によって得られた結果より, 画像上の人物位置がカメラの中心にくるようにカメラを水平方向に回転させることで人物追跡を行う. 図 15(a) は首振りカメラ回転前の差分画像であり, 図 15(b) は利用者の移動量に従って首振りカ

メラを回転させた後の画像である. 図 15下段は , 図 15上段のそれぞれの画像の人

物領域を水平軸へ投影したものをグラフにしたものである. 縦軸は水平方向への投影したときの画素数であり, 横軸は画像の横方向を表したものである.

ここで , 本研究で使用した円筒型 IPD である CYLINDRA は , フロント投影であるため, IPD 内の利用者が歩き回ることによってスクリーン付近に立った場合,
利用者の影がスクリーンに映り込むといった問題が考えられる. 図 16(a), 図 16(b)はそれぞれ利用者の影がスクリーンに映り込んだ場合のカメラの入力画像と人物
領域画像を示したものである.

入力画像に影が写っているため, 影の領域も人物領域として抽出されている. こ

こで , 人物追跡における影の影響に関して , 本研究で使用した円筒型 IPD である

CYLINDRA の計 6 台のプロジェクタは床面から高さ約 3m の場所から , 水平方
向から 13 °下方に傾けて設置してある. そのため , 水平方向に向けられた首振り
カメラの人物領域画像について, 影の領域が画像上の人物位置として求められることは決してない. その結果, 人物追跡において影の影響による失敗はない.
23

カメラの回転180
画
160 カメラ移動量
素
画
投 140
数
像
影 120
最
の
画 100
大
中
素
心
数 80
60
40
20
00 50 100 150 200 250 300 350

180
160
投
影 140
画 120
素 100
数 80
60
40
20
00

画
像
の
中
心

50 100 150 200 250 300 350

画像の横方向

画像の横方向(a)カメラ回転前の差分画像(b)カメラ回転後の差分画像

図 15 人物追跡による首振りカメラの回転

入力画像

人物領域画像図 16 利用者の影がスクリーンに映り込む場合

24

3.4 人物位置の推定
前節で述べた追跡処理により, 3 台の首振りカメラそれぞれで人物領域が抽出され人物が追跡されている場合, 人物位置の推定は次のように行う. 首振りカメ

ラが IPD 内の利用者を正確に追跡している場合, 首振りカメラの光軸上に利用者が存在するので , 首振りカメラの各光軸の交点に利用者が存在すると仮定できる.

しかし , 首振りカメラの回転の遅延や画像上の人物位置の推定誤差があるため, 各
カメラの光軸が必ずしも 1 点で交わるとは限らない. そこで , 図 17に示すように ,各光軸からの距離の和が最小となる位置, つまり各首振りカメラの光軸の交点によってできる三角形の内心を利用者の存在する位置とする.

人物推定位置拡大図

CYLINDRA

図 17 人物位置推定

3.5 アバタ提示
ビデオアバタの提示には , 仮想環境上の利用者の位置関係から相手の視線方向に最も近い方向の首振りカメラを選択し , 選択された首振りカメラから得られた

ビデオアバタを遠隔地の IPD に投影する方法を採用した . 図 18はカメラ選択の方法を示したものである.


1

< 

2

< 

3 よりカメラ 1 が選択される. ここで, 背景差分を用いて人物領域
25

カメラ3
カメラ2
θ3
利用者B

アバタA表示位置

B

θ2
θ1

IPD1

カメラ1

A 利用者A

IPD2
図 18 カメラの切換え手法を求めているので , 遠隔地のビデオアバタが表示されているスクリーン上の点と利用者と首振りカメラが一直線に並ぶ場合には , 利用者の影がスクリーンに写り込む場合と同様, その首振りカメラは背景差分により正確な人物領域を求めることができないという問題が生じてくる. 図 18のカメラ 3 と利用者 B とアバタ A
は直線上にあり, 上述の問題からカメラ 3 では正確な人物領域を求めることは不可能である. しかし , 仮想環境上の位置関係によりカメラを選択しているので, ビ

デオアバタと利用者とカメラが直線に並んだ場合にそのカメラが選択されることはない. この場合, それ以後カメラ 3 は人物追跡が正確に行えないことが考えられる. しかし , IPD の構造と首振りカメラの配置から , 首振りカメラにとっては必ずスクリーンに映し出されている遠隔地のアバタより利用者が手前に存在するた
め, 画像上の遠隔地のアバタの位置が人物追跡時に求める画像上の人物位置として求められることはなく, 人物追跡への影響はない.

次に , 推定された IPD 内の利用者の位置に対応した仮想環境に , 人物領域をテ

クスチャマッピングした平面を配置することで相手にビデオアバタを提示する.

26

ここで遠隔地のスクリーンには自分のビデオアバタが 2 次元で表現されている.

より臨場感の高い提示をするため, 仮想環境上の自分と相手を結ぶ直線に常に垂直になるように平面を回転させる.

以上の処理により, IPD 内の利用者の移動に追従して仮想環境内の位置を変更

するビデオアバタの生成と提示が行える.

27

4. 利用者に追従するビデオアバタを用いた共有仮想環
境の構築
4.1 システム構成
提案手法の有効性を確認するため試作したシステムの概要を図 19に示す. 今回の試作システムでは同様の IPD を 2 台用意することが出来なかったため, 地点 Aには IPD を配置し , その中に利用者 A がいるものとする. 地点 B には通常の計算機を配置し , 利用者 B は CRT を通して提示されるている共有仮想環境を見る

ものとする. 共有仮想環境には [37] で報告されているものを使用し , 利用者 B はジョイスティックを用いて視点移動が可能である. 表 1に地点 A で使用した機器
を , 表 2 に地点 B で使用した機器を示す.

Onyx2
IR2

A

IPD
A地点

ネットワークジョイスティック

Onyx2
IR2

A

B

CRT

B地点
図 19 IPD 内の利用者に追従するビデオアバタシステム

28

本システムにより, 地点 A では IPD 内のスクリーンの直前に置かれた 3 台の首振りカメラを用いて IPD 内の利用者 A を追跡し , 現実環境内の利用者 A の位置を推定することによって対応する仮想環境内に利用者 A のビデオアバタを配置
する. 地点 B では , 利用者 B は視点位置・方向の変化をジョイスティックを用いて入力し , その値を計算機に入力する. 入力された値により利用者 B は仮想環境内を移動し , 利用者 A の移動に伴って仮想環境内の利用者 A のビデオアバタが正しく移動しているかを確認する.

首振りカメラ計算機

表 1 地点 A で使用した機器
EVI-D30(NTSC)23

Onyx2：(In niteReality222，
SGI 製
8CPUs MIPS R10000，250MHz)

表 2 地点 B で使用した機器

ジョイスティック
ノートパソコン

計算機

SONY 製SideWinder PrecisionPro
Microsoft 製
FMV-BIBLO NSVIII23X
FUJITSU 製
Onyx2：(In niteReality222，
SGI 製
16CPUs MIPS R10000，195MHz)

29

4.2 実験
本研究では , 提案手法の有効性を確認するため以下の 2 つの実験を行った.

1. IPD 内の位置が既知である地点に利用者が移動したとき, その地点と首振りカメラによって求められた利用者の位置との距離を推定誤差として定量的に評価する.

2. 首振りカメラを用いて IPD 内の利用者を追跡し , 推定された現実環境に対応する仮想環境に , 利用者のビデオアバタが配置されているかを主観的に評価する.

4.2.1 首振りカメラによる人物位置推定
定量的な評価実験として , CYLINDRA 内の利用者は予め定められた地点計 21

点にそれぞれ計 5 回ずつ移動し , 首振りカメラによって人物位置を推定する. 図 20に実験に用いた地点 A から地点 U と , 各地点について首振りカメラによって得られた推定位置を 2 で示す. このときの各地点は , 図 20にあるように CYLINDRAに座標を定めた時, 地点 A(-1,2), B(0,2), C(1,2), D(-2,1), E(-1,1), F(0,1), G(1,1),

H(2,1), I(-2,0), J(-1,0), K(0,0), L(1,0), M(2,0), N(-2,-1), O(-1,-1), P(0,-1), Q(1,1), R(2,-1), S(-1,-2), T(0,-2), U(1,-2) の 21 点であり, 単位はメートルである.
このとき, 各地点についての人物位置推定の誤差は , 5 回の移動に対して人物位置を測定し , 首振りカメラによって求められた推定位置から予め定められた地点への距離の平均とする. 図 21は各地点での人物位置推定の誤差の分布を示したものである. この結果から , 全地点での平均誤差は 0.19m (最小:0.10m, 最大: 0.25m)
であった.

30

(m)
3.5
3
2.5

カメラ3

2

A

B

C

D

E

F

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

U

カメラ2

1.5
1
0.5
0
-0.5
-1
-1.5
-2
-2.5

CYLINDRA

-3
-3.5
-3.5

-3

-2.5

-2

-1.5

カメラ1
-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5 (m)

図 20 CYLINDRA 内の人物推定位置

(m)
3.5
3
2.5
2

カメラ3

0.21

0.16

0.18

0.23

0.17

0.18

0.17

0.18

0.25

0.17

0.10

0.21

0.25

0.21

0.13

0.14

0.13

0.23

0.24

0.25

0.22

カメラ2

1.5
1
0.5
0
-0.5
-1
-1.5

単位:m

-2
-2.5
-3
-3.5
-3.5

CYLINDRA
-3

-2.5

-2

-1.5

カメラ1
-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5 (m)

図 21 各地点の人物位置推定の誤差

31

4.2.2 仮想環境内の利用者の移動に追従するビデオアバタ
主観的な評価実験として, 利用者 A はあらかじめ決められたパスに沿って IPD

内を歩き, 利用者 B はそのパスに沿って利用者 A のビデオアバタが動いているかを確認する. 図 22は , パスに沿って動いた利用者 A の移動の軌跡を表している.
利用者 A は時間の経過に伴い (a) から (e) へ移動する. このときの仮想環境内における利用者 B の位置は固定とした . また, 図 23はそのときの実験の様子を示したものである.

実験によって得られた各画像を図 24に示す. 利用者 A の追跡時に得られた一連の首振りカメラの入力画像を図 24の左列に示す. ここで , 利用者 A の移動により選択されるカメラがカメラ 2 からカメラ 1 に変更されたため , 図 24(a) から図24(c) はカメラ 2, 図 24(d) から図 24(e) はカメラ 1 の画像である. また, 図 24の中央列は図 24の左列のカメラ入力画像をもとに, 背景差分処理によって得られた人
物領域の画像である. 図 24の右列は共有仮想環境上に配置された利用者 A のビ
デオアバタが利用者 B のディスプレイ上に表示されていることを示している. この図から, IPD 内の利用者 A の移動に追従して共有仮想環境のビデオアバタが移動していることが分かる.

32

カメラ3

カメラ2選択 (a)(b)(c)
カメラ1選択 (d)

(e) A

A

カメラ2

A

A
A

利用者A
B

利用者B
カメラ1
図 22 利用者の移動の軌跡

図 23 実験の様子

33

(a)

(b)

(c)

(d)

(e)
首振りカメラ
の入力画像

人物領域画像図 24 利用者に追従するビデオアバタ生成過程

34

利用者 B のデ ィスプレ イ

4.3 考察
定量的な評価実験では , 首振りカメラによる人物位置推定実験の結果, 図 20から誤差はあるものの利用者 A の位置がほぼ正確に推定されていることが確認できた.

CYLINDRA 全体における人物位置推定誤差の平均は 0.19m であり, CYLINDRAの直径 6m から考えて許容範囲内であると考えられる. ここで , この実験による誤差は , 首振りカメラによる人物位置推定の誤差と人間が指定された位置に立つ
ときの誤差の両方を含んだものであり, 人間が指定された位置に立つ誤差は 0.1m以下であることが分かった.
さらに , CYLINDRA の中心からの距離が大きくなる地点では, 位置推定の誤差が大きくなることが分かった. これは , 利用者とカメラの距離が近くなる場合, カメラのズームを固定しているため, 入力画像に占める人物領域の割合が大きくなり, カメラの光軸上から利用者が大きく外れることが考えられ , このとき誤差が拡大する. そのため, 人物領域画像から画像上の人物位置を求める処理と, カメラの光軸によってできる三角形から利用者の位置を推定する手法の再検討が挙げられる.

主観的な評価実験では , 首振りカメラによって人物追跡・人物位置推定を行う

ことで , IPD 内の利用者の移動に追従してビデオアバタが移動していることが確認できた. また, 相手にとってより自然なビデオアバタを提示するため, 仮想環境

内の利用者の位置関係から遠隔地の利用者の視線方向に近いカメラに切り替わっていることを実験により確認した. しかし , 今回試作したシステムでは , 首振りカメラが回転する時間間隔が大きくビデオアバタの動きに違和感を感じ , ビデオア

バタが現実感を失っている場合があった. 今後, 処理の改善や首振りカメラの回
転による人物の行動予測を行うことで, ビデオアバタの移動をさらに現実感の高いものにすることが考えられる. また, 仮想環境内に配置するビデオアバタ自体の大きさを, 選択されたカメラと利用者との距離から変更していない, またカメラのズームを固定しているためビデオアバタとして提示される利用者の身体の範囲が変化してしまうという 2 つの要因から遠隔地の利用者にとってビデオアバタの

大きさの変化における違和感を生じた. また, 選択されるカメラが切り替わる際,
カメラの方向が大きく異なる場合はカメラが切り替わる前後で視線方向が急激に35

変化してしまい, これも遠隔地の利用者にとって違和感を生じた. 今後, カメラと利用者との距離から提示するビデオアバタの大きさの変更, カメラのズームを利用し提示される利用者の身体の範囲を一定にする処理の検討, また配置する首振りカメラの台数と遠隔地の利用者の違和感のトレードオフの問題についての検討を行なう必要がある.

3.3 節でも述べたように, 今回使用した IPD のプロジェクタは斜め上方からの正面投影を行うため, 図 24(e) にあるように IPD 内の利用者がスクリーン付近に立つことで利用者の影がスクリーンに映り込み, その影も人物領域として抽出されてしまうという問題が生じた . しかし , 斜め上方からの投影のため, 画像上の人
物位置を求める際, 影が人物位置として求められることはなく, 人物追跡には影響はなかった. しかし , 精度の良いビデオアバタを生成するため, 得られた人物領域
から影の領域を取り除く処理が必要であることが考えられる.

36

5. おわりに本研究では , 遠隔地間の IPD 同士をネットワークを用いて結び , IPD の利用者は構築された共有仮想環境内での協調作業において, 円滑に作業が行われることを目的に , 臨場感の高いコミュニケーションのためのビデオアバタの生成と, その際必要となるビデオアバタの直感的な移動操作手法について提案した.

提案手法では, バーチャルリアリティの提示装置として開発が行われた各種の

IPD の中でも, 容易に大型化することができ, 利用者が IPD 内を歩き回ることができる曲面スクリーン型 IPD である CYLINDRA を用いた. この CYLINDRA 内に , 3 台の首振りカメラを配置し利用者を追跡することで, IPD 内における利用者の位置を推定し , 推定された位置に対応する仮想環境にビデオアバタを提示する.
提案手法により, IPD 内の人物位置に追従したビデオアバタの生成を行うことができた. 従来の仮想環境内の視点やアバタの移動操作手法において問題であると考えられた, 操作における違和感や直感的な操作を求めたため装置が大がかりになるといった問題は, 提案手法により解決された.
また, 提案手法の有効性を検証するためのシステムを試作し , 実験により IPD
内の利用者の位置に対応する共有仮想環境にビデオアバタが配置されていることを確認した.

今回試作したシステムは円筒型 IPD と CRT をネットワークを用いて結び仮想環境を共有したものであるため, IPD 同士を結び仮想環境を共有するシステムでの協調作業における提案手法の有効性の確認は行っていない. 今後の課題として ,IPD 同士を結んだ共有仮想環境における協調作業においての提案手法の有効性の検証が必要であると考えられる.

37

謝辞
本研究を進めるにあたり，多大なご助言, 御指導を頂きましたソフトウェア基礎講座 横矢 直和 教授 に厚く御礼申し上げます．
副指導教官として御助言を頂いた 像情報処理講座 千原 國宏 教授，並びに ソ
フトウェア基礎講座 竹村 治雄 助教授 に深く感謝致します．
また，本研究に関する貴重な助言や指摘を頂きました 山澤 一誠 助手, 神原 誠
之 氏に深く感謝致します．
本研究を進めるにあたり, あらゆる面において厳しくも暖かい指導を頂きましたソフトウェア基礎講座 町田 貴史 氏, NTT サイバースペース研究所 島村 潤 氏に深く感謝します.

日々の研究室の活動を支えて下さった福永 博美 女史, 北川 知代 女史に心より感謝申し上げます．
ソフトウェア基礎講座の諸氏には，本研究を進めるにあたり多大なる御協力を頂きました．ここに感謝の意を表します．

38

参考文献

[1] 野村 淳二, 澤田 一哉, バーチャルリアリティ, 朝倉書店, 1997.
[2] J. W. Barrus, R. C. Waters, and D. B. Anderson: \Locales and beacons:Ecient and precise support for large multi-user vitual environments,," Proc.
IEEE 1996 Virtual Reality Annual International Symposium, pp.204{213,1996.
[3] 谷前 太基: \没入型 VR システムの設計", 2000 画像電子学会年次大会企画
セッション 2, pp.47{56, 2000.
[4] J. Leigh, C. A. Vasilakis, and T.A.DeFanti: \Multi perspective collaborative
design in persistent networked virtual environments," IEEE 1996 Virtual
Reality Annual International Symposium, pp.253{260, 1996.
[5] J. Insley, D. Sandin, and T. DeFanti: \Using Video to Create Avatars in
Virtual Reality," the Visual Proc. SIGGRAPH `97, p.128, 1997.
[6] 小林 稔, 志和 新一, 北川 愛子, 市川 忠嗣, 一之瀬進: \体重移動によるサイバー
スペース内移動インタフェース", 信学論, Vol. J81-D-II, No.5, pp.933{943,1998.
[7] Y. Okada, and Y. Tanaka: \Collaborative Environments in IntelligentBox
for Distributed 3D Graphic Applications", Proc. Computer Animation `97
IEEE, pp.22{30, 1997.
[8] O. Hagsand: \Interactive Multiuser Virtual Environment in the DIVE System", IEEE MultiMedia, Vol.3, No.1, pp.30{39, 1996.
[9] K, Matsuda, R. Lea, Y. Honda: \Realizing Multi user interactive sharedspace using VRLM," 情処研報, Vol.96, No.120, pp.7{14, 1996.
[10] 廣瀬 通孝, バーチャルリアリティ, 産業出版, 1993.
39

[11] H. Bullinger, O. Riedel, and R. Breining: \Immersive Projection Technologybene ts for the Industry", Proc. International Immersive Projection Technology Workshop, pp.13{26, 1997.
[12] C. Cruz-Neira, D. Sandin, and T. DeFanti: \Surround-screen Projection
Based Virtual Reality : The Designed and Implementation of the CAVE",
Proc. SIGGRAPH `93, pp.135{142, 1993.
[13] 廣瀬 通孝, 小木 哲朗, 石綿 昌平, 山田 俊郎: \多面全天周ディスプレ イ(CABIN) の開発とその特性", 信学論, Vol. J81-D-II, No. 5, pp. 888{896,1998.
[14] T. Yamada, M. Hirose, and Y. Iida: \Development of Complete Immersive
Display COSMOS," Proc. VSMM'98, pp. 522{527, 1998.
[15] \http://www.solidray.co.jp/"[16] 柴野 伸之, 畑中 智行, 中西 弘泰, 星野 洋, 長濱 龍一郎, 澤田 一哉, 野村 淳
二: \都市環境ヒューマン メディアにおける球面型没入ディスプレ イ", 日本
VR 学会論文誌, Vol.4, No.3, pp.549{554, 1999.
[17] J. Leigh, T. A. DeFanti, A. E. Johnson, M. D. Browm and D. J. Sandin:\Global tele-immerion: Better than being there," Int. Arti cial Reality andTele-Existence, pp.10{17, 1997.
[18] 小山 慎哉, 葛岡 英明, 山口 将志: \多面ディスプレ イを用いた遠隔作業指示に関する研究 ", SICE'98 第 37 回学術講演会, pp.323{324, 1998.
[19] 鈴木 健治, 田中 健二, 鈴木 龍太郎 , 荒川 佳樹: \UNIVERS を用いたネット
ワーク実験計画", 信学会ソサエティ大会, A-16-8, 1998.
[20] 柴野 伸之, 中西 弘泰, Hareesh. P. V, 柏木 正徳, 澤田 一哉: \仮想都市構築支援
マルチモーダルプレゼンテーションシステム", 日本 VR 学研報, CSVC2001-1,
2001.
40

[21] \http://pc.sony.co.jp/sapari/"[22] 木島 竜吾, 小鹿 丈夫: \動作の再構成に関する研究", 日本 VR 学会論文集,
pp. 199{202, 1996.
[23] H. Ishii and B. Ullmer: \Tangible Bits: Towards Seamless Snterface between
People", Proc. ACM, CHI97, pp.234{241, 1997.
[24] 阿川 弘 , 徐 剛, 永嶋 美雄, 岸野 文郎: \仮想空間会議システムにおける顔画
像処理手法 - 顔の特徴情報の抽出と合成 ", 信学技報, IE89-69, 1989.
[25] 正木 茂樹, 田尻 哲男, 一之瀬 進: \サイバーコミュニケーションプラット
フォーム：インタースペース ", NTT R&D, Vol.47, No.4, pp. 453{458, 1998.
[26] 小木 哲朗, 山田 俊郎, 玉川 憲, 廣瀬 通孝: \共有没入空間におけるビデオ
アバタを用いた位置関係表示", 信学論, Vol. J82-D-II, No.10, pp.1826{1834,
1999.
[27] C. Schmandt: \Spatial Input/Output Correspondence in a Stereoscopic
Computer Graphic Work Station," ACM Computer Graphics, Vol.17, No.3,
pp. 253{261, 1983.
[28] G. W. Fitzmaurice, S. Zhai, and M. H. Chignell: \Virtual Reality for Palmtop Computers," ACM Transaction on Information Systems, Vol.11, No.3,
pp. 197{218, 1993.
[29] C. Lee, J. Lee, C. Park, and D. Kim: \Real-Time Gesture Recognition for
the Control of Avatar," 1997 日本 VR 学会大会論文集, pp. 242{245, 1997.
[30] H. Iwata, and K. Matsuda: \Haptic Walkthrough Simulator: Its Design
and Application to Atudies on Cognitive Map," Proc. the 2nd Int. Arti cial
Reality and Tele-existence, pp. 185{192, 1992.

41

[31] H. Iwata, and T. Fujii: \Virtual Perambulator: A Novel Interface Device
for Locomotion in Virtual Environment," Proc. IEEE 1996 Virtual Reality
Annual International Symposium, pp. 60{65, 1996.
[32] M. Slater, M. Usoh, and A. Steed, \Taking Steps: The In uence of a Walking
Technique on Presence in Virtual Reality," ACM Transactions on Computer
Human Interaction, Vol.2, No.3, pp. 201{219, 1995.
[33] 岩田 洋, 吉田 陽子: \無限平面を用いた仮想歩行装置", 日本 VR 学会論文集,
pp. 254{257, 1997.
[34] K. M. Fairchild, L. B. Hai, J. Loo, N. Hern, and L. Serra: : \The Heaven
and Earth Virtual Reality: Desigining Applications for Novice Users," Proc.
IEEE 1993 Virtual Reality Annual International Symposium, pp. 47{53,1993.
[35] 増野 智経, 斎藤 豪, 高橋 裕樹, 中島 正之: \WARAJI:CAVE のための足を用いた入力デバイス", 1999 信学総大, p.361, 1999.
[36] 本田 新九郎, 河野 隆志, 石橋 聡: \没入型ディスプレ イシステムにおけるインタフェースの提案", 2000 信学総大, p.334, 2000.
[37] 島村 潤, 山澤 一誠, 竹村 治雄, 横矢 直和: \全周実画像と CG モデルの合成による仮想環境の構成と提示", 信学技報, PRMU99-59, 1999.

42