NAIST-IS-MT9851050

修士論文

全周パノラマステレオ画像とCG モデルの合成による仮想環境の構成と提示

島村 潤

2000 年 2 月 14 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
島村 潤

審査委員：

横矢 直和 教授
千原 國宏 教授
竹村 治雄 助教授

全周パノラマステレオ画像とCG モデルの合成による仮想環境の構成と提示3
島村 潤

内容梗概
近年の計算機技術の進歩により，様々な仮想環境の構成が可能となってきている．その中でも都市や自然環境などを対象とした仮想環境の構成を行なうことは，
都市工学，交通工学，教育，アミューズメントなど広範囲での活用が期待される．
しかし，実用的な応用が可能な仮想環境の構成を目的とした場合，対象とする現実環境が広域になるとその三次元モデル化の難しさが指摘されている.
そこで本論文では，広域な現実環境の仮想環境への取り込みを目的とし，奥行き情報を持つ全周実環境モデルとコンピュータグラフィクス (CG) モデルを合成した仮想環境の構成法を提案する．提案手法では，利用者の操作対象範囲を利用者の近傍に限定し，操作範囲内の物体は利用者と仮想物体とのインタラクションを実現するために CG モデルで構成する．操作範囲外においては全周パノラマス
テレオ画像から全周距離画像を作成し，これを利用することによって，簡易で写実性が高く，両眼立体視と視点移動による運動視差を再現可能な 2.5 次元全周実環境モデルの構成を行なう．全周パノラマステレオ画像の取得には，ビデオレー
トで全周の情景が撮像可能な高分解能全方位ステレオ画像センサを使用することにより，現実環境内での動物体の再現を可能とする．また実験では，全周パノラ
マステレオ画像と CG モデルの合成により作成される複合現実環境を全周型景観
提示システムに立体映像で提示し，視野角を広げることにより，利用者に高い臨場感を与えることができることを確認した．
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT9851050, 2000

年 2 月 14 日.

iキーワード複合現実環境，ウォークスルー，物体操作，奥行き隠蔽関係，全周実環境モデル，
高分解能全方位ステレオ画像センサ

ii

Construction of a Virtual Environment Using
Panoramic Stereo Images and Computer
Graphics Models3
Jun Shimamura

Abstract
The recent progress in computer graphics has made it possible to constructvarious virtual environments such as urban or natural scenes. This paper proposes a hybrid method to construct a realistic virtual environment containing an
existing real scene. The proposed method combines two di erent types of 3-D
models: 3-D geometric model and 2.5-D texture-mapped model. 3-D geometricmodel is used to represent virtual objects in user's vicinity, enabling a user tohandle virtual objects. Texture mapped cylindrical 2 5-D model of a real scene isused to render the background of the environment, maintaining real-time rendering and increasing realistic sensation. Cylindrical 2 5-D model is generated fromcylindrical stereo images captured by an omnidirectional stereo imaging sensor. A
prototype system has been developed to con rm the feasibility of the method, inwhich panoramic binocular stereo images are projected on a cylindrical immersive
projection display depending on user's viewpoint in realtime.
::

Keywords:
mixed environment, walk-through, manipulation of objects, depth relationship,
cylindrical scene model, omnidirectional stereo imaging sensor
3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT9851050,

iii

February 14, 2000.

目 次

1. はじめに1

2. 関連研究と本研究の方針

32.1 複合現実環境とその要求
2.1.1 複合現実環境の構成に関する要求
2.1.2 複合現実環境提示機器に関する要求
2.2 複合現実環境の構成に関する従来手法
2.2.1 イメージベーストレンダリングによる複合現実環境の構成
2.2.2 ポリゴンベーストレンダリングによる複合現実環境の構成
2.3 複合現実環境の提示機器
2.4 本研究の位置付けと方針: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :14

3. 全周パノラマステレオ動画像の取得
3.1 全方位画像取得センサ
3.2 全周パノラマ画像の色調補正

3
3
4
5
5
7
10
11

: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :4. 2.5 次元全周実環境モデルの構成

4.1 全周パノラマ背景画像の生成
4.2 全周パノラマ距離画像の生成
4.2.1 全周パノラマステレオ画像におけるステレオ投影系
4.2.2 上下全周パノラマ背景画像からの奥行き推定
4.3 全周パノラマ距離画像からの 2.5 次元全周実環境モデルの生成
4.4 2.5 次元全周実環境モデルへの動物体の配置
4.4.1 全周パノラマ動画像からの動物体領域抽出
4.4.2 動物体領域内での奥行き推定

14
16

22

: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : :

: : : : : : : :: :: : : : : : : : : : : : :: : : : : : : : :: : : : : : : : : : : : : : : :

22
24
25
26
29
31
32
33

5. 複合現実環境の構成と提示

36

環境の構成

36

5.1 全周パノラマステレオ動画像と CG モデルの合成による複合現実: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :iv

5.1.15.1.2
5.1.3

実験環境 : : : : : : : : : : : : : : : : : : : : : : : : : : : :実験: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :考察: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2 全周型景観提示システム CYLINDRA への提示
5.2.1 全周型景観提示システム CYLINDRA
5.2.2 CYLINDRA での複合現実環境の提示
5.2.3 実験
5.2.4 考察

: : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

36
38
47
48
48
50
50
52

6. おわりに

54

謝辞

55

参考文献

56

v

図 目 次

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

Aspen Movie-Map
peloton バイスクルシミュレータ: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :一般的なステレオ投影系 : : : : : : : : : : : : : : : : : : : : : : :CAVE の原理図: : : : : : : : : : : : : : : : : : : : : : : : : : : :本手法における複合現実環境の構成概念: : : : : : : : : : : : : :高分解能全方位ステレオ画像センサの構成 : : : : : : : : : : : : :高分解能全方位ステレオ画像センサの外観 : : : : : : : : : : : : :動画像取得システムの構成 : : : : : : : : : : : : : : : : : : : : : :全周画像内における各カメラ画像座標の関係 : : : : : : : : : : : :2 5 次元全周パノラマ実環境モデル構成の処理手順:

全周パノラマ背景画像の生成: : : : : : : : :: : : : : : : : : : : : : : : : : : : :全周パノラマステレオ画像におけるステレオ投影系 : : : : : : : :奥行き推定の処理手順: : : : : : : : : : : : : : : : : : : : : : : :三次元モデルの構成における三角パッチの割り当て : : : : : : : :動物体領域の 2.5 次元モデル化処理: : : : : : : : : : : : : : : : :三枚のフレームによる動物体領域の抽出
ステレオ画像上での領域の入れ替わり: : : : : : : : : : : : : :: : : : : : : : : : : : : : :全周パノラマステレオ画像に対する動物体領域の座標系 : : : : : :屋外撮像システムの概要 : : : : : : : : : : : : : : : : : : : : : : :全周パノラマステレオ動画像 (色補正なし ) : : : : : : : : : : : : :全周パノラマ画像の色調補正: : : : : : : : : : : : : : : : : : : :上下全周パノラマ背景画像 : : : : : : : : : : : : : : : : : : : : : :全周パノラマエッジ画像 : : : : : : : : : : : : : : : : : : : : : : :全周パノラマ視差画像: : : : : : : : : : : : : : : : : : : : : : : :2 5 次元全周実環境モデルのワイヤーフレーム表現
2 5 次元全周実環境モデルへの上部全周パノラマ画像のマッピング: : : : : : : : :

:

6
7
9
11
13
16
17
18
19
23
24
25
27
30
31
33
34
35
37
39
41
42
42
42
43

:

結果

: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :27 2 5 次元全周実環境モデルと CG モデルの合成結果:

vi: : : : : : : : :4344

28 複合現実環境内での移動 (中央：撮像地点)
29 上部全周パノラマ画像 (a 〜 c) と動物体領域 (d)30 2 5 次元全周実環境モデルへ動物体領域を配置した様子 (上： 撮像
地点位置，下： 鳥瞰図)31 利用者の移動に伴うモデルの更新
32 操作範囲内の物体の三次元形状復元
33 全周型景観提示システム CYLINDRA の構造
34 複合現実環境提示システムの構成
35 全周型景観提示システムへの複合現実環境の提示: : : : : : : : : : : : :: : : : : : : : : :

44
45

:

: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : :

46
48
49
50
51
52

表 目 次

1

広域複合現実環境の構成におけるイメージベーストレンダリングとポリゴンベースの関係 : : : : : : : : : : : : : : : : : : : : : : :2
3
4

高分解能全方位ステレオ画像センサ構成機器 : : : : : : : : : : : :屋外撮像システムの構成機器: : : : : : : : : : : : : : : : : : : :使用機器 (複合現実環境提示システム)vii: : : : : : : : : : : : : : :

12
37
37
51

1. はじめに
近年，計算機能力の急速な向上にともない，高品質なコンピュータグラフィク
ス (CG: Computer Graphics) の描画が行なえるようになってきている．CG を用
いて仮想的な環境を構成し，利用者にあたかも現実にいるような臨場感の高い体験を提供する技術はバーチャルリアリティ(VR: Virtual Reality) と呼ばれ，建築，機械等の設計，医療，アミューズメントなど様々な分野で用いられている．

VR は例えば次のような特徴を持つ [1]．
1. 自らが仮想環境に入り込み，視線・視点を変えるウォークスルーを行なう
ことにより，様々な方向から仮想環境を見ることができる．

2. 仮想物体操作により，物体に触れたり，動かしたりできる．また，仮想物
体との衝突や，重さを感じることができる．

3. ヘッド マウントディスプレイ (HMD: Head Mounted Display) や液晶シャッタ眼鏡のような眼に装着する器具や，ホログラフィーやレンチュキラ方式を用いた裸眼の立体視により，立体感のある世界を体験できる．

4. 通信回線を通じて，遠隔地の人と仮想環境で協同作業をしたり，仮想人物
や仮想生物と対話することができる．
このような VR 技術の特徴から現在，都市全体を仮想環境に取り込み，都市設計
においてその一部のビルを立て直した時，全体の景観がどのようになるかなどの景観設計や，災害が発生した時の被害想定や避難訓練への応用が期待されている．
これを目的として，都市全体あるいは自然環境のような広域環境を三次元モデ
ル化し仮想環境の構成を行なうことは，存在する物体数が多いことや形状が複雑であるという理由により，多大な労力を必要とする．また，たとえその三次元モデル化がなされたとしても表示計算処理量が増大し，VR 技術において利用者に自然な感覚を与えるために重要な，実時間での提示画像の更新が難しくなる．
このような CG 技術による広域環境の三次元モデル化の困難さを解決するた
めに，現実環境の情報を仮想環境に融合した複合現実環境の構成が注目されている [2]．例えば，仮想環境の背景に実写画像を用いる手法が提案されている．こ1

れは，街並みや風景などの背景を実写画像で表現することにより，実写画像で取り囲まれた仮想環境を構成している [3, 4]．しかしこれらの手法では，背景上での物体同士の奥行き隠蔽関係を再現することは困難であり，視点移動時に臨場感に欠けるという問題がある．そこで様々の視点から撮影した実写画像を利用して，三次元モデルを用いずに任意の視点からの映像を合成する研究もされている[5, 6, 7, 8, 9, 10, 11, 12]．これらの手法は三次元モデルが必要ない点や，対象の複雑さに依らず計算処理速度が一定である点など ，従来の手法にはない特徴を持っているが，自由なウォークスルーの実現には膨大な画像枚数が必要となることや，利用者による仮想物体の操作の実現が難しいといった問題がある．
そこで本論文では都市や自然環境を取り込むことによって景観設計や避難訓練などが可能である広域な仮想環境の構成を目的とし ，写実的でかつ物体操作やウォークスルーなどのインタラクションが可能な複合現実環境の構成法を提案す
る．本手法では全周の実写画像から奥行き情報を保持する全周実環境モデルを作成し，高い写実性と現実環境の奥行き関係の再現を図る．また，これに詳細な形状を持つ CG モデルを合成することによって，利用者による物体操作を可能とする．また，構成される複合現実環境を，利用者の周囲を取り囲む全周型景観提示システムに立体映像で提示することにより，利用者に高い臨場感を与える．
以下，2章では広域な複合現実環境の構成に関する従来手法と，本研究の方針について述べる．3章では現実環境の全周の動画情報を取得するために本研究で用いた高分解能全方位ステレオ画像センサの紹介と，得られた全周パノラマステ
レオ画像の色調補正手法について述べる．4章では 3章で得られる全周パノラマス
テレオ動画像からの 2.5 次元全周実環境モデルの作成法とその中での動物体の再現手法を説明する．5章では実際に屋外で撮影した全周パノラマステレオ動画像に提案手法を適用し，全周実環境モデルと CG モデルの合成された複合現実環境を構成した結果と，全周型景観提示システムへの実装について述べるとともに，実験結果に対する考察を行なう．最後に 6章で本論文のまとめを行なう．

2

2. 関連研究と本研究の方針
CG 技術による現実環境の三次元モデル化の困難を解決するために，現実環境の情報を仮想環境に融合した複合現実環境の構成が注目されている [2]．
本章では，2.1節で複合現実環境の応用例とその要求について考察する．2.2節
では複合現実環境の構成の従来手法とその考察について述べ, 2.3節では複合現実
環境の提示機器の従来手法とその考察について述べる．また 2.4節では，本研究の位置づけと方針について述べる.
2.1 複合現実環境とその要求
複合現実環境は，遠隔地の映像を仮想的に利用者に提示し，その場にいるような感覚を与えるテレプレゼンス [4, 13]，現実環境と同様のモデルを持つ仮想環境を構成し，建築物を建設する前に景観に与える影響を事前に評価する景観シミュ
レーション [14]，CG で作成した環境内の背景として実写画像を取り込み利用者に高い臨場感を与えるゲーム・アミューズメントなどに利用されている.

このような応用技術において利用者に高い臨場感を与えるには，構成される複合現実環境が高い品質を持っていることが求められる．また，いかに高品質な複合現実環境が構成されたとしても，それを利用者に提示する機器が低品質なものであれば，利用者に与える臨場感が損なわれる．そのため，構成された複合現実
環境を利用者に提供する際の提示機器についても，検討する必要がある.

そこで，2.1.1節では複合現実環境の構成に関する要求について, 2.1.2節では複合現実環境提示機器に関する要求について，それぞれ考察を行なう.

2.1.1 複合現実環境の構成に関する要求
複合現実環境では以下の 3 つの事柄が要求される.

 実時間性
利用者の環境に対する様々な要求に対して，違和感を与えない程度の時間での環境提示が求められる．利用者に自然な感覚を与えるには少なくとも10frame/sec 程度の提示画像更新が必要であると言われている [15].
3 高い写実性構成される環境では，視点移動に伴う運動視差や物体同士の奥行き隠蔽関係が現実環境同様に再現されていることが望ましい．また，没入感を高め
るには精細に現実環境が表現される必要がある.

 インタラクション構成される環境では利用者の視点移動 (ウォークスルー) や物体操作等が実現がされていることが望ましい.

しかし，対象とする現実環境が自然環境や都市環境など 広域屋外環境になると，
上記 3 つの条件を同時に実現することは現在の技術では難しくなる.

2.1.2 複合現実環境提示機器に関する要求構成される複合現実環境の提示方法も利用者に与える臨場感に大きく影響する．
視覚情報は人間が感覚器から獲得してくる情報の中の約 8090%を占めると言われており，構成した環境を提示する際には利用者に高い臨場感を与える提示機器の選択が必要となる．視覚的な臨場感を与える要因としては以下の 3 つが挙げられる [16].

 広い視野人間の視野角以上の映像を提供することにより利用者に高い臨場感を与えることが出来る．

 奥行き感利用者は三次元形状を認識することによって，より高い臨場感を得る．そのため，両眼立体視が実現されることが望ましい.

 高い解像度
利用者の臨場感を損なわせないためには高品質な映像が提供されることが
望ましい.

4

これらは全て満たされることが望ましいが，とりわけ広い視野に関する要素は臨
場感の生成において最も重要であると言われている.

2.2 複合現実環境の構成に関する従来手法
複合現実環境の構成に関しては 2.1.1節で述べたような要求があるが，その構成法は，近年注目を集めているイメージベーストレンダリングによる構成と従来から利用されているポリゴンベースによる構成に大別される．本節では広域な現実
環境を対象とした複合現実環境の構成といった観点から 2.2.1節でイメージベース

トレンダリングについてそれら要求が満たされているかどうか，また同様に 2.2.2
節ではポリゴンベースについてその要求が満たされているかど うかを考察する.

2.2.1 イメージベーストレンダリングによる複合現実環境の構成
イメージベーストレンダリングとは三次元モデルを使用せず，実写画像入力に対する処理によって写実的なレンダリング画像を合成する手法である．画像の処理に要する計算量は少ないため，実時間性が求められる環境の表現に適している．
また情景の複雑さに依存しない方式であるため，一定の計算処理量で画像を合成できるという長所を持つ．しかし，Adelson らが提案する Plenoptic Function[17]で示されているように，空間中の光線は三次元座標と光線の方向，波長，時間の7 次元関数で表現されるため，全ての光線を記述することは膨大な画像枚数の蓄積を要し実現自体が非現実的となる．そのためイメージベーストレンダリング手法を用いて現実環境を構成する場合にはなんらかの制限が設けることが多い.

例えば Lippman らによる Aspen Movie-Map[5] では図 1 のように，あらかじめ撮影した多経路の動画像をレーザディスクに蓄積し ，利用者の指定した方向と位置に応じて切替えて表示することによりインタラクティブな提示システムを実現しているが，利用者の視点移動はあらかじめ撮影を行なった経路のみに限られる．同様に円筒面もしくは半球上に映像を投影する QuickTime VR[3] やVirtualDome[4] では視線方向の自由度しか提供されず，視点位置の移動は許されない．この問題を若干ながら解決する手法が Extended VirtualDome[18] である．
Extended VirtualDome では VirtualDome に奥行き情報を付加することによって
5

レーザディスク1

レーザディスク2

図 1 Aspen Movie-Map

視点移動による運動視差を再現している．しかし距離測定精度の低さから室内環
境のみで有効なシステムである.

また，広域な環境を考慮した複合現実環境の構成も行なわれている．谷川ら [19]は，実写画像を奥行きのずれが微小な領域に分割し，視点位置からの距離に応じてその領域を平面として配置するレイヤー方式と呼ばれる手法を用いている．この手法により簡易的な三次元空間を構成し，それを地点によって切替えることにより蓄積すべき画像枚数の削減を行なっている．また宮内ら [20] は空間を近景と遠景に分割して表現している．近景では，複雑な構造をもつ建築物等は複数のテ
クスチャ画像を組み合わせることによって構成され，その他の近景物体は常に利用者方向を向くように回転する平面で構成される．また遠景は円筒面で近似している．これらの手法はいずれも環境内でのウォークスルーを違和感無く行なうことが重視されており，物体の操作等は実現されていない.

仮想物体の操作を考慮した研究としては peloton[21] システムが挙げられる．

peloton システムでは図 2のように CG で三次元モデル化された仮想環境の前に一枚の動画像を表示し，利用者の視点位置に応じて 4 面もしくは 8 面から構成され
6

る錐台形状に変形させることによって疑似的に利用者の視点移動に対する奥行き感を表現している．この環境内では，利用者は CG で構成された仮想自転車を自由に操作し，広い範囲の移動が許される．しかしモデル化された仮想環境のうち実写画像の部分は平面であるので，物体同士の奥行き関係が再現されていない.
実写画像
消失点

CGモデル

図 2 peloton バイスクルシミュレータ

以上のように，イメージベーストレンダリングによる現実環境の仮想化は，実写画像の利用により写実的な描写が実現され，対象とする現実環境の複雑さに依存せず計算量が一定であるといった特徴がある．しかし，蓄積画像枚数の制限により自由な視点位置からの観察が困難である，物体の幾何情報を持たないため仮想物体の操作の実現が困難である，といった 2 点が問題となってくる.

2.2.2 ポリゴンベーストレンダリングによる複合現実環境の構成
仮想環境での物体表現には，従来からポリゴンと呼ばれる多角形を用いて表現する方法がよく利用されている．ポリゴンにより構成された仮想環境では，物体は全て三次元座標を持つ頂点と辺のデータで表現されるため物体の形状操作，任7

意の視点移動と奥行き関係の記述が容易に実現される．また，モデル化された CG物体に実写画像をテクスチャマッピングすることにより物体の写実性を高めることができる [22]．しかし，現実環境を忠実に再現するため詳細なモデル化を行なうと，必要なポリゴン数が膨大となるためレンダリングプロセスの計算量が増大
し実時間でのシーン更新が難しくなるといった問題がある．また複雑な形状を多く含む現実環境のモデル化には多大なる労力と経験を要することも問題となる.
そのため現実環境中に存在する物体に関しては各種計測機器やコンピュータビ
ジョンの技術を活用することによってモデリングプロセスの労力削減が図られている．その一つの方法としてレンジファインダを用いて現実環境の三次元情報を取得し，モデル化を行なう手法がある [23, 24, 25]．中川ら [23] は光飛行時間測定型の全周距離画像計測システムを用いて全周の距離情報を取得し，それを背景としたモデルと CG で構成した前景モデルを合成し，インタラクティブな複合現実環境を構成している．しかしながら，全周距離画像計測システムでは全周の奥行き計測に数日かかり，照明条件の変化や物体の移動が頻繁におこる屋外環境には適さない．金丸，山田 [24, 25] らは現実環境を遠景，中景，近景に分けて考え，
遠景は平面で，中景はレーザ距離計による距離データを，また近景は CG モデル

による構成を行なうことによってインタラクティブな共有空間構成を目指している．この手法では見た目の臨場感を満たすことを目的としており，表現される現実環境は疑似的な再現のみにとどめられている.
以上のようなレンジファインダを用いて現実環境を取り込む手法は密で高精度な三次元情報を取得できる反面，対象への影響から計測環境が限定される．また，センシング能力の限界から測定可能な範囲がセンサの近傍に限定されるといった問題がある．そのため広域な環境の距離情報取得は困難となる.
計測範囲が限定されずに現実環境の距離情報を取得できる方法としては，カメラ等で撮影した画像をもとに対象までの距離を測定する手法がある．この代表的な例としてはステレオ法が挙げられる．ステレオ法では図 3のように，異なる位置に設置した 2 つのカメラで撮像した 2 枚の画像上での物体像のずれから三角測量の原理に基づき物体までの距離を推定する.

ステレオ法の原理を利用した手法として，複数の画像から対応する点を数十 

8

対象物体

左画像

右画像

投影中心

投影中心

図 3 一般的なステレオ投影系
百点，手で入力することにより三次元モデルを作成するもの [26] や複数の線分の入力に対してあらかじめ準備しているプリミティブ形状の当てはめを行ない，建築物等を精度良く作成する手法 [27] がある．また，金出ら [28] は室内もしくはド ームに複数のカメラを設置し，多数の動画列からマルチベースラインステレオ
法 [29] を用いることにより，動的な物体の三次元形状の再構成を目指している．
この手法は複数のカメラの設置が必要となるため対象とする現実環境が室内に限定されるが，動く対象物を含む現実環境のモデル化を自動で行なうといった点で注目されている.

広域な屋外環境をモデル化の対象とした研究としては，曽山ら [14] の手法が挙げられる．曽山らはステレオカメラを用いて撮像した画像から領域を切り出し，手作業によって求めた距離を用いて三次元空間中に平面として配置することによって現実環境の表現を行なっているが，物体を全て平面で表すことや，手入力による奥行き情報の付加など課題は多い．そこで納富ら [30] は車両のような移動体から得られる動画像からモーションステレオを適用することにより都市環境の構成を図っている．この手法では環境全てをひとまとまりのモデルとして構成するた

9

め，物体等の操作は実現されない.
以上述べてきたように，ポリゴンベース法によって広域な現実環境の表現を行
なうには，三次元モデル化のコストの面からコンピュータビジョン技術の利用が試みられている．現実環境を対象とした三次元モデル化はコンピュータビジョン
技術の主要課題であり，従来から様々な手法が提案されている．しかし，自然・都市環境のような屋外環境では，照明や背景などの環境の制御が難しく，従来の手法をどのように適用するかが重要となってくる.

2.3 複合現実環境の提示機器
視覚についてのディスプレ イ開発は従来から特に重視されており，現在様々な機器が開発されている．以下では提示機器の例について挙げる.

 ヘッド マウントディスプレ イ (HMD: Head Mounted Display)
頭部に装着するヘルメット型の装置で 1968 年に Sutherland[31] により提案されて以来，現在でも広く使用されている．利用者に与える没入感が高く，立体視が可能である．しかし利用者に与える画角の狭さや，解像度の低さが問題として挙げられる.

 多面ディスプレ イ
平面の組み合わせにより構成されるディスプレ イは多面ディスプレ イと呼ばれる．代表的な多面ディスプレ イを使用した提示機器としてはイリノイ大学の CAVE が挙げられる [32]．CAVE は図 4のように約 3m 四方のスクリーンに立体映像が投影され，視界 270 °の映像体験が可能である．多面

ディスプレ イの使用は，視野角が広いため高い臨場感を得られることに加え，複数人での観測が可能といった利点を持つ．その他の多面ディスプレ
イとしては CAVE を 5 面に拡張した CABIN[33] が挙げられる．多面ディス
プレ イ内では視点追従が正確に行なわれないと，投影された映像に不連続を伴う幾何学的な歪みを生じ，違和感が生じるといった問題がある.

 円筒面・球面ディスプレ イ

10表示面の曲率が一定でありスクリーンの折れ曲がり部が存在しないディス
プレ イは，その形状に応じて円筒面もしくは球面ディスプレ イと呼ばれる．
円筒面・球面ディスプレ イ [34, 35, 36] では利用者に与える視野角が広いた
め高い臨場感を与えれることに加え，複数人での観測が可能である．また，視点追従が正確に行なわれない時でも，曲率が一定であるため投影された映像に不連続を伴う幾何学的な歪みは発生しないという特徴を持つ.

反射鏡

視点追従表示のための磁気センサ

ステレオプロジェクタ

3m x 3m スクリーン

立体視用シャッタ眼鏡
図 4 CAVE の原理図

以上のように提示機器はそれぞれの長所，短所があるため描画する複合現実環
境と目的に合わせて選択を行なう必要がある.

2.4 本研究の位置付けと方針
本研究では，利用者に高い臨場感を与えるために重要な要素である写実性，実時間性，インタラクションを満たす仮想環境の構成を目的とする．またその対象には，仮想環境を構成することによって様々な応用が考えられる自然環境・都市空間などを考え，現実環境を仮想環境に取り込んだ複合現実環境の構築を試みる．
複合現実環境の構成としては前述したようにイメージベーストレンダリングとポ11

リゴンベースに分けられ，それらの関係は表 1 のように表される．イメージベー
ストレンダリング法では広域な複合現実環境構成の場合，蓄積画像枚数の問題があり奥行き関係の描写や，インタラクションの実現は困難である．ポリゴンベー
スではポリゴン数の考慮がなされれば複合現実環境の構成における要件が全て満たされる．そこで提案手法ではポリゴンベースの利点を生かした複合現実環境の構成法をとる.
表 1 広域複合現実環境の構成におけるイメージベーストレンダリングとポリゴ
ンベースの関係
イメージベースト
レンダリングポリゴンベース
手作業

モデル化の容易さ

画像枚数が膨大構築される環境の
実時間性

情景の複雑さに
依存しない

奥行き関係

膨大な画像枚数が
必要となる

高品質な
レンダリング

実写画像の利用

写実性

インタラクション

膨大な画像枚数が必要となる

各種計測機器
コンピュータビジョン技術
ポリゴン数に依存
容易
ポリゴン数・
レンダリング技術に依存容易

本研究では，仮想環境で物体操作が可能な範囲を利用者近傍に限定することで，利用者の物体操作範囲と範囲外で異なる構成法をとる [37, 38]．それにより構成環

境提示の実時間性維持を図る．提案手法では図 5のように，利用者の近傍を CGで作成した詳細な幾何情報を持つモデルで，またそれ以外の領域は簡易的な 2.5
次元全周実環境モデルで構成する．2.5 次元全周実環境モデルは 12 台のカメラと六角錐ミラーを用いた高分解能全方位ステレオ画像センサ [39] により得られる高解像度の全周パノラマステレオ動画像から構成する．全周実環境モデル構成の際には，利用者に両眼立体視と視点移動に伴う運動視差を表現するため，単純な円筒面ではなく距離情報を付加した円筒状の 2.5 次元モデルを構成する．現実環境

12

の距離情報の推定には全周パノラマ画像間でステレオ視の原理を用いて行ない，構成した全周実環境モデルに全周パノラマ画像をテクスチャマッピングする．ス
テレオ視の利用の際には，二次元画像から三次元形状を推定するという逆問題による本質的な難解さと，最終的に構成するモデルには全周パノラマ画像をテクス
チャマッピングするため詳細な形状が必要とはならないといった理由から，簡易的な奥行き推定にとどめる．また，現実環境内での動物体を 2.5 次元で再現できるようにする.

一方，利用者の操作が頻繁に起こると思われる物体に関しては CG で作成した

詳細な幾何モデルを利用する．これと全周実環境モデルを最終的に合成することにより，現実環境同様の高い写実性と，仮想物体と利用者とのインタラクションが同時に実現可能な複合現実環境の構成を行なう．また全周実環境モデルには奥行き情報を付加するため，利用者は現実環境との奥行き隠蔽関係を考慮した様々な仮想物体の形状変形や配置が行なえるようになる．また，全周実環境モデルとCG モデルを合成した複合現実環境の提示機器には複数人での協同作業といった応用を考え円筒面ディスプレイを選択し，視野角を広げることにより利用者に高い臨場感を与えることを図る．
操作範囲( CGモデル )

利用者
操作範囲外
(2.5次元全周実環境モデル)

図 5 本手法における複合現実環境の構成概念

13

3. 全周パノラマステレオ動画像の取得
現実環境の三次元モデル化の困難さを解決するため，画像センサから得た実写
画像を背景画像として仮想環境内にテクスチャマッピングされることが多い．これによって写実性の高い仮想環境の構成がなされる．しかし，仮想環境内での背景として平面を用いた場合，運動視差や物体同士の奥行き関係の再現が困難となる問題がある．また，一部方向の画像提示のみでは利用者に与える視野角が狭く，臨場感を与えることができない．そこで本研究では全周のステレオ撮像が可能なセンサを用いることによって，実写画像に奥行き情報を付加した 2.5 次元全周実環境モデルを作成し，これらの問題の解決を図る．以下 3.1節では全方位の情景が取得可能なセンサの紹介と，本研究で使用する高分解能全方位画像センサについて述べる．また，3.2節では得られる全周パノラマステレオ画像での色調の補正について述べる.

3.1 全方位画像取得センサ
本研究では写実性の高い 2:5 次元全周実環境モデルを生成するために，画像センサを用いて撮像された現実環境の画像を用いる．この目的のために使用される画像センサには以下のような要求があげられる．

1. 同一視点からの全周画像が得られること．
全周実環境モデルは利用者の全周をとり囲むデータとして生成される必要がある．このため，入力用の画像センサも視点回りの全周の情報を獲得できる必要がある.

2. ステレオ撮像が可能であること．
全周実環境モデルの生成のためには，奥行き情報を獲得する必要がある．このため入力用の画像センサはステレオ撮像が可能であることが必要である．

3. 高分解能な撮像が可能であること．
全周実環境モデルの写実性はテクスチャ画像の分解能に大きく依存する．このため入力用の画像センサは高解像度の画像を撮像できる必要がある．

14

4. ビデオレートでの撮像が可能であること．
全周実環境モデルでは動物体が存在する現実環境をも再現する必要がある．
このため入力用の画像センサはビデオレートでの撮像が可能でなければならない．
全周の画像を取り込む方法としては，複数の撮像画像を組み合わせて全周画像を生成する方法と一台のカメラで全周の画像を一度に取り込む方法に分類される．
前者の入力センサには回転カメラ [40] やスチル写真 [3] が挙げられ，後者には魚眼レンズ [41] やミラーの反射像を用いて 1 つの CCD カメラから全周画像を取得するセンサ [42, 43, 44, 45] が挙げられる．しかし前者の入力センサでは画像の更新レートの点で問題があり，後者ではセンサの分解能に制限があった．
そこで本研究では現実環境の取得センサとして先に述べた 4 つの要求を満たす
高分解能全方位ステレオ画像センサを使用した．本研究で用いる全周ステレオ画
像センサ [39] は全周画像を取得するために，上部構造では鉛直上向きの六角錐ミラーとその上に鉛直下向きに配置した 6 台の CCD カメラで構成されている．図6に高分解能全方位ステレオ画像センサの構成を，図 7にその外観を示す． 図 6のように六角錐ミラーは底面が正六角形，側面が合同な二等辺三角形である．また，底面と側面は角度が 45 度になるように設計されている．6 台の CCD カメ
ラは六角錐ミラーの各側面に映った外界の鏡像を撮像できるように配置する．各
カメラの位置は，同一視点での透視投影画像を得るためにカメラのレンズ中心の虚像が一点に重なることが必要である．またステレオ撮像を行なうために上下対称に装置が設置されている．
次に図 8に動画像取得システムの構成を示す．図 8のように，同期の取れた画像の取得にはまずシンクジェネレーターにより同期信号を発生させ，これを各カメラに分配する．また同時に，同期信号をタイムコードジェネレーターに与え，同期のタイミングに合わせたタイムコードを生成し各ビデオデッキに生成したタイ
ムコードを供給する．ビデオデッキは接続したカメラの映像をタイムコードとともにビデオテープに記録する．このようにして全周の画像が時刻情報とともに，12 個のビデオテープにビデオレートで記録される．
15

CCD
カメラ
=

=
=

=

上部構造
仮想的な投影中心ピラミッド型ミラー

下部構造

側面図

俯瞰図

図 6 高分解能全方位ステレオ画像センサの構成

高分解能全方位ステレオ画像センサにより得られる各々のカメラからの映像は広角レンズに特有の大きな樽型歪みと cos4  現象による明度低下が生じる [46]．

それらの補正のため，樽型歪みには Tsai のキャリブレーション法 [47] を用いて幾何学的歪み補正を行ない，明度低下に関しては cos4  現象の補正を行なう [48]．

次に同時刻に撮像された上下各 6 枚の画像をつなぎ合わせ，円筒面に再投影する

ことにより縦の視差を持つ全周パノラマステレオ動画像を生成する [49, 50]．

3.2 全周パノラマ画像の色調補正
高分解能全方位ステレオ画像センサを用いて取得した全周パノラマ画像は 各
カメラごとに色調が異なることがある．これは各カメラごとの特性のばらつきによるものである．つまり，一般的に物体表面の放射輝度 L に対して撮像面上の放射照度 I は線形な関係を持つとされており
I

=

aL

16

+

b

(1)

図 7 高分解能全方位ステレオ画像センサの外観

17

シンク
ジェネレータ

分配器

タイムコードジェネレータ

高分解能全方位
ステレオ画像センサ

分配器

ビデオデッキx 12
同期信号

NTSC信号

図 8 動画像取得システムの構成となり，各カメラごとに式 (1) の a，b が異なっているためカメラ間での色調の違いが発生する．式 (1) の関係が成立していると仮定すると，カメラ間の色調の違

いは各カメラ画像を線形に変換して補正を行なうことが望ましい．また，後述の4.2.2節で使用する正規化相互相関はステレオ画像間同士の線形な輝度変換を考慮
した評価尺度であり，非線形に各カメラ画像の画素値を変換したステレオ画像を比較するより線形に変換を行なった画像同士を比較した方がより良い評価が可能になると推測される.

そこで，6 台のカメラから作成される全周パノラマ画像中の各カメラの画像 fk

に対して，線形な明度変換( ) = k k( ) + k

gk i; j

a f

i; j

b

k

=16

(2)

を適用し，画素値の変換を行なう．ak ，
bk の決定にはカメラ間の境界部分で画素
値の連続性を保つように決定する．しかし，決定される各カメラごとの ak の値
によってはそのカメラでの元画像の画素値のレンジが変換後に大きく変わり，変換された画像がコントラストの極端に高いものや低いものになることがある．そこでカメラ間の境界部分での色調が連続的であり，かつ出力画像の画素値が入力

18

画像の画素値に比べて大きく変化しないように ak ; bk を求める必要がある.
提案手法ではカメラ間の境界部分での画素値の連続性を表す制約項及び入力画
像と出力画像との画素値の差を評価する項から，正則化法の枠組によってエネル
bk を求める．図 9のように各カメラ
ギー関数の最小化問題を解くことにより ak ，からの画像が全周パノラマ画像中で幅 M ，高さ N を持つとすると，エネルギー関数 E は
E

P

S

=
=

+
1 6 M N f ( ) 0 ( )g 2
k
k

(3)
(4)

(1 )g2(5)

X XX
X Xf ( ) 0
= 1
P

S

g

MN

i; j

f

k=1i=1 j =1
6 N

N

k=1j =1

gk M; j

gk+1

i; j

;j

と表わせる．式 (4) は変換前の画素値と変換後の画素値の差が大きくならないよ

う評価する項でペナルティー項と呼ばれ，式 (5) は異なるカメラから得られる画像間の境界部分における画素値の連続性の制約条件を表し，安定化項と呼ばれる．
また，これらの重み付けをしているパラメータ  は正則化パラメータと呼ばれ，制約条件の強さを制御する ( > 0). ここで式 (3)，(4)，(5) に式 (2) を代入すると

fk-1 (M,1) f k (1,1)

f k (M,1) fk+1(1,1)

ijf k-1 (i,j)

f k (i,j)

fk+1(i,j)

f k-1 (M,N) f k (1,N) f k(M,N) fk+1(1,N)
図 9 全周画像内における各カメラ画像座標の関係

19

E

X X X f ( ) + 0 ( )g
X Xf ( ) + 0(1 ) 0
+ 1
1

=

6 M N

MN



ak fk i; jbk

fk i; jak fk M; jbkak+1 fk +1

k=1 i=1 j =1
6 N

N

k=1j =1

2

;j

bk+1

(6)

g2

となる．また，式 (3) の最小化問題の解に対する必要条件は

= 0;

@E
@ ak

k

= 0;

@E
@bk

k

=16

(7)

=16

(8)

であることから，全周パノラマ画像の性質上，k = 1 のとき k 0 1 = 6，k = 6 のとき k + 1 = 1 となることを考慮したうえで，式 (6)，(7) より
@E
@ak

=

X X 2 ( )f ( ) + 0 ( )gX(1 ) 0+ 1 [2 ( ) f ( ) + 0
1

M N

MN



i=1 j =1
NN

fk i; jfk M; jj =1

ak fk i; jbk

ak fk M; j

fk i; jbk

ak+1 fk+1

;j

bk+1

0 2fk (1; j ) fak01 fk 01 (M; j ) + bk 01 0 ak fk (1; j ) 0 bk g]

= 0

g

(9)

ただし k = 1  6を，同様に式 (6)，(8) より
@E
@bk

=

XX2f ( ) + 0 ( )gX(1 ) 0+ 1 [2 f ( ) + 0
1

M N

MN



i=1 j =1
N

N

j =1

ak fk i; jbk

fk i; jak fk M; jbkak+1 fk+1;j

0 2 fak01 fk 01 (M; j ) + bk 01 0 ak fk (1; j ) 0 bk g]

= 0

bk+1

g

(10)

ただし k = 1  6を得る．式 (9)，(10) より 12 個の未知変数 ak ; bk (k = 1  6) に対して 12 個の方程式が成立するため，ak ，
bk (k = 1  6) それぞれを求めることが可能である．こ20

の 12 元線形連立方程式について本研究では Gauss-Jordan の消去法 [51] を用い

bk (k = 1  6) と 式 (2)て未知変数 ak ; bk (k = 1  6) を求める．次に，求めた ak ，より，全周パノラマ画像中の各カメラで撮像された領域ごとに画素値を変更し色調の補正を行なう.
次に以上のようにして色調変換した全周パノラマ画像に対して，元のパノラマ
画像内での画素値のレンジと同様のレンジを持たせるため，画素値の線形変換を行なう．元のパノラマ画像内での画素値の最小値を Lmin 最大値を Lmax ，変換画像の画素値の最小値を lmin 最大値を lmax である時，変換画像の画素値 g を次の線形式で g 0 に変換する [52].
g

0 = Lmax 0 Lmin (g 0 l
lmax

0 lminmin) + minL(11)

最大値と最小値の決定の際，変換後の画素値がオーバーフローやアンダーフローを起こすことにより線形な変換が崩れることを避けるため，r，g，b 成分全ての画素内での最大値と最小値を選択する．
以上のような画素値の変換を行なうことにより，全周パノラマ画像における各カメラ特性のばらつきによる色調の違いを取り除くことができる．また，画素値の変換にはすべて線形な変換を行なうためカメラの線形なモデルが保たれること
となる.

21

4. 2.5 次元全周実環境モデルの構成
本章では，3章で取得した全周パノラマステレオ動画像を用いて，奥行き情報を考慮した写実性の高い実環境モデルを構成する手法を提案する．本手法の処理
手順を図 10に示す．まず，高分解能全方位ステレオ画像センサを一地点に固定して撮像された全周パノラマステレオ動画像から上下全周パノラマ背景画像を抽出
し (図 10 A)，取得した上下の全周パノラマ背景画像対から全周実環境モデルに奥行き情報を持たせるための全周パノラマ距離画像を作成する (図 10 B)．次に，作成した全周パノラマ距離画像と上部全周パノラマ画像を用いて写実性の高い 2:5
次元全周実環境モデルを構成する (図 10 C)．最後に，上部全周パノラマ動画像

から動物体領域の抽出を行ない動物体領域 2.5 次元モデルを構成し，C で作成される 2.5 次元全周実環境モデル内に配置する (図 10 D)

以下 4.1節で全周パノラマステレオ動画像からの上下全周パノラマ背景画像の生成法を，4.2節では上下全周パノラマ背景画像対からの全周パノラマ距離画像の取得について，次いで 4.2節で全周パノラマ距離画像と上部全周パノラマ画像からの 2.5 次元全周実環境モデルの生成法について述べる．最後に 4.4節で上部全周パノラマ動画像からの動物体領域の抽出法と動物体領域 2.5 次元モデルの作成法について述べる.

4.1 全周パノラマ背景画像の生成

3章で取得される全周パノラマステレオ動画像では上下全周パノラマ画像間で撮像時の同期が取れているため，撮像された全フレームの 2.5 次元全周実環境モ
デルを予め構成し，それらを切替えて表示することにより現実環境の表現とその環境内での動物体の再現が可能である．しかし全フレームに対してモデルを構成し蓄積することはその計算コストや記憶容量の観点から非効率であり，また作成されるモデルのデータ量の大きさから実時間での描画が行なえない可能性がある．
そこで本研究では，取得した全周パノラマステレオ動画像から動物体を除去した
上下全周パノラマ背景画像を生成し，それから 2.5 次元全周実環境モデルを構成し，その環境内に動物体領域の 2.5 次元モデルをレイヤー構造的に配置すること

22

A

全周パノラマステレオ動画像多数決
フィルタ

B 下部全周パノラマ背景画像

上部全周パノラマ背景画像

Sobel フィルタ適用( y 方向)Sobel フィルタ適用( y 方向)
エッジ画像

エッジ画像

ステレオマッチング
エッジ上での距離
線形補間 ( y 方向)D

全周パノラマ距離画像

動物体領域抽出C

上部エッジ画像

動物体領域
2.5 次元モデル

Delaunay 三角分割

2 次元
三角パッチモデル
距離情報の付加

2.5 次元
三角パッチモデル
テクスチャマッピング

2.5 次元全周実環境モデル

配置

図 10 2:5 次元全周パノラマ実環境モデル構成の処理手順

23

により現実環境内での動的なイベントの表現を行なう．
図 11に全周パノラマ背景画像の生成の概念図を示す．動物体が存在する環境内で，カメラを一地点に固定して毎秒 30 フレームで時間 T だけ撮像したとする．
ある時刻 t(0 < t < T ) での画像上での画素値を I (i; j; t) とすると，T を動物体の動きに対して十分長くとった際には，ある i; j に対して t だけを変化させると大半の画素値 I (i; j; t) は環境の背景値を示すこととなる．そこで本手法では時間 T(秒) かけて撮像した 30 2T枚の画像群において同一の (i，j ) 座標を持つ 30 2 T

個の画素値のうちで出現する回数が最も多い画素値を多数決フィルタ [52] によりj ) での背景値とする．これを上下全周パノラマ画像内の全決定し，その値を (i，j ) に適用することにより，動物体の存在しない上下全周パノラマ背景画ての (i，

像を生成する.

全周パノラマ動画像(i, j, T )t

全周パノラマ背景画像iTj(i, j, 0 )多数決フィルタ0

図 11 全周パノラマ背景画像の生成

4.2 全周パノラマ距離画像の生成
本節では上下全周パノラマ背景画像から奥行き情報を保持した全周実環境モデ
ルの構成を行なうために使用される全周パノラマ距離画像の作成について述べる．
以下ではまず，全周パノラマステレオ画像におけるステレオ撮像系について述べ，次に上下全周パノラマ背景画像からの距離画像生成について述べる．

24

4.2.1 全周パノラマステレオ画像におけるステレオ投影系
高分解能全方位ステレオ画像センサから得られる上下の全周ステレオ画像上の点を 図 12 のような縦方向の基線を持ったステレオ座標系で表現する．また，各々の全周画像上の点は円筒面画像座標系で，現実環境はワールド 円筒座標系でそれぞれ表現する．

上部全周パノラマ画像

f

O
b

f

エピポーラ線

下部全周パノラマ画像

ワールド円筒座標系: 任意方向図 12 全周パノラマステレオ画像におけるステレオ投影系

ここで仮想カメラの焦点距離を f ，基線長を b とし，ワールド 円筒座標系の点P(2; H; D) が上下の円筒面画像座標系の座標 u( u，u)， d( d ，d) にそれぞれ現
p

25



h

p



h

れたとするとエピポーラ拘束により

= d

u

(12)



が成立し，点 P (2; H; D ) の座標は画像座標を用いてそれぞれ次のように表すことができる．

2 = u= d= 21(( u0+ d))
d
u
1
= 0


H

D



b

h

h

h

h

b

hd

f

hu

(13)
(14)
(15)

式 (15) より，f ，b が固定であれば奥行きは視差 d  hd 0 hu にのみ依存することがわかる．すなわち，視差 d が推定されたならば現実環境中の点 P の三次元位
置 (2; H; D ) が一意に決まる．

4.2.2 上下全周パノラマ背景画像からの奥行き推定
現実環境の奥行き推定のための視差推定を行なう際，全周パノラマ背景画像全体について視差を求めると画像上のノイズなどの影響のため誤対応が生じ，全周
実環境モデルを構成した際にノイズが多く利用者に違和感を与えてしまう [37]．
しかし，利用者の操作が及ばない範囲に関しては視点移動による運動視差や物体同士の奥行き関係を実現できる程度の距離情報で十分であり，正確な距離情報は必要でないと考えられる．そこで本手法では，違和感の少ない 2.5 次元全周実環
境モデル構成のため，対応点の決定が容易でかつ信頼性の高いエッジ部分についてのみ視差の推定を行ない，他の領域は得られているエッジ部分の視差情報から補間する方法をとる．図 13に奥行き推定の処理手順を示す.
ステレオ視においては一般的に，エピポーラ線に直交するエッジ上では対応点の決定が容易でありかつマッチングの信頼性が高いことが知られている．そこで本手法ではまず，上下両方の全周パノラマ背景画像に y 方向の Sobel フィルタ[52] を適用し縦のエピポーラ線に交差するエッジ部分のみを抽出し，二値化と細線化を行なう (図 13 (1))．続いて上部全周パノラマ背景画像を基準画像とし，そのエッジ点が下方の全周パノラマ背景画像上のどのエッジ部分に対応するかを，26

上部全周背景画像

エピポーラ線

マッチング

マッチング

下部全周背景画像

入力画像(1) Sobelフィルタを適用しエッジ検出(2) 上部画像を基準に対応点探索(3) 下部画像を基準に対応点探索(5) メディアンフィルタを適用し(6) 視差の補間
欠落点の補間,視差の急激な変化点を除去(4) 誤対応の除去

図 13 奥行き推定の処理手順

27

画像の輝度値を特徴量としたテンプレートマッチングにより求める (図 13 (2))．
以下にテンプレートマッチングの際の評価基準として本研究で使用した正規化相
互相関 [52] について述べる.

まず，テンプレートの大きさを (M; N )，上方画像内の基準点 Ir (u ，hu ) におhu )，下方画像内の探索点 Is (d ，hd ) における輝度値を Ps (d
ける輝度値を Pr (u ，，hd ) とすると，マッチングの評価尺度となる正規化相互相関値 C orr は以下のように表せる.

=X XM X f ( + + ) 0 [ ]g 1 f ( + + ) 0 [0N 0M
vuu N Muuu X X X  ( + + ) 0 [ ]uuu 0 N 0 M
uuu XN XM X ( + + )0 []t 1 0N 0M
C orr

+N
2

j=

+2

2 i=

[r;g;b]

2

Pr

u

i; hu

+2

j=

Ps

d

i; hd

+2

2 i=

+2

j=

Pr r; g; bj2[r;g;b]

Pr

u

i; hu

Pr r; g; b

j

+2

2 i=

2

[r;g;b]

Ps

d

i; hd

Ps r; g; b

j

j

]g

Ps r; g; b

(16)

2

2

ただし，

= d， d = u 0 ，MN] = j+=20 N2 i+=02 M2 r [r[NM] = +j=20 N2 i+=02 M2 s [
s[

u



P

r; g; bPr; g; b

h

P P
P P
h

d

]( u +]( d +

+ )，
d+ )

P

r; g; b



i; hu

j

P

r; g; b



i; h

j

この正規化相互相関の値は 01 から 1 の範囲を取り，値が 1 の時最も相関があり，0 の時全く相関がない．対応点探索を行なう際には基準テンプレートと探索
テンプレートの正規化相互相関値 C orr が大きいほど類似性の評価が良いことを示している．つまり正規化相互相関値 C orr が大きいほど，上方の全周パノラマ
背景画像上での基準テンプレート領域の画像と下方の全周パノラマ背景画像上の探索テンプレート領域の画像パターンが類似する．そこで本手法では正規化相互相関値にしきい値を設け，類似度の高い対応画素のみを採用することとする．以
上の手順により上部パノラマ背景画像のエッジ上での注目画素に対する下部パノ
ラマ背景画像の対応画素が決定され，視差 d を求めることができる．同様に下部
パノラマ背景画像を基準画像として上部パノラマ背景画像とのマッチングを行な28

い (図 13 (3))，上部画像から下部画像への対応と下部画像からの上部画像への対応が一致しない場合，誤対応として取り除く (図 13 (4)).

以上のようにして得た上部パノラマ背景画像のエッジ上での視差マップは正規化相互相関値にしきい値を設けることにより対応点の相関値が大きく，また上部
画像・下部画像双方のマッチングをとることにより誤対応の可能性が低い，信頼性の高いものが得られる．しかしその反面，しきい値以下の相関値の場合は視差マップに含めないため，上部エッジ上で視差が求まらない点が多く存在する．
そこで，エピポーラ線に直交するエッジ上では決定された対応点の信頼性が高いことを考慮し，本来エッジである部分に横長のメディアンフィルタ [52] をかけることにより視差情報の欠落している点を近傍の視差の中央値で埋める処理を施す (図 13 (5))．続いて得られた上部エッジ画像上での視差マップを y 方向に線形補間することにより密な視差マップを作成する (図 13 (6))．線形補間の際，大半の屋外画像の上部領域には空が写っている性質を利用し，y 方向のスキャンライ
ン上で最初に出現した視差情報から線形補間を行なうこととする．
最後に得られた各々の画素の視差情報を式 (15) に代入することにより全周パ
ノラマ距離画像を得る．

4.3 全周パノラマ距離画像からの 2.5 次元全周実環境モデルの生成

4.2.2節により得られる全周パノラマ距離画像は，補間された視差から作成したものであるため詳細な距離情報こそ持ち得ないが，物体形状や視点からの位置関係を表現するには十分な情報を保持している．本研究ではこの全周パノラマ距離
画像の情報を利用し，全周実環境モデルに奥行き情報を付加することにより利用者の視点移動による運動視差の効果や物体同士の奥行き関係を近似的に再現する．
以下に 4.2.2節で得られた全周パノラマ距離画像から 2.5 次元全周実環境モデルを生成するアルゴ リズムを示す．

1. 上部全周パノラマ背景画像に Sobel フィルタを適用することにより得られるエッジ画像を一定画素ごとにサンプリングする.
2. 図 14のようなエッジ検出のミスによって生じる 2.5 次元全周実環境モデル
29

の歪みを軽減するため，全周パノラマ距離画像を x，y 軸方向にそれぞれ一定画素ごとにサンプ リングし ，これらの点とステップ 1. で抽出した点をDelaunay の三角分割法 [53, 54] を用いて接続する．

3. ステップ 2. で生成された三角形の頂点の奥行き情報を全周パノラマ距離画
像から読み込み付加することによって，2.5 次元三角形パッチモデルを作成する.
4. ステップ 3. で得られた 2.5 次元三角形パッチモデルをワールド 円筒座標系
へと変換する．

5. 円筒面上の三角形パッチモデルの各頂点に，上部全周パノラマ背景画像をテクスチャ画像として対応付ける.
以上の手順により，現実環境の全周囲についての奥行き情報を考慮した 2.5 次
元全周実環境モデルを構成する．

検出されなかったエッジ
サンプリング点

歪み

図 14 三次元モデルの構成における三角パッチの割り当て30

4.4 2.5 次元全周実環境モデルへの動物体の配置

4.1節で述べたように，本研究では作成される全周実環境モデルに動物体領域の2.5 次元モデルを配置し，現実環境内での動物体の再現を行なう．動物体領域 2.5次元モデル作成の処理の流れを図 15 に示す．まず，現在のフレームとその前後フレームを利用することにより画像中の動物体領域を抽出する．次に抽出された
上下ステレオ画像間で動物体領域に関してステレオマッチングを適用することによって領域内の奥行き推定を行ない 2.5 次元モデルを得る.

以下 4.4.1節で動物体領域の抽出について述べる．続いて, 4.4.2節で動物体領域

内での奥行きの推定と 2.5 次元モデルの生成について述べる.

f(t-1) 画像f( t ) 画像

f(t+1) 画像

フレーム間差分
動物体領域二値画像
輪郭線追跡
動物体領域

動物体領域
テクスチャ画像領域内でのステレオマッチング
三角分割

テクスチャ
マッピング

距離情報の付加動物体領域
2.5次元モデル

図 15 動物体領域の 2.5 次元モデル化処理

31

4.4.1 全周パノラマ動画像からの動物体領域抽出
本節では全周パノラマ動画像からの動物体領域の抽出法について述べる．これは 4.1節で作成した全周パノラマ背景画像と動物体を含む画像との背景差分 [55]により容易に実現されるが，屋外環境を対象とした際には日照条件の変化により，しばしば動物体領域の抽出に失敗する．そこで本手法ではこの問題を回避するため，連続する三枚の画像を利用したフレーム間差分を適用することにより動物体領域の抽出を行なう．その際，フレーム間を小さくすることによって日照条件の変化はほぼ無視できるようになる.

三枚のフレームによる動物体領域の抽出のモデルを図 16に示す．まず，フレーム f (t 0 1) と f (t)，f (t) と f (t + 1) の差分画像 h0 (i; j )，h+ (i; j ) を式 (17) に従ってそれぞれ求める.

0 (i; j ) = jft01 (i; j ) 0 ft (i; j )jh( ) = j t ( ) 0 t+1( )jh+ i; j

f

i; j

f

i; j

(17)

次に後の処理を簡単化するため，h0 (i; j )，h+ (i; j ) に対してしきい値を用いた二値化処理を施す．得られた差分二値画像に対しビデオ信号等の影響を受けたノイズを考慮して，二値画像内の孤立点を除去する. 求めた差分二値画像 h00 (i; j )，0h+ (i; j ) の各画素毎に論理積を求めることによって動物体領域のみの二値画像( ) を得る.

g i; j

続いて動物体領域の二値画像に対して輪郭線の追跡 [55] を行ない，物体領域を取り囲む矩形と輪郭線の座標値を保存する．求めた物体領域矩形はテクスチャ画
像の保存に，輪郭線の座標値は 4.4.2節での 2.5 次元モデル作成の際に使用する．
テクスチャ画像作成の際には，領域矩形内の全てをテクスチャとすると領域外の情報まで含んでしまうため，差分二値画像と比較し物体領域画素であればそのテクスチャ情報を，それ以外であれば透明な物体を描画するように作成し保存する．
以上の処理を撮像した全ての上下全周パノラマ画像について適用し，全フレームにおける動物体領域の抽出を行なう.

32

原画像

差分画像

二値化画像

f (t-1)
差分

動物体領域二値画像

二値化
h_ (i, j)h’_ (i, j)
ANDg (i, j)

f (t)
差分

二値化
h+ (i, j)h’+ (i, j)f (t+1)

図 16 三枚のフレームによる動物体領域の抽出

4.4.2 動物体領域内での奥行き推定
前節で抽出した動物体領域内の奥行き情報の取得には 4.2節と同様，エッジ上の画素のみ対応点探索を行なうステレオ視の原理を利用する．対応点探索の際には，抽出した動物体の領域情報を使うことにより探索領域の限定を行なう．その際，図 17 に示すようなステレオ画像上での領域の入れ替わりがないと仮定すると，4.4.1 節の二値画像内での領域抽出段階で画像をエピポーラ線に水平な方向 (j方向) に走査し，一度抽出された領域内は走査範囲外とすることによって，ステレオ画像間で領域数が同じであるならば領域ラベルに 1 対 1 の関係を持たせる

ことができる．抽出領域が上下ステレオ画像間で 1 対 1 の関係を持っているとき

上部画像内の動物体領域 Rn の全点についてその対応点は，オクルージョンの発生が無いとすると下部画像内の領域 Rn のどこかに存在することとなる.

まず，図 18 のように 4.4.1節で抽出された領域を Rn とし，下部画像での動物

体領域 Rn の j 座標の最大値を jd (Rn l )，最小値を jd (Rn h) とする．ここで，上部b) について対応点を求めることを考えると，下
画像内の領域 Rn 内の点 Rn u(a，33上部CCD
カメラ

B
A

A

B

上部全周パノラマ画像
A
下部CCD
カメラ

B

下部全周パノラマ画像

図 17 ステレオ画像上での領域の入れ替わり

部画像内での対応点探索領域は i 座標については a，j 座標については jmax から() までの領域画素についてのみ探索すれば良い．
ここで max は , d( n )d( n ) :max =:d( n )
jd R n h

j

j

8<
:

j

R l

b

b

j

R l

b < j

R l

を表す．
しかし，屋外環境においては様々な三次元座標値を有する動物体が存在すると考えられるため図 17 のようなステレオ画像上での領域の入れ替わりが起こり，領域ラベルの 1 対 1 の関係は崩れる．そこで，領域の入れ替わりが起こる可能性を考慮すると j 方向の探索範囲は注目画素の j 座標 b から 0 までの領域画素全ての点となる．しかし，下部画像内において探索範囲は j 方向に関して，b より上方
全てに動物体領域が存在する場合を除いて，動物体領域を考慮しないときの探索範囲幅 b + 1 より少なくなるため，誤対応の発生を軽減できると考えられる.
以上のようにして探索範囲を限定し，上部画像での動物体領域に対応する点を
下部画像から推定し動物体領域距離画像を得る．マッチングの評価尺度には 4.2

34

R n+1iju ( R n+1 h )ju ( R n+1 l )jRn
上部全周背景画像

ju ( R1 h )ju ( R1 l )上部全周パノラマ画像

i

R n+1

j

下部全周背景画像

Rn

エピポーラ線

jd ( R n+1 h )jd ( R n+1 l )jd ( Rnh )jd ( Rn l )下部全周パノラマ画像

図 18 全周パノラマステレオ画像に対する動物体領域の座標系

節同様，正規化相互相関を使用する．つづいて領域の輪郭線の座標と領域内を一定画素ごとにサンプリングした座標に対して Delaunay 三角分割を適用し 2 次元
三角パッチを得る．これに動物体領域距離画像の距離情報を付加することにより，詳細な形状を持つ動物体領域 2.5 次元モデルが作成される．次に，前節で保存した動物体領域テクスチャ画像を 2.5 次元モデルにマッピングし，2.5 次元全周実環境モデルへ奥行きを考慮してフレームごとに配置することにより，現実環境内での動物体の再現が可能となる．

35

5. 複合現実環境の構成と提示
本手法の適用により構成される仮想環境の有効性を確認するため，高分解能全方位ステレオ画像センサを用いて屋外で撮像した全周パノラマステレオ動画像とCG 作成ツールで生成した CG モデルをもとに，それらが合成された複合現実環
境の構築を試みた．また，構成される複合現実環境の全周型景観提示システムへの表示を試みた．以下，5.1節では複合現実環境の構成に関する実験環境と実験結果及び考察を述べる．5.2節では複合現実環境の提示に関して本研究で使用した全周型景観提示システムと複合現実環境提示システムの構成，実験そして考察について述べる.

5.1 全周パノラマステレオ動画像と CG モデルの合成による複合
現実環境の構成

5.1.1 実験環境
現実環境の全周情景取得には前述の高分解能全方位ステレオ画像センサを利用する．表 2に高分解能全方位ステレオ画像センサの構成機器を示す．本センサのキャリブレーションには，位置が既知の円筒状の格子を利用しカメラ位置と六角錐ミラーの位置関係を決定する戎野らの手法 [56] を用いる．なお，上下ステレオ

カメラの基線長は 25.0cm に設定した．表 3には撮像時に使用した各種機器を示す．撮影時には 12 台の記録装置や同期信号に関する機器などを搭載した車の上にセンサを設置する必要がある．そこで実験では図 19のように画像センサの下部
カメラで撮像されない範囲を考慮し，半径約 7.5m の円筒状の範囲を操作範囲としてこの範囲内には物体が存在しない場所でカメラを固定して撮影を行なった．
この撮影法では操作範囲に実物体が存在する時，その形状を再現することが出来ないため，実験では操作範囲に詳細な形状を持つ仮想の CG 物体を配置する.

上記のようにセンサを配置して撮影を行ない，そのビデオ出力を 720(水平)2486(垂直) 画素で計算機に取り込み，生成される全周パノラマステレオ動画像[49, 50] に本手法の適用を試みた．全周実環境モデル構築の際，計算機には SGI：
Onyx2(In niteReality222, 8CPUs MIPS R10000，250MHz) を使用した.
36

表 2 高分解能全方位ステレオ画像センサ構成機器

CCD カメラカメラレンズ
六角錐ミラー

IKM-43 212 (解像度：768(水平)，494(垂直))JK-L04M2 212 (画角：92 °(水平)，69 °(垂直)) 東芝製
正六角錐 22 (底辺直径 15cm，ミラー傾斜 45 °) 山田光学製

表 3 屋外撮像システムの構成機器
ビデオカセットレコーダ
SVO-9600 212
ビデオカセットコントローラ
分配器
タイムコードジェネレータ
シンクジェネレータ
撮像用車両

Sony 製

VTR6 コントローラ 22 日豊製
VDA-106
朋栄製
TGR-2000
410BB
LEADER 製
ELGRAND (改造)
NISSAN 製

高分解能全方位ステレオ画像センサ
上部カメラ
25°

下部カメラ

撮影用車両

約7.5m ( 操作範囲 )図 19 屋外撮像システムの概要

37

5.1.2 実験
まず，平城京遷都 1300 年記念事業の一環として復元された朱雀門前 (奈良市)

で高分解能全方位ステレオ画像センサを一地点に固定し，50 秒間撮像することによって取得した全周パノラマステレオ動画像のうち 12 秒時から 1 秒間隔の全周

パノラマステレオ画像を図 20に示す．なお，これらの全周パノラマステレオ画像

はそれぞれ上下各 6 枚の撮像画像の張り合わせ結果で，画像サイズは 30062330

画素である．これらから全周方向に関して現実環境の情景が取得されていること，
全カメラからの画像の同期が取れていること，ステレオ撮像が行なわれていることが分かる．また，図 21に入力した 12 秒時での上部全周パノラマ画像と 3.2節

1:0，1:5，2:0 としてそれぞれ適用
で述べた色調の補正を正則化パラメータ  = 0:1，
した様子を示す． はカメラ間での画素値の連続性にかかる係数であるためこれを大きくすることにより，矢印で示すカメラ間同士の繋ぎ目での色調の違いが緩和されていることが分かる．しかし  を大きくしすぎると最終的には全ての画素値が一定の値になり，コントラストの低い画像となるので以下では  = 2:0 の時の出力画像を使用することとした.

次に，取得した 50 秒間の全周パノラマステレオ動画像に多数決フィルタを適用することにより得られる，上下の全周パノラマ背景画像を図 22に示す．これから入力画像で存在していた車や人などの動物体が除去されていることが分かる．
続いて，図 23に上下全周パノラマ背景画像に y 方向に Sobel フィルタを適用する

ことによって得られる上下の全周パノラマエッジ画像を，図 24にエッジ画像と上
下全周パノラマ背景画像から得られるエッジ上での視差を線形補間することにより得た密な全周パノラマ視差画像を示す．なお図 24は見やすくするため，元の視差画像のコントラストを強調して表示している．画像生成の際，ステレオマッチ

ングのウィンドウサイズは 929，正規化相互相関のしきい値には 0.9 を設定した．
また，探索領域の x 方向の範囲は全方位画像センサの各カメラの位置づれを考慮
し，左右 3 画素広く設定した．この密な視差画像から作成される距離画像をもとに 4.3節で述べたアルゴ リズムを適用することにより，2.5 次元全周実環境モデルを生成した．図 25，図 26に 2 次元三角パッチに奥行きを付加することによって構成される 2.5 次元全周実環境モデルのワイヤーフレームと，これに上部全周パ

38

12 秒時

13 秒時

14 秒時

15 秒時

16 秒時
図 20 全周パノラマステレオ動画像 (色補正なし )39

ノラマ背景画像をテクスチャとしてマッピングした様子を示す．これらより凹凸のある 2.5 次元モデルが生成されていることがわかり，全周パノラマ画像への奥行き情報の付加が行なわれていることが確認できる．なおモデル構築の際には，エッジ画像のサンプリング間隔を 2 画素，距離画像のサンプリング間隔を 31 画
素とし，この時の 2.5 次元全周実環境モデルは 13400 ポリゴンから構成された.

続いて，抽出した動物体の配置を行なわない時の 2.5 次元全周実環境モデルに対する，CG ツール (Alias 社: WaveFront) により詳細に作成した樹木モデルの合成結果を図 27に示す．また，図 28にその環境内で視点の移動を行なった様子 (視線方向は不変) を示す．図 28より，利用者の移動により車と後方の建築物など運動視差が再現されていることが分かる．作成した樹木モデルは 41340 ポリゴンであり，これを全周実環境モデルと合成した複合現実環境全体では 54740 ポリゴンであった．なお，この環境での提示画像の更新速度は 10242768 のサイズを SGI：

Onyx2(In niteReality222，8CPUs MIPS R10000，250MHz) で 1CPU 使用で描画した時，平均 48frame/sec であった.
図 29(a  c) は 12.5 秒時での動物体領域の抽出に用いた上部全周パノラマ画像である．なおフレーム間差分では，階調値が一定で物体の移動量が小さい時，もともと一つの領域が分断されることがあるため，現在のフレームとの差分をとる
画像には前後 5 フレームのものを使用した．これらから 4.4節で述べた手法を適用することによって抽出された動物体領域の二値画像を図 29(d) に示す．これより

人物や車では領域の抽出が正確に行なえていることがわかる．しかし，後方に存在する電車に関しては正確な抽出がなされなかった．次に，図 30に，12.5 秒時と15 秒時の，全周実環境モデル内に奥行き情報を考慮して配置された動物体領域の様子を，撮像地点で観察した場合と高い視点位置での鳥瞰図に分けて示す．これ

らより動物体領域が背景の奥行きに対して正確に配置されていることがわかる．
なお，動物体の配置を行なった複合現実環境の画像更新速度は約 44frame/sec から約 46frame/sec の間であった．このことから実時間での環境提示が行なわれていることが分かる.

40

12 秒時の上部全周パノラマ画像









=01
:

=10
:

=15
:

=20
:

図 21 全周パノラマ画像の色調補正

41

図 22 上下全周パノラマ背景画像

図 23 全周パノラマエッジ画像

図 24 全周パノラマ視差画像42

図 25 2:5 次元全周実環境モデルのワイヤーフレーム表現

図 26 2:5 次元全周実環境モデルへの上部全周パノラマ画像のマッピング結果43

図 27 2:5 次元全周実環境モデルと CG モデルの合成結果

前進

右移動

左移動

後退

図 28 複合現実環境内での移動 (中央：撮像地点)

44

(a) 5 フレーム前(b) 12.5 秒時のフレーム(c) 5 フレーム後(d) 抽出された動物体領域
図 29 上部全周パノラマ画像 (a 〜 c) と動物体領域 (d)4512.5 秒時
図 30

15 秒時

2 5 次元全周実環境モデルへ動物体領域を配置した様子 (上： 撮像地点位
置，下： 鳥瞰図):46

5.1.3 考察
実験では，高分解能全方位ステレオ画像センサにより得られる全周パノラマス
テレオ動画像から奥行き情報を付加した 2.5 次元全周実環境モデルを生成し，これと詳細な形状を持つ CG モデルを合成する複合現実環境の構成を試みた．その結果，全周実環境モデルでは奥行き関係の再現が可能となり，高い写実性が実現されていることが確認された．また全周実環境モデルは全周実画像をテクスチャとしてマッピングするため，CG モデルに対して簡易的な形状でも違和感が生じないことが確認された．利用者の近傍では詳細な形状を持つ CG モデルで構成されているため，物体操作など インタラクションが可能である．作成した 2:5 次元
全周実環境モデルでは線形補間された距離情報を利用しているため，激しい距離の変化や物体の詳細な表現こそ行えないが，物体同士の奥行き関係は十分再現されており環境内での視点移動が違和感なく行えることが確認された．実験で明らかになった現状での問題点は以下の通りである.
【 移動による 2.5 次元全周実環境モデルの歪み 】
構成した複合現実環境内では，利用者の視点位置が撮影地点から大きく離れるとモデルの歪みが目につき違和感を感じることがあった．これは 2.5 次
元全周実環境モデルが撮影地点での 2 次元のパノラマ画像に奥行きを付加したものであることに起因する．この違和感は図 31のように予め一定間隔で撮影を行ない，その複数のパノラマ画像から作成される全周実環境モデ
ルを利用者の視点位置に応じて切替えることによって緩和される．また，多地点での全周実環境モデルが蓄積されている場合に，ある地点から他の地点へ移動を行なう時，利用者の視点位置に応じて滑らかにモデルの幾何形
状を変更していくと更に違和感の軽減が図れると考えられる.
【 操作範囲の切り分け 】
今回の実験ではセンサの近傍に物体が存在しない場所で撮像を行ない，センサ周辺部を利用者の操作範囲としている．このため，センサの近傍に物体が存在し，撮像画像に写った場合の考慮を行なっていない．しかし，物体のセンサからの奥行きはステレオマッチングにより推定されているので47

操作範囲に入る物体の抽出は比較的容易であると考えられる．この時，物体が 2.5 次元としてしか復元されないことが問題となるがこれは図 32のよ
うに多地点で撮像し，別々の地点で得られる形状を統合することによって操作範囲内の物体として復元が可能となる．多地点での撮像は前述の移動による全周実環境モデルの歪みの解決法としても利用できるため，有効であると考えられる.
【 動物体領域の抽出 】
実験では動物体の抽出の際，電車など面積が大きく領域内での階調値が一定である物体は正確な抽出が行なえなかった．これはフレーム間差分による問題であり，背景画像との併用などで解決されると考えられる.

撮影地点

移動方向
撮影地点

図 31 利用者の移動に伴うモデルの更新

5.2 全周型景観提示システム CYLINDRA への提示

5.2.1 全周型景観提示システム CYLINDRA
構成された複合現実環境で，利用者は実時間での視点移動や仮想物体の形状や位置などの操作が可能となる．また，2:5 次元全周実環境モデルは現実環境内での撮像地点を中心とした全周囲の情報を保持しているため，都市や自然環境など

48

図 32 操作範囲内の物体の三次元形状復元

大規模な仮想環境においても全周囲方向に関して現実環境の情景や実物体と仮想物体の奥行き関係を考慮した物体操作が可能となる．
しかし，構成された全周囲の情報を持つ複合現実環境を，表示装置として一般的に使用される計算機のディスプレイや HMD 等に提示したのでは利用者に与える視野角が限定されるため，臨場感の向上は望めない．そこで本研究では利用者に高い臨場感を与えるために，330 °の広い視野角を与えることが可能である全周景観提示システムに複合現実環境を提示する．
全周型景観提示システム CYLINDRA1は利用者に広い視野角を与えるために，

半径 3m，330 °の大型円筒スクリーンと，6 台のプロジェクタで構成されている．

各プロジェクタは，円筒の中心から 61:7 °の投影とプロジェクタ同士の映像に 8 °の重なりを設けるように配置されており，全 6 台のプロジェクタで 330 °分の映像を生成する．CYLINDRA の構造を図 33に示す．

1 CYLINDRA は Cylindrical Yard with Large, Immersive and Novel Display for Reality
Applications

の略.

49

プロジェクタ

330

2.7m
視点

48.3
スクリーン

3m

上から見た図横から見た図図 33 全周型景観提示システム CYLINDRA の構造

5.2.2 CYLINDRA での複合現実環境の提示
複合現実環境提示システムの構成を図 34に，使用した機器を表 4に示す．複合現実環境提示システムでは，作成した複合現実環境に対して視点位置に応じた両眼ステレオ画像をグラフィックスワークステーションによって生成し，全周型景観提示システムに表示する．これを液晶シャッタ眼鏡を通して観察することにより立体視を可能とする．また，利用者の視点位置・方向の変化と物体の位置変化
等の情報はジョイスティックを用いて入力し，その情報をノートパソコンを介してシリアルポート経由で計算機に入力する．すなわち，利用者はジョイスティッ
クを使って，複合現実環境のウォークスルーが可能であり，両眼立体視と視点移動に伴う運動立体視によって環境を三次元的に知覚することができる.

5.2.3 実験
全周パノラマ画像と CG モデルを合成した複合現実環境を全周型景観提示シス

テムへ表示した様子を図 35に示す．5.1節で構成したモデルの両眼ステレオ画像

を 61442768 のサイズで 2CPU を使用して描画した時，提示画像の更新速度は約50グラフィクス
ボード

Onyx2
IR2
液晶シャッタ眼鏡

ジョイスティック

利用者
ノートパソコン

全周型景観提示システム

グラフィクス
ワークステーション

図 34 複合現実環境提示システムの構成

表 4 使用機器 (複合現実環境提示システム)
ジョイスティック
ノートパソコン
液晶シャッタ眼鏡
計算機

SideWinder PrecisionPro
Microsoft 製
FMV-BIBLO NSVIII23X
FUJITSU 製
SB300
Solidray 製
Onyx2：(In niteReality222，
SGI 製
8CPUs MIPS R10000，250MHz)

51

13frame/sec であった．
構成した全周の形状を持つ写実性の高い複合現実環境において，利用者はジョ
イスティックを通して様々な視点位置・方向の変更ができ，自由にウォークスルー
が行なえることが確認された．また両眼ステレオ画像の提示により，利用者が CGモデルに対して配置等の操作を行なう時には，奥行き情報を保持する背景との奥行き関係を考慮することが可能であった．また，円筒面のディスプレイを使用することにより，複数人での観察も特に違和感のないことが確認された．なお，今回の実験では物体の配置等の変更はウォークスルー同様，ジョイスティックによりなされるため直感的な操作は困難であったという問題があった.

図 35 全周型景観提示システムへの複合現実環境の提示

5.2.4 考察構成した全周パノラマ実環境モデルと CG モデルを合成した複合現実環境を，全周型景観提示システムに提示し，利用者との間に高い臨場感のもとでインタラクションを実現するシステムについて述べた．このシステムでは半径 3m，周囲52

330 °の大型スクリーンに全周の形状を持つ写実性の高い複合現実環境を提示することによって，利用者は視野角以上の映像を知覚し没入感を得ることができる．
また，両眼立体視を可能とし利用者は複合現実環境中の CG モデルを背景の全周
実環境モデルとの奥行き関係を誤ることなく操作することが可能である．本研究で構成した複合現実環境と全周型景観提示システムの併用は，全周型景観提示シ
ステムが大型であること，円筒面であるため投影された映像が不連続にならない，といった理由から複数人で景観の設計を行なうなどの協調作業等にも十分利用可
能と思われる.
今回の実験で明らかになった問題としては入力デバイスの検討が挙げられる．
広域な複合現実環境でウォークスルーを行なう際にはその移動量の大きさから，利用者の頭部の動きを磁気トラッカー等を用いて計測する方法よりも，ジョイス
ティックを用いた方が大きな移動量を容易に実現できるといった利点を持つ．しかし現在のシステムでは，仮想物体を操作する際にもジョイスティックを用いているため直感性に欠け，作業が煩雑になるといった問題がある．そこで，ジョイ
スティックとデータグローブを併用することにより直感的な物体操作を提供することが考えられる．具体的にはウォークスルーに関してはジョイスティックを使用し，物体に近付いた後にデータグローブによって物体操作を行なうといった方法が考えられ，より直感的な印象を利用者に与えることが可能になると思われる．

53

6. おわりに
本論文では，自然環境や都市環境などの大規模な仮想環境の構成を目的として，
全周実画像から構成される奥行き情報を考慮した 2.5 次元全周実環境モデルと詳細な形状を持つ CG モデルの合成による複合現実環境の構成法を提案した．

提案手法では仮想環境で物体操作が可能な範囲を利用者近傍に限定し，利用者の物体操作範囲と範囲外で異なる構成法をとる．操作範囲外では六角錐ミラーを用いた全方位ステレオ画像センサから得られる高解像度の全周パノラマステレオ
動画像から全周実環境モデルを構成する．全周実環境モデル構成の際には，利用者に両眼立体視と視点移動に伴う運動視差を提供するため，全周パノラマステレ
オ動画像から全周パノラマ距離画像を生成し，これをもとに奥行き情報を考慮した円柱を基本とする簡易的な形状で近似する方法をとる．また，仮想環境内で利用者に近い場所の物体は形状変形などの操作が頻繁に起こる操作範囲と考えられるため，CG ツールを用いて作成した詳細な形状を持つモデルを利用する．屋外環境で撮影した全周パノラマステレオ動画像に本手法を適用し仮想環境の構成を行なった結果，(1) 作成される複合現実環境では写実性が高いことと，(2) 簡易な構成がなされているため実時間での環境提示が行なえていること，及び (3) 利用者の視点移動の際の運動視差や奥行き関係が再現されていることが確認された．
また，作成した複合現実環境を全周型景観提示装置を用いて提示し，利用者に広い視野角を与えることによって高い臨場感が得られることが確認された．
以上のことから，本研究の成果は都市環境や自然環境を対象とした景観設計や，災害が発生した時の被害想定や避難訓練などに適用可能である．また，本手法により構築される複合現実環境を全周型景観提示システムを用いて提示しているた
め，複数人での臨場感の高い協同作業への拡張も可能である.
今後の課題としては，複数の全周パノラマステレオ画像を使用し，より広域な複合現実環境を構築することが挙げられる．また，その環境で利用者の視点が変化した時に滑らかにモデルを切替える手法の開発も必要であると考えられる．

54

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜ったソフトウェア基礎講座 横矢 直和教授 に心より深謝致します．
本研究の遂行にあたり，御助言を頂いた像情報処理学講座 千原 國宏教授 に厚く御礼申し上げます．
本研究を進めるにあたり，終始，暖かい御指導をして頂いたソフトウェア基礎講座 竹村 治雄助教授 に深く感謝致します．
そして本研究を通じて，有益な御助言を頂いたソフトウェア基礎講座 山澤 一
誠助手，ならびに 岩佐 英彦助手に厚く感謝致します．
本研究を進めるにあたり，活発な意見交換をして頂いた大阪大学大学院 工学研
究科 ヒューマンインタフェース工学講座 岸野 文郎教授，北村 喜文助教授，ならびに正城 敏博助手に深く感謝致します．
また，本研究に関する貴重な助言や指摘を頂きました 佐藤 哲氏，神原 誠之氏，
松宮 雅俊氏に深く感謝致します．
日々，研究室での活動を支えて下さったソフトウェア基礎講座 事務補佐員 福永 博美女史 に心より感謝申し上げます．
最後に，物心両面において常に暖かい御助言を頂いたソフトウェア基礎講座の諸氏に深く感謝致します．

55

参考文献

[1] 原島 (Eds.), 仮想現実学への序曲, 共立出版, 1994.
[2] Y. Ohta and H. Tamura(Eds.), Mixed Reality {Merging real and virtualworlds., Ohmsha & Springer-Verlag, 1999.
[3] S. E. Chen, \Quick Time VR { An image-based approach to virtual environment navigation", Proc. SIGGRAPH'95, pp. 29{38, 1995.
[4] M. Hirose, K. Yokoyama, and S. Sato \Transmission of realistic sensation:
Development of a virtual dome", Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 23{28, 1992.
[5] A. Lippman, \Movie-Map: An application of the optical videodisc to computer graphics", Proc. SIGGRAPH'80, pp. 32{43, 1980.
[6] L. McMillan and G. Bishop, \Pleoptic modeling: an image-based renderingsystem", Proc. SIGGRAPH'95, pp. 39{46, 1993.
[7] 藤井, 原島, \構造抽出に基づく三次元画像符号化", 画像符号化シンポジウ
ム (PCSJ '94), pp. 23{24, 1994.
[8] M. Levoy and P. Hanrahan, \Light eld rendering", Proc. SIGGRAPH'96,
pp. 31{42, 1996.
[9] S. J. Gortler, \The Lumigraph", Proc. SIGGRAPH'96, pp. 43{52, 1996
[10] H. Y. Shum and L. W. He, \Rendering with concentric mosaics", Proc. SIGGRAPH'99, pp. 299{306, 1999.
[11] S. E. Chen and L. Williams, \View interpolation for image synthesis",
Proc. SIGGRAPH'93, pp. 279{288, 1993.
[12] S. M. Seitzs and C. R.Dyer, \View Morphing", Proc. SIGGRAPH'93,
pp. 279{288, 1993.
56

[13] 尾上, 山澤, 竹村, 横矢, \全方位画像からの視線追従型実時間画像生成によるテレプレゼンス", 信学技報, PRMU97{20, 1997.
[14] 曽山, 安田, 横井, 鳥脇, \景観シミュレーションのための簡易情景モデル構築と動画生成の一手法", テレビジョン学会誌, Vol. 47, No. 12, pp. 1647{1655,
1993.
[15] F. P. Brooks, \Walkthrough { A dynamic graphics system for simulating
virtual buildings", Proc. Workshop on Interactive 3D Graphics, 1986.
[16] 廣瀬, バーチャル・リアリティ, 産業出版, 1993.
[17] E. H. Adelson and J. R. Bergen \The plenoptic function and the elementsof early vision", Computational Models of Visual Processing, M. Landy and
J. A. Movshon, Ed., MIT Press, pp. 3{20, 1991.
[18] 廣瀬, 佐藤, \人工現実感技術を用いた臨場感の合成とその伝達", 第 9 回
ヒューマンインタフェースシンポジウム論文集, pp. 111{116, 1993.
[19] 谷川, 遠藤, 廣瀬, \様々な手法の動的切替えによる写真的リアリティの高い仮
想世界の構築", バーチャルリアリティ学会大会論文集, Vol. 4, pp. 359{362,1999.
[20] 宮内, 佐伯, 福岡, 下間, \実写画像テクスチャによる仮想空間表示方式を用いた 3 次元仮想都市の構築", バーチャルリアリティ学会論文誌, Vol. 4, No. 2,
pp. 367{376, 1999.
[21] G. U. Carraro, T. Edmark, and J. R. Ensor \Techniques for handling video
in virtual environment", Proc. SIGGRAPH'98, pp. 353{360, 1998.
[22] J. D. Foley, A. van Dam, S. K. Feiner, and J. F. Hughes, Computer Graphics: Principles and Practice - second edition, Addison-Wesley Publishing
Company, 1993.
57

[23] 中川, 佐藤, 千原, \背景画像と前景 3 次元物体間のマップベースの衝突判定と反射運動生成", バーチャルリアリティ学会論文誌, Vol. 4, No. 2, pp. 425{430,1999.
[24] 金丸, 山田, 市川, 苗村, 相澤, 斎藤, \共有空間における 3 次元画像表現獲得のためのカメラとレーザ距離計の配置", 信学技報, IE99-30, 1999.
[25] 山田, 市川, 苗村, 相澤, 斎藤, \風景画像の地水面部分を分離したマルチメ
ディア・アンビエンスコミュニケーションのシーン表現", 信学技報, IE99-31,
1999.
[26] \http://www.photomodeler.com"[27] P. E. Debevec, C. J. Taylor, and J. Malik, \Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach",Proc. SIGGRAPH'96, pp. 11{20, 1996.
[28] T. Kanade, P. W. Rander, and P. J. Narayanan, \Virtualized Reality: Constructing virtual worlds from real scenes", IEEE MultiMedia, Vol. 4, No. 1,
pp. 34{47, 1997.
[29] M. Okutomi and T. Kanade, \A multiple-baseline stereo", IEEE Trans. on
Pattern Analysis and Macine Intelligence, Vol. 15, No. 4, pp. 353{363, 1993.
[30] 納富, 小澤, 全, \移動体観測による都市モデル構築", 信学論 (D-II), Vol. J81D-II, No. 5, pp. 872{879, 1999.
[31] I. Sutherland, \A head-mounted three-dimensional display", FJCC AFIPS,
Vol. 33-1, pp. 757{764, 1968.
[32] C. Cruz-Neira, D. J. Sandin, and T. A. Defanti, \Surround-screen
projection-based virtual reality: The design and implementation of the
CAVE", Proc. SIGGRAPH'93, pp. 135{142, 1993.
58

[33] 廣瀬, 小木, 石綿, 山田, \没入型多面ディスプレ イ (CABIN) の開発", バー
チャルリアリティ学会大会論文集, Vol. 2, pp. 137{140, 1997.
[34] 竹村, 野村, \都市環境ヒューマンメディアの研究開発", システム制御情報学会論文誌, Vol. 42, No. 5, pp. 260{267, 1998.
[35] 橋本, 岩田, \凸面鏡を用いた全方向球面ディスプレイの光学設計", バーチャ
ルリアリティ学会大会論文集, Vol. 3, pp. 159{162, 1998.
[36] \http://www.solidray.co.jp/"[37] 島村, 北村, 岸野, 竹村, 横矢, \実時間ウォークスルーを目的とした全周実画像
を遠景に用いた仮想環境の構成法", 映情学技報, Vol. 22, No. 39, pp. 31{36,1998.
[38] 島村, 山澤, 竹村, 横矢, \全周実画像と CG モデルの合成による仮想環境の構成と提示", 信学技報, PRMU99-59, 1999.
[39] 山澤, 岩佐, 竹村, 横矢, \ピラミッド 型ミラーを用いた高分解能全方位ステ
レオ画像センサ", 信学総大, D-12-146, 1997.
[40] K. B. Sarachik, \Characterizing an indoor environment with a mobile robot
and uncalibrated stereo", Proc. IEEE Conf. on Robotics and Automation,
pp. 984{989, 1989.
[41] Z. L. Cao, S. J. Oh, and E. L. Hall, \Dynamic omnidirectional vision formobile robots", Robotic Systems, Vol. 3, pp. 5{17, 1986.
[42] J. Hong, X. Tan, B. Pinnet, R. Weiss, and E. M. Riseman, \Image-based
homing", Proc. IEEE Conf. on Robotics and Automation, pp. 620{625,1991.
[43] Y. Yagi, Y. Nishizawa, and M. Yachida, \Estimating location and avoiding
collision against unknouwn obstacle for the mobile robot using omnidirec59

tional image sensor COPIC", Proc. Int. Workshop on Intelligent Robots andSystem, pp. 909{914, 1991.
[44] 山澤, 八木, 谷内田, \移動ロボットのナビゲーションのための全方位視覚
センサ HyperOmni Vision の提案", 信学論 (D-II), Vol. J79-D-II, No. 5,
pp. 698-707, 1996.
[45] S. K. Nayar, \Catadioptric omnidirectional camera", Proc. IEEE Conf. on
Computer Vision and Pattern Recognition, pp. 482{488, 1997.
[46] R. Kingslake, Optical system design, Academic Press, 1983.
[47] R. Y. Tsai, \A versatile camera calibration technique for high-accuracy 3D
machine vision metrology using o -the-shelf tv cameras and lenses", IEEE
Jour. of Robotics and Automation, Vol. RA-3, No. 4, pp. 323{344, 1987.
[48] 下田 (編), 画像処理標準テキストブック, 財団法人 画像情報教育振興協会,
1997.
[49] 川西, 山澤, 岩佐, 竹村, 横矢, \六角錐ミラーを用いた全方位ステレオ画像セン
サによる高解像度ステレオパノラマ動画像の作成", 信学技報, PRMU97-118,
1997.
[50] T. Kawanishi, K. Yamazawa, H. Iwasa, H. Takemura, and N. Yokoya,\Generation of high-resolution stereo panoramic images by omnidirectional
imaging sensor using hexagonal pyramidal mirrors", Proc. 14th IAPR
Int. Conf. on Pattern Recognition (14ICPR), Vol. I, pp. 485{489, Brisbane,
Queensland, Australia, 1998.
[51] 丹慶, 奥村, 佐藤, 小林 (訳), Numerical Recipes in C: C 言語による数値計算のレシピ [日本語版], 技術評論社, 1993.
[52] 高木, 画像解析ハンドブック, 東京大学出版会, 1991.
60

[53] P. Heckbert(Ed.), Graphics Gems IV. I.5, Academic Press Professional,
1994.
[54] 谷口, FEM のための要素自動分割 -デローニー三角分割法の利用, pp. 28{122,
森北出版, 1992.
[55] 安居院, 長尾, 画像の処理と認識, 昭晃堂, 1996.
[56] 戎野, 山澤, 竹村, 横矢, \円筒パターンを用いた全周ステレオ画像センサのキャリブレーション法", バーチャルリアリティ学会大会論文集, Vol. 4,
pp. 211{212, 1999.

61