NAIST-IS-DD0461202

博士論文

全周型複合現実環境の構築と投射型提示方式に関する研究島村 潤

2006 年 3 月 24 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である。
島村 潤

審査委員：
横矢 直和 教授

（主指導教員）千原 國宏 教授

（副指導教員）山澤 一誠 助教授

（副指導教員）全周型複合現実環境の構築と投射型提示方式に関する研究∗島村 潤

内容梗概
実環境と仮想環境を計算機内で融合し，これを視覚ディスプレイを用い提示して疑似的体験を可能にする複合現実感を，都市や自然などの広域な屋外環境を対象に実現することは，景観シミュレーションや作業訓練，ナビゲーションなど幅広い応用範囲で利用できるためその実現が望まれている．本研究では，実利用可
能な屋外環境を対象とした複合現実感の実現とその普及に必須となる，広域，３次元的かつ動的な屋外実環境を忠実に反映する写実的な複合現実環境の構築手法と，それを曲面や動的な形状変化を含む日常生活環境において観察可能とする提示手法を確立することを目的とする．まず第 1 章では，屋外環境の複合現実感による表現について，複合現実環境の構築とその提示についての技術課題と従来研究を概観し，本研究の目的と意義を明確にする．第 2 章では，全周囲の情景を記録する全周パノラマステレオ動画像から実環境と仮想物体の奥行き隠蔽関係を再現可能な全周型複合現実環境を構築する手法について述べる．第 3 章では，全周型複合現実環境を実環境中の動きを再現可能な動的複合現実環境へと拡張する手法を提案する．また第 2，3 章で提案する手法を用いて，実際に屋外環境を対象とした複合現実環境を構築し，没入型投影ディスプレイに表示することによって，提案手法の有効性を確認する．第 4 章では，プロジェクタを利用して曲面や動的な形状変化を含む日常生活環境において複合現実環境を観察可能とする手法を提案する．最後に，第 5 章で本研究を総括する．
∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-IS-

DD0461202, 2006 年 3 月 24 日.

iキーワード複合現実感，全周パノラマステレオ画像，全周型実環境モデル，複合現実感型情報提示ii

Omnidirectinal Dynamic 3-D Scene Modelingand Projection-based Presentation
for Immersive Mixed Environment∗
Jun Shimamura

Abstract
Recently virtual reality (VR) systems have been incorporating rich information
available in the real world into VR environments in order to improve their reality. This stream has created the ﬁeld of mixed reality, which seamlessly integrates
real and virtual worlds. This thesis proposes a novel approach for realistic mixed
environment modeling of outdoor scenes. The thesis also proposes presentation
techniques, which help one to browse virtual information without special equipment at arbitrary places in our everyday life. Chapter 1 gives a perspective of thestudy in the area of mixed environment modeling and presentation. Chapter 2
describes a modeling method of a realistic cylindrical scene model based on capturing the real world by using an omnidirectional stereo image sensor. Describedin Chapter 3 is a new method of virtualizing a dynamic real environment as well
as some examples. Proposed in Chapter 4 is a new presentation method basedon capturing the dynamic changes of surfaces and projecting the images in a realindoor environment. Finally, Chapter 5 summarizes the present work.
Keywords:
mixed reality, omnidirectional stereo images, cylindrical scene model, projectorbased mixed reality∗

Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD0461202, March 24, 2006.

iii

目次
1

2

序論

1

1.1 複合現実感概観 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.1.1

複合現実環境表現の技術課題. . . . . . . . . . . . . . . .

2

1.1.2

複合現実環境構築の従来研究. . . . . . . . . . . . . . . .

6

1.1.3

複合現実環境提示の従来研究. . . . . . . . . . . . . . . .

12

1.2 本研究の目的と方針 . . . . . . . . . . . . . . . . . . . . . . . . .

16

1.3 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

実環境と仮想物体の奥行き隠蔽関係を保持した全周型複合現実環境の構築20

2.1 序言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

2.2 高分解能全方位ステレオ画像センサ . . . . . . . . . . . . . . . . .

21

2.3 全周パノラマステレオ画像の生成 . . . . . . . . . . . . . . . . . .

22

2.3.1

各カメラ画像の樽型歪み，明度補正 . . . . . . . . . . . . .

23

2.3.2

隣接画像間での色調ずれの補正 . . . . . . . . . . . . . . .

23

2.3.3

各カメラ画像の結合によるパノラマ化. . . . . . . . . . .

27. . . . . . . . . . . . . . . . . . . .

27

2.4.1

全周パノラマステレオ画像のステレオ投影系 . . . . . . . .

27

2.4.2

全周パノラマステレオ画像からの実環境の奥行き推定 . . .

29

2.5 全周パノラマ距離画像を用いた実環境の３次元モデル化 . . . . . .

31

2.6 実験と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

2.6.1

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

2.6.2

実験と考察 . . . . . . . . . . . . . . . . . . . . . . . . . .

35

2.7 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

実物体の動き情報取得による動的複合現実環境への拡張

43

3.1 序言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

3.2 全周パノラマ動画像からの動物体抽出44

2.4 全周パノラマ距離画像の生成

3iv. . . . . . . . . . . . . . .

4

3.2.1

動物体領域の抽出 . . . . . . . . . . . . . . . . . . . . . . .

44

3.2.2

静止環境画像の生成 . . . . . . . . . . . . . . . . . . . . .

45

3.3 全周パノラマステレオ動画像を用いた動物体の奥行き推定 . . . .

46

3.4 動物体のレイヤー構造化による実環境の動的表現 . . . . . . . . .

46

3.5 没入型複合現実環境提示システムの構築 . . . . . . . . . . . . . .

47

3.5.1

全周型景観提示システム CYLINDRA . . . . . . . . . . . .

47

3.5.2

プロトタイプシステムの構築. . . . . . . . . . . . . . . .

48

3.6 実験と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

3.6.1

動的複合現実環境構築実験 . . . . . . . . . . . . . . . . . .

50

3.6.2

没入型複合現実環境提示システム実験. . . . . . . . . . .

52

3.7 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

日常生活での複合現実環境の観察を可能とするプロジェクタを用いた複合
現実型情報提示56

4.1 序言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

4.2 複合現実型情報提示への要求と本研究の方針 . . . . . . . . . . . .

58

4.2.1

複合現実型情報提示への要求. . . . . . . . . . . . . . . .

58

4.2.2

本研究の方針 . . . . . . . . . . . . . . . . . . . . . . . . .

60

4.3 新たな映像投影装置を用いた複合現実型情報提示 . . . . . . . . .

61

4.3.1

映像投影装置の試作 . . . . . . . . . . . . . . . . . . . . .

61

4.3.2

ユーザの３次元位置推定 . . . . . . . . . . . . . . . . . . .

63

4.3.3

拡張射影テクスチャマッピング法による映像幾何歪み補正

66

4.4 観察位置追従式複合現実型提示システムの構築 . . . . . . . . . . .

68：新たな映像投影装置を用いた複合現実型情報提4.5 実験と考察（１）
示実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

4.5.1

観察３次元位置検出実験 . . . . . . . . . . . . . . . . . . .

70

4.5.2

幾何歪み補正実験 . . . . . . . . . . . . . . . . . . . . . . .

73

4.5.3

観察位置追従式複合現実型提示システム実験 . . . . . . . .

76

4.6 カメラ・プロジェクタシステムを用いた複合現実型情報提示 . . .

78v

4.6.1

射影変換行列推定と投影直線パターン検出の併用による複数平面の検出 . . . . . . . . . . . . . . . . . . . . . . . . .

4.6.2
4.6.3

80

射影変換行列からのカメラ・プロジェクタ間の外部パラメー
タ算出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

投影面の形状計測 . . . . . . . . . . . . . . . . . . . . . . .

87

4.7 実験と考察（２）：カメラ・プロジェクタを用いた複合現実型情報
提示実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

87

4.7.1

カメラ・プロジェクタキャリブレーション実験. . . . . .

88

4.7.2

幾何歪み補正実験 . . . . . . . . . . . . . . . . . . . . . . .

95

4.7.3

カメラ・プロジェクタシステムにおける観察位置の検出方法の検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

98

4.8 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5

結論

103

5.1 本論文のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.2 今後の検討課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
謝辞

107

参考文献

109

付録

127

A. 回転ミラー角の算出

127

B. 射影変換行列

130

C. 最大面積の平面領域へのプロジェクション

132

vi

図目次
1

複合現実感の技術体系 . . . . . . . . . . . . . . . . . . . . . . . .

2

2

イメージベーストレンダリングの概要. . . . . . . . . . . . . . .

73モデルベーストレンダリングの概要 . . . . . . . . . . . . . . . . .

10

4

本研究の到達イメージ . . . . . . . . . . . . . . . . . . . . . . . .

175

高分解能全方位ステレオ画像センサ（(a): 構成，(b): 外観） . . .

22

6

全周画像内における各カメラ画像座標の関係 . . . . . . . . . . . .

25

7

全周パノラマステレオ画像のステレオ投影系 . . . . . . . . . . . .

28

8

奥行き推定処理の概要 . . . . . . . . . . . . . . . . . . . . . . . .

29

9

三次元モデルの構成における三角パッチの割り当て . . . . . . . .

32

10

同期撮像の流れ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

11

搭載車両外観 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

12

全周パノラマステレオ動画像 (色調ずれ補正なし) . . . . . . . . .

36

13

全周パノラマ画像における各カメラ画像の色調ずれ補正結果 . . .

37

14

全周パノラマエッジ画像 . . . . . . . . . . . . . . . . . . . . . . .

38

15

全周パノラマ視差画像 . . . . . . . . . . . . . . . . . . . . . . . .

38

16

全周実環境モデルの鳥瞰図 ((a) ワイヤーフレーム表現，(b) テクス
チャマッピング表現) . . . . . . . . . . . . . . . . . . . . . . . . .

39

17

全周実環境モデルと仮想物体（樹木 CG モデル）の合成結果 . . .

4018

全周型複合現実環境内での視点移動 (中央：撮像地点) . . . . . . .

41

19

３枚のフレーム間差分による動物体領域の抽出 . . . . . . . . . . .

44

20

静止環境画像の生成. . . . . . . . . . . . . . . . . . . . . . . . .

45

21

大型円筒面スクリーン CYLINDRA の構造 . . . . . . . . . . . . .

48

22

没入型複合現実環境提示システムの構成 . . . . . . . . . . . . . .

49

23

動物体抽出に用いた全周パノラマ画像 (a〜c) と動物体領域抽出結果 (d). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

24

動物体領域の全周パノラマ画像への重畳表示 . . . . . . . . . . . .

51

25

全周パノラマステレオ静止環境画像生成結果 . . . . . . . . . . . .

51

vii

26

全周実環境モデルへ動物体領域を配置した様子 (上：撮像地点位置，
下：鳥瞰図) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

27

没入型複合現実環境提示システムへの提示結果 . . . . . . . . . . .

53

28

没入型複合現実環境提示システム内での仮想物体操作例 . . . . . .

53

29

複合現実型情報提示による複合現実環境の提示 . . . . . . . . . . .

57

30

提案手法の処理フロー . . . . . . . . . . . . . . . . . . . . . . . .

61

31

作製した映像投影装置（(a): 構成，(b): 外観） . . . . . . . . . . .

6232

観察３次元位置 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

33

映像幾何歪み補正処理の流れ. . . . . . . . . . . . . . . . . . . .

66

34

観察位置追従式複合現実型提示システム構成とデータフロー . . .

6835

距離画像上での観察３次元位置検出結果例 . . . . . . . . . . . . .

7036

観察３次元位置検出結果の X − Z 平面へのプロット（十字は正解
位置） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

71

オクルージョン時の観察３次元位置検出結果（左：カラー画像，右：観察３次元位置検出結果の距離画像への重畳表示） . . . . . . . .

71

38

実験に使用したテストパターン . . . . . . . . . . . . . . . . . . .

73

39

観察３次元位置の位置決め精度の妥当性（左：正しい位置からの観測，右：提案手法の最大誤差である 100mm 平行移動した位置からの観察）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

映像幾何補正実験の実験環境

41

幾何補正像生成結果（(a) 補正処理無し，(b) 計測距離画像，(c) 生. . . . . . . . . . . . . . . . . . . .

73
74

成した幾何補正像，(d) 幾何補正像投影結果） . . . . . . . . . . .

75

42

観察位置依存映像提示実験の実験環境

7643

観察位置依存映像提示結果 (上段：ユーザの様子，中段：観察３次. . . . . . . . . . . . . . .

元位置検出結果，下段：提示映像観察結果) . . . . . . . . . . . . .

77

44

カメラ・プロジェクタを用いた複合現実型情報提示処理フロー . .

7945

複数平面検出処理フロー . . . . . . . . . . . . . . . . . . . . . . .

81

46

プロジェクタとカメラ画像における直線の関係 . . . . . . . . . . .

83

viii

47

単純環境下での複数平面検出結果，(a) カメラ位置からの環境様子，(b) カメラ座標に対応するプロジェクタ x 座標値の輝度値表現結果，(c) カメラ座標に対応するプロジェクタ y 座標の輝度値表現結果，(d) 直線パターン検出による複数平面領域への分割結果，(e) アウ
トライヤ領域分割結果，(f) 同一平面領域統合結果 . . . . . . . . .

89

48

複雑環境下での複数平面検出結果 . . . . . . . . . . . . . . . . . .

91

49

平面検出率と誤検出率 (Plane1〜3 はそれぞれ図 47 中右の壁，左の壁，天井を示す)50. . . . . . . . . . . . . . . . . . . . . . . . . . .

正 20 面体の平面検出結果，(a) 対象正 20 面体，(b) 複数平面検出
結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

92
92

正 20 面体の平面検出率と誤検出率 (Plane1〜6 は図 50(a) の 1〜6に対応). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

52

カメラ・プロジェクタの配置. . . . . . . . . . . . . . . . . . . .

94

53

投影面の３次元復元結果（奥行き画像表現） . . . . . . . . . . . .

95

54

投影面の３次元復元結果（テクスチャ付き３ D モデル表現） . . .

96

55

投影面の３次元復元結果の真上からの観察（点群表現） . . . . . .

9656

幾何補正無し投影結果 . . . . . . . . . . . . . . . . . . . . . . . .

9757

幾何補正像投影結果. . . . . . . . . . . . . . . . . . . . . . . . .

98

58

カメラ・プロジェクタシステムにおける観察位置の検出 . . . . . .

9959

３次元点とこれを中心とする回転ミラー角度の関係 . . . . . . . . 12860

射影変換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

61

提案手法の応用例，(a) 幾何補正無し投影結果，(b) 複数平面検出
結果（白枠は投影用矩形検出結果），(c) 幾何補正像，(d) 幾何補
正像投影結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

ix

表目次
1

高分解能全方位ステレオ画像センサ構成機器の仕様 . . . . . . . .

34

2

使用機器 (同期撮像システム). . . . . . . . . . . . . . . . . . . .

34

3

使用機器 (没入型複合現実環境提示システム) . . . . . . . . . . . .

48

x

第1章
序論

1.1 複合現実感概観
複合現実感 (MR: Mixed Reality) は実環境と仮想環境を計算機内でシームレスに融合した環境を構築し，これをヘッドマウントディスプレイ (HMD: Head

Mounted Display) などの視覚ディスプレイを通しユーザに提示することにより，
実環境ではできない体験を可能にする技術である．この複合現実感は 1994 年にMilgram ら [MK94] によって Mixed Reality として提唱され，同時にその技術分野も体系化された．Milgram らは図 1 に示すように，複合現実感には，計算機内に構築された仮想環境内に実環境の情報を取り込むことで仮想環境の写実性を強化す
る仮想化現実 (AV: Augmented Virtuality) と，仮想環境を実環境に合成提示することで実環境に情報を付加し実環境の機能を強化する拡張現実 (AR: Augmented

Reality) が含まれ，実環境と仮想環境は仮想化現実と拡張現実を介して連続的に遷移するとしている．
現在，複合現実感は，計算機内に実環境と仮想環境が融合された写実性の高い環境が構築可能であるといった理由と，近年の計算機能力の発展やネットワークの大容量化，無線化，映像メディア処理技術の向上といった技術的背景の後押しもあり，数多くの研究機関で注目されてきている．この背景には以下に述べるような仮想現実感 (VR: Virtual Reality)[廣瀬 93a, 原島 94, 日高 00] の写実性限界といった問題がある．疑似体験をユーザが享受する仮想現実感は，利用する仮想環
境の全てをコンピュータグラフィクス (CG: Computer Graphics) によって構築する必要があった．このためユーザに没入感を与えるよう写実性の高い仮想環境を構築しようとした際には，対象環境の情報を計算機に正確かつ詳細に入力する必要があり，多大な作成手間が掛かる．この作成手間の増加は，対象が屋外などの

1

Mixed Reality (MR)Real
Environment

Augmented
Reality (AR)Augmented
Virtuality (AV)

VirtualEnvironment

図 1 複合現実感の技術体系
広域かつ動的な実環境の際には顕著になり，人手や時間，金銭的制約から結果的に構築仮想環境の写実性が下がるといった問題があった．そこでこの写実性と作
成手間のトレードオフを回避するため，仮想環境全てを CG で構築するのではな
く，部分的には実写画像を用いて構築する，実写に基づく環境構築の必要性が指摘されるようになり [OT99, 苗村 99]，これを仮想化現実として実現可能な複合
現実感に注目が集まってきたと考えられる．複合現実感によって，仮想現実感では CG のみで手動構築するため閉鎖された空間に限定されていた対象環境が実環境へと広がるため，その応用分野は景観シミュレーションや作業訓練，ナビゲー
ションなど非常に幅広く社会的にもその普及が望まれている．
本論文では，現在強く開発が望まれている分野である，自然や都市などの屋外環境を対象とし，これを仮想化現実の枠組みで複合現実感により表現することについて論ずる．ここで，拡張現実を用いて複合現実感を表現することも可能であるが，仮想化現実によって表現される複合現実感は，景観シミュレーションや作業訓練，ナビゲーションなどの適用例において重要と考えられる任意視点画像の生成が容易であることから，本研究では拡張現実に焦点を絞る．以下では，屋外環境の複合現実感による表現について，特に実写に基づく複合現実環境の構築方
法とその提示の仕方についての技術課題を整理する．次に，複合現実環境構築および複合現実環境提示の従来研究を概観し，それぞれその問題点を明確にする．

1.1.1 複合現実環境表現の技術課題
ユーザに現実同様の体験を感じさせるための複合現実環境の表現とは，写実性の高い複合現実環境を，高い没入感を与えるディスプレイで，ユーザが観察視点・
視線の自由な変更が可能なインタラクティブ観察を可能とすることと言える．複2合現実環境の表現は以下のステップからなる．

1. 実環境をデジタルデータ化して計算機に取り込み，計算機内で仮想物体と合成した複合現実環境を構築する．

2. ユーザがどこから，どの方向を見ているかという視点位置，方向情報を計算機に入力する．

3. 計算機でユーザの視点位置，方向に対応した複合現実環境の様子を画像化
し，視覚ディスプレイを通じてユーザに提示する．
ステップ 1 において，写実性の高い複合現実環境を構築するために，実環境は実写に基づき計算機に取り込まれることが多い．ステップ 2 における視点位置，方向情報は，マウス，ジョイスティック，３次元磁気トラッカなどで容易に与えることができる．ステップ 3 において，ユーザへ与える没入感は使用する視覚ディ
スプレイに依存するところが多い．以降では，ステップ 1 を複合現実環境の構築，
ステップ 3 を複合現実環境の提示と呼ぶこととし，それぞれに対する要求について述べる．

複合現実環境構築の課題
複合現実環境を表現する際の要素技術である実写に基づく環境の構築は実環境の仮想化とも呼ばれる．仮想化された実環境と仮想環境が矛盾無く融合された写
実性の高い複合現実環境を構築するには，仮想化された実環境は以下の要件を満たす必要がある．
【幾何学的な要件】
実環境内の物体の空間的な位置やその時間的変化を忠実に再現するため仮想化された実環境に求められる要件．

• 広い画角の再現
自然環境，都市環境などの屋外環境のような広域な実環境を忠実に再現するためには，仮想化された実環境は広い画角を有す必要がある．

3

• 奥行き隠蔽関係の再現
様々な物体が存在し，それら各々が多様な奥行きを有し互いに隠蔽しあう３次元的な実環境を忠実に再現するためには，仮想化された実環
境においても実環境内の奥行き隠蔽関係が再現される必要がある．

• 動きの再現
様々な動物体が存在し，それら各々が多様に動く動的な実環境を忠実に再現するためには，仮想化された実環境においても物体の動きが再現される必要がある．
【光学的な要件】
実環境と仮想環境を融合する際に画質や照明，陰影などの光学的な整合を取るため，実環境の仮想化時に必要となる要件．

• 高精細なテクスチャ情報の保持
実環境中の物体の色を忠実に再現するためには，仮想化された実環境は高精細なテクスチャ情報を有す必要がある．

• 実環境内の照明位置，方向及び物体の反射特性の保持
仮想環境を仮想化された実環境と照光，陰影の整合を保って融合するには，実環境内の照明位置，方向及び物体の反射特性を取得する必要がある [Sat05, Mac05]．
上記要件のうち，幾何的な要件と光学的な要件の高精細なテクスチャ情報の保持は，仮想化された実環境の写実性に影響を与える．また，実環境内の照明位置，
方向及び物体の反射特性の保持については実環境と仮想環境が融合された合成画
像の写実性に影響を与える．両者共に構築される複合現実環境の写実性に影響を与える要因であるが，前者に関しては実環境と仮想環境の両者の対応付けを容易にするためにも必要な要件であり，実環境の仮想化時の重要な技術課題といえる．

4

複合現実環境提示の課題
いかに写実性の高い複合現実環境が構築されたとしても，これをどのようにユーザに視覚的に提示し高い没入感を与えるかといった問題もある．情報の視覚提示の際に，ユーザへ与える没入感に影響する要因としては以下の事項が挙げられる．
【視覚的要因】視覚情報は人間が感覚器から獲得する情報の中の約 80 ∼ 90% を占めると言われており，ユーザへ与える没入感に大きな影響を与える．視覚的に没入感を与える要因としては以下の 3 つが挙げられる [廣瀬 93a].

• 視野角
人間の視野角は頭を固定したとしても，眼球運動まで含めると，単眼では水平方向に約 180 度と非常に広い [廣瀬 93a]．そのため，広い視野角で映像を提供することが望ましい．

• 解像度
人間の空間周波数特性は正常視力の場合に 2∼4cpd(cycle per degree)1 と比較的高い [大頭 94, Rea93]．そのため，高解像度で映像を提供することが望ましい．

• 奥行き感利用者は３次元形状を認識することによって，より高い没入感を得る．
そのため，立体視映像を提供することが望ましい．
【物理的要因】視覚情報を提示する際の物理的な状況や場所もユーザに与える没入感に影響する．ユーザの没入感を損なう物理的な要因としては以下の 2 つが挙げ
られる．

• 接触性
1

眼から 57cm 離れた位置にある 2mm 程度の太さの線による白黒の縞模様を認知することに

相当．

5

ユーザに機器の存在を意識させることは没入感を損ねる．そのため，非接触で映像を提供することが望ましい．

• 拘束性
ユーザの状況や場所を拘束することは精神的拘束感を与えることにもなり没入感を損ねる．また，ユーザの作業空間維持のためにも，非拘束で映像を提供することが望ましい．
上記の諸要因は，没入感を与える情報提示のためには全て対処されることが望
ましいが全要因を解決しうる視覚ディスプレイの作成は現状技術では困難であり，例え実現されたとしても装置が非常に大掛かりになる．そのため従来から視覚的要因を重視した HMD を代表とする様々な視覚ディスプレイが開発されてきており，ユーザは没入感の高い映像観察が可能となってきている．しかしながら，そのような提示デバイスは物理的要因が犠牲とされているため，ユーザは機器の接触や作業空間の制約に違和感を感じることが多く，日常的に利用されるようにはなっていないのが現状である．

1.1.2 複合現実環境構築の従来研究
本節では，実写に基づく複合環境構築技術に関する従来手法を分類し記述する．
複合現実環境内で実写に基づき実環境を表現する最も単純な方法は，任意の視点
位置・方向の情景を時系列で撮影しておけば良いが，これは一般には不可能である．例えば Lippman らによる Movie-Maps[Lip80] では，あらかじめ撮影した多経路の動画像を蓄積し，ユーザの指定した方向と位置に応じて切替えて表示することにより実環境を表現しているが，表現可能な実環境はあらかじめ撮影を行なった経路のみに限られる．そこで近年，

1. 多視点撮像した画像を基にイメージベーストレンダリングにより表現する方法

2. なんらかの手段によって得た対象環境の幾何情報を基にモデルベーストレ
ンダリングにより表現する方法

6

対象物体

カメラ１

カメラ２
新視点位置

カメラ１撮像画像

作成画像

カメラ２撮像画像

図 2 イメージベーストレンダリングの概要
等の研究が盛んに行われるようになってきた．以下では，実写に基づく複合現実
環境構築技術に関する従来研究を，イメージベーストレンダリングによる方法と，モデルベーストレンダリングによる方法とに分類し，それぞれの手法の特長と構築される環境が前節で記述した要件を満たすかどうかといった観点からの考察について述べる．
イメージベーストレンダリングによる複合現実環境構築
イメージベーストレンダリングとは複数の位置において撮像された画像か
ら，これをモザイク状に組み合わせることにより，陽に対象空間の幾何情報を得ずに任意の視点位置で観察される画像を作成する手法である．イメー
ジベーストレンダリングの概要を図 2 に示す．この図のように，例えば，実際は２台のカメラで撮像された場合にも，実際には撮像されていないカメラ周辺の任意の視点位置の画像を作成することができる．このようにして作成された画像は任意視点画像と呼ばれ，ユーザの指定した視点位置と方7

向に応じて任意視点画像を作成することにより複合現実環境内において実環境を表現することができる [CW93, 片山 96]．
この方法では，撮像画像から直接的に作成された任意視点画像により実環
境を表現するため，複合現実環境内において高精細なテクスチャ情報を表現することが可能である．そのため，より写実的な任意視点画像生成を目的とし近年様々な方式が研究されてきた．その代表例が光線空間法 (light ﬁeld

rendering) である [LH96, GGSC96, 藤井 94]．この方法は対象とする実環境
が３次元空間であることを考慮し，「空間中を飛び交う光線（放射輝度）を，予め全て計測，記録し，任意視点画像を生成するときには，それらの光線の中から視点に飛込んでくるものを取り出して，投影面上に並べる」という考え方に基づいている．この方法では任意の視点位置，方向の任意視点画像を生成することが可能であるが，Adelson らが文献 [MB95] 中で示しているように，空間中の光線は三次元座標と光線の方向，波長，時間の 7 次
元関数 f(x, y, z, θ, φ, λ, t) で表現されるため，全ての光線の計測，記録は膨
大な撮像回数と膨大な画像枚数の蓄積を要する．そのため，撮影の効率化を図る方法 [SH99] や，光線データそのものを圧縮する方法 [高野 97] が検討されているが，実環境のような広域な空間を対象とした際には，その実現は依然困難である．
このため，広域な実環境を表現する際にはユーザの視点位置，方向になんらかの制約を設けることが多い．例えば，Chen[Che95] や Hirose ら [HYS93]
は，スチルカメラもしくはビデオカメラを回転した回転カメラで撮影した画像をパノラマ合成した画像を用い，視点位置は固定であるが，視線方向の変化に応じてパノラマ画像を切り出すことにより実環境の表現を可能としている．これらの方法ではユーザを取り囲むパノラマ画像を用いるため，広域な実環境の表現が可能であるが，回転カメラではその機構上，実環境
中の全ての動きを同時に再現することが困難である [Yag99]．そこで，広域かつ動きのある実環境を表現するため，環境の全方位の光線情報を一度にビデオレートで取得可能な曲面ミラー型の全方位カメラを用いたシステム[山澤 98] や，より高精細なテクスチャを提供するマルチカメラ型全方位カメ
8

ラを用いたシステム [池田 03] が開発されている．このように全方位カメラ
を用いる方法は，広域かつ動きのある実環境を容易に表現可能であること
から実環境の仮想化方法としては非常に有力であるが，基本的に２次元画像の提供であるため奥行き隠蔽関係の再現が困難であるといった問題が残されている．全方位画像を用い奥行き感を表現する立体視映像を提供可能なシステム [山口 01, 川北 00, NKH98] も開発されているが，イメージベー
ストレンダリングでは本質的に対象空間の幾何情報を持たないため立体視映像の提示に留まり，仮想化された実環境と仮想環境両者の正確な奥行き
隠蔽関係の再現は困難であるといった問題は依然残されている．
モデルベーストレンダリングによる複合現実環境構築
モデルベーストレンダリングの概要を図 3 に示す．図のようにモデルベー
ストレンダリングとはなんらかの手段によって得た対象環境の幾何情報を基に作成した３次元モデルを，仮想のカメラの２次元投影面上に透視投影
変換（レンダリング）することにより任意の視点位置，方向で観察される画像を作成する手法である．また，３次元モデルに実写画像をテクスチャマッ
ピングすることにより，より写実的な表現が可能となる [FvDFH93]．また，
モデルベーストレンダリングでは対象環境全ての３次元データを保持する
ため，複合現実環境構築への適用を考えた際，仮想化された実環境と仮想環境両者の正確な奥行き隠蔽関係は容易に再現可能であるといった特長を持っている．
モデルベーストレンダリングにおいて必要となる３次元モデルは，従来設計書などを基に CAD システムや３次元モデリングソフト [Aut, New] などによりその３次元データを手で入力することにより作成されていた．しかし，自然環境や都市環境などの屋外環境においては対象の形状があらかじめ分
かっているということは少なく，対象形状が未知の実環境を対象とした仮想化技術が必要とされてきている．そのため，複数枚の実写画像で画像中の同一点を示す対応点や直線を手動で指定することにより対象の３次元モデルを簡易に作成するソフトウェアが開発されている [Eos, ３次元, 終作, DTM96]
が，屋外環境のような広域な空間を対象とした時にはその作業は依然煩雑

9

テクスチャ画像

３次元モデル

対象物体

３次元
データ化

テクスチャ
マッピング

仮想カメラ１
仮想カメラ３
仮想カメラ２

仮想カメラ１
レンダリング画像

仮想カメラ２
レンダリング画像

仮想カメラ３レンダリング画像

ワイヤー
フレーム

テクスチャ
マッピング

図 3 モデルベーストレンダリングの概要
であり，自動での仮想化技術が望まれている．
対象形状が未知の実環境の３次元モデル化方法は能動的方法と受動的方法に大別できる．能動的方法はレーザや投影光のような何らかのエネルギーを測定対象に照射し，対象の３次元データを得る方法である．投影光を用いる方法 [井口 90, MIN] は屋外環境などの実環境においては日照光などの外乱の影響を大きく受けるため，このような環境においては，レーザ光を発射しその反射光の到達時間差によって対象までの距離を計測するレーザレン
ジファインダ [RIE, Lei, SIC] が良く用いられる．このレーザレンジファイ
ンダから得られる３次元データを処理することによって，広域な実環境を

10

自動で仮想化する研究も複数報告されている [AKY05, ZS03, FZ03, 中川 99]．レーザレンジファインダは一般的に受動的方法に比べて３次元データ測定の信頼度が高いといった特長があるため高精度な３次元モデル生成が期待できる．また近年ではセンサに 1pixelCCD を内蔵し３次元データと同期したカラー情報を獲得することで高精細なテクスチャ情報をも取得可能となってきている．しかしながら，大抵のレンジファインダは，３次元デー
タを得るために数秒程度の時間を要することが多く，動きのある実環境に対しては適用することが出来ない．
対して受動的方法とは１枚または複数枚の実写画像を入力として画像処理のみで対象の３次元データを得る方法である．この方法では，入力した画像をテクスチャ画像として利用できるため高精細なテクスチャ情報を獲得可能である．受動的方法としては，陰影による方法，レンズ焦点法，視体積
交差法，動画像解析による方法，ステレオ法などがある．ここで，動画像解
析による方法では，複数画像間で実環境中の特徴点の軌跡と，GPS やジャイロなどのセンサの出力値もしくは特徴点の対応から算出したカメラ間の位置・姿勢から対象までの奥行きを算出する．またステレオ法では特徴点の軌跡の代わりにステレオ画像間での対応点を求めることにより対象までの奥行きを算出する．複雑な背景や様々な距離を含み，かつ照明条件が未知である屋外環境などの広域な実環境に対しては，特徴点の軌跡のみで奥行きを計測できる動画像解析による方法 [PGV+ 04, SKYT02, 納富 98] や，対応点のみで奥行きを計測できるステレオ法 [MIT, 松川 00, 横光 99, HWE98]
が良く用いられる．しかしこれらの手法では，対象環境が静止していることを前提としているため，動きのある実環境に対しての適用は難しい．また，動画像解析による方法，ステレオ法共に画像間の対応点の決定が課題となっている．
一方，動きのある実環境の３次元データの取得を目指し Kanade ら [KRN97]
は Virtualized Reality という考えを提唱し，対象を取り囲むようにして配置した数十台の同期したカメラから得られる画像にマルチベースラインス
テレオ法 [OK93] を適用することにより，実環境中の動きをその３次元デー

11

タと共に取得している．Virtualized Reality では対象を取り囲むようカメラを配置するため，３次元データを取得できる対象環境が狭い領域に制限されるが，パノラマ画像を用いることによって，より広域な環境を仮想化する技術が近年注目されている [八木 01, 横矢 01, 横矢 99] ．
前述のようにパノラマ画像は回転カメラもしくは全方位カメラにより取得できる．回転カメラから得られるパノラマ画像を用いる方法では，カメラを回転軸からずらして配置することにより得られるパノラマステレオ画像を用いて対象の３次元データが取得される [PBEP01, 川北 00, 廣瀬 93b]．しかしながら，回転カメラの機構上，実環境中の全ての動きを同時に再現することが困難である．対して全方位カメラを複数台用い，これらを同期して撮像することにより実環境中の全ての動きを含むパノラマステレオ画像を得るセンサが開発されつつある [GNT98, 茶園 97, SBFR96]．これらの全方位センサはミラーを介して１台のカメラで全周囲の情景を撮像するため，生成される画像の解像度が低下するという問題があったが，近年では複合ミラーと複数台のカメラを組み合わせることによって，高精細なテクスチャ情報を取得可能なパノラマステレオ画像センサ [KYI+98] も開発されている．
このような新しい全方位カメラから得られるパノラマステレオ画像を用いれば，広域かつ動的な実環境の３次元データを得ることが可能になり，実環境を仮想化する際の有力な手段と考えられる．しかし写実的な複合現実環境を構築するためには，ステレオ法の課題である画像間の対応点の決定問題を回避した３次元モデル化の方法や，時系列で取得される膨大な数のパノラマステレオ動画像群を，どのように３次元モデル化して仮想化された実環境内で動きを表現するかなどの検討課題は残されている．

1.1.3 複合現実環境提示の従来研究
本節では複合現実環境提示技術に関して，その視覚情報を提示するディスプレ
イ毎に分類し記述する．構築した複合現実環境を提示する視覚ディスプレイとしては，ヘッドマウントディスプレイ，網膜投影ディスプレイ，没入型投影ディス
プレイとプロジェクションベースディスプレイなどがある．以下では，それぞれ

12

の視覚ディスプレイの特長を述べると共に，構築された環境を提示するディスプ
レイとして前節で述べた要件を満たすかどうかといった観点からの考察について述べる．
ヘッドマウントディスプレイ（HMD: Head Mounted Display）
ヘッドマウントディスプレイ（HMD: Head Mounted Display）は頭部に装着するヘルメット型のディスプレイ装置で 1968 年に Sutherland により提案[Sut68] された．周辺視が遮されるためユーザに与える没入感が高く，立体視映像の表示も可能であり，複合現実感の提示ディスプレイとしてしばしば用いられる．従来より，利用者に与える視野角の小ささや，解像度の低さ，その重量が問題として挙げられていたが，近年では広視野化 [NYY03]，
高解像度化 [Roc]，軽量化 [Mi] などの改良が図られている．一方，頭部装着型であるゆえにその接触感が，また一般には有線接続により映像，電源を供給するためにその拘束感が，ユーザの没入感を損ねるといった問題は未だ残されている．
網膜投影ディスプレイ（VRD: Virtual Retinal Display）
網膜投影ディスプレイ（VRD: Virtual Retinal Display）[Mic, Wa] は画像をユーザの網膜に直接レーザースキャンして像を知覚させる方式であり，ユー
ザの視力に関わらず鮮明な映像を提示できるといった特長がある．また，２台の VRD を用いて立体視映像の網膜投影により奥行き感を与える装置も開発されている [志水 00]．VRD では画素という概念が無いため原理的には高解像度な映像を提示可能である．一方，広視野な映像を提示するためには目の瞳孔に装置を接近させる必要があるなど光学系の調整が難しいため，
現状で提供できる映像の視野角は 25 度程度に限定されている．また，その提示方式は頭部装着式 [Mic] もしくは据え置き装置への頭部接触式 [志水 00]
であるため，接触感，拘束感共に大きいといった問題がある．
没入型投影ディスプレイ（IPD:Immersive Projection Display）
没入型投影ディスプレイ (IPD: Immersive Projection Display) とは，ユー
ザを取り囲むように配置された大画面スクリーンに映像を投影する方式の13

ディスプレイである．IPD には平面スクリーンから構成される多面ディス
プレイ [CNSD93, 廣瀬 98] と曲面スクリーンから構成される円筒面 [島村 01,
南雲 99] ・球面 [林 05, 橋本 99, 竹村 98, Elu] ディスプレイがあるが，両者とも広視野，高解像度，立体視映像の提供が可能であり，ユーザに高い没入感を与えることができる．また，単眼映像観察の際はなんら機器を装着する必要が無く，立体視映像観察の際も小型・軽量のアナグリフ眼鏡や液晶シャッタ眼鏡のみの装着で良いため，非接触性においても優れていると言える．また，IPD 内においてはユーザは機器を装着する必要がないため，ケーブル等による拘束性はない．しかし，IPD は一般に大掛かりで重量がある特殊ディスプレイであり，一度ある場所に設置したらその移動は容易ではない [橋本 05]．この理由から，ユーザは IPD 設置場所での観察を余儀なくされるため，観察場所が拘束されるといった問題が残されている．
プロジェクションベースディスプレイ（複合現実型情報提示）
プロジェクションベースディスプレイとは，実環境をスクリーンと見立てて画像情報をプロジェクタを用いて投影することにより，様々な視覚情報を実物体上に重畳表現する方式であり，投影提示により実環境に仮想情報を融合させることから複合現実型情報提示とも呼ばれる．この方式では，人物に非接触・非拘束かつ実環境に非侵襲で視覚情報を提示できるといった特長がある．２次元像の投影であるため立体視映像の提供こそできないが，近年の市販プロジェクタの高解像度化，高輝度化，小型化等の技術革新は著しく，
低価格化も進んでいるため現在では一般家庭においても高機能なプロジェ
クタが普及しつつある．またユーザの見回しに対応できるまでには至っていないが，短焦点距離化が図られ，広視野な映像を提示することも可能となってきている [安形 04]．以上述べたような目覚しい市販プロジェクタの高機能化のため，近年これを積極的に活用するプロジェクションベースディスプ
レイ技術の研究が盛んに行われている [BR05, 岩田 05, BEK05, RWC+ 98] ．
プロジェクションベースディスプレイでは他のディスプレイと異なり，様々な形状や反射特性からなる実環境に画像情報を投影するため，投影された像に幾何歪みや光学的なずれが生じる．特に幾何歪みの発生はユーザにとって投14

影像の観察を困難とする．そのため，あらかじめプロジェクタへの入力像を幾何補正してから投影する必要が生じる [Pin01, NH02, RvBB+ 03, RBvB+04,

SPK+ 03, RWLB01, 向川 05, 東條 02] ．入力像の幾何補正には，あらかじめ
実環境の形状情報を何らかの方法で計測しておく必要があるが，投影方向を変更した際や動物体の存在によって起こる実環境の動的な形状変化には対処できないといった問題がある．このため動的な実環境におけるプロジェクショ
ンベースディスプレイの実現は重要な課題となっており，これを実現しようとする研究も進められている [PRI02, TIS+ 03, CNGF04, 永井 05, 島村 05] ．
また，プロジェクションベースディスプレイの非接触・非拘束で映像を人物に提示できるといった特長を損なわずにインタラクティブな映像観察を実現するため，実環境中でのユーザの位置や対象の位置を計測し，その位置に応じて投影内容を変化させる研究も行われている [PPL+ 02, SPK+ 03,

BRF01, 向川 01] ．しかしユーザもしくは実環境になんらかのマーカを装着することを強いたり，マーカ無しであっても，実環境中で起こりうる照明
変動や遮蔽物の存在により正確な計測ができず，インタラクティブな映像
提示が困難になるといった問題がある．
このように，プロジェクションベースディスプレイにはまだ技術的な課題が残されているが，ユーザに高い没入感を与えられるうえに，その非接触性，非拘束性と一般家庭でのプロジェクタの普及率から，日常生活においての複合現実環境の観察も可能とする可能性を秘めており，その実現が期待されている方式である．
その他のディスプレイ
上述した以外にも様々なディスプレイが広く使用されている．２次元の画像情報の提供を目的とするディスプレイとしてはＣＲＴ，液晶，プラズマ，
有機ＥＬなどのモニタや空中へ平面像を提示するディスプレイ [IO2, Fog]などがある．しかし，これらはいずれも IPD 同様可搬性が悪く，ユーザ
は観察場所の拘束を受ける．また可搬性に富むハンドヘルドディスプレイ

[Rek96, MKBP02, MLB04] も複合現実環境の提示デバイスとして利用されることがあるが，ユーザに提供できる視野角に問題がある．

15

一方，３次元的な画像情報の提供を目的としたディスプレイとしては，２眼式立体ディスプレイと再生像型立体ディスプレイがある．前者には，メガネなどの機器の装着の必要無く３次元を知覚させるディスプレイとして，
左右両眼に視差をもった映像を供給することによりユーザに奥行き感を知覚させるパララックスバリア方式やレンティキュラ方式 [廣瀬 93a] に基づく
ものが，また明るさの異なる同一の像を重ねて表示することにより奥行き感を知覚させる DFD[高田 00] などがある．これらのディスプレイではユー
ザの移動や見回しに対応できないことが多く，複合現実環境の提示デバイ
スとして用いられることはあまり無い．また後者には，インテクグラルフォ
トやホログラフィに基づくものや，空間走査型のボリュームディスプレイ

[Act, EKHS00] などがある．これらのディスプレイでは３次元空間中に像を再生するため，自然な奥行き感の知覚が可能であるが，いずれも広視野化が難しいことや，装置機構が非常に特殊であるため高価であるといった理由から，複合現実環境の提示デバイスとして利用されることは少ない．

1.2 本研究の目的と方針
本研究では，様々な応用が考えられる自然環境，都市環境などの広域で３次元的かつ動的な実環境を対象に，1.1.1 節で述べた仮想化された実環境への要件を満たす写実性の高い複合現実環境の構築を行うことを第一の目的とする．また，構築された複合現実環境をユーザが高い没入感でかつ日常生活においても気軽に享受可能になることを目指し，1.1.1 節で述べた高い没入感を与えるための提示の要因を汲んだ複合現実環境の提示を実現することを第二の目的とする．本研究の目的の到達概念図を図 4 に示す．以下では，第一，第二の目的に対する本研究の方針について従来研究に対する位置づけと共に順に述べる．

(1) 写実性の高い複合現実環境の構築方針
本研究の第一の目的を達成するためには，1.1.2 節で述べた各手法の特長より，全方位カメラから得られるパノラマステレオ画像を用いてモデルベー
ストレンダリングにより複合現実環境を構築するアプローチが適している．

16

実環境

複合現実環境

仮想化

仮想環境

合成

ユーザ視点

提示

ユーザ

プロジェクタ

図 4 本研究の到達イメージ
しかし従来研究では，高精細なテクスチャ情報の確保や，ステレオ法の課題である画像間の対応点の決定問題を回避した奥行き情報の取得，及び仮想化された実環境内での動きの表現方法などの検討課題は残されている．そこで本研究では第一の目的を達成するため，ステレオ撮像が可能な高分解
能全方位ステレオ画像センサで取得した全周パノラマステレオ動画像から，
実環境と仮想物体の奥行き隠蔽関係の再現，実環境中の動きの再現に加え任意視点映像の生成が可能な複合現実環境の構築手法を提案する．提案手法では全周パノラマステレオ動画像から，信頼度の高い対応点情報の補間により奥行き情報を保持した全周実環境モデルを構築することによって，実環境との奥行き隠蔽関係を考慮した仮想物体の合成を容易にし，複合現実
環境内でのユーザの視点移動に伴う運動立体視と両眼立体視による奥行き17

知覚をも可能とする．また，動画像系列からの静止環境画像の生成と動物
体領域の抽出を行い，これらを別々に三次元モデル化することによって動的な現実環境の簡便な表現を可能とする．

(2) 複合現実環境の高臨場かつ日常生活環境への提示方針
本研究の第二の目的を達成するためには，1.1.2 節で述べた各視覚ディスプ
レイの特長より，プロジェクションベースディスプレイを用いるアプロー
チが適している．しかし従来研究では，プロジェクションベースディスプ
レイの対象となる実環境の動的な形状変化に対応できないといった問題がある．また，非接触，非拘束でのインタラクティブな映像観察を実現する
ため，実環境中でのユーザの移動を計測する際，環境中で起こりうる照明
変動や遮蔽物の存在により正確な計測ができないという問題もある．これ
らの問題は両者共にプロジェクタによって投影される像の幾何歪みを引き起こすため，ユーザに違和感を与えることになる．また，実環境形状が複雑になると幾何補正像の生成に時間を要し，ユーザのインタラクティブな映像観察が阻害されるといった問題も生じることに注意しなくてはならな
い．そこで本研究では第二の目的を達成するために，プロジェクタとレン
ジファインダ，回転ミラーを組み合わせた映像投影装置を作製することにより，動的な形状変化に対応し，かつ広範囲な映像投影を実現する．次に，映像投影装置で計測した距離画像を用いてユーザの実環境中での３次元位置を検出することにより実環境中の隠蔽，計測誤差，照明変動にロバスト
で正確な検出を可能とする．また検出したユーザの位置と距離画像を用いて入力映像の幾何補正を高速に行い，これを投影出力することで，ユーザへのインタラクティブな映像観察を可能とする．

1.3 本論文の構成
以降の本論文の構成は以下の通りである．第 2 章では，高分解能全方位ステレ
オ画像センサの概要と，全周パノラマステレオ動画像から実環境と仮想物体の奥行き隠蔽関係を再現可能な全周型複合現実環境を構築する手法について述べる．

18

第 3 章では，第 2 章で構築した全周型複合現実環境を，全周パノラマステレオ動画像を用いて実環境中の動きを再現可能な動的複合現実環境へと拡張する手法について述べる．第 4 章では，複合現実環境を高い没入感でかつ日常生活環境において観察可能とする手法について述べる．第 5 章では，本論文のまとめと今後の検討課題を述べる．

19

第2章
実環境と仮想物体の奥行き隠蔽関係を保持した
全周型複合現実環境の構築

2.1 序言仮想空間を実写画像で構成・増強する仮想化現実の考えは幾何形状の上に実写画像を張り付けるテクスチャマッピングに遡ることができ，複合現実環境の構築においても，その背景を平面や円筒面への実写画像のテクスチャマッピングで実現している例が多い．しかしこのような場合，実環境内の物体同士，もしくは仮想化された実環境と仮想物体の奥行き隠蔽の再現が困難で，写実性に欠けるという問題がある．
本章では，広域かつ３次元的な実環境を対象に写実性の高い複合現実環境を構築するため，その奥行き情報を保持し，かつ広い画角，高精細なテクスチャ情報を有す仮想化された実環境（以降，全周実環境モデル）を生成する手法を提案する．以下 2.2 節では，本研究で実環境の情景を撮像するために利用する高分解能
全方位ステレオ画像センサの概要について述べる．2.3 節では，高分解能全方位
ステレオ画像センサの各カメラで撮像した画像から全周パノラマステレオ画像を生成する方法について述べる．2.4 節では，全周パノラマステレオ画像から実環境中の撮像対象までの奥行き情報を表現する全周パノラマ距離画像を生成する方法を，続いて 2.5 節では，全周パノラマ距離画像から全周実環境モデルを生成す
る方法について述べる．2.6 節では実際に屋外環境を対象にして全周実環境モデ
ルを生成し，これに仮想物体を合成した全周型複合現実環境の構築結果を示すことにより，提案手法の有効性を示す．最後に 2.7 節でこの章をまとめる．

20

2.2 高分解能全方位ステレオ画像センサ
本研究では写実性の高い全周実環境モデルを生成するために，画像センサを用いて撮像された実環境の画像を用いる．この目的のために使用される画像センサには以下のような要求があげられる．

1. 同一視点からの全周画像が得られること．
全周実環境モデルは利用者の全周をとり囲むデータとして生成される必要がある．このため，入力用の画像センサも視点回りの全周の情報を獲得できる必要がある.

2. ステレオ撮像が可能であること．
全周実環境モデルの生成のためには，奥行き情報を獲得する必要がある．このため入力用の画像センサはステレオ撮像が可能であることが必要である．

3. 高分解能な撮像が可能であること．
全周実環境モデルの写実性はテクスチャ画像の解像度に大きく依存する．このため入力用の画像センサは高解像度の画像を撮像できる必要がある．

4. ビデオレートでの撮像が可能であること．
全周実環境モデルでは動物体が存在する現実環境をも再現する必要がある．
このため入力用の画像センサはビデオレートでの撮像が可能でなければならない．
全周の画像を取り込む方法は，複数の撮像画像を組み合わせて全周画像を生成する方法と一台のカメラで全周の画像を一度に取り込む方法に分類される [横矢 00]．
前者の入力センサには回転カメラがあり，後者には魚眼レンズやミラーの反射像を用いて 1 つの CCD カメラから全周画像を取得する全方位センサが挙げられる[八木 01, 横矢 99]．しかし前者は動的環境への対応に問題があり，後者の多くはセンサの分解能が低いという問題があった．
本研究では実環境を撮像する画像センサとして上記の 4 つの要求を満たす高分
解能全方位ステレオ画像センサ [山澤 97, 川西 97, KYI+98] を使用する．センサ

21

CCD
カメラ
=

=
=

=

上部構造
仮想的な投影中心ピラミッド型ミラー

下部構造

側面図

俯瞰図
(a)

(b)

図 5 高分解能全方位ステレオ画像センサ（(a): 構成，(b): 外観）の構成と外観を図 5 に示す．本センサは上下対称に配置された２つの全周撮像部から成っており，上部構造は鉛直上向きの六角錐ミラーとその上に鉛直下向きに配置した 6 台の CCD ビデオカメラで構成されている．六角錐ミラーは底面が正六角形，側面が合同な二等辺三角形である．また，底面と側面は角度が 45 度になるように設計されている．6 台のカメラは六角錐ミラーの各側面での鏡像を撮像し，各カメラの位置は，同一視点での透視投影画像を得るためにカメラのレン
ズ中心の虚像が一点に重なるように調整されている．全周撮像部を上下対称に設置することによって，全周のステレオ撮像を可能にしている．上下撮像部間距離（基線長）は可変であるが，本研究では 25cm に設定している．なお，全 12 台のカメラによる撮像画像は時間的な同期をとって 12 台のビデオデッキに並列的に記録される．

2.3 全周パノラマステレオ画像の生成
以下では高分解能全方位ステレオ画像センサの 12 台のカメラで撮像したある
時刻の 12 枚のカメラ画像から全周パノラマステレオ画像を生成する方法について順を追って説明する．

22

2.3.1 各カメラ画像の樽型歪み，明度補正
高分解能全方位ステレオ画像センサにより得られる各々のカメラからの映像は広角レンズに特有の大きな樽型歪みが生じる．この樽型歪みには Tsai のキャリ
ブレーション法 [Tsa87] により樽型歪み補正係数を算出して補正を行なう．また，
光学レンズ系を使用した撮像系で得られる画像には，次式で近似されるような周辺減光が生じる [Kin83]．


 
r
−1
cos θ = cos tan
f
4

4

(1)

ここで，θ はレンズ中心と画像上の点 (u, v) が画像上の中心点（主点）に対し√てはる角度とし，r は画像の中心点からの距離 (r = u2 + v 2)，また f は Tsai のキャリブレーション処理によって求めたレンズの焦点距離とする．
この時，画像 P (u, v) の補正は次式で行われ，補正画像 Po (u, v) を得ることができる [画像 97]．

Po (u, v) =P (u, v)cos4 θ

(2)

2.3.2 隣接画像間での色調ずれの補正
高分解能全方位ステレオ画像センサを用いて取得した全周パノラマ画像は各カ
メラの撮像画像間で色調が異なることがある．これは各カメラの色感度特性のばらつきに起因する．つまり，一般的に物体表面の放射輝度 L に対して撮像面上の放射照度 I は線形な関係を持つとされており

I = aL + b.

(3)となり，各カメラごとに式 (3) の a, b が異なっているため画像間での色調の違いが発生する．式 (3) の関係が成立していると仮定すると，画像間の色調の違いは各カメラ画像を線形明度変換により補正を行なうことが望ましい．また，後述のステレオ画像の対応付け時に使用する正規化相互相関は画像間同士の線形な輝度変換を考慮した評価尺度であり，非線形に各カメラ画像の画素値を変換したステ
レオ画像を比較するより線形に変換を行なった画像同士を比較した方がより良い評価が可能になると推測される.

23

そこで，6 台のカメラから作成される全周パノラマ画像中の各カメラの画像 fk
に対して，線形な明度変換

gk (i, j) = ak fk (i, j) + bk .

k=1∼6

(4)

を適用し，画素値の変換を行なう．ak , bk の決定にはカメラ間の境界部分で画素
値の連続性を保つように決定する．しかし，決定される各カメラごとの ak の値
によってはそのカメラでの元画像の画素値のレンジが変換後に大きく変わり，変換された画像がコントラストの極端に高いものや低いものになることがある．そこでカメラ間の境界部分での色調が連続的であり，かつ出力画像の画素値が入力
画像の画素値に比べて大きく変化しないように ak , bk を求める必要がある.
本研究ではカメラ間の境界部分での画素値の連続性を表す制約項及び入力画
像と出力画像との画素値の差を評価する項から，正則化法の枠組によってエネルギー関数の最小化問題を解くことにより ak , bk を求める．図 6 のように各カメラからの画像が全周パノラマ画像中で幅 M ，高さ N を持つとすると，エネルギー関数 E はE = P + λS.
6 M N
1 
P =
{gk (i, j) − fk (i, j)}2.
MN
i=1 j=1

(5)
(6)

k=1

S =

6 
N


1
{gk (M, j) − gk+1 (1, j)}2 .
N k=1 j=1

(7)と表わせる．式 (6) は変換前の画素値と変換後の画素値の差を評価する項でペナ
ルティー項と呼ばれ，式 (7) は異なるカメラから得られる画像間の境界部分における画素値の連続性の制約条件を表し，安定化項と呼ばれる．また，これらの重み付けをしているパラメータ λ は正則化パラメータと呼ばれ，制約条件の強さを制御する (λ > 0). ここで式 (5)，(6)，(7) に式 (4) を代入すると

1 
E =
{ak fk (i, j) + bk − fk (i, j)}2
MN k=1 i=1 j=1
6

M

N

1 
+λ
{ak fk (M, j) + bk − ak+1 fk+1 (1, j) − bk+1 }2.
N
j=1
6

N

k=1

24

(8)

fk-1 (M,1) f k (1,1)

f k (M,1) fk+1(1,1)

ijf k-1 (i,j)

f k (i,j)

fk+1(i,j)

f k-1 (M,N) f k (1,N) f k(M,N) fk+1(1,N)
図 6 全周画像内における各カメラ画像座標の関係となる．また，式 (5) の最小化問題の解に対する必要条件は

∂E
= 0.;
∂ak
∂E
= 0.;
∂bk

k=1∼6

(9)

k=1∼6

(10)

であることから，全周パノラマ画像の性質上，k = 1 のとき k − 1 = 6，k = 6 のとき k + 1 = 1 となることを考慮したうえで，式 (8)，(9) より

1 
∂E
=
2fk (i, j){ak fk (i, j) + bk − fk (i, j)}∂ak
MN i=1 j=1
MN1
[2fk (M, j) {ak fk (M, j) + bk − ak+1 fk+1 (1, j) − bk+1 }
+λ
N j=1
N

− 2fk (1, j) {ak−1 fk−1 (M, j) + bk−1 − ak fk (1, j) − bk }]
= 0.

(11)
ただし k = 1 ∼ 6

25

を，同様に式 (8)，(10) より

∂E
1 
=
2{ak fk (i, j) + bk − fk (i, j)}∂bk
MN i=1 j=1
M

N

1
+λ
[2 {ak fk (M, j) + bk − ak+1 fk+1 (1, j) − bk+1 }N j=1
N− 2 {ak−1 fk−1 (M, j) + bk−1 − ak fk (1, j) − bk }]
= 0.

(12)
ただし k = 1 ∼ 6を得る．式 (11)，(12) より 12 個の未知変数 ak , bk (k = 1 ∼ 6) に対して 12 個の方程式が成立するため，この 12 元線形連立方程式は Gauss-Jordan の消去法

[PVTF93] などを用いて解くことが可能である．次に，求めた ak , bk (k = 1 ∼ 6)と式 (4) より，全周パノラマ画像中の各カメラで撮像された領域ごとに画素値を変更し色調の補正を行なう.
以上のようにして色調変換した全周パノラマ画像に対して，元のパノラマ画像
内での画素値のレンジと同じレンジを持たせるため，画素値の線形変換を行なう．
元のパノラマ画像内での画素値の最小値，最大値がそれぞれ Lmin ，Lmax ，変換画像の画素値の最小値，最大値がそれぞれ lmin ，lmax である時，変換画像の画素
値 g を次の線形式で g  に変換する [高木 91].

g =Lmax − Lmin(g − lmin ) + Lmin .
lmax − lmin(13)

最大値と最小値の決定の際，変換後の画素値がオーバーフローやアンダーフローを起こすことにより線形な変換が崩れることを避けるため，r,g,b 成分全ての画素
内での最大値と最小値を選択する．
以上のような画素値の変換を行なうことにより，全周パノラマ画像における各カメラ特性のばらつきによる色調の違いを取り除くことができる．また，画素値の変換にはすべて線形な変換を行なうためカメラの線形なモデルが保たれること
となる.

26

2.3.3 各カメラ画像の結合によるパノラマ化
最後に同時刻に撮像された上下カメラ画像を円筒面に再投影することによって，12 枚の画像を 2 枚の上下全周パノラマステレオ画像へと結合する（詳細については [山澤 97, 川西 97, KYI+98] を参照）．この結果，縦方向のエピポーラ拘束を保った上下全周パノラマステレオ画像が生成される．
なお，人は環境を見る際にその奥行き感を横方向の視差によって得るため，生成される上下全周パノラマステレオ画像を用いてユーザに奥行き感のある映像を提示するためには縦方向の視差から横方向の視差へと変換する必要がある．この変換は，縦視差の画像から撮像環境の３次元情報を求め，これを介して横視差の画像を合成することによって容易に達成される．本研究でも奥行き隠蔽関係の再現のため撮像環境の３次元情報を求めるため，ユーザに奥行き感のある映像を提示することは可能となる．

2.4 全周パノラマ距離画像の生成
本節では全周パノラマステレオ画像から実環境中の対象までの奥行き情報を表
現する全周パノラマ距離画像の生成法について述べる．以下ではまず，全周パノ
ラマステレオ画像におけるステレオ投影系について述べ，次に全周パノラマステ
レオ画像からの実環境中の奥行き推定法について述べる．

2.4.1 全周パノラマステレオ画像のステレオ投影系
高分解能全方位ステレオ画像センサから得られる上下の全周ステレオ画像上の点を図 7 のような縦方向の基線を持ったステレオ座標系で表現する．また，各々の全周画像上の点は円筒面画像座標系で，実環境はワールド円筒座標系でそれぞれ表現する．ここで仮想カメラの焦点距離を f ，基線長を b とし，ワールド円筒座標系の点 P (Θ, H, D) が上下の円筒面画像座標系の座標 pu (θu ，hu )，pd (θd , hd )にそれぞれ投影されたとするとエピポーラ拘束によりθu = θd .
27(14)

上部全周パノラマ画像

f

O
b

f

エピポーラ線

下部全周パノラマ画像

ワールド円筒座標系: 任意方向図 7 全周パノラマステレオ画像のステレオ投影系が成立し，点 P (Θ, H, D) は画像座標を用いてそれぞれ次のように表すことができる．

Θ = θu = θd .
b · (hu + hd )H =2 (hd − hu ) .
b·f
D =hd − hu .

(15)
(16)
(17)

式 (17) より，f, b が固定であれば奥行きは視差 d ≡ hd − hu にのみ依存することがわかる．すなわち，視差 d が推定されたならば実環境中の点 P の三次元位置(Θ, H, D) が一意に決まる．

28

上部パノラマ画像

エピポーラ線マッチング

下部パノラマ画像

入力画像(1) Sobelフィルタの適用(2) 上部画像を基準に対応点探索

マッチング(3) 下部画像を基準に対応点探索(5) メディアンフィルタの適用(6) 視差の補間(4) 誤対応の除去

図 8 奥行き推定処理の概要

2.4.2 全周パノラマステレオ画像からの実環境の奥行き推定
ステレオ法においては視差推定を行なう時の画像間の画素の対応付け時に，オクルージョン，類似パターンの存在，ノイズなどの影響のため誤対応が生じ易い．
誤対応点は３次元モデル化した時に急激な距離の変化点となるため，仮想化された実環境の写実性が下がり，利用者に違和感を与えることとなる．そこで本研究
では，写実性の高い全周実環境モデル構築のため，対応点の決定が容易でかつ信頼性の高いエッジ部分についてのみ視差推定を行ない，他の領域はエッジ部分の視差情報から補間する方法をとる．図 8 に本手法での奥行き推定処理の概要を示す．以下，各処理の詳細を順を追って述べる．

Step1: 特徴点抽出
29

ステレオ視においては一般的に，エピポーラ線に直交するエッジ上では対応点の決定が容易でありかつマッチングの信頼性が高いことが知られている．そこで，まず，上下両方の全周パノラマ画像に縦方向の Sobel フィルタを適用し，縦のエピポーラ線に交差するエッジ要素をステレオマッチングを行う特徴点として抽出する (図 8 (1))．

Step2: ステレオマッチング
上下パノラマ画像の特徴点間の対応を相関法によって求める．その際，マッチングの評価尺度には，特徴点近傍の窓領域での画像の輝度値に関する以下の正規化相互相関 Corr を用いる．

Corr =
N

M

+2
+ 2




{Pr (θu + i, hu + j) − Pr [r, g, b]} · {Ps (θd + i, hd + j) − Ps [r, g, b]}[r,g,b]
j=− N
i=− M
2
2












+N
2

(18)

+M
2

  

Pr (θu + i, hu + j) − Pr [r, g, b]2[r,g,b]
j=− N
i=− M
2
2
N

·

M

+2
+ 2




2

Ps (θd + i, hd + j) − Ps [r, g, b] .

[r,g,b]
j=− N
i=− M
2
2

ここで，

M, N は窓領域の縦横サイズ，
Pr (θu , hu ) は上方画像内の基準点 Ir (θu , hu ) における輝度値，Ps (θd ，hd ) は下方画像内の探索点 Is (θd , hd ) における輝度値，
θu = θd ，hd = hu − d，Pr [r, g, b] =Ps [r, g, b] =

+N
2

j=− N
2
+N
2
j=− N
2

+M
2

i=− M
2
+M
2
i=− M
2

Pr [r, g, b] (θu + i, hu + j)，Ps [r, g, b] (θd + i, hd + j)である．ただし，正規化相互相関値に閾値を設け，類似性評価の高い対応
画素のみを採用する．なお，本手法では，上部パノラマ画像から下部パノ
ラマ画像への対応 (図 8 (2)) と，逆に下部パノラマ画像から上部パノラマ画
像への対応 (図 8 (3)) の２段階マッチングを行い，両者が一致しない場合に30

は誤対応として棄却する (図 8 (4)) ことによって，信頼性の高い対応のみを採用する．

Step3: 奥行き情報の補間
エピポーラ線と交差するエッジ上では対応の信頼性が高いことを考慮し，本来エッジである部分に横長のメディアンフィルタをかけることにより視差情報の欠落している点を近傍の視差の中央値で埋める処理を施す (図 8 (5))．
続いて，得られた上部エッジ画像上での視差画像を縦方向に線形補間する
ことにより密な視差画像を作成する (図 8 (6))．線形補間の際，大半の屋外
画像の上部領域には空が映っている性質を利用し，縦方向のスキャンライ
ン上で最初に出現した視差情報から線形補間を行なう．最後に，得られた各々の画素の視差情報を式 (17) に代入することにより全周パノラマ距離画
像を得る．

2.5 全周パノラマ距離画像を用いた実環境の３次元モデル化
2.4 節により得られる全周パノラマ距離画像は，補間された視差から作成したものであるため精度の高い距離情報こそ持ち得ないが，実環境中の物体形状や視点からの奥行き関係を表現するには十分な情報を保持している．本手法ではこの全周パノラマ距離画像を利用し，全周実環境モデルに奥行き情報を付加することにより物体同士の奥行き関係や利用者の視点移動による運動視差の効果を表現する．
以下に 2.4 節で得られた距離画像から全周実環境モデルを生成する際の各段階での処理を示す．

Step1
上部全周パノラマ画像に Sobel フィルタを適用することにより得られるエッジ画像を一定画素ごとに選択する．

Step2
図 9 のようなエッジ検出漏れによって生じるモデルの歪みを軽減するため，
全周パノラマ距離画像を横，縦方向にそれぞれ一定画素ごとに選択し，こ31

検出されなかったエッジ
サンプリング点歪み

図 9 三次元モデルの構成における三角パッチの割り当て
れらの点と Step1 で抽出した点を Delaunay の三角形分割法 [Hec94] を用いて接続する．

Step3
Step2 で生成された三角形の頂点の奥行き値を全周パノラマ距離画像から読み込み，三次元三角形パッチモデルを作成する．

Step4
Step3 で得られた三次元三角形パッチモデルをワールド円筒座標系へと変換
する．

Step5
最後に，上部全周パノラマ画像にテクスチャマッピングを施し，テクスチャ付き三次元三角形パッチモデルとする．

2.6 実験と考察
本実験の目的は，広域かつ３次元的な実環境の仮想化において，1.1.1 節で述べた仮想化された実環境の要件のうち• 広い画角の再現
32

• 奥行き隠蔽関係の再現• 高精細なテクスチャ情報の保持を提案手法により生成する全周実環境モデルが満たすかどうかを確認し，提案手法の有効性を検証することである．
以下では，まず実験対象環境，実験システム，提案手法の実装手段などの実験
環境について述べ，続いて実験結果とその考察について述べる．

2.6.1 実験環境
実験対象環境には，広域かつ３次元的な実環境として，平城京遷都 1300 年記
念事業の一環として平城宮跡地に再建された朱雀門 (奈良県 奈良市) 付近を対象とした．実験で実環境の情景撮像に用いた高分解能全方位ステレオ画像センサの構成機器の仕様を表 1 に示す．また，高分解能全方位ステレオ画像センサの各カ
メラからの画像を時間的な同期をとって記録する撮像システムの構成を図 10 に，構成機器の型名を表 2 に示す．図 10 に示すように同期撮像の際は，まずシンク
ジェネレータにより発生された同期信号が全カメラとタイムコードジェネレータ
に分配される．次にタイムコードジェネレータにより生成された同期信号のタイ
ミングに合わせたタイムコードが分配器を通じ各ビデオデッキに供給され，各ビデオデッキは接続したカメラの映像をタイムコードとともにビデオテープに記録する．このようにして 12 台のカメラ画像が，時間的な同期をとってビデオレート
で記録される．前述の高分解能全方位ステレオ画像センサ，同期撮像システムで屋外環境を撮像するために，NISSAN 社製の ELGRAND を改造した車両を用いた．図 11 に実験設備を搭載した車両の様子を示す．本実験においては，図 11 のように車両に搭載したセンサを実験対象環境の一地点に固定して，50 秒間撮像を行った．なお，提案手法の実装は SGI：Onyx2(InﬁniteReality2×2, 8CPUs MIPS

R10000， 250MHz) 上に C 言語で行った．また，生成した全周実環境モデルの表
示には３次元グラフィックスライブラリの OpenGL を用いた．

33

表 1 高分解能全方位ステレオ画像センサ構成機器の仕様
CCD カメラ
IKM-43 ×12 (解像度：768(水平)，494(垂直))東芝製
カメラレンズ JK-L04M2 ×12 (画角：92 °(水平)，69 °(垂直))正六角錐 ×2 (底辺直径 15cm，ミラー傾斜 45 °)六角錐ミラーシンク
ジェネレータ山田光学製

分配器

タイムコードジェネレータ

高分解能全方位
ステレオ画像センサ

分配器

ビデオデッキx 12
同期信号

NTSC信号

図 10 同期撮像の流れ

表 2 使用機器 (同期撮像システム)
シンクジェネレータ

410BB

タイムコードジェネレータ

TGR-2000

分配器

VDA-106

ビデオカセットレコーダ

SVO-9600 ×12 Sony 製

34

LEADER 製
朋栄製

図 11 搭載車両外観

2.6.2 実験と考察
まず，樽型歪みと明度補正後に色調ずれの補正を行うことなく合成した全周パノラマステレオ動画像のうちある時刻 t 秒から 1 秒間隔の例を図 12 に示す．なお，生成された全周パノラマ画像の画像サイズは 3006×330 画素であり，そのディスク使用容量は非圧縮の保存形式で 1 枚につき約 3MB(ステレオ画像で約 6MB) である．
続いて，図 13 にある時刻の上部全周パノラマ画像に 2.3.2 節で述べた色調ずれの補正を正則化パラメータ λ = 0.1, 1.0, 1.5, 2.0 としてそれぞれ適用した結果を示す．λ はカメラ画像間での画素値の連続性にかかる係数であるためこれを大きくすることにより，矢印で示すカメラ間同士の繋ぎ目での色調の違いが緩和されていることが分かる．しかし λ を大きくしすぎると次第にコントラストの低い画像となり最終的には全ての画素値が一定の値となるため，以降の実験では λ = 2.0に設定した．
次に，ある時刻の上下全周パノラマ画像に縦方向に Sobel フィルタを適用する
ことによって得たエッジ画像を図 14 に示す．また，図 14 の上部全周パノラマ画
像で抽出されたエッジ要素をステレオマッチングの特徴点として 2.4.2 節の方法を適用して得た視差画像を図 15 に示す．図 15 は視差を輝度で表現しており，視差が大きいほど明るく，小さいほど暗く表示している．ただし，同図下部の黒画
素はステレオマッチングにおいて対応点が検出されなかったことを表している．

35

t秒

t+1秒

t+2秒

t+3秒

t+4秒
図 12 全周パノラマステレオ動画像 (色調ずれ補正なし)

36

入力パノラマ画像

λ = 0.1 での色調ずれ補正結果

λ = 1.0 での色調ずれ補正結果

λ = 1.5 での色調ずれ補正結果

λ = 2.0 での色調ずれ補正結果
図 13 全周パノラマ画像における各カメラ画像の色調ずれ補正結果

37

図 14 全周パノラマエッジ画像

図 15 全周パノラマ視差画像
なお，ステレオマッチングの窓サイズは 9×9，正規化相互相関の閾値には 0.9，メ
ディアンフィルタの窓サイズは 5×3 にそれぞれ経験的に設定した．
次に図 16 に，図 15 を利用して構築した３次元モデルに上部パノラマ画像をテ
クスチャマッピングした全周実環境モデルの鳥瞰図をワイヤーフレーム表現 (a)とテクスチャ付き表現 (b) で示す．なおモデル構築の際には，エッジ画像の選択
間隔を 2 画素，距離画像の選択間隔を 31 画素とし，この時の全周実環境モデルのポリゴン数は 13400 であった. 図 16 より，凹凸のある３次元モデルが生成されていることがわかり，仮想化された実環境が，実環境中に存在する物体の奥行き情報を保持していることが確認できる．
以上のようにして作成した全周実環境モデルは実環境中の物体の奥行き情報を保持しているため，奥行き隠蔽関係を考慮した仮想物体の合成が可能となる．全
周実環境モデルに，３次元モデリングソフト (WaveFront 社: Alias) により作成した樹木 CG モデルを合成して構築した全周型複合現実環境を図 17 に示す．なお，構築した全周型複合現実環境のポリゴン数は 54740 であり，この環境での提示
画像の更新速度は 1024×768 のサイズを SGI：Onyx2(InﬁniteReality2×2，8CPUs

MIPS R10000，250MHz) 上で 1CPU 使用で描画した時，平均 48frame/sec であった．また，構築した全周型複合現実環境内で視点位置を変更した様子 (視線方向は

38

(a)

(b)
図 16 全周実環境モデルの鳥瞰図 ((a) ワイヤーフレーム表現，(b) テクスチャマッ
ピング表現)

39

図 17 全周実環境モデルと仮想物体（樹木 CG モデル）の合成結果
不変) を図 18 に示す．図 18 より，ユーザ視点の移動に伴って車両と建築物などの画像上での位置関係から運動立体視の効果が表現されていることが確認できる．
以上，示してきた実験結果より，全周実環境モデルは 360 度の画角を有し，その全ての方向に対して高解像度の実写画像がテクスチャマッピングされていること，及び実環境中に存在する物体の奥行き情報を保持して３次元的にモデル化されていることが確認できた．このため，提案手法によって構築した仮想化された
全周実環境モデルは広い画角の再現，高精細なテクスチャ情報の保持，実環境内の奥行き隠蔽関係の再現が成されていると言える．実験で明らかになった現状での問題点を以下に挙げる．

• 全周実環境モデルは１時刻のみの表現に留まるため，動的な実環境が複合
現実環境内で表現されない．各時刻に対応する全周実環境モデルの切り替えにより動的実環境を表現することも可能であるが，実環境の全周囲の３次元的な情景情報を保持する全周実環境モデルとテクスチャ画像のファイ
ルサイズは大きく（例えば実験で 50 秒間撮像したパノラマステレオ動画像
だけでもそのディスク使用容量は 9GB となる），動的環境を表現するために長時間撮像して構築した全てを蓄積しておくことは PC のディスク使用

40

前進

右移動

左移動

後退

図 18 全周型複合現実環境内での視点移動 (中央：撮像地点)

41

量の圧迫に繋がる．

• 構築した複合現実環境をユーザへ提示する際，CRT モニタを用いているためユーザへ提示可能な視野角が制限され，没入感に欠ける．

2.7 結言本章では，写実性の高い複合現実環境を構築するために，ステレオ撮像が可能な高分解能全方位ステレオ画像センサで取得した全周パノラマステレオ動画像から，色調ずれを除去したパノラマ画像を合成し，このパノラマステレオ画像からステレオ対応付け時に信頼性の高い対応点の補間により距離画像を生成し，３次元モデル化する手法を提案した．広域かつ３次元的な実環境を対象にした実験により，提案手法により構築される全周実環境モデルは，実環境と仮想物体の奥行
き隠蔽関係の再現に加え任意視点映像の生成が可能な複合現実環境の構築を可能とすることが確認できた．また，広い画角，高精細なテクスチャ情報を保持して実環境を仮想化できていることも確認できた．
しかし，現状では• 動的な実環境の表現がディスク使用容量の観点から困難である• 構築した複合現実環境をユーザへ提示する際，没入感に欠けるといった問題が確認された．次章では，時系列で取得される膨大な数のパノラマ
ステレオ動画像群から実環境中の動物体を抽出することにより，本章で構築した
全周型複合現実環境の動的複合現実環境への拡張を試みる．また構築した複合現実環境を提示視野角を拡大してユーザに提示するため，円筒面型の IPD を用いたプロトタイプシステムを構築することによって，ユーザへ与える没入感の向上を
図る．

42

第3章
実物体の動き情報取得による動的複合現実環境への拡張

3.1 序言本章では，動物体を含む実環境を複合現実環境内でも再現するため，前章で構築した全周型複合現実環境を動的複合現実環境へと拡張し，写実性の高い複合現実環境を構築する手法について述べる．動的実環境の再現は，第 2 章で述べた手法
により各時刻に対応する全ての全周実環境モデルをあらかじめ構築しておき，これをユーザへの提示時に時系列で切り替えることによって実現することも可能である．しかし，実環境の全周囲の３次元的な情景情報を保持する全周実環境モデ
ルとテクスチャ画像のファイルサイズは大きく，動的環境を表現するために長時間撮像して構築した全てを蓄積しておくことは PC のディスク使用量の圧迫に繋がる．そのため，時系列で取得される膨大な数のパノラマステレオ動画像群から，仮想化された実環境において動的な実環境を簡便に表現する方法が必要となる．
本研究では，全周パノラマ画像中では実環境中の動物体領域は静止環境領域に比べ多くの場合小さいと仮定でき，動物体領域のみをモデル化した３次元モデルとテクスチャ画像の蓄積はディスク使用量が少ないと考え，全周パノラマ画像から実環境中の動き情報を抽出してモデル化した動的モデルを，静止環境をモデル化した静的モデル上で各時刻で更新することにより動的な実環境を表現する方針をとる．以下 3.2 節では，全周パノラマ動画像から実環境中の動き情報である動物体領域を抽出する方法と，静止環境画像を生成する方法を述べる．3.3 節では，動物体領域と静止環境画像の奥行き推定処理方法を，3.4 節では，動物体と静止
環境画像を３次元モデル化し，これをレイヤー構造化して動的複合現実環境を構

43

原画像

差分画像

二値化画像

f (t-n)
差分

動物体領域二値画像

二値化
h’_ (i, j)h_ (i, j)ANDg (i, j)

f (t)
二値化

差分

h’+ (i, j)

h+ (i, j)f (t+n)

図 19 ３枚のフレーム間差分による動物体領域の抽出
築する方法について述べる．3.5 節では，構築した複合現実環境を提示するため試作した，円筒面スクリーンを有する IPD を用いたプロトタイプシステムについて述べる．3.6 節では，実際に屋外環境を対象にして動的複合現実環境を構築した実験結果を示すことにより，提案手法の有効性を示す．また，構築した複合現実環境をプロトタイプシステムを用いてユーザに提示した実験結果も示す．最後に 3.7 節でこの章をまとめる．

3.2 全周パノラマ動画像からの動物体抽出3.2.1 動物体領域の抽出
画像からの動物体領域の抽出は画像同士の差分を取ることにより実現する．この際，屋外環境下での微小な照明条件の変化によるノイズの発生を抑えるため，
背景差分ではなく３枚のフレーム画像を利用したフレーム間差分を採用する．フ
レーム間差分の採用により，フレーム間隔を小さくすることによって日照条件の変化はほぼ無視できるようになる.
３枚のフレームによる動物体領域抽出の概要を図 19 に示す．まず，フレーム

44

動画像
静止環境画像モードフィルタ

図 20 静止環境画像の生成

f(t − n) と f(t)，f(t) と f(t + n) の差分画像 h− (i, j)，h+ (i, j) を式 (19) に従ってそれぞれ求める．

h− (i, j) = |ft−n (i, j) − ft (i, j)|h+ (i, j) = |ft (i, j) − ft+n (i, j)|(19)

次に，求めた差分二値画像 h− (i, j)，h+ (i, j) の各画素毎に論理積を求めることによって動物体領域のみの二値画像 g(i, j) を得ることができる．以上の処理を上下のパノラマステレオ動画像にそれぞれ適用することによって動物体領域の二値画像のステレオペアを生成する．続いて基準画像である上部パノラマ画像の二値画像に対して動物体領域の輪郭線の追跡 [画像 97] を行ない，この輪郭線の座標値と外接矩形とを保存する．

3.2.2 静止環境画像の生成
図 20 に静止環境画像生成の概要を示す．センサ固定で撮像された動画像の各画素において，静止背景が映っている時間的割合が大きい場合には，全ての画素に対して時系列のヒストグラムを作成すると，そのピーク（あるいはモード）はそれぞれ実環境での背景値を示すこととなる．この時間軸のモードフィルタを上45

下のパノラマステレオ動画像にそれぞれ適用することによって静止環境画像のス
テレオペアを生成する．

3.3 全周パノラマステレオ動画像を用いた動物体の奥行き推定
前節で抽出した動物体領域と静止環境画像の奥行き推定には 2.4 節同様，エッジ上の画素のみ視差情報を決定し他の点はその情報から補間する方法を採用する．
なおパノラマステレオ動画像は同期撮像されており動物体はステレオ画像上でエピポーラ拘束を保って同時に撮像されるため，動物体領域の内部点の奥行き推定
時には，対応点決定時に縦のエピポーラ線上を探索する際，参照画像である下部
パノラマ画像上において動物体領域として抽出された点のみを探索すれば良い．

3.4 動物体のレイヤー構造化による実環境の動的表現
本節では動物体領域と静止環境画像を前節で求めた奥行きを用いて３次元モデ
ル化し，これをレイヤー構造化して動的複合現実環境を構築する方法について述
べる．静止環境画像の３次元モデル化手順は 2.5 節の方法と同じであるので，以下では，時刻 t における，ある１つの動物体領域の３次元モデル化手順を述べる．

Step1
動物体領域の輪郭線と領域内を一定画素ごとにサンプリングした座標に対して Delaunay 三角分割法を用いて接続する．

Step2
Step1 で生成された三角形の頂点の奥行き値を 3.3 節で求めた動物体領域内の奥行き値から読み込み，三次元三角形パッチモデルを作成する.

Step3
Step2 で得られた三次元三角形パッチモデルをワールド円筒座標系へと変換
する．

Step4
46

時刻 t の上部全周パノラマ画像から，3.2.1 節で取得した動物体領域の外接矩形に該当する領域を切り出してテクスチャ画像とする．

Step5
最後に，三角形パッチモデルに，Step4 で取得したテクスチャ画像をマッピングする. この際，矩形のテクスチャ画像のうち 3.2.1 節で取得した動物体
領域の輪郭より外側の領域は，テクスチャ画像の α チャネルを用いて透明な物体を描画する．
以上の処理を時刻 t における，全ての動物体領域に関して行う．このようにして得た時刻 t における動的モデルを，静止環境画像から得られる静的モデルである
全周実環境モデルへ奥行きを考慮して配置する処理を，時系列で動的モデルのみ切り替えることにより実環境内での動物体を簡便に再現することができる．

3.5 没入型複合現実環境提示システムの構築
構築した全周型複合現実環境を，提示装置として一般的に使用される CRT や

HMD 等に提示したのでは利用者に与える視野角が限定されるため，没入感の向上は望めない．そこで，構築した全周型複合現実環境を円筒面型の IPD に提示することにより提示画角を拡大し，ユーザへ与える没入感の向上を図る．以下では本研究で用いた円筒面型の IPD である全周型景観提示システム CYLINDRA について説明し，次に CYLINDRA を用いて構築した没入型複合現実環境提示シス
テムのプロトタイプについて説明する．

3.5.1 全周型景観提示システム CYLINDRA
本研究で高い没入感で複合現実環境提示を提示するために用いた大型円筒面ス
クリーン CYLINDRA の構造を図 21 に示す．CYLINDRA2 は直径 6m，高さ 2.4mの円筒面スクリーンと，6 台のプロジェクタから構成されている．各プロジェク
2

CYLINDRA は Cylindrical Yard with Large, Immersive and Novel Display for Reality
Applications の略.

47

プロジェクタ

330

2.7m
視点

48.3
スクリーン

3m

上から見た図横から見た図図 21 大型円筒面スクリーン CYLINDRA の構造

表 3 使用機器 (没入型複合現実環境提示システム)
ジョイスティック

SideWinder PrecisionPro

Microsoft 製

ノートパソコン

FMV-BIBLO NSVIII23X

FUJITSU 製

液晶シャッタ眼鏡

SB300

Solidray 製

Onyx2：
計算機(InﬁniteReality2×2，

SGI 製

8CPUs MIPS R10000， 250MHz)
タは，円筒の中心から 61.7 度の投影とプロジェクタ同士の映像に 8 度の重なりを設けるように配置されており，全 6 台のプロジェクタで水平視野角 330 度の映像を分割投影する．

3.5.2 プロトタイプシステムの構築
没入型複合現実環境提示システムの構成を図 22 に，使用した機器を表 3 に示す．
没入型複合現実環境提示システムでは，作成した複合現実環境に対して指定された視点位置に応じ，人間が立体視することのできる横方向視差を有する両眼ステ
レオ画像をグラフィックスワークステーションによって生成し CYLINDRA に投48

グラフィクス
ボード

Onyx2
IR2
液晶シャッタ眼鏡

ジョイスティック

利用者
ノートパソコンCYLINDRA

グラフィクス
ワークステーション

図 22 没入型複合現実環境提示システムの構成
影表示する．ユーザはこれを時分割式液晶シャッタ眼鏡を通して観察することにより立体感を得ることが可能となる．また，複合現実環境内での視点位置・方向の変化はジョイスティックを用いて入力し，その情報をノートパソコンを介して
シリアルポート経由で計算機に伝達する．すなわち，ユーザはジョイスティックを使って，複合現実環境内でのウォークスルーが可能である．また併せて，ユー
ザはジョイスティックを用いて仮想物体の位置を変化できるようにもしている．

3.6 実験と考察
本実験の目的は，動的かつ広域，３次元的な実環境の仮想化において，1.1.1 節
で述べた仮想化された実環境の要件のうち特に “動き情報の再現” を提案手法により構築する動的複合現実環境が満たすかどうかを確認し，提案手法の有効性を検証することである．また，構築した複合現実環境を没入型複合現実環境提示シ
ステムを用いてユーザに提示し，ユーザへ高い没入感を与えることができるかど
うか，屋外環境を対象とした複合現実環境の利用例である景観シミュレーションへの適用が可能であるかどうかを検証する．実験対象環境，実験システム，提案
手法の実装手段などの実験環境については 2.6 節の実験環境と同じであるのでこ49

(a) 時刻 t − n(b) 時刻 t(c) 時刻 t + n(d) 動物体領域抽出結果
図 23 動物体抽出に用いた全周パノラマ画像 (a〜c) と動物体領域抽出結果 (d)こでの記述は省略する．以下では，動的複合現実環境構築と没入型複合現実環境
提示システムに関し，それぞれ実験結果とその考察について順に述べる．

3.6.1 動的複合現実環境構築実験
図 23(a)∼(c) はある時刻 t の動物体領域の抽出に用いた上部全周パノラマ画像
であり，これらから抽出した動物体領域を図 23(d) に示す．また，図 24 には図23(b) に抽出した動物体領域を重畳表示した様子を示す．両図より動きのある人
物や車両領域ではその領域の抽出が正確に行なえていることがわかる．しかし，遠方に存在する電車領域に関しては正確な抽出が行えていない．これは電車領域
内での諧調値が一定であることに起因する．
図 25 にセンサ固定の状態で動物体を含む実環境を撮像した全周パノラマ動画
像系列から作成した全周パノラマステレオ静止環境画像を示す．全周パノラマ静50

図 24 動物体領域の全周パノラマ画像への重畳表示

図 25 全周パノラマステレオ静止環境画像生成結果
止環境画像上に図 23(b) で存在していた歩行者と移動車両の領域を白い枠で表示している．図 25 から，生成した全周パノラマ静止環境画像上では，実環境内での移動物体が除去されていることが分かる．
続いて図 26 には，図 25 で示した全周パノラマステレオ静止環境画像から作成した静的な全周実環境モデルに対し，異なる時刻での移動物体領域を３次元モデル化した動的モデルをレイヤ構造として重畳配置した様子を，視点位置が撮像位置と一致している場合（上段）と新しい視点位置の場合（下段）の両方について示したものである．同図より，動的モデルは実環境中の適切な奥行きに配置され，これを時間的に切り替えることによって実環境内での動きを再現できていることが分かる．このため，提案手法によって構築した仮想化されたレイヤ構造の全周
実環境モデルは動き情報の再現が成されていると言える．また静的な全周実環境
モデルは第 2 章での全周実環境モデル同様，360 度の画角を有し，その全ての方向に対して高解像度の実写画像がテクスチャマッピングされており，実環境中に存在する物体の奥行き情報を保持して３次元的にモデル化されているといった特51

図 26 全周実環境モデルへ動物体領域を配置した様子 (上：撮像地点位置，下：鳥瞰図)
長を有している．そのため，本章の手法によって拡張された動的複合現実環境は，仮想化された実環境の要件全てである，広い画角の再現，高精細なテクスチャ情報の保持，実環境内の奥行き隠蔽関係の再現，動き情報の再現が成されていると言える．

3.6.2 没入型複合現実環境提示システム実験構築した複合現実環境を CYLINDRA へと提示し，ユーザがジョイスティックを用いて視点移動を行っている様子を図 27 に示す．また，没入型複合現実環境
提示システム内においてジョイスティックを用いて仮想物体を操作した例を図 28に示す．このときユーザへ提示される両眼ステレオ画像の更新速度は，6144×768のサイズで 2CPU を使用して描画した時，約 13frame/sec. であった．
本実験により，複合現実環境内でユーザは高い没入感のもとで実時間視点移動が行えることが確認された．また図 28 から確認できる通り，ユーザは仮想化された実環境に対する仮想物体の配置を，奥行き隠蔽関係を考慮して実現できており，提案手法・システムの利用により都市景観評価や環境設計など景観シミュレー52

図 27 没入型複合現実環境提示システムへの提示結果

時刻 t

時刻 t + n

時刻 t + 2n

時刻 t + 3n

時刻 t + 4n

時刻 t + 5n

図 28 没入型複合現実環境提示システム内での仮想物体操作例

53

ションへの応用が可能になると期待できる．なお，本実験では全方位ステレオ画
像撮像地点近傍での視点移動は違和感なく行えるが，観察視点位置が撮影地点から大きく離れると３次元情報・テクスチャを持たない部分が目立ち違和感が生じることが確認された．また，仮想物体の配置等の変更はウォークスルー同様，ジョイスティックによりなされるため直感的な操作は困難であるという問題が確認された．

3.7 結言本章では，動物体を含む実環境を複合現実環境内でも再現するため，全周パノ
ラマ動画像から実環境中の動き情報を抽出して３次元モデル化し，これと全周パ
ノラマ動画像にモードフィルタを適用して生成した静止環境ステレオ画像を用いてモデル化した静的モデルをレイヤ構造化することによって，前章で構築した全周実環境モデルを動的複合現実環境へと拡張する手法について述べた．動的かつ広域，３次元的な実環境を対象にした実験により，提案手法により構築した動的
複合現実環境は，（１）実環境内での動き情報が再現される，（２）仮想物体と実環
境との奥行き隠蔽関係が再現される，（３）実環境の情景が全周囲で表現される，（４）高精細なテクスチャ情報が保持される，ということが確認された．このことより本研究の第一目的である写実性の高い複合現実環境の構築が実現できていると言える．また，構築した複合現実環境を，IPD を用いた没入型複合現実環境
提示システムのプロトタイプによりユーザへ提示した結果，高い没入感のもとで任意視点からの情景を観察可能であるということも確認された．
実験では動物体の抽出時に，領域内での階調値が一定である物体は正確な抽出が行なえなかった．これはフレーム間差分の本質的な問題であり，背景画像との併用などで解決されると考えられる．また，ユーザの指定する観察視点位置が撮影地点から大きく離れると３次元情報・テクスチャを持たない部分が目立ち違和感が生じるといった問題も確認された．この問題に対しては，視点位置を変えて撮像した複数の全周パノラマステレオ画像から複数の全周実環境モデルを構築しておき，これをユーザの視点位置に応じて滑らかに切り替えることが有効であると考えられる．また没入型複合現実環境提示システム内では，構築した複合現実

54

環境内でのユーザの視点移動，仮想物体操作のための入力デバイスとしてジョイ
スティックを用いたが，直感性に欠け作業が煩雑になるといった問題があった．この問題への対処として，今後データグローブの利用や，ジェスチャー認識技術，
音声認識技術などの適用を検討していく必要がある．
次章では，構築した写実的な複合現実環境が IPD などの特殊なディスプレイを用いずとも日常生活において気軽に観察可能とするため，プロジェクションベー
スディスプレイに基づき日常生活環境へ映像を提示する方法について検討する．

55

第4章
日常生活での複合現実環境の観察を可能とする
プロジェクタを用いた複合現実型情報提示

4.1 序言本研究の第二の目的は，前章までに構築した写実的な複合現実環境をユーザが高い没入感でかつ日常生活においても気軽に享受可能とする提示方法を開発することである．本目的達成のためには，第 1 章で述べた通り非拘束性，非接触性と市販プロジェクタの普及率からプロジェクションベースディスプレイによる複合現実型の情報提示が適している．
図 29 に複合現実型情報提示による複合現実環境の提示概念を示す．日常生活環
境などの実環境に前章までで構築した複合現実環境を提示するには，同図のように実環境内でのユーザの観察位置の移動に応じて複合現実環境内での仮想視点を移動させ，その仮想視点位置に対応する複合現実環境の画像を生成し，プロジェ
クタを用いて投影面形状に応じて実環境へと提示すれば良い．この際，投影面形
状，実環境内でのユーザの観察位置は未知であるので，本研究ではこれらの計測に主眼を置き，日常生活環境において複合現実型情報提示を達成することを目指す．仮想視点に対応する複合現実環境映像の生成は第 3 章の実験において可能であることを確認済みであるので，本研究では実環境内での観察位置とこれに対応する複合現実環境の映像の対応付けはあらかじめ行って蓄積しておき，この映像を投影提示することとする．また，観察者の視線方向もユーザに最も近い投影面
へ映像を投影することによって観察者がその方向を向くであろうと期待されるため，観察位置の計測結果とこれに対応する複合現実環境映像の投影提示位置を結ぶ方向によって決定することとする．

56

実環境

複合現実環境

視点移動前
ユーザ

プロジェクタ

ユーザ視点

回転台

視点移動後

ユーザ

プロジェクタ

ユーザ視点

回転台

図 29 複合現実型情報提示による複合現実環境の提示

57以下 4.2 節では，複合現実型情報提示への要求条件を整理し，従来研究を概観するとともにその問題点を挙げ，本研究の方針を述べる．4.3 節では，複合現実型情報提示への要求条件を満たすため，新たに作製した映像投影装置について述
べ，続いて観察者であるユーザの実環境内での移動を計測する方法について述べる．また，投影映像からユーザの位置と映像投影装置によって計測される実環境
形状に応じた幾何歪み補正像を生成する方法についても述べる．4.4 節では，提案手法と試作した映像投影装置を用いて構築した動的実環境でのインタラクティ
ブな映像観察を実現する視点追従型複合現実型情報投影システムのプロトタイプについて述べる．4.5 節では，提案手法の有効性を確認するために実際に室内環境において行なった実験結果を示す．4.6 節では，より簡易なシステム構成で複合現実型情報提示を実現するため，カメラ・プロジェクタシステムを用いた方法
について検討し，4.7 節でカメラ・プロジェクタシステムを用いた複合現実型情報
提示の実験結果について述べる．なお，カメラ・プロジェクタシステムを用いた
場合，提案手法では観察位置は求めることができない．本節では，観察位置の計測方法に関しての検討内容についても述べる．最後に 4.8 節でこの章をまとめる

4.2 複合現実型情報提示への要求と本研究の方針
4.2.1 複合現実型情報提示への要求
複合現実型情報提示において，動的にその形状が変化する物体を含む未知の３次元形状から構成される実環境に対し，構築した広い画角を有す複合現実環境を提示し，そのインタラクティブな映像観察を可能にするためには以下の４つの要件を満たす必要がある．

1. プロジェクタの映像投影可能範囲が広いこと．
広い画角を有す複合現実環境を表現するためにはプロジェクタの投影可能範囲が広い必要がある．

2. 映像投影可能範囲内の動的形状変化を計測可能であること．
市販プロジェクタは平面スクリーンへの投影を前提として設計されている

58

ため，様々な形状を含む実環境をスクリーンと見立てて映像を投影すると幾何歪みが生じる．この幾何歪みを補正するためには形状が未知の実環境の３次元情報を取得する必要がある．また，実環境は動物体を含むことがしばしばあるため，その３次元情報は適時計測される必要がある．

3. 観察者であるユーザの移動を計測可能であること．
観察視点の自由な変更が可能なインタラクティブな映像観察を，プロジェ
クションベースディスプレイの非接触・非拘束での映像提示という特長を損なうことなく実現するには，実環境内でのユーザの３次元位置をマーカーなどを用いることなく計測する必要がある．

4. 投影像を幾何補正して提示すること．
曲面への投影や斜投影によって生じる投影像の幾何歪みは，ユーザにとって投影像の観察を困難とする．そのためユーザの３次元位置変化，実環境の形状変化に併せて適時補正，提示する必要がある．
要件 1 と 2 を満たすため，プロジェクタを改良した様々な映像投影装置が近年提案されている [Pin01, NH02, RvBB+03, RBvB+04, PRI02, TIS+ 03] ．Pinhanez
ら [Pin01] や Nakamura ら [NH02] は映像投影可能範囲を広くするためプロジェク
タにパンチルト機構を設けている．また，Piper ら [PRI02] や Tokuda ら [TIS+ 03]
は，プロジェクタによる映像投影可能範囲の動的形状変化を計測するためプロジェクタにレンジファインダを統合している．しかしプロジェクタの映像投影可
能範囲が広く，かつその範囲内の動的形状変化を計測可能である映像投影装置は無かった．なお，関連する映像投影装置として Raskar ら [RvBB+03, RBvB+04]の，プロジェクタにカメラを搭載したハンドヘルドプロジェクタがあり，広範囲な映像投影と動的形状変化計測を実現しているが，形状計測時に特殊パターンを投影するため観察者の映像観察を阻害するといった問題がある．
また，インタラクティブな映像観察を行うため，ユーザの位置に応じて映像を提示するには，実環境内に人物が存在するかどうか，存在すればその３次元位置がどこかを知る必要がある (要件 3)．これを実現するため Pingali ら [PPL+ 02] やSukaviriya ら [SPK+ 03] は，カメラで撮影した画像から色とシルエットを用いて59

人物の顔領域を検出し，あらかじめ準備した実環境の３次元形状とカメラの位置関係から顔領域の３次元位置を算出し，ユーザの３次元位置としている．しかし色情報の利用は，実環境中の照明変動の影響を受けるため誤検出を生じ易い．また，物体が雑多に存在する実環境においては，画像中の人物領域が他物体により隠蔽されるオクルージョンがしばしば発生するため，ユーザの位置の正確な検出が困難となる．
また，プロジェクタに入力された映像を実環境中の非平面である３次元物体上に投影すると，投影像に幾何学的な歪みが生じるため，スクリーンとなる映像投影範囲の３次元形状情報を利用して入力映像を随時幾何補正してからプロジェク
タに入力する必要がある（要件 4）．この投影映像の幾何補正処理は，３次元 CG
空間内にスクリーンとなる実環境を３次元 CG モデルで表現し，この CG モデルに対しユーザの３次元位置を光源と見立て射影テクスチャマッピング法 [SKW+ 92]
により投影映像を逆投影変換し，その様子を CG 空間内に適切に配置されたプロ
ジェクタ投影面にこれをカメラの CCD と見立て透視投影変換することにより行
なわれる [RWC+ 98]．この方法において，逆投影変換はユーザの３次元位置と投影映像の各画素を結ぶ全直線と３次元 CG モデルとの交点検出であり，透視投影
変換は CG におけるレンダリングプロセスを意味する．そのため，実環境の形状が複雑になると幾何補正の処理時間が増大する．このため Nakamura ら [NH02]
は３次元 CG モデルにポリゴンリダクションを適用することにより処理時間の短縮を図っているが，CG モデルが実環境形状に対し簡素化されるため幾何補正精度の劣化を引き起こすといった問題があった．

4.2.2 本研究の方針
従来研究の問題点をふまえ本研究では，まず，要件 1,2 を満たすため，プロジェ
クタとレーザレンジファインダ，回転ミラーを組み合わせた，広範囲な映像投影とその全範囲内での動的な形状変化を計測可能な映像投影装置を作製した．続いて，この映像投影装置のもとで，要件 3,4 を満たすため，映像投影装置で計測した距離画像を用いたユーザの３次元位置推定手法と，推定した３次元位置を利用した拡張射影テクスチャマッピング法による入力映像の幾何歪み補正手法を提案

60

入出力データ

処理
ユーザの３次元位置推定処理

距離画像

動的変化領域の抽出
球パラメータ推定
観察３次元位置の決定

幾何歪み補正処理
ビューフラスタムの算出
ビューフラスタム外に属する
３次元データのクリッピング

投影映像

射影テクスチャマッピング法により投影映像を残存３次元データへマッピング

幾何補正像

プロジェクタ投影面へのレンダリング

図 30 提案手法の処理フローする．提案手法の処理フローと入出力データの関係を図 30 に示す．提案手法では，ユーザの３次元位置推定時に人物頭部を球で近似し，局所距離データに対してロバスト推定により球パラメータ推定を行い人物頭部かどうかを判定するため，
実環境中の隠蔽，距離計測誤差，照明変動にロバストな検出が可能である．また
映像幾何補正時に，ユーザの３次元位置を用いて幾何補正処理に必要な領域の形
状情報を選択するため，従来法に比べ処理時間の低減が可能である．

4.3 新たな映像投影装置を用いた複合現実型情報提示
4.3.1 映像投影装置の試作
我々は，任意方向への投影と動的な形状変化を計測可能な図 31 のような映像投影装置を新たに作製した．本装置は，プロジェクタと，実環境の３次元情報を保持する距離画像を計測可能なレーザレンジファインダ，及び回転ミラーとダイクロ

61

Y

yaw

pitch

Z

回転ミラー
T

X
仮想的な投影中心，計測基点
ダイクロイックミラー

プロジェクター
投影中心
計測基点

レーザレンジファインダ

(a)

(b)

図 31 作製した映像投影装置（(a): 構成，(b): 外観）
イックミラー（ハーフミラーの一種）から構成される．本装置では，プロジェクタの投影光が到達する全点の３次元形状を計測するために，プロジェクタとレーザ
レンジファインダの両光軸方向と投影中心及び計測基点をダイクロイックミラー
で合致させている．また，映像投影範囲及び形状計測範囲を広範囲にするため，一致されたプロジェクタとレーザレンジファインダの光軸前方に回転ミラーを設置している．
本装置では，プロジェクタには Canon 社製 LV-7545（1024×768， 3,700ANSI
ルーメン）を，レーザレンジファインダには Riegl 社製 LMS-Z360[RIE]（近赤外光を用いたタイムオブフライト方式，2D スキャニングタイプ）をそれぞれ利用している．また，計測した距離画像の三角形ポリゴン化には Riegl 社製スキャナー
ライブラリー RiSCANLIB を用いている．レーザレンジファインダの画角はプロジェクタの画角に一致させており，回転ミラーを介して 4m 先において 2m×1mの領域を計測可能である．使用レーザレンジファインダは，この領域内の 2cm 間隔の３次元形状情報を約 3 秒で計測可能であり，投影領域内の緩やかな動的形状変化に対応することができる．また回転ミラーの利用により，投影方向，形状計
測方向共にパン・チルト方向に 120 °以上変更可能となっている．以降，プロジェ
クタの画角に一致させたレーザレンジファインダの計測範囲が広いため，計測さ62

Ex, Ey, Ez

Y

r

Z
X
図 32 観察３次元位置れる距離画像には人物と実際に投影される実環境の両者を含み，プロジェクタは
その画角の一部を用いて入力映像を投影するものとする．

4.3.2 ユーザの３次元位置推定
本節では非接触・非拘束でのインタラクティブな映像観察を実現するため，観察者であるユーザの実環境内での移動を計測し，その３次元位置を取得する方法について述べる．以下では，まず取得すべきユーザの３次元位置を定義し，続いて定義した３次元位置を映像投影装置が出力する距離動画像から検出する方法について述べる．

観察３次元位置の定義
非接触・非拘束でのインタラクティブな映像観察を可能にするため，本研究では実環境内でのユーザの３次元位置をもとに投影映像を切り替えることとする．この際，最も必要となる情報は実環境内での観察者の視点位置である．本来であれ
ば，ユーザの左右いずれかの眼球を視点位置として検出すべきであるが，本研究で63

は図 32 で示すようにユーザの頭部を球と仮定し，この球の中心位置（Ex , Ey , Ez ）を観察者の視点位置（以降観察３次元位置）とし，実環境中から検出することとする．球の中心位置を観察者の視点位置とすることの妥当性に関しては後述の 4.5
節にて検証する．

ロバスト推定を用いた距離動画像からの観察３次元位置推定
本研究では観察３次元位置の検出に，映像投影装置で計測される距離動画像を用いる．本研究で利用する距離画像は非可視の近赤外光で計測されているため照明変動の影響は少ない．本手法ではまず，時間的に連続した距離画像のフレーム間差分により，実環境中に存在する動物体領域を取得する．次に取得した動物体領域から，人物頭部の大きさに類似した球をサーチウィンドウを用いて探索しこの球の中心位置を観察３次元位置（Ex , Ey , Ez ）として決定する．この時，オクルージョンの影響と，サーチウィンドウ内に存在しうるアウトライア（隠蔽物体，
背景物体，計測誤差）の影響により誤検出が生じることがある．そこで本手法では，オクルージョンの影響を回避するため，サーチウィンドウを人物頭部に対して少なくとも球のパラメータ推定に最低限必要な 4 点以上を含むような小さなウィ
ンドウに設定する．またアウトライアの影響を回避するため，サーチウィンドウによる球の探索時に３次元座標値から球パラメータを推定する際，ロバスト推定を用いる．

f フレーム目の距離画像から観察３次元位置を推定する際の，本手法における処理の詳細を以下に示す．

Step1
実環境中の動物体領域検出及び球探索処理領域の削減のため，f と f − 1 フ
レームの距離画像にフレーム間差分を適用する．なお差分画像中 f フレー
ム目での動物体は，距離画像においてはその画素値が背景値より常に暗い（近い）ため容易に分離可能である．

Step2
Step1 で検出された動物体の総画素数が閾値以上の場合，人物頭部に対し64

て十分小さく設定したサーチウィンドウを動物体上に設定する．動物体の画素数が閾値より少なければ，観察３次元位置の移動は無かったと見なし，

f − 1 フレームの観察３次元位置を f フレームのものとして処理を終了する．
Step3
ロバスト推定処理を開始する．i 番目の繰り返し処理では，まず Step2 で設定したウィンドウ内の３次元座標値から，球のパラメータ（半径，中心位置）推定に最低限必要な 4 点 Pi = {pi1 , · · · , pi4 } をランダムサンプリング
し，Pi を用いて仮説球のパラメータ Si を推定する．次に推定した球 Si へのウィンドウ内の３次元座標値の当てはめ誤差 Eip とその中間値 EM i を算出する．当てはめ誤差 Eip と中間値 EM i は，球の半径を Sir ，中心位置を Sio
として以下の式により算出される．

Eip = (|Sio − p| − Sir )2 .

(20)

EM i = median(Ei1, · · · , Eip , · · · , EiN ).

(21)

ここで，N はウィンドウ内に属する３次元座標値の総数を示す．

Step4
Step4 を指定回数の g 回処理後，最も当てはまりの良い球パラメータ S̄f を
仮説球のパラメータ (S0 , · · · , Si , · · · , Sg ) から下式の LMedS 基準 [RL87] により決定する．

LMedS = min(EM 1, · · · , EM i, · · · , EM g ).

(22)

Step5
決定した球パラメータ S̄f が，人物頭部に類似するかどうかの類似度 Jf を，
その半径 S̄f r と当てはめ誤差の中間値 EM f を用いて下式により算出する．

Jf = (S̄f r − Hr )2 + EM f .

(23)

ここで，Hr は成人頭部の平均半径である．最後に，類似度 Jf が閾値より小さければ，この球の中心位置を観察３次元位置として決定する．それ以外の場合は Step2 に戻る．

65

距離画像

③ クリッピングプレーンの算出， ④ 設置
① ３次元CGモデル化

映像投影位置⑤ 逆投影変換（３次元点との交点検出）⑥ 透視投影変換（レンダリング）
入力映像
幾何補正像面Z② 観察方向の決定X

レンダリング用カメラの投影中心（実環境中のプロジェクタの投影中心位置）

観察3次元位置

図 33 映像幾何歪み補正処理の流れ

4.3.3 拡張射影テクスチャマッピング法による映像幾何歪み補正
動的実環境を対象とした際，環境内での観察位置と映像投影時にスクリーンとなる実環境領域の３次元形状情報は未知のため，レーザレンジファインダでの距
離画像計測範囲は常に広く設定する必要がある．そのため取得した距離画像から構成した実環境の３次元 CG モデルのポリゴン数は膨大で，幾何歪み補正処理時間の低下を招くことになる．本研究では，入力映像の幾何歪み補正処理に必要なCG モデルの領域は観察者の視体積内のみに限定されることに着目し，前節で取得した観察３次元位置を用いて視体積を設定し不必要なポリゴンをクリッピング
することにより高速な幾何補正処理を実現している．図 33 に映像幾何歪み補正処理の概要を示す．図中下線が引かれている語句は，本処理以前の処理によって算出済み，もしくはあらかじめ入力されているデータであることを示している．
以下に各処理の詳細を述べる．

Step1
入力される距離画像内の３次元点を三角形ポリゴン化して３次元 CG モデ
ル化する．

66

Step2観察方向を，入力される観察３次元位置と映像投影位置を結ぶ直線によって算出する．ここで注意すべきは，観察方向は観察者の視線方向ではなく，ユーザに最も近い投影面へ映像を投影することによって観察者がその方向を向くであろうと期待される方向ということである．なお，映像投影位置
はあらかじめ計測して入力しておくものとする．

Step3
観察者の四角錐で構成される視体積の 4 平面（上下左右）の方程式を，4.3.2
節で求めた観察３次元位置と，あらかじめ与えられた焦点距離，画角，及び Step2 で求めた観察方向から算出する．

Step4
Step1 で作成した３次元モデルの各ポリゴン平面の頂点を Step3 で求めた各平面方程式に代入して視体積内に頂点が属するかどうかを判定し，属さない頂点からなるポリゴン平面は削除する．

Step5
入力映像を，Step4 で削除されなかったポリゴン平面で構成される CG モデ
ルに対し，Segal ら [SKW+ 92] により提案された射影テクスチャマッピング法により逆投影する．

Step6
Step5 で入力映像が逆投影された CG モデルを，３次元 CG 空間内に仮想的に配置されたプロジェクタの投影面位置に，プロジェクタの内・外部パラメータから算出した透視投影変換マトリクスを用いて射影（レンダリング）
し，幾何補正像とする．なお，本研究で使用する映像投影装置ではレーザ
レンジファインダの計測基点とプロジェクタの投影中心及び両光軸を合致させているため，仮想プロジェクタは CG 空間内の原点，レーザレンジファ
インダの光軸向きに配置すれば良い（透視投影変換マトリクスの外部パラメータは単位行列）．

67

映像投影装置
レーザ
レンジファインダ

距離画像
(ユーザと
スクリーンを含む)

PC
ユーザの３次元位置推定
観察３次元位置

回転ミラー

制御信号

回転ミラー制御

映像DB

観察３次元位置

幾何歪み補正像

x1, y1, z1
x2, y2, z2…

プロジェクタ観察３次元位置
距離画像

投影映像

…

投影映像決定・読出し

Image1
Image2

ImageN xn, yn, zn

幾何歪み補正図 34 観察位置追従式複合現実型提示システム構成とデータフロー

4.4 観察位置追従式複合現実型提示システムの構築
本節では，曲面や動物体を含む日常生活環境において，ユーザへのインタラク
ティブな映像観察を提供するために構築した観察位置追従式複合現実型提示シス
テムについて述べる．観察位置追従式複合現実型提示システムの構成及びデータフローを図 34 に示す．本システムは 4.3.1 節の映像投影装置と制御用 PC，実環
境中の３次元位置によりインデキシングされた複数の映像を蓄積するデータベー
スから構成される．本システムでは，まず映像投影装置のレーザレンジファイン
ダで実環境の形状を計測し距離画像を出力する．続いて，距離画像から 4.3.2 節の方法により観察３次元位置を検出する．観察３次元位置が存在し，かつ距離画像
端から一定幅の領域内に位置する時は，計測・投影画角範囲から逃さぬよう，検出した観察位置が距離画像中の中心にくる回転ミラー角を算出し，回転ミラーの制御を行なう．ここで所望の回転ミラー角をそれぞれ，図 31 中の Z 軸負の向き
から X 軸周り反時計方向を正方向としたピッチ角を Rpitch ，図 31 中の Z 軸負の向きから Y 軸周り反時計方向を正方向としたヨー角を Ryaw とすると，これらは，
観察３次元位置 (X, Y, Z) と，回転ミラー中心とレーザレンジファインダの計測

68

基点間の距離 T を用いて下式により算出される（付録 A 節参照）．

1Y
πtan −1 (
)+ .
2
Z +T
4
π
X
)+ .
= tan −1 (Z +T
2Rpitch =

(24)

Ryaw

(25)

観察３次元位置が距離画像の中心付近に存在する時は，その位置との 2 点間ユー
クリッド距離が最も近い位置でインデキシングされている映像を入力映像としてデータベースから読み出す．最後に観察３次元位置，距離画像，入力映像を用いて 4.3.3 節の方法により幾何補正像を生成し，映像投影装置中のプロジェクタにより投影出力する．なお幾何補正像生成時に必要な観察者の観察方向は，観察３次元位置と投影映像に関連付けられた３次元位置を結ぶ直線の方向の算出結果を用いる．

4.5 実験と考察（１）：新たな映像投影装置を用いた複合現実型情報提示実験
本実験の目的は，試作した映像投影装置と提案手法により，曲面や動的に形状が変化する物体を含む日常生活環境において，ユーザへのインタラクティブな映像観察を提供可能かどうかを確認し，提案手法の有効性を検証することである．
映像投影装置の構成機器は 4.3.1 節記載の通りである．提案手法の実装は C 言
語と OpenGL ライブラリを用い Windows XP のノートパソコン (Pentium III

1200MHz, Intel 830MG graphics controller) 上に行なった．
以降，観察３次元位置の検出と幾何補正像の生成，観察位置追従式複合現実型
提示システムの構築について，順にそれぞれ実験結果と評価，及び考察について
述べる．

69

前進

右移動

左移動

後進

図 35 距離画像上での観察３次元位置検出結果例

4.5.1 観察３次元位置検出実験
実験環境と実験結果
男女 20∼40 代，11 人の被験者に，500mm 間隔に設定した 9 点の指定位置に，
映像投影装置に背を向けて立ってもらい，この様子を計測した距離画像から 4.3.2
節の手法により観察３次元位置を検出する実験を行なった．ここで，球探索に用いるサーチウィンドウサイズは 3×3，成人頭部の平均半径 Hr は 90mm にそれぞれ設定した．
ある被験者の観察３次元位置検出結果を距離画像上に重畳表示した結果を図 35に示す．同図では観察３次元位置を検出したサーチウィンドウ（3×3）の中心位置を十字で表示している．また，同図での距離画像は，距離を輝度で表現しており，距離が遠いほど明るく，近いほど暗く表現している．次に，図 31 のように，

70

Z[mm]

-4350
-4250
-4150
-4050
-3950
-3850
-3750
-3650
-3550
-3450
-3350
-3250
-3150
-3050
-550 -450 -350 -250 -150

-50

50

150

250

350

450

550

650

750 X[mm]

図 36 観察３次元位置検出結果の X − Z 平面へのプロット（十字は正解位置）

図 37 オクルージョン時の観察３次元位置検出結果（左：カラー画像，右：観察
３次元位置検出結果の距離画像への重畳表示）71レンジファインダの光軸が回転ミラーを通して真正面を向く時のレンジファイン
ダの計測基点の鏡像をグローバル座標原点，光軸を Z 軸負方向，Z 軸に直交し地面に平行な軸を X 軸としたとき，図 35 のサーチウィンドウ内の３次元座標値から推定された球の中心位置（観察３次元位置）を被験者全員分について X − Z
軸平面にプロットした結果を図 36 に示す．図 36 中，十字は指定位置を示している．図 35，36 から提案手法により，人物を含む実環境の形状を計測した距離画像
から，性別や年齢といった被験者の属性に依らず観察３次元位置を検出できていることが分かる．
また，図 37（左）にレーザレンジファインダから見て人物が他の物体によってオクルージョンを受けている時の様子，図 37（右）にその時の観察３次元位置検出結果を示す．図 37 からオクルージョンの影響を受けることなく検出可能であることが確認できる．

観察３次元位置検出結果の評価

11 人の被験者で行った実験において検出した合計 99 点の結果から，指定位置と検出位置の距離の絶対値を誤差として調査した結果，平均誤差 49.6mm，最大誤差99.9mm であった．この位置決め精度の妥当性を確認するため，直交する２枚の壁の片方に半球を貼り付けた実環境に対し，図 38 に示すテストパターン（640×480）と既知の観察３次元位置を用いて幾何補正像を生成・投影する実験を行なった（実験環境の詳細は次節参照）．図 39 には投影された幾何補正像を，正しい観察３次元位置から観察した様子（左）と，提案手法の検出精度の最大誤差である 100mm
平行移動した位置から観察した様子（右）を示す．平行移動の方向は本実験環境
で最も観察像が歪む X 軸方向に設定している．同図より，平行移動による観察
像の歪みの発生は小さく，投影映像の観察者による観察を阻害する程は残存していないため，本実験環境において提案手法の観察３次元位置の検出誤差は許容範囲であると考えられる．ここで，本研究では観察３次元位置を検出した球の中心位置としているが，この観察３次元位置は実際の人物の片目位置に対し，頭の端（耳）と鼻を結ぶ軸方向にはこの中間に目が位置し成人の平均頭部半径 90mm とすると，45mm 程度ずれることとなる．これに最大検出誤差 100mm が加わると72

図 38 実験に使用したテストパターン

図 39 観察３次元位置の位置決め精度の妥当性（左：正しい位置からの観測，右：提案手法の最大誤差である 100mm 平行移動した位置からの観察）すると 145mm ずれることになるが，人物は投影映像をどちらか一方の目で観察すると仮定すると 55mm 以内に収まるので，本研究ではこのずれに関し特別な処理は行なっていない．

4.5.2 幾何歪み補正実験
実験環境と実験結果
映像の幾何歪み補正の正しさを確認するため，実環境をスクリーンとして図 38のテストパターンを投影し，これをカメラ（Minolta 社製 DiMAGE X）にて観察する実験を行なった．スクリーンとなる実環境には，映像投影装置から約 4000mm
離れた位置に設置した直交する壁と，これに半径 300mm の半球を貼り付けた壁73

r = 300mm
壁
半球
4000mmカメラ

10°

2000mm
1000mm

計測基点，投影中心

図 40 映像幾何補正実験の実験環境の 2 シーンを用いた．実験環境の詳細を図 40 に示す．本実験環境は，室内での利用において，スクリーンとなる実環境をその手前約 500∼2000mm から観察することを想定して構築している．また，スクリーンとなる実環境については人工物に数多く存在する平面と滑らかな曲面の組み合わせで構築した．また，幾何歪み
補正処理時に必要となるプロジェクタの内部パラメータは，メーカ提供の設計書を基に算出，設定した．
図 41 上段に直交する壁を，下段に半球を貼り付けた壁をそれぞれスクリーンとした時の実験結果を示す．図 41 中，(a) は映像幾何歪み補正処理無しでテストパターンを投影した結果，(b) はレーザレンジファインダにより計測した距離画
像，(c) はテストパターンと (b) 及び，あらかじめ既知のカメラ位置を用いて生成した幾何補正像の結果，(d) は (c) を投影した結果をカメラによって観察した様子である．図 41(b) では，距離画像中に幾何補正像生成時に利用された領域の外接矩形を白い枠で重畳表示している．図 41 より，テストパターン中の円や四角が
図 41(a) では大きく歪んで観察されているのに対し，図 41(d) では歪み無く観察されている．

74

(a)

(b)

(c)

(d)

図 41 幾何補正像生成結果（(a) 補正処理無し，(b) 計測距離画像，(c) 生成した
幾何補正像，(d) 幾何補正像投影結果）
映像幾何補正結果の評価
先の実験環境と同一の環境で 475 の格子点から成る格子パターンを入力画像として幾何補正像を生成しこれを観察した画像を取得した後，入力画像中の格子点と観察画像中の格子点との距離の絶対値誤差を調べた．その結果，図 41 上段の環境では平均誤差 1.4pixel，最大誤差 4pixel，図 41 下段の環境では平均誤差 1.9pixel，
最大誤差 5pixel と小さく，提案手法による幾何歪み補正処理はおおむね正しく行
なわれていることが確認された．
また提案手法の幾何補正像生成・提示の更新速度を計測した結果について述べる．ここで提案手法の更新速度は，図 41(b) の距離画像から生成した 10620 ポリゴンの実環境３次元 CG モデル，既知のカメラ位置，サイズが 640×480 の入力画像を用いて 4.3.3 節の Step2∼5 の 4 ステップを 10 回繰返した時の平均画面更新速度を計測した．またクリッピング無しの場合と比較するため，Step4∼5 を 10 回
繰返した時の平均を計測した．計測の結果，提案手法では 34frames/sec.，クリッ
ピング無しの場合では 16frames/sec. であり，幾何補正像生成・提示速度が提案手法により向上していることが確認された．なお，以上の計測値には，観察者の移動や実物体の変形に伴う映像提示の時間遅延は含まれていない．この遅延時間に

75

3m

1

傘コーナー

2

3
服コーナー

1m

2.5m
映像投影装置

図 42 観察位置依存映像提示実験の実験環境
ついては 4.5.3 節の実験で計測，明記する．

4.5.3 観察位置追従式複合現実型提示システム実験
試作した映像投影装置と提案手法により，曲面や動的に形状が変化する物体を含む日常生活環境において，ユーザへのインタラクティブな映像観察を提供可能かどうかを確認するため，複数の商品を取り扱う店舗内で商品毎に違う広告映像
や店舗内の案内映像を提示する利用を想定し，ユーザの観察位置に応じて映像を変更・提示する観察位置追従式複合現実型提示システムの構築と実際に実験を行なった結果について述べる．
実験に使用した環境は図 42 のように，約 1.0m×3.0m の広さの室内である．広
告映像を提示する対象商品とその位置及び店舗内の案内映像を提示する位置は図42 のように 3 箇所設定し，あらかじめその位置の３次元座標をレーザレンジファ
インダを用いて計測した．また実験中，顧客であるユーザは図 42 中矢印の方向に移動した．なお実験中は，大きな移動を伴う商品の配置換えは行なわれないものと想定している．
図 43 に観察位置追従式複合現実型提示実験の結果の一例を示す．図中上段は

76

1-1

1-2

2

3

図 43 観察位置依存映像提示結果 (上段：ユーザの様子，中段：観察３次元位置検出結果，下段：提示映像観察結果)
環境内でのユーザの様子を，中段は距離画像上でのユーザの観察３次元位置の検出結果を，下段はユーザからの提示映像観察結果を示す．図 43 中 1-1，1-2 の 2 時
刻ではユーザが商品を手に取り物体形状の動的変化を引き起こしているが，両時刻においてユーザからは提示情報が商品上に違和感無く観察されていることが下段の図より確認できる．また 1 と 2 の 2 時刻では照明変動が，3 の時刻では人物
頭部が商品によりオクルージョンを受けているが，観察３次元位置は正確に検出され提示情報も違和感無く観察されていることが確認できる．また実験中，映像投影装置がユーザの移動に合わせて投影方向を変更していたことと，動画映像もコマ落ちすることなく提示可能であったことをそれぞれ確認している．また，観察者の移動や実物体の変形に伴う映像提示の時間遅延は約 3 秒であった．
以上の実験により，ユーザが実環境内の複数の場所において，例え商品を手に取るなどの物体形状の変化操作をしても，商品に関する広告情報を商品上に違和感がほぼ無く観察できることが確認された．これから，試作した映像投影装置と77

提案手法によって，曲面や動的な形状変化を含む日常生活環境において，ユーザへのインタラクティブな映像観察を提供可能であると考えられる．実験中ユーザが違和感を感じた大きな原因は，観察者の移動や実物体の変形に伴う映像提示の時間遅延が生じることと，観察映像に多少の歪みが残ること，観察映像が時折観察者の影になることの 3 点であると考えられる．前者 2 点は，本研究で使用した
レーザレンジファインダがタイムオブフライト方式の長距離測量向けであるため，
距離画像計測に多少時間を要すること（実験では 3 秒），反射率の低いターゲッ
ト及び近距離のターゲットの測定精度が悪いこと（4m 先に設置した黒平面ター
ゲットの測定精度の標準偏差は 18.2mm であることを事前実験で確認）に起因す
るところが多い．また後者の問題は，映像投影装置の設置を変更することによって軽減可能であるため，実験では装置を室内の高い位置に設置したが，時折影が生じることがあった．

4.6 カメラ・プロジェクタシステムを用いた複合現実型情報提示
前節までの複合現実型情報提示技術により，プロジェクションベースディスプ
レイに基づき 4.2 節であげた要求条件を全て満たした上で，日常生活環境へ映像を提示することが可能となった．しかし，映像提示装置で使用しているレーザレ
ンジファインダはいまだ高価で，また大型，大掛かりであるため一般家庭での利用は難しい．そのため，前節までに提案した映像投影装置はその利用先がオフィスや博物館などに制限される可能性がある．
そこで本節以降では，より簡易なシステム構成で複合現実型情報提示を実現す
ることを目的とし，形状計測手段としてレーザレンジファインダの代わりに，その安価さや小型，軽量さから現在一般家庭においても広く利用されている Web カメラなどのカメラとプロジェクタを用い，プロジェクタから投影される投影像とこの様子を撮像したカメラ画像からステレオ視の原理によってスクリーンの形状を計測する方法について検討する．
この方法による複合現実型情報提示の処理フローを図 44 に示す．本手法は，カメラ・プロジェクタのキャリブレーション処理（図中Ａ）とカメラ・プロジェクタを用いたスクリーンの形状計測を含む幾何歪み補正処理（図中Ｂ）に分かれる．

78

Ａ：キャリブレーション処理
プロジェクタ・カメラ画素の対応付け
複数平面領域の検出
外部パラメータ

外部パラメータ算出
Ｂ：幾何歪み補正処理

視点位置
・方向情報

投影面形状計測
幾何補正像生成

入力映像
投影出力

図 44 カメラ・プロジェクタを用いた複合現実型情報提示処理フロー
キャリブレーション処理
図 44 中Ａのキャリブレーション処理では，ユーザに特別な作業を強いること無く，自由に配置されたプロジェクタとカメラを用いて複合現実型情報提示を実現するため，カメラ・プロジェクタ間の外部パラメータ（並進ベク
トル，回転行列）を自動で算出する．その際，ユーザが複合現実型情報提示を求める対象実環境は家庭の室内・オフィスなどの日常生活環境であり，
このような環境には平面が多々存在することに着目し，これを積極的に活用したキャリブレーション方法を採用する．このようにキャリブレーショ
ン時に環境中の平面を用いることは，その幾何学的拘束の強さから有効性が複数報告されている [XTS00, 蚊野 96, 植芝 03, 金谷 90]．その際，いかにして環境中の平面を高精度に検出するかといったことが課題となる．本手法では，密なカメラ・プロジェクタ間の対応点情報から射影変換行列推定と投影直線パターン検出の併用により複数平面領域を自動検出する方法を提案する．本手法を用いたキャリブレーション処理では，まず空間コーディ
ング法 [井口 90] などによりカメラ・プロジェクタ間の画素毎の対応点情報

79

を密に求め，これから複数平面領域を自動検出し，最後にカメラ画像上で面積最大の平面を用いてカメラ・プロジェクタ間の外部パラメータを算出
し出力する．
幾何歪み補正処理
図 44 中Ｂの幾何歪み補正処理では，ユーザに投影像の観測を容易にするため，曲面への投影や斜投影によって生じる投影像の幾何歪みの補正を行う．
その際まず，キャリブレーション処理によって求めた，対応点と外部パラメータを用いてステレオ視の原理によって投影面の形状計測を行う．続いて求めた投影面の形状とユーザによって手動指定された視点位置・方向から入力映像に対して幾何補正像を生成し出力する．
以下では，自由に配置されたプロジェクタとカメラを用いて簡易に複合現実型
情報提示を実現するために必須のキャリブレーション処理について，複数平面検出方法と検出された平面を用いたカメラ・プロジェクタ間の外部パラメータ算出
方法について順に述べる．続いて，幾何歪み補正処理のうち，対応点と外部パラメータを用いた投影面の形状計測方法について述べる．なお，投影面の形状と視点位置・方向を用いた幾何補正像生成処理に関しては，4.3.3 節で述べた手法と同じであるので以降での記載は省略する．

4.6.1 射影変換行列推定と投影直線パターン検出の併用による複数平面の検出
複数平面検出の処理フローを図 45 に示す．まず，空間コーディング法 [井口 90]などにより対応付けられた密なプロジェクタ・カメラ間の画素毎の対応点情報から，プロジェクタにおける直線パターンのカメラ画像上での傾きを画素毎に検出し，その直線の傾きを一定角度間隔で量子化し，量子化された角度が同一な値を有す画素の集合を得ることによりカメラ画像全体を複数平面へと分割する．
上記の処理の結果，微小平面領域を取りこぼすことなくその領域がある程度成長した状態で複数平面が検出されるが，量子化数が適切でない時には，同一もし
くは類似する法線を有す 2 平面では過統合が，プロジェクタからの奥行き差が存在しかつ画像内での領域が大きな 1 平面では過分割が起きる．そこで，まず過統

80プロジェクタ・カメラ間の画素の対応点情報
直線パターン検出による
複数平面領域への分割

ロバスト推定によるアウトライヤ領域の分割

射影変換行列に基づく
同一平面領域の統合
複数の平面領域
図 45 複数平面検出処理フロー
合状態の画素を検知し他平面領域へと分割するため，各平面領域に属する全点を１平面と仮定してロバスト推定により平面上の点を撮像した画像間の画素座標を変換する射影変換行列 (付録 B 参照）を算出し，その平面に属さない点（アウトライヤ）を決定後，他平面として分割する処理を再帰的に行なう．最後に，過分割状態の領域同士を同一平面毎に統合するため，各領域で算出した射影変換行列に対する各領域内の点の再投影誤差を用いて統合する．
以下，上述の処理について順を追って説明する．

直線パターン検出による複数平面領域への分割
本節では，プロジェクタにおける直線パターンがカメラ画像でも直線に観察される画素を検出し，その傾きを用いてカメラ画像全体を複数平面へと分割する方法について述べる．
プロジェクタにより投影した直線を，その様子を撮影したカメラ画像から検出

81

するには，一定間隔の平行直線の投影や直線をスキャンニングしても良いが，本手法では短い計測時間で密に直線を検出するため，カメラ座標とプロジェクタ座標の対応から直接求めることにする．図 46 にプロジェクタにおける縦の直線が３次元空間中の平面を介してカメラによって撮影された様子を示す．図中 → は対応を示す．同図のように，プロジェクタのある画素 p = (l, yp, 1)T とカメラ画像のある画素 m = (xm , ym , 1)T が対応しているとき，プロジェクタでの縦直線（l が一定）をカメラ画像から検出するには，カメラ画像で対応するプロジェクタの x
座標が l の画素を抽出すれば良い．これは横直線に関しても同様であるので，両方向の直線を検出し，その傾きを適当な角度で量子化することによって画像全体を複数の平面領域に分割できる．
以下に，プロジェクタ座標での縦直線を検出し，複数平面へ分割する処理手順を示す．なおこの処理前に，カメラ画像全体に対しカメラ座標 m = (xm , ym , 1)Tに対応するプロジェクタ座標 p = (xp , yp, 1)T を空間コーディング法 [井口 90] により求めておくものとする．

Step1
あるカメラ画像の画素 (xm , ym , 1)Tの対応座標が (l, yp , 1)T であれば，(xm , ym , 1)T の近傍内で対応座標の x 座標が l である画素を選択する．
Step2
自画素と Step1 で選択された画素に対し，その空間情報（配置情報）を維持したまま，Paton ら [Pat79] の直線検出オペレータを適用する．

Step3
直線検出オペレータの出力値である直線の角度を適当な角度毎に量子化する．

Step4
Step1 から Step3 までの処理を全画素について処理が行なわれるまで繰り返す．
以上の処理により，カメラ画像の各画素毎に最大 Q（量子化数 =360 °/直線の量子化角度）個の領域に分割される．プロジェクタ座標での横直線に関しても同様の処理を行い，最終的に最大 Q × Q 個の領域へと分割する．

82

平面

l

xm
m= ym

yp

p= yp

1

1

l

1
カメラ

プロジェクタ図 46 プロジェクタとカメラ画像における直線の関係
ロバスト推定によるアウトライヤ領域の分割
前節で分割された平面領域群に含まれる各平面に対し，本来同一平面に属さないが同じ平面に統合されている画素を検知し他平面領域へと分割するため，各平面領域に属する全点を１平面と仮定して LMedS 基準によるロバスト推定 [RL87]
により射影変換行列を算出し，同平面に属さない点（アウトライヤ）を判定後新たな他平面とする処理を再帰的に行う．この処理の詳細を以下に示す．

Step1
前節で得られた平面領域群から k 番目の平面領域を選択する．

Step2
LMedS 算出処理を開始する．i 番目の繰り返し処理では，まず選択された平面領域を構成する画素から，射影変換行列の算出に最低限必要な 4 組 Pi

= {mi1 → pi1 , · · · , mi4 → pi4 } をランダムに選択し，Pi を用いて仮の射
影変換行列 Hi を算出する．次に算出した射影変換行列 Hi への未選択画素の再投影誤差 Eip とその中央値 EM i を算出する．再投影誤差 Eip と中央値

83

EM i は，下式により算出される．
Eip = (pip − Hi · mip )2.

(26)

EM i = median(Ei1, · · · , Eip , · · · , EiN ).

(27)

ここで，N は選択された k 番目の平面領域を構成する画素数を示す．

Step3
Step2 を指定回数の J 回処理後，最も当てはまりの良い射影変換行列 Hk を
以下の LMedS 基準 [RL87] により決定する．

LMedS = min(EM 1, · · · , EM i, · · · , EM J ).

(28)

Step4
式 (29) により誤差の標準偏差 σ̂ を算出し，2.5σ̂ よりも再投影誤差が大きな点をアウトライヤ点とし，アウトライヤ点全てを 1 つの平面領域として現在処理中の平面から分割し新たに平面領域群に加える．

σ̂ = C{1 +

5
}
n−F

EM i .

(29)

ここで係数 C は 1.4826 である．

Step5
アウトライヤ点を取り除いた点全てを用いて最小 2 乗法により射影変換行列 Hk0 を算出し，Hk0 を現在処理中の平面領域 k の射影変換行列とする．

Step6
Step1 から Step5 までの処理を，平面領域群内の Step4 で新たに分割された平面も含め全平面について処理が行なわれるまで繰り返す．

射影変換行列に基づく同一平面領域の統合
本来同一平面に属すが他の平面へと分割された画素からなる平面領域同士を統合するため，最短距離法に基づく階層的クラスタリング処理 [画像 97] を適用する．

84

こ の 処 理 は，前 節 までの処理で生成された K 個 の平面領域群 C ={c1, · · · , ck , · · · , cK } の各平面領域をクラスタと見立て，最短の距離にある 2 つのクラスタを統合し新たなクラスタとする処理を距離 l が閾値 th 以下である間繰り返すことにより達成される．ここで平面領域 ci と平面領域 cj の距離 l(ci,cj ) は，もし両平面領域が同一平面なら一方の領域を構成する対応点を他方の射影変換行列によって変換しても再投影誤差は小さくなることを考慮し，各領域で算出した射
影変換行列 Hi , Hj と誤差の標準偏差 σ̂i , σˆj を用いて以下のように定義した．
i
1.0 + σ̂i 
1.0 + σˆj 
2l(ci ,cj ) =(pjn − Hi · mjn ) +(pim − Hj · mim )2. (30)
Nj n=1
Ni m=1Nj

N

ここで，Ni , Nj はそれぞれ平面領域 ci と平面領域 cj を構成する画素数を表す．
前述の提案手法の直線パターン検出による複数平面領域への分割方法では，対象の法線が変化すると検出直線の傾きも変化するため，曲面も微小平面の集まりとして検出される．式 (30) で再投影誤差の平均に誤差の標準偏差で重み付けしている理由は，射影変換モデルに対して対応点のばらつきが大きい領域は，空間コーディング法による対応付け精度の高さを考慮すると，曲面上の微小平面領域
である可能性が高いため，このクラスタと大局的にみても平面である（ばらつきが小さい）クラスタとの過統合を避けるためである．

4.6.2 射影変換行列からのカメラ・プロジェクタ間の外部パラメータ算出
前節の方法によりカメラ画像中の同一平面領域が検出され，この領域に対する
射影変換行列が求まれば，その射影変換行列からカメラ・プロジェクタ間の外部パラメータを算出することが可能である [金谷 90]．射影変換行列を H ，並進ベク
トルを T = (Tx , Ty , Tz )T ，回転行列を R，面の方程式を pX + qY + Z = r とすると外部パラメータである T ，R は，それぞれ以下の通り算出できる．

1. HH T の固有値を σ12 ，σ22，σ32 とし，対応する固有ベクトル u1 ，u2 ，u3 を
互いに直交する単位ベクトルにとる．ただし固有値は σ1 ≥ σ2 ≥ σ3 の順に
並べる．

85

2. σ1 = σ2 = σ3 であれば，並進ベクトル T = (Tx, Ty , Tz )T は
R=H

Tx = Ty = Tz = 0,(31)であり，面のパラメータ {p, q, r} は不定である．そうでなければ，次のように 2 組の解が得られる．

3. 面の勾配 {p, q} は次のように定まる．
pqp = − ,
q=− 
l
l
⎞
⎛

p


⎟
⎜
⎜ q  ⎟ = ± σ 2 − σ 2 u1 + σ 2 − σ 2 u3
1
2
2
3
⎠
⎝

(32)

(33)

l
4. 距離 r は不定であり，並進成分 (Tx, Ty , Tz ) との比が次のように定まる（式(33) と複号同順）．
⎞
⎛
Tx/r





⎟
⎜
l
2
2
2
2
⎜ Ty /r ⎟ =⎠ σ 2(σ1 + σ3) ∓σ3 σ1 − σ2 u1 + σ1 σ2 − σ3 u3
⎝
2
Tz /r

(34)

5. 回転行列 R は次のように定まる．
⎞

⎛


⎟
⎜
1
1
⎜ q ⎟ (Tx/r Ty /r Tz /r) T (35)
R=
I−
⎠
σ2
1 + pTx /r + qTy /r − Tz /r ⎝−1
p

この方法によって算出される外部パラメータの精度は，使用する射影変換行列の当てはめ精度に依存する．本研究ではより多くの対応点情報を用いて算出された
射影変換行列の当てはめ精度が高いと考え，前節の方法で最終的に求めた複数平面のうちクラスタを構成する対応点の総数が最多の平面の射影変換行列 H を用いて外部パラメータの算出を行う．

86

4.6.3 投影面の形状計測
前節までの処理によって，カメラ・プロジェクタ間の各画素の対応と外部パラメータが求まる．本節では，求めた対応点と外部パラメータからスクリーンとなる投影面の３次元形状を計測する方法について述べる．
カメラとプロジェクタの内部パラメータと外部パラメータから算出した 3 行

4 列の射影行列をそれぞれ P と P 0 とし，カメラとプロジェクタ間の対応点を(u, v)T → (u, v )T とすると，対象の３次元座標 M = (X, Y, Z)T は下式により求まる [徐 98]．

M = B+ b(36)

ここで B + は B の擬似逆行列を表し，B + = (B T B)−1 B T である．また，B, bはそれぞれ，⎛

up31 − p11

up32 − p12

up33 − p13

⎞

⎟
⎜
⎟
⎜ vp − p
vp
−
p
vp
−
p
31
21
32
22
33
23 ⎟
⎜
B = ⎜
⎟
⎜ up − p u p − p up − p ⎟
31
11
32
12
33
13 ⎠
⎝

(37)

b = (p14 − up34 , p24 − vp34, p14 − up34 , p24 − v p34 )T(38)v p31 − p21 v p32 − p22 v p33 − p23

である．ここで，pij , pij はそれぞれ P と P 0 の i 行 j 列の要素である．
求めた全対応点に式 (36) を適用することによって，投影面を撮像したカメラ画
像上の各画素において，その３次元座標が算出される．続いて求めた３次元座標値を，２次元のカメラ画像を分割した三角形の各頂点に付与することによって，投影面の３次元形状モデルが生成できる．

4.7 実験と考察（２）：カメラ・プロジェクタを用いた複合現実型
情報提示実験
本実験の目的は，提案手法により，自由に設置されたカメラ・プロジェクタシ
ステムにより複合現実型情報提示実験が可能かを確認することによって，提案手法の有効性を検証することである．

87

提案手法の実装は，4.5 節のノート PC 上に C++で行った．またカメラ・プロ
ジェクタシステムは，カメラに APLUX 社製の C102T を，プロジェクタには NEC
社製の LT140J を用い，両者の位置関係は未知の状態で構築した．使用カメラ，プ
ロジェクタの解像度はそれぞれ 640 × 480，1024 × 768，焦点距離は 1858.56[pixel]，

2066.14[pixel] である．なお，これらの値はそれぞれメーカ提供の設計書を基に導出した．
以降構築したカメラ・プロジェクタシステムのキャリブレーションと投影面の形状計測を含む幾何歪み補正処理について，順にそれぞれ実験結果と評価，及び考察について述べる．また，カメラ・プロジェクタシステムを用いた観察位置の計測方法に関する検討についても述べる．

4.7.1 カメラ・プロジェクタキャリブレーション実験
複数平面の検出
平面の組み合わせで構成された単純な環境として図 47(a) に示すような部屋の
壁と天井の合計 3 平面が直交する部分を対象とした．実験ではまず 10 ビットのグレイコードパターンを投影し，プロジェクタ座標とカメラ座標を対応付けた．

2 値化は相補パターン比較法 [井口 90] により行った．図 47(b),(c) にカメラ画像の各座標 (mx, my ) に対応するプロジェクタの x 座標 px ，y 座標 py を輝度値表現
した様子をそれぞれ示す．図中黒で示す部分はプロジェクタの光が到達しないため対応点が存在しないもしくは反射率が極端に悪い領域を示しており，以降の平面検出処理は行なわないものとする．図 47(d) に (b),(c) の対応点情報から直線パターンを検出し複数平面領域へ分割した結果を示す．ここで，直線検出オペレー
タへ入力する対象画素の近傍領域は 9×9 に，直線検出オペレータの出力値である（最大で 8 × 8 = 64 の領域に分割される）にそれ
直線角度の量子化角度は 22.5 °ぞれ設定した．図 47 中，色の違いは異なる平面を示す（以降同様）．図 47(e) に
図 47(d) の各平面領域からロバスト推定によりアウトライヤ領域を再帰的に分割した結果を示す．図 47(f) に図 47(e) 内の同一平面領域を統合した結果を示す．なお図 47(f) は統合処理後，孤立した平面領域の除去のため，画像上での空間情報

88

(a)

(b)

(c)

(d)

(e)

(f)

図 47 単純環境下での複数平面検出結果，(a) カメラ位置からの環境様子，(b) カ
メラ座標に対応するプロジェクタ x 座標値の輝度値表現結果，(c) カメラ座標に対応するプロジェクタ y 座標の輝度値表現結果，(d) 直線パターン検出による複数平面領域への分割結果，(e) アウトライヤ領域分割結果，(f) 同一平面領域統合
結果を考慮するよう 3 × 3 のメディアンフィルタを適用している．
図 47(d) から天井平面が蛍光灯によって分離された微小平面領域（図中右上）が同一平面として正確に検出できている反面，壁の 2 平面領域では過統合や過分割が起きていることが分かる．また図 47(e) より，図 47(d) においての過統合領域が正確に分割されていることが分かる．図 47(f) からは図 47(e) で過分割状態であった平面領域が正確に統合され，最終的には実空間の平面領域とほぼ一致する領域を検出できていることが確認できる．
続いて，様々な平面や曲面を含む日常生活環境などの複雑な環境を対象とした実験結果を図 48 に示す．図 48 上段では対象環境の様子，図 48 下段では提案手法
によってその環境に存在する平面領域を検出した結果を示している．なおこれらの実験では，同一平面統合時のクラスタリング処理を終了する閾値は全て先の実89

験と同じに設定している．実験結果より，提案手法により日常生活環境などの複雑形状を多く含む環境や，大小様々な平面，パターンの無い平面を含む環境においてもその環境内の平面領域をほぼ正しく検出できていることが分かる．しかし，物体の曲率が大きく変化する箇所では過分割が起きていることも確認できる．これはこのような箇所では直線パターン検出処理で直線が検出できず他平面に分割され，その平面領域が微小であるため射影変換行列の当てはめ精度が悪く平面統合処理時に統合されないことが一つの原因と思われる．また他の原因として，このような箇所では空間コーディング処理のプロジェクション時に相互反射が発生するため，対応付けに失敗し，正しい射影変換行列が算出されないことも原因の一つと考えられる．

複数平面検出手法の評価実験
図 47 で示した実験環境における対象 3 平面の平面毎の検出率，誤検出率と各平面領域の画像全体に対する面積比との関係を図 49 に示す．平面の検出率 Pc ，誤検出率 Pe は川上ら [川上 05] 同様，検出した正しい点の個数
正しい点の個数
検出した誤った点の個数
Pe =検出した点の個数

Pc =

(39)
(40)

により求めた．ここで，あらかじめ画像を目視で 3 平面に分割しておき平面毎にそれを構成する画素を正しい点，ある平面に対し最も支配的な検出平面領域の構
成点のうち，その平面上に属する点を検出した正しい点，属さない点を誤った点とし，それぞれ数え上げた．また，検出した点の個数は検出した正しい点と誤った点の和である．
図 49 より，画像全体に対し 4% 程度しか面積を有しない天井のような微小平面領域においても，99% 以上の検出率と 6% 程度の誤検出率であることから，提案手法により領域の大小に関わらず高精度に平面領域を検出できていることが確認できる．また川上ら [川上 05] の文献に示されているシミュレーション結果である，特徴点に標準偏差 0.6 画素の誤差を加えた時の平面 3 とほぼ同様の面積を有90

図 48 複雑環境下での複数平面検出結果

91

0.996609663 0.994969433 0.990106875

0.6
0.5

0.479111328
0.381780599

0.4
0.3
0.2

Ratio of the areas

Correct detection rate /Wrong detection rate

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

Pc
Pe
S

0.1

0.061661648
0.045078125
0.003654345 0.001676804

0Plane1

Plane2
PlanesPlane3

図 49 平面検出率と誤検出率 (Plane1〜3 はそれぞれ図 47 中右の壁，左の壁，天
井を示す)

(a)

(b)

図 50 正 20 面体の平面検出結果，(a) 対象正 20 面体，(b) 複数平面検出結果

92

0.05
0.04
0.03
0.02

Ratio of the areas

Correct detection rate /Wrong detection rate

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

Pc
Pe
S

0.01
0
Plane1

Plane2

Plane3

Plane4

Plane5

Plane6

Planes

図 51 正 20 面体の平面検出率と誤検出率 (Plane1〜6 は図 50(a) の 1〜6 に対応)
す平面の検出率約 70%，誤検出率約 30% と比較すると，提案手法により検出率，
誤検出率ともに向上していることが分かる．
次に，各辺の長さが 21.0cm の正 20 面体をカメラから 6 平面が映るよう配置して複数平面検出を行った実験結果を示す．実験においては，グレイコード投影による対応点取得処理から提案手法による平面検出処理までを 1 回とし，この処理を 10 回行った．対象とした正 20 面体と平面検出結果を図 50 に，対象平面ごとの平均検出率，平均誤検出率を図 51 に示す．図 51 より画像全体に対する面積が4% を下回っても平均検出率，平均誤検出率共に大きく劣化することがないことが分かる．なお，図 51 中 Plane3,4 の平均検出率が低下しているのは，隣接するPlane1,2,5 において発生した誤検出点が Plane3,4 の真の平面境界を超えて存在しているためである．Plane1,2,5 において誤検出が平面境界付近で発生する理由としては，正 20 面体の平面境界は奥行き差が小さいため，同一射影変換行列として近似され統合分割処理に失敗したためと考えられる．

カメラ・プロジェクタシステムの外部パラメータ算出
図 48 右下で示した曲面を含む部屋の壁を対象に平面検出結果の射影変換行列を用い，カメラ・プロジェクタ間の外部パラメータ推定を行った．なお，本実験93

図 52 カメラ・プロジェクタの配置
環境におけるカメラとプロジェクタの配置様子を図 52 に示す．同図の配置における外部パラメータを推定した結果，面の勾配 {p, q}，並進ベクトル T ，回転行
列 R はそれぞれ{p, q} = {−0.174538, 0.326237}
T = (−200.5555, −198.5515, −10.9627)T⎛⎞
0.985964 0.018785 0.165899
⎜
⎟
⎟
R = ⎜
⎝ 0.000052 0.993616 −0.112816 ⎠−0.166959 0.111241 0.979668であった．なお，求まった外部パラメータはカメラの投影中心位置を原点，光軸方向を z 軸正方向とした左手座標系でのプロジェクタの位置を示している．また，面までの距離 r は不定（本実験では適当な値である 1000.0 に設定している）であり，求まった並進ベクトルの成分の値はその比のみに意味がある．以上を踏まえ，求まった外部パラメータと図 52 のカメラとプロジェクタの位置関係を見比べると，求まった外部パラメータは概ねカメラとプロジェクタ間の位置関係を表現していることが分かる．外部パラメータの推定精度は３次元復元結果に影響するた94

図 53 投影面の３次元復元結果（奥行き画像表現）
め，対象の３次元復元を行えばその精度の良し悪しが分かるが，対象の３次元復元結果については次節で述べることとする．

4.7.2 幾何歪み補正実験
投影面の３次元計測
前節で求めたカメラ・プロジェクタ間の画素の対応付け結果と外部パラメータを用い，スクリーンとなる投影面の３次元座標を求め，奥行き画像を生成した結果を図 53 に示す．なお，同図での奥行き画像は，奥行き値を輝度で表現しており，奥行きが遠いほど明るく，近いほど暗く表現している．また黒で示す部分は前節と同じく，プロジェクタの光が到達しないもくしは反射率が極端に悪く対応点が存在しないため３次元座標が求まらなかった領域を示している．次に求めた
３次元座標値を用いて３次元モデル化を行い，これを俯瞰した結果を図 54 に示す．以上の結果よりスクリーンとなる対象環境の凹凸が再現できていることが分かる．また図 55 に，算出した３次元座標点を真上から観察した様子を示す．図55 より，壁（図 48 において茶色として色分けされた領域）の部分では求めた３95

図 54 投影面の３次元復元結果（テクスチャ付き３ D モデル表現）

図 55 投影面の３次元復元結果の真上からの観察（点群表現）96

図 56 幾何補正無し投影結果
次元点群が直線状に並んでいることから，平面性を再現できていることが確認できる．また，このことから提案手法によって求めたカメラ・プロジェクタ間の外部パラメータは正確に算出されているといえる．

歪み補正像の投影提示
まず図 56 に，図 17 で示した複合現実環境内でウォークスルーしている際の映像をなんら処理を施すことなく対象環境に投影提示し，この様子をカメラ・プロ
ジェクタシステムとは異なる位置に設置したカメラで撮像した結果を示す．また
図 57 に，生成した幾何補正像を投影し，その結果を先と同じ位置に設置したカメラで撮像した結果を示す．ここで幾何補正像生成時に必要な視点位置・方向（図57 の幾何補正像投影結果を撮像したカメラの位置・方向）情報は手動で設定した．
図 56 においてはパイプやカーテンの凹凸によって歪みが生じて観察されていた映像が，図 57 では歪み無く観察されている（朱雀門の屋根の部分で顕著に確認できる）ことが分かる．

97

図 57 幾何補正像投影結果
以上の実験結果より，カメラ・プロジェクタシステムにおいてレンジファイン
ダを用いた場合と同様に凹凸を含む対象環境においても複合現実型情報提示が実現可能であることが確認された．

4.7.3 カメラ・プロジェクタシステムにおける観察位置の検出方法の検討
本カメラ・プロジェクタシステムを用いた複合現実型情報提示においては，一
般家庭でユーザがあまり移動しない上での利用を想定したため，観察者の観察３次元位置の検出は考慮していない．本カメラ・プロジェクタシステムにおいて，
観察３次元位置を自動検出するには，例えば，図 58 に示すように，部屋などの天井に全方位ステレオカメラを設置すれば良い．全方位ステレオカメラを用いることによって，観察者が部屋のどの場所にいても，その観察３次元位置を計測することが可能になる．その際新たに生じる，全方位ステレオカメラと，補正処理用の観測カメラ，プロジェクタ間のキャリブレーション処理は，全方位ステレオカ
メラにもプロジェクタと各カメラの対応付け用に投影する構造化パターンが撮像

98

全方位カメラ

カメラ

ユーザ

プロジェクタ

図 58 カメラ・プロジェクタシステムにおける観察位置の検出

99

できると考えられるため，全カメラ，プロジェクタ間の外部パラメータは 4.6.1，

4.6.2 節の方法を適用することによって自動推定可能である．また，全てのカメラ・プロジェクタ間の対応点が決定されているため，最も単純には各カメラ・プ
ロジェクタにおいて３次元復元した同一２点の距離が同じになるように推定した
各外部パラメータのスケールを調整することによって，ある１つのスケールへと統一可能である．このため，幾何歪みの補正時に，全方位ステレオカメラで計測した観測３次元位置と補正処理用の観測カメラで計測した投影面形状を用いても，問題が生じることはない．
以上，提案手法に加え，全方位ステレオカメラを用いた観察位置の検出が実現されれば，ユーザが日常的に生活する環境において現状では静的環境に限られる
が，カメラとプロジェクタ，PC さえあれば，簡易に所望の位置で映像を観察することが可能になると言える．

100

4.8 結言
本章では，日常生活環境において，非接触，非拘束での観察３次元位置のユー
ザへのインタラクティブな映像提示を可能とする装置，手法を提案した．本研究では，市販プロジェクタ，レーザレンジファンダ，ミラー類を統合した新たな映像投影装置を作製することによって，動的形状変化を含む実環境中の任意方向，
任意場所への映像投影を可能とした．またこの映像投影装置のもとで，距離画像の局所領域内の 3 次元座標値に対するロバスト推定の適用によって観察３次元位置を検出する手法を提案し，隠蔽，距離計測誤差，照明変動に頑健な検出を可能とした．加えて，映像の幾何補正処理を必要な３次元形状領域を選択してから行なう手法を提案し，滑らかかつ無歪みでの映像提示を実現している．さらに実際に曲面や動的に形状が変化する物体を含む実環境において，観察位置追従式複合
現実型提示システムを構築し，ユーザへのインタラクティブな映像提示が可能であることを確認した．以上の確認事項より，映像情報をユーザが高い没入感でかつ日常生活においても気軽に享受可能とする提示方法を開発できたと言える．
また，より簡易なシステム構成で複合現実型情報提示を実現するため，カメラ・プロジェクタシステムによって形状計測を行う手法について検討した．まず自由に配置されるカメラ・プロジェクタシステムのキャリブレーションのため，実環境中の複数平面を自動検出する方法を提案し，検出平面を用いカメラ・プロジェ
クタ間の外部パラメータを自動で算出することを可能とした．また，算出した外部パラメータと対応点を用い，投影面の形状計測を行い，計測した投影面上に歪み無く入力映像を投影提示可能であることを確認した．この方法では，観測者の観察３次元位置は決定することができないが，全方位ステレオカメラを用いてこれを自動決定する方法についても検討し，実現の見通しを得た．提案した複数平面検出手法は，高精度な外部パラメータ算出への利用といった目的以外にも，未知環境中から平面領域を決定し，ここへ所望の映像を投影するといった応用にも利用できる（付録 C 参照）．
今後の課題としては，実験中に時折生じた観察映像が観察者の影になる問題への対処が挙げられる．また，本観察位置追従式複合現実型提示システムではユーザが１人であることを前提としており現在複数人の利用には対応していない．こ101

れらの問題の解決には，プロジェクタを複数台用いこれらを協調作動させることが有効であると考える．また，カメラ・プロジェクタシステムのキャリブレーショ
ン時には，その精度の高さから平面を用いて外部パラメータ算出を行ったが，対象とする環境によっては平面が存在しないことも考えられる．そのため，提案手法を用いた平面検出結果から平面の存在を自動判定し，平面が存在しない場合は対応点情報のみを用いて外部パラメータ算出を行う手法 [川崎 05] を適用することが有効な解決手段と考えられる．また，カメラ・プロジェクタシステムを用いた複合現実型情報提示は映像の投影が可能な範囲がカメラとプロジェクタの共通視野範囲に限定されるため，回転台の利用等による広範囲化を検討する必要がある．
また，映像提示装置，カメラ・プロジェクタシステムの両方式とも，構築した複合
現実環境内での自由な視点移動映像をユーザに提示するには，視点移動に応じて投影すべき映像を自動的に生成することが望ましいが，現在はあらかじめ生成しておいた映像の提示に留まっている．この投影すべき映像の自動生成は，提案手法によって計測したユーザの実環境中での移動を，複合現実環境内での仮想の視点移動に割り当て，仮想視点に応じた映像を計算機内で生成することによって実現可能であると考えられ，今後この機能の実装を行なう必要がある．最後に，ス
クリーン自身の色や相互反射の影響による入力映像と観察映像の色ずれへの対処も重要な課題であり，この課題に対しては，プロジェクタに入力する画像情報の輝度値を変換し，投影提示する光学補正機能 [向川 05, GPNB04, FGN05, 向川 01]の導入を検討する必要がある．

102

第5章
結論

5.1 本論文のまとめ
本論文では，自然環境，都市環境などの広域で３次元的かつ動的な実環境を対象に写実性の高い複合現実環境を構築し，そのインタラクティブな観察を日常生
活においても実現可能とする手法について提案した．より具体的には，実環境と仮想物体の奥行き隠蔽関係を再現可能な全周型複合現実環境を構築する手法，全周型複合現実環境を実環境中の動き情報を再現可能な動的複合現実環境へと拡張する手法，構築した複合現実環境を市販プロジェクタを用いて曲面や，その形状が動的に変化する物体から構成される実環境をスクリーンとして提示する手法についてそれぞれ検討した．
第 2 章では，写実性の高い複合現実環境を構築するために，ステレオ撮像が可能な高分解能全方位ステレオ画像センサで取得した全周パノラマステレオ動画像
から，色調ずれを除去したパノラマ画像を合成し，このパノラマステレオ画像からステレオ対応付け時に信頼性の高い対応点の補間により距離画像を生成し，３次元モデル化する手法を提案した．広域かつ３次元的な実環境を対象にした実験により，提案手法により構築される全周実環境モデルは，実環境と仮想物体の奥行き隠蔽関係の再現に加え任意視点映像の生成が可能な複合現実環境の構築を可能とすることが確認できた．また，広い画角，高精細なテクスチャ情報を保持して実環境を仮想化できていることも確認した．
第 3 章では，動きを含む実環境を複合現実環境内でも再現するため，全周パノ
ラマ動画像から実環境中の動物体を抽出して３次元モデル化し，これと全周パノ
ラマ動画像にモードフィルタを適用して生成した静止環境ステレオ画像を用いてモデル化した静的モデルをレイヤ構造化することによって，第 2 章で構築した全103

周実環境モデルを動的複合現実環境へと拡張する手法を提案した．動的かつ広域，
３次元的な実環境を対象にした実験により，提案手法により構築した動的複合現
実環境は，（１）実環境内での動きが再現される，（２）仮想物体と実環境との奥行
き隠蔽関係が再現される，（３）実環境の情景が全周囲で表現される，（４）高精細なテクスチャ情報が保持される，ことが確認できた．このことより本研究の第一目的である写実性の高い複合現実環境の構築が実現できていると言える．また，構築した複合現実環境を，IPD を用いた没入型複合現実環境提示システムのプロ
トタイプによりユーザへ提示した結果，高い没入感のもとで任意視点からの情景を観察可能であるということも確認した．
第 4 章では，日常生活環境において，非接触，非拘束でのユーザへのインタラ
クティブな映像提示を可能とする装置，手法を提案した．本研究では，市販プロジェクタ，レーザレンジファンダ，ミラー類を統合した新たな映像投影装置を作製することによって，動的形状変化を含む実環境中の任意方向，任意場所への映像投影を可能とした．またこの映像投影装置のもとで，距離画像の局所領域内の３次元座標値に対するロバスト推定の適用によって検出する手法を提案し，隠蔽，
距離計測誤差，照明変動に頑健な観察３次元位置の検出を可能とした．加えて，映像の幾何補正処理を必要な３次元形状領域を選択してから行なう手法を提案し，滑らかかつ無歪みでの映像提示を実現している．さらに実際に曲面や動的に形状が変化する物体を含む実環境において，観察位置追従式複合現実型提示システムを構築し，ユーザへのインタラクティブな映像提示が可能であることを確認した．
以上の確認事項より，複合現実環境をユーザが高い没入感でかつ日常生活においても気軽に享受可能とする提示方法を開発できたと言える．また，より簡易なシ
ステム構成での複合現実型情報提示を実現するため，カメラ・プロジェクタシス
テムによって形状計測を行う手法について検討した．まず，自由に配置されるカ
メラ・プロジェクタシステムのキャリブレーションのため，実環境中の複数平面を自動検出する方法を提案し，検出平面を用いカメラ・プロジェクタ間の外部パ
ラメータを自動で高精度に推定することを可能とした．また，算出した外部パラメータと対応点を用い，投影面の形状計測を行い，計測した投影面上に歪み無く入力映像を投影提示可能であることを確認した．この手法では，観測者の観察３104

次元位置は決定することができないが，全方位ステレオカメラを用いて自動決定する方法についても検討し，実現の見通しを得た．
以上，第 2，3，4 各章において提案し実装した手法を組み合わせることによって，景観シミュレーションや作業訓練，ナビゲーションなど非常に幅広い分野に亘る応用分野での複合現実感体験が，専門家のみならず一般の人々でも場所の制約無く享受可能になると期待でき，本研究は今後一層の複合現実感の普及，応用
先の拡大に寄与すると考えられる．

5.2 今後の検討課題
本研究により，全周型複合現実環境構築技術とその提示技術を確立することができたが，本格的な実用化を視野に入れた際にはまだいくつかの検討課題が残されている．本研究をより実用的な技術へと発展させるための検討課題を以下に列挙する．
多視点観察に基づく複合現実環境の構築
構築した複合現実環境内では，全方位ステレオ画像撮像地点近傍での視点
移動は違和感なく行えるが，観察視点位置が撮影地点から大きく離れると３次元情報・テクスチャを持たない部分が目立ち違和感が生じる．このため，現状では，広範囲の視点移動を必要とする自由なウォークスルーには不向きである．また，全方位ステレオ画像センサの基線長の制約から遠方の奥行き精度には限界がある．撮像視点の異なる複数の全周パノラマステ
レオ画像から構築される複数の全周実環境モデルをユーザの視点に応じて滑らかに切り替える手法 [IYY05, TYY02] への拡張が必要であると考えられる．
投影すべき映像の自動決定
投射型提示方式の実験では，第 2，3 章で構築した複合現実環境内でのウォー
クスルー映像をあらかじめ生成しておき，これを投影提示した．これによって，凹凸を含む室内環境においても映像を投影提示可能であることを確認できたが，構築した複合現実環境内での自由な視点移動映像を日常生活環

105

境においてユーザに提供するには，視点移動に応じて投影すべき映像を自動的に生成し，これを投影提示する必要がある．この投影すべき映像の自動決定は，提案手法によって計測したユーザの実環境中での移動を，複合
現実環境内での仮想の視点移動に割り当て，仮想視点に応じた映像を計算
機内で生成することによって実現可能であると考えられ，今後この機能の実装を行なう必要がある．
カメラ・プロジェクタシステムの映像投影範囲の広範囲化
カメラとプロジェクタシステムを用いた投射型提示方式では，両装置を自由に設置した状態での複合現実型情報提示を可能としたが，映像の投影が可能な範囲がカメラとプロジェクタの共通視野範囲に限定される．広視野を保持する複合現実環境の提示を目的とする際には，新たに試作した映像
投影装置と同じく，映像投影可能範囲を広範囲にする必要がある．この広範囲化は，カメラとプロジェクタの両者を回転台の上に設置することによって実現可能であると考えられ，今後ハードウェアの改良を行なっていく必要がある．また，ユーザの実環境中での移動に追従して映像を投影するための回転台の制御方法についても検討を行なう必要がある．
冒頭でも述べたように，複合現実感はその普及が望まれている分野であり社会的関心も高いが，本格的応用までにはまだ少し時間があり，本研究とその関連分
野についても検討すべき課題は多い．筆者は今後も複合現実感の研究に従事し，本研究を進める上で培った技術を基に，その普及に邁進し社会に貢献していく予
定である．

106

謝辞
本論文は，筆者が博士前期課程において奈良先端科学技術大学院大学 情報科学研究科 ソフトウェア基礎講座（現，同 視覚情報メディア講座）在学中に行った全周型複合現実環境構築の研究と，日本電信電話株式会社 NTT サイバースペー
ス研究所 画像メディア通信プロジェクト 像情報処理グループにて行った投射型
提示方式の研究をまとめたものです．本研究は数多くの人の御協力を得て行うことができました．
はじめに，本論文の審査委員であり，筆者が博士前期課程在学当時から現在に至るまで御指導頂いた奈良先端科学技術大学院大学 情報科学研究科 視覚情報メディア講座の横矢 直和教授に深く感謝いたします．横矢教授の懇切なる御指導，格別の配慮が無ければ，本研究は完成できなかったといっても過言ではありません．博士前期課程在学中はもちろんのこと，就職後も御懇意にして頂いたこと，そして博士後期課程への入学を勧めて頂き筆者が本研究を博士論文としてまとめる機会を与えて頂いたことに対する深い感謝の気持ちは言葉では言い尽くすことができません．そして本論文に関する有益な御助言と御鞭撻を賜った本論文審査委員である，像情報処理学講座 千原 國宏教授，視覚情報メディア講座 山澤 一
誠助教授に厚く御礼申し上げます．本研究について具体的な忌憚のない御意見をお寄せ頂き，本研究をより良いものへ発展させることができました．
そして筆者が博士前期課程在学時に，本研究に関して有益な御助言を頂いた ソ
フトウェア基礎講座 竹村 治雄助教授 (現，大阪大学 サイバーメディアセンター)，および ソフトウェア基礎講座 岩佐 英彦助手（現，（株） ネットシステムズ）に深く感謝いたします．またお忙しい中筆者の公聴会に御参加頂き的確な御意見をお寄せ頂いた像情報処理学講座 眞鍋 佳嗣助教授に感謝いたします．また，本研究の遂行において多大なる御助言，御鞭撻を賜り，終始御指導を頂いた視覚情報メディア講座 神原 誠之助手，佐藤 智和助手，そして筆者の博士前期課程在学時の先輩である大隈 隆史博士（現，独立行政法人 産業技術総合研究所），清川 清博士（現，大阪大学 サイバーメディアセンター）に心から感謝いたします．
また，筆者が学部生時代に所属していた大阪大学 ヒューマンインタフェース工学講座の岸野 文郎教授，北村 喜文助教授の御指導に心から感謝いたします．

107

筆者は日本電信電話株式会社に在籍しながら，奈良先端科学技術大学院大学 博
士後期課程への入学という機会を頂き，本研究を完成させることができました．
業務の忙しい時期に，入学を御快諾して頂くとともに筆者に研究を行う機会を与えて頂いた，当時の研究所所長であります同 NTT サイバースペース研究所 長
谷 雅彦所長 (現，同 知的財産センタ)，および投射型提示方式の研究を行う機会を与えて頂いた同 画像メディア通信プロジェクトの藤生 宏ＰＭに厚くお礼申し上げます．また，研究を行う機会，入学の機会に加え，投射型提示方式の技術的な指針を数多く与えて頂いた当時の上司であります同 像情報処理グループ 荒川 賢一ＧＬ（現，同 NTT サイバーコミュニケーション研究所）に心より深く感謝いたします．そして現在，自由に研究できる場を提供して頂いています同像情報処理グループ 安野 貴之ＧＬおよび新井 啓之主任研究員に感謝いたします．
社会人として未熟な筆者を色々な形を通して入社時より御指導，御鞭撻頂いた
当時の上司であります有川 知彦ＧＬ（現，NTT レゾナント株式会社），および藤井 憲作研究主任に深く感謝いたします．また，研究ミーティングにおいて有益な御意見を頂いたのに加え，研究を進める上でも多大なる御協力を頂いた視覚情報メディア講座の皆様，および像情報処理グループの皆様に深く御礼申し上げます．また，社会人ドクターの先輩として入学の相談に乗って頂いた NTT コミュ
ニケーション科学基礎研究所 川西 隆仁氏（現，（株）ぷららネットワークス），および筆者とほぼ同時期での博士号の学位取得を目指し，筆の進みが遅い筆者を常日頃から叱咤激励して頂いた像情報処理グループ 数藤 恭子氏の両氏に心より深く感謝いたします．また，実験の手伝いに加え，日頃より温かく筆者の研究生活を支えて下さった視覚情報メディア講座の女史の方々，および画像メディア通信
プロジェクトのアシスタントの方々に厚く感謝いたします．
本研究を行うにあたり，ここに紹介できなかった諸先輩方，後輩の方々，友人，
恋人からも数多くの助言，議論，援助を頂きました．本研究は皆様の御力添え無くしては決して遂行することができませんでした．ここに厚くお礼を申し上げます．最後にいつまでも頼りない末っ子の長男である筆者を現在に至るまで温かく見守って頂きました両親と 2 人の姉に深く深く感謝いたします．

108

参考文献
[Act]

Actuality Systems, Inc., “Perspecta Spatial 3D,” http://www.
actuality-systems.com/.

[AKY05] T. Asai, M. Kanbara, and N. Yokoya, “3D modeling of outdoor environments by integrating omnidirectional range and color images,” inProc. of the Int’l Conf. on 3-D Digital Imaging and Modeling, pp.447–
454, Jun. 2005.
[Aut]

Autodesk, “3ds Max,” http://usa.autodesk.com/adsk/servlet/index?
id=5659302&siteID=123112.

[BEK05] O. Bimber, A. Emmerling, and T. Klemmer, “Embedded entertainment
with smart projectors,” IEEE Computer, pp.56–63, Jan. 2005.
[BR05]

O. Bimber, and R. Raskar, Spatial Augmented Reality Merging Realand Virtual Worlds, A K Peters LTD., Jul. 2005.

[BRF01] D. Bandyopadhyay, R. Raskar, and H. Fuchs, “Dynamic Shader Lamps:
Painting on movable objects,” in Proc. of the Int’l Symp. on Augmented
Reality, pp.207–216, Oct. 2001.
[Che95] S.E. Chen, “Quick Time VR – An image-based approach to virtualenvironment navigation,” in Proc. of the SIGGRAPH, pp.29–38, Aug.
1995.
[CNGF04] D. Cotting, M. Naef, M. Gross, and H. Fuchs, “Embedding imperceptible patterns into projected images for simultaneous acquisition anddisplay,” in Proc. of the Int’l Symp. on Mixed and Augmented Reality,
pp.100–109, Nov. 2004.
[CNSD93] C. Cruz-Neira, D.J. Sandin, and T.A. Defanti, “Surround-screen
projection-based virtual reality: The design and implementation of the
CAVE,” in Proc. of the SIGGRAPH, pp.135–142, Aug. 1993.
109

[CW93] S.E. Chen, and L. Williams, “View interpolation for image synthesis,”in Proc. of the SIGGRAPH, pp.279–288, Aug. 1993.
[DTM96] P.E. Debevec, C.J. Taylor, and J. Malik, “Modeling and renderingarchitecture from photographs: A hybrid geometry- and image-based
approach,” in Proc. of the SIGGRAPH, pp.11–20, Oct. 1996.
[EKHS00] T. Endo, Y. Kajiki, T. Honda, and M. Sato, “Cylindrical 3-d video
display observable from all directions,” in Proc. of the Paciﬁc Graphics,
pp.300–306, Oct. 2000.
[Elu]

Elumens Corporation, “VISION STATION,” http://www.elumens.
com/products/visionstation.html.

[Eos]

Eos Systems Inc., “PhotoModeler,” http://www.photomodeler.com/.

[Fau93]

O. Faugeras, Three-dimensional computer vision, a geometric viewpoint, The MIT press, 1993.

[FGN05] K. Fujii, M.D. Grossberg, and S.K. Nayar, “A projector-camera systemwith real-time photometric adaptation for dynamic environments,” inProc. of the Int’l Conf. on Computer Vision and Pattern Recognition,
vol.1, pp.814–821, Jun. 2005.
[Fog]

FogScreen Inc., “FogScreen,” http://www.fogscreen.com/.

[FvDFH93] J.D. Foley, A. van Dam, S.K. Feiner, and J.F. Hughes, Computer
Graphics: Principles and Practice - second edition, Addison-Wesley
Publishing Company, Boston, 1993.
[FZ03]

C. Frueh, and A. Zakhor, “Constructing 3D city models by merging
ground-based and airborne views,” in Proc. of the Computer Vision
and Pattern Recognition, vol.2, pp.562–569, Jun. 2003.

110

[GGSC96] S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, “The lumigraph,” in Proc. of the SIGGRAPH, pp.43–54, Aug. 1996.
[GNT98] J. Gluckman, S.K. Nayar, and K.J. Thoresz, “Real-time omnidirectional and panoramic stereo,” in Proc. of the Image Understanding
Workshop, vol.1, pp.299–303, Nov. 1998.
[GPNB04] M.D. Grossberg, H. Peri, S.K. Nayer, and P.N. Belhumeur, “Making
one object look like another: Controlling appearance using a projectorcamera system,” in Proc. of the Int’l Conf. on Computer Vision and
Pattern Recognition, vol.1, pp.452–459, Jun. 2004.
[Hec94] P. Heckbert, ed., Graphics Gems IV, Academic Press, Boston, 1994.
[HWE98] M. Hirose, S. Watanabe, and T. Endo, “Generation of wide-range virtual spaces using photographic images,” in Proc. of the Virtual Reality
Int’l Symp., pp.234–241, Mar. 1998.
[HYS93] M. Hirose, K. Yokoyama, and S. Sato, “Transmission of realistic sensation: Development of a virtual dome,” in Proc. of the Virtual Reality
Int’l Symp., pp.125–131, Oct. 1993.
[IO2]

IO2 Technology, “Heliodisplay,” http://www.io2technology.com/.

[ISO02] ISO/IEC JTC1/SC29/WG11 (MPEG), “Applications and requirements for 3DAV,” WG11 document N5326, Awaji, Japan, Dec. 2002.
[IYY05] T. Ishikawa, K. Yamazawa, and N. Yokoya, “Real-time generation ofnovel views of a dynamic scene using morphing and visual hull,” inProc. of the Int’l Conf. on Image Processing, vol.I, pp.1013–1016, Sep.
2005.
[Kin83]R. Kingslake, Optical system design, Academic, New York, 1983.

111

[KOK00] K. Kanatani, N. Ohta, and Y. Kanazawa, “Optimal homography computation with a reliability measure,” IEICE Trans. on Infomation and
Systems, vol.E83-D, no.7, pp.1369–1374, Jul. 2000.
[KRN97] T. Kanade, P. Rander, and P. Narayanan, “Virtualized Reality: Constructing virtual worlds from real scenes,” IEEE Multimedia, vol.4,
no.1, pp.34–47, Jan. 1997.
[KYI+98] T. Kawanishi, K. Yamazawa, H. Iwasa, H. Takemura, and N. Yokoya,“Generation of high-resolution stereo panoramic images by omnidirectional imaging sensor using hexagonal pyramidal mirrors,” in Proc. of
the Int’l Conf. on Pattern Recognition, vol.I, pp.485–489, Aug. 1998.
[LDMA+ 04] J.C. Lee, P.H. Dietz, D. Maynes-Aminzade, R. Raskar, and S.E.
Hudson, “Automatic projector calibration with embedded light sensors,” in Proc. of the Symp. on User Interface Software and Technology,
pp.123–126, Oct. 2004.
[Lei]

Leica,“HDS3000,”

http://hds.leica-geosystems.com/products/

HDS3000 specs.html.
[LH96]

M. Levoy, and P. Hanrahan, “Light ﬁeld rendering,” in Proc. of the
SIGGRAPH, pp.31–42, Aug. 1996.

[Lip80]A. Lippman, “Movie-Maps: An application of the optical videodisc tocomputer graphics,” in Proc. of the SIGGRAPH, vol.14, no.3, pp.32–42,
Jul. 1980.

[Mac05] T. Machida, Dense estimation of surface reﬂectance properties basedon inverse rendering, Ph.D thesis, Nara Institute of Science and Technology, Mar. 2005.
[MB95]

L. McMillan, and G. Bishop, “Pleoptic modeling: An image-based rendering system,” in Proc. of the SIGGRAPH, pp.39–46, Aug. 1995.
112

[Mic]

Microvision Inc., “Nomad,” http://www.mvis.com.

[Mi]

The MicroOptical Corporation, “SV-6 PC VIEWER,” http://www.
microopticalcorp.com/Products/vga.html#SV6.

[MIN]

MINOLTA, “VIVID 910,” http://kmpi.konicaminolta.us/eprise/main/
kmpi/content/ISD/ISD Product P%ages/Vivid 910.

[MIT]

MIT, “MIT City Scanning Project,” http://city.csail.mit.edu/city.html.

[MK94] P. Milgram, and F. Kishino, “A taxonomy of mixed reality visual display,” IEICE Trans. on Information and Systems., vol.E77-D, no.12,
pp.1321–1329, Dec. 1994.
[MKBP02] D. Mogilev, K. Kiyokawa, M. Billinghurst, and J. Pair, “AR Pad: Aninterface for face-to-face AR collaboration,” in Extended Abstracts ofthe Human Factors in Computing Systems, Apr. 2002.
[MLB04] M. Möhring, C. Lessig, and O. Bimber, “Video see-through AR on
consumer cell-phones,” in Proc. of the Int’l Symp. on Mixed and Augmented Reality, pp.252–253, 2004.
[New]

Newtek, “Lightwave 3D,” http://www.newtek.com/lightwave/.

[NH02]

N. Nakamura, and R. Hiraike, “Active projector: Image correction formoving image over uneven screens,” in Companion of the Symp. on
User Interface Software and Technology, pp.1–2, Oct. 2002.

[NKH98] T. Naemura, M. Kaneko, and H. Harashima, “Multi-user immersive
stereo,” in Proc. of the Int’l Conf. on Image Process, pp.903–907, Oct.
1998.
[NYY03] H. Nagahara, Y. Yagi, and M. Yachida, “Wide ﬁeld of view head
mounted display for tele-presence with an omnidirectional image sen-113

sor,” in Proc. of the Workshop on Omnidirectional Vision and Camera
Networks, pp.1–6, Jun. 2003.
[OK93]

M. Okutomi, and T. Kanade, “A multiple-baseline stereo,” IEEE
Trans. on Pattern Analysis and Macine Intelligence, vol.15, no.4,
pp.353–363, Apr. 1993.

[OT99]

Y. Ohta, and H. Tamura, eds., Mixed Reality – Merging real and virtualworlds, Ohmsha & Springer-Verlag, Tokyo, 1999.

[Pat79]K. Paton, “Line detection by local methods,” Computer Graphics andImage Processing, vol.9, no.4, pp.316–332, Apr. 1979.

[PBEP01] S. Peleg, M. Ben-Ezra, and Y. Pritch, “Omnistereo: Panoramic stereo
imaging,” IEEE Trans. on Pattern Analysis and Machine Intelligence,
vol.23, no.3, pp.279–290, 2001.
[PGV+ 04] M. Pollefeys, L.V. Gool, M. Vergauwen, F. Verbiest, K. Cornelis,
J. Tops, and R. Koch, “Visual modeling with a hand-held camera,”
Int’l J. of Computer Vision, vol.59, no.3, pp.207–232, Sep. 2004.
[Pin01]

C. Pinhanez, “The everywhere displays projector: A device to create
ubiquitous graphical interfaces,” in Proc. of the Ubiquitous Computing,pp.315–331, Sep. 2001.

[PPL+ 02] G. Pingali, C. Pinhanez, T. Levas, R. Kjeldsen, and M. Podlaseck,“User-following displays,” in Proc. of the Int’l Conf. on Multimedia
and Expo, vol.1, pp.845–848, Aug. 2002.
[PRI02] B. Piper, C. Ratti, and H. Ishii, “Illuminating Clay: A 3-D tangibleinterface for landscape analysis,” in Proc. of the Human Factors in
Computing Systems, pp.355–362, Apr. 2002.
[PVTF93] W. H. Press(著)，W. T. Vetterling(著)，S. A. Teukolsky(著)，B. P.
Flannery(著)，丹慶勝市 (翻訳)，佐藤俊郎 (翻訳)，奥村晴彦 (翻訳)，小114

林誠 (翻訳)，Numerical Recipes in C: C 言語による数値計算のレシピ[日本語版]，技術評論社，東京，1993.
[RBvB+04] R. Raskar, P. Beardsley, J. van Baar, Y. Wang, P. Dietz, J. Lee,D. Leigh, and T. Willwacher, “RFIG Lamps: Interacting with a selfdescribing world via photosensing wireless tags and projectors,” inProc. of the SIGGRAPH, vol.23, pp.406–415, Aug. 2004.
[Rea93] M.S. Rea, ed., IESNA Lighting Handbook, Illuminating Engineering
Society of North America, New York, 1993.
[Rek96] J. Rekimoto, “Transvision: A hand-held augmented reality system forcollaborative design,” in Proc. of the Virtual Systems and Multimedia,
Sep. 1996.
[RIE]

RIEGL, “LMS-Z360i,”

http://www.riegl.co.at/terrestrial scanners/

lms-z360i /360i all.htm.
[RL87]

P.J. Rousseeuw, and A.M. Leroy, Robust Regression and Outlier Detection, Wiley, Hoboken New Jersey, 1987.

[Roc]

Rockwell Collins Kaiser Electro Optics Inc., “Sim Eye,” http://www.
rockwellcollins.com/keo/.

[RvBB+03] R. Raskar, J. van Baar, P. Beardsley, T. Willwacher, S. Rao, andC. Forlines, “iLamps: Geometrically aware and self-conﬁguring projectors,” in Proc. of the SIGGRAPH, vol.22, pp.809–818, Jul. 2003.
[RWC+98] R. Raskar, G. Welch, M. Cutts, A. Lake, L. Stesin, and H. Fuchs,“The oﬃce of the future: A uniﬁed approach to image-based modelingand spatially immersive displays,” in Proc. of the SIGGRAPH, vol.32,
pp.179–188, 1998.

115

[RWLB01] R. Raskar, G. Welch, K.L. Low, and D. Bandyopadhyay, “Shader
Lamps: Animating real objects with image-based illumination,” inProc. of the Eurographics Workshop on Rendering, Jun. 2001.
[Sat05]

I. Sato, Illumination recovery and appearance sampling for photorealistic rendering, Ph.D thesis, The University of Tokyo, Mar. 2005.

[SBFR96] D. Southwell, A. Basu, M. Fiala, and J. Reyda, “Panoramic stereo,”in Proc. of the Int’l Conf. on Pattern Recognition, vol.I, pp.378–382,
Aug. 1996.
[SH99]

H.Y. Shum, and L.W. He, “Rendering with concentric mosaics,” inProc. of the SIGGRAPH, pp.299–306, Aug. 1999.

[SIC]

SICK, “SICK Laser Scanners,” http://www.sick.de/de/products/
categories/safety/espe/laserscanner/en.h%tml.

[SKW+ 92] M. Segal, C. Korobkin, R.V. Widenfelt, J. Foran, and P. Haeberli,“Fast shadows and lighting eﬀects using texture mapping,” in Proc. of
the SIGGRAPH, pp.249–252, Jul. 1992.
[SKYT02] T. Sato, M. Kanbara, N. Yokoya, and H. Takemura, “Dense 3-D reconstruction of an outdoor scene by hundreds-baseline stereo using ahand-held video camera,” Int’l J. of Computer Vision, vol.47, no.1-3,
pp.119–129, Apr. 2002.
[SM04]

A. Smolic, and D. McCutchen, “3DAV exploration of video-based rendering technology in MPEG,” IEEE Trans. on Circuits Systems andVideo Techniques, vol.14, 2004.

[SPK+ 03] N. Sukaviriya, M. Podlaseck, R. Kjeldsen, A. Levas, G. Pingali, and
C. Pinhanez, “Augmenting a retail environment using steerable interactive displays,” in Extended Abstracts of the the Human Factors in
Computing Systems, pp.978–979, Apr. 2003.
116

[Sut68]

I. Sutherland, “A head-mounted three-dimensional display,” in Proc. of
the American Federation of Information Processing Societies, vol.33,
pp.757–764, 1968.

[TIS+ 03] Y. Tokuda, S. Iwasaki, Y. Sato, Y. Nakanishi, and H. Koike, “Ubiquitous display for dynamically changing environments,” in Extended
Abstracts of the Human Factors in Computing Systems, pp.976–977,
Apr. 2003.
[Tsa87]

R.Y. Tsai, “A versatile camera calibration technique for high-accuracy
3D machine vision metrology using oﬀ-the-shelf TV cameras and lens,”
IEEE J. of Robotics and Automation, vol.RA-3, no.4, pp.323–344, Aug.
1987.

[TYY02] K. Tomite, K. Yamazawa, and N. Yokoya, “Arbitrary viewpoint rendering from multiple omnidirectional images,” in Proc. of the Int’l Conf. on
Pattern Recognition, vol.III, pp.987–990, Aug. 2002.
[Wa]

Univ. of Washington, “Virtual Retinal Display(VRD),” http://ftp.hitl.
washington.edu/projects/vrd/.

[XTS00] G. Xu, J. Terai, and H.Y. Shum, “A linear algorithm for camera selfcalibration, motion and structure recovery for multi-planar scenes fromtwo perspective images,” in Proc. of the Int’l Conf. on Computer Vision
and Pattern Recognition, vol.2, pp.474–479, Jun. 2000.
[Yag99] Y. Yagi, “Omnidirectional sensing and its applications,” IEICE
Trans. on Information and Systems., vol.E82-D, no.3, pp.568–579, Mar.
1999.
[ZS03]

H. Zhao, and R. Shibasaki, “Special issue on computer vision system: Reconstructing textured CAD model of urban environment using
vehicle-borne laser range scanners and line cameras,” in Proc. of theMachine Vision and Applications, vol.14, no.1, pp.35–41, Apr. 2003.
117[池田 03] 池田聖，佐藤智和，横矢直和，“全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用,”
日本バーチャルリアリティ学会論文誌，vol.8，no.4，pp.443–450，Dec.

2003.
[井口 90] 井口征士，佐藤宏介，三次元画像計測，昭晃堂，東京，1990.
[岩田 05] 岩田洋夫，稲見昌彦（編），日本バーチャルリアリティ学会論文誌 「投影型インタフェース」特集号，第 10 巻，日本バーチャルリアリティ学会，東京，Jun. 2005.

[植芝 03] 植芝俊夫，富田文明，“平面パターンを用いた複数カメラシステムのキャ
リブレーション,” 情報処理学会論文誌：コンピュータビジョンとイメー
ジメディア，vol.44，no.SIG17(CVIM8)，pp.89–99， Dec. 2003.

[大頭 94] 大頭仁，行田尚義，視覚と画像，森北出版，東京，1994.
[片山 96] 片山昭宏，田中宏一良，押野隆弘，田村秀行，“多視点画像の補間・再構
成による視点追従型立体画像表示法,” 電子情報通信学会論文誌（D-II），

vol.J79-D-II，no.5，pp.803–811， May 1996.
[金谷 90] 金谷健一，画像理解–3 次元認識の数理，森北出版，東京，1990.
[蚊野 96] 蚊野浩，金出武雄，“任意のカメラ配置におけるステレオ視とステレオ
カメラ校正,” 電子情報通信学会論文誌（D-II），vol.J79-D-II，no.11，

pp.1810–1818， Nov. 1996.
[川上 05] 川上裕司，伊藤吉弘，金澤靖，“特徴点の位置分布に基づくランダムサ
ンプリングによる平面領域のロバストな検出法,” 電子情報通信学会論文誌（D-II），vol.J88-D-II，no.2，pp.313–324， Feb. 2005.

[川北 00] 川北泰広，濱口佳孝，塚本明利，宮崎敏彦，“単眼動画像からのパノラ
マステレオ画像の生成,” 情報処理学会論文誌，vol.41，no.6，pp.1848–

1856，Jun. 2000.
118

[川崎 05] 川崎洋，古川亮，大澤裕，“空間コード化法を用いた未校正ステレオシ
ステムによる密な 3 次元形状復元,” 画像の認識・理解シンポジウム講演
論文集，vol.2005，pp.1268–1275， Jul. 2005.

[川西 97] 川西隆仁，山澤一誠，岩佐英彦，竹村治雄，横矢直和，“六角錐ミラーを用いた全方位ステレオ画像センサによる高解像度ステレオパノラマ
動画像の作成,” 電子情報通信学会技術研究報告，PRMU97-118，Oct.

1997.
[画像 97] 画像処理標準テキストブック編集委員会（編），イメージプロセッシン
グ＜画像処理標準テキストブック＞，財団法人画像情報教育振興協会，
東京，1997.

[３次元] 株式会社 ３次元メディア，“3-D MODE,” http://www.3dmedia.co.jp/.
[島村 01] 島村潤，山澤一誠，竹村治雄，横矢直和，“全周パノラマステレオ画像と CG モデルの合成による複合現実環境の構築,” 情報処理学会論文誌：
コンピュータビジョンとイメージメディア，vol.42，no.SIG6(CVIM2)，

pp.44–53， Jun. 2001.
[島村 05] 島村潤，荒川賢一，“プロジェクタを用いた動的実環境における観測位
置依存映像提示,” 日本バーチャルリアリティ学会論文誌，vol.10，no.2，

pp.145–153， Jun. 2005.
[志水 00] 志水英二，“立体表示網膜投影ディスプレイ,” 映像情報，vol.32，no.15，
pp.14–19， Aug. 2000.
[終作]

株式会社 終作，“六角大王,” http://www.shusaku.co.jp/www/.

[徐 98]

徐剛，辻三郎（編），三次元ビジョン，共立出版，東京，1998.

[高木 91] 高木幹雄（編），画像解析ハンドブック，東京大学出版会，東京，1991.
[高田 00] 高田英明，陶山史郎，大塚作一，上平員丈，酒井重信，“新方式メガネなし３次元ディスプレイ−前後２面の輝度比変化のみで連続的な奥行119

きを実現−,” ３次元画像コンファレンス講演論文集，pp.99–102， Jul.

2000.
[高野 97] 高野孝英，苗村健，金子正秀，原島博，“ＤＣＴを用いた光線情報の圧縮に基づく空間符号化,” 映情情報メディア学会年次大会，pp.65–66，Jul.

1997.
[竹村 98] 竹村治雄，野村淳二，“都市環境ヒューマンメディアの研究開発,” シス
テム制御情報学会論文誌，vol.42，no.5，pp.260–267， 1998.

[茶園 97] 茶園篤，山澤一誠，横矢直和，竹村治雄，“全方位ステレオ視による 3 次
元情報の獲得,” 映像情報メディア学会誌，vol.51，no.10，pp.1745–1753，

Oct. 1997.
[東條 02] 東條賢司，日浦慎作，井口征士，“プロジェクタを用いた３次元遠隔指示
インタフェースの構築,” 日本バーチャルリアリティ学会論文誌，vol.7，

no.2，pp.169–176， Jun. 2002.
[徳田 02] 徳田泰久，岩崎慎介，佐藤洋一，“室内空間への情報投影を目的とした
実環境モデルの自動獲得,” 情報科学技術フォーラム 情報技術レターズ，

vol.1，pp.129–130， Sep. 2002.
[苗村 99] 苗村健，“実写と CG の融合,” 映像情報メディア学会誌，vol.53，no.7，
pp.924–926， Jul. 1999.
[中川 99] 中川雅通，佐藤宏介，千原國宏，“背景画像と前景 3 次元物体間のマッ
プベースの衝突判定と反射運動生成,” 日本バーチャルリアリティ学会
論文誌，vol.4，no.2，pp.425–430， 1999.

[永井 05] 永井悠文，向川康博，大田友一，“パターン埋め込みによる動的シーンへの適応的投影,” 電子情報通信学会技術研究報告，PRMU2004-159，Jan.

2005.
[南雲 99] 南雲俊喜，“小型円筒面スクリーンによる現場作業訓練環境の研究,” 日本
バーチャルリアリティ学会論文誌，vol.4，no.3，pp.521–529，Sep. 1999.

120

[納富 98] 納富幹人，小澤史朗，全炳東，“移動体観測による都市モデル構築,” 電
子情報通信学会論文誌（D-II），vol.J81-D-II，no.5，pp.872–879，May

1998.
[橋本 99] 橋本渉，岩田洋夫，“凸面鏡を用いた球面没入型ディスプレイ:Ensphered
Vision,” 日本バーチャルリアリティ学会論文誌，vol.4，no.3，pp.479–
486，Sep. 1999.
[橋本 05] 橋本渉，吉田恭平，“壁面と凸面鏡を用いた可搬型ディスプレイ環境,”
日本バーチャルリアリティ学会論文誌，vol.10，no.2，pp.183–190，Jun.

2005.
[波部 05] 波部斉，山澤一誠，野村敏男，曽良洋介，松山隆司，“多面体表現を用いた全方位ビデオの圧縮,” 電子情報通信学会論文誌（A），vol.J88-A，

no.9，pp.1074–1084， Sep. 2005.
[林 05]

林隆伯，中泉文孝，矢野博明，岩田洋夫，“複数プロジェクタを用いた立体視可能な全周球面没入型ディスプレイの開発,” 日本バーチャルリ
アリティ学会論文誌，vol.10，no.2，pp.163–172， Jun. 2005.

[原島 94] 原島博（編），仮想現実学への序曲 – バーチャルリアリティ ドリーム，
共立出版，東京，1994.

[日高 00] 日高俊明（編），VR 革命，オーム社，東京，2000.
[廣瀬 93a] 廣瀬通孝（編），バーチャル・リアリティ，産業図書，東京，1993.
[廣瀬 93b] 廣瀬通孝，佐藤，“人工現実感技術を用いた臨場感の合成とその伝達,”
ヒューマンインタフェースシンポジウム論文集，pp.111–116， 1993.

[廣瀬 98] 廣瀬通孝，小木哲郎，石綿昌平，山田俊郎，“多画面全天周ディスプレイ (CABIN) の開発とその特性評価,” 電子情報通信学会論文誌（D-II），

vol.J81-D-II，pp.888–896， May 1998.

121

[藤井 94] 藤井俊彰，３次元統合画像符号化の基礎検討，Ph.D thesis，東京大学，Dec. 1994.
[松川 00] 松川昌洋，神原誠之，山澤一誠，竹村治雄，横矢直和，“GPS と三軸角度センサを用いた多視点ステレオによる屋外環境構造の再構成,” 電子
情報通信学会技術研究報告，PRMU99-266， Mar. 2000.

[向川 01] 向川康博，西山正志，尺長健，“スクリーン物体への光学パターン投影
による仮想光学環境の実現,” 電子情報通信学会論文誌（D-II），vol.J84-

D-II，no.7，pp.1448–1455， Jul. 2001.
[向川 05] 向川康博，永井悠文，大田友一，“SpaceRelighter: パターン投影による照明環境の再現,” 日本バーチャルリアリティ学会論文誌，vol.10，no.2，

pp.155–162， Jun. 2005.
[森田 05] 森田真司，山澤一誠，寺沢征彦，横矢直和，“全方位画像センサを用いたネットワーク対応型遠隔監視システム,” 電子情報通信学会論文誌（D-II），vol.J88-D-II，no.5，pp.864–875， May 2005.
[八木 01] 八木康史，横矢直和，“全方位ビジョン：センサ開発と応用の最新動向,”
情報処理学会論文誌：コンピュータビジョンとイメージメディア，vol.42，

no.SIG13(CVIM3)，pp.1–18，Dec. 2001.
[安形 04] 安形一宏，小川潤，“反射型投写光学系を用いた超短焦点フロントプロ
ジェクタ,” 光学シンポジウム講演予稿集，vol.29，pp.51–52，Jun. 2004.

[山口 01] 山口晃一郎，山澤一誠，竹村治雄，横矢直和，“全方位動画像を用いた両眼ステレオ画像の実時間生成によるテレプレゼンス,” 電子情報通信学会論文誌（D-II），vol.J84-D-II，no.9，pp.2048–2057， Sep. 2001.

[山澤 97] 山澤一誠，岩佐英彦，竹村治雄，横矢直和，“ピラミッド型ミラーを用いた高分解能全方位ステレオ画像センサ,” 電子情報通信学会総合大会
講演論文集，D-12-146， Mar. 1997.

122

[山澤 98] 山澤一誠，尾上良雄，横矢直和，竹村治雄，“全方位画像からの視線追従型実時間画像生成によるテレプレゼンス,” 電子情報通信学会論文誌（D-II），vol.J81-D-II，no.5，pp.880–887， May 1998.

[横光 99] 横光澄男，大隈隆史，竹村治雄，横矢直和，“多視点ステレオ画像を用いた屋外環境構造の再構成,” 電子情報通信学会技術研究報告，PRMU98-

250，Mar. 1999.
[横矢 99] 横矢直和，“全方位ビデオカメラを用いた広域屋外環境の仮想化,” 情報処理学会研究報告，CVIM119-15， Nov. 1999.

[横矢 00] 横矢直和，“３ D パノラマ画像合成技術,” 映像情報メディア学会誌，vol.54，no.3，pp.338–342， Mar. 2000.
[横矢 01] 横矢直和，山澤一誠，竹村治雄，“全方位ビデオカメラを用いた視覚情報メディア,” 情報処理学会論文誌：コンピュータビジョンとイメージメ
ディア，vol.42，no.SIG13(CVIM3)，pp.59–70，Dec. 2001.

123

研究業績
学術論文誌
1. 島村潤，山澤一誠，竹村治雄，横矢直和，“全周パノラマステレオ画像と CGモデルの合成による複合現実環境の構築,” 情報処理学会論文誌：コンピュー
タビジョンとイメージメディア，vol. 42，no. SIG6(CVIM2)，pp. 44–53，

Jun. 2001.（本論文 2 章，3 章に関連）
2. 藤井憲作，島村潤，荒川賢一，有川知彦，“HCI のための赤外線カメラを用いた 3 次元追跡手法,” ヒューマンインタフェース学会論文誌，vol. 5，no. 2，

pp. 291–301， May 2003.
3. 島村潤，藤井憲作，荒川賢一，有川知彦，“透視投影画像と平行投影画像を利用した 3 次元フロー推定,” 電子情報通信学会論文誌（D-II），vol. J87-D-II，no. 3，pp. 860–871， Mar. 2004.
4. 島村潤，荒川賢一，“プロジェクタを用いた動的実環境における観測位置依存
映像提示,” 日本バーチャルリアリティ学会論文誌，vol. 10，no. 2，pp. 145–

153，Jun. 2005.（本論文 4 章に関連）

国際会議
1. J. Shimamura, N. Yokoya, H. Takemura, and K. Yamazawa, “Constructionof an immersive mixed environment using an omnidirectional stereo image
sensor,” in Proc. of the Workshop on Omnidirectional Vision, pp. 62–69,
Jun. 2000.（本論文 2 章，3 章に関連）
2. J. Shimamura, H. Takemura, N. Yokoya, and K. Yamazawa, “Construction
and presentation of a virtual environment using panoramic stereo images ofa real scene and computer graphics models,” in Proc. of the Int’l Conf. on
Pattern Recognition, vol. IV, pp. 463–467, Sep. 2000.（本論文 2 章，3 章に
関連）

124

3. K. Fujii, J. Shimamura, and T. Arakawa, “Interactive browsing of 3-D urban
model on the web,” in Proc. of the Int’l Geoscience and Remote Sensing
Symp., pp. 3525–3527, Jun. 2002.
4. K. Fujii, J. Shimamura, K. Arakawa, and T. Arakawa, “Three-dimensional
ﬁnger tracking using direct and reﬂected infrared images,” in Proc. of theUser Interface Software Technology, pp.29–30, Oct. 2002.
5. K. Fujii, J. Shimamura, K. Arakawa, and T. Arakawa, “Tangible search forstacked objects,” in Extended Abstracts of the Human Factors in Computing Systems, pp. 848–849, Apr. 2003.
6. J. Shimamura and K. Arakawa, “Location-aware projection with robust 3D viewing point detection and fast image deformation,” in Proc. of the Int’l
Conf. on Multimedia, pp. 296–299, Oct. 2004.（本論文 4 章に関連）

研究会・シンポジウム
1. 島村潤，北村喜文，岸野文郎，竹村治雄，横矢直和，“実時間ウォークスルー
を目的とした全周実画像を遠景に用いた仮想環境の構成法,” 映像情報メディア学会技術報告，NIM98-77，Jul. 1998.（本論文 2 章に関連）

2. 島村潤，山澤一誠，竹村治雄，横矢直和，“全周実画像と CG モデルの合成による仮想環境の構成と提示,” 電子情報通信学会技術研究報告，PRMU99-59，

Jul. 1999.（本論文 2 章，3 章に関連）
3. 島村潤，山澤一誠，竹村治雄，横矢直和，“全周実画像と CG モデルの合成による仮想環境の構築,” 画像の認識・理解シンポジウム講演論文集，vol. II，pp. 367–372， Jul. 2000.（本論文 2 章，3 章に関連）
4. 島村潤，藤井憲作，有川知彦，“平行投影と中心投影の画像を利用した物体の形状取得法,” 画像センシングシンポジウム講演論文集，pp. 401–406， Jun.

2002.

125

5. 島村潤，荒川賢一，“実環境をスクリーンとする位置適応型情報投影提示,”
画像電子学会ビジュアルコンピューティングワークショップ講演論文集，Oct.

2004.（本論文 4 章に関連）
6. 島村潤，荒川賢一，“プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出,” 画像の認識・理解シンポジウ
ム講演論文集，vol. 2005，pp. 1290–1296，Jul. 2005. （本論文 4 章に関連）

全国大会
1. 島村潤，正城敏博，北村喜文，岸野文郎，“奥行き情報を用いた仮想自然環
境の全周遠景の単純化,” 電子情報通信学会総合大会講演論文集，A-16-34，

Mar. 1998.
2. 島村潤，藤井憲作，有川知彦，“中心投影と平行投影を利用した 3 次元フ
ロー取得の一検討,” 電子情報通信学会総合大会講演論文集，D-11-152，Mar.

2002.

解説記事・その他
1. 島村潤，“図書紹介 「ビジュアル情報処理−ＣＧ・画像処理入門−」，「コ
ンピュータグラフィックス」，「ディジタル画像処理」,” 画像電子学会論文誌，vol. 34，no. 3，p. 290，May 2005.

表彰
1. 2003 年 3 月，電子情報通信学会，平成 14 年度 学術奨励賞受賞.
2. 2005 年 3 月，電気通信普及財団，第 20 回 電気通信普及財団賞 (テレコムシ
ステム技術賞) 入賞.

126

付録

A. 回転ミラー角の算出
図 59 にグローバル座標系において座標が (X, Y, Z) である３次元点とこれを距
離画像の中心とする回転ミラー角度の関係を示す．ここで，図 59(a) は X 軸正方
向から見た Y − Z 平面の様子，図 59(b) は Y 軸正方向から見た X − Z 平面の様子である．
まず，３次元点を距離画像中で中心とする時とは Y − Z 平面ではレンジファイ
ンダの計測基点の虚像と (X, Y, Z) を結ぶ直線が回転ミラー中心を通る時なので，
図 59(a) で示すように (X, Y, Z) と回転ミラー中心を結ぶ角 α と，回転ミラー中心とレンジファインダの計測基点の虚像を結ぶ角 β が等しくなる．この時のピッチ
角 Rpitch は，図中 γ が Rpitch の対頂角，図中 θ が鏡像の関係により Rpitch − α と等しいことを利用すると，Rpitch + (Rpitch − α) =

π
2

(41)

より，

π
1
Rpitch = α + .
2
4

(42)

Y
)
Z +T

(43)

1
Y
π
tan −1 (
)+ .
2
Z +T
4

(44)

となる．ここで，

α = tan −1 (なので，Rpitch はRpitch =と求まる．

同様に X − Z 平面では，３次元点を距離画像中で中心とする時とは，図 59(b)で示すように (X, Y, Z) とレンジファインダの計測基点の虚像を結ぶ直線が回転ミラーと直交する時なので，この時のヨー角 Ryaw は，(X, Y, Z) と回転ミラー中心を結ぶ角を φ とすると，

Ryaw = φ +

127

π
.
2

(45)

T

|Z|-T
Y
( X, Y, Z )

Y

yaw
pitch

Z

α

ワールド座標原点
βX

R' pitchZγ
回転ミラー回転後の仮想の計測基点位置

θ

計測基点

(a)
|Z|-T

T
X

( X, Y, Z )ワールド座標原点yaw

Z

R' yaw

φ

Y

Z

pitch

X
回転ミラー回転後の仮想の計測基点位置(b)
図 59 ３次元点とこれを中心とする回転ミラー角度の関係

128となる．ここで，

X
)
Z +T

(46)

X
π
)+ .
Z +T
2

(47)

φ = tan −1 (なので，Ryaw はRyaw = tan −1 (
と求まる．

129

B. 射影変換行列
３次元空間に存在する平面を 1 対のステレオカメラで観察した時，対応点のカ
メラ座標値は射影変換によりお互いに変換できる [金谷 90]．すなわち図 60 のように３次元空間に存在する平面上の点 P が，投影中心位置が C1 のカメラにおいて

m1 ，投影中心位置が C2（C1 から回転 R 及び並進 t させた位置）のカメラにおいて m2 に観察される時，それぞれ同次座標で m1 = (x1 , y1, 1)T ，m2 = (x2, y2 , 1)Tと表現すると，m1 から m2 への変換は
⎛
⎞
⎞
⎛
⎞⎛
h1 h2 h3
x1
x2
⎜
⎟
⎟
⎜
⎟⎜
⎜ y2 ⎟ = k ⎜ h4 h5 h6 ⎟ ⎜ y1 ⎟ .
⎝
⎠
⎠
⎝
⎠⎝
1
h7 h8 h81(48)で記述できる．ただし k は任意の 0 でない数である．上式右辺の 3×3 の行列は射
影変換行列 H と呼ばれ，同じ平面上に載った両カメラ画像での対応点が４組以上あれば算出可能である．また，一方のカメラをプロジェクタに置き換えても同様の関係は成り立つ．ここで，各カメラの内部パラメータ A1 , A2 及び外部パラ
メータ R, t，平面の単位法線ベクトル n とカメラ C1 から平面までの距離 z が既知とすると，射影変換行列は


t · nT
H = A2 · R +
· A`1
1 .
z

(49)

のように記述することもできる [Fau93]．
このように射影変換行列は平面方程式，カメラの内部パラメータ及び外部パラ
メータを暗黙的に含んだ行列であり，対象とする３次元空間が平面であれば，カメラやその位置に何ら制限を与えることなく決定可能である．そのため，未校正
ステレオカメラで撮影した画像からの平面検出に良く利用される．しかし，射影変換行列の算出時に画像上の微小領域に集中する対応点を用いるとその精度が悪くなる [KOK00] ので，微小平面を含む画像からの平面検出にはその適用は不向
きである．

130

P

m1

C1

平面

H

( R, t )図 60 射影変換

131

m2

C2

C. 最大面積の平面領域へのプロジェクション
本節では，複数平面自動検出手法のプロジェクションへの応用例を示す．応用
例としては自由に設置したプロジェクタとカメラを用い，平面や曲面を含む幾何形状が未知の環境において情報をプロジェクションする際に，徳田ら [徳田 02] やLee ら [LDMA+ 04] と同様投影面として幾何学的に適している平面領域を自動抽出し，そこに歪み無く情報を投影することを目指した．
本応用例の実現のために，まず提案手法により空間中の複数平面を検出し，検出した複数平面領域からある平面領域に留まる面積最大の内接矩形を検出して投影用矩形とし，最後に投影用矩形が属する領域の射影変換行列を用い，カメラから歪みの無い投影像観察が可能なようプロジェクタへの入力画像を幾何補正してプロジェクションした．ここで投影用矩形の検出は，複数平面検出結果の画像を
減色効果のある収縮を施しながらピラミッド画像を作成し，次に背景色（本論文では黒）以外の色を有す下層画像から 1 つの色領域内に留まる面積最大矩形を，サイズ可変のマスク走査により求め，最後に決定されたマスクサイズと位置を元
画像上でのサイズと位置に変換して行った．
図 61(a) に平面と曲面を含む幾何形状が未知の環境になんら処理を施すことな
くプロジェクションした結果を，(b) に提案手法による複数平面検出結果と上述の方法による投影用矩形検出結果を，(c) に検出した投影用矩形の射影変換行列を用いプロジェクタへの入力画像を幾何補正した結果を，(d) に (c) をプロジェクショ
ンした様子をカメラで観察した結果を示す．図 61(a),(d) から，曲面への投影や斜投影により歪みが生じていた投影像が，上述の処理により投影に適した平面上で歪み無く観察できるようになっていることが分かる．これよりユーザは平面が数多く存在する人工的シーンにおいて，プロジェクタの設置位置や環境の形状を気にすることなく，情報を自由にプロジェクションすることが可能になる．その際，レンジファインダの利用 [徳田 02] やスクリーンにセンサを埋め込む [LDMA+ 04]などの特殊な装置の準備は必要は無いため，日常生活環境においても十分利用可
能であると考えられる．

132

(a)

(b)

(c)

(d)

図 61 提案手法の応用例，(a) 幾何補正無し投影結果，(b) 複数平面検出結果（白枠は投影用矩形検出結果），(c) 幾何補正像，(d) 幾何補正像投影結果

133