NAIST-IS-DD0561009

博士論文

拡張現実感のための画質に着目した幾何学的・光学的整合性の向上に関する研究

奥村 文洋

2008 年 3 月 24 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である。
奥村 文洋

審査委員：
横矢 直数 教授

（主指導教員）千原 國宏 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）神原 誠之 助教

（委員）

拡張現実感のための画質に着目した幾何学的・光学的整合性の向上に関する研究∗
奥村 文洋

内容梗概
拡張現実感技術とは実環境に仮想物体を重畳表示することでユーザに対して位
置依存情報を提供する技術であり，中でも，写実的な仮想物体を提示することが可能な拡張現実感は，デザインシミュレーションなど仮想物体の写実性が重要な分野での応用が期待されている．写実的な拡張現実感は，カメラで撮影した画像に仮想物体を重畳表示するビデオシースルー型システムによって主に実現されている．写実的な拡張現実感においては，実環境と仮想環境の間の位置あわせに関する幾何学的整合性問題の解決のみならず，実環境の照明条件に応じた影や陰影，
写り込みの再現や，実画像と仮想物体を描画した画像の画質の一致に関する光学的整合性問題の解決が重要な課題である．しかし，これまでの研究ではカメラで撮影する際の画像のぼけによって生じる画像の劣化によって，幾何学的・光学的整合性が損なわれる問題はあまり扱われていない．本研究では，画像の劣化によって損なわれる幾何学的・光学的整合性の向上を目的とする．具体的には，シーン中に配置された画像マーカから実時間で画像のぼけを推定し，カメラの位置・姿
勢推定の際に推定されたぼけを考慮することで幾何学的整合性の向上を図る．また，推定されたぼけを仮想物体に再現することで実環境と仮想環境の間の画質の一致を図る．さらに，物体表面の粗さに応じた写り込みを仮想物体に再現することで光学的整合性の向上を図る．まず，1 章では写実性の高い仮想物体を提示可能な拡張現実感に関する技術的な課題と従来研究を概観し，本研究の目的と意義∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-ISDD0561009, 2008 年 3 月 24 日.

iを明らかにする．2 章では本研究で想定するカメラで生じる画像のぼけモデルと画像のぼけの推定手法について述べる．3 章では，画像のぼけを考慮した幾何学的整合性を向上させるための手法について述べ，4 章では，画質の一致による光学的整合性の向上と物体表面の粗さに応じた写り込みの再現による仮想物体の写
実性を向上させるための手法について述べる．そして，5 章でこれらの技術を統合した拡張現実感システムを試作し，最後に 6 章で本研究を総括し，今後の展望
を述べる．

キーワード
拡張現実感, 幾何学的整合性，光学的整合性, 画質，写り込み, 実時間描画

ii

Geometric and Photometric Registration
Considering Image Quality for Augmented
Reality ∗Bunyo Okumra

Abstract
Augmented reality is a technology which eﬀectively provides users with locationbased information by overlaying virtual objects onto the real world. Recently
there are many applications called photo-realistic augmented reality, which requires overlying photo-realistic virtual objects onto the real world, such as adesign simulation. They are usually achieved by video see-through augmented
reality systems which can overlay virtual objects on a captured real scene image.
It is important for such applications to render virtual objects photo-realisticallyand to resolve geometric and photometric registration problems. The geometricregistration means that there is consistency about position and posture between
the real and the virtual objects. The photometric registration means that the
shadow and shading of virtual objects and their image quality are consistent
with those of the real. Studies on photo-realistic augmented reality have notbeen concentrated on image quality of a captured image. The image quality of
the captured image is degraded by blur eﬀects of camera, and the degradationof image quality aﬀects both the geometric and photometric registrations. The
aim of this study is to improve the geometric and photometric registrations byconsidering the degradation of image quality caused by a camera. The proposed∗

Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD0561009, March 24, 2008.

iii

method estimates blur eﬀects from a captured image in real-time. The geometricregistration is then improved by considering the estimated blur eﬀects. The photometric registration in image quality is also improved by representing blur eﬀects
on virtual objects, and photo-realistic virtual objects are overlaid by rendering
reﬂections on virtual objects whose roughness of the surface is non-uniform. In
this thesis, Chapter 1 gives a perspective of the study in the ﬁeld of photo-realistic
augmented reality. Chapter 2 describes a blur model assumed in the present study
and a method for estimating the blur eﬀects in real-time. Chapter 3 describes the
improvement of the geometric registration by considering the blur eﬀects. Chapter 4 describes the improvement of the photometric registration and a method
for rendering reﬂections on non-uniform roughness surfaces of virtual objects inreal-time. Chapter 5 describes a prototype of photo-realistic augmented reality
system using these techniques. Finally, conclusions are given in Chapter 6.

Keywords:
augmented reality, geometric registration, photometric registration, image quality, reﬂection, real-time rendering

iv

目次
1. 序論
1.1

1.2

1.3

1.4

1.5

1
写実的な仮想物体を提示可能な拡張現実感技術の概観 . . . . . . .

3

1.1.1

実時間性を伴わない写実的な仮想物体の合成に関する研究

4

1.1.2

写実的な拡張現実感に関する研究 . . . . . . . . . . . . . .

6

1.1.3

写実的な拡張現実感における技術的課題 . . . . . . . . . .

7

拡張現実感における実画像の画質を考慮した研究 . . . . . . . . .

11

1.2.1

幾何学的整合性における画像の劣化の考慮 . . . . . . . . .

12

1.2.2

光学的整合性における画像の劣化の考慮 . . . . . . . . . .

12

写実的な仮想物体の実時間描画に関する研究 . . . . . . . . . . . .

15

1.3.1

反射特性のモデル化による写り込みの再現 . . . . . . . . .

15

1.3.2

環境マッピングによる写り込みの再現. . . . . . . . . . .

19

1.3.3

物体の反射特性を考慮した環境マッピング . . . . . . . . .

22

本研究の位置づけと方針 . . . . . . . . . . . . . . . . . . . . . . .

24

1.4.1

画像のぼけ推定 . . . . . . . . . . . . . . . . . . . . . . . .

25

1.4.2

幾何学的整合性の実現 . . . . . . . . . . . . . . . . . . . .

25

1.4.3

光学的整合性の実現 . . . . . . . . . . . . . . . . . . . . .

26

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

2. 画像マーカを用いたぼけ推定

27

2.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.2

画像のぼけモデル . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.3

画像マーカ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.4

実画像からのマーカ検出 . . . . . . . . . . . . . . . . . . . . . . .

31

2.5

画像マーカのエッジの輝度変化からの実時間ぼけ推定 . . . . . . .

32

2.5.1

エッジ部分のぼけ幅の推定 . . . . . . . . . . . . . . . . . .

32

2.5.2

方向毎のぼけ幅の統合による PSF パラメータの推定 . . . .

33

2.6

実験と考察

2.6.1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

PSF パラメータ推定精度の評価 . . . . . . . . . . . . . . .

34

v

2.7

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3. 画像のぼけを考慮することによる幾何学的整合性の向上

37
38

3.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

3.2

マーカのエッジ位置を考慮したマーカ形状の復元 . . . . . . . . .

38

3.3

マーカからのカメラの位置・姿勢の推定 . . . . . . . . . . . . . .

39

3.4

実験と考察

40

3.5

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.1

マーカ頂点位置の推定結果の精度評価

3.4.2

ぼけが生じた画像からのカメラの位置・姿勢の推定精度の. . . . . . . . . . .

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

4. 画質の一致を図ることによる光学的整合性の向上
4.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.2

画像のぼけ推定と仮想物体に対するぼけ再現による画質に関する

4.3

4.4

40

50
50

整合性の向上 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

4.2.1

カメラの合焦位置とモーションブラーの推定 . . . . . . . .

50

4.2.2

仮想物体に対するぼけ再現による画質の一致 . . . . . . . .

52

表面粗さに応じた写り込みの再現による仮想物体の写実性の向上 .

53

4.3.1

物体の反射モデル . . . . . . . . . . . . . . . . . . . . . . .

53

4.3.2

多重スケール環境マップ . . . . . . . . . . . . . . . . . . .

55

4.3.3

物体表面の粗さに応じた写り込み画像のボクセルデータ化

56

4.3.4

表面の粗さの表現 . . . . . . . . . . . . . . . . . . . . . . .

59

4.3.5

重みテーブルの事前計算に基づく多重スケール環境マップの実時間生成 . . . . . . . . . . . . . . . . . . . . . . . . .

59

4.3.6

ピラミッド画像と測地ドームの利用 . . . . . . . . . . . . .

60

4.3.7

重みテーブルの利用 . . . . . . . . . . . . . . . . . . . . .

61

4.3.8

多重スケール環境マップを用いた写り込みの描画 . . . . .

61

実験と考察

4.4.1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

合焦位置の推定精度の評価 . . . . . . . . . . . . . . . . . .

63

vi

4.5

4.4.2

モーションブラーの推定精度の評価 . . . . . . . . . . . . .

65

4.4.3

奥行きに応じたぼけの再現結果 . . . . . . . . . . . . . . .

67

4.4.4

粗さが異なる表面に対する写り込みの再現結果. . . . . .

68

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

5. 写実性の高い拡張現実感システムの試作

75

5.1

システム構成と処理の概要 . . . . . . . . . . . . . . . . . . . . . .

75

5.2

実験と考察

77

5.3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2.1

試作システムによる光学的整合性の向上の確認

5.2.2

インテリアデザインシミュレーションを想定した画像合成. . . . . .

77

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

81

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

6. 結論

86

6.1

本論文のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

6.2

今後の展望

86

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

謝辞

88

参考文献

89

vii

図目次
1

Nakamae らの手法による光学的整合性を実現した画像合成結果（文献 [NHI86] より引用） . . . . . . . . . . . . . . . . . . . . . . . .

2

5Supan らの手法 [SSH06] による，仮想物体に陰影や影，写り込みを再現した画像合成結果 . . . . . . . . . . . . . . . . . . . . . . . .

83

画質の一致の有無による画像合成結果の比較． . . . . . . . . . . .

104

仮想物体の反射特性の違いによる見えの変化例（文献 [BAOR06] より引用） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

511

画質を変化させる表現効果の付加による画質の一致を図った拡張
現実感の例（文献 [FBS05] より引用） . . . . . . . . . . . . . . . .

146

滑らかな物体と粗い物体で生じる光の反射の違い . . . . . . . . .

167

表面の粗さによるハイライトの違い . . . . . . . . . . . . . . . . .

178

レイトレーシング法による仮想物体描画の概要 . . . . . . . . . . .

18

9

環境マッピングによる写り込みの描画. . . . . . . . . . . . . . .

20

10異なる展開方式による環境マップ . . . . . . . . . . . . . . . . . .

23

11

焦点ずれが生じている場合の光学系. . . . . . . . . . . . . . . . . .

28

12

本研究で仮定する PSF の形状 . . . . . . . . . . . . . . . . . . . .

30

13

マーカの構造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

14

ぼけエッジに対する関数当てはめ . . . . . . . . . . . . . . . . . .

33

15

シミュレーション実験で推定された PSF パラメータの真値に対する誤差． . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

16

マーカの外周エッジに対する関数当てはめと推定されたエッジ位置 39

17

シミュレーションで生成したマーカ画像の例と評価に用いた４つの頂点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

18

シミュレーションによるマーカ特徴点検出位置誤差の結果 . . . .

42

19

ロボットアームを用いた実験環境 . . . . . . . . . . . . . . . . . .

44

20

それぞれの露光時間におけるマーカ画像 . . . . . . . . . . . . . .

45

21

1 つのマーカを用いて推定されたカメラからマーカまでの奥行き .

45

22

複数のマーカを用いて推定されたカメラからマーカまでの奥行き .

48

viii

23

物体と視点と光源の関係 . . . . . . . . . . . . . . . . . . . . . . .

54

24

物体に隠される光源からの影響 . . . . . . . . . . . . . . . . . . .

55

25

ボクセル空間内に配置される写り込み情報 . . . . . . . . . . . . .

57

26

多重スケール環境マップの計算 . . . . . . . . . . . . . . . . . . .

58

27

複数の解像度の画像を用いたフィルタ計算 . . . . . . . . . . . . .

60

28

テクスチャマッピングによる写り込みの描画 . . . . . . . . . . . .

62

29

合焦位置の推定精度評価の実験環境 . . . . . . . . . . . . . . . . .

6330

手動で設定した合焦位置と推定された合焦位置の関係 . . . . . . .

64

31

モーションブラーの推定精度の評価の実験環境 . . . . . . . . . . .

65

32

評価に用いた画像とエッジ部分での輝度変化の比較 . . . . . . . .

69

33

エッジ上の位置と輝度値の差の 2 乗和の関係 . . . . . . . . . . . .

7034

実験に用いた全方位パノラマ画像 . . . . . . . . . . . . . . . . . .

7135

不均一な粗さを持つティーポットに対する描画結果の比較 . . . .

7236

試作した拡張現実感システムの外観 . . . . . . . . . . . . . . . . .

75

37

提案手法の処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

7638

画質の一致の有無による画像合成結果の比較 . . . . . . . . . . . .

7939

物体表面の粗さに応じた写り込みの再現の有無による画像合成結果の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4080

環境に配置されたカメラとマーカの外観と実験に用いた視点の位
置関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

82

41

実環境に対してプロジェクタ 1 を重畳表示した例 . . . . . . . . .

83

42

実環境に対してプロジェクタ 2 を重畳表示した例 . . . . . . . . .

84

表目次
1

マーカ特徴点検出位置誤差の平均と標準偏差 (単位：画素) . . . .

2

1 つのマーカを用いて推定された奥行きの誤差の平均と標準偏差（単位：mm） . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ix

43
46

3

1 つのマーカを用いて推定されたカメラの位置・姿勢による画像上
での仮想物体の大きさと真値に対する誤差（単位：画素） . . . .

4

複数のマーカを用いて推定された奥行きの誤差の平均と標準偏差（単位：mm） . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

46
47

複数のマーカを用いて推定されたカメラの位置・姿勢による画像
上での仮想物体の大きさと真値に対する誤差（単位：画素） . . .

49

6

重みテーブルの例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

7

合焦位置の真値と推定結果 . . . . . . . . . . . . . . . . . . . . . .

66

8

モーションブラーの真値と推定結果 . . . . . . . . . . . . . . . . .

66

9モーションブラーの方向の真値と推定結果 . . . . . . . . . . . . .

66

10Phong モデルによる描画結果との比較 . . . . . . . . . . . . . . .

73

11

Phong モデルとの計算時間の比較 ([時間:分:秒]) . . . . . . . . . .

73

x

1. 序論実環境に仮想環境を実時間で重畳表示することで，ユーザに対して位置依存情報を提供する技術である拡張現実感技術は，幅広い分野での応用が期待されている [Azu97, 田村 98, 池内 99, ABB+ 01]．近年では，計算機の性能向上により写実
的な仮想物体を重畳表示することで，仮想物体の外観が重要な応用例 [FdAMS02,

SHM+ 02, 安室 03] が提案され，写実的な仮想物体を重畳表示可能な拡張現実感（以下，写実的な拡張現実感と表す）が実現されている．
拡張現実感は，実環境と仮想環境を融合させる複合現実感の一部とされている[MK94]．古くは，写真に対してコンピュータグラフィックスによって描画された
仮想物体を違和感なく合成することを目的とした研究 [NHI86] がなされている．
このような研究は複合現実感の中で実時間性が要求されない用途に分類されると考えられる．しかしながら，実環境に対する仮想環境の融合を実時間かつ違和感を少なく実現するためには様々な技術的課題を解決する必要がある．
ユーザに与える違和感の少ない拡張現実感を実現するためには，実環境と仮想環境の間のいくつかの整合性問題の解決が重要な課題とされている [THYa01]．
幾何学的整合性問題
実環境と仮想環境の位置あわせに関する整合性問題であり，実環境中におけるユーザ視点の位置・姿勢を計測することで解決される問題．
時間的整合性問題
ユーザ視点の位置・姿勢の変化などによって生じる，実環境に対する仮想環境の追従遅れに関する問題．
光学的整合性問題
実環境と仮想環境の間の画質のずれや，実環境と仮想環境の間の照明条件の不一致によって生じる陰影（アタッチドシャドウ）や影（キャストシャドウ），写り込みなどに関する不整合の問題．
拡張現実感を実現するにあたって，幾何学的整合性の解決は必要不可欠であり，従来，様々な手法によって解決が試みられている．たとえば，センサを用1いた手法 [WJH97, 佐藤 02, 小田 03] や，カメラで撮影された画像を用いた手法[LVTF03, 中里 05]，両者を組み合わせたハイブリッド手法 [NF02, KD04, RD06]などが存在する．時間的整合性問題は機器によって処理をする以上，避けられない問題であるため完全な解決は困難であるが，位置・姿勢の推定と画像の提示を同期させることで時間的整合性を実現した手法 [BN95, SVT+ 00]，カルマンフィ
ルタなどの予測フィルタによる時遅れの軽減手法 [WB01] や，時遅れを計測する
手法 [SSK+ 07] などが提案されている．さらに，写実的な拡張現実感においては光学的整合性問題の解決が重要な課題である．光学的整合性は大きく 2 つの問題に分けることが可能である．一つは，実環境と仮想環境を合成してユーザに提示する際に，両者の画質が一致していることを意味する整合性問題である．なお，
画質とは映像の解像度感やノイズの多寡，色合いといった映像の品質を意味する．
他方は，仮想物体に再現される陰影や影，写り込みなどの照明効果が，実環境の照明条件と矛盾無く再現することに関する整合性問題である．
ここで，写実的な拡張現実感を実現するためには，光学的整合性が実現された
写実的な仮想物体を違和感なく実環境に合成する必要がある．拡張現実感における実環境と仮想環境の融合のための代表的な方式として以下の 2 つが存在する
光学シースルー型拡張現実感
ユーザの視界にハーフミラーや反射方向を変更可能な反射鏡を置くことで，実環境からユーザの視覚に到達する光と，仮想環境を描画した画像をディスプレイなどに表示した光をユーザの網膜上で光学的に合成する手法 [KKO00]．
ビデオシースルー型拡張現実感
環境をカメラで撮影し，カメラで実環境を撮影した画像（以下，実画像と表す）に仮想物体を重畳することで実環境と仮想環境を合成し，ディスプ
レイや HMD によってユーザに合成画像を提示する手法 [BFO92]．
光学シースルー型拡張現実感システムはユーザが実環境を直接見ることができるため，実環境の見え方に影響を与えないという点で有利である．しかし，合成する仮想物体のコントラストがあまり高くないことや，仮想物体による実環境の隠蔽などの表現が困難であるため，写実的な拡張現実感に用いられることは少な2

い．また，実環境はユーザに時間遅れなく提示されるのに対して，仮想環境は計測されたユーザの位置・姿勢に基づいて生成されるため，計測機器や計算機などの処理時間だけ遅れが発生する．このため，光学シースルー型システムでは，実環境と仮想環境の時間ずれを吸収するため時間的整合性問題の解決は不可欠である．一方，ビデオシースルー型拡張現実感システムでは，実環境と仮想環境の合成を画像の合成問題として扱うことができるため，写実的な拡張現実感で用いられることが多い．ビデオシースルー型システムでは実環境と仮想環境の両方が計算機で処理されるため，両者に時間遅れが生じるが，両者の間の時間ずれは比較的容易に軽減できるという特徴がある．しかし，ユーザはカメラとディスプレイ
を通して実環境を見ることになるため，実環境の見え方が本来と異なってしまう．
一般的に，カメラで撮影された画像には焦点ずれやモーションブラーなどの画像のぼけや，ノイズなどが生じている．これらはカメラで生じる画像の劣化と呼ばれ，画像の劣化によって実画像の画質は大きく変化してしまう．違和感の少ない
ビデオシースルー型拡張現実感システムを構築するためには，画像の劣化をできるだけ小さくすることが望まれるが完全に除去することは困難であり，画像合成の際に画像の劣化による実画像の画質の変化を考慮することは必須である．
本章では，本研究で対象とする写実的な拡張現実感を実現する上で重要な幾何学的・光学的整合性に関して従来研究を概観し，従来研究において未解決な課題について述べる．そして，従来研究における技術的課題に関連する研究について触れた後，本研究の位置づけと研究方針を明確にする．

1.1 写実的な仮想物体を提示可能な拡張現実感技術の概観
近年では，幾何学的整合性のみならず光学的整合性を同時に解決することで写実的な拡張現実感を実現し，デザインシミュレーションやインテリアデザインといった重畳表示する仮想環境の写実性が重要な役割を果たす応用例が提案されている [FdAMS02, SHM+ 02, 安室 03]．このような応用例では，実環境と仮想物体の間の照明条件に関する光学的整合性のみならず，重畳表示する仮想物体の写実性も重要となる．まず，実時間性を考慮せずに実環境に写実的な仮想物体を合成する研究について概観した後，実時間で両者の合成を行う写実的な拡張現実感に3

関する従来研究を概観する．そして，写実的な拡張現実感における技術的な課題を明らかにする．

1.1.1 実時間性を伴わない写実的な仮想物体の合成に関する研究
実環境に仮想物体を合成する手法は複合現実感と呼ばれる．古くは実画像に対して仮想物体を描画した画像を違和感なく合成することを目的とした研究 [NHI86]
が Nakamae らによってなされている．この手法では実画像に仮想物体を描画した画像を合成する際に，両者の境界部分に対してぼかし処理を行うことで両者のつなぎ目が与える違和感を軽減している．さらに，実環境の照明条件に応じた影や陰影を仮想物体に再現することで影や陰影の不整合によって与える違和感を軽減している．
図 1 に Nakamae らの手法による画像合成結果を示す．図 1(a) は背景となる実画像であり，図 1(b) は光学的整合性の実現を伴わない仮想物体の画像合成結果である．図 1(b) では，実画像と仮想物体の境界部分においてつなぎ目が生じている．これは，実画像と仮想物体の間で画質が異なるため，境界部分で違和感を与えてしまうことが原因といえる．さらに，仮想物体は陰影が再現されているだけであり，仮想物体が実環境に落とす影が再現されていないため，仮想物体の影に関して実環境の照明条件と矛盾が生じているため違和感を与えてしまう．一方，
図 1(c) では実画像と仮想物体を描画した画像の境界部分の半透明合成処理によって両者の間が滑らかに接続されているため境界部分で画質の変化が緩やかになっており，両者の画質の差が与える違和感を軽減できている．さらに，仮想物体が実環境に落とす影が再現されているため合成された仮想物体が違和感を与えにくくなっている．これは拡張現実感での光学的整合性問題のうち，実環境と仮想物
体の画質に関する整合性問題と，実環境と仮想物体の照明条件の不一致によって生じる陰影や影に関する整合性問題を扱っているといえる．しかし，この手法では画質に関する整合性問題のうち境界部分の画質の変化にのみ着目しているため，
実画像と仮想物体の画質の差は依然として残されている．さらに，この手法は人手による作業によって光学的整合性を実現しているため，実時間性が要求される
拡張現実感にそのまま応用することはできない．

4

(a) 背景となる実画像(b) 光学的整合性の実現を伴わない実画像と仮想物体の画像合成結果再現された仮想物体の影(c) 実画像と仮想物体の画質の一致と仮想物体の影を再現した画像合成結果

図 1 Nakamae らの手法による光学的整合性を実現した画像合成結果（文献 [NHI86]
より引用）

5

人手を介さずに光学的整合性を実現した複合現実感としては，実環境の照明条件を推定し，照明条件に応じた仮想物体の陰影や影，写り込みを再現した仮想物
体を実環境に重畳表示する研究が行われている [Deb98, UWH+ 03]．

Debevec らは，陰影や影，写り込みを再現した写実的な仮想物体を実画像に合成する手法 [Deb98] を提案している．環境中に配置された鏡面球を異なる露光時間で撮影した複数の画像とあらかじめ既知な環境の形状を用いて環境の照明条件を推定している．そして，推定されたの照明条件に基づいて実環境の照明条件や実環境と仮想物体の間の相互反射を考慮して描画された仮想物体を実画像に合成している．また，Unger らは環境の形状が未知な状態で実環境の照明条件を推定するために，異なる位置に配置された複数の魚眼カメラで撮影された画像と環境中に多数配置された鏡面球を撮影した画像から環境の光線情報を計測している．
光線情報を密に計測することで環境の形状が未知であっても，実環境の照明条件に基づいた仮想物体の陰影や影，写り込みを再現した写実的な仮想物体を実画像に合成することが可能になっている [UWH+ 03]．
しかし，これらの手法では事前の照明条件の推定に基づいているため，環境の照明条件の動的な変更は考慮されていない．さらに，仮想物体に対して相互反射などを含む複雑な照明効果の再現を目指しているため，実時間処理は実現されておらず，これらの手法をそのまま拡張現実感に適用することは困難である．つまり，これらの手法では拡張現実感における光学的整合性は実現されているが，時間的整合性が実現されていないといえる．

1.1.2 写実的な拡張現実感に関する研究
近年では，拡張現実感において写実的な仮想物体を重畳表示し，実環境と仮想環境の間の光学的整合性を実現した写実的拡張現実感が提案されており，主にビデオシースルー型の拡張現実感システムを用いて実現されている [ALCS03,

GCHH03, 安室 03, KY04, SSH06]．たとえば，Agsanto らの手法 [ALCS03] では
写り込みを再現した仮想物体を実時間で描画し，実画像と合成することが可能である．具体的には，Debevec らの手法 [Deb98] と同様に環境中に配置された鏡面球を異なる露光時間で撮影した複数の画像を取得し，環境マッピング [BN76] と6

呼ばれる実時間で写り込みを再現する仮想物体の描画法によって環境の照明条件
を仮想物体に反映した拡張現実感を実現している．さらに，環境を撮影した画像
に対して物体の反射特性に応じた画像処理をあらかじめ行うことで物体の反射特性に応じた写り込みを再現している．しかし，この手法は環境の照明条件は事前に取得することを想定しているため，動的な環境の照明条件に応じた写り込みは実現されていない．

Kanbara らの手法 [KY04] や安室らの手法 [安室 03] は，環境中に配置された鏡面球を撮影した画像から，実環境の照明条件の推定を実時間で行うことで，動的に変更される実環境の照明条件に応じた仮想物体の陰影や影を再現している．また，Supan らの手法 [SSH06] は鏡面球を撮影した画像や魚眼カメラから環境の照明条件を取得し，仮想物体の陰影や影のみならず写り込みを再現している．図 2に Supan らの手法によって実現された仮想物体に陰影や影，写り込みを再現した
画像合成結果を示す．図中の缶やティーポットは実環境に重畳表示された仮想物体であり，それぞれ陰影や影，写り込みが再現されている．

1.1.3 写実的な拡張現実感における技術的課題
写実的な拡張現実感において，実環境と仮想環境の間の光学的整合性の実現は不可欠である．写実的拡張現実感の実現方式として一般的に用いられるビデオ
シースルー型拡張現実感システムを想定すると，光学的整合性の実現には，実環
境と仮想環境の間の画質の差に関する整合性問題と，仮想物体の写実性に関する整合性問題を解決する必要がある．
画質の差に関する整合性問題

この問題は実環境と仮想環境を合成してユーザに提示する際に，解像度感やノイズの多寡，色合いといった映像の品質が両者の間で一致していることを意味するが，特にビデオシースルー型拡張現実感システム
では，実環境を撮影した画像と仮想物体を描画した画像の画質を一致させることが必要となる．従来，Nakamae らの手法 [NHI86] に示されるように，実環境と仮想物体の境界部分での画質の一致が図られているが，境界部分以外での画質の一致は達成されていない．また，写実的な拡張現実感に関する従来研究では実環境

7

図 2 Supan らの手法 [SSH06] による，仮想物体に陰影や影，写り込みを再現した画像合成結果と仮想環境の照明条件の一致を主に扱っており，画質の差に関する整合性問題はほとんど扱われておらず，依然として未解決な問題といえる．中でも，画像の解像度感の一致はユーザに与える違和感を軽減するのに最も重要な課題である．画像の解像度感はカメラの合焦位置や被写界深度に依存して生じる画像のぼけの大きさによって影響を受ける．このため，仮想物体に対して実画像で生じているぼけを再現することで解像度感の一致を図ることが可能であると考える．
図 3 に，仮想物体に対して画像のぼけを再現することで実現した，画質の一致の有無による画像合成結果の比較を示す．図 3(a) は画質の一致を考慮しておらず，
図 3(b) は画質の一致を考慮した画像合成結果である．両図において，左側の球体
は実環境中に配置された金属球であり，右側の球体は実画像に重畳表示された仮想物体である．まず，背景である実画像には焦点ずれによってシーンの手前の部
分で画像のぼけが生じており，画像のぼけによって撮影された画像の画質が変化しているため，金属球などの近景が鮮明に撮影されていない．対して，図 3(a) の8

重畳表示された仮想物体は輪郭や写り込みなどが不自然な鮮明さで描画されている．特に実環境中の金属球やマーカを撮影した部分は画像のぼけが生じているにもかかわらず，同じような奥行きに存在する仮想物体は画像のぼけが再現されていないため違和感を与えてしまう．これは，仮想物体を描画する際に焦点ずれによるぼけなどを考慮していないため，実画像とは異なる画質で描画されていることが原因である．一方，図 3(b) は画質の一致を考慮しているため，仮想物体の輪
郭や写り込みなどの画質が実画像の画質に近づいており，画質の不一致が与える
違和感が軽減されている．
仮想物体の写実性に関する整合性問題

この問題は 1.1.2 節で述べた，実環境の照明条件に応じた仮想物体の陰影や影，写り込みを実時間で仮想物体に再現することを意味する．そして，文献 [SSH06] に示されるような手法によって，実環境の照明条件に応じた，陰影や影，写り込みの再現が実現されている．しかし従来手法では，仮想物体に再現される写り込みに制約があり，具体的には，表面がな
めらかな物体からなる仮想物体に対する写り込みしか再現できない．一般に，仮想物体に再現される写り込みは物体の反射特性に応じて大きく見えが変化するため，反射特性に応じた写り込みの再現が必要である．図 4 に仮想物体の反射特性の違いによる見えの変化例を示す．図 4(a) は仮想物体の表面が粗い反射特性を設定したため，比較的鈍い光沢を伴って描画されている．一方，図 4(b) では物体表面が滑らかな反射特性を設定したため，鮮明な光沢を伴って描画されている．図
中の布やティーポットにおいて反射特性の変化による見えの変化が顕著である．
以上から，写実的な拡張現実感を実現する上では以下の 2 点が技術的な課題と考えられる．
課題 I

実環境を撮影した画像と仮想物体を描画した画像の，画質に関する整合性の実現．

課題 II 動的な光源環境と物体の反射特性に応じた，仮想物体に対する写り込みの実時間での再現．
課題 I は実画像と仮想物体を描画した画像を合成する際に両者の画質が異なることによって生じる，実環画像と仮想物体の境界部分での不自然なつなぎ目や，両9(a) 画質の一致を考慮しない拡張現実感による画像合成結果(b) 画質の一致を考慮した拡張現実感による画像合成結果

図 3 画質の一致の有無による画像合成結果の比較．

10

(a) 鈍い光沢を伴った仮想物体(b) 鮮明な光沢を伴った仮想物体

図 4 仮想物体の反射特性の違いによる見えの変化例（文献 [BAOR06] より引用）
者の画質に関する違和感を軽減する必要があることを意味している．課題 II は実環境に合成する仮想物体の写実性を向上させることを意味し，具体的には従来手法において実現されていない，物体の反射特性に応じた写り込みを再現する必要があることを意味している．
以降，1.2 節では課題 I と関連する拡張現実感におけるカメラで生じる画像の劣化を扱った研究について概観する．そして，1.3 節では，課題 II と関連する写実的な仮想物体の実時間描画に関する研究について概観する．

1.2 拡張現実感における実画像の画質を考慮した研究
ビデオシースルー型拡張現実感システムにおいて，カメラで撮影された画像には焦点ずれ，モーションブラー，ノイズなどの画像の劣化が生じているため，画像の劣化が拡張現実感における様々な整合性問題に与える影響を考慮する必要がある．以下では，幾何学的・光学的整合性の両方から画像の劣化の影響について
議論する．

11

1.2.1 幾何学的整合性における画像の劣化の考慮
画像を用いたカメラの位置・姿勢に基づく幾何学的整合性の解決において，画像の劣化はカメラの位置・姿勢の推定に用いられる特徴点の検出精度に影響を与えることが知られている [ZFN02]．
従来，入力画像のぼけによってカメラの位置・姿勢の推定精度が低下する問題に対して，カメラ以外のセンサを併用することで解決が図られている [KD04, RD06]．
例えば，Klein らはカメラと姿勢センサを組み合わせたカメラ位置・姿勢の推定
手法 [KD04] を提案している．この手法では環境のワイヤーフレームモデルと画像中のエッジの対応付けによりカメラの位置・姿勢を推定しており，エッジの探索範囲をセンサから推定されたモーションブラーの大きさに基づいて設定することで，エッジの誤対応を防ぎ，カメラの位置・姿勢の推定精度とロバスト性を向上している．また，Reitmayr らの手法 [RD06] では，環境モデルと画像の対応付
けによる位置・姿勢の推定，過去の数フレームの特徴点の対応付けによる相対位
置・姿勢の推定，姿勢センサによる姿勢の計測の 3 つを各処理の成功状況に応じて使い分けることでカメラの位置・姿勢の推定精度とロバスト性を向上している．
また，焦点ずれによるぼけやモーションブラーなどに対して，どのような手法が有効か調査した文献も存在し，Zhang ら [ZFN02] は，拡張現実感で用いられる様々なマーカを用いたカメラの位置・姿勢の推定手法に対して，マーカの見えの変化に伴う特徴点の検出精度やマーカ検出のロバスト性について評価している．
他にも Sato ら [STUY06] によってマーカを用いたカメラの位置・姿勢の推定手法
がロボットアームを用いて評価されている．

1.2.2 光学的整合性における画像の劣化の考慮
ビデオシースルー型拡張現実感システムでは，実画像と仮想物体の間に画質の不一致が生じ，ユーザに違和感を与えてしまう．これは，実画像はカメラで生じる画像の劣化によって画質が変化しているのに対して，仮想物体は実際とは異なるカメラモデルを用いて描画されるため実画像とは異なる画質で描画されていることが原因である．このため，画質の整合性問題の解決はビデオシースルー型拡張現実感システムにおいて重要な課題である．

12

従来，光学的整合性の 1 つである画質の整合問題を解決するために，実画像と仮想物体の両方に対して，セル画調やスケッチ調と呼ばれる表現効果を付加することで両者の画質の一致を図る手法が提案されている [FBS05, HLB05]．図 5 にFischer らによる画質の一致を図った拡張現実感の例を示す．図 5(a) は画質の一致を伴わない拡張現実感の例であり，カメラで撮影した画像に対して仮想物体を重畳表示している．実画像にぼけやノイズなどが生じているのに対して，仮想物
体にはそれらが生じていないが輪郭線などの部分でエイリアシングが生じており，両者の画質が異なっているため違和感を与える合成結果である．一方，図 5(b) は実画像と仮想物体の両方に画質を変更する表現効果を付加している．実画像に対してぼかしフィルタやエッジ抽出フィルタなどを組み合わせた画像処理が適用され，仮想物体はセル画調に描画されている．これらの画質の変更によって，両者の画質が一致させられている．
しかし，これらの手法では実画像の画質を変更しているため，実環境の写実性が損なわれるという問題がある．そこで，実画像で生じる画像劣化を推定し，実画像，仮想物体を描画した画像，あるいはその両者の画質を変更することで，画質の一致を図る手法が考えられる．このために必要な技術である画像のぼけの解析に関する研究は主に画像処理・コンピュータビジョンの分野で行われ，画像のぼけの再現に関する研究は主にコンピュータグラフィックスの分野で行われている．以下，それぞれの技術について概観する．
画像のぼけ推定に関する研究

画像処理・コンピュータビジョンの分野において，

焦点はずれやモーションブラーによるぼけによって劣化が生じた画像を復元するための研究が多くなされている．これらの研究では画像のぼけによる劣化過程を点広がり関数 (Point Spread Function：以下，PSF) によってモデル化し，PSF を推定することで画像の復元を試みている [FS98, 橋本 94, KH96]．一般的に，画像復元は前提条件の違いによって 2 つに分けることができる．一つは撮影対象に関する既知の情報を利用した手法であり，他方は撮影対象に関する知識を用いな
いものである．前者の代表的な研究の１つに，スキャナの PSF を推定する手法[Smi01] がある．これは形状既知のパターンを撮影することで，撮影画像とパターンに対する事前の情報からスキャナの特性を示す PSF を推定する手法である．後13

(a) 画質の一致を伴わない拡張現実感(b) セル画調の表現効果の付加による画質の一致を伴った拡張現実感

図 5 画質を変化させる表現効果の付加による画質の一致を図った拡張現実感の例（文献 [FBS05] より引用）
者は，ブラインドデコンボリューションと呼ばれ，ぼけが生じた劣化画像から画像のぼけを除去したぼけのない画像を推定するための手法である．画像の劣化過程をモデル化し，ある制約条件の下で最適な画像を復元する手法などが存在する．
また，焦点外れから奥行きを推定する Depth from defocus[AB02, FS05] や，超解像 [PPK03, BF04] なども同様の問題を扱っており，PSF を推定することが可能である．これらの手法では複数の画像を入力として画像の劣化過程の推定と画像の復元を同時に行うことが多い．
画像のぼけ再現に関する研究

コンピュータグラフィックスの分野において，実画像と仮想物体の合成の際に仮想物体の画質を実画像に合わせることで，画質の差によって生じる違和感を軽減するための手法が提案されている [KMH95b, 馬場 98]．
これらの手法は，実環境に仮想物体を重畳表示するために実世界のカメラモデル
を正しく再現し，カメラで生じる画像のぼけや投影中心の一致などを試みている．

Kolb ら [KMH95a] はカメラの光学系の特性を再現可能な仮想物体の描画手法を提案している．この手法はレンズの設計データとカメラに取り付けられた計測機器によって取得されるレンズの位置や絞りの大きさなどのパラメータに基づいて，
実際のカメラで生じる画像のぼけや歪みを再現することが可能である．Asada ら14[AB00] はカメラのズーム，フォーカス，アイリスを考慮したカメラモデルと，それを用いた仮想物体の描画手法を述べている．この手法は Kolb らの手法と同様に，計測機器によって取得されたカメラのパラメータに応じたぼけを伴う画像を生成することが可能である．これらの手法では，あらかじめ画質に影響を与える
カメラの特性を明らかにしておくことで，仮想物体を描画する際にカメラで生じる画質の変化を再現することが可能となっている．

1.3 写実的な仮想物体の実時間描画に関する研究
写実的な仮想物体の実時間描画はコンピュータグラフィックスの分野で主に研究されている．仮想物体の描画において，視点に依存しない拡散反射のみならず，物体の質感の表現に大きな役割を果たす鏡面反射成分の再現は重要な課題である．
本節では，コンピュータグラフィックスにおける写実的な仮想物体の描画に関する研究のうち，鏡面反射成分である写り込みを考慮した描画手法について概観する．

1.3.1 反射特性のモデル化による写り込みの再現物体で生じる光の反射は，物体表面上のある一点での光の入射と放射の関係によって記述できる．これは BRDF(Bidirectional Reﬂectance Distribution Function: 双方向反射関数) モデル [War92] と呼ばれ，この関数は，光源の方向と視点の方向が定められた場合の物体の反射率を表し透過や屈折などを生じない物体の反射特性を表現することが可能である．しかし，BRDF による反射特性の記述はデー
タ量が膨大になるという欠点があるため，BRDF に基づいた仮想物体の実時間描画は困難である．このため，反射特性を近似することで，計算が容易な反射モデ
ルが提案された．
一般に，物体表面で生じる反射は拡散反射と鏡面反射に分けることができる．
前者は反射光の強度分布が視点の方向に依存しない特徴があり，物体内部で複雑に反射した光の近似として扱われている．後者は反射光の強度分布が視点の方向に依存する特徴があり，物体表面で反射された光として扱われている．写り込みとは視点位置に依存する鏡面反射成分によって生じる現象であるため，写り込み

15の描画の際には鏡面反射成分を取り扱うことが必要となる．ここで，鏡面反射成
分に影響を与える要素として，物体表面の粗さが挙げられる．この場合の粗さとは，物体表面が微少面で構成されていると仮定した場合の，微少面の法線方向のばらつきとして考えられる．

光源

光源

強いハイライト(a) 表面が滑らかな物体

弱いハイライト(b) 表面が粗い物体

図 6 滑らかな物体と粗い物体で生じる光の反射の違い
図 6 に表面が滑らかな物体 (a) と粗い物体 (b) で生じる光の反射の違いを示す．
表面が滑らかな物体，すなわち表面の微少面の法線方向のばらつきが少ない場合
では，光の反射があまり広がらない．対して，表面が粗い場合では，ばらつきが大きいため光の反射が大きく広がっていることが分かる．図 7 は，粗さの異なる球体に対して平行光源によるハイライトを描画した結果である．表面が滑らかな表面ではくっきりとしたハイライトが生じ，粗い表面ではぼやけたハイライトが生じていることが分かる．
コンピュータグラフィックスにおいて，仮想物体の描画に用いられる代表的な反射モデルを以下に示す [FFvDH93]．

Lambertian モデル
光源からの光を全ての方向に均等に反射する物体の反射特性を表す反射モ
デルである．このような表面は完全拡散反射面と呼ばれ，最も単純な反射モデルとして利用されている．

16

(a) 滑らかな表面でのハイライト(b) 粗い表面でのハイライト

図 7 表面の粗さによるハイライトの違い

Phong モデル [Pho75]
拡散反射成分と鏡面反射成分を経験的に決められた計算式で記述した反射モデルである．Phong モデルは計算が比較的簡単なため，仮想物体の実時
間描画を目的とする場合に用いられる反射モデルである．

Torrance–Sparrow モデル [TS67]
物体の物理的な特性に基づいた反射モデルである．物体の表面が微少面で構成され，かつ微少面の法線ベクトルの分布が正規分布に基づく仮定のもとで，表面の粗さなどを定義した反射モデルとなっている．
これらの反射モデルを用いて環境中に存在する光源による照明効果を仮想物体の面上の全ての点で計算すれば物体の反射特性に応じた写実的な描画が可能である．しかし，実環境では局所的な反射だけでなく物体間などで相互反射が生じているため，仮想物体を写実的に描画するためには相互反射も考慮する必要がある．
相互反射を考慮した写り込みの描画手法しては，レイトレーシング法 [App68,

Mat68, WSS05] が有名である．特徴として，相互反射，影，屈折などを一括して扱うことが可能であり，かつ物体間で複数回反射する光も扱うことが可能である．

17

屈折したレイ

光源

光源へ向かうレイ

光線（レイ）

画素

物体
反射したレイ

視点

投影面

図 8 レイトレーシング法による仮想物体描画の概要

18

図 8 にレイトレーシング法における概略図を示す．まず，視点からの仮想的な光線 (レイ) を考え，物体とレイが衝突した点において，シーン中に定義された光源からの影響，反射による影響，屈折による影響をそれぞれ計算することで輝度値を決定する．また，反射や屈折の影響を考慮する際に再起的なレイを考えること
で鏡のような物体に対する写り込みを表現することが可能である．
しかし，レイトレーシング法では，視点から少なくとも画素数分のレイを発生させ，それぞれに対して上記の処理を行う必要がある．このとき，それぞれのレ
イは物体との衝突判定を行い，かつ再起的な反射の計算を行うためレイの数が指数関数的に増加してしまう問題がある．そこで，再起的に生成されるレイを正反射方向に限定するなどの処理を行うことで計算量の増加を押さえられるが，表面が粗い表面に特有な光が正反射方向以外にも反射することによって生じるぼやけたハイライトなどの再現が困難になる．この問題を解決する手法として，分散レ
イトレーシング法 [CPC84] などが提案されている．分散レイトレーシング法では，反射特性に応じて確率的にレイの生成を行うことで計算量の削減と同時に表面の反射特性の再現を可能としている．
また，レイトレーシング法を仮想物体の実時間描画に利用するための研究として，PC クラスタを用いた手法 [DWWS04] や，特殊なハードウェアを用いた手法[WSS05] などが提案されているが，相互反射を考慮した写り込みの再現は原理的に計算量が多く，物体の反射特性に応じた写り込みの実時間描画は依然として困難な課題である．

1.3.2 環境マッピングによる写り込みの再現
仮想物体の実時間描画の分野において，物体表面で生じる写り込みを擬似的に再現することで，仮想物体の写実性の向上と実時間性を同時に実現するための手法が研究されている．
代表的な手法に，Blinn らによって提案された環境マッピング [BN76] がある．
この手法は，物体で生じる写り込みは物体を取り巻く仮想球から入射する光のみによって生じ，かつ物体自身によって生じる遮蔽や相互反射を考慮しないという仮定を置くことで，仮想物体の写実的かつ高速な描画を可能としている．

19

仮想的な球に周りの環境を投影しておく
正反射ベクトル
による参照

物体

視点
正反射ベクトル
による参照
環境マップ

図 9 環境マッピングによる写り込みの描画

20

図 9 に環境マッピングによる写り込みの再現の概念図を示す．物体を取り巻く
仮想的な球を考え，シーンから入射する光を仮想球面上へ投影し，環境マップとして保持する．そして，仮想物体に対する環境マップのテクスチャマッピングによって写り込みを再現する．処理の詳細は以下のとおりである．

1. 物体の表面上での視点ベクトルの正反射ベクトルを計算し，正反射ベクトルと対応したテクスチャ座標を計算する．

2. 計算されたテクスチャ座標を用いて環境マップサンプリングし，テクスチャマッピングによって写り込みを再現する．
環境マッピングでは，環境マップを保持する球面の展開の方式によって様々な手法が提案されている．図 10 にそれぞれの手法における環境マップの例を示す．
それぞれの手法の特徴は以下の通りである．

Spherical 環境マッピング
Spherical 環境マッピング [BN76] では，球面座標を用いて環境マップを展開する (図 10(a) 参照)．1 枚の画像で環境マップを表すことができるが，周辺部分が大きく歪む欠点が存在する．また，環境マップの周辺部分は仮想球
面上の一点と対応しているため，この点においてマッピングに伴うつなぎ目や歪みが生じるという欠点がある．

Dual–Paraboloid 環境マッピング
Dual–Paraboloid 環境マッピング [HS98] では 2 つの放物面を用いて球面を展開する (図 10(b) 参照)．このため，Spherical 環境マップのような大きな歪みはないが，テクスチャを 2 枚用いる必要がある．また，2 つのテクス
チャの境界部分において 2 枚のテクスチャのつなぎ目が生じるという問題がある．

Cube 環境マッピング
Cube 環境マッピング [VF94] では立方体の 6 面を用いて展開する (図 10(c)参照)．環境マップの歪みが小さいことや，複雑な座標計算を必要としないといった点が特徴として挙げられる．しかし，Dual–Paraboloid 環境マッピ
ングと同様につなぎ目の処理の問題などがある．

21

Spherical 環境マッピングと Dual–Paraboloid 環境マッピングは，反射ベクトルからテクスチャ座標への変換が複雑な式となるという欠点や，環境マップを保持する際の画像周辺での歪みが問題となった．また，Cube 環境マップではテクス
チャを 6 枚用いるためメモリの使用量が他の手法より多いという欠点がある．現
在では，座標計算の容易性や写り込む画像の歪みの少なさから Cube 環境マップが利用されることが多い．しかし，いずれの環境マップを用いても鏡のような反射特性を持つ表面に対する写り込みしか再現できない．そこで，様々な物体に対する写り込みを実現するために環境マッピングを拡張した手法が提案されている．

1.3.3 物体の反射特性を考慮した環境マッピング
環境マッピングでは物体表面の反射特性を考慮することができないため，環境マッピングを拡張し物体表面の反射特性を考慮することで，仮想物体を描画する際のコストを引き上げることなく仮想物体の写実性を高める手法 [MH84, Gre86,

DB97, CON99, HS99, KM00] が提案されている．以下に反射特性を考慮した環境
マッピングに関する従来手法の代表的なものを示す．

Cabral らは，実在する物体の反射特性に基づいた写り込みの高速な描画手法[CON99] を提案している．この手法は，実物体の球体を用意し，その球面上に生じる写り込みをあらかじめ撮影する．そして，撮影された画像を用いて仮想物体にテクスチャマッピングを施すことで実物体の反射特性に基づいた写り込みと拡散反射の描画が可能である．しかし，あらかじめ画像を撮影しておかなければな
らない点や，描画する物体毎に写り込み画像を得るための球体を用意しなければならないといった問題がある．

Heidrich らは，環境マップに対してあらかじめフィルタ処理を行うことで物体の反射特性に応じた写り込みの描画手法 [HS99] を提案している．この手法では，微細な物体の表面形状を保持する代わりに物体表面の法線方向をテクスチャとして保持する Normal Map を提案している．この Normal Map によって，仮想物体の微細な形状を持つことなく写実的な写り込みを描画することが可能となった．
さらに，Normal Map に物体の反射特性に応じたフィルタ処理を行うことで反射特性に応じた写り込みを再現することが可能である．しかし，フィルタ処理は事22

(a) Spherical Environment Map(出典 [Mic])(b) Dual – Paraboloid Environment Map(出典 [HS98])(c) Cube Environment Map(出典 [Mic])

図 10 異なる展開方式による環境マップ

23

前に行わなければならないため，あらかじめ設定した反射特性に基づいた写り込
みしか描画できないという問題がある．

Kautz らは，物体表面の反射特性を考慮した写り込みの高速な描画手法 [KVHS00]を提案している．この手法では，環境マップに対して物体表面の反射特性に基づいたフィルタ処理を行うことで，あらかじめ反射特性に応じた写り込み画像を作成し，その画像を環境マップとして用いることで写り込みを描画する．また，反射特性に応じて入力となる環境マップを縮小することで計算量の削減を図っている．さらに，グラフィックハードウェアの Mipmap 生成機能を用い，縮小画像の高速な生成を行うことで高速なフィルタ処理を可能としている．以上の処理は実時間で行われるため，物体の反射特性が変更された場合であっても写り込みの描画が可能となる．しかし，Kautz らの手法ではシーン内に単一の反射特性を持つ物体を想定している．このため，反射特性の異なる物体が同時に複数存在するシーンを描画する場合には，それぞれの物体の反射特性に応じた写り込み画像を複数生成する必要があり，計算時間が増大するという問題がある．
また，Ramamoorthi らは BRDF と環境マップを球面調和関数の低次項のみで近似することで物体の反射特性に応じた写り込みを描画する手法 [RH01] を提案している．球面調和関数を用いることで複雑な反射特性を効率よく再現することが可能になったが，写り込む環境マップをあらかじめ球面調和関数展開しておく必要がある．

1.4 本研究の位置づけと方針
本研究は幾何学的・光学的整合性を実現した写実的な拡張現実感において，画像の劣化を考慮することで幾何学的・光学的整合性の向上を目的とする．幾何学
的整合性の解決は，追加のセンサなどを要求しないという利点をふまえて環境に配置されたマーカを撮影した画像からカメラの位置・姿勢を推定することで解決する．また，光学的整合性に必要な環境の照明条件は，従来研究と同様に環境中に配置された鏡面球や魚眼カメラを用いて取得する．そして，撮影された画像の劣化を推定し，推定された情報を利用して幾何学的・光学的整合性の向上を目指す．特に 1.1.3 で述べた写実的な拡張現実感において未解決な技術的課題である，

24

実画像と仮想物体の間の画質に関する整合性の実現と，物体の反射特性に応じた写り込みを再現する．本研究はコンピュータビジョンの分野で研究されている画
像劣化の推定技術と，コンピュータグラフィックスの分野で研究されている写実的な仮想物体の実時間描画技術を拡張現実感に応用する研究として位置づけられる．

1.4.1 画像のぼけ推定
一般にカメラで撮影した画像には，焦点ずれとモーションブラーによる画像のぼけやノイズなどによって画像の劣化が生じている．本研究では画像の劣化の主な要因として，画質に対して大きな影響を与える焦点ずれとモーションブラーによる画像のぼけを対象とする．なお，ビデオシースルー型拡張現実感システムにおいては，モーションブラーはユーザ頭部に取り付けられたカメラの姿勢の急激な変化によって生じるため，本研究ではカメラの光軸周りの回転を除いた，カメラの姿勢変化によって発生するモーションブラーを扱う．
従来のコンピュータビジョンにおける画像のぼけ推定に関する研究では任意のPSF を対象としており，PSF の推定に複数の画像が必要であるという制約や，計算量が膨大であるという問題があるため，実時間処理が要求される拡張現実感で用いることは困難である．そこで本研究ではシーン中に複数配置された形状が既
知なマーカとパラメータ表現された PSF を用いて画像のぼけを表現する．PSFのパラメータはマーカのエッジ付近の輝度変化を解析することで 1 枚の入力画像
からの実時間推定を実現する．

1.4.2 幾何学的整合性の実現
本研究では画像マーカを用いたカメラの位置・姿勢により幾何学的整合性の解決を目指すが，カメラで生じる画像の劣化によりカメラの位置・姿勢精度が低下する問題が生じる．そこで，マーカの形状に関する事前の情報と推定された画像のぼけを基に，劣化が生じた画像中のマーカの形状を復元することでマーカの頂点位置の推定精度の向上し，カメラの位置・姿勢の推定精度の向上を目指す．

25

1.4.3 光学的整合性の実現
実画像と仮想物体の間の画質に関する整合性の実現

本研究では，推定された画像のぼけを描画する仮想物体に再現することで，実画像と仮想物体の間の画質の一致を図る．具体的には，シーン中に複数配置された形状既知なマーカ毎に推定された PSF のパラメータとカメラからマーカまでの奥行きから，レンズ操作によって変化する内部パラメータであるカメラの合焦位置とカメラと被写体の相対的運動によって生じるシーン全体のモーションブラーを推定する．そして，仮想物体に対して奥行きに応じた焦点ずれによるぼけとモーションブラーを再現する
ことで実画像と仮想物体の間の画質の一致を図る．
物体表面の反射特性に応じた写り込みの再現

仮想物体の写実性を向上させるため，物体の反射特性に応じた写り込みを実時間で描画する．このとき，物体の反射特性の中でも写り込みに対して最も影響を与える表面の粗さに着目する．シーン内に複数の粗さが存在する場合や，粗さが不均一な表面から構成される物体の高速な描画を実現するため，表面の粗さに対して自由度を持った描画手法を提案
する．

1.5 本論文の構成
本論文の構成は以下の通りである．まず，2 章でカメラで撮影された画像からの画像マーカの検出と，画像マーカを用いた PSF パラメータの推定方法について述べる．3 章では画像のぼけを考慮した，マーカからのカメラの位置・姿勢の推定手法について述べる．4 章で，仮想物体に対するぼけの再現と物体の反射特性に応じた写り込みを再現する手法について述べる．そして，5 章で提案手法を用いた写実的な仮想物体を重畳表示可能な拡張現実感システムを試作し，提案手法の有効性を確認し，6 章で本論文をまとめ，今後の展望を述べる．

26

2. 画像マーカを用いたぼけ推定
2.1 緒言本章では環境中に配置された画像マーカから実画像に生じる画像のぼけを推定する手法について述べる．本研究では，画像のぼけは画像全体のぼけの性質を表すパラメータと，局所的な画像のぼけを表す PSF のパラメータによって記述する．まず，本研究で想定する画像のぼけとそのモデル化と提案手法で用いる PSFについて詳述する．そして，提案手法で用いる画像マーカと，マーカからの PSFのパラメータ推定手法について述べる．なお，画像全体のぼけの性質を表すパラメータの推定は光学的整合性の実現と密接に関わっているため，4.2.1 節で詳述する．実験では提案手法によって推定された画像ぼけの精度を評価する．

2.2 画像のぼけモデル
画像のぼけを引き起こす主な要因に，レンズの焦点ずれによるぼけとカメラと撮影対象の相対的な動きによるモーションブラーがある．本研究では画像のぼけの要因として，カメラの焦点ずれと，カメラの光軸周りの回転を除いたカメラの姿勢変化によって発生するモーションブラーを扱う．
画像全体のぼけの性質の記述

ぼけ画像の生成過程は，ぼけのない画像と PSF の

畳込み積分としてモデル化される．焦点ずれによるぼけはレンズ中心から対象までの奥行き，レンズの開口径などに依存し，散乱円と呼ばれる画像上での光の円状の広がりとして表現することができる．図 11 に焦点ずれによってぼけが生じている場合の光学系を示す．ここで，散乱円の半径 r に関して式 (1) が成り立つ[Pen87]．
r
1
1 1 
= ργv  − −  .
f
v z

(1)

ただし，f は焦点距離，z はレンズから物体までの奥行き，v はレンズから画像面までの距離，γ はレンズの開口径，ρ はカメラの CCD 分解能などに依存する定数
である．

27

焦点面
画像面

レンズ

物体
光軸

f
z

v

焦点ずれによる
光の円形の広がり(ぼけの大きさr)

v :レンズから画像面までの距離
f :レンズの焦点距離
z : レンズから物体までの奥行き
図 11 焦点ずれが生じている場合の光学系

一方，モーションブラーはカメラの動き，対象の動き，カメラの露出時間に依存する．一般にモーションブラーを記述する PSF は複雑な形状になるため，式による厳密な表現は困難であるが，画像平面に投影された撮影対象の等速直線運動として近似することが可能である [PC83]．
そこで本研究では，焦点ずれとモーションブラーによる画像のぼけを以下の 3
つのパラメータによって記述する．

Ẑf ： カメラが合焦している奥行き
L̂： 画像上でのモーションブラーの大きさΘ̂： 画像上でのモーションブラーの方向
一般に，焦点ずれによるぼけはカメラから物体までの奥行きに依存した画像のぼけを生じるが，奥行きはシーンに依存するため，焦点ずれによるぼけの性質はカ
メラの合焦位置によって記述できる．また，カメラの光軸周りの回転を除いたカメラの姿勢変化によって発生するモーションブラーは画像上で均一であるため，

28

画像上でのモーションブラーの大きさと方向の 2 つのパラメータによって記述できる．
局所的な画像のぼけを表す PSF のモデル化

カメラで生じる画像のぼけの性質は前述した 3 つのパラメータによって記述されるが，焦点ずれによるぼけはカメラから物体までの奥行きに依存するため，局所的な画像のぼけを記述する必要がある．本研究ではぼけの表現として，焦点ずれによるぼけと画像平面上での平行移動によって生じるモーションブラーを表現できる PSF を用いる．
提案手法ではエッジのぼけ幅から PSF のパラメータを推定し，PSF パラメー
タに基づいて画像のぼけを再現する方針をとる．ぼけの推定・再現の際に，焦点ずれとモーションブラーを表現する 2 種のぼけを表す PSF の畳込み積分によってこれらの処理を実現する必要がある．しかし，畳込み積分は計算量が多いため拡張現実感で必要な実時間処理に影響を与えてしまう．そこで，提案手法では焦点ずれによって生じる散乱円をモーションブラーの平行移動方向に引き延ばした楕
円形の PSF を用いることで，2 つの PSF の畳込み積分を近似し計算量の軽減を図る．ここで，直線エッジの方向が PSF を表す楕円の短軸もしくは長軸と同じ方向の場合では，エッジ付近の輝度変化が円形 PSF によって生じる輝度変化と同じになる．このため，文献 [AB02] のような円形 PSF モデルを用いた PSF パラメー
タの高速な推定が期待できる．
式 (2) に提案手法で用いた PSF の近似式を示す．

P (x, y; r, l, θ)
⎧
⎨

=

⎩



x
r+l

2

  2yr

1π((r+l)2 +r 2 )

;

0

;

otherwise

cos θ

sin θ

+

≤1

,

(2)

ただし，
⎛
⎝

x
y



⎞
⎠ =

⎛
⎝

⎞⎛

− sin θ cos θ

⎠⎝

⎞

x

⎠.

(3)

y

ここで，x と y は注目画素からの位置，r は焦点ずれによる散乱円の半径，l と θ はモーションブラーの平行移動の大きさと方向を示す．提案手法では r, l, θ を PSF

29

y

θ
x

r

r+l
図 12 本研究で仮定する PSF の形状のパラメータとする．図 12 に本研究で仮定する PSF の形状と各パラメータの関係を示す．それぞれ，PSF を表す楕円の短径が焦点ずれによるぼけの大きさ r，楕
円の長径が焦点ずれによるぼけとモーションブラーの大きさの和 r + l，楕円の傾
きがモーションブラーの方向 θ を表す．

2.3 画像マーカ
本研究ではカメラの位置・姿勢の推定に形状の既知な正方マーカを用い，マー
カ内部の円状のエッジ部分から PSF のパラメータを推定する．図 13 にマーカの構造を示す．各部分の役割は以下の通りである．

(a) ID 部
黒丸の数と位置から複数のマーカを識別する．

(b) 円状のエッジ
マーカ中に黒色部と白色部で作られる円状のエッジを持つことで実画像中に様々な方向のエッジが存在することを保証し，エッジのぼけ幅から PSF
パラメータを推定する．

(c) 正方形の黒色部
実画像からのマーカ検出に用い，かつマーカの外周エッジからぼけが生じ

30

(a) ID部(b) PSFのパラメータ推定に用いる円状のエッジ(c) カメラの位置・姿勢の推定に用いる黒色部
図 13 マーカの構造た状況下でのマーカ座標系におけるカメラの位置・姿勢を推定し，幾何学
的位置合せを行う．

2.4 実画像からのマーカ検出
Kato ら [KBP+ 00] と同様に，以下の手順により色と形状の既知なマーカを実画像中から抽出し，マーカの円状のエッジの画像上の位置を特定するため，マーカ
座標系におけるカメラの位置・姿勢を推定する．

1. 実画像に対して，あらかじめ手動で定めた固定閾値による二値化，ラベリ
ング処理を行い，面積が一定値以上のものをマーカの候補とする．

2. マーカ候補の ID 部分とあらかじめ登録されたパターンを比較し ID を認識する．

3. 抽出された領域より正方マーカの 4 頂点を検出し，マーカ座標系におけるカメラの位置・姿勢を推定する．
なお，本処理において検出されたマーカの頂点位置には，ぼけの大きさに依存する誤差が含まれるため，推定されたカメラの位置・姿勢を幾何学的整合性の解決に用いることは望ましくない．ぼけによる画像劣化の影響を考慮したカメラの
位置・姿勢の推定は 3 章で述べる．

31

2.5 画像マーカのエッジの輝度変化からの実時間ぼけ推定
本研究では実時間処理を達成するため，以下のステップから PSF のパラメータを推定する．まず，モーションブラーによるぼけの影響を考慮しない回転対称の円形 PSF を想定してマーカ中のエッジ部分のぼけ幅を様々な方向のエッジに関して調べる．そして，様々な方向のエッジに対して推定されたぼけ幅を統合し，モーションブラーによるぼけを考慮した楕円 PSF のパラメータ推定を行う．なお，カメラの被写界深度に対してマーカの大きさが十分に小さい場合には，奥行きの変化によるマーカ内部での PSF パラメータの変化は小さいと考え，本処理
ではマーカ内部で PSF パラメータが均一であると仮定する．

2.5.1 エッジ部分のぼけ幅の推定
本研究では，エッジと直交する方向に沿った画素の輝度変化に対して，ぼけが生じたエッジの輝度変化を表す関数の当てはめによって，エッジ部分でのぼけ幅を推定する．理想的な直線エッジにおいて，エッジと直交する方向に沿った輝度変化が位置 p0 を原点とするステップ関数として表現できる場合，円形 PSF によるぼけの影響を受けたエッジ部分での輝度変化は式 (4) となることが知られている [AB02]．

f (p; d, p0 , imin , imax )⎧⎪⎪⎪ imin⎪⎨=; t < −1g(t)(imax −imin ) + imin ; −1 ≤ t ≤ 1 ,⎪⎪⎪⎪⎩ imax;t>1(4)

ただし，t = (p − p0 ) · o/d であり，

g(t) =

1 1√t 1 − t2 + arcsin t
+
2 π

(5)

である．なお，o はエッジと直交する方向を表す単位ベクトル，p は画素の位置，p0 はぼけの影響を受けていない場合のエッジの位置であり，d はぼけ幅を表し，エッジと直交する方向に輝度値が変化している部分の幅である．

32

輝度値

i max

i min

理想的なエッジ

ぼけ幅 d

実画像の輝度値rf ( p)

rp
画素の位置 ( i )rp
エッジの真の位置 0

図 14 ぼけエッジに対する関数当てはめ理想的なエッジにぼけが生じた場合のエッジの輝度変化と提案手法による関数

0 , imin , imax は式 (6) で示す誤差関数の当てはめ例を図 14 に示す．パラメータ d, p
Eedge を最小化することで推定する．
Eedge (d, p0 , imin , imax )N{I(pi ) − f (pi ; d, p0 , imin , imax )}2 .

=

(6)

i=1

式 (6) において，pi と I(pi ) は，それぞれ i 番目の画素の位置，輝度値を表し，Nは関数のあてはめに用いた画素数である．

2.5.2 方向毎のぼけ幅の統合による PSF パラメータの推定
本研究ではマーカ中の複数の点で推定されたぼけ幅 d とエッジの方向から PSFのパラメータを推定する．2.5.1 節で求めたぼけ幅は円形の PSF を仮定しているが，式 (2) の PSF を表す楕円の長軸と直線エッジの方向が一致している場合に，エッジ部分の輝度変化は式 (4) で表現され，ぼけ幅 d は PSF のパラメータ r と等しくなる．同様に，PSF を表す楕円の短軸と直線エッジの方向が一致している場
合に，ぼけ幅 d は PSF のパラメータ r + l と等しくなる．また，楕円の長軸と短33

軸が直交するという制約が存在する．そこで，本手法ではぼけ幅を統合した PSF
形状を楕円で近似し，ぼけ幅に対して楕円を当てはめることで以上の制約を満たす PSF のパラメータ r, l, θ を推定する．なお，近似がパラメータ推定精度に与える影響は後述する実験で検証する．ここで，マーカ中の複数の点で推定されたぼけ幅 d の最小値，最大値をそれぞれ dmin , dmax とした場合に，PSF パラメータ rの初期値を dmin ，PSF パラメータ l の初期値を dmax − dmin ，PSF パラメータ θ の
初期値を最大のぼけ幅を持つエッジと直交する方向とする．

2.2 で示した PSF のパラメータ r, l, θ は式 (7) を準ニュートン法で最小化することで推定する．

{h(θj ; r, l, θ) − dj }2
EP SF (r, l, θ) =,Eedge,j
j=1
M

(7)

ただし，

1

h(θj ; r, l, θ) = 2 cos(θj −θ)
r+l

2 .

+ sin(θrj −θ)(8)関数 h(θj ; r, l, θ) は楕円状の PSF の中心から θ 方向の楕円上の点までの距離を表
す．dj と Eedge,j は，それぞれ 2.5.1 節で推定した j 番目のエッジのぼけ幅と推定時の誤差を表し，M はマーカ 1 つあたりのぼけ幅の推定個数である．

2.6 実験と考察
2.6.1 PSF パラメータ推定精度の評価
本節では，画像マーカを用いた PSF パラメータの推定精度を評価する．ここで，実画像で生じるぼけはカメラの合焦位置やモーションブラーに依存するが，ぼけの大きさを精度良く制御することは困難である．そこで，本実験ではカメラの光学系をシミュレーションすることで焦点ずれによるぼけとモーションブラー
を再現したマーカ画像を生成し，シミュレーション画像から PSF パラメータ推定を行い精度を評価する．シミュレーションにおいて，焦点ずれによるぼけを表す
パラメータ r は 0.5 画素から 4.5 画素まで 0.5 刻みで変化させ，モーションブラー

34

を表すパラメータ l と θ はそれぞれ 0 画素から 4.5 画素まで 0.5 刻み，0rad. から

πrad. まで π/8 刻みで変化させた．
評価として，真値に対する推定値の差を求めた．ここで，差が 0 より大きい場
合は推定値が真値よりも大きいことを示している．図 15 に推定された値と真値の関係を示す．それぞれの系列は様々な l の元での r の誤差を示している．図より，r が 0.5 である場合を除いて，誤差が 0.5 画素であることが分かる．図 15(b)は l に関する誤差を示している．それぞれの系列は様々な r の元での l の誤差を示している．図より，r が 0.5 である場合を除いて，誤差は −0.5 画素であることが分かる．また，θ に関する誤差は様々な r と l の元で −0.24rad. から 0.24rad. であった．
ここで，r が 0.5 において PSF パラメータの推定精度が低下している．これは焦点ずれによるぼけが小さい場合では画像のぼけ幅が 1 画素以下になるため，2.5で示す関数の当てはめによる画像のぼけ幅の推定が不安定になっていることが考えられる．しかし，一般的な撮像系においてぼけ幅が画素の大きさ以下になることはまれであるため，この問題は無視できると考えられる．
要求される PSF パラメータの推定精度に関して議論する．本手法において，幾
何学的整合性の実現のためのカメラの位置・姿勢は画像中の特徴点の位置から推定される．カメラで生じる画像のぼけによって特徴点の検出位置が画像のぼけの大きさと同程度の誤差を受けるとすると，PSF パラメータが 1 画素以下の精度で求まっていれば，ぼけの影響を取り除いた特徴点の位置推定が期待できる．また，光学的整合性における画質の一致のためには，仮想物体に再現される画像のぼけが表示機器の分解能である 1 画素程度の精度が必要である．本実験から，推定された PSF パラメータは誤差が 1 画素以下で推定できることを確認した．このことから，推定された PSF パラメータが本研究で目的とする幾何学的・光学的整合性の向上に必要な精度を有していると考える．

35

焦点ずれによるぼけパラメータ(r ) の誤差の平均[pixel]2

l=0
l = 0.5l=1
l = 1.5l=2
l = 2.5l=3
l = 3.5
l=4
l = 4.5

1.5
1
0.5
0
-0.5
0

0.5
1
1.5
2
2.5
3
3.5
4
4.5
シミュレーションで設定した焦点ずれによるぼけパラメータ (r) [pixel]

5

モーションブラーによるぼけパラメータ (l ) の誤差の平均[pixel](a) 様々な l，θ の元での推定された PSF パラメータ r の真値に対する誤差．
1.5

r = 0.5
r=1
r = 1.5
r=2
r = 2.5
r=3
r = 3.5
r=4
r = 4.5

1
0.5
0
-0.5
-1
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
シミュレーションで設定したモーションブラーによるぼけパラメータ(l) [pixel](b) 様々な r，θ の元での推定された PSF パラメータ l の真値に対する誤差．
図 15 シミュレーション実験で推定された PSF パラメータの真値に対する誤差．

36

2.7 結言
本章では，カメラで生じる画像劣化のうち大きな影響を与える焦点ずれによるぼけとモーションブラーによるぼけをモデル化した PSF について述べた．そして，環境中に配置されたマーカを撮影した画像を解析することで焦点ずれによるぼけとモーションブラーを含む画像劣化を推定する手法を述べた．シミュレーションによる実験から，提案手法による画像のぼけ推定はそれぞれ，焦点ずれによるぼけの大きさで 0.5 画素，モーションブラーの大きさは 0.5 画素，モーションブラー
の方向は 0.24rad. の誤差であった．幾何学的・光学的整合性の向上に必要な PSF
パラメータの推定精度である，誤差 1 画素以下を提案手法が達成できていることを確認した．

37

3. 画像のぼけを考慮することによる幾何学的整合性の向上
3.1 緒言本章では画像マーカを用いたカメラの位置・姿勢推定において，カメラで生じる画像劣化により推定精度が低下する問題を軽減する手法を提案する．マーカを用いたカメラの位置・姿勢においては，カメラの位置・姿勢の手がかりとなるマー
カの角などの特徴点を画像から精度良く検出する必要がある．しかし，2.4 節で述べたように，カメラで生じる画像劣化によってマーカの特徴点を精度良く検出することができない問題が生じる．
本章では，マーカの形状に対する事前知識を基に劣化が生じた画像から推定されたマーカの形状を復元することで，マーカの頂点位置の推定精度の向上を図る．
実験では提案手法によるマーカ頂点の検出手法が，マーカの頂点位置の推定精度とマーカからのカメラの位置・姿勢の推定精度を向上させることができることを確認する．

3.2 マーカのエッジ位置を考慮したマーカ形状の復元
本研究ではシーン中に存在するマーカを用いてカメラの位置・姿勢を求めるが，カメラの位置・姿勢を精度良くに推定するためには，入力画像におけるマーカ画
像からぼけの影響を除去する必要がある．マーカ形状の復元には画像復元の原理に基づいた，入力画像から画像の劣化を取り除くことによるマーカ形状の復元手法と，マーカの幾何学的特徴を利用した復元手法が考えられる．本研究では拡張
現実感で要求される実時間処理を達成するため，計算量が少ない後者の手法を採用する．処理の概要は以下の通りである．

1. マーカの外周エッジに対して式 (4) をあてはめることで，マーカのエッジの真の位置を求める．

2. 推定されたエッジ位置に直線をあてはめ，マーカのエッジを推定する．
38

推定された( u ,v )エッジの位置（ Pedge ）関数のあてはめを
行う領域
推定された
(u )
マーカ頂点（ Pcorner ）図 16 マーカの外周エッジに対する関数当てはめと推定されたエッジ位置

3. 直線の交点からマーカの頂点を推定する．
図 16 にエッジに対する関数の当てはめと推定されたエッジ位置の関係を示す．マーカの u 番目の辺 (0 ≤ u ≤ 3) の v 番目の位置 (0 ≤ v ≤ V ) における関数当てはめ(u,v)

によって推定されたエッジ位置を Pedge とすると，それぞれの u に対するエッジ(u,v)

位置 Pedge に対して最小二乗法による直線のあてはめによってエッジを表す直線(u)を推定する．
を推定し，直線の交点からマーカの頂点 Pcorner

3.3 マーカからのカメラの位置・姿勢の推定(u)
カメラの位置・姿勢はマーカの頂点 Pcornerから推定する．シーン中に 1 つのマーカが存在する場合は，文献 [KBP+ 00] と同様に平面上の位置が既知な点に対する

PnP 問題 (n = 4) を解くことで推定する．この処理によりぼけの影響によるカメラの位置・姿勢精度の低下を改善する．また，シーン中に複数のマーカがある場
合はそれぞれのマーカの ID とマーカに関する事前の位置・姿勢に関する知識を用いてカメラの位置・姿勢を求める．

39

3.4 実験と考察
3.4.1 マーカ頂点位置の推定結果の精度評価
本実験ではシミュレーションにより生成したぼけが生じたマーカ画像を入力としてマーカの頂点の検出位置を評価する．提案手法との比較として，一般的なマーカ検出アルゴリズムである，固定閾値による二値化・ラベリング・直線当てはめによる頂点検出手法 [KBP+ 00]（以下，手法 1 と表記）を用いた．なお，手法 1 による頂点位置の推定結果は 2.4 節の処理による頂点位置の推定結果と同等である．
仮想環境に配置された 1 つのマーカに対して，仮想カメラからマーカまでの距
離が 0.4m となるように仮想カメラの位置・姿勢を 3 通りに変化させた．カメラの合焦位置は 3 通りに変化させ，マーカの中央付近で 4 画素，2.5 画素, 0.5 画素
程度のぼけが生じている．モーションブラーの大きさは 0 画素, 2 画素, 4 画素の 3通りに変化させ，モーションブラーの方向は 3 通りに変化させた．また，カメラのノイズを再現するため，256 階調の輝度値に対して標準偏差 3 のガウスノイズを付加した．マーカの特徴点の真値はマーカの形状とカメラの位置・姿勢から画像上での位置を計算した．図 17 にシミュレーションで生成したマーカ画像の例と評価に用いた４つの頂点を示す．なお，画像生成に用いたパラメータは合焦位置0.40m，モーションブラーの大きさ 4.0 画素，モーションブラーの方向は 1/4πrad.
である．
それぞれの手法で推定されたマーカの特徴点の位置の真値に対する誤差を図 18に示す．また，真値から推定値への距離の平均と距離の標準偏差を表 1 に示す．まず，手法 1 では推定位置が真値から大きく離れており，誤差の平均が大きくなっていることがわかる．これは，二値化によって抽出されるマーカ候補領域の頂点が画像のぼけによって鮮明に抽出されず，本来の頂点とは異なる位置にマーカの頂点が推定されたことが原因と考える．提案手法ではぼけを考慮しているため誤差の平均が小さくなっている．また，推定位置のばらつきは手法 1 で 0.45 画素程度，提案手法で 3.47 画素程度であった．なお，それぞれの手法のフレームレート
はデスクトップ PC(CPU：Pentium D 3.0GHz，メモリ：3.25GByte，グラフィッ
クスカード：Radeon X1900XTX) を用いて，手法 1 は 30fps，提案手法は 15fps で
あった．

40

(a) 合焦位置 0.15m．
モーションブラーの大きさ 0 画素，方向 0rad.

(b) 合焦位置 0.2m．
モーションブラーの大きさ 2.0 画素，方向 π/2rad.

評価に用いた４つの頂点(c) 合焦位置 0.4m．
モーションブラーの大きさ 4.0 画素，方向 π/4rad.
図 17 シミュレーションで生成したマーカ画像の例と評価に用いた４つの頂点

41

4

4

[pixel]

2

2

0
-4

-2

[pixel]

0
0

2

4

-4

-2

0

2

[pixel]-2-2

手法1(二値化，直線当てはめ)

手法1(二値化，直線当てはめ)提案手法(エッジの位置検出，直線当てはめ)-4

提案手法(エッジの位置検出，直線当てはめ)-4(a) 左上頂点(b) 右上頂点

4

4[pixel]2-2[pixel]2

0-4

4[pixel]

0
0

2

4

-4

-2

0

2

[pixel]4[pixel]-2-2

手法1(二値化，直線当てはめ)

手法1(二値化，直線当てはめ)提案手法(エッジの位置検出，直線当てはめ)-4

提案手法(エッジの位置検出，直線当てはめ)-4(c) 左下頂点(d) 右下頂点

図 18 シミュレーションによるマーカ特徴点検出位置誤差の結果

42

表 1 マーカ特徴点検出位置誤差の平均と標準偏差 (単位：画素)
手法

頂点 0

頂点 1

頂点 2

頂点 3

平均

標準
偏差

平均

標準
偏差

平均

標準
偏差

平均

標準
偏差

手法 1

2.08

0.45

1.03

0.38

2.97

0.35

2.70

0.41

提案手法

1.43

2.34

0.71

2.48

2.22

3.47

1.91

2.87

43

3.4.2 ぼけが生じた画像からのカメラの位置・姿勢の推定精度の評価
本実験ではロボットアームを用いてカメラの光軸と垂直な方向にカメラを動かし，カメラからマーカまでの奥行きの推定値を評価した．
予備実験から，画像劣化の影響はカメラの位置・姿勢の推定結果に対して，カメラの光軸方向に対する誤差として影響を与えることが分かっている．また，画像のぼけによって生じるカメラの位置・姿勢推定結果に対する影響は 1 つのマー
カからカメラの位置・姿勢を推定する際に最も大きくなる．そこで本実験ではまず，シーン中のマーカ 1 つを用いてカメラの位置・姿勢を推定し，推定された奥行きを評価した．次に，シーン中の複数のマーカを用いて同様の実験を行った．
図 19 に実験環境を示す．ロボットアームの先端には USB カメラ (ARGO Lu-

135c, 解像度：1024 × 768 画素，水平画角 46.5 度) を取り付け，カメラからマーカまでの距離は 0.45m とした．カメラからマーカまでの奥行きの真値はトータル
ステーション (TOPCON GPT-9005A) を用いて計測した．カメラは 0.5m の距離に焦点を合わせ，焦点ずれによって生じたぼけの大きさはおよそ 2 画素であった．
また，カメラをロボットアームによって 300mm / sec. の速度で動かし，露光時間
を 15，30，45ms の 3 通りに変化させた．これによって生じるモーションブラー

ロボットアーム

カメラ

ロボットアームの
動作方向

画像マーカ

図 19 ロボットアームを用いた実験環境

44(a) 15ms(b) 30ms(c) 45ms

図 20 それぞれの露光時間におけるマーカ画像]m 550
m[
き
行
奥500
の
で
ま
カ
ー
マ
ら 450
か
置
位
ラメ
カ 400
-75

手法１ - 15ms

手法１ - 30ms

手法１ - 45ms

提案手法 - 15ms

提案手法 - 30ms

提案手法 - 45ms

奥行きの真値

-50

-25

0

25
50
75
カメラ位置（X座標） [mm]

100

125

150

175

図 21 1 つのマーカを用いて推定されたカメラからマーカまでの奥行きの大きさはそれぞれ 0.9，1.8，2.8 画素であった．図 20 にそれぞれの露光時間で獲得された画像の一部を示す．

1 つのマーカを用いたカメラの位置・姿勢の推定精度の評価 図 21 に 1 つのマーカを用いた場合の提案手法によって推定されたカメラからマーカまでの奥行きを示す．各系列は異なる露光時間の基でのそれぞれの推定手法による結果である．
また，表 2 に真値に対する推定結果の誤差の平均と標準偏差を示し，まず，手法 1 による推定結果において，推定された奥行きが真値より大きくなっている．これは，画像のぼけによって抽出されたマーカの角が丸くなるため，マー45

表 2 1 つのマーカを用いて推定された奥行きの誤差の平均と標準偏差（単位：

mm）
手法

15ms

30ms

45ms

平均

標準
偏差

平均

標準
偏差

平均

標準
偏差

手法 1

14.90

5.92

22.88

5.86

26.49

5.91

提案手法

-0.74

7.14

0.71

6.78

2.38

7.34

表 3 1 つのマーカを用いて推定されたカメラの位置・姿勢による画像上での仮想物体の大きさと真値に対する誤差（単位：画素）
手法

15ms

30ms

45ms

大きさ

誤差

大きさ

誤差

大きさ

誤差

手法 1

114.3

-3.8

112.3

-5.7

111.5

-6.6

提案手法

118.2

0.2

117.9

-0.2

117.4

-0.6

カの頂点を正確に検出できなかったことが原因である．さらに，推定結果はモーションブラーの影響を受けおり，露光時間が大きくなるにつれて誤差が大きくなっている．一方，提案手法による推定結果では誤差が手法 1 の結果よりも小さくかつ異なる露光時間の基での推定精度の差が小さいため，モーションブラーの影響も軽減されていると考えられる．以上のことから提案手法が画像劣化によるカメラの位置・姿勢の推定精度低下に対して有効であると考える．しかし，提案手法
によるカメラの位置・姿勢の推定結果の誤差の標準偏差が従来手法に対して大きくなっている．原因として，直線の交点から画像マーカの頂点位置を推定する処理において，推定される頂点位置が直線の傾きの推定精度に非常に敏感に影響を受けていることが考えられる．これによって重畳表示する仮想物体の位置が不自然に振動することが考えられるが，この問題はカメラの位置・姿勢推定結果に対して平滑化フィルタなどを適用することで軽減可能である．

46

表 4 複数のマーカを用いて推定された奥行きの誤差の平均と標準偏差（単位：

mm）
手法

15ms

30ms

45ms

平均

標準
偏差

平均

標準
偏差

平均

標準
偏差

手法 1

5.03

7.18

6.61

7.99

8.81

8.42

提案手法

-0.70

7.24

-0.71

7.90

0.71

8.58

提案手法による推定精度について議論するため，カメラの位置・姿勢の推定に用いた画像マーカと同じ大きさの仮想物体を実画像に重畳表示し，位置・姿勢の推定誤差と仮想物体の画像上での大きさの関係を評価する．本実験で用いたカメラは光軸上でカメラから 450mm の奥行きに配置された 1 辺 80mm の正方形の仮想物体は，画像上で 118.0 画素の大きさで投影される．表 3 に，カメラの位置・姿勢の推定結果に表 2 に示した平均誤差が生じている場合の画像上に投影されたマーカの大きさと，推定結果に誤差が無い場合の大きさの差を示す．なお，誤差が負の値である場合は画像上に投影される物体が誤差がない場合に対して小さく投影されることを意味する．表から，手法 1 では投影されたマーカの大きさの誤差が 1 画素以上であるのに対して，提案手法では大きさの誤差が 1 画素以下である．幾何学的整合性の実現に要求される精度は応用例に依存するが，提案手法を用いることで，位置あわせに用いたマーカと同じ大きさの仮想物体を，誤差 1 画
素以下の大きさで重畳表示できる．
複数のマーカを用いたカメラの位置・姿勢の推定精度の評価

図 22 に，複数のマーカを用いた場合の提案手法によって推定されたカメラからマーカまでの奥行きを示す．なお，本実験では検出された画像マーカのうち，画像中心に近い物か
ら 6 個をカメラの位置・姿勢の推定に用いた．各系列は異なる露光時間の基でのそれぞれの推定手法による結果を示している．また，表 4 に真値に対する推定結果の誤差の平均と標準偏差を示している．

47

]m 550
m[
き
行
奥500
の
で
ま
カ
ー
マ
ら 450
か
置
位
ラメ
カ 400
-75

手法１ - 15ms

手法１ - 30ms

手法１ - 45ms

提案手法 - 15ms

提案手法 - 30ms

提案手法 - 45ms

奥行きの真値

-50

-25

0

25
50
75
カメラ位置（X座標） [mm]

100

125

150

175

図 22 複数のマーカを用いて推定されたカメラからマーカまでの奥行き
まず，手法 1 においてモーションブラーの大きさに対する平均値のばらつきが

1 つのマーカからの推定結果に比べて小さくなっており，複数のマーカを用いることで画像劣化がカメラの位置・姿勢の推定に与える影響を軽減できたと考えられる．しかし，真値に対する誤差は提案手法と比較して依然として大きく，画像劣化の影響が残っていると考えられる．一方，提案手法では誤差が小さくなって
おり，画像の劣化による推定精度の低下を軽減できていると考えられる．なお，
手法 1 と提案手法の両方において，カメラの位置・姿勢の推定結果の誤差の標準偏差が 1 つのマーカを用いた場合に比べて大きくなっている．これは，カメラの移動に伴い検出可能なマーカが切り替わることでカメラの位置・姿勢の推定精度が変化していることが考えられる．この問題も 1 つのマーカから推定された場合と同様に，カメラの位置・姿勢推定結果に対して平滑化フィルタなどを適用する
ことで軽減可能である．
表 5 に，カメラの位置・姿勢の推定結果に表 4 に示した平均誤差が生じている
場合の画像上に投影されたマーカの大きさと，推定結果に誤差が無い場合の大きさの差を示す．表から，手法 1 では投影されたマーカの大きさの誤差が 1 画素程度になっており複数のマーカを用いることでカメラの位置・姿勢推定精度が向上
されていることが分かる．対して，提案手法では誤差が 1 画素以下であり，提案48

表 5 複数のマーカを用いて推定されたカメラの位置・姿勢による画像上での仮想物体の大きさと真値に対する誤差（単位：画素）
手法

15ms

30ms

45ms

大きさ

誤差

大きさ

誤差

大きさ

誤差

手法 1

116.7

-1.3

116.3

-1.7

115.8

-2.3

提案手法

118.2

0.2

118.2

0.2

117.9

-0.2

手法を用いることで，カメラの位置・姿勢の推定に用いたマーカと同じ大きさの仮想物体を誤差 1 画素以下の大きさで重畳表示できる．

3.5 結言本章では画像マーカを用いたカメラの位置・姿勢推定において，カメラで生じる
画像劣化により推定精度が低下する問題を軽減する手法を述べた．本手法はマーカの形状に対する事前の知識から画像劣化の影響を軽減してマーカの頂点を推定することで，マーカ頂点からのカメラの位置・姿勢推定の精度向上を図った．
シミュレーションによる実験から提案手法によってマーカの頂点の推定精度が向上することを確認した．実画像を用いた実験によって焦点ずれやモーションブ
ラーによる画像劣化が生じている場合でもカメラの位置・姿勢の推定精度の低下を軽減できることを確認した．提案手法はカメラの位置・姿勢の推定に用いたマーカと同じ大きさの仮想物体を大きさの誤差が 1 画素以下で重畳表示できることを確認した．また，提案手法によるカメラの位置・姿勢の推定結果は画像のぼけを考慮しない従来手法と比較して，標準偏差が大きくなる傾向があるが，平滑化フィルタなどを適用することで軽減可能であると考えられる．

49

4. 画質の一致を図ることによる光学的整合性の向上
4.1 緒言本章では拡張現実感における光学的整合性問題のうち，画質に関する整合性問
題を解決するための画像のぼけ推定と仮想物体に対するぼけ再現手法について述べる．さらに，仮想物体の写実性を向上させるため，環境の照明条件と物体表面の粗さに応じた写り込みを仮想物体に実時間で再現する手法について述べる．
実験では，画像マーカから推定される合焦位置とモーションブラーの推定精度を検証した後，仮想物体に対する画像のぼけ再現が画質差を軽減できることを確認する．さらに，表面粗さに応じた写り込みの再現が仮想物体の写実性を保ったまま計算量を削減できることを確認する．

4.2 画像のぼけ推定と仮想物体に対するぼけ再現による画質に関する整合性の向上
本研究では，画像のぼけはカメラの合焦位置と画像全体で生じているモーショ
ンブラー表すパラメータである Ẑf , L̂, Θ̂ によって記述される．これらのパラメー
タは 2.5 節で述べた手法によって推定されたマーカ毎の PSF パラメータを統合することで推定される．そして，推定された画像全体のぼけを記述するパラメータに基づいて様々な奥行きに存在する仮想物体に画像のぼけを再現することで画質に関する整合性を実現する．

4.2.1 カメラの合焦位置とモーションブラーの推定
本節では複数のマーカで得られた PSF パラメータ r, l, θ からカメラが合焦している奥行きを表すパラメータ Ẑf とモーションブラーの大きさと方向を表すパラ
メータ L̂, Θ̂ を推定する．

50

カメラの合焦位置の推定

シーン中の奥行きが異なる位置に複数のマーカが配置されている場合には，マーカ位置での PSF パラメータと，カメラからマーカまでの奥行きからカメラの合焦位置を推定することが可能である．式 (1) はレンズを用いた撮像系における奥行きとぼけの関係を示している．しかし，実際の撮像系では焦点ずれやモーションブラーによるぼけのみならず，CCD の分解能などの要因によるぼけが生じているため，カメラが合焦している場合でもぼけが生じている．本研究では様々なぼけ要因によって生じる影響は PSF パラメータ r に対する定数の加算で近似し，奥行きとぼけの関係として式 (1) に定数κを付加した式(9) を用いる．
r̂ = bf ocus (z; Ẑf , ργ, f, κ)
1
1 1 
= ργv  − −  + κ,
f
v z

(9)

ただし，r̂ は実際の撮像系での焦点外れによるぼけの大きさ，z はレンズから対象までの奥行きである．なお，v はレンズから画像面までの距離を表すが，レンズの焦点距離とカメラの合焦位置から計算可能であり，v = (f · Ẑf )/(Ẑf − f ) である．カメラの合焦位置 Ẑf は式 (10) に示す誤差関数を最小化することで推定する．
Lbf ocus (zk ; Ẑf , ργ, f, κ) − rk

Ef ocus (Ẑf ) =

2

,

(10)

k=1

ただし，zk と rk はそれぞれ k 番目のマーカの奥行きと，マーカで推定された PSFの焦点外れによるぼけの大きさであり，L はシーン中のマーカの数である．
なお，κ は様々な合焦位置や物体までの距離の基での最小のぼけの大きさを用い，ργ は合焦位置を既知な状態で，様々な奥行きでのぼけの大きさを計測し，式(9) によって計算されるぼけの大きさと計測されたぼけの大きさの差の 2 乗和が最小となる ργ を用いればよい．また，式 (10) を安定して最小化するためには，シーン中の奥行きが異なる位置に複数のマーカが存在する必要がある．
モーションブラーの推定

ユーザの頭部にカメラを装着するビデオシースルー型

拡張現実感においては，ユーザの頭部の移動によるモーションブラーよりも，頭部の回転運動によるモーションブラーが発生しやすい．

51

一般的に，カメラで生じるモーションブラーはカメラを支持する手の不安定さによって生じる微小なぶれ（手ぶれ）や，カメラの高速な移動・回転などによって生じることが多い．しかし，ユーザ頭部に設置されたカメラには前者のような微小なぶれは生じにくい．また，ユーザの移動によってモーションブラーが発生する場合もまれである．そこで，本研究では，モーションブラーはユーザの上下・左右の首振りによって生じると仮定する．
このとき，カメラの投影中心と回転中心の不一致により，カメラの並進運動によるモーションブラーとカメラの回転運動によるモーションブラーが同時に発生する．前者は奥行きに依存し後者は奥行きに依存しないが，拡張現実感においては回転運動によるモーションブラーが画質に対して支配的であると考え，本研究ではモーションブラーは画像上で均一な方向と大きさを持つとする．具体的には，各マーカで推定されたパラメータ l, θ の平均値 L̂, Θ̂ をカメラの動きによって生じるモーションブラーとする．

4.2.2 仮想物体に対するぼけ再現による画質の一致
仮想物体に対するぼけの再現は，前述の手法によって推定された情報をもとにグラフィックスハードウェアを用いたフィルタ処理として実現し高速化を図る．処理は仮想物体の描画と仮想物体へのぼけ再現の 2 段階に分けて行う．
まず，3.2 で求めたマーカ座標系におけるカメラの位置・姿勢情報を用いて仮想物体をテクスチャバッファに描画する．同時に，画素毎に焦点ずれによるぼけの大きさを表す PSF パラメータ r̂ を式 (9) から画素毎の仮想物体の奥行きを用いて計算する．次に，テクスチャバッファに対して r̂ と 4.2.1 で求めた L̂, Θ̂ に基づいた平滑化フィルタ処理を式 (11) によって適用する．
−w −w

Iblurred (s, t) =P (x, y; r̂, L̂, Θ̂) · ICG (s + x, t + y).

(11)

y=w x=w

なお，ICG (s, t) は仮想物体を描画した画像の位置 (s, t) における画素の輝度値を表し，仮想物体が描画されない画素では ICG (s, t) = 0 とする．また，Iblurred (s, t) はフィルタ適用後の画像の位置 (s, t) における画素の輝度値，w はフィルタ処理を行う際のウィンドウサイズを表し，w = r̂ + ˆ
l である．式 (11) の処理はグラフィッ

52

クスハードウェアに搭載されているピクセルシェーダ機能によって実現する．ただし，実画像と仮想物体の境界部分では画像のぼけによって生じる輪郭のにじみ効果を再現するため，式 (12) に示す輝度値の混合を行う．

Iresult (s, t) = α(s, t) · Iblurred (s, t) + (1 − α(s, t)) · Ireal (s, t).

(12)

ここで，Ireal (s, t) は実画像の位置 (s, t) における画素の輝度値，α(s, t) は画像の
位置 (s, t) における輝度値の合成比率であり，PSF を表す楕円内部で仮想物体を表す画素が占める割合を表す．

4.3 表面粗さに応じた写り込みの再現による仮想物体の写実性の向上
本研究では，動的な照明条件の変更と物体表面の粗さに応じた写り込みを再現することで，仮想物体の写実性の向上を図る．本研究では，環境マップに対して
物体表面の粗さに応じたぼかしフィルタを適用することで粗さに応じた写り込みを再現可能な仮想物体の実時間描画を実現する．
以下，本研究で用いる物体の反射モデル，表面粗さに応じた写り込みを再現可
能な多重スケール環境マップとそれを用いた仮想物体の実時間描画手法について詳述する．

4.3.1 物体の反射モデル
本研究では物体の反射モデルとして Phong モデル [Pho75] を用いる．Phong モ
デルは物体表面の粗さを表現可能な照明モデルであり，図 23 のように物体表面上のある点 x に対して，視点方向を v ，光源の方向を l，物体表面の法線を n，視点ベクトルの正反射ベクトルを r，r と l のなす角を θ，n と l のなす角を φ としたとき，写り込みの輝度が cosΛ (θ) となる照明モデルである．なお，各ベクトルは単位ベクトルとする．Λ は粗さ係数となり，Λ が大きいほど表面が滑らかな表
面となる．

53

一般に Phong モデルによって環境内に配置された物体に対する写り込みを描画する場合，入力となる環境を Ω，Ω 上の光源 i の輝度を Li とすると輝度値の計算
は式 (13) を用いて行われる．
L(x; v, n) = Kr
ただし，

f (cos(θ), cos(φ), Λ) =Ωf (cos(θ), cos(φ), Λ)Li dl⎧⎪⎪cosΛ (θ)
⎪
⎪
⎨
⎪
⎪
⎪
⎪
⎩ 0

(13)

; if cos(θ) ≥ 0
and cos(φ) ≥ 0(14); otherwise

ここで，関数 f (cos(θ), cos(φ), Λ) は Phong モデルに基づいた反射輝度を決定する式となっており，θ によって写り込みの輝度強度が決定され，φ によって光源
が物体を照らすかどうかの判定を行っている．

r

光源ベクトル l

法線ベクトル
視点からの正反射ベクトルrnr
r
視線ベクトルθ

φ
物体上の点

物体（粗さ係数 Λ ）x
図 23 物体と視点と光源の関係

54

r
v

4.3.2 多重スケール環境マップ
Phong モデルを用いて自然な照明計算を行うためには Ω 上に多数の光源を配置しなければならない．しかし実時間での描画する場合，多数の光源を用いた照明
計算は計算時間の点から困難である．
そこで本研究では式 (14) に着目する．一般に表面が粗い反射特性を持つ表面であっても Λ はあまり小さくならないことが経験的に知られており，θ がある程度大きくなると cosΛ (θ) の値は非常に小さくなる．そこで，写り込みの計算を行う
場合に光源が物体を照らすかどうかの判定，すなわち φ による判定を省くことで式 (13) を式 (15) のように変形する．
L(x; v, n) = KrΩf  (cos(θ), Λ)Li dl(15)= Kr F (r, Λ; Ω)ただし，⎧⎨ cosΛ (θ)

f  (cos(θ), Λ) = ⎩0(16); if cos(θ) ≥ 0(17); otherwise

畳み込み積分の範囲
視点
正反射ベクトル

物体

問題となる位置にある光源

図 24 物体に隠される光源からの影響
この変形によって，物体に隠されている光源からの影響を受けるようになるため (図 24 参照)，表面が粗い表面 (Λ が小さい場合) を物体に対して浅い角度で観55

測する場合（n と v のなす角が π/2 に近い場合）に誤差が生じるが，そのような状況はまれであるためその影響は無視できると仮定する．
また，式 (15) の右辺を式 (16) のように表すと F は，表面の粗さが Λ であり視線からの正反射ベクトルが r となる物体上の点を観測した場合の写り込みの輝度値を得るための関数となる．このとき，F は環境 Ω にのみ依存するため，環境に変化がないと仮定すればあらかじめ計算することができ，正反射ベクトルの方向

r と表面粗さ係数 Λ の３次元のパラメータで記述可能なボクセル空間で表現される．そこで写り込みの輝度値をボクセルデータとして記録しておき，描画時にボクセルを参照することで高速な描画が可能となる．本研究ではこの環境の写り込
み情報を特に多重スケール環境マップと呼ぶ．

4.3.3 物体表面の粗さに応じた写り込み画像のボクセルデータ化保持される写り込み情報のうち，表面が粗い物体に対する写り込みは強いボケが生じていると考えられるため，写り込み情報を保持するために高い解像度を割り当てることは無駄である．そこで，表面が粗い物体に対する写り込み情報はボ
クセル空間の中心付近に，表面が滑らかな物体に対する写り込み情報はボクセル
空間の外周付近に格納する（図 25 参照）．こうすることで，粗い表面に対しては低解像度で，滑らかな表面に対しては高解像度で写り込みの情報を保持することができる．
多重スケール環境マップを表現するボクセル空間の中心からの方向が反射ベク
トル，ボクセル空間の中心からの距離が表面の滑らかさに対応し，写り込み情報の参照が容易になる．つまり，ボクセル空間の中心からあるボクセル t へのベク
トルを t とすると，以下の関係が成立する．

t = r · λ(18)

Λ = g(|t|) = g(|r| · λ)(19)

ただし，λ は本研究で用いる粗さの表現であり，Phong モデルにおける粗さ Λ との対応は関数 g によって与えられる．この関数については，4.3.4 節で詳しく述べる．

56

写り込み情報の参照
滑らかな表面に対する写り込み
粗い表面に対する写り込み

ボクセル空間の中心

多重スケール環境マップを表現するボクセル空間

図 25 ボクセル空間内に配置される写り込み情報57

環境マップとフィルタの畳み込み積分

注目ボクセルへのベクトル

cos Λ (ψ ) で表現されるフィルタ

多重スケール環境マップを表現するボクセル空間

環境マップ

図 26 多重スケール環境マップの計算
入力となる単位球面上に定義された環境マップを Ω，環境マップの中心から環境マップ上のある画素へのベクトルを ω とすると，多重スケール環境マップを計算するための式は以下の通りである．

Ω(ω ) · w(t, ω)F (t; t) =(20)

ω :0≤t·ωただし，(t · ω )Λw(t, ω) =  )Λ
ρ
:0≤t·ρ (t · ρΛ = g(|t|)

(21)
(22)

各ボクセルの値は，入力とする環境マップの各画素を光源とし，各光源に対して Phong モデルによる重み w(t, ω ) との重み付き加算を行い，その総和をとることで得られる．この計算は t と ω のなす角を ψ とおけば，入力となる環境マップに対して cosΛ (ψ) で表現されるフィルタの畳み込み積分を行うのと等価である（図26 参照）．

58

4.3.4 表面の粗さの表現
多重スケール環境マップではボクセル空間の中心からの距離が表面の粗さと対応しているため，ボクセル空間内で粗さが等しい点を選ぶとある半径の球面を構成する．このとき球面を構成するボクセルの数によって，ある粗さの写り込みを保持するのに用いられるボクセル数，すなわちある粗さの環境マップを保持する
解像度が決定する．ここで，滑らかな写り込みを保持する場合に解像度が低いと写り込みを正確に保持できない問題が発生する．
そこで，表面への写り込みがボクセルデータとして正しく保持できる条件が必要となる．これは，ある粗さの写り込みを保持する環境マップの空間分解能がcosΛ (ψ) で示されるフィルタのサイズを上回っていればよい．本研究では簡単のため，中心からの距離が同じである隣り合った 2 つのボクセルへのベクトルのなす角を ψvoxel ，ボクセルデータの輝度値の分解能を I ，ボクセル空間の解像度を sとした時，条件式 (23) を満たす Λ を表現可能な粗さとする．

1≥ cosΛ (ψvoxel )Iただし，ψvoxel = arctan(2/(|t| × s))

(23)

(24)

また，以上より式 (19) の g(|t|) は

Λ = g(|t|) =− log(I)log(cos(arctan(2/(|t| × s)))

(25)

となる．

4.3.5 重みテーブルの事前計算に基づく多重スケール環境マップの実時間生成式 (20) は畳み込み積分を行う計算であるため，計算量は環境マップ上の画素数と多重スケール環境マップのボクセル数に依存し，単純に実行すれば膨大な計算量となる．そこで，入力となる環境マップに解像度の異なる複数の画像を用いる
ことで計算の簡略化を行い，さらに重みをテーブル化することで描画結果に影響の少ない計算を省く．

59

4.3.6 ピラミッド画像と測地ドームの利用
多重スケール環境マップにおいてボクセル空間の中心付近の情報，すなわち表面が粗い物体に対応する写り込み情報は，計算結果を格納する際の解像度が低く
割り当てられている．しかし，式 (20) の計算ではボクセル空間の中心付近に存在するボクセルの輝度値を決定する際にも，入力となる環境マップの画素を利用して計算している．これは，粗い表面に対する写り込みを計算するために高い解像度の環境マップ使用することになり計算が膨大になる原因である．
そこで，表面が粗い物体に対応する写り込み情報の計算にはあらかじめ線形フィルタで縮小された環境マップ（ピラミッド型画像）を利用して式 (20) の計算を行う．また，本手法では入力となる環境マップからいったん細分化された測地
ドームを用いて再サンプリングを行う．これを行うことで，入力となる環境マップの形式に依存することが無くなり，さらに環境マップの形式による解像度の偏りが無くなる．図 27 は複数の解像度の画像を用いてフィルタ計算を行う場合の概念図を示す．

図 27 複数の解像度の画像を用いたフィルタ計算60

表 6 重みテーブルの例
対象ボクセル

環境マップ上の参照画素と重みのリスト

F (t0 )F (t1 )..
.
F (tN )(ω0,0 , w0,0 ),...

(ω1,0 , w1,0 ),...

, (ω0,M0 , w0,M0 ), (ω1,M1 , w1,M1 )..
.

(ωN,0 , wN,0 ), . . .

, (ωN,MN , wN,MN )4.3.7 重みテーブルの利用
本研究では，計算の高速化のために式 (20) の重みをあらかじめ計算することでテーブル化を行った．このとき，閾値 th を用いて cosΛ (ψ) > th を満たす重みのみをテーブルに記録する．これにより，計算結果に大きな影響を与える環境マッ
プの画素のみを計算対象とすることができ，計算量の削減が行える．なお，ボクセルの総数は N 個，i 番目のボクセルを計算する時に計算対象となる環境マップの画素数は Mi 個であるとする．
表 6 は重みテーブルに保存されるデータ形式を示す．左端の列は計算結果を格納するボクセルを示し，各ボクセルに対応した参照すべき環境マップ上の画素と重みの組である．各ボクセルの値はこのテーブルを用いて以下の式を計算することで決定される．

F (ti ) =MiΩ(ωi,j ) × wi,j

(26)

j=0

4.3.8 多重スケール環境マップを用いた写り込みの描画
写り込みの描画は多重スケール環境マップとして計算されたボクセルデータを

3D テクスチャとしてテクスチャマッピングすることで行う．図 28 は，写り込みを描画する際のテクスチャ座標の決定方法を示している．ボクセルデータのサンプ
リングに用いられるテクスチャ座標 t は，ユーザが設定する粗さ係数 λ(0 < λ ≤ 1)と正規化された視点からの反射ベクトル r より式 (18) で計算される．

61

このとき，粗さ係数を描画するポリゴンの頂点単位に設定することで，粗さが一様でない表面に対する写り込みを一度に描画することが可能である．また，正反射ベクトルの計算には近年のグラフィックハードウェアの機能であるテクスチャ
座標生成を用い，さらにハードウェアの 3D テクスチャマッピング機能を利用することで高速な描画を行う．

正反射ベクトル

r
r

テクスチャ
マッピング

r

テクスチャ座標λ ⋅rλ

物体表面の粗さ

視点

多重スケール
環境マップ

物体

図 28 テクスチャマッピングによる写り込みの描画

62

4.4 実験と考察
4.4.1 合焦位置の推定精度の評価
本節では 4.2.1 で示したカメラの合焦位置の推定処理の有効性を確認するために，本実験では手動で設定した合焦位置と複数のマーカを用いて推定した合焦位置の関係を調べる．実験環境を図 29 に示す．6 個のマーカを配置したシーンにカメラを固定した．カメラはマーカを配置した平面に対して，鉛直上向きに 0.35mの高さに配置し，カメラからマーカまでの距離が水平方向に 0.4m, 0.525m, 0.65mとなる位置にそれぞれ 2 個のマーカを配置した．そして，カメラの合焦位置は距離を既知な物体に対して焦点を合わせることで設定し，0.2m から 1.2m まで 0.1m
刻みで変更した．4.2.1 節で述べた手法を用いたカメラの合焦位置の推定を，それぞれ 15 回試行した．合焦位置の推定に必要なパラメータはそれぞれ ργ = 240 画
素/m, f = 0.006m, κ = 1.8 画素とし，f はレンズの設計データを用い，ργ, κ は，
事前のキャリブレーション処理によって定めた．

カメラ

0.35m

0.4m
0.525m0.65m
図 29 合焦位置の推定精度評価の実験環境

63

3

合焦位置の推定値
最大値

2.5

標準偏差
平均

2
1.5

最小値

1

合焦位置の真値

0.5
0
0

0.2

0.4

0.6

0.8

1

1.2

1.4

仮想物体に再現されるぼけの大きさの誤差0.05画素
仮想物体に再現されるぼけの大きさの誤差0.1画素

図 30 手動で設定した合焦位置と推定された合焦位置の関係

図 30 に設定した合焦位置と推定された合焦位置の関係を示す．図において，◆
印は推定値の平均，ハコは推定値の標準偏差の大きさ，ヒゲは推定値の最大・最小値を表し，○印は真値を表している．また，図中の点線と破線は，ある合焦位置の基で仮想物体に生じるぼけの大きさと，推定された合焦位置で再現されるぼけの大きさの差の最大値が，0.2m から 1.2m の範囲においてある値以下になる範囲を示している．すなわち，合焦位置の推定値が真値を挟んだ点線以内であれば，仮想物体に再現されるぼけをぼけの大きさの誤差 0.05 画素以下で再現することが可能である．同様に，真値を挟んだ破線以内であれば誤差 0.1 画素以下で仮想物
体にぼけを再現することが可能である．
図より設定した合焦位置が 0.2m〜0.9m の場合は合焦位置の推定結果がほぼ真値に近いことが分かる．しかし，設定した合焦位置が 1m 以上の場合では，0.2m〜0.9m の場合に比べてばらつきが大きくなっている．また，真値に対する推定値の平均の誤差も大きくなる傾向が見える．原因として，式 (10) の最小化に基づく
合焦位置の推定において，カメラが遠景に合焦している場合では推定されたカメラからマーカまでの奥行き zk と PSF パラメータ rk に対する誤差が合焦位置の推定結果に対して大きな影響を与えていることが考えられる．しかし，いずれの場合においても推定値は破線以内に収まっているため，仮想物体に再現されるぼけ64

の大きさの誤差が 0.1 画素以下でぼけを再現することが可能である．

4.4.2 モーションブラーの推定精度の評価
本研究ではマーカを撮影した画像から 2.5 で示した楕円 PSF に基づくぼけの推定処理を行い，カメラの合焦位置とモーションブラーのパラメータを推定している．本節では様々な大きさのモーションブラーが発生した場合における，カメラの合焦位置とモーションブラーパラメータの推定精度を評価する．同時に，モーションブラーが合焦位置の推定結果に与える影響について検証する．

ロボットアーム

カメラ

0.45mm

図 31 モーションブラーの推定精度の評価の実験環境

実験環境を図 31 に示す．マーカは水平面に 12 個配置し，カメラはロボットアー
ムを用いて鉛直方向を回転軸として角速度一定で回転させた．カメラの合焦位置，モーションブラーの大きさ，モーションブラーの方向のそれぞれについて 4.2.1 節の手法によって推定される値と真値を比較した．なお，カメラの合焦位置は 0.45mとし，カメラは毎秒 30 度の角速度で回転させた．カメラの露光時間は 20ms, 40ms,

60ms の 3 通りに変更した．
65

表 7 合焦位置の真値と推定結果
露光時間

真値

推定値の平均値

誤差の標準偏差

誤差の平均

20ms

0.45m

0.42m

0.012m

0.03m

40ms

0.45m

0.41m

0.022m

0.04m

60ms

0.45m

0.40m

0.023m0.05m

表 8 モーションブラーの真値と推定結果
露光時間

真値

推定値の平均値

誤差の標準偏差

誤差の平均

20ms

3.46pixel

3.15pixel

0.31pixel

0.31pixel

40ms

6.92pixel

6.9pixel

0.53pixel

0.02pixel

60ms

10.4pixel

9.5pixel

0.71pixel

0.9pixel

表 9 モーションブラーの方向の真値と推定結果
露光時間

真値

推定値の平均値

誤差の標準偏差

誤差の平均

20ms

0deg.

0.84deg.

3.63deg.

0.84deg.

40ms

0deg.

-0.79deg.

4.34deg.

-0.79deg.

60ms

0deg.

2.2deg.

4.08deg.

2.2deg.

66

表 7 に露光時間を変更した際の合焦位置の真値，推定値の平均，推定値の標準偏差を示す．表より，露光時間が長くなりモーションブラーが大きくなるにつれて，合焦位置の推定誤差が大きくなり，推定精度が下がっていることがわかる．
表 8 に露光時間を変更した際のモーションブラーの大きさの真値，推定値の平均，推定値の標準偏差を示す．なお，モーションブラーの大きさの真値はカメラの画
角，解像度，回転速度，露光時間から計算した．表 9 に露光時間を変更した際のモーションブラーの方向の真値，推定値の平均，推定値の標準偏差を示す．推定値が真値に近く，画像からのぼけ推定によってモーションブラーの大きさ・方向を良好に推定できていることが分かる．
以上の結果について考察を行う．本手法によるぼけ推定は最も誤差が大きい露
光時間が 60ms の場合で，合焦位置の推定誤差が 0.05m，モーションブラーの大きさの推定誤差が 0.9 画素，モーションブラーの方向の誤差が 2.2 度であった．ここで，本実験で用いたカメラでは合焦位置に 0.05m の誤差があった場合，奥行き

0.2m〜無限遠の範囲で式 (9) で計算されるぼけの大きさは真値に対して差が 0.5画素以下となる．つまり，露光時間が 60ms の場合に本手法によって再現されるぼけの大きさは，実画像で生じているぼけの大きさに対して最大で 1.4 画素の誤差が含まれる．ユーザが画質の不一致を感じる画像のぼけの大きさと方向の誤差
は，画像に生じているぼけの強さや重畳表示する画像の内容，アプリケーションに依存すると考えられ，一概に定めることはできないと考えるが，1.4 画素の誤差はビデオシースルー型の拡張現実感に用いるディスプレイの分解能とほぼ等し
く，本手法によるぼけの大きさの推定誤差がユーザに対して与える違和感は小さ
いと考える．

4.4.3 奥行きに応じたぼけの再現結果
本節では，仮想物体に再現されるぼけと，実画像で生じているぼけを比較する
ため，シーン中のテストパターンと同じ位置に仮想物体のテストパターンを合成する．ぼけの再現を行わない画像合成と 4.2 節で述べた手法による画像合成を行い，実画像と合成画像の輝度値の差を比較する．なお，カメラは固定し，カメラの焦点はテストパターンの遠景 (カメラから 0.6m) に合わせた．また，実環境と67

仮想環境の照明条件の一致は手動で行った．
図 32 に評価に用いた画像を示す．(a)〜(c) はそれぞれ実画像，仮想物体に対してぼけの再現を行わずに生成した合成画像，本手法によって生成した合成画像を示し，図の左側が近景である．また，(d), (e) は図中 A, B で示した部分の輝度変化を表し，グラフの横軸が画像の位置，縦軸が画素の輝度値である．図 32(b) はぼけが再現されていないのに対して，図 32(c) では合焦位置に近づくにつれてぼけが徐々に弱くなっており，本手法を用いることで奥行きに応じたぼけの再現が行えていることが分かる．図 32(d), (e) から，本手法によるぼけの再現によって実画像のエッジの勾配と本手法によって合成された仮想物体のエッジの勾配がほぼ一致しており画質の差を軽減できていると考える．
図 33 にエッジ上の位置と実画像と合成画像の輝度値の差の 2 乗和の関係を示す．横軸はエッジに沿った画素の位置を示し，図において左側が近景である．縦軸はエッジと直交する方向に沿って実画像と合成画像の輝度値の差の二乗和を計算した値である．ぼけ再現が無い画像合成手法では，全体的に誤差が大きく画質の差が大きいことがわかる．さらに，遠景から近景になるにつれて誤差が大きくなっており，これは奥行きに応じたぼけの大きさの変化を再現できていないためである．これに対して，本手法による画像合成を行った場合は全体的に輝度値の差が小さく，ぼけ再現の効果が現れている．特に，近景と遠景で誤差の大きさが同程度になっており，奥行きに応じたぼけを再現した効果が現れている．

4.4.4 粗さが異なる表面に対する写り込みの再現結果
本節では，本研究で用いた Phong モデルの近似が与える影響を式 (13) の Phong
モデルによる描画結果と 4.3 節で述べた手法による描画結果を比較して検証する．
実験方法として，図 34 に示す解像度 512 × 256 の全方位パノラマ画像を入力として，仮想物体に対して本手法と Phong モデルによる描画を行った．仮想物体としてティーポットを用い，表面の粗さは λ = 1.0, 0.75, 0.5, 0.25，不均一なものの合計 5 通りである．不均一な粗さの場合は，下半分の部分は λ = 0.2 程度の粗さを持ち，上半分は λ = 0.9 程度の反射特性を持つように設定した．そして，Phong
モデルによる描画結果を真値として結果画像の輝度値の誤差の平均，標準偏差を

68

近景

遠景

(a) 実物体(b) 重畳表示された仮想物体(ぼけ再現なし)(c)重畳表示された仮想物体(提案手法によるぼけ再現あり)

A
256

B
(a) 実画像(b) ぼけ再現なし

値度192
輝12864(c) 提案手法

01116(d) A 部分の輝度値の比較

256

21

画像上の
位置

(a) 実画像(b) ぼけ再現なし

値度192
輝128

(c) 提案手法

64
0
11

16
(e) B 部分の輝度値の比較

画像上の
位置
21

図 32 評価に用いた画像とエッジ部分での輝度変化の比較

69

輝度値の差の二乗和

25000

提案手法
ぼけ再現なし

20000
15000
10000
5000
0
640
近景

590

540

490

440

画像上での位置

390

340
290
遠景

図 33 エッジ上の位置と輝度値の差の 2 乗和の関係

示し，計算時間についても比較する．なお，多重スケール環境マップの解像度は128 × 128 × 128 とし，高速化の際の閾値は th=0.001 とした．また，Phong モデルによる描画は本手法で指定した粗さ係数 λ と対応する粗さ係数を与えた．
輝度値の比較を行った結果を表 10 に示す．表 10 より，本手法が Phong モデルと比較して 256 階調の輝度値で 3 階調程度で近似できており，人間が見た場合には差が知覚できないと考えられる．また，表 10 の結果から，表面が粗い場合，つまり粗さ lambda が小さくなるにつれて，誤差が大きくなっている傾向が見える．
図 35 に，図 34 に示した環境マップを入力として作成した多重スケール環境マップを用いてティーポットに対して写り込みを描画した結果を示す．Phong モデル
による描画結果が (a)，本手法による描画結果が (b)，(a) と (b) の差分画像が (c)である．図 35(b) から，表面が滑らかなティーポットの上部に対して，表面が粗いティーポットの下部において，誤差が大きくなっていることが分かる．
表面が粗い場合において写り込みの輝度値の差が大きくなる傾向は，多重ス
ケール環境マップに粗さに応じた写り込み情報を保持する際の解像度不足が原因であると考えられる．また，物体のエッジ付近や，写り込みのエッジ付近で誤差が見られる．前者は本手法で用いた Phong モデルに対する近似による影響，後者は多重スケール環境マップを用いてテクスチャマッピングする際の線形フィルタによる影響と考えられる．

70

図 34 実験に用いた全方位パノラマ画像
計算時間の比較を表 11 に示す．計算には Core 2 Quad 2.4GHz，メモリ 4GByte，
グラフィックカードとして NVIDIA 社 GeForce 8600GTS(VRAM 256MByte) を搭載した計算機を用いた．本手法では重みテーブルの作成に 5 時間 42 分程度，多重スケール環境マップの作成に 3 秒ほど要するが，一度多重スケール環境マップ
を作成すれば 60fps 以上で実時間描画を行うことが可能である．対して Phong モ
デルによる描画では，1 フレームあたり 2 分 20 秒程度を要するため，写り込みの高速な描画は困難である．

71

(a) Phong モデルによる結果(b) 提案手法 (重みテーブルを用いた高速化あり)(c) Phong モデルとの差分画像
図 35 不均一な粗さを持つティーポットに対する描画結果の比較

72

表 10 Phong モデルによる描画結果との比較
粗さ

誤差の平均

誤差の標準偏差λ = 1.0(2.2, 2.2, 2.2) (0.20, 0.20, 0.19)

λ = 0.75 (2.4, 2.5, 2.5) (0.23, 0.23, 0.22)
λ = 0.5(3.0, 3.0, 3.0) (0.30, 0.31, 0.30)

λ = 0.25 (3.5, 3.5, 3.6) (0.36, 0.38, 0.37)
不均一(3.3, 3.3, 3.4) (0.34, 0.35, 0.35)

表 11 Phong モデルとの計算時間の比較 ([時間:分:秒])
手法
提案手法

Phong モデル

重みテーブル

多重スケール環境の作成

マップの作成5:41:34

0:00:03< 0:00:0.017(60fps)——

0:02:2073

描画に要する時間

4.5 結言
本章では拡張現実感における光学的整合性を向上させるための仮想物体に対す
るぼけ再現手法と，仮想物体の表面粗さに応じた写り込みの描画手法について述
べた．本研究では，実環境と仮想物体の間の画質の一致のために，実環境中に配置された複数のマーカで推定された PSF パラメータとマーカまでの奥行きを基にカメラで生じる画像ぼけを推定し，仮想物体に対して奥行きに応じた焦点ずれ
によるぼけとモーションブラーを再現する．また，環境の照明条件に応じた写り込みを再現するために，物体の複数の粗さに応じた写り込み情報を格納した多重スケール環境マップを用いて表面の粗さに応じた写り込みを高速に描画する．
実画像を用いた実験から，焦点ずれによるぼけのみならず，焦点ずれによるぼけとモーションブラーが生じている場合でも，カメラの合焦位置とモーションブ
ラーの大きさと方向を良好に推定できることを確認した．また，再現される画像のぼけは，理想的に画像のぼけが再現された場合と比べて，焦点ずれによるぼけのみが生じている場合で 0.1 画素以下の誤差，焦点ずれによるぼけとモーション
ブラーが存在する場合で最大で 1.4 画素の誤差で仮想物体に対して画像のぼけを再現することが可能である．さらに，表面の粗さに応じた写り込みを実時間で描画でき，再現される写り込みは Phong モデルによる写り込みと比較して，256 階調の輝度値で 3 階調程度の誤差で再現できることを確認した．

74

5. 写実性の高い拡張現実感システムの試作
本章では，提案手法による幾何学的・光学的整合性の解決による拡張現実感シ
ステムを用いた製品のデザインを確認するアプリケーションを試作し，提案手法の有効性を確認する．

5.1 システム構成と処理の概要
図 36 に本システムの外観を示す．幾何学的整合性の解決は，平面上に固定された複数の画像マーカを用いて実現する．また，環境の照明条件はマーカに固定された座標系に設置された魚眼カメラから取得した．

ユーザ視点カメラ（LuCam LU-135, USB2.0,
1024×768画素, 15fps）

ユーザ視点画像

画像マーカ

計算機（Core 2 Quad 2.4GHz,
Memory 4GByte,
GeForce 8600 GTS,
Video memory 256MByte）

ディスプレイ

画像合成結果
光源環境画像
光源環境取得カメラ（Pointgray research Flea, IEEE1394,
640×480画素, 30fps）

図 36 試作した拡張現実感システムの外観

75

ユーザ視点カメラ画像

光源環境画像(A1) 画像マーカの検出(A2) 画像マーカ毎のPSFパラメータの推定(A3) マーカ座標系におけるカメラの位置・姿勢の推定(B1) 多重スケール
環境マップの作成
多重スケール
環境マップ(A4) カメラの合焦位置とモーションブラーの推定(A5) 画像のぼけと写り込みを再現した仮想物体の描画

多重スケール環境マップ
生成処理

画像合成処理合成画像

非同期に実行図 37 提案手法の処理の流れ

図 37 に処理手順を示す．まず，カメラを用いて実環境を撮影し，実画像から形状と色が既知のマーカを検出する (図 37 (A1))．次に，実画像中のマーカのエッジ部分の輝度に対して，PSF から求めたぼけが生じた場合のエッジの輝度変化を表す関数を当てはめ，PSF のパラメータを推定する (図 37 (A2))．そして，推定された画像のぼけとマーカの実画像中の位置からぼけがない場合のマーカの形状を復元し，カメラの位置・姿勢を推定する (図 37 (A3))．次に，複数のマーカからカメラの合焦位置とシーン全体のモーションブラーを推定する (図 37 (A4))．最後に，推定されたぼけを考慮して仮想物体を描画し，実画像と合成する (図 37 (A5))．

76

拡張現実感の実時間性を保つため，多重スケール環境マップの生成 (図 37 (B1))
は非同期に行った．さらに，計算量を削減するため多重スケール環境マップのボ
クセルの一部のみ，重みテーブルを用いた計算を行った．
式 (27) に示すように，多重スケール環境マップの中心からあるボクセルまでのベクトル t の長さが (1/2)i であるものを計算対象とし，それ以外のボクセルは写り込みの描画時に近傍ボクセルからの線形補間によってボクセルの輝度値を決定した．

F (t; t)=⎧⎪⎪
環境マップと重みテーブルに ;⎪⎪⎨|t| = (1/2)i , i は整数,

よる輝度値の計算⎪⎪⎪⎪⎩ 近傍ボクセルからの線形補間 ;(27)otherwise

5.2 実験と考察
試作したシステムの有用性を確認するために画像合成実験を行った．まず，本研究の目的の 1 つである光学的整合性の向上が達成できていることを確認するた
め，実環境に対して仮想物体を合成する画像合成実験を行った．そして，本システムの応用例の 1 つであるインテリアデザインのシミュレーションを行う場合を想定した画像合成実験を行った．

5.2.1 試作システムによる光学的整合性の向上の確認
本実験では，幾何学的整合性の解決には実環境中にマーカを 4 個配置し，マー
カ位置に仮想物体を合成した．仮想物体として異なる表面粗さを持つ物体からなる地球儀を用いた．この仮想物体は土台部では表面がなめらかな反射特性を持ち，球の部分では部位に応じて表面の粗さが異なる物体から構成されている．
図 38 に焦点外れによるぼけが生じている場合の画像合成結果を示す．図 38(a)はぼけ再現を伴わない画像合成結果，図 38(b) は提案手法による画像合成結果である．図 38(a) において，仮想物体は常に鮮明に描画されているため実物体との77

画質の差が発生してしまい違和感が大きい．対して図 38(b) では，ぼけの再現によって仮想物体の違和感が軽減されていることが確認できる．また，図 38(c) はカメラの水平方向の回転によるモーションブラーが生じている場合の提案手法による画像合成結果である．図からモーションブラーが生じた場合でも画質の一致が図れていることが確認できる．
また，物体表面の粗さと環境の照明条件に応じた写り込みの再現によって，仮想物体の写実性が向上できていることを確認する．図 39 に拡散反射成分のみによる仮想物体の描画結果と，拡散反射成分と表面の粗さに応じた写り込みを再現した場合の比較結果を示す．図 39(a) は拡散反射成分による陰影のみを再現した
仮想物体の描画結果である．一方，図 39(b) は拡散反射成分と粗さに応じた写り込みを再現した描画結果である．これらの図から，物体表面の粗さに応じた写り込みによって仮想物体の写実性が向上していることが分かる．
なお，本システムは Core 2 Quad 2.4GHz，メモリ 4GByte，グラフィックカー
ドとして NVIDIA 社 GeForce 8600GTS(VRAM 256MByte) を搭載した計算機を用いておよそ 10fps で動作した．

78

(i)

(i)

(ii)
(ii)
(a) ぼけの再現を伴わない画像合成結果

(i)

(i)

(ii)
(ii)
(b) 提案手法による画像合成結果（焦点ずれによるぼけが生じている場合）

(i)
(i)
(ii)

(ii)
(c) 提案手法による画像合成結果（焦点ずれによるぼけとモーションブラーが生じている場合）
図 38 画質の一致の有無による画像合成結果の比較

79

(a) 拡散反射成分による陰影のみを再現した仮想物体の描画(b) 拡散反射成分による陰影と物体表面の粗さに応じた
写り込みを再現した仮想物体の描画
図 39 物体表面の粗さに応じた写り込みの再現の有無による画像合成結果の比較

80

5.2.2 インテリアデザインシミュレーションを想定した画像合成実験
本実験では，インテリアデザインのシミュレーションのような応用例を想定して，仮想物体を実環境に合成した．仮想物体を重畳表示する位置に，光源環境推
定用のカメラを一体化させた 4 つのマーカを配置した．仮想物体として，形状や表面の反射特性が異なる，2 つのプロジェクタのモデルを用意した．図 40 に実験
環境を示す．図 40(a) はマーカと光源環境推定用カメラの外観である．また，図40(b) は実験で用いた視点と環境の位置関係を表している．
本システムによって実現される拡張現実感は，複数のモデルを切り替えて重畳表示することや，様々な方向から仮想物体を見ることが可能である．図 41 に仮想物体としてプロジェクタ 1 を重畳表示した結果を示す．図 41(a)，(b) の様に異なる視点から撮影された画像に対して仮想物体を重畳表示可能であることが分かる．また，図 41(c) に示すようにマーカを操作することで仮想物体の位置・姿勢を変更することが可能である．
図 42 は仮想物体としてプロジェクタ 2 を重畳表示した結果である．図 41 と同様に視点の変更や，マーカを介した仮想物体の操作が可能である．本システムを用いることで，環境中に配置する物体のデザインやレイアウトなどを容易に変更することが可能であり，インテリアデザインシミュレーションを支援することができると考える．

81

(a) 環境に配置されたマーカと光源環境推定用カメラの概観

環境中に配置されたマーカ

光源環境推定に用いるカメラ机
視点１

視点２(b) 実験に用いた視点の環境中での位置（環境を上から俯瞰した図）
図 40 環境に配置されたカメラとマーカの外観と実験に用いた視点の位置関係

82

(a) 視点 1 からの画像合成結果(c) 視点 2 からの画像合成結果(b) 視点 1 からの画像合成結果．
マーカを操作することで仮想物体の位置・姿勢を変更することが可能．
図 41 実環境に対してプロジェクタ 1 を重畳表示した例

83

(a) 視点 1 からの画像合成結果(b) 視点 2 からの画像合成結果(c) 視点 1 からの画像合成結果．
マーカを操作することで仮想物体の位置・姿勢を変更することが可能．
図 42 実環境に対してプロジェクタ 2 を重畳表示した例

84

5.3 結言
本章では，画像マーカと魚眼カメラを用いた写実的な仮想物体を重畳表示可能
な拡張現実感システムを試作した．試作システムでは画像マーカを用いて幾何学的整合性を解決し，仮想物体に対する画像のぼけの再現によって実画像と仮想物
体の画質の差を軽減し，表面の粗さに応じた写り込みを再現することで光学的整合性を実現した．
実験において，試作システムが写実的な仮想物体を重畳表示できることを確認した．特に，カメラに焦点ずれやモーションブラーが生じている場合でも，提案手法による画像合成によって画質の差による違和感が軽減できることを確認した．
また，物体表面の拡散反射成分のみならず，粗さに基づいた写り込みを再現する
ことで，仮想物体の写実性を向上させることができた．そして，2 つのプロジェ
クタのモデルを用いたインテリアデザインのシミュレーションを行い，試作シス
テムの有用性を確認した．

85

6. 結論6.1 本論文のまとめ本研究では拡張現実感におけるカメラで生じる画像の劣化によって幾何学的・光学的整合性が損なわれる問題に対して，画像のぼけ推定によって幾何学的・光学的整合性を向上させる手法を提案した．本手法は，パラメータ表現された PSFと画像マーカから画像のぼけの実時間推定を行い，推定された画像のぼけを用いて，幾何学的・光学的整合性を向上させる．幾何学的整合性の向上を目的として，
画像のぼけを考慮したマーカの形状復元によって，画像の劣化による位置・姿勢の推定精度の低下を軽減する．また，光学的整合性の向上を目的として，推定された画像のぼけを仮想物体に再現することで，実画像の画質と重畳表示される仮想物体の画質の差による違和感を軽減する．さらに，仮想物体の写実性を向上させるため，物体表面の粗さに応じた写り込み情報を保持した多重スケール環境マップを用いて粗さに応じた写り込みの実時間描画を実現する．
実験から提案手法が画像のぼけを良好に推定でき，幾何学的・光学的整合性を向上できることを確認した．幾何学的整合性の向上として，画像のぼけの影響によるカメラの位置・姿勢の推定精度の低下を軽減できることを確認した．光学的整合性の向上として，テストパターンを用いた実画像と仮想物体の比較により実画像と仮想物体の画質の差を軽減できていることを確認した．また，表面の粗さに応じた写り込みが実時間描画できることを確認した．そして，写実的な拡張現実感を実現可能なプロトタイプシステムを構築し，プロトタイプシステムを用いた画像合成実験によって提案手法の有用性を確認した．

6.2 今後の展望
本論文ではマーカを用いた画像のぼけ推定結果を利用して，マーカからのカメラの位置・姿勢の推定精度と画質に関する整合性の向上手法を提案したが，幾何学的・光学的整合性を向上させるため，以下の手法の検討が考えられる．

86

カメラの位置・姿勢の推定結果と画像のぼけ推定結果の組み合わせによる幾何学
整合性の向上2 章で述べた，マーカを撮影した画像からの PSF パラメータの推定手法によって推定される PSF パラメータのなかで，モーションブラーの大きさと方向はカメラの動きに関する情報を含んでいる．
そこで，画像中の特徴点から推定されたカメラの位置・姿勢と画像のぼけから推定されたモーションブラーのパラメータを組み合わせることで，推定されるカメラの位置・姿勢の高精度化が期待できる．
環境中の特徴点を用いた画像のぼけ推定による画質に関する整合性の向上

本研

究は画像中の複数のマーカを用いてカメラの位置・姿勢の推定と画像のぼけの推定を実現しているため，カメラが移動可能な範囲はマーカを撮影可能な範囲に制限されている．一方，カメラの位置・姿勢の推定には少なくとも 1 つのマーカが撮影されていればよい．つまり，複数の画像マーカを安定して検出できないような場合では画質の一致を達成できない場合が生じる．
この問題を解決するため，環境のエッジや角などの特徴的な部分を撮影した画像を利用してマーカが検出できない場合に画像のぼけ推定を補助するような手法が考えられる．例えば，マーカを用いた画像のぼけ推定結果と画像中のエッジの強度の情報を対応づけることで，複数のマーカが存在しない画像においても，画像のぼけ推定を実現することが期待できる．

87

謝辞
本研究は奈良先端科学技術大学院大学 情報科学研究科 視覚情報メディア講座
在学中に行った研究をまとめたものですが，博士課程前期と博士課程後期の間に2 年間の (株) デンソーでの勤務を挟んでいます．本研究は多数の方のご協力により完成することができました．
はじめに，本研究を進めるにあたり非常に寛大な心で多大なご助言，御指導を頂きました視覚情報メディア講座 横矢 直和 教授に厚く御礼申し上げます．特に，博士課程前期・後期を通じて国内外での発表の機会を数多く与えて頂き，その度にきめ細やかな指導をして頂きました．
また，副指導教官として御助言を頂いた像情報処理講座 千原 國宏 教授，並びに 視覚情報メディア講座 山澤 一誠 準教授に深く感謝致します．様々な場において正鵠を得たご指摘をいただいたことで，本研究をより良いものへ発展することができました．
そして，研究ミーティングや学外発表の練習の場において貴重な御助言，ご指導をいただきました視覚情報メディア講座 神原 誠之 助教，視覚情報メディア講
座 佐藤 智和 助教，(株) 豊田中央研究所 町田 貴史 博士に深く感謝をいたします．
日々の研究室の活動を支えて下さった視覚情報メディア講座事務補佐員 北川
知代 女史，同 高橋 美央 女史に心より感謝申し上げます．
さらに，本研究に対して忌憚のないご意見をくださった像情報処理講座 池田聖 助教，立命館大学 研究員 天目 隆平 博士，筆者が博士課程前期・後期在籍時の諸氏に深く感謝をいたします．本研究を進めるにあたり多大なる御協力を頂きました．ここに感謝の意を表します．

88

参考文献
[AB00]

Naoki Asada and Masashi Baba. A uniﬁed camera model of zoom, focus and iris parameters for camera-calibrated computer graphics. In
Proceedings of the 6th International Conference on Computer Graphics and Imaging, pp. 101–106, 2000.

[AB02]

Naoki Asada and Masashi Baba. A thin lens based camera modelfor depth estimation from defocus and translation by zooming. In
Proceedings of the 15th International Conference on Vision Interface,pp. 274–281, 2002.

[ABB+ 01]

Ronald T. Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner,
Simon Julier, and Blair MacIntyre. Recent advances in augmented
reality. Presence: Teleoperators and Virtual Environments, Vol. 21,
No. 6, pp. 34–47, 2001.

[ALCS03]

Kusuma Agusanto, Li Li, Zhu Chuangui, and Ng Wan Sing. Photorealistic rendering for augmented reality using environment illumination. In Proceedings of the 2nd IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2003), pp. 208–216,
2003.

[App68]Arthur Appel. Some techniques for shading machine rendering ofsolids. In Proceedings of AFIPS Joint Computer Conference, pp.
37–45, 1968.

[Azu97]

Ronald T. Azuma. A survey of augmented reality. Presence: Teleoperators and Virtual Environments, Vol. 6, No. 4, pp. 355–385, 1997.

[BAOR06] Aner Ben-Artzi, Ryan Overbeck, and Ravi Ramamoorthi. Real-time
brdf editing in complex lighting. ACM Transactions on Graphics,
Vol. 25, No. 3, pp. 945–954, 2006.
89

[BF04]Isabelle Begin and Frank P. Ferrie. Blind super-resolution using alearning-based approach. In Proceedings of the 17th IAPR International Conference on Pattern Recognition (ICPR2004), pp. 85–89,
2004.

[BFO92]

Mike Bajura, Henry Fuchs, and Ryutarou Ohbuchi. Merging virtual
objects with the real world: Seeing ultrasound imagery within thepatient. In Proceedings of SIGGRAPH, pp. 203–210, 1992.

[BN76]

James F. Blinn and Martin E. Newell. Texture and reﬂection incomputer generated images. Communications of the ACM, pp. 542–
547, 1976.

[BN95]

Michael Bajura and Ulrich Neumann. Dynamic registration correction in video-based augmented reality systems. IEEE Computer
Graphics and Applications, Vol. 15, No. 5, pp. 52–60, 1995.

[CON99]Brian Cabral, Marc Olano, and Philip Nemec. Reﬂection space image based rendering. In Proceedings of SIGGRAPH, pp. 165–170,
1999.

[CPC84]Robert L. Cook, Thomas Porter, and Loren Carpenter. Distributed
ray tracing. In Proceedings of SIGGRAPH, pp. 137–145, 1984.

[DB97]Paul J. Diefenbach and Norman I. Badler. Multi-pass pipeline rendering: Realism for dynamic environments. In Proceedings of ACM
Symposium on Interactive 3D Graphics, pp. 59–70, 1997.

[Deb98]Paul Debevec. Rendering synthetic objects into real scenes: Bridging
traditional and image-based graphics with global illumination andhigh dynamic range photography. In Proceedings of SIGGRAPH,
pp. 189–198, 1998.

90

[DWWS04] Andreas Dietrich, Ingo Wald, Markus Wagner, and Philipp Slusallek.
VRML scene graphs on an interactive ray tracing engine. In Proceedings of IEEE Virtual Reality (VR2004), pp. 109–116, 2004.
[FBS05]Jan Fischer, Dirk Bartz, and Wolfgang Strasser. Stylized augmented
reality for improved immersion. In Proceedings of IEEE Virtual Reality (VR2005), pp. 195–202, 2005.

[FdAMS02] Michele Fiorentino, Raﬀaele de Amicis, Giuseppe Monno, and Andre Stork. Spacedesign: A mixed reality workspace for aesthetic
industrial design. In Proceedings of the 1st IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2002),
pp. 86–94, 2002.
[FFvDH93] James D. Foley, Steven K. Feiner, Andries van Dam, and John F.
Hughes. Computer Graphics: Principles and Practice (Second Edition in C). Addison-Wesley Publishing Company, 1993.
[FS98]Jan Flusser and Tomas Suk. Degraded image analysis: An invariant approach. IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 20, No. 6, pp. 590–603, 1998.

[FS05]

Paolo Favaro and Stefano Soatto. A geometric approach to shapefrom defocus. IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 27, No. 3, pp. 406–417, 2005.

[GCHH03] Simon Gibson, Jon Cook, Toby Howard, and Roger Hubbold. Rapid
shadow generation in real-world lighting environments. In Proceedings of the 14th Eurographics Workshop on Rendering, pp. 219–229,
2003.
[Gre86]

Ned Greene. Environment mapping and other applications of world
projections. IEEE Computer Graphics and Applications, pp. 21–29,
1986.
91

[HLB05]

Michael Haller, Florian Landerl, and Mark Billinghurst. A loose
and sketchy approach in a mediated reality environment. In Proceedings of the 3rd International Conference on Computer Graphics
and Interactive Techniques in Australasia and South East Asia, pp.
371–379, 2005.

[HS98]

Wolfgang Heidrich and Hans-Peter Seidel. View-independent environment maps. In Proceedings of Eurographics/Siggraph Workshop
on Graphics Hardware, pp. 39–45, 1998.

[HS99]

Wolfgang Heidrich and Hans-Peter Seidel.

Realistic, hardware-

accelerated shading and lighting. In Proceedings of SIGGRAPH,
pp. 171–178, 1999.
[KBP+ 00]

Hirokazu Kato, Mark Billinghurst, Ivan Poupyrev, Kenji Imamoto,and Keihachiro Tachibana. Virtual object manipulation on a tabletop ar environment. In Proceedings of IEEE and ACM International
Symposium on Augmented Reality (ISAR 2000), pp. 111–119, 2000.

[KD04]

Georg Klein and Tom Drummond. Tightly integrated sensor fusion
for robust visual tracking. Image and Vision Computing, Vol. 22,
No. 10, pp. 769–776, 2004.

[KH96]

Deepa Kundur and Dimitrios Hatzinakos. Blind image deconvolution. In IEEE Signal Processing Magazine, pp. 43–64, 1996.

[KKO00]Kiyoshi Kiyokawa, Yoshinori Kurata, and Hiroyuki Ohno. An opticalsee-through display for mutual occlusion of real and virtual environments. In Proceedings of IEEE and ACM International Symposium
on Augmented Reality (ISAR 2000), pp. 60–67, 2000.

[KM00]Jan Kautz and Michael D. McCool. Approximation of glossy reﬂection with preﬁltered environment maps. In Proceedings of Graphics
Interface, pp. 119–126, 2000.
92

[KMH95a] Craig Kolb, Don Mitchell, and Pat Hanrahan. A Realistic Camera
Model for Computer Graphics. In Proc. of SIGGRAPH, pp. 317–
324, 1995.
[KMH95b] Craig Kolb, Don Mitchell, and Pat Hanrahan. A realistic camera
model for computer graphics. In Proceedings of SIGGRAPH, pp.
317–324, 1995.
[KVHS00]

Jan Kautz, Pere-Pau Vázquez, Wolfgang Heidrich, and Hans-Peter
Seidel. A uniﬁed approach to preﬁltered environment maps. In Proceedings of Eurographics Rendering Workshop on Rendering Techniques, pp. 185–196, 2000.

[KY04]

Masayuki Kanbara and Naokazu Yokoya. Real-time estimation oflight source environment for photorealistic augmented reality. In
Proceedings of the 17th IAPR International Conference on Pattern
Recognition (ICPR2004), pp. 911–914, 2004.

[LVTF03]

Vincent Lepetit, Luca Vacchetti, Daniel Thalmann, and Pascal Fua.
Fully automated and stable registration for augmented reality applications. In Proceedings of the 2nd IEEE and ACM International
Symposium on Mixed and Augmented Reality (ISMAR2003), pp. 93–
102, 2003.

[Mat68]Mathematical Applications Group, Inc. 3-D Simulated Graphics Offered by Service Bureau. Datamation, 1968.

[MH84]

Gene S. Miller and Robert Hoﬀman. Illumination and reﬂection
maps: Simulated objects in simulated and real environments. In
Proceedings of SIGGRAPH. Course Notes – Advanced Computer
Graphics Animation, 1984.

[Mic]

Microsoft. Microsoft directx 9 ソフトウェア開発キット.
93

[MK94]

Paul Milgram and Fumio Kishino. A taxonomy of mixed reality
visual displays. IEICE transactions on information and systems,
Vol. E77-D, No. 12, pp. 1321–1329, 1994.

[NF02]

Leonid Naimark and Eric Foxlin. Circular data matrix ﬁducial system and robust image processing for a wearable vision-inertial selftracker. In Proceedings of the 1st IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2002), pp. 27–36,
2002.

[NHI86]

Eihachiro Nakamae, Koichi Harada, and Takeo Ishizaki. A montage
method: the overlaying of the computer generated images onto abackground photograph. Computer Graphics, pp. 207–214, 1986.

[PC83]

Michael Potmesil and Indranil Chakravarty. Modeling Motion Blurin Computer-Generated Images. In Proc. of SIGGRAPH, pp. 389–
399, 1983.

[Pen87]

Alex P. Pentland. A new sense for depth of ﬁeld. IEEE Transactions
on Pattern Analysis and Machine Intelligence, Vol. 9, No. 4, pp. 523–
531, 1987.

[Pho75]

Bui T. Phong. Illumination for computer generated pictures. Communications of the ACM, pp. 311–317, 1975.

[PPK03]Sung Cheol Park, Min Kyu Park, and Moon Gi Kang.

Super-

resolution image reconstruction: A technical overview. IEEE Signal
Processing Magazine, Vol. 20, No. 3, pp. 21–36, 2003.
[RD06]

Gerhard Reitmayr and Tom Drummond. Going out: Robust modelbased tracking for outdoor augmented reality. In Proceedings of the
5th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2006), pp. 109–118, 2006.
94

[RH01]

Ravi Ramamoorthi and Pat Hanrahan. An eﬃcient representation
for irradiance environment maps. In Proceedings of SIGGRAPH, pp.
497–500, 2001.

[SHM+ 02]

Christopher Stapleton, Charles Hughes, Michael Moshell, Paulius
Micikevicius, and Marty Altman. Applying mixed reality to entertainment. Computer Magazine, Vol. 35, No. 12, pp. 129–138, 2002.

[Smi01]

Elisa H. Barney Smith. Scanner parameter estimation using bilevelscans of star charts. In Proceedings of the 6th International Conference on Document Analysis and Recognition (ICDAR2001), pp.
1164–1168, 2001.

[SSH06]

Peter Supan, Ines Stuppacher, and Michael Haller. Image based
shadowing in real-time augmented reality. International Journal of
Virtual Reality, Vol. 5, No. 3, pp. 1–7, 2006.

[SSK+ 07]

Tobias Sielhorst, Wu Sa, Ali Khamene, Frank Sauer, and Nassir
Navab. Measurement of absolute latency for video see through augmented reality. In Proceedings of the 6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2007),
pp. 215–218, 2007.

[STUY06]

Kiyohide Sato, Kazuki Takemoto, Shinji Uchiyama, and Hiroyuki
Yamamoto. A registration evaluation system using an industrial
robot. In Proceedings of the 5th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2006), pp. 79–87,
2006.

[SVT+ 00]

Frank Sauer, Sebastian Vogt, Yiyang Tao, Yakup Genc, and Ali
Bani-Hashemi. Augmented workspace: designing an ar testbed. In
Proceedings of IEEE and ACM International Symposium on Augmented Reality (ISAR 2000), pp. 47–53, 2000.
95

[THYa01]

Hideyuki Tamura and Akihiro Katayama Hiroyuki Yamamoto and.
Mixed reality: Future dreams seen at the border between real andvirtual worlds. Presence: Teleoperators and Virtual Environments,
Vol. 21, No. 6, pp. 64–70, 2001.

[TS67]

Kenneth E. Torrance and E. M. Sparrow. Theory for oﬀ-specular
reﬂection from roughened surfaces. Journal of the Optical Society ofAmerica, pp. 1105–1114, 1967.

[UWH+ 03] Jonas Unger, Andreas Wenger, Tim Hawkins, Andrew Gardner, andPaul Debevec. Capturing and rendering with incident light ﬁelds.
In Proceedings of the 14th Eurographics workshop on Rendering, pp.
141–149, 2003.
[VF94]

Douglas Voorhies and Jim Foran. Reﬂection vector shading hardware. In Proceedings of SIGGRAPH, pp. 163–166, 1994.

[War92]

Gregory J. Ward. Measuring and modeling anisotropic reﬂection. In
Proceedings of SIGGRAPH, pp. 256–272, 1992.

[WB01]

Greg Welch and Gary Bishop. An introduction to the kalman ﬁlter.
In Proceedings of SIGGRAPH. Course Notes – An Introduction to
the Kalman Filter, 2001.

[WJH97]

Andy Ward, Alan Jones, and Andy Hopper. A new location technique for the active oﬃce. IEEE Personal Communications, Vol. 4,
No. 5, pp. 42–47, 1997.

[WSS05]Sven Woop, Jörg Schmittler, and Philipp Slusallek. Rpu: A programmable ray processing unit for realtime ray tracing. In Proceedings of SIGGRAPH, pp. 434–444, 2005.

[ZFN02]

Xiang Zhang, Stephan Fronz, and Nassir Navab. Visual marker
detection and decoding in ar systems: A comparative study. In
96Proceedings of the 1st IEEE and ACM International Symposium on
Mixed and Augmented Reality (ISMAR2002), pp. 97–106, 2002.
[池内 99]

池内克史, 佐藤洋一, 西野恒, 佐藤いまり. 複合現実感における光学的整合性の実現. 日本 VR 学会論文誌, Vol. 4, No. 4, pp. 623–630, 1999.

[小田 03]

小田島太郎, 神原誠之, 横矢直和. 拡張現実感技術を用いた屋外型
ウェアラブル注釈提示システム. 画像電子学会誌, Vol. 32, No. 6, pp.

832–840, 2003.
[佐藤 02]

佐藤清秀, 穴吹まほろ, 山本裕之, 田村秀行. 屋外装着型複合現実感のためのハイブリッド位置合わせ手法. 日本バーチャルリアリティ学会論文誌, Vol. 7, No. 2, pp. 129–138, 2002.

[田村 98]

田村秀行, 太田 友一 and. 複合現実感. 映像情報メディア学会誌,

Vol. 52, No. 3, pp. 266–272, 1998.
[中里 05]

中里祐介, 神原誠之, 横矢直和. ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定. 日本バーチャル
リアリティ学会論文誌, Vol. 10, No. 3, pp. 295–304, 2005.

[橋本 94]

橋本正一, 斎藤英雄. PSF のパラメータ分布を推定するシフトバリア
ントなぼけ画像の復元法. 電子情報通信学会論文誌, Vol. J77-D-II,

pp. 719–728, 1994.
[馬場 98]

馬場雅志, 浅田尚紀, 天野晃. Calibrated computer graphics による画像合成の試み–カメラキャリブレーションに基づく任意フォーカス画像の生成と検証–. 情報処理学会論文誌, Vol. 39, No. 7, pp. 2180–2188,

1998.
[安室 03]

安室喜弘, 石川悠, 井村誠孝, 南広一, 眞鍋佳嗣, 千原國宏. 立体マーカを用いた実空間における仮想物体の調和的表現 〜インタラクティブ

mr インテリアデザイン〜. 映像情報メディア学会誌, Vol. 57, No. 10,
pp. 1307–1313, 2003.
97

業績リスト
学術論文誌
1. 奥村 文洋, 町田 貴史, 横矢 直和. 多重スケール環境マップを用いた粗さが不均一な材質への写り込みの高速レンダリング. 映像情報メディア学会誌,

Vol. 57, No. 10, pp. 1300–1306, 2003. (第 4 章に関連)
2. 奥村 文洋, 神原 誠之, 横矢 直和. 焦点外れによるぼけとモーションブラー
の推定に基づく拡張現実感における光学的整合性の実現. 電子情報通信学会論文誌（D）, Vol. J90-D, No. 8, pp. 2126–2136, 2007. (第 2, 3, 4 章に関連)

レター
1. 奥村 文洋, 神原 誠之, 横矢 直和. 拡張現実感のための実画像のぼけ推定に基づく画像合成手法. 情報科学技術フォーラム（FIT） 情報科学技術レター
ズ, Vol. 4, pp. 245–248, 2005. (第 2, 3, 4 章に関連)

国際会議
1. B. Okumura, T. Machida, and N. Yokoya. Fast Rendering of Reﬂections in
Non-uniform Surfaces Using a Multi-scale Environment Map. Proceedingof SIGGRAPH 2003 Conference on Sketches and Applications, 2003. (第 4章に関連)

2. B. Okumura, M. Kanbara, and N. Yokoya. Augmented Reality Based on
Estimation of Defocusing and Motion Blurring from Captured Images. Proceeding of IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2006), pp. 219–225, 2006. (第 2, 3, 4 章に関連)

98

3. B. Okumura, M. Kanbara, and N. Yokoya. Precise Geometric Registration by Blur Estimation for Vision-based Augmented Reality. Proceedingof IEEE and ACM International Symposium on Mixed and Augmented
Reality (ISMAR 2007), pp. 221–224, 2007. (第 3 章に関連)

研究会・シンポジウム
1. 奥村 文洋, 町田 貴史, 横矢 直和. 実写に基づく全周多重スケール環境マップを用いた不均一物体への写りこみの高速レンダリング. 電子情報通信学
会 技術研究報告, PRMU2002–137, 2002. (第 4 章に関連)

2. 奥村 文洋, 神原 誠之, 横矢 直和. 画像のぼけ推定に基づく仮想物体の実シーンへの実時間合成. 画像の認識・理解シンポジウム（MIRU2005）講演論文
集, pp. 1630–1631, 2005. (第 2, 3, 4 章に関連)

3. 奥村 文洋, 神原 誠之, 横矢 直和. 拡張現実感のための実画像のぼけ推定に基づく実時間画像合成. 電子情報通信学会 技術研究報告, MVE2005–36, 2005.

(第 2, 3, 4 章に関連)
4. 奥村 文洋, 神原 誠之, 横矢 直和. 焦点外れによるぼけとモーションブラー
の推定に基づく拡張現実感における光学的整合性の実現. 画像の認識・理解
シンポジウム（MIRU2006）講演論文集, pp. 255–260, 2006. (第 2, 3, 4 章に関連)

5. 奥村 文洋, 神原 誠之, 横矢 直和. 拡張現実感のための画像のぼけ推定に基づくカメラ位置姿勢推定の高精度化. 画像の認識・理解シンポジウム（MIRU2007）講演論文集, pp. 1552–1557, 2007. (第 3 章に関連)

6. 仁科 勇作, 奥村 文洋, 神原 誠之, 横矢 直和. 適応的なハイダイナミックレ
ンジ画像合成による拡張現実感のための光源環境推定. 日本バーチャルリ
アリティ学会 SIG-MR 研究会 技術研究報告, PRMU2007–193, 2007.

99

全国大会
1. 奥村 文洋, 町田 貴史, 横矢 直和. 多重スケール環境マップを用いた粗さの異なる材質を表現可能な実時間レンダリング手法. 日本バーチャルリアリ
ティ学会第 7 回大会論文集, pp. 381–382, 2002. (第 4 章に関連)

2. 仁科 勇作, 奥村 文洋, 神原 誠之, 横矢 直和. ハイダイナミックレンジ動画
像からの光源推定によるビデオシースルー型拡張現実感. 日本バーチャル
リアリティ学会第 12 回大会論文集, pp. 522–525, 2007.

受賞
1. FIT2005

第 4 回情報科学技術フォーラム 論文賞, 2005 年 9 月.

2. Best Student Paper Award of ISMAR 06, 2006 年 10 月.

100