NAIST-IS-MT0651089

修士論文

ハイダイナミックレンジ画像からの光源環境推定による
拡張現実感のための光学的整合性の実現

仁科 勇作

2008 年 3 月 17 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
仁科 勇作

審査委員：
横矢 直和 教授

（主指導教員）千原 國宏 教授

（副指導教員）山澤 一誠 准教授

（副指導教員）神原 誠之 助教

（副指導教員）ハイダイナミックレンジ画像からの光源環境推定による
拡張現実感のための光学的整合性の実現∗
仁科 勇作

内容梗概
拡張現実感 (AR) において光学的整合性を実現するためには，光源環境の推定が不可欠である．光源を撮影した画像から光源環境を推定する際，カメラのダイ
ナミックレンジ不足により，環境中の放射照度を正しく計測できないため，仮想物体の影や陰影，写り込みを正しく再現できず，仮想物体の写実性が低下する問題がある．この問題を解決するため本研究では，異なる露光時間で撮影された複数枚の画像からハイダイナミックレンジ (HDR) 画像を合成し，HDR 画像からの光源環境推定と，仮想物体の HDR レンダリングを行う．さらに，ユーザ視点カメラの特性に応じたトーンマッピングによって実画像と仮想物体のダイナミック
レンジを一致させる．ここで，複数枚の画像を合成する HDR 画像生成において，推定可能なダイナミックレンジと HDR 画像の更新レートはトレードオフの関係にある．そこで，HDR 画像の更新レートを向上させるため，AR を行う環境に応じて計測する放射照度の範囲を設定し，ダイナミックレンジ不足と更新レート低下の問題を軽減した HDR 画像生成を行う．実験では，計測する放射照度の範囲の設定によって，HDR 画像の更新レートが向上されることを確認し，計測する
放射照度の範囲の設定が仮想物体の写実性に与える影響を検証する．

キーワード
拡張現実感，光学的整合性，光源環境推定，ハイダイナミックレンジ画像∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0651089, 2008 年 3 月 17 日.

iPhotometric registration by estimation oflighting environment from a high dynamic range
image for augmented reality∗
Yusaku Nishina

Abstract
This paper describes a method for photometric registration in augmented reality (AR) using a high dynamic range (HDR) image. In photorealistic AR, there isa problem with the lack of reality of virtual objects due to low dynamic range ofa camera for estimating a lighting environment. It is necessary the photorealistic
AR to estimate a lighting environment from an HDR image and to render virtual
objects with an HDR rendering technique. The proposed method overcomes problem caused by the lack of dynamic range by estimating a lighting environment
from an HDR image and rendering virtual objects with an HDR environment
map. Virtual objects are overlaid on the real world by adjusting the dynamic
range of the rendered image by tone mapping depending on the exposure time ofa camera for AR. The HDR image is generated from multiple images captured
with various exposure times. However, there is a trade-oﬀ between the updating
rate and the dynamic range of generated HDR image. The updating rate of HDR
image is improved by limiting the dynamic range according to the exposure timeof a camera for AR. In the experiment, we have conﬁrmed that the updating rate
is improved by limiting the dynamic range, and we have veriﬁed the eﬀect in thereality of virtual objects caused by limiting the dynamic range.
∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0651089, March 17, 2008.

ii

Keywords:
augmented reality, photometric registration, estimation of lighting environment,high dynamic range image

iii

目次
1. はじめに

1

2. 拡張現実感のための光学的整合性に関する従来研究と本研究の位置付け

5

2.1 拡張現実感のための光学的整合性に関する従来研究 . . . . . . . .

5

2.1.1

直接光源とみなせる高い放射輝度を計測する手法 . . . . .

5

2.1.2

直接光源のみならず間接光源の放射輝度を計測する手法

.

6

2.1.3

従来研究の問題点と解決策 . . . . . . . . . . . . . . . . . .

8

2.2 機器のダイナミックレンジ不足問題の解決に関する研究 . . . . . .

12

2.2.1

ハイダイナミックレンジ画像生成に関する研究. . . . . .

12

2.2.2

ハイダイナミックレンジレンダリングに関する研究 . . . .

14

2.2.3

トーンマッピングに関する研究 . . . . . . . . . . . . . . .

15

2.3 本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

16

3. HDR 光源環境画像からの光源環境推定による光学的整合性を実現した
AR

18

3.1 提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2 光源環境推定処理 . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.2.1

複数の画像からの HDR 光源環境画像生成 (B-2) . . . . . .

20

3.2.2

HDR 光源環境画像からの光源位置の推定 (B-3) . . . . . .

21

3.2.3

計測する放射照度の範囲の設定 (B-4) . . . . . . . . . . . .

23

3.2.4

計測する放射照度の範囲に応じた撮影枚数と露光時間の決

3.3

定 (B-5) . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

AR 画像合成処理 . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

3.3.1

画像マーカからのカメラ位置・姿勢の推定 (A-2) . . . . . .

28

3.3.2

仮想物体のハイダイナミックレンジレンダリング (A-3) . .

28

3.3.3

仮想物体のトーンマッピングと画像合成 (A-4) . . . . . . .

29

4. 実験
4.1

30
AR を行う環境に応じた撮影時間の評価実験 . . . . . . . . . . . .
iv

30

4.1.1

合成する仮想環境の変化に伴う撮影時間の評価実験 . . . .

4.1.2

ユーザ視点カメラの露光時間の変化に伴う撮影時間の評価

4.1.3

31

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

光源環境の最大放射照度の変化に伴う撮影時間の評価実験

35

4.2 放射照度の計測精度の違いが仮想物体の写実性に与える影響の検証 36
4.3 光学的整合性を実現した AR 画像合成実験 . . . . . . . . . . . . .

43

5. まとめ

47

謝辞

48

参考文献

49

v

図目次
1

実環境の放射照度の範囲とカメラが計測可能な放射照度の範囲の関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2

異なる露光時間で撮影された画像の例. . . . . . . . . . . . . . .

43

スケルトンキューブ. . . . . . . . . . . . . . . . . . . . . . . . .

64

光源環境を直接的に撮影する AR システムの外観 . . . . . . . . .

75

銀面球を埋め込んだ画像マーカ. . . . . . . . . . . .

86

鏡面球の撮影に専用のカメラを用いた AR システムの外観 . . . .

87

光源から放たれた光がカメラに入射する過程 . . . . . . . . . . . .

98

光源環境推定において広い放射照度の範囲を計測した場合の AR 合成画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9光源環境推定において狭い放射照度の範囲を計測した場合の AR 合成画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

11
11

異なる露光時間で撮影した複数枚の画像を合成する HDR 画像生成
手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1311

特殊な機器を用いたカメラのハイダイナミックレンジ化 . . . . . .

15

12

ビデオシースルー型 AR システム構成図 . . . . . . . . . . . . . .

1813

提案手法の処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

19

14

HDR 光源環境画像からの方位角の推定 . . . . . . . . . . . . . . .

22

15

HDR 光源環境画像からの天頂角の推定 . . . . . . . . . . . . . . .

22

16

写り込みの再現のために計測が必要な放射照度の範囲 . . . . . . .

24

17

撮影枚数と露光時間の決定アルゴリズム . . . . . . . . . . . . . .

27

18

環境マッピングの図解 . . . . . . . . . . . . . . . . . . . . . . . .

28

19

実験を行った実環境. . . . . . . . . . . . . . . . . . . . . . . . .

32

20

適応的な撮影時間の変化：仮想物体の反射係数を変更した場合 . .

33

21

適応的な撮影時間の変化：ユーザ視点カメラの露光時間を変更し22た場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

適応的な撮影時間の変化：環境の明るさを変更した場合 . . . . . .

36

vi

23

Zblack ，Zwhite の値を変更して生成した HDR 光源環境画像により写り込みを再現した画像 . . . . . . . . . . . . . . . . . . . . . . .

38

24(Zblack ,Zwhite )=(100,100) のとき撮影された光源環境画像群 . . . .

39

25(Zblack ,Zwhite )=(80,80) のとき撮影された光源環境画像群 . . . . .

40

26(Zblack ,Zwhite )=(60,60) のとき撮影された光源環境画像群 . . . . .

41

27(Zblack ,Zwhite )=(40,40) のとき撮影された光源環境画像群 . . . . .

42

28(Zblack ,Zwhite )=(20,20) のとき撮影された光源環境画像群 . . . . .

42

29(Zblack ,Zwhite )=(10,10) のとき撮影された光源環境画像群 . . . . .

4330

下半球の光源環境を予め撮影した HDR 画像 . . . . . . . . . . . .

4431

提案手法による HDR 光源環境画像からの光源環境推定による AR
合成画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

45

1 枚の光源環境画像からの光源環境推定を行う手法による AR 合成
画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

表目次
1

デスクトップ PC . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2

ユーザ視点カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3

光源撮影用カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . .

314

仮想物体の最大反射係数の変更による撮影時間の変化 . . . . . . .

33

5

ユーザ視点カメラの露光時間の変更による撮影時間の変化 . . . .

34

6

環境の明るさの変更による撮影時間の変化 . . . . . . . . . . . . .

36

7(Zblack ,Zwhite )=(100,100) として写り込みを再現した画像に対する
PSNR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

vii

37

1. はじめに仮想環境と実環境を合成する複合現実感 (Mixed Reality:MR) 技術において，主に実環境に対して仮想環境を付加する技術を拡張現実感 (Augmented Reality:AR)と呼ぶ [1]．AR において実環境に対して仮想環境を合成する手法は，ビデオシー
スルー型と光学シースルー型に大別できる．ビデオシースルー型 AR は実環境を撮影した実画像に仮想物体を描画した画像を合成することで AR を実現する．一方，光学シースルー型 AR は，実環境にハーフミラーなどを用いて仮想環境を描画した画像を，光学的に合成することで AR を実現する．

AR は，必ずしも写実的な仮想物体の描画が必要とされない医療 [2, 3, 4] やナ
ビゲーション [5] などの情報提示の分野から，写実的な仮想物体の描画が必要な
インテリアデザイン [6, 7] や製品設計 [8, 9] などの分野に応用が期待され，従来盛んに研究が行われており目的に応じてビデオシースルー型と光学シースルー型を使い分けるのが良い．光学シースルー型では実環境が時間遅れなく提示できる反面，仮想環境を提示する際の遅延が原因となり，現実環境と仮想環境の位置ずれなどが生じるため，ユーザに違和感を与える．また，光学的な合成を行うため，
実環境と仮想物体の隠蔽関係を正しく再現することは困難である．しかし，この手法はユーザは環境を直接見ることができるため，ナビゲーションなどに多く利用されている．ビデオシースルー型では提示される環境全体が，仮想環境を重畳表示する際の計算時間などによって遅れて提示される．しかし，現実環境と仮想環境の遅延は等しいため，遅延による両者の位置ずれは生じにくい．また，画像合成を行うことで実環境と仮想物体の隠蔽関係を正しく再現できるため，合成画
像の写実性が求められる Photorealistic AR などに多く利用されている．

AR では，仮想物体を合成する際，実環境と仮想環境の間で以下の 3 つの整合性問題を解決することが重要である．

• 幾何学的整合性問題：実環境におけるユーザの視点と仮想環境の間の位置・姿勢の整合に関する問題• 光学的整合性：実環境の照明条件によって生じる実物体の影・陰影や写り込みと仮想物体に再現される影・陰影や写り込みの矛盾の解消や両者の画1

質の一致に関する問題• 時間的整合性：ユーザ視点の位置・姿勢の変化や，実環境の照明条件の変化などによって生じる仮想環境の変化の時間遅れに関する問題．
幾何学的整合性とは，実環境に対して仮想物体を位置ずれなく合成するために実環境と仮想環境の三次元的な位置・姿勢を合わせることであり，実環境と仮想物
体を位置ずれによる違和感無く合成するため重要な問題である．光学的整合性とは，実環境の照明条件と仮想環境の照明条件を一致させることであり，影・陰影や写り込みが再現された写実的な仮想物体を描画するために重要な問題である．
時間的整合性とは，ユーザ視点位置や視線の変化，実環境の照明条件の変化などに対して，仮想物体の位置や姿勢，陰影の変化などが時間遅れ無く反映されることを意味する．

AR において，幾何学的整合性問題の解決は必須である．この問題の解決にはユーザの視点 (ビデオシースルー方式の場合はカメラ) の位置・姿勢を推定する必要があり，視野中のマーカや自然特徴点を利用する手法 [10, 11] や，磁気センサ
やジャイロ，GPS などの位置・姿勢センサを用いる手法 [12, 13] が提案されている．Photorealistic AR の実現のためには幾何学的整合性問題の解決に加えて，光学的整合性問題の解決が重要である．特に，影や陰影を再現するためには実環境の放射輝度の分布 (以下，光源環境と呼ぶ) を推定する必要がある．中でも影・陰影の再現には，光源環境のうち直接光源のような高い放射輝度が環境中のどこに存在するのかを計測する必要があり，仮想物体への写り込みの再現には，光源環
境のうち直接光源のみならず間接光源の放射輝度を計測する必要がある．つまり，光学的整合性問題を解決した Photorealistic AR を実現するには，光源環境の直接光源のみならず間接光源の放射輝度を計測することが望ましい．従来，間接光源の放射輝度を計測する手法 [14, 15] や，簡易な機器構成で直接光源のような高い放射輝度を計測する手法 [16, 17] などが研究されている．
写実的な AR の実現のためには直接光源のみならず間接光源の放射輝度の計測が不可欠であり，そのためには，カメラが計測可能な最大放射照度と最小放射照度の比 (ダイナミックレンジ) が実環境のダイナミックレンジに対して大きい必要がある．しかし，一般にカメラが計測可能なダイナミックレンジは実環境のダ

2

実環境の放射照度の範囲
黒つぶれ
白とび
カメラが計測可能な放射照度の範囲

放射照度
図 1 実環境の放射照度の範囲とカメラが計測可能な放射照度の範囲の関係
イナミックレンジに対して小さい．図 1 に，横軸を放射照度として実環境の放射
照度の範囲とカメラが計測可能な放射照度の範囲の関係を表す．実環境のダイナ
ミックレンジに対してカメラが計測可能なダイナミックレンジは小さいため，計測可能な放射照度の範囲は限られる．計測できない放射照度は画像中で白とび，黒つぶれ画素となる． 図 2 に，異なる露光時間で撮影された画像の例を示す．写り込みを再現するための放射照度を計測する場合は，図 2(a) に示すように蛍光灯のような直接光源とみなせる部分が白とびし，影・陰影の再現に影響を与える
放射照度の計測が困難となる．一方，直接光源とみなせる高い放射照度を計測する場合は，図 2(b) のように，他の部分が黒つぶれし，写り込み再現に影響を与える放射照度の計測が困難となる．

AR のための光学的整合性問題の解決を目的とした従来手法では，放射輝度を計測できない場合が生じることにより光源の位置を正確に推定できなかったり，
正確な写り込みが再現できない問題についてあまり議論されていない．そこで本研究では Photorealistic AR のための光源環境推定において，計測対象とするダ
イナミックレンジを環境に適応的に変更することで，影や写実的な写り込みを再現したビデオシースルー型 AR を実現することを目的とする．

3

(a) 写り込みを再現するための画像(b) 影・陰影を再現するための画像

図 2 異なる露光時間で撮影された画像の例
以降，2 章で AR における光学的整合性問題を解決する従来研究を概観し，未解決の問題点とその解決策について述べる．また，解決策の関連研究をまとめ，本研究の位置づけと方針を述べる．3 章では，光源環境推定において実環境のダ
イナミックレンジに対してカメラが計測可能なダイナミックレンジは小さい問題を解決し，Photorealistic AR を実現する手法について詳述する．4 章では，提案手法による光源環境推定の有効性を評価し，写実的な AR 合成画像を示す．最後に，5 章でまとめと今後の展望を述べる．

4

2. 拡張現実感のための光学的整合性に関する従来研究と本研究の位置付け
AR において，実環境と仮想環境間の光学的整合性問題の解決は，Photorealistic
AR を実現するために重要な課題である．光学的整合性問題の解決には光源環境の推定が不可欠であり，近年盛んに研究されている．本章ではまず AR のための光学的整合性に関する従来研究についてまとめ，従来研究の問題点を述べる．次に問題点を解決するための関連研究について述べ，最後に AR のための光学的整合性に関する研究における本研究の位置づけと，研究の方針を示す．

2.1 拡張現実感のための光学的整合性に関する従来研究
AR のための光学的整合性に関する従来研究は，主に光源環境のうち直接光源とみなせる高い放射輝度を計測する手法と，光源環境のうち直接光源のみならず間接光源の放射輝度を計測する手法に大別できる．以下，2.1.1 項で光源環境のうち，直接光源とみなせる高い放射輝度を計測する従来研究を，2.1.2 項で光源環
境のうち直接光源のみならず間接光源の放射輝度を計測する従来研究をまとめ，2.1.3 項で従来研究において未解決な問題とその解決策について述べる．

2.1.1 直接光源とみなせる高い放射輝度を計測する手法
本項では，光源環境の中の直接光源と見なせる高い放射輝度を推定する手法[17, 18, 19] について述べる．これらの手法は，主に物体が落とす影を解析することで光源環境を推定している．
手法 [17, 18] では，環境中に配置された 3 次元形状が既知の物体が，他の物体に落とす影を解析して光源の方向を推定した．このアプローチでは，影が投影される物体の材質に因らず安定して高い放射輝度の光源の方向を推定可能である．
また，手法 [19] ではスケルトンキューブと呼ばれる，どのような方向から照射す
る光源によっても，内壁にセルフシャドウが生じる物体を用いる手法が提案されている．図 3 にスケルトンキューブを示す．このアプローチでは，光源の方向の5

図 3 スケルトンキューブ
みならず光源の位置を推定することが可能であるが，シミュレーションによる光源環境推定しか行われておらず，依然課題が残っている．
陰影の解析により，安定して光源環境の推定が行えることが証明されている[20]．物体の陰影を解析することで光源環境を推定する手法では，ユーザ視点のカメラだけで光源環境を推定可能であるという特徴があるが，主に影・陰影の再現に必要な，直接光源のような強い放射輝度を持つ部分の推定のみを対象としているため，推定された光源環境から仮想物体に写り込みを再現することは困難である．

2.1.2 直接光源のみならず間接光源の放射輝度を計測する手法
本項では，直接光源のみならず間接光源の放射輝度を計測する手法について述べる．この手法は，カメラで光源環境を直接的に撮影する手法と，カメラと反射鏡を組み合わせて光源環境を撮影する手法に大別できる．
カメラで光源環境を直接的に撮影する手法では，図 4 のように魚眼レンズを装着したカメラを用いて，光源画像を撮影する手法 [15, 21, 22] が提案されている．
この手法では推定可能な光源環境が，カメラで撮影可能な画角内に制限されるが，比較的均一な解像度で光源環境を推定できる．

6

図 4 光源環境を直接的に撮影する AR システムの外観

7

図 6 鏡面球の撮影に専用のカメラを用

図 5 銀面球を埋め込んだ画像マーカ

いた AR システムの外観
カメラと反射鏡を組み合わせて光源環境を撮影する手法では，ユーザ視点カメラで実環境に配置された反射鏡を撮影し，1 つのカメラで光源環境推定を行う手法[16] や，反射鏡を撮影するための専用のカメラを用いて光源環境推定を行う手法[23] が提案されている．前者の手法で用いられた，銀面球を埋め込んだ画像マーカの外観を図 5 に示す．画像マーカ内に配置された小さな銀面球をユーザ視点カメラで撮影することで，カメラの位置姿勢推定と光源環境推定を同時に行うことが可能である．後者の手法の AR システムの外観を図 6 に示す．実環境に配置された銀面球を撮影するための専用のカメラを用い，広角で高解像度な光源環境推定が可能である．これらの手法では，ほぼ全周の光源環境を推定可能であるが，反射鏡によって画像に歪みが生じるため，推定される光源環境の解像度に偏りが生じてしまう．
このような光源環境をカメラで撮影した画像から光源環境を推定する手法では，影・陰影の再現に必要な，直接光源のような強い放射輝度の計測のみならず，写り込みの再現に必要な，間接光源の放射輝度の計測を試みている．

2.1.3 従来研究の問題点と解決策
拡張現実感のための光学的整合性に関する従来研究では，光源環境を直接的に撮影して光源環境を推定する研究では機器構成が複雑になる反面，影・陰影のみ

8

カメラが受ける光：E

光源が放つ光：I

反射による
光量の減衰

cam

ユーザ視点カメラ 物体が放つ光：I

env

光源
物体が受ける光：E

ob

ob

a

反射係数Sの物体
図 7 光源から放たれた光がカメラに入射する過程
ならず写り込みの再現が可能である．一方，光源環境を間接的に撮影して光源環境を推定する研究では単純な機器構成で影・陰影の再現が可能である．

Photorealistic AR の実現のためには写り込みの再現は不可欠であり，光源環境を直接的に撮影して光源環境を推定する手法を用いるのが適している．しかし，カメラで光源環境を直接的に撮影する手法では, 複数の反射係数を持つ仮想物体に影・陰影のみならず写り込みを再現する際，環境のダイナミックレンジが光源
環境推定するカメラのダイナミックレンジより大きいことによって，正確な光源
環境推定は困難となり，仮想物体の写り込みに不自然な黒つぶれ，白とびが発生してしまう場合がある．
図 7 に，光源から放たれた光が物体で反射されユーザ視点カメラに入射する過程を示す．光源から放射輝度 Ienv の光が放たれ，物体表面の微小領域が放射照度

Eob で受光する．ここで，∆rad を物体表面から見た光源の大きさとし，距離による光の減衰を無視すると，

Ienv · ∆rad = Eob(1)である．物体の反射係数が S であるとき，物体表面の微小領域の放射輝度 Iob は，

Iob = Eob · S
9(2)である．ユーザ視点カメラの撮像素子の格子が受ける放射照度 Ecam は，∆rad を
撮像素子の格子から見た放射輝度 Iob の光源の大きさとし，距離による光の減衰を無視するとEcam = Iob · ∆rad，(3)である．以降，議論の簡単化のため光源から放たれた光が，物体表面で反射されユーザ視点カメラに到達する光線のみを考えると，光源の放射輝度 Ienv とカメラで受光する放射照度 Ecam は，以下の関係が成り立つ．

Ecam ∝ Ienv · S ．

(4)

仮想物体に対して影・陰影や写り込みを再現するには，物体表面の微小領域に入射する光 (放射照度) を計測する必要がある．しかし，物体表面の各微小領域における放射照度を計測することは困難であるため，従来手法では環境中の一点に入射する光を計測対象としている．また，光源環境のダイナミックレンジに対し，従来手法が計測できるダイナミックレンジが小さい場合が生じ，これをダイ
ナミックレンジ不足と呼ぶ．図 8 に，異なる反射係数を持つ 3 つの球を合成した

AR 画像の例を示す．計測した放射照度の範囲が写り込みの再現に必要な広さである場合，各球への写り込みは材質の反射特性に応じて放射照度を減衰させることで，本来は図 8 のように再現される．しかし，計測した放射照度が写り込みの再現に必要な範囲より狭い場合では，ある反射係数を持つ仮想物体には写実的な写り込みが再現可能であるが，他の反射係数を持つ仮想物体では黒つぶれや白とびが発生し，仮想物体の写実性が損なわれるという問題が発生する．図 9 に，例を示す．反射係数が大きい仮想物体には，図 8 とほぼ同様の写り込みが再現されているが，反射係数が小さい仮想物体には，図 8 のような写り込みが再現されていない．このように，影・陰影だけでなく写り込みも再現した写実的な AR を実現するためには，光源環境推定に用いるカメラのダイナミックレンジ不足の問題を解決する必要がある．

10

大

反射係数

小

図 8 光源環境推定において広い放射照度の範囲を計測した場合の AR 合成画像

図 9 光源環境推定において狭い放射照度の範囲を計測した場合の AR 合成画像

11

2.2 機器のダイナミックレンジ不足問題の解決に関する研究
従来コンピュータビジョンの分野では，カメラのダイナミックレンジ不足の問題を解決して，通常用いられる 256 階調の画像に比べて，大きい階調数の画素値を記録したハイダイナミックレンジ (HDR) 画像を生成する手法に関して研究されている．また，コンピュータグラフィックス (CG) の分野では，ダイナミック
レンジを考慮して仮想物体を描画することで，実環境で生じる光学的な現象を正しく再現する HDR レンダリング手法や，ダイナミックレンジが小さいディスプ
レイで HDR 画像を表示するためにダイナミックレンジを圧縮する，トーンマッ
ピングに関する研究が行われている．
以下，2.2.1 項ではカメラのダイナミックレンジ不足問題を解決するための HDR
画像生成手法についてまとめ，2.2.2 項では，仮想物体を HDR レンダリングする手法を示す．2.2.3 項では，HDR 画像や HDR レンダリングされた仮想物体を一
般的なディスプレイで表示するためのトーンマッピングに関する手法をまとめる．

2.2.1 ハイダイナミックレンジ画像生成に関する研究
HDR 画像生成の手法は，異なる露光時間で撮影された複数枚の画像を合成する手法と，専用の機器を用いる手法に大別できる．
複数枚の画像を合成する手法

露光時間を段階的に変えて同一のシーンを撮影し，撮影された複数枚の画像を合成して HDR 画像を生成する研究が行われている．

[24, 25]．Debevec らによる HDR 画像生成手法 [24] では，ある露光時間で画像を撮影した際に撮像素子が受光する放射照度と，画像に変換した際の画素値の応答関数を推定することで，画素値から放射照度を計測した．ここで，画像を撮影した露光時間が異なる場合，計測できる放射照度の範囲が変化するため，異なる露光時間で撮影された複数枚の画像を合成することで広い範囲の放射照度を計測し，HDR 画像を生成した．図 10(a) に，Debevec らの手法による HDR 画像生成のための入力画像群を，図 10(b) に，図 10(a) の画像群から生成した HDR 画像のダ
イナミックレンジを圧縮した画像を示す．また Mitsunaga らは応答関数は単調増加であると仮定し，露光時間が未知の画像群から HDR 画像を生成した [25]．こ12

(a) 入力画像群(b) HDR 画像

図 10 異なる露光時間で撮影した複数枚の画像を合成する HDR 画像生成手法

13

れらの手法では，撮影画像の合成枚数に制限が無いため計測可能なダイナミック
レンジは大きいが，複数枚の画像を撮影するため，計測に時間を要する．
さらに，異なる露光時間で撮影した画像群から HDR 画像生成する技術を応用
し，HDR 動画像を生成する研究が行われている．Kang らは 2 組の露光時間を交互に切り替えて撮影した動画像から，撮影した画像群と同じフレーム数の HDR
画像を生成した [26]．この手法では，計測するダイナミックレンジを限定しているため，計測可能なダイナミックレンジは [24, 25] に比較するとあまり大きくな
いが，HDR 動画像の生成が可能である．Niskanen は，環境のダイナミックレンジに対して最短の撮影時間で HDR 画像を生成可能な撮影枚数と露光時間の組をデータベース化し，環境のダイナミックレンジに応じて撮影時間を変更して撮影した画像群から HDR 動画像を生成した [27]．この手法では，予めデータベースに登録した撮影枚数，露光時間の組であれば，撮影枚数と露光時間の適応的な変更が可能である．
このように，異なる露光時間で撮影された複数枚の画像を合成する手法では，計測可能なダイナミックレンジの大きさと更新レートがトレードオフの関係にある．
専用の機器を用いる手法

専用の機器を用いる手法として，万波らは図 11 のようにレンズの前面に特殊なフィルタを取り付け，環境の明るさに応じてフィルタを制御して撮像素子が受光する光量を調節することで，カメラのダイナミックレ
ンジを大きくした [28, 29]．図 11(a) は手法 [28]，図 11(b) は手法 [29] によるシステムの外観である．またその他の専用の機器として，HDR カメラが挙げられる．
これら手法では，高フレームレートで HDR 画像を生成可能であるが，機器の性能による制限があるため，計測可能なダイナミックレンジは複数枚の画像を合成する手法に比べて大きくできない．

2.2.2 ハイダイナミックレンジレンダリングに関する研究
CG の分野では，実環境で生じる光学的な現象を再現して仮想物体を描画する
ため，仮想物体の照明計算の際にダイナミックレンジを考慮した，HDR レンダ

14

(a) 透過型液晶フィルタを用いる手法(b) 反射型液晶フィルタを用いる手法

図 11 特殊な機器を用いたカメラのハイダイナミックレンジ化リング技術が研究されている．Debevec らは，HDR 画像を環境マッピングして仮想物体を HDR レンダリングした [30]．Cohen らは，256 階調のテクスチャしか記録できないグラフィックスハードウェア上で HDR 画像をテクスチャとして記録するため，HDR 画像の画素値の符合化を行い，さらに符合を分割してグラフィッ
クスハードウェア上で記録し，環境マッピングすることで実時間での仮想物体のHDR レンダリングを実現した [31]．

2.2.3 トーンマッピングに関する研究
一般に，表示機器のダイナミックレンジに対し，HDR レンダリングされた仮想物体は大きいダイナミックレンジを持つためそのままでは表示することができな
い．そこで，表示可能な階調数に放射照度を写像する必要がある．これを，トー
ンマッピングと呼ぶ．
従来，トーンマッピングに関する研究では，トーンマッピング後の画像の利用目的に応じて様々な手法が提案されている．Tumblin らは，トーンマッピング後の画像の見えは，人間が実環境を見た場合と同様であることが良いと考え，視覚特性を考慮した手法を提案した [32]．Ward らは，実環境の放射輝度がどのように分布しているかに応じて，ダイナミックレンジのマッピング方法を変化させるた15

め，HDR 画像のヒストグラムを用いて実環境の明るさに適応的なトーンマッピ
ングを提案した [33]．Reinhard らは，利用目的に応じてトーンマッピング後の画像の見えを変更可能とするため，マッピングパラメータに可変の値を設けること
で，環境の暗い部分や明るい部分を強調可能なトーンマッピングを提案した [34]．
また Ashikhmin らは，様々なトーンマッピング手法に対し，目的に応じたトーン
マッピング手法の適正を評価した [35]．

2.3 本研究の位置付けと方針
MR のうち，実時間性を必要としない分野では，異なる露光時間で撮影した画像群を合成する HDR 画像生成手法を光源環境推定に適用することで，写実的な仮想物体の描画を実現した画像合成を実現されている [15, 30]．拡張現実感における光源環境推定に HDR 画像生成技術を適用した先行研究として，Agsanto ら[14] は光源環境は静的であると仮定し，あらかじめ生成した HDR 画像を用いた
HDR での光源環境推定により，Photorealistic AR を実現した．しかし，一般に環境は動的であるため，HDR での光源環境推定を実時間で行う必要がある．こ
こで，機器のダイナミックレンジ不足の解決には Debevec らの手法 [24] などのよ
うに複数枚の画像を合成する手法と，万波らの手法 [29] などのように特殊な機器を用いる手法があるが，機器の簡便さから，前者が望ましい．しかしこれら手法
では，計測可能なダイナミックレンジの大きさと更新レートはトレードオフの関係にある．
本研究では，光源環境推定におけるカメラのダイナミックレンジ不足の問題を解決することで，写実的な写り込みを再現可能な AR の実現を目的とする．提案
手法では，カメラのダイナミックレンジ不足の問題を解決するために異なる露光
時間で撮影された複数枚の画像を合成して HDR 画像生成する手法を適用する．
ただし，AR において計測が必要な放射照度の範囲は，影・陰影や写り込みの再現のために計測が必要な範囲に限定できると考え，AR を行う環境に適応的に計測する放射照度の範囲を設定することで，HDR 画像生成の更新レート向上をはかる．具体的には，描画する仮想物体のもつ最大反射係数，ユーザ視点カメラの露光時間，環境の明るさに応じて，計測する放射照度の範囲を適応的に変更し，

16

その範囲の放射照度を最短時間で計測可能な撮影枚数と露光時間の組を求める．
仮想物体の写り込みの再現には，光源環境を撮影した HDR 画像を環境マッピン
グして仮想物体を HDR レンダリングする．影・陰影の再現には光源位置を推定することが必要となるため，光源環境を撮影した HDR 画像から光源位置を推定する．ここで，ユーザ視点画像から計測できる放射照度の範囲に対し，HDR レ
ンダリングされた仮想物体を描画した画像は放射照度の範囲が広いため，両者を合成した画像は一般的なディスプレイで表示できない．そのため，仮想物体を描画した画像の放射照度をユーザ視点画像から計測できる放射照度値の範囲にマッピングすることで，両者のダイナミックレンジを一致させて画像合成を行う．提案手法により機器のダイナミックレンジ不足の問題を解決した光源環境推定からの仮想物体の描画を行うことで，影や写実的な写り込みを再現可能となる．また，計測可能なダイナミックレンジの大きさと更新レートのトレードオフ関係を改善することで動的な光源環境下での実用が期待できる．

17

3. HDR 光源環境画像からの光源環境推定による光学的整合性を実現した AR
3.1 提案手法の概要
本手法では，ユーザ視点画像と光源環境を撮影した画像 (以下，光源環境画像と呼ぶ) を撮影するため 2 台のカメラを使用するビデオシースルー型 AR システムを想定する．想定するシステム構成を図 12 に示す．ユーザ視点画像から画像
マーカを検出し，実環境におけるカメラの 3 次元位置姿勢を推定する．画像マー
カに鉛直上向に埋め込んだ光源撮影用カメラで光源環境画像を撮影する．光源環
境画像を環境マッピングして仮想物体を描画し，ユーザ視点画像に対して画像合成することで AR を実現する．
提案手法の処理手順を図 13 に示す．提案手法では，AR 画像合成処理と光源環
境推定処理の 2 つの処理を並列・非同期で動作させて光学的整合性問題を解決した AR を実現する．各処理の流れは以下の通りである．

ユーザ視点カメラ

ユーザ視点画像計算機

AR合成画像光源撮影用カメラ
光源環境画像図 12 ビデオシースルー型 AR システム構成図

18

ディスプレイAR画像合成処理

光源環境推定処理

ユーザ視点画像を撮影(A-1)

光源環境画像群を撮影(B-1)

カメラ位置姿勢推定(A-2)
仮想物体を
HDRレンダリング
(A-3)

HDR光源

環境画像

HDR光源環境画像
を生成(B-2)

光源位置

光源位置
を推定(B-3)
計測する放射照度の範囲を設定(B-4)

仮想物体をトーンマッピングしてAR画像合成(A-4)

撮影枚数と露光時間を決定(B-5)

図 13 提案手法の処理の流れ

19

• AR 画像合成処理
まず，ユーザ視点画像を撮影する (A-1)．次に，幾何学的整合性問題を解決するため，ユーザ視点画像から画像マーカを検出し，マーカの頂点に関する PnP 問題を解くことでマーカ座標系に対するカメラの位置姿勢を推定する (A-2)．推定されたカメラの位置姿勢に基づいて仮想物体を描画する．
ここで，光学的整合性問題の解決のため，HDR 光源環境画像を環境マッピ
ングすることで仮想物体に写り込みを，HDR 光源環境画像から光源方向を推定して影を再現する (A-3)．最後に，ユーザ視点画像と HDR レンダリン
グされた仮想物体のダイナミックレンジを一致させるため，HDR レンダリ
ングされた仮想物体をトーンマッピングして，ユーザ視点画像と仮想物体を合成する (A-4)．

• 光源環境推定処理
HDR で光源環境を推定するため，光源撮影用カメラにより異なる露光時間で複数の光源環境画像を撮影する (B-1)．撮影された光源環境画像群から，露光時間と画素値に基づいて HDR 光源環境画像を生成する (B-2)．仮想物
体の影を生成するため，HDR 光源環境画像から光源位置を推定する (B-3)．
次フレームで計測する放射照度の範囲を，影・陰影や写り込みの再現のため計測が必要な範囲に設定 (B-4) し， 計測が必要な放射照度の範囲を，最短の撮影時間で計測可能な撮影枚数と露光時間を決定する (B-5)．

AR 画像合成処理と光源環境推定処理は，HDR 光源環境画像と光源位置情報を共有する．以下の説明では 3.2 節で光源環境推定処理，3.3 節で AR 画像合成処理の各処理について詳述する．

3.2 光源環境推定処理
3.2.1 複数の画像からの HDR 光源環境画像生成 (B-2)
本手法では Debevec らの手法 [24] により，異なる露光時間で撮影された複数枚の画像から HDR 画像を生成する．この手法ではカメラの撮像素子が受光する放20

射照度を，露光時間と画像の画素値から推定し，複数枚の画像を合成することで放射照度を画素値とする HDR 画像を生成する．撮影環境は静的であり，撮像素子の各格子が単位時間当たりに受光する光量は一定であると仮定すると，異なる露光時間で撮影された P 枚の画像から生成された，HDR 画像中の位置 i における放射照度 Ei は式 (5) で求まる．
∑P

ln Ei =



j






 ∆tj

j=1 ω(Zij )(g(Zij ) − ln ∆tj )
．
∑P
ω(Z
)
ij
j=1

(5)

: 異なる露光時間で撮影された画像の番号: j 番目の画像を撮影したときの露光時間g: 光源撮影用カメラの撮影画像の画素値と放射照度の応答関数




Zij
: 撮影画像 j の画素 i の輝度値
 ω(Zij ) : Zij の信頼度を表す重み関数
式 (5) により，撮影画像の画素値 Zij と露光時間から環境の放射照度を計測することが可能である．計測した放射照度を画素値として，HDR 画像を生成する．ただし，黒つぶれしていると見なせる画素値を Zblack ，白とびしていると見なせる画
素値を Zwhite とすると，Zij < Zblack となる画素は黒つぶれしており，放射照度を計測できない．同様に，Zij > Zwhite となる画素は白とびしており，放射照度を計測できない．最も短い露光時間で撮影した画像中に Zij > Zwhite となる画素値が存在する場合，光源環境中に放射照度を推定できない部分が生じ，生成されたHDR 画像が不完全なものとなる．そのため本手法ではそのような場合，白とびした部分の放射照度を測定できたものとするために，白とびした画素の画素値をZwhite − 1 として扱う．また，最も長い露光時間で撮影した画像中に Zij < Zblackが存在する場合も同様に，黒つぶれした部分の放射照度を測定できたものとする
ために，黒つぶれした画素の画素値を Zblack + 1 とした．

3.2.2 HDR 光源環境画像からの光源位置の推定 (B-3)
前項の処理によって生成された HDR 光源環境画像は光源環境の放射照度を記録しているため，HDR 光源環境画像の輝度値の大きい点を光源と見なすことが

21

t

方位角θ
方位角θ

z

天頂角φ
天頂角φ

s

x

r
y

光源（n，m）

光源（a，b）

図 14 HDR 光源環境画像からの方位角 図 15 HDR 光源環境画像からの天頂角
の推定

の推定

できる．なお，本研究では光源は無限遠にあると仮定し，マーカ座標系における光源方向のみ推定する．撮影画像の中心からある画素までの距離が，光軸とある画素と対応する物体が存在する方向のなす角に比例する等距離射影方式の魚眼レンズを光源撮影用カメラに装着すると仮定すると，HDR 光源環境画像中の 1 画
素を光源と見なしたとき，光源の方位角 θ は式 (6) で求まり，光源の天頂角 φ
は式 (7) で求める．
θ = arctan

√
φ=

|m|
，
|n|

a2 + b2 A
× ．
r
2

(6)

(7)

図 14 に，HDR 光源環境画像からのマーカ座標系における光源方向の方位角の推定法を表す．HDR 光源環境画像の中心を原点とし，光源と見なす画素の s，t 軸成分をそれぞれ n，m とする．n，m から，式 (6) により光源方向の方位角 θ が求まる．
図 15 に，HDR 光源環境画像中の光源位置とカメラ座標系における光源方向の関係を表す．HDR 光源環境画像の半径を r 画素，カメラの画角を A とする．ま22

た，光源の x，y 軸成分をそれぞれ a，b とする．HDR 光源環境画像は等距離射影方式で撮影された画像群から生成されているため，HDR 光源環境画像の中心が天頂角 φ = 0[rad]，光源環境画像の外縁が天頂角 φ = A[rad] に対応する．式(7) により光源方向の天頂角 φ が求まる．

3.2.3 計測する放射照度の範囲の設定 (B-4)
複数枚の光源環境画像から HDR 光源環境画像を生成したとき，放射照度が全画素において正しく測定されているとする．このとき，HDR 光源環境画像の最大輝度値 Eenvmax が環境の最大放射照度，最小輝度値 Eenvmin が最小放射照度であり，環境のダイナミックレンジは Eenvmax と Eenvmin の比である．HDR 光源環
境画像は撮影時間に制限が無ければ，Eenvmin から Eenvmax の範囲を全て計測して生成するのが良い．しかし本手法では，光源環境推定処理の高速化を図るため，計測する放射照度の範囲を AR を行う環境に適応的に設定する．計測する放射照度の最大値 Emax と最小値 Emin は，環境の最大放射照度と最小放射照度，ユーザ
視点カメラの露光時間と仮想物体の最大反射係数に応じて求める．
最大反射係数が Smax ，最小反射係数が Smin (0 < Smin ≤ Smax ≤ 1) であるシーンにおいて，写実的な写り込みを再現するために計測画必要な放射照度の範囲を
図 16 に示す．図中の Earmin は，仮想環境中の最大反射係数 Smax の仮想物体に写り込みを再現するために計測が必要な放射照度の範囲のうち，最小値を表している．Earmax は，仮想環境中の最小反射係数 Smin の仮想物体に写り込みを再現するために計測が必要な放射照度の範囲のうち，最大値を表している．仮想物体に写り込みを再現するために計測が必要な放射照度は，Earmin から Earmax の範囲である．ユーザ視点カメラの露光時間が ∆Tar の場合に，光源撮影用カメラで計測が必要な最小放射照度 Earmin ，最大放射照度 Earmax は式 (8)，式 (9) で表される．

exp(Gar (Zblack ) − ln ∆Tar )，Smax
exp(Gar (Zwhite ) − ln ∆Tar )
．
=
Smin

Earmin =(8)

Earmax(9)23

Eenvmin

実環境の放射照度の範囲

Eenvmax

反射係数S の仮想物体に写り込みを再現するための放射照度の範囲
max

Earmax
Earmin反射係数S の仮想物体に写り込みを再現するための放射照度の範囲
放射照度
min

図 16 写り込みの再現のために計測が必要な放射照度の範囲
ここで，Gar はユーザ視点カメラの撮影画像の画素値と放射照度の応答関数を表し，Zblack は黒つぶれと見なす画素値，Zwhite は白とびと見なす画素値である．
一方，仮想物体に再現される影の形状や濃さは，光源環境において直接光源のような強い放射輝度を持つ部分に依存するため，撮影環境中の最大放射照度

Eenvmax までを推定する必要がある．放射照度を正しく測定して HDR 画像が生成され，さらにフレーム間での環境の放射照度の変化が小さいとすると，Eenvmax
は前フレームで生成した HDR 光源環境画像の最大放射照度であると仮定できる．
ただし，光源環境の最小放射照度の変化に応じて計測する放射照度の範囲を変更するため，最も短い露光時間で撮影した画像中に Zij > Zwhite となる画素値の割
合が閾値 T h を超えたとき，

Eenvmax = Eenvmax + K(10)とする．また，光源環境の最大放射照度の変化に応じて計測する放射照度の範囲を変更するため，最も長い露光時間で撮影した画像中に Zij < Zblack となる画素

24値の割合が閾値 T h を超えたとき，

Eenvmin = Eenvmin − K(11)とする．ただし，K は定数である．これにより，環境の明るさの変化に応じて，計測する放射照度の範囲を適応的に変更する．計測が必要な最大放射照度 Emax
は，影を再現するために計測が必要な放射照度 Eenvmax である．一方，計測が必
要な最小放射照度 Emin は，写り込みの再現のために計測が必要な最小放射照度

Earmin である．ただし，環境中の最小放射照度 Eenvmin が Earmin より大きい場合，
Eenvmin より小さい値を推定する必要はない．以上より，写実的な仮想物体を描画するために推定が必要な最大放射照度 Emax ，最小放射照度 Emin は以下のようになる．

Emin = max(Eenvmin , Earmin )，(12)

Emax = Eenvmax ．

(13)以上のことから，推定すべき放射照度 E は式 (14) の範囲に設定すれば良い．

Emin ≤ E ≤ Emax ．

(14)

3.2.4 計測する放射照度の範囲に応じた撮影枚数と露光時間の決定 (B-5)
前項で求めた推定すべき放射照度の範囲に応じて，撮影時間が最短となる撮影
枚数と露光時間を決定する手法を述べる．なお撮影時間とは，露光時間の総和の他に，カメラの露光時間の変更に要する時間，画像の転送に要する時間を含めた値である．撮影枚数と露光時間は，撮影枚数が最小となり，且つ露光時間の総和が最小となる組み合わせであることが望まれるため，本手法では最小放射照度を推定可能な露光時間から定める．
黒つぶれ，白とびに近い画素値ほど，放射照度の推定精度が低下することが経験的に分かっている．そこで，黒つぶれ，白とびが発生していると見なす画素値
(j)

(j)

Zblack ，Zwhite を用いて，露光時間 ∆Tj で撮影した画像は放射輝度 Imin から Imax
まで計測可能とする．式 (15) に，露光時間 ∆Tj で撮影された画像から計測可能

25

(j)

な最小放射輝度 Imin を，式 (16) に，露光時間 ∆Tj で撮影された画像から計測可(j)

能な最大放射輝度 Imax を表す．
(j)Imin = exp(Genv (Zblack ) − ln ∆Tj )，

(15)

(j)
= exp(Genv (Zwhite ) − ln ∆Tj )．
Imax

(16)

撮影枚数と露光時間の決め方は，以下の 3 つの条件を満たす必要がある．

• HDR 光源環境画像を生成するため，3.2.3 で設定した放射照度の範囲を漏れなく計測可能であること• 露光時間の変更や画像転送に要する時間が撮影時間に大きな影響を与える
ため，撮影枚数は最小であること• 露光時間の総和が最小であること
以上の条件を満たすため，計測が必要な放射照度の範囲に対して最小放射照度

Emin から順に計測していき，最大放射照度 Emax を計測できる露光時間が求まったとき，撮影枚数と露光時間の組を確定する．撮影枚数と露光時間の決定アルゴ(j)

リズムを図 17 に示す．まず j = 0 として，輝度値 Imin = Emin となる ∆Tj を定(j)める．そして，Imax > Emax となるまで，新たな画像を式 (17) で求まる撮影時間∆Tj+1 で撮影する．
(i)∆Ti+1 = exp(Genv (Zblack ) − ln(exp(Imax
)))，

(17)

これにより，式 (14) で表される範囲の放射照度に対して，最短の撮影時間となる
撮影枚数と露光時間が定まる．

26

開始
j=0
Emin

Yes

を黒つぶれせず撮影可能な露光時間ΔTjを決定

ΔT でE を白とびせず撮影可能
j

max

No

j=j+1

ΔTjで白とびする放射照度値を黒つぶれせず撮影可能なΔTj+1を決定
終了
図 17 撮影枚数と露光時間の決定アルゴリズム

27

3.3 AR 画像合成処理
3.3.1 画像マーカからのカメラ位置・姿勢の推定 (A-2)
本手法では，ユーザ視点画像と仮想環境の位置合わせに文献 [10] の手法と同様に環境中に複数の正方マーカを配置し，PnP 問題を解くことでマーカ座標系におけるカメラの位置姿勢を求め，AR における幾何学的整合性問題を解決する．

3.3.2 仮想物体のハイダイナミックレンジレンダリング (A-3)
仮想物体への写り込みは，3.2 節までの処理で生成された HDR 光源環境画像を
環境マッピング [36] することでレンダリングする．図 18 に，環境マッピングの図解を示す．仮想的な球の内壁に環境を投影したものを環境マップと呼び，視線に対する物体表面での反射ベクトルから，環境マップ上の画素値を物体にマッピングすることで写り込みを再現する．また，手法 [16] と同様に HDR 光源環境画

仮想的な球に 光源
環境を投影
反射ベクトル
による参照
視点

物体

環境マップ
図 18 環境マッピングの図解

28

像から輝度値が高い点を光源とみなして影を再現する．本手法では仮に，影の濃さは影の生成に寄与する光源の放射輝度によらず一定とする．

3.3.3 仮想物体のトーンマッピングと画像合成 (A-4)
HDR レンダリングされた仮想物体とユーザ視点画像の間のダイナミックレンジを一致させるため，ユーザ視点カメラの露光時間と特性に応じて仮想物体のトー
ンマッピングを行い，ユーザ視点カメラが露光時間 ∆Tar で仮想物体を撮影した時の写り込みを再現する．仮想物体を描画した画像上の位置 k におけるトーンマッ
ピング後の画素値 Zk は，

Zk = G−1
AR (lnEk + ln ∆Tar ) ．

(18)

ただし，G−1
AR は GAR の逆関数を表す．Ek は画像上の位置 k に対応する，HDR レ
ンダリングされた仮想物体表面上の微小領域の画素値，∆Tar はユーザ視点カメラの露光時間を表す．
式 (18) により実画像と仮想物体のダイナミックレンジを一致させ，3.3.1 節により求めたマーカ座標系におけるカメラの位置姿勢に応じて，実画像と仮想物体を合成する．

29

4. 実験
実験では，提案手法により撮影枚数と露光時間が AR を行う環境に対して適応的に変更されることで，HDR での光源環境推定に要する時間が短縮されることを確認する．また，AR を行う環境に応じて設定した計測する放射照度の範囲に対し，放射照度の計測精度の違いが仮想物体の写り込みの再現に与える影響を検証する．最後に，提案手法による HDR での光源環境推定によって，影と写り込
みの再現のために計測が必要なダイナミックレンジに対して機器のダイナミック
レンジが小さいダイナミックレンジ不足の問題が解決され，仮想物体の HDR レ
ンダリングとトーンマッピングにより写実的な AR が実現できることを確認する．
なお，本実験ではデスクトップ PC，ユーザ視点カメラ，光源撮影用カメラを用いた．表 1，2，3 に各機器の詳細を示す．

CPUIntel Pentium4 3.4GHz

メモリ

2GB

グラフィックスカード

NVIDIA GeForce6800

グラフィックスメモリ

256MB

表 1 デスクトップ PC
メーカ

Point Gray Research Inc.

製品名

Flea

解像度

1024×768

フレームレート

30fps

表 2 ユーザ視点カメラ

4.1 AR を行う環境に応じた撮影時間の評価実験
AR を行う環境の変更に応じて計測する放射照度の範囲が変化し，光源環境推
定処理における撮影に要する時間が，計測する放射照度の範囲に応じて変更され

30

メーカ

Point Gray Research Inc.

製品名

Dragonﬂy Express

解像度

680×480

フレームレート

120fps

表 3 光源撮影用カメラ
ることを確認する．なお，撮影に要する時間とは，露光時間の総和の他に，カメラの露光時間の設定に要する時間，画像の転送に要する時間を含めた時間である．
提案手法による HDR 画像合成のための撮影枚数と露光時間は，以下の 3 つの条
件に依存する．

• 重畳表示する仮想環境中の仮想物体の最大反射係数• ユーザ視点カメラの露光時間• 光源環境の最大・最小放射照度
以下，4.1.1 項で仮想物体の最大反射係数を変更した場合，4.1.2 項でユーザ視
点カメラの露光時間を変更した場合，4.1.3 項で環境の明るさを変更した場合の撮影枚数と露光時間の変化を示す．なお，本実験は図 19 に示すような，ダイナ
ミックレンジが大きい屋外環境で行った．

4.1.1 合成する仮想環境の変化に伴う撮影時間の評価実験
合成する仮想物体の最大反射係数に依存して，計測が必要な放射照度の範囲が変化することを確認する．まず，仮想物体の最大反射係数が 1 である仮想環境を合成し，その後，仮想物体の最大反射係数が 0.1 である仮想環境を合成した．なお，光源環境はほぼ静的であり，ユーザ視点カメラの露光時間は固定した．
図 20 に，合成する仮想環境の最大反射係数に依存して変化した，計測する放射照度の範囲を設定することで計測された放射照度の範囲と，光源環境推定画像の撮影枚数と露光時間の関係を示す．図の横軸は，光源環境推定処理のフレーム

31

画像マーカ

光源撮影用カメラ

ユーザ視点カメラ

図 19 実験を行った実環境
番号を表し，縦軸のうち左軸は計測された放射照度を，右軸は撮影に用いた露光
時間を表す．図中の 2 本の実線は，それぞれ計測された最小放射照度と最大放射照度を表しており，図中の記号 (▲，◆，■) はそれぞれ，光源環境推定処理の各フレームにおいて撮影された画像の露光時間を表す．本実験において 1〜34 フ
レーム目までは仮想物体の最大反射係数を 1 とし，35〜60 フレーム目までは仮想物体の最大反射係数を 0.1 とした．仮想物体の最大反射係数が小さくなることで，計測された最小放射照度が大きくなり，計測された放射照度の範囲が狭くなっていることが確認できる．しかし，仮想環境中の仮想物体の最大反射係数を変更する前と後で，計測された最大放射照度はほぼ一定となるはずであるが，仮想物体の最大反射係数を変更した 35 フレーム以降では，計測された最大放射照度値が34 フレーム以前に対して変化している．これは，光源撮影用カメラの応答関数のキャリブレーションが正確でないため，放射照度の計測に誤差が生じているためと考えられる．
重畳表示する仮想環境中の仮想物体の最大反射係数の変化に応じて，光源撮影用カメラが光源環境推定処理 1 回の撮影に要した時間を表 4 に示す．仮想物体の

32

最大反射係数1の仮想環境を合成

100

最大反射係数0.1の仮想環境を合成
10

値度 10
照射 1
放0.1

1
0.1
0.01

0.01
0

5

10

15

20

25

30

35

40

45

50

最小放射照度 最大放射照度 露光時間T0 露光時間T1 露光時間T255

図 20 適応的な撮影時間の変化：仮想物体の反射係数を変更した場合

最大反射係数

撮影枚数

撮影に要した時間 [ms]

1

3

96

0.1

2

63

表 4 仮想物体の最大反射係数の変更による撮影時間の変化

33

60

]s
m[
間時
光露

フレーム番号

露光時間1ms 露光時間5ms

100

10

値度 10
照射 1
放0.1

1
0.1

0.01

]s
[m間
時光
露

0.01
0

5

10

15

20

25

30

35

40

最小放射照度 最大放射照度 露光時間T0 露光時間T1 露光時間T2 フレーム番号
図 21 適応的な撮影時間の変化：ユーザ視点カメラの露光時間を変更した場合
ユーザ視点カメラの露光時間 [ms]撮影枚数

撮影に要した時間 [ms]

1

2

59

5

3

93

表 5 ユーザ視点カメラの露光時間の変更による撮影時間の変化
最大反射係数が 1 の環境では，撮影枚数は 3 枚，撮影に要した時間は平均 96ms であり，仮想物体の最大反射係数が 0.1 の環境では，撮影枚数は 2 枚，撮影に要した
時間は平均 63ms であった．仮想物体の最大反射係数の変更に応じて，計測する放射照度の範囲が適応的に変化することで，光源環境推定処理 1 回の撮影時間が変化していることが確認できる．参考として先行研究 [14] のような，事前に露光時

ms (0≤n≤9)間を設定して複数数の画像を撮影する手法では，例えば露光時間 2562nで撮影された 10 枚の画像を用いた場合に撮影時間は 670ms であり，提案手法によって撮影時間が大幅に短縮できることを確認した．

4.1.2 ユーザ視点カメラの露光時間の変化に伴う撮影時間の評価実験
ユーザ視点カメラの露光時間に依存して，計測が必要な放射照度の範囲が変化することを確認する．まず，ユーザ視点カメラの露光時間を 1ms とした後，ユー
ザ視点カメラの露光時間を 5ms とした．なお，光源環境はほぼ静的であり，仮想34

物体の最大反射係数を固定した．
図 21 に，ユーザ視点カメラの露光時間の変更に依存して変化した，計測する
放射照度の範囲を設定することで計測された放射照度の範囲と，光源環境推定画
像の撮影枚数と露光時間の関係を示す．図の各軸と図中の記号は，図 20 と同じである．本実験において 1〜21 フレーム目まではユーザ視点カメラの露光時間を1ms とし，22〜40 フレーム目まではユーザ視点カメラの露光時間を 5ms とした．
ユーザ視点カメラの露光時間に依存して計測された最小放射照度が小さくなり，計測された放射照度の範囲が広くなっていることが確認できる．
ユーザ視点カメラの露光時間の変化に応じて，光源撮影用カメラが光源環境推
定処理 1 回の撮影に要した時間を表 5 に示す．ユーザ視点カメラの露光時間が 1msの場合，撮影枚数は 2 枚で撮影に要した時間は平均 59ms であり，ユーザ視点カメラの露光時間が 5ms の場合，撮影枚数は 3 枚で撮影に要した時間は平均 93msであった．ユーザ視点カメラの露光時間の変更に応じて，計測する放射照度の範囲が適応的に変化することで，光源環境推定処理 1 回の撮影時間が変化していることが確認できる．

4.1.3 光源環境の最大放射照度の変化に伴う撮影時間の評価実験
環境の最大放射照度に依存して，計測が必要な放射照度の範囲が変化することを確認する．まず，環境の最大放射輝度が大きい日向で光源環境推定を行って仮想環境を合成し，その後，環境の最大放射輝度が小さい日陰で光源環境推定を行って仮想環境を合成した．なお，計測が必要な放射照度の範囲に影響を及ぼさない
よう，仮想物体の最大反射係数とユーザ視点カメラの露光時間は固定した．
図 22 に，環境の明るさの変更に依存して変化した，計測する放射照度の範囲を設定することで計測された放射照度の範囲と，光源環境推定画像の撮影枚数と露光時間の関係を示す．1〜20 フレーム目までは日向で光源環境推定を行い，21〜

60 フレーム目までは日陰で光源環境推定を行った結果を元に AR 画像合成を行った．日向の環境では，計測された放射照度の範囲が広く，日陰の環境に移動することで計測された放射照度の範囲が狭くなったため，撮影枚数が減り，露光時間が変化していることが確認できる．

35

日向

100

日陰

10

10
値
度
1
照
射
放

1
0.1

0.1

0.01

s]m
[間
時光
露

0.01
0

5

10

15

20

25

30

35

40

45

50

最小放射照度 最大放射照度 露光時間T0 露光時間T1 露光時間T2

55

60

フレーム番号

図 22 適応的な撮影時間の変化：環境の明るさを変更した場合
光源環境の状態

撮影枚数

撮影に要した時間 [ms]

日向

3

96

日陰

2

59

表 6 環境の明るさの変更による撮影時間の変化
環境の最大放射照度の変更に応じて，光源撮影用カメラが光源環境推定処理 1
回の撮影に要した時間を表 6 に示す．日向の環境の場合，撮影枚数は 3 枚で撮影に要した合計時間は平均 93ms であり，日陰の環境の場合，撮影枚数は 2 枚で撮影に要した合計時間は平均 59ms であった．光源環境の最大放射照度の変更に応じて，計測する放射照度の範囲が適応的に変化することで，光源環境推定処理 1
回の撮影時間が変化していることが確認できる．

4.2 放射照度の計測精度の違いが仮想物体の写実性に与える影響の検証
本実験では，AR を行う環境に応じて設定した計測する放射照度の範囲に対し，放射照度の計測精度の違いが仮想物体の写り込みの再現に与える影響を検証する．
具体的には，式 (17) における Zblack ，Zwhite を変更して生成した HDR 画像を元に36

写り込みを再現した画像の PSNR により，Zblack ，Zwhite の値が仮想物体の写実性に与える影響を検証する．本実験では写り込みを再現する仮想物体の形状の影響を取り除くため，HDR 光源環境画像の各画素に対して仮想物体による光の反射による光量の減衰を生じさせ，式 (18) により画素値を 256 階調にマッピングした画像を比較した．なお，仮想物体の最大反射係数 S は 1，トーンマッピングパラ
メータとして ∆Tar は 10ms とした．(Zblack ,Zwhite ) の値を (100,100) とした際に十分な放射照度の計測精度であると仮定し，(Zblack ,Zwhite ) の値を小さくした際の仮想物体の写実性の劣化を調べる．
図 23(a)〜(f) は，(Zblack ,Zwhite ) の値をそれぞれ (100,100)，(80,80)，(60,60)，(40,40)，(20,20)，(10,10) として生成された HDR 光源環境画像の各画素に対して反射による光量の減衰を生じさせ，式 (18) により画素値を 256 階調にマッピング
した画像．図 24〜 29 は，図 23(a)〜(f) の生成のために撮影された光源環境画像群である．表 7 に，(Zblack ,Zwhite )=(100,100) として写り込みを再現した画像に対する，(Zblack ,Zwhite ) の値を (80,80)，(60,60)，(40,40)，(20,20)，(10,10) として写り込みを再現した画像の輝度値の PSNR を示す．(Zblack ,Zwhite ) の値を (100,100)とした場合に対し，(Zblack ,Zwhite ) の値を (10,10) とした場合の PSNR が最も低くなっており，37.6[db] である．PSNR は 30[db] を超えれば実用的な画質であると言えるため，(Zblack ,Zwhite ) の値を (10,10) とした場合でも仮想物体の写実性は保たれると言える．

PSNR[db](Zblack ,Zwhite )=(80,80)

72.7(Zblack ,Zwhite )=(60,60)

78.7(Zblack ,Zwhite )=(40,40)

73.8(Zblack ,Zwhite )=(20,20)

49.8(Zblack ,Zwhite )=(10,10)37.6

表 7 (Zblack ,Zwhite )=(100,100) として写り込みを再現した画像に対する PSNR

37

(a)
(b)
(Zblack ,Zwhite )=(100,100) (Zblack ,Zwhite )=(80,80)(c)(Zblack ,Zwhite )=(60,60)(d)(Zblack ,Zwhite )=(40,40)(e)(Zblack ,Zwhite )=(20,20)(f)(Zblack ,Zwhite )=(10,10)

図 23 Zblack ，Zwhite の値を変更して生成した HDR 光源環境画像により写り込みを再現した画像38

(a) 露光時間:47.7ms(b) 露光時間:19.88ms(c) 露光時間:8.29ms(d) 露光時間:3.45ms(e) 露光時間:1.44ms(f) 露光時間:0.6ms

図 24 (Zblack ,Zwhite )=(100,100) のとき撮影された光源環境画像群

39

(a) 露光時間:34.9ms(b) 露光時間:7.78ms(c) 露光時間:1.73ms(d) 露光時間:0.38ms

図 25 (Zblack ,Zwhite )=(80,80) のとき撮影された光源環境画像群

40

(a) 露光時間:25.53ms(b) 露光時間:3.04ms(c) 露光時間:0.36ms

図 26 (Zblack ,Zwhite )=(60,60) のとき撮影された光源環境画像群

41

(a) 露光時間:18.68ms(b) 露光時間:1.19ms(c) 露光時間:0.07ms

図 27 (Zblack ,Zwhite )=(40,40) のとき撮影された光源環境画像群(a) 露光時間:13.66ms(b) 露光時間:0.46ms

図 28 (Zblack ,Zwhite )=(20,20) のとき撮影された光源環境画像群

42(a) 露光時間:11.69ms(b) 露光時間:0.29ms

図 29 (Zblack ,Zwhite )=(10,10) のとき撮影された光源環境画像群

4.3 光学的整合性を実現した AR 画像合成実験
AR における HDR 光源環境画像からの光源環境推定の有効性を確認するため，
仮想物体に影，写り込みを再現した画像合成実験を行った．なお本実験では，カ
メラを鉛直上向に設置していることから光源環境は上半球しか推定できないため，下半球の光源環境はあらかじめ生成した HDR 画像 (図 30) を用いて写り込みを再現した．提案手法による HDR での光源環境推定から，1 から 0.01 までの異なる反射係数をもつ仮想物体に影と写り込みを再現して実画像と合成した結果を図 31に示す．図 31 は AR 合成画像の全体図と，一部の拡大図である．図 31 中の A は反射係数の小さい仮想物体の写り込みを拡大した画像，B は反射係数の大きい仮想物体の写り込みを拡大した画像である．また，図 32 は 1 枚の光源環境画像から
光源環境推定を行う手法による AR 合成画像を図 31 と同様に示したものである．
提案手法と従来手法の AR 合成画像を比較すると，図 31 と図 32 中の B では共にほぼ同様の写り込みが再現されているが，図 31 と図 32 中の A では，異なる写り込みが再現されている．図中の A のように，光源環境のうち直接光源のよ
うな高い放射輝度からの写り込みは，本来，反射係数が小さい場合でも白とびして写り込むか，もしくは画素値が複雑に変化した写り込みが再現されるのが正しい．図 31 中の A では，概ね正しい写り込みが再現されているが，図 32 では灰色につぶれ，正しい写り込みが再現できていない．以上のことから，提案手法により写実的な写り込みを再現できていることが確認できる．なお，光源環境推定は43

図 30 下半球の光源環境を予め撮影した HDR 画像
およそ 3Hz，AR 画像合成は 15fps で動作した．

44

Ａ

B

図 31 提案手法による HDR 光源環境画像からの光源環境推定による AR 合成画像

45

Ａ

B

図 32 1 枚の光源環境画像からの光源環境推定を行う手法による AR 合成画像

46

5. まとめ
本論文では，AR のための光学的整合性の実現において，光源環境推定を行う
際にカメラが計測できる放射照度の範囲が狭いことにより，仮想物体の影や写り込みの再現に十分な放射照度の範囲を計測できないため，仮想物体の写実性が損なわれる問題を解決する手法を提案した．本手法では，光源環境推定に HDR 画像生成技術を適用し，HDR 画像からの光源環境推定を行い，仮想物体を HDR レン
ダリングすることで仮想物体の影のみならず写実的な写り込みを実現した．また，

HDR レンダリングされた仮想物体とユーザ視点画像のダイナミックレンジを一致させるトーンマッピングにより，写実的な AR 画像合成を行った．さらに，計測する放射照度の範囲を AR を行う環境に応じて設定し，光源環境推定のための撮影枚数と露光時間を環境に適応的に変更することで更新レートの向上を図った．
実験では，撮影枚数と露光時間を適応的に変更することで，固定露光時間で多くの枚数から HDR 画像を生成する場合に対して撮影時間が短縮されることを確認した．また，放射照度の計測精度が，写り込みを再現した画像に及ぼす影響を評価した．最後に，提案手法により写り込みの再現のために計測が必要な放射照度の範囲が計測され，仮想物体に写実的な写り込みを再現した AR 画像合成が行えることを確認した．
今後の課題として，AR 画像合成処理と光源環境推定処理の更新レートは同じであることが望ましいため，光源環境推定の高フレームレート化が挙げられる．
本手法では，光源環境画像が複数枚撮影される毎に HDR 光源環境画像生成を行ったが，1 枚の光源環境画像を撮影する毎に HDR 光源環境画像生成を行えば，1 枚の HDR 光源環境画像生成に要する撮影時間が短縮され，フレームレートの向上が見込める．また，本手法では影の生成に対して，濃さは影の生成に寄与する光源の放射輝度によらず一定とした．しかし光源の放射照度が環境中にどのように分布しているか既知であるため，環境の明るさに適応的に影の濃さを決定することで，さらなる写実性の向上を行うことが挙げられる．

47

謝辞
本研究の全過程を通して，細やかな御指導，御鞭撻を頂いた視覚情報メディア講座 横矢 直和教授に心より感謝致します．また，本研究の遂行にあたり，有益な御助言を頂いた像情報処理学講座 千原 國宏教授に厚く御礼申し上げます．そして，本研究の全過程を通して，終始温かい御指導をして頂いた視覚情報メディア講座 山澤 一誠准教授に深く感謝致します．公私にわたり大変お世話になり，的確な御助言，御指導を頂いた視覚情報メディア講座 神原 誠之助教に深く御礼申し上げます．また，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視
覚情報メディア講座 佐藤 智和助教に心より感謝致します．特に，神原 誠之助教には本研究のテーマ設定から本論文の執筆，発表練習に至るまで大変細やかな御指導を頂きました．さらに，本研究の遂行にあたり，細やかな御助言，御鞭撻を頂いた視覚情報メディア講座 奥村 文洋氏に心より御礼申し上げます．また，研究室での生活を支えていただいた視覚情報メディア講座事務補佐員 高橋 美央女史に深く感謝致します．最後に，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア講座の諸氏に心より感謝致します．

48

参考文献
[1] P. Milgram and F. Kishino: “A taxonomy of mixed reality visual display,”
IEICE Transactions on Information and Sytem, pp. 1321–1329, 1994.
[2] M. Bajura, H. Fuchs and R. Ohbuchi: “Merging virtual objects with the realworld: Seeing ultrasound imagery within the patient,” Proc. of SIGGRAPH’92, pp. 203–210, 1992.
[3] A. State, M. A. Livingston, W. F. Garrett, G. Hirot, M. C. Whitton, E. D.
Pisano and H. Fuchs: “Technologies for augmented reality systems: Realizing
ultrasound-guided needle biopsies,” Proc. of SIGGRAPH ’96, pp. 439–446,
1996.
[4] 廖, 中島, 岩原, 小林, 佐久間, 矢作, 土肥: “Integral videography を用いた手術支援リアルタイム三次元ナビゲーションシステムの開発”, 日本コンピュー
タ外科学会会誌, Vol. 2, No. 4, pp. 245–252, 2000.

[5] 天目, 神原, 横矢: “ウェアラブル拡張現実感システムのための注目オブジェク
トへの直感的な注釈提示手法”, 日本バーチャルリアリティ学会論文誌, Vol.

10, No. 3, pp. 305–312, 2005.
[6] T. Korpipaa, K. Minami, T. Kuroda, Y. Manabe and K. Chihara: “Sharedvirtual reality interior design system,” International Conference on Artiﬁcial
Reality and Tele-existence, pp. 124–131, 2000.
[7] 石川, 安室, 南, 井村, 眞鍋, 千原: “実環境光源下における仮想物体のレイア
ウトシミュレーション”, 電子情報通信学会技術研究報告，PRMU, パターン
認識・メディア理解, pp. 13–18, 2003.

[8] M. Fiorentino, R. Amicis, G. Monno and A. Stork: “Spacedesign: A mixed
reality workspace for aesthetic industrial design,” Proc. of IEEE/ACM International Symposium on Mixed and Augmented Reality, pp. 86–96, 2002.

49

[9] T. Oshima, T. Kuroki, H. Yamamoto and H. Tamura: “A mixed reality
system with visual and tangible interaction capability,” Proc. of IEEE/ACM
International Symposium on Mixed and Augmented Reality, pp. 284–285,
2003.
[10] H. Kato, M. Billinghurst, I. Poupyrev, I. Imamoto and K. Tachibana:“Virtual object manipulation on a table-top ar environment,” Proc. ofIEEE/ACM International Symposium on Augmented Reality, pp. 111–119,
2000.
[11] G. Klein and D. Murray: “Parallel tracking and mapping for small arworkspaces,” Proc. of IEEE/ACM International Symposium on Mixed andAugmented Reality, pp. 225–234, 2007.
[12] 藤井, 神原, 岩佐, 竹村, 横矢: “拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ”, 電子情報通信学会技術研究報告. PRMU,
パターン認識・メディア理解, pp. 1–8, 1999.

[13] 神原, 横矢: “Rtk-gps と慣性航法装置を併用したハイブリッドセンサによる屋外型拡張現実感”, 電子情報通信学会技術研究報告. PRMU, パターン認識・
メディア理解, pp. 37–42, 2004.

[14] K. Agusanto, L. Li, Z. Chuangui and N. W. Sing: “Photorealistic rendering
for augmented reality using environment illumination,” Proc. of IEEE/ACM
International Symposium on Mixed and Augmented Reality, pp. 208–216,
2003.
[15] J. Stumpfel, A. Jones, A. Wenger, C. Tchou, T. Hawkins and P. E. Debevec:“Direct hdr capture of the sun and sky,” Proc. of AFRIGRAPH ’04, pp. 145–
149, 2004.
[16] 神原, 横矢: “現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感”, 画像の認識・理解シンポジウム, Vol. 2, pp. 247–

252, 2004.
50

[17] I. Sato, Y. Sato and K. Ikeuchi: “Illumination from shadows,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 3, pp. 290–
300, 2003.
[18] I. Sato, Y. Sato and K. Ikeuchi: “Illumination distribution from brightness
in shadows: Adaptive estimation of illuminationdistribution with unknown
reﬂectance properties in shadow regions,” International Conference on Conputer Vision, pp. 875–882, 1999.
[19] 高井, 牧, 松山: “スケルトンキューブを用いた光環境推定”, 画像の認識・理
解シンポジウム, Vol. 2, pp. 241–246, 2004.

[20] 岡部, 佐藤, 佐藤: “影に基づく光源推定の周波数解析と haar ウェーブレットを用いた適応的手法の提案”, 電子情報通信学会論文誌, Vol. J88-D2, No. 8,

pp. 1440–1449, 2005.
[21] I. Sato, Y. Sato and K. Ikeuchi: “Acquiring a radiance distribution to superimpose virtual objects onto a real scene,” IEEE Transactions on Visualization and Computer Graphics, Vol. 5, No. 1, pp. 1–12, 1999.
[22] T. Kakuta, T. Oishi and K. Ikeuchi: “Virtual kawaradera: Fast shadow
texture for augmented reality,” Proc. of International Society on Virtual
Systems and MultiMedia, pp. 141–150, 2004.
[23] P. Supan, I. Stuppacher and M. Haller: “Image based shadowing in real-time
augmented reality,” International Journal of Virtual Reality, Vol. 5, No. 3,
pp. 1–7, 2006.
[24] P. E. Debevec and J. Malik: “Recovering high dynamic range radiance maps
from photographs,” Proc. of SIGGRAPH ’97, pp. 369–378, 1997.
[25] T. Mitsunaga and S. Nayar: “Radiometric self calibration,” Proc. IEEE
Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 374–
380, 1999.
51

[26] S. B. Kang, M. Uyttendaele, S. Winder and R. Szeliski: “High dynamic
range video,” Proc. of SIGGRAPH ’03, pp. 319–325, 2003.
[27] M. Niskanen: “View dependent enhancement of the dynamic range of video,”Proc. of International Conference on Pattern Recognition, Vol. 1, pp. 984–
987, 2006.
[28] 万波, 佐川, 向川, 越後, 八木: “透過型液晶フィルタリング方式によるカメラの広ダイナミックレンジ化”, 画像の認識・理解シンポジウム, pp. 1208–1215,

2005.
[29] 万波, 佐川, 向川, 越後, 八木: “反射型液晶を用いた適応的ダイナミックレン
ジカメラの提案”, 画像の認識・理解シンポジウム, pp. 412–417, 2006.

[30] P. E. Debevec: “Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic
range photography,” Proc. of SIGGRAPH ’98, pp. 189–198, 1998.
[31] J. Cohen, C. Tchou, T. Hawkins and P. E. Debevec: “Real-time highdynamic range texture mapping,” Proc. of Eurographics Rendering Workshop ’01, pp. 313–320, 2001.
[32] J. Tumblin and H. Rushmeier: “Tone reproduction for realistic images,”
IEEE Computer Graphics and Applications, Vol.13, No.6, pp. 42–48, 1993.
[33] G. Ward, H. Rushmeier and C. Piatko: “A visibility matching tone reproduction operator for high dynamic range scenes,” IEEE Transactions on
Visualization and Computer Graphics, Vol. 3, No. 4, pp. 291–306, 1997.
[34] E. Reinhard, M. Stark, P. Shirley and J. Ferwerda: “Photographic tone
reproduction for digital images,” ACM Transactions on Graphics, pp. 267–
276, 2002.
[35] M. Ashikhmin and J. Goyal: “A reality check for tone-mapping operators,”
ACM Transactions on Applied Perception, Vol. 3, No. 4, pp. 399–411, 2006.
52

[36] J. Blinn and M. Newell: “Texture and reﬂection in computer generated
images,” Communications of the ACM, pp. 542–547, 1976.
[37] M. D. Grossberg and S. Nayar: “Determining the camera response fromimages: What is knowable?,” IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 25, No. 11, pp. 1455–1467, 2003.

53