NAIST-IS-MT0151089

修士論文

表面反射特性の推定による仮想化環境の対話的な照明シミュレーションに関する研究

福冨 弘敦

2003 年 2 月 7 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
福冨 弘敦

審査委員：

横矢 直和 教授
千原 國宏 教授
山澤 一誠 助教授

表面反射特性の推定による仮想化環境の対話的な照明シミュレーションに関する研究3
福冨 弘敦

内容梗概
近年，仮想環境と現実環境を融合する複合現実感やコンピュータグラフィック
スの分野において，現実環境を忠実に仮想化し，計算機上で照明の位置や明るさなどを操作して，照明による影響を仮想的に表現する研究が行われている．これ
らの研究は，写実性を重視する研究と実時間対話性を重視する研究に大別できる．
前者の研究では，現実環境を忠実に表現するために光の相互反射を考慮に入れ，さらに物体の反射特性に関しても拡散反射成分や鏡面反射成分など様々な反射特性に対応している．後者の研究においても光の相互反射を考慮に入れているが，環境内の反射は拡散反射に限定しており，視点や光源の位置に依存する鏡面反射成分を含む環境では対話的に照明条件を操作することは困難であった．そこで本論文では鏡面反射成分を含む環境に対して，それを忠実に仮想化し，対話的に照明条件を操作することができる照明シミュレーション手法を提案する．まず，現実環境の仮想化に必要な幾何形状は３次元形状計測装置を用いて取得する．次に，現実環境の幾何形状と実写画像から環境内の拡散反射係数と鏡面反射係数および
表面粗さ係数の推定を行う．そして，推定された反射係数を用いて現実環境の仮想化を行う．その際，環境内の拡散反射成分に関しては従来研究と同様に光の相互反射を考慮してレンダリングを行うが，鏡面反射成分に関しては１次反射のみを考慮した Torrance-Sparrow の反射モデルに基づいてレンダリングを行う．これにより，鏡面反射物体を含む環境において対話的に照明条件を操作することを可
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0151089, 2003

年 2 月 7 日.

i

能とする．実験では，推定された反射係数の評価と現実環境を仮想化した環境における照明操作の評価および結果を示す．

キーワード
複合現実感, 表面反射特性, ラジオシティ法, Torrance-Sparrow モデル , 照明シミュ
レーション

ii

Virtual Relighting of a Virtualized Scene by
Estimating Surface Re ectance Properties 3
Hironobu Fukutomi
Abstract
In computer graphics and mixed reality, there are a number of researches forvirtualizing a real scene and simulating illumination conditions in the virtualized
real scene. Techniques of simulating illumination conditions can be roughly classi ed into two major approaches. The rst approach intends to virtualize thereal scene accurately. This approach takes into account not only interre ections
but also various re ectance properties in the real scene. The second approach
intends to interactively manipulate the virtulized real scene in real time. Though
the second one also considers intere ections, it deals only with a di use re ection
component. The problem is that this approach is not able to manipulate illumination conditions in a scene including specular re ections whose observation
depends on the position of the light source and the view point. In this paper,
we propose a method for virtualizing a real scene including specular re ections
and to interactively manipulate illumination conditions in the virtualized scene.
First, we get the geometry of the scene using a three-dimensional digitizer. Second, we estimate di use re ectance, specular re ectance and surface roughness
parameters from the geometry and real images of the scene. We then virtualize
the real scene using estimated re ectance properties. To interactively manipulate illumination conditions, di use re ectance surfaces are rendered considering
3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0151089,

iii

February 7, 2003.

interre ections, while specular re ectance surfaces are rendered considering the
primary re ection based on Torrance-Sparrow model. Experiments show that we
can successfully estimate re ectance properties in the real scene and that illumination conditions can be interactively manipulated in the virtualized scene inreal time.

Keywords:
mixed reality, surface re ectance properties, radiosity, Torrance-Sparrow model,
virtual relighting

iv

目次

1. はじめに1

2. 照明シミュレーションに関する従来研究と3

本研究の目的2.1 現実環境の仮想化
2.2 CG におけるレンダリング手法
2.2.1 局所レンダリング手法
2.2.2 大域レンダリング手法
2.3 照明シミュレーションに関する従来研究
2.3.1 写実性を重視した手法
2.3.2 実時間対話性を重視した手法
2.4 本研究の目的と方針: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :3. 幾何形状と実写画像からの反射係数の推定

3.1 処理の概要
3.2 幾何形状と実写画像の取得
3.2.1 幾何形状の取得
3.2.2 実写画像の取得
3.3 拡散反射係数の推定
3.3.1 拡散反射成分画像
3.3.2 ハイライト画像
3.3.3 拡散反射係数の推定処理
3.4 鏡面反射係数と表面粗さ係数の推定
3.4.1 鏡面反射成分画像
3.4.2 鏡面反射係数と表面粗さ係数の推定処理

14: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : :4. 仮想化環境の照明シミュレーション
4.1 仮想光源モデル
4.2 照明条件の変更: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :

v

3
5
6
9
11
12
12
13
14
15
15
17
19
19
19
21
23
23
24

27
27
28

4.3 仮想化環境の実時間レンダリング: : : : : : : : : : : : : : : : : :

33

5. 実験

5.1 反射係数推定の評価実験
5.2 照明シミュレーションの評価実験
5.3 照明シミュレーション結果
5.4 没入型照明シミュレーションシステム
5.5 まとめと考察

29: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :

33
37
40
42
45

6. むすび

49

謝辞

50

参考文献

51

vi

図目次

1
2
3

拡散反射の性質 : : : : : : : : : : : : : : : : : : : : : : : : : : : :鏡面反射の性質 : : : : : : : : : : : : : : : : : : : : : : : : : : : :浅い角度の入射光における Phong モデルと Torrance-Sparrow モデ
ルの比較 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

レ イトレーシング法によるレンダリング: : : : : : : : : : : : : :ラジオシティ法によるレンダリング結果 [23] : : : : : : : : : : : :推定手法の処理の流れ: : : : : : : : : : : : : : : : : : : : : : : :拡散反射用モデルと鏡面反射用モデル
ガンマ係数推定のためのカラーパターン: : : : : : : : : : : : : : :: : : : : : : : : : : : : :ガンマ補正による影響を除去する前後の画像 : : : : : : : : : : : :推定処理で用いられる画像例: : : : : : : : : : : : : : : : : : : :拡散反射係数の推定処理の流れ: : : : : : : : : : : : : : : : : : :鏡面反射係数と表面粗さ係数の推定処理の流れ : : : : : : : : : : :面光源と点光源による影の違い: : : : : : : : : : : : : : : : : : :スポットライトの照明効果 : : : : : : : : : : : : : : : : : : : : : :逐次的なレンダリング結果 : : : : : : : : : : : : : : : : : : : : : :実験対象のシーン : : : : : : : : : : : : : : : : : : : : : : : : : : :反射係数の評価実験環境 : : : : : : : : : : : : : : : : : : : : : : :反射係数の可視化画像: : : : : : : : : : : : : : : : : : : : : : : :照明シミュレーションの評価実験結果: : : : : : : : : : : : : : :照明シミュレーション結果 : : : : : : : : : : : : : : : : : : : : : :照明シミュレーションシステムの外観: : : : : : : : : : : : : : :照明シミュレーションシステムの操作方法 : : : : : : : : : : : : :球面ディスプレ イに投影したレンダリング結果 : : : : : : : : : : :ポインタとパッチの接触判定
光源位置移動の操作例: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :

vii

7
7
8
10
11
14
16
17
18
20
22
25
28
30
32
34
35
38
39
41
43
43
44
45
46

表目次

1
2

反射係数の評価実験結果 : : : : : : : : : : : : : : : : : : : : : : :没入型照明シミュレーションシステムの機器構成

viii: : : : : : : : :3642

1. はじめに
近年，仮想環境と現実環境を融合する複合現実感やコンピュータグラフィック
スの分野において，仮想環境内で現実環境を忠実に再現し，計算機上で照明の位
置や明るさなどの照明条件を操作して，照明による影響を仮想的に表現する研究[1, 2] が行われている．これらの研究では対象とするシーンの幾何形状や光源条件などの現実環境を仮想化する必要があり，なかでもシーンの表面反射特性を仮想化することは現実環境における陰影を忠実に表現するために重要である．
仮想環境において照明の位置や明るさなどの照明条件を操作する研究では，現実環境の表面反射特性を仮想化するために，光の相互反射をモデル化したレン
ダリング手法であるラジオシティ法が用いられている．ラジオシティ法は光の熱エネルギーの伝播に基づき，光の相互反射による影響を忠実に再現可能な手法である．Fournier ら [3] はシーンの 3 次元形状と光源の位置や輝度値は手動で与え，シーンの反射特性を推定することにより現実環境の仮想化を行った．この手法では，ラジオシティ法により相互反射の影響も考慮しているが，シーンの反射成分
は拡散反射成分のみと仮定していることから，鏡面反射成分を含んだ現実環境を仮想化することは困難であった．Loscos ら [4] は，ラジオシティ法を導入して仮
想環境における対話的な照明シミュレーションを行った．この手法では，現実環
境の仮想化に固定視点のテクスチャを用いているため，仮想環境内での視点移動を行うためには移動した位置でのテクスチャが必要となり，仮想的な自由な視点
移動が困難であった．また Boivin ら [5] は，あらかじめモデル化されたシーンの厳密な 3 次元形状を基に，写りこみのある鏡面反射など現実環境に存在する複雑な反射特性の推定を行った．しかしながら，数多くの反射特性を仮定し，複雑な反射までも再現しようと試みたため，仮想環境におけるシーンの描画に要する計算時間が膨大となり，実時間で対話的に照明操作を行うことは困難であった．
本研究では拡散反射成分だけでなく鏡面反射成分を含んだ環境において，物体の拡散反射係数と鏡面反射係数および表面粗さ係数を推定し，現実環境の仮想化を行う．そして，仮想化された環境内において，照明条件や視点位置を仮想的に操作可能な実時間対話的照明シミュレーションを実現する．具体的には，まず 3 次

元形状計測装置と市販のモデリング・ツールを用いて作成したシーンの 3 次元形状

1

と実写画像を入力としてシーンの反射特性を推定する．シーン内の拡散反射成分
に関してはラジオシティ法に基づいて相互反射を考慮した拡散反射係数の推定を行い，鏡面反射成分に関しては Torrance-Sparrow の反射モデルに基づいて鏡面反射係数および表面粗さ係数の推定を行う．次に，得られた反射係数と 3 次元形状に基づいて，計算機上にシーンを再現する．描画に関しては，シーンを高速にレンダリングするために，拡散反射成分には相互反射を考慮したラジオシティ法を用い，鏡面反射成分には 1 次反射のみを考慮した計算量の少ない Torrance-Sparrowの反射モデルを用いる．
以下，2 章において照明シミュレーションに関する従来研究と本研究の目的について述べ，3 章では現実環境の幾何形状と実写画像を用いた反射係数の推定手法を説明する．4 章では提案手法により推定した反射特性を用いて仮想化された仮想化環境における照明シミュレーションについて述べる．5 章では提案手法を用いて推定したシーンの反射係数の評価実験と仮想化された環境における照明シ
ミュレーションの実験結果について述べ，最後に考察と本論文のまとめを述べる．

2

2. 照明シミュレーションに関する従来研究と本研究の目的現実環境における照明条件に対して仮想的に計算機上でシミュレーションを行うためには，まず現実環境を計算機上に忠実に再現する必要がある．そのためには，一般に現実環境の幾何形状，光源条件，および表面反射特性を仮想化する必要がある．これらの仮想化された情報とコンピュータグラフィックスの分野において研究されているレンダリング手法を用いることで，現実環境を計算機上に再現することができる．コンピュータグラフィックスにおけるレンダリング手法は，光源からの直接的な光の影響のみを考慮した局所的なレンダリングと光源からの光の影響だけでなく周囲の壁や物体などからの相互反射も考慮に入れた大局的なレンダリングに大別される．一般に，後者のレンダリング手法は前者に比べて計算量が大きくなりレンダリング結果を表示するためにより多くの時間を要する場合が多い．しかしその反面，レンダリング結果は前者よりも現実環境を忠実に仮想化したものとなる．照明シミュレーションの研究においても，光源の位置や明るさなどを仮想的に変化させた結果を描画するために様々なレンダリング手法が利用されている．

2.1 現実環境の仮想化
先に述べたように．照明シミュレーションを行うためには，まず計算機上に現実環境を再現する必要があり，このような現実環境の仮想化においては，一般に現実環境の幾何形状，光源条件および表面反射特性の推定が必要である．本節では，それぞれの仮想化について説明する．

 現実環境の幾何形状の仮想化
近年コンピュータビジョンや複合現実感などの分野において，自動的に現
実環境の幾何形状を取得する研究が盛んに行われており様々な手法が提案されている．例えばステレオ法は，位置の異なる複数のカメラを用いて対象を撮影し，三角測量の原理を用いて三次元復元を行う手法である．この3

手法においては，正確な対応点の探索が課題となっており，それを実現するために様々な手法 [6, 7, 8, 9] が提案されているが，完全といえる方法は無く復元精度などに問題を残している．また，レーザレンジファインダのような特殊な計測機器を用いて，現実環境の幾何形状を取得する方法が研究されている．例えば，光レーザの飛行時間測定に基づくレンジファイン
ダは，計測対象に光レーザパルスを照射し，反射して測定されるまでの時間を計測することでレンジデータを計測する．一般に，このような計測機
器を用いることで，広域な環境に対しても高精度なレンジデータを取得することが可能である．しかし複雑な環境を対象とした場合，計測器から遮蔽された箇所の幾何形状を取得することができず，環境の完全な幾何形状を取得するためには，複数地点での計測データの精密な統合が必要となる．

 現実環境における光源条件の仮想化
現実環境における光源条件とは，光源の位置や明るさなど ，現実環境における照明の光源分布のことである．佐藤ら [10] は，ある照明環境のもとで物体から落とされる影の分布を利用することで現実環境における光源条件を推定する手法を提案した．この手法は，現実環境の光源分布を空間的に均等なサンプリング方向の光源輝度の総和として近似する．次に，光源輝度分布と画像面に観察される影の明るさの関係式に基づいて影内の画素から各光源サンプリング方向の光源輝度が未知数となるような連立方程式の解として，各サンプリング方向の光源輝度分布を推定する．Debevec ら [11]は，球面の鏡を用いて，その表面に写りこむ反射光を測定することにより現実環境の光源分布を推定する手法を提案した．この手法はダ イナミック
レンジが広いカメラを用いて，現実環境における光源輝度分布を広範囲にわたり直接測定することが可能である．

 現実環境内の表面反射特性の仮想化
物体表面の反射特性とは，光源から発せられた光線が物体表面にあたった
際に，どの方向にどのような強さで反射するのかを表す性質のことである．
物体表面の反射特性を推定する手法は，対象物体の形状を既知とする場合と未知とする場合の 2 種類に大別される．1 つは形状が未知の物体に対して

4

照度差ステレオ法 [12] を利用する方法であり，対象物体を複数の異なる照
明条件で計測し，得られた複数の画像のみから物体の形状と表面の反射特性を推定する [13, 14, 15]．これらの手法では物体形状が滑らかな曲面で構成されている物体に限定されているという問題がある．一方，形状が既知である物体に対する手法は，対象物体を異なる照明条件で計測し，得られた複数の画像と物体の幾何形状から表面の反射特性を推定する手法である[16, 17, 18, 19, 20]．これらの手法では物体面上の各点において物体表面の法線，照明の照射方向，カメラの観測方向，その点に対応する実写画像内の画素値を，反射モデルの各パラメータに当てはめることで，様々な形状の物体の反射特性の推定が可能である．これらの手法は比較的小さな物体の反射特性の推定に対しては有効であるが，現実環境における部屋などの空間における反射特性を推定するためには，空間の照明条件を変化させる必要があり多大な労力を伴う．これに対して，形状が既知で照明条件が固定の基で反射特性を推定する手法が研究されている [3, 5]．この手法は，対象のシーンや物体に適当な反射特性の初期値を与え，シーンの幾何形状と現実環境と同じ照明条件に基づいて，CG のレンダリング手法を用いて仮想化されたシーンのレンダリング画像を生成する．そして，生成された画像と実シーンを撮影した実写画像を比較することで反射特性を推定する手法である．これらの手法は，現実環境の照明条件と幾何形状をレンダリング
手法に当てはめることで，様々な形状の物体と現実シーン全体の反射特性を推定することが可能である．

2.2 CG におけるレンダリング手法
前節で説明した現実環境の幾何形状，光源条件および表面反射特性が仮想化されると，これらの情報とコンピュータグラフィックスにおけるレンダリング手法
を用いることで，現実環境を計算機上に再現することが可能となる．コンピュー
タグラフィックスにおけるレンダリング手法は，局所的なレンダリング手法と大局的なレンダリング手法に大別される．そこで本節では，局所的なレンダリング
手法と大局的なレンダリング手法のそれぞれについて述べる．

5

2.2.1 局所レンダリング手法
局所的なレンダリングをモデル化した代表的な手法として Phong モデル [21] やTorrance-Sparrow モデル [22] などがある．これらのモデルは，基本的に物体表面の反射光は拡散反射成分と鏡面反射成分の 2 つの成分の和として考えられている．
まず，これらの反射成分について説明する．

 拡散反射成分
拡散反射成分は，光が物体表面に入射した場合にあらゆる方向に一様に散乱する成分である．拡散反射成分は物体表面の材質の色を表し，ランバー
ト (Lambert) の反射法則 [23] に従うことが知られている．図 1 (a) に拡散
反射成分の幾何学的な性質を示す．図 1 (a) は入射光が物体表面で一様に散乱する様子を表しており，N ，L はそれぞれ物体表面の法線方向および光の入射方向である．また，図 1 (b) は横軸を N と L の角度 r とし，縦軸を観測される光の強度とした場合のグラフである．

 鏡面反射成分
鏡面反射成分は，光が物体表面に入射した場合に鏡のように入射光を反射する．物体表面が理想的な鏡であれば，入射する光はすべて入射角と同じ角度で正反射されるが，実際の鏡面反射成分は，材質によって図 2(a) のよ
うに入射光が散乱し，反射光がある程度の角度範囲で分布する．鏡面反射
成分の色は物体の材質の色に依存せず，光源の色が強く影響する特徴がある．図 2 (a) において N は物体の法線方向，L は光の入射方向，V は観測

方向，L は光の正反射方向を表す．また図 2 (b) は，横軸を V と L の角度
0

r

0

とし，縦軸を鏡面反射成分の強度とした場合のグラフである．

Phong モデルは経験的に求められたモデルであるのに対して，Torrance-Sparrow
モデルは物理法則に従って物体表面の反射特性を忠実にモデル化したものである．
これらの両モデルはほぼ似た反射特性を示すが，図 3 のように光が浅い角度で入射した場合に違いが顕著に現れる．図 3(a)，(b) はそれぞれ光が浅い角度で入射した場合の Phong モデルと Torrance-Sparrow モデルの物体表面における反射を表したものであるが，これらの図より Torrance-Sparrow モデルのほうがはるかに

6

法線 N

入射光 L

反射光の強度

θd

拡散反射の
観測範囲

0
90 θd

-90

物体面

(a) 拡散反射の幾何学的な性質(b) 拡散反射成分の強度に関する性質

図 1 拡散反射の性質

反射光の強度
法線 N
入射光 L

θd

観測方向 Vθv

正反射方向 L’
θr

鏡面反射の
観測範囲

0
θr

物体面

(a) 鏡面反射の幾何学的な性質(b) 鏡面反射成分の強度に関する性質

図 2 鏡面反射の性質

7

(a) Phong モデル(b) Torrance-Sparrow モデル

図 3 浅い角度の入射光における Phong モデルと Torrance-Sparrow モデルの比較
強い鏡面反射をもち，正反射角より大きな角度にピークが発生していることが確認できる．このいわゆる正反射方向から外れたピーク (ospecular peak) は，実際の環境で観測されている．以下では Torrance-Sparrow モデルについて詳しく説明する．

Torrance-Sparrow モデルでの物体表面の反射特性は次式で表される.
=
d =
s =
i

i
id
is
Y

Y
C

2

( d + s)iii

Pd cosd

i

Ps

1

cosv

: 反射光の強度 (RGB 値): 拡散反射成分 (RGB 値): 鏡面反射成分 (RGB 値): 照射光の強度

Pd
Ps

C

2

(0 2 r 2 )

exp





(1)
(2)
(3)

: 拡散反射係数 (RGB 値): 鏡面反射係数 (RGB 値): 表面粗さ係数: 光源と物体との距離

ここで , i, id , is はそれぞれ反射光の強度を表しており, 画像中ではこれらの値

は画素の輝度値として与えられる. 式 (1) は観測された光が拡散反射成分と鏡面反射成分の和となっていることを示している. 式 (2), 式 (3) はそれぞれ拡散反射成分, 鏡面反射成分の式を示している. 拡散反射成分の性質はランバートの法則にしたがっている. 鏡面反射成分では Ps は鏡面反射成分の色を表し , これは光源の色に強く影響される. また,  は鏡面反射成分の正反射方向への集中度を表し ,8

値が小さい場合, 鏡面反射成分は鋭いハイライトとして観測される. この Pd , Ps ,
が物体の反射特性を表しており, このパラメータを決定することで , 陰影処理を行うことが可能となる. ここでカメラ, 光源, 物体表面の法線の幾何学的な関係は以下の式 (4)(7) で表される.

= N1L
v = N1V
L = 2(N 1 L)N 0 L
r = V1L

(4)
(5)
(6)
(7)

cosd
cos

0

0

cos

ここで , d は光源ベクトル L と法線ベクトル N の間の角度, v は観測方向ベクトル V と法線ベクトル N の間の角度, r は正反射方向ベクトル L と観測方向ベク
0

トル V の間の角度をそれぞれ表している (それぞれのベクトルは単位ベクトルと1する). また，式 (3) において鏡面反射成分の係数に cosが掛かっていることかv

ら，鏡面反射の観測範囲が正反射方向に関して対称にならず，先に述べた光が浅い角度で入射した場合に正反射角より大きな角度にピークが発生することが確認できる．

2.2.2 大域レンダリング手法
代表的な大局的なレンダリング手法としてレ イトレーシング法 [24, 25, 26] とラジオシティ法 [27, 28] が挙げられる．図 4 に示すように，レ イトレーシング法
は視点からスクリーン上のピクセルを通り，物体に向かって実際の光の進む向きとは反対の方向に光線を追跡し，物体と交差した点でその物体の輝度をそのピクセルの値とする．例えば，物体が鏡面反射成分をもち物体表面で鏡面反射が生じた場合には，交差した物体表面を新たな起点として反射光の方向に何度でも光線を追跡する．このように実際に現実環境で生じている光の複数回の反射を再現することで，レイトレーシング法は CG の表現力を高め，局所的なレンダリング手法では困難であった物体表面の写りこみや透過，影などの大局照明の表現を可能とした．しかし，レイトレーシング法は鏡面反射の大域的な表現を可能にしたが，現実環境における反射成分の大半を占める拡散反射の大域的な表現には一般に未9図 4 レ イトレーシング法によるレンダリング
対応である．また，この手法は視点からスクリーン上のすべてのピクセルに対して光線（レ イ）を飛ばすため，視点位置や視線方向が変化するたびに非常に多くの計算を必要とするという問題がある．これに対して，現実環境における大局的な拡散反射をモデル化したラジオシティ法という手法が提案されている．この手法は，拡散反射が視点移動に依存しないという特性を生かし 、バーチャル・リア
リティなどの分野で広く用いられている．そこで以下では，ラジオシティ法について詳しく説明する．
ラジオシティ法は，放射と反射の熱工学モデルを基にしたアプローチで，閉じた環境の中では，光のエネルギーが保存されると仮定し，各物体表面から放射または反射されたエネルギーは，他の物体表面が反射または吸収するものとしてモデル化している．前節で述べた局所的なレンダリング手法では，光源と光源が照らしている物体表面とは常に分離して扱われているが，ラジオシティ法では任意の物体表面が光を放射することができる．ここで，環境を有限個 N のパッチに分割し，各パッチがランバート拡散する拡散反射表面と見なすと，一般的なラジオシティ法は次式で表される．
Bi

=

Ei

+

X
N

Rdi

j =1

Bj Fi0j :(8)

ここで，Bi ，Bj はパッチ i と j のラジオシティ（単位時間および単位面積当たりのエネルギー），Ei はパッチ i から放射される光の放射率，Rdi はパッチ j の拡散10

図 5 ラジオシティ法によるレンダリング結果 [23]反射係数である．また，Fi j はフォームファクタと呼ばれ，パッチ j 全体を離れ
0てパッチ i 全体に到達するエネルギーの割合を示しており，両パッチの形状と相対方向，遮蔽パッチの有無を考慮に入れている．図 5 は，拡散反射性の壁をもつ立方体の内部をラジオシティ法でレンダリングした結果である．内部の壁は左側
面が赤色，正面が白色，右側面が青色に色分けされている．注目すべき点は，側面の赤色や青色が正面の白色の壁にしみだしており，実際に現実環境で観察される「色のしみ出し 」効果がレンダリング画像にも正しく現れていることである．

2.3 照明シミュレーションに関する従来研究
これまで述べてきたように，現実環境を仮想化し，仮想化された情報を基にレンダリングを行うことで，現実環境を計算機上に仮想環境として再現することができる．再現された仮想環境において，照明の位置や明るさなどを操作し，現実環境における照明の影響を計算機上でシミュレーションする研究が従来より行われている．これらの研究は，シミュレーションした後のレンダリング結果の写実性を重視した研究と仮想環境おける照明条件の操作の実時間対話性を重視した研

11

究に大別できる．以下，それぞれの従来研究について述べる．

2.3.1 写実性を重視した手法
Yu[29] らは，対象とするシーンのほぼ全周囲を撮影した複数枚の実写画像から，イメージベースド・モデリングツールを用いてシーンの 3 次元形状を取得し，またこれらの画像からシーンの光源情報を取得した．彼らによって提案された手法
は，双方向反射関数（ BRDF ）[30] に基づいてシーンの各物体の反射係数を推定し，撮影された実写画像を用いて物体表面への写りこみや粗さをもった鏡面反射の表現も可能にした．

Boivin ら [5] は，モデリングツールを用いて手動でシーンの厳密な 3 次元形状を取得し，シーンの光源条件も手動により与えている．これらの情報と反射係数の初期値から BRDF モデルに基づいてレンダリングした結果画像とシーンを撮影した 1 枚の実写画像を比較し，両画像間の誤差が最小となるような反射係数を決定することで，シーンの反射係数の推定を行った．この手法は，拡散反射だけでなく鏡面反射にも対応しており，さらに物体表面の法線に対して非対象な反射をする異方性の鏡面反射や鏡のような写りこみのある鏡面反射も表現することができる．しかし，仮想環境において視点移動や照明条件を操作したシミュレーショ
ン結果の画像を生成するために多大な時間を必要とする．そのため．仮想環境内
で対話的に視点位置や照明条件を操作することは困難であった．

2.3.2 実時間対話性を重視した手法
Loscos ら [31] は，シーンを撮影した数枚の実写画像を用いてシーンの 3 次元形状を取得し，これらの画像からシーンに含まれる物体表面のテクスチャを用いてその拡散反射係数を推定する手法を提案した．この手法は，シーンの 3 次元形状と推定された拡散反射係数により計算機上に再現された仮想環境において，仮想光源の挿入などの照明操作を対話的に実現することを可能とした．ただしシーン
内の各物体に対して，その物体表面に影が落ちていない画像が少なくとも 1 枚は必要であるという制約があった．

12

しかし，彼らの近年の研究 [4] によって，この制約も解消された．また彼らは，以前のアルゴ リズムを反復して拡散反射係数を推定することでレンダリング結果を改善することに成功した．しかしながら，依然として彼らの手法は拡散反射のみを仮定しており鏡面反射には未対応であるという問題と，固定視点でのテクス
チャを用いているため再現された仮想環境内での視点移動が困難であるという問題が残されている．

2.4 本研究の目的と方針
本研究では，拡散反射だけでなく鏡面反射も含んだ現実環境に対して，その仮想化を行うために環境内の拡散反射係数と鏡面反射係数および表面粗さ係数の推定し ，仮想化された環境における照明条件の対話的な操作の実現を目的とする．
そのために，本論文では現実環境に含まれる物体表面の拡散反射特性と鏡面反射特性を推定する手法を提案する．
提案手法では，現実環境の 3 次元形状，光源条件，実写画像および環境内の物

体表面をグループに分類したグループ情報を入力とする．3 次元形状に関しては，
本手法では現実環境の完全な形状を必要とするため，従来より研究されている自動で 3 次元形状を取得する方法は利用せずに手動によりその形状を構築する．その際，現実のシーンにおける壁や床などの単純な形状の物体に関してはモデリン
グツールを用いて手作業でその形状を作成するが，比較的小さく複雑な形状をもつ物体に対しては 3 次元形状計測装置を用いてその形状を取得する．この 3 次元形状を構築する行程において，反射特性が一様である範囲をグループとしてあらかじめ分類しておく．光源条件に関しては，現実環境における光源条件を推定する様々な手法が研究されているが，今回は簡単のため光源の位置と輝度値を手動により与える．また本研究では，シーン内の拡散反射成分に対しては，物体間の相互反射を考慮した大域レンダリング手法のラジオシティ法に基づいて推定を行い，鏡面反射成分に対しては，物理法則に従って物体表面の反射特性を忠実にモデル化した Torrance-Sparrow モデルに基づいて推定を行う．

13

図 6 推定手法の処理の流れ

3. 幾何形状と実写画像からの反射係数の推定
3.1 処理の概要
提案手法の処理の流れを図 6 に示す．処理は大きく 3 つに分けられ，まず前処理として入力データを準備する．次にシーン内の拡散反射係数を推定し，最後に鏡面反射係数と表面粗さ係数を推定する．各処理の概要は次のとおりである．

1. 前処理推定手法の入力として，実シーンの幾何形状と光源条件の仮想化を行い，実写画像を準備する．幾何形状の仮想化のために実シーンの幾何形状を取得
し ，光源条件の仮想化のために実シーンにおける光源の位置および輝度値を手動で与える．また推定手法の入力である実写画像の枚数を少なくするために，シーンを反射特性に従ってあらかじめグループに分割する．

2. 拡散反射係数の推定
シーンの 3 次元形状と実写画像を用い，ラジオシティ法に基づいて相互反射14を考慮した拡散反射係数の推定を行う．具体的には，推定途中に得られる
拡散反射係数を用いてシーンの拡散反射成分を描画した画像 Id（ 以下，拡散反射成分画像と呼ぶ）とシーンの実写画像の誤差が最小となるように分割された各グループの拡散反射係数を最適化する．また，拡散反射成分画
像 Id とシーンの実写画像の差分画像（以下，ハイライト画像と呼ぶ）を用いることで，拡散反射係数の推定精度の向上を図る．

3. 鏡面反射係数および表面粗さ係数の推定

拡散反射係数の推定部で出力されたハイライト画像とシーンの 3 次元形状

を用いて鏡面反射係数と表面粗さ係数の推定を行う．具体的には，推定途中に得られる鏡面反射係数と表面粗さ係数を用いてシーンの鏡面反射成分を描画した画像 Is（ 以下，鏡面反射成分画像と呼ぶ）と，ハイライト画像の誤差が最小となるように分割された各グループの鏡面反射係数と表面粗さ係数を最適化する．

3.2 幾何形状と実写画像の取得
本節では，推定手法の前処理について説明する．まず，推定手法の入力となるシーンの幾何形状の取得について述べ，次にシーンの実写画像の取得について述
べる．

3.2.1 幾何形状の取得
本研究では，提案手法の入力となるシーンの幾何形状は，モデリングツール（ New Tek 社・Lightwave 7.0 ）と 3 次元形状計測装置（ミノルタ社・VIVID900 ）を用いて取得する．現実のシーンにおける壁や床などのような単純な形状で VIVID900で測定することが困難な大きな物体表面に対しては，手作業によりその形状を計測し Lightwave 7.0 を用いてその幾何形状を作成する．その他の複雑な形状をもつ物体に対しては VIVID900 を用いてその形状を取得する．次に，得られたシーンの 3 次元形状をラジオシティ法に適用するために適当な数のパッチに分割する．
その際にパッチの分割数に関して，拡散反射用と鏡面反射用の 2 種類のモデルを

15

(a) 拡散反射用モデル(b) 鏡面反射用モデル
図 7 拡散反射用モデルと鏡面反射用モデル作成する．一般に現実環境においては，拡散反射表面の明るさが急激に変化する
ことは少なく，反対に輪郭が際立ったハイライトなど鏡面反射表面の明るさが急激に変化することが多い．このようなハイライトを忠実に描画するため，鏡面反射用のモデルは，拡散反射用のモデルよりも細かいパッチに分割する．そして拡散反射用のモデルの各パッチに対して，ラジオシティ法で必要とされるフォーム
ファクタをヘミキューブ法 [32] により計算する．拡散反射用と鏡面反射用のモデルの例として，実験で用いたミニチュアの部屋に対して両モデルの 3 次元形状を

図 7 に示す．このミニチュアの部屋は拡散反射性の壁をもち，部屋中央に半球の鏡面反射物体が配置されているが，図 7 より鏡面反射物体の鏡面反射用モデルがその拡散反射用モデルよりも細かいパッチに分割されていることが確認できる．
この 3 次元形状を構築する行程において，シーンに含まれる物体表面をあらか
じめ手作業でグループに分類しておく．グループは，物体表面の反射特性が一様である範囲とする．このように反射特性に従って，シーンをグループ化すること
により，次節で述べる実シーンの実写画像にグループの一部分さえ写っておれば，
そのグループの反射係数を推定することが可能となる．

16

図 8 ガンマ係数推定のためのカラーパターン

3.2.2 実写画像の取得
提案手法の入力であるシーンの実写画像を取得するため，シーン内の各グルー
プの少なくとも一部が含まれるようにシーンをある固定視点から撮影するが，得られた実写画像にはカメラのガンマ補正の影響が含まれている．すなわち，この実写画像をそのまま提案手法の入力に用いるとカメラによるガンマ補正の影響を含んだ反射係数が推定され，物体表面本来の反射特性を推定することは困難となる．そこで，実写画像からガンマ補正の影響を除去するために，撮影に用いたカ
メラのガンマ係数を求める必要がある．一般にガンマ曲線の式は，ガンマ係数を，ガンマ補正前の画素の輝度値を src，補正後の輝度値を dst とするとき次式で表される．ただし，画素の色階調は 256 段階であるとする．
dst

=

 

1

255 255
src

:

(9)

以下ではカメラのガンマ係数 を求める方法について説明する．
まず，図 8 のようなカラーパターンを作成する．このカラーパターンは黒色・灰色・白色の三色で構成されており，黒色の領域の画素は輝度値がすべて 0 で，白色の領域の画素は輝度値がすべて 255 である．灰色の領域は，同数の輝度値が 0 の画素と 255 の画素をディザ拡散法を用いて分布して作成した．次に，このカラーパターンを一様な環境光のもとで撮影し，得られた画像の黒・灰・白の各領域の画素の平均輝度値をそれぞれ dst1，dst2，dst3 とする．また，撮影したカメラに17

(a) ガンマ補正を除去する前(b) ガンマ補正を除去した後
図 9 ガンマ補正による影響を除去する前後の画像よるガンマ補正が除去された場合の各領域の平均輝度値をそれぞれ src1，src2，

3 とすると，式 (9) より以下の 4 つの式が成り立つ．
1
1
1 = 255 255
12
2 = 255 255
1
3 = 2553 255
1+ 3
2 =
2

src

dst

dst

dst

src

 
 
 
src

src

src

src

src

:

:

:

:

(10)
(11)
(12)
(13)

ここで，未知数は src1，src2，src3 および であるから，式 (10)〜(13) の連立方
程式を解くことによりガンマ係数 を求めることができる．そして求められたガ
ンマ係数を用いて，カメラによるガンマ補正の影響を除去したシーンの実写画像を得る．ミニチュアの部屋の実写画像に対して，ガンマ補正による影響を除去す
る前と除去した後の結果を図 9 に示す．
次に，取得されたシーンの幾何形状と実写画像に対して位置合わせを行う．具
体的には，シーン内の同一平面上にない 6 点以上の点に対して，幾何形状の 3 次

元座標と実写画像の 2 次元座標の対応を手動により与える．そして，これらの対応点の情報とシーンの実写画像を入力として，佐藤らの手法 [33] により実写画像を撮影したカメラの位置および姿勢と，カメラのレンズによる歪みを補正した画像を取得する．

18

3.3 拡散反射係数の推定
本節では，拡散反射係数の推定処理について説明する．本推定処理では，入力の実シーンの実写画像の他，拡散反射成分画像とハイライト画像の 2 種類の画像を用いる．以下では，まず拡散反射成分画像とハイライト画像について説明し，次に処理内容について詳述する．

3.3.1 拡散反射成分画像
拡散反射成分画像とは，シーンの幾何形状と拡散反射係数を用いて，シーンの拡散反射成分のみをラジオシティ法でレンダリングした画像である．シーン内に鏡面反射物体が存在する場合，その鏡面反射成分は無視し，拡散反射成分のみを
レンダリングする．図 10(a)，(b) に，実験で使用したミニチュアの部屋の実写画
像および拡散反射成分画像を示す．このミニチュアの部屋は部屋中央に半球の鏡
面反射物体が配置されているが，拡散反射成分のみをレンダリングして作成される拡散反射成分画像には，この半球上で観察されるハイライトが描かれていないことが (b) の画像より確認できる．拡散反射係数の推定処理では，この拡散反射
成分画像と入力のシーンの実写画像を比較して，両画像間の誤差が最小になるよ
うに各グループの拡散反射係数を最適化してレンダリングを繰り返し行う．

3.3.2 ハイライト 画像
ハイライト画像とは，実写画像における鏡面反射成分のみを抽出した画像である．実写画像と拡散反射成分画像において，画素ごとに輝度値の差分をとることで生成する．図 10(c) に実験で用いたミニチュアの部屋のハイライト画像を示す．
このハイライト画像に含まれる画素の輝度値に関してある閾値を設定し，その閾値以上の輝度値をもつ画素は鏡面反射成分をもつ画素であるとする．拡散反射係数の推定処理において，ハイライト画像は，シーン内の拡散反射成分と鏡面反射成分を判別するために用いられ，推定処理に鏡面反射成分の影響が含まれることを防ぎ ，拡散反射係数の推定精度の向上を図る．

19

(b) 拡散反射成分画像(a) 実写画像(c) ハイライト画像
図 10 推定処理で用いられる画像例

20

3.3.3 拡散反射係数の推定処理
本節ではラジオシティ法に基づいて，光の相互反射を考慮に入れた拡散反射係数の推定を行う．拡散反射係数の推定処理の流れを図 11 に示す．まず，推定される各グループの拡散反射係数の初期値とハイライト画像の初期画像を定める．
各グループの拡散反射係数の初期値に関しては，シーンの実写画像における各グ
ループの平均輝度値を 0 から 1 の範囲にスケーリングした値とする．ハイライト
画像の初期画像に関しては，シーンの実写画像と同サイズですべての画素の輝度
値が 0 であるものとする．そして，シーンの実写画像と 3 次元形状および光源の位置と輝度値の光源情報を入力として拡散反射係数の推定を開始する．
本推定部では，ラジオシティ法によってシーンの拡散反射成分のみをレンダリングした拡散反射成分画像とシーンの実写画像の誤差が最小となるように各グループの拡散反射係数を最適化し推定処理を繰り返し行う．以下，i と n はそれぞれグループ番号と処理の繰り返し回数を示す．
まず，推定処理の入力をもとに，シーンをラジオシティ法に基づいてレンダリ
ングし，シーン内の拡散反射成分のみをレンダリングした拡散反射成分画像 I dnを生成する．次に，各グループ i に対して，実写画像における平均輝度値 Bri;n と拡散反射成分画像 I dn における平均輝度値 Bdi;n を算出する．そしてこれらの値を基に，各グループに対して，実写画像と拡散反射成分画像の誤差 E di;n と差分Di;nを以下の式で計算する．

=
i;n = j

E di;n
D

Bri;n

Bdi;n
Bri;n

0 Bdi;n j

(14)
(15)

ただし，平均輝度値 Bri;n を算出するために実写画像の画素をサンプリングするが，その際に実写画像の画素に対応するハイライト画像 Mn の画素の輝度値を調べる．対応するハイライト画像 Mn の画素の輝度値が閾値 th1 以上であれば，サンプリングする実写画像の画素は鏡面反射成分をもつとみなしてサンプリングしないようにする．こうすることで，算出された平均輝度値 Bri;n に鏡面反射成分の影響が含まれないようし，シーン内の拡散反射成分のみからシーンの拡散反射係数の推定を行う．

21

拡散反射係数の初期値，初期ハイライト画像，
シーンの3次元形状，光源情報，実写画像
シーンをラジオシティ法に基づいてレンダリング
拡散反射成分画像
実写画像と拡散反射成分画像の平均輝度値を比較して各グループの誤差と差分を算出
すべてのグループの差分が閾値以下
YES

NO

ハイライト画像を作成
前回のハイライト画像と現在のハイライト画像における鏡面反射成分の画素数の差を算出
NO

画素数の差が閾値以下YES

拡散反射係数，ハイライト画像
図 11 拡散反射係数の推定処理の流れ

22

各グループ
の
拡散反射
係数を更新

次に，各グループの差分 Di;n に対して閾値判定を行う．シーン内のすべてのグループにおいて，1 つでも差分 Di;n が閾値 th2 よりも大きい場合，以下の式を用いてすべてのグループの拡散反射係数 Rdi;n を更新し，処理の最初に戻る．
Rdi;n+1=(16)

E di;n Rdi;n

一方，すべてのグループの差分 Di;n が閾値 th2 以下である場合，現在の拡散反射
成分画像 I dn と実写画像において，各画素の輝度値の差の絶対値を計算し，その値を画素の輝度値としたハイライト画像 Mn を作成する．次に，作成されたハイラ
イト画像 Mn が前回のハイライト画像 Mn 1 に比べてどの程度更新されているか0を調べる．そのために，前回のハイライト画像 Mn 1 と現在のハイライト画像 Mn0において，輝度値が閾値 th1 以上の画素数 N mn 1 と N mn の差 jN mn 1 0N mn j を00計算する．算出された画素数の差が jN mn 1 0N mn j > th3 の場合は，まだハイラ
0イト画像が更新される余地があると見なして処理の最初に戻り，jN mn 1 0N mn j0

 th3 の場合は拡散反射係数の推定処理を終了する．その際，現在のハイライト
画像 Mn と各グループの拡散反射係数 Rdi;n を出力する．

3.4 鏡面反射係数と表面粗さ係数の推定
本節では，鏡面反射係数と表面粗さ係数の推定処理について説明する．本推定部では，前節の拡散反射係数の推定部で出力されたハイライト画像と鏡面反射成
分画像の 2 種類の画像を用いて推定を行う．以下では，まず鏡面反射成分画像について説明し，次に本推定部の処理について詳述する．

3.4.1 鏡面反射成分画像
鏡面反射成分画像とは，シーンの幾何形状および鏡面反射係数と表面粗さ係数を用いて，シーンの鏡面反射成分のみを Torrance-Sparrow の反射モデルに基づいてレンダ リングした画像である．先に式 (1)〜(3) で示した Torrance-Sparrow の反射モデルにおける拡散反射係数 Pd を 0 とすることで，シーン内の拡散反射成分は無視し，鏡面反射物体の鏡面反射成分のみをレンダリングする．鏡面反射係

23

数と表面粗さ係数の推定処理では，この鏡面反射成分画像と拡散反射係数の推定部で出力されたハイライト画像を比較して，両画像間の誤差が最小になるように各グループの鏡面反射係数と表面粗さ係数を最適化してレンダリングを繰り返し行う．

3.4.2 鏡面反射係数と表面粗さ係数の推定処理
本節では Torrance-Sparrow の反射モデルに基づいて，鏡面反射係数と表面粗さ係数の推定を行う．本推定部の処理の流れを図 12 に示す．まず，推定を行う
グループ i の鏡面反射係数と表面粗さ係数の初期値を設定する．鏡面反射係数の初期値に関しては，鏡面反射係数の RGB 成分をそれぞれ 1.0，1.0，1.0 に設定する．表面粗さ係数に関しては，文献 [30] において現実環境における物体の表面粗さ係数は 0.001 から 0.2 の範囲であると報告されている．また，本推定部で用いる Torrance-Sparrow の反射モデルは表面粗さ係数が 0 に近づくにつれて不安定になる性質を有していることから，表面粗さ係数の初期値を 0.2 に設定する．本推定部では拡散反射成分を考慮しないので，グループ i の拡散反射係数の初期値をRGB 成分それぞれ 0.0，0.0，0.0 に設定する．そして，設定された初期値と拡散反射係数の推定部で出力されたハイライト画像とシーンの 3 次元形状および光源
情報を入力として推定を開始する．なお，ハイライト画像において，処理の対象とする画素は 3.3 節と同様に閾値 th1 より大きい輝度値をもつ画素である．

本推定部では，Torrance-Sparrow の反射モデルに基づいてグループ i をレンダリングした鏡面反射成分画像とハイライト画像の誤差が最小となるようにグルー
プ i の鏡面反射係数と表面粗さ係数を最適化し推定処理を繰り返し行う．以下，

3.3 節と同様に と はそれぞれグループ番号と処理の繰り返し回数を示すものとin

して，鏡面反射係数と表面粗さ係数の推定処理について詳述する．
まず，推定処理の入力をもとに，シーンを Torrance-Sparrow の反射モデルに基づいてレンダリングし，シーン内の鏡面反射成分のみを描画した鏡面反射成分画
像 I sn を生成する．次に，各グループ i に対して，実写画像における平均輝度値
Bmi;nと鏡面反射成分画像 I sn における平均輝度値 Bsi;n を算出する．これらの24

鏡面反射係数の初期値，表面粗さ係数の初期値，シーンの3次元形状，光源情報，ハイライト画像
シーンをモデルに基づいてレンダリング
鏡面反射成分画像
実写画像と鏡面反射成分画像の平均輝度値を比較して各グループの誤差と差分を算出
Torrance-Sparrow

差分が閾値以下
YES

NO

鏡面反射
係数を更新

NO

表面粗さ
係数を更新

鏡面反射成分画像とハイライト画像における鏡面反射成分の画素数の差を算出
画素数の差が閾値以下YES

鏡面反射係数，表面粗さ係数
図 12 鏡面反射係数と表面粗さ係数の推定処理の流れ

25

誤差 E si;n と差分 Si;n を以下の式で計算する．

=
i;n = jE si;n
S

Bmi;n
Bsi;n
Bmi;n

0 Bsi;n j

(17)
(18)

次に，各グループ i の鏡面反射の色に注目して閾値判定を行う．すなわち，ハイラ
イト画像と鏡面反射成分画像 I sn の平均輝度値の差分 Si;n が閾値 th4 よりも大きい場合，これらの両画像間でグループ i の鏡面反射成分の色が似ていないとみなし ，以下の式で各グループ i の鏡面反射係数 Rsi;n を更新して処理の最初に戻る．
Rsi;n+1=

E si;n Rsi;n(19)

差分 Si;n が閾値 th4 以下である場合，ハイライト画像の鏡面反射成分（輝度値が閾値 th1 以上）の画素数 N mn と鏡面反射成分画像 I sn における鏡面反射成分（輝度値が閾値 th1 以上）の画素数 N sn の差 jN mn 0 N sn j を計算する．

次に，鏡面反射の広がりに注目して閾値判定を行う．すなわち，ハイライト画
像と鏡面反射成分画像 I sn における画素数の差が jN mn 0 N sn j > th5 の場合，これらの両画像間でグループ i の鏡面反射成分の広がりが似ていないとみなし，以下の条件で表面粗さ係数 i;n を更新して処理の最初に戻る．

1.

N si;n < N mi;n

: i;n に step を加える

2.

N si;n > N mi;n

: i;n から step を引く









一方，jN mi;n 0N si;n j  th5 の場合は鏡面反射係数と表面反射係数の推定処理を終了し，現在の鏡面反射係数と表面粗さ係数を出力する．

26

4. 仮想化環境の照明シミュレーション
3 章において，物体表面の反射係数が推定されると，求められた反射係数とシーンの 3 次元形状から実シーンを仮想化することができる．本章では，仮想化された環境において照明条件を操作し，照明がシーンに及ぼす影響を計算機上でシミュレートする照明シミュレーションについて述べる．以下では，本研究で提案する
照明シミュレーションにおいて仮想環境で用いられる仮想光源モデルについて説
明し，次にシミュレーションが可能な照明条件の変更について述べる．そして最後に，照明シミュレーションを対話的に実行するための方法について説明する．

4.1 仮想光源モデル
本研究では，拡散反射と鏡面反射のそれぞれに対して異なった光源モデルを用いる．拡散反射に関しては，面光源を用いてシーンの拡散反射成分をラジオシティ法に基づいてレンダリングする．鏡面反射に関しては，点光源を用いてシーンの鏡面反射成分を Torrance-Sparrow の反射モデルに基づいてレンダリングする．ここで，面光源と点光源について説明する．点光源は光がある一点から発せられるのに対して，面光源は光の発する部分がある固有の大きさをもつ．これらの光源モデルの大きな違いの 1 つとして，光源からの光が物体によって遮蔽されることにより生成される影が挙げられる．面光源は点光源とは異なり実際に広がりがあるため，図 13(a) に示すように，光源から部分的に遮られる領域を含めて，柔らかな影ができる．光源の影のうち，光源から完全にさえぎられる部分は影の本影となり，光源から部分的にだけ遮られる部分は影の半影となる．それに対して点光源では，図 13(b) に示すようにすべてが本影となり，影とそうでない部分の境界がくっきりと表現される．現実環境において用いられている光源の多くは面光源で，現実環境において広い領域を占める拡散反射に対して面光源を適用することで，仮想化された環境における光の影響を写実的に表現することができる．

27

(a) 面光源による影(b) 点光源による影図 13 面光源と点光源による影の違い

4.2 照明条件の変更
本研究で提案する照明シミュレーションが実現する仮想環境における照明条件の変更として以下の 5 つの操作を挙げる．以下で述べる 1〜4 の操作に関しては，
基本的に光源の位置とエネルギーを操作することで照明条件の変更を実現できる．

1. 光源の明るさの変更
反射係数の推定手法の入力時にあらかじめ与えられた光源の輝度値を変更
し ，拡散反射成分と鏡面反射成分に対して再度レンダリングを行うことで光源の明るさを操作する．すなわち，光源をより明るくするためには輝度値を増加させ，より暗くするためには輝度値を減少させる．

2. 光源の色の変更

あらかじめ設定する光源の輝度値に RGB 成分を与え，その各成分の比率を操作することで光源の色を自由に変化させることができる．

3. 光源の位置の移動
反射係数の推定手法の入力時にあらかじめ与えられた光源の位置を制御することで光源の位置を操作する．シーン内の拡散反射成分に対しては，移動させたい光源パッチの輝度値を移動先のパッチに与え，この新しい条件の基で再度ラジオシティ法の計算を行う．またシーン内の鏡面反射成分に対しては，Torrance-Sparrow の反射モデルにおける光源位置の座標を前述

28

した移動先のパッチの中心座標に設定して再度計算を行う．

4. 仮想光源の付加
これまでの 1〜3 の操作のように，反射係数の推定手法の入力時にあらかじめ与えられた光源の位置や輝度値を制御するのではなく，新しく光源を設定し，その位置と輝度値を新たに与えラジオシティ法による拡散反射成分の計算と Torrance-Sparrow の反射モデルによる鏡面反射成分の計算を再度行うことで，仮想的に光源をシーンに付加することが可能となる．

5. スポットライト効果
これまでの光源は光を球状に放射するが，放射する方向を円錐状に制限することにより，スポットライトとしての照明の効果を表現することが可能となる．スポットライトとしての照明効果を表現しようとする場合，図 14で示される円錐の角度  を決定する必要がある．スポットライトは，円錐の辺を超えて光を放射することはない．すなわち，光源とその他のパッチの光の授受を計算する際に，円錐の角度  と光源パッチの中心座標から光を照射するパッチの中心座標へのベクトルと光源パッチの法線ベクトルのなす角度を比較して光源から光を照射するかど うかを決定する．図 14 においてパッチ i に対しては  > i であるため光源から光は照射されるが，パッチ j に対しては  < j であるので光源からの光の照射は行われない．また，円錐内の光の放射を制御する方法として，円錐内の光の集中の具合を制御することができる．光のエネルギーは円錐の中心部で最も大きくなり，円錐の辺に向かって次第に減衰する．具体的にはこの減衰を示す係数（ スポット係数と呼ぶ）を設定し，図 14 において cosi により，光のエネルギーは円錐の辺に向かって減衰され，スポット係数で累乗される．このようにスポット係数を高くすることで，光源の焦点を絞ることが可能となる．

4.3 仮想化環境の実時間レンダリング
本研究では，拡散反射と鏡面反射を含んだ環境に対する対話的な照明条件の操作を目的としているため，仮想化された環境において照明条件を操作した結果を29

図 14 スポットライトの照明効果

高速にレンダリングする必要がある．そこで，本研究ではより写実的なシミュレー
ション結果を生成するために，現実環境において広い領域を占める拡散反射成分に対しては，光の相互反射の影響を考慮に入れたラジオシティ法を用いてレンダリングするが，鏡面反射成分に対しては Torrance-Sparrow の反射モデルに基づいて，光の 1 次反射のみを考慮してレンダリングすることで計算量の増加を防ぎ高速なレンダリングを実現する．
しかしながら，照明シミュレーションの対象となる環境の規模や複雑さの増大に伴い，拡散反射成分をレンダリングするラジオシティ法の計算量が大幅に増加する．すなわち，シーン内で生じる複数回の反射を計算するために長い時間が必要となり実時間レンダリングが困難になる．そこで，本研究では，シーン内における光の反射が収束するまでの複数回の反射を段階的に区切り，各段階での計算結果に基づいて逐次的にレンダリング結果を更新する方法を用いる．図 15 に逐次的に出力したレンダリング結果の例を示す．これら図において壁の隅や棚の内部に注目すると，反射が繰り返されるにつれてそれらの部分が次第に明るくなり，仮想環境において光が浸透していく様子が確認できる．この逐次的なレンダリング方法を用いることで，視覚的に違和感が少なく対話的に照明操作を行うことが可能

30となる．また，仮想環境における視点移動に関しては，拡散反射はその見え方が視点位置に依存しないという性質に基づいて，拡散反射成分をレンダリングするラ
ジオシティ法の計算はせずに，鏡面反射成分をレンダリングする Torrace-Sparrowの反射モデルに対する計算のみを行うことで滑らかな視点移動を実現する．

31

図 15 逐次的なレンダリング結果

32

5. 実験
対話的な照明シミュレーションにおける提案手法の有効性を確認するために，
図 16 に示すシーンに対して実験を行った．シーン A はミニチュアの部屋で拡散

反射性の壁をもち，シーン内に半球の鏡面反射物体を配置した．また，光源は 1つで天井の中央に位置し，この光源以外の光の影響を受けないようにするため，実験は暗室で行った．シーン A は反射係数に従って 2 個のグループに分割されており，シーンの総パッチ数は 535 である．シーン B は実際の部屋で 10 個のグ

ループに分割されており，シーンの総パッチ数は 2986 である．なお，実験にはPentiam4 Xeon 1.7GHz Dual，メモリ 2GByte，グラフィックカード NVIDIA 社・
GeForce3（ VRAM 64MByte ）の計算機を用い，提案手法における閾値 1〜 5はそれぞれ 45，1，10，1，5 とし， step は 0.000001 に設定した．また，フォーム
ファクタの計算を除いた反射係数の推定に要した時間は，シーン A に対しては約
3 時間，シーン B に対しては約 5 時間であった．
th

th



5.1 反射係数推定の評価実験
本節では、提案手法を用いて推定された反射係数について評価を行う。物体の反射係数はその位置にかかわらず一定である性質に基づいて実験を行った．シー
ン A に対して図 17 (a)〜(e) のような 5 種類の異なる環境を作成し，各環境において部屋の壁および鏡面反射物体の反射係数を提案手法を用いて推定した．これ
らの環境では，鏡面反射物体の陰影の状態や物体表面に観測されるハイライトの位置や大きさが異なっている．
本実験の結果を表 1 に示す．表 1 の AVE，SD は，それぞれ列の平均値と標準偏差を表す．Room-Rd，Gd，Bd および Obj-Rd，Gd，Bd は，それぞれ部屋の壁と鏡面反射物体の拡散反射係数の RGB 成分を示している．また，Obj-Rs，Gs，Bs および Obj-σは，それぞれ鏡面反射物体の鏡面反射係数の RGB 成分と表面粗さ係数を示している．表 1 より，各反射係数の各成分の標準偏差が小さい値を示しており，反射係数が安定して推定されていることが確認できる．
また，表 1 の推定結果に基づいて，各環境の拡散反射係数と鏡面反射係数およ33

(a) シーン A(b) シーン A の幾何形状(c) シーン B(d) シーン B の幾何形状
図 16 実験対象のシーン

34

(a)

(b)

(c)

(d)

(e)
図 17 反射係数の評価実験環境35表 1 反射係数の評価実験結果

Room-Rd Room-Gd Room-Bd(a) 0.521623 0.622409 0.583538(b) 0.514059 0.629299 0.582861(c) 0.520179 0.624385 0.582715(d) 0.521477 0.624082 0.581879(e) 0.520381 0.625313 0.581539
AVE 0.519601 0.625045 0.582524
SD 0.002558 0.002101 0.000654
Obj-Rd Obj-Gd Obj-Bd Obj-Rs Obj-Gs Obj-Bs Obj(a) 0.190428 0.807767 0.557897 0.474914 0.625642 0.618493 0.143909(b) 0.184180 0.809617 0.557313 0.509615 0.605466 0.611313 0.125999(c) 0.178677 0.812012 0.555617 0.495088 0.610351 0.618352 0.099047(d) 0.235047 0.792854 0.562259 0.487796 0.627138 0.607250 0.127394(e) 0.264506 0.773794 0.575569 0.477666 0.624793 0.617631 0.110399
AVE 0.211075 0.799570 0.562259 0.488403 0.619151 0.614910 0.121250
SD 0.030629 0.013118 0.006643 0.011491 0.008190 0.004218 0.015362
36

び表面粗さ係数を可視化した結果を図 18 に示す．拡散反射係数と鏡面反射係数に関しては，反射係数の RGB 成分を 256 段階で描画している．表面粗さ係数は0 から無限大の値をとり得るが，先に述べたように現実環境における物体の表面粗さ係数は 0.01 から 0.2 の範囲であるため，最大値を 0.2 として表 1 の表面粗さ係数の値をスケーリングし，256 段階のグレースケール画像として表面粗さ係数の可視化を行った．図 18 より，5 つの異なる環境において各反射係数は近い色を示しており，視覚的にも安定して反射係数が推定されていることが確認できる．
しかし，表面粗さ係数の標準偏差は他に比べると比較的大きな値を示した．これは、仮想環境における光源モデルが現実環境と正確に一致していないことが原因に挙げられる．すなわち，4.1 節で述べたように，本研究では仮想環境における拡散反射成分に対する光源として面光源を設定しているが，鏡面反射成分に対する光源には点光源を設定している．実験の対象としたシーンの光源は，ほぼ面光源に近い形状をしているため，鏡面反射成分の広がりをあらわす表面粗さ係数に比較的大きな誤差が生じたと考えられる．

5.2 照明シミュレーションの評価実験
本節では，照明シミュレーションの妥当性を評価するための実験を行う．そのために，シーン A に対して，照明シミュレーションを行った後のレンダリング画
像と同じ照明条件における現実環境の実写画像を比較することにより評価を行う．
図 19(a) は提案手法の入力画像，(b) は実際に光源位置を移動させてシーン Aを撮影した実写画像、(c) は (a) の入力画像に基づいて反射係数を推定し ，その結果を用いてシーン A の仮想化を行ったレンダリング画像，(d) は仮想化されたシーン A において，光源の位置を (b) と同じ位置に仮想的に移動させた場合のレンダリング画像である．また，図 19(e) は， (a) と (c) に対して画素ごとに画素値の差分を計算し，その RGB 成分の和を 256 段階で表現したグレースケール画像である．同様に，図 19(f) は， (b) と (d) に対して画素ごとに画素値の差分を計算し，その RGB 成分の和を 256 段階で表現したグレースケール画像である．なお，
図 19 (e)，(f) は，(b) と (d) の差分画像において各画素の RGB 成分の総和を計算し，それらの最大値でスケーリングされている。これらの結果より，入力画像 (a)37環境 (a) の拡散反射係数 環境 (a) の鏡面反射係数 環境 (a) の表面粗さ係数

環境 (b) の拡散反射係数 環境 (b) の鏡面反射係数 環境 (b) の表面粗さ係数

環境 (c) の拡散反射係数 環境 (c) の鏡面反射係数 環境 (c) の表面粗さ係数

環境 (d) の拡散反射係数 環境 (d) の鏡面反射係数 環境 (d) の表面粗さ係数

環境 (e) の拡散反射係数 環境 (e) の鏡面反射係数 環境 (e) の表面粗さ係数
図 18 反射係数の可視化画像

38

(a) 入力の実写画像(b) 光源位置を移動させた実写画像(c) 仮想化したシーン A の(d) 光源位置を移動させた

レンダリング画像

レンダリング画像(e) (a) と (c) の差分画像(f) (b) と (d) の差分画像
図 19 照明シミュレーションの評価実験結果
39に基づいて仮想化した画像 (c) だけでなく，仮想的に光源の位置を変化させた画

像 (d) も同じ条件下の実写画像 (b) に近い結果が得られていることが確認できる．

なお，図 19(a) と (c)，および (b) と (d) の差分画像における画素値（ RGB 成分の和）の最大値は 256 段階でそれぞれ 81 と 99 で，平均値はどちらも約 6 であった．
差分の最大値をもつ画素は，レンダリング時におけるエイリアシングが生じるシーンのエッジ部分で観察されている．また図 19(f) から，移動された光源の付近である画像の右上部分や半球の鏡面反射物体の影付近に比較的大きな誤差が確認できる．前者の光源付近における誤差の原因は、現実環境におけるシーン A の光源条件を忠実に仮想化することが十分にできていなかったことが考えられる．
後者の影周辺における誤差に関しては，半球の鏡面反射物体が落とす影周辺でのパッチの解像度が不十分であったことが原因に挙げられる．本研究では，物体の描画に 3 次元モデルの頂点に色を与え、その間は線形補間を行っているため，色の境界部分におけるパッチの解像度が少ない場合，その境界がぼやけて表現される．すなわち，環境内に輪郭が際立った影が存在する場合，その影のエッジ部分
で実写画像とレンダリング結果の誤差が大きくなる場合がある．

5.3 照明シミュレーション結果
図 20 はシーン B に対して，提案手法を用いてシーン B を仮想化し，照明条件

を仮想的に操作した結果と視点位置を仮想的に移動させた結果である．図 20(a)は推定された反射係数を用いてシーンを仮想化した画像で，(b) は仮想環境において光源位置を移動させた結果のレンダ リング画像である．図 20(c) は，(b) の照明条件下のシーンを異なった視点から見た画像で，(d) はスポットライトによる照明効果をシミュレーションしたレンダリング画像である．また，図 20(e) は，
光源の色を変化させた場合の照明シミュレーション結果で，(f) はシーン B 中央のテーブルの上に配置された卓上ライトに仮想光源を付加し，その他の照明を消した場合のレンダリング画像である．なお，照明シミュレーションは，4.3 節で述べた逐次的なレンダリング方法を用いて約 20fps で実行可能であり、仮想環境

における視点移動に関しては，約 50fps で環境内を見回すことが可能であった．

40

(a) 仮想化したレンダリング画像(b) 光源位置の移動(c) 視点位置の移動(d) スポットライト効果(e) 光源の色を操作(f) 仮想光源の付加
図 20 照明シミュレーション結果
41

表 2 没入型照明シミュレーションシステムの機器構成
球面ディスプレ イ
コントローラPC
グラフィックカード

elumens Vision Station
Microsoft Side Winder Game Pad Pro
Pentium4 1.7GHz メモリ 1GByte
NVIDIA GeForce4

5.4 没入型照明シミュレーションシステム
前節で述べた照明シミュレーションの表示デバイスとして，球面状の没入型ディ
スプレ イを用い，照明シミュレーションシステムのプロトタイプを試作した．本システムに対しても前節と同様に照明シミュレーションを対話的に行うことが可能であることを確認する．試作した没入型照明シミュレーションシステムは，表2 に示すように球面ディスプレ イ，コントローラ，PC の 3 つの装置により構成されている．図 21 に本システムの概観を示す．図 21 のように，ユーザは視点を球面の中心に置くことで，高い臨場感で照明シミュレーションを行うことができる．
次に，本システムにおける操作について説明する．図 22 に示すように，ユー

ザはコントローラの各ボタンを用いて 4.2 節で述べた照明操作を行うことができる．図 23 に，本システムの照明操作に対して球面ディスプレ イに表示されるレンダリング結果を示す．

光源位置の移動に関しては，画面中央に表示される赤色の三角形のポインタを使用する．ユーザはこのポインタを用いて，移動させたい光源や移動先のパッチを指定する．その際に，ポインタと光源およびポインタと移動先のパッチの接触判定が必要となる．そこで，この接触判定について以下に説明する．まず，図 24のように仮想環境における視点移動に関わらずポインタが表示画面中央に描画されるようにする．次に仮想環境内のカメラ位置とポインタを結ぶ直線 L と環境内のパッチとの交差判定を行う．図 24 のように，直線 L と交差するパッチが複数存在する場合は，視点とパッチ間の距離をそれぞれ比較し，距離が最小であるパッチを選択する．ユーザは，図 25 のようにポインタを用いて光源位置を移動させ42

図 21 照明シミュレーションシステムの外観

スポットライトの照射範囲を縮小

スポットライトの照射範囲を拡大

視線変更

仮想光源の点灯
仮想光源の消灯

前進 後退
照明条件を初期状態に戻す
卓上ライトの点灯・消灯

図 22 照明シミュレーションシステムの操作方法

43

(a) 光源位置の移動(b) スポットライト効果(c) 卓上ライトの点灯
図 23 球面ディスプレ イに投影したレンダリング結果

44

図 24 ポインタとパッチの接触判定ることができる．
本システムにおける照明シミュレーションは約 10fps で実行可能であり，視点移動に関しては約 15fps で仮想環境内を自由に見回すことが可能であった．

5.5 まとめと考察提案手法では，現実環境の幾何形状および光源条件は既知である仮定のもとで，シーンの拡散反射係数と鏡面反射係数および表面粗さ係数の推定を行い，推定された反射係数に基づいて仮想化された環境おいて対話的な照明シミュレーションを実現している．しかし，反射係数の推定手法では，現実環境の光源条件として，光源の位置と輝度値を手動により入力しており，光源条件の仮想化の正確さに関する問題がある．また，照明シミュレーションに関しては，仮想環境を構成する
パッチ数の増加に伴ってフレームレートが減少する問題がある．以下では，本章で行った実験に対するまとめと考察について述べる．

 反射係数推定の評価実験

5.1 節の提案手法により推定された反射係数の評価実験では，各反射係数の
各 RGB 成分の標準偏差がそれぞれ小さな値になっており，安定して反射係
45

(a) 移動先のパッチを指定(b) 光源位置の移動
図 25 光源位置移動の操作例

46

数が推定されていることが確認できた．しかし，表面粗さ係数に関しては比較的推定の安定性に欠ける結果が得られており，仮想環境における光源モデルの正確さが問題に挙げられた．すなわち提案手法では，仮想環境における拡散反射成分と鏡面反射成分の光源にそれぞれ面光源と点光源を用いているが，鏡面反射成分に対しても面光源を設定する必要がある．そのためには，提案手法の鏡面反射成分で用いられている Torrance-Sparrow の反射モデルは基本的に点光源に対して物体表面の反射をモデル化したものであるため，複数個の点光源の集合で面光源を近似的に表現する方法が考えられる．

 照明シミュレーションの評価実験

5.2 節の照明シミュレーションの評価実験においては，光源の付近と物体の影周辺に比較的大きな誤差が確認された．前者の誤差に対しては，提案手法では手動により光源の位置と輝度値を与えることで光源条件の仮想化を行ったが，今後は 2.1 節で紹介したような現実環境の光源条件を推定する手法を本提案手法と併用することで誤差が軽減できると考えられる．また，後者の誤差に関して，輪郭の際立った影を描画する際にレンダリング結果
がぼやけるという問題があったが，これに対しては近接するパッチ間で大きなラジオシティの勾配が見つかれば，その位置で状況に応じてパッチを
サブパッチに細分化する階層ラジオシティ法 [34] を適用することで影の境界における誤差を軽減できると考えられる．
また，これらの光源付近や物体の影周辺における誤差が拡散反射性の壁や床上で生じていることから，各パッチ間における光の拡散反射成分に対する授受の計算の正確さも原因として挙げられる．すなわち，2.2.2 節で述べたラジオシティ法におけるフォームファクタの計算が問題となっている．提案手法ではこのフォームファクタの計算にヘミキューブ法を用いたが 、この手法は近接するパッチ間のフォームファクタの計算に誤差が大きいなどの報告がある [35]．そこで，より正確にパッチ間の光の授受を計算可能な

ヘミスフィアやレ イトレーシングを利用した手法 [36] を用いることにより，より正確なフォームファクタを計算し，現実環境の拡散反射をより忠実に

47

表現することが可能になると考えられる．

 照明シミュレーション結果

5.3 節の実験では，現実環境のシーン B に対して対話的な照明シミュレー
ションが可能であることを確認した．しかし，シーン B よりも複雑で大規模なシーンに対して照明シミュレーションを行う場合，パッチ数の増加に伴って照明シミュレーションのフレームレートの減少が予想される．そこ
で，先にも述べた階層ラジオシティ法による効率的なパッチ分割が有効であると考えられる．また，実験に用いた計算機には 2 台の CPU が搭載されているが，今回の実験に関しては，そのうちの 1 台の CPU しか用いていな

い．そこで，ラジオシティ法の計算を並列化し，複数の CPU を用いて計算を行うことで照明シミュレーションのフレームレートを増加させることができると考えられる．

 没入型照明シミュレーションシステム

5.4 節では，球面ディスプレ イとコントローラと PC を用いて，没入型照明

シミュレーションシステムのプロトタイプを試作した．このシステムを用いることで，ユーザは高い臨場感で照明シミュレーションを対話的に行えることが可能になった．しかし，このシステムではユーザの視点移動をコ
ントローラを用いて実現しており，ユーザは実際に見る方向を変えることなく仮想的に環境内を見回すことができるため，ユーザに違和感を与える可能性がある．したがって，より臨場感を高めるために，ユーザの視線の動きに応じて画像を表示するシステムが有効であると考えられる．

48

6. むすび
本論文では，拡散反射だけでなく鏡面反射も含んだ現実環境に対して，環境内に含まれる物体表面の拡散反射特性と鏡面反射特性を推定し，推定された反射係数に基づいて仮想化された環境において，照明条件の対話的な操作を実現する手法を提案した．
反射特性の推定において，現実環境の 3 次元形状は，モデリングツールと 3 次
元形状計測装置を用いて取得し，光源条件に関しては，光源の位置と輝度値を手動により与えた．また，反射特性が一様である範囲をグループとしてあらかじめ分類しておくことで，入力の実写画像に写っていない部分の反射係数を求めることを可能とした．また本手法では，シーン内の拡散反射成分に対しては，物体間の相互反射を考慮してラジオシティ法に基づいて推定を行い，鏡面反射成分に対しては Torrance-Sparrow の反射モデルに基づいて推定を行った．
照明シミュレーションに関しては，シーン内の拡散反射成分は相互反射を考慮
してレンダリングを行うが，鏡面反射成分は計算量の少ない 1 次反射のみに対してレンダリングすることで対話的な照明操作を可能とした．さらに，複雑な現実環境に対する照明シミュレーションに関しては，シーンを構成するパッチ数が増
加し実時間レンダリングが困難となるため，レンダリング結果を逐次的に更新することで，視覚的に違和感が少なく対話的に照明操作を行うことを可能とした．
実験では，鏡面反射を含んだ現実環境に対して，提案手法を用いて忠実な反射特性の推定が行えたことを確認した．また，提案手法を用いて仮想化を行ったシーンに対して，仮想環境内でシーンの照明条件を対話的に操作可能であることを確認した．
今後の課題としては，提案手法では現実環境の光源条件を手動で設定しているが，反射係数をより忠実に推定するために，現実環境における光源条件を正確に推定する必要がある．また，本論文で提案した照明シミュレーションをより汎用的な現実環境に適用させるために，ポスターなどのテクスチャや写りこみのある
鏡面反射など現実環境に存在する複雑な反射にも対応するように提案手法を拡張する予定である．

49

謝辞
本研究を進めるにあたり，多大なご助言，御指導を頂きました 視覚情報メディア講座 横矢 直和 教授 に厚く御礼申し上げます．
副指導教官として御助言を頂いた 像情報処理講座 千原 國宏 教授，並びに 視
覚情報メディア講座 山澤 一誠 助教授 に深く感謝致します．
本研究を進めるにあたり，あらゆる面において厳しくも暖かい指導を頂きました視覚情報メディア講座 神原 誠之 助手に深く感謝致します．
また，本研究に関する貴重な助言や指摘を頂きました 大阪大学サイバーメディ
アセンター 竹村 治雄 教授, 町田 貴史 助手, 並びに 視覚情報メディア講座 佐藤智和 氏， Steve Vallerand 氏 に深く感謝致します．

神戸大学学部生の頃より，研究に対する姿勢や物事に対する取り組み方について貴重なご助言を頂きました 神戸大学工学部 山本 啓輔 教授，沼 昌宏 助教授，
黒木 修隆 助手 に深く感謝致します．
日々の研究室の活動を支えて下さった北川 知代 女史に心より感謝申し上げます．
厳しくも楽しい研究生活を共に過ごした視覚情報メディア講座の 池田 聖 氏，
江藤 誠彦 氏，奥村 文洋 氏，小田島 太郎 氏，天目 隆平 氏，森田 真司 氏，M1
諸氏に深く感謝致します．
また，充実した 6 年間の大学・大学院生活を励ましあい，苦労と感動を共に分かち合った 音情報処理学講座 岩見 洋平 氏，白石 達也 氏，山出 慎吾 氏，並びに 神戸大学工学部 川津 義人 氏，羽淵 祐介 氏，深井 一成 氏，山内 崇 氏，山形 太一 氏に心から感謝致します．
そして，日々の生活を温かく支えて下さった 両親 と 姉，並びに 中村 嘉子 女
史に深く感謝致します．

50

参考文献

[1] 福冨 弘敦, 町田 貴史, 横矢 直和: 実写画像を用いた対話的な照明シミュレー
ション , 日本バーチャルリアリティ学会第７回大会論文集, pp. 375-376, 2002.
[2] 福冨 弘敦, 町田 貴史, 横矢 直和: 対話的な照明シミュレーションのための現実環境の仮想化 , 電子情報通信学会 技術研究報告 PRMU2002-136, 2002.
[3] A. Fournier, A.S. Gunawan and C. Romanzin: Common Illumination between
Real and Computer Generated Scenes, Proc. Graphics Interface '93, pp. 254262. 1993.
[4] C. Loscos, G. Drettakis and L. Robert: Interactive Viutual Relighting ofReal Scenes, Trans.Visualization and Computer Graphics, Vol. 6, No. 4, pp.
289-305, 2000.
[5] S. Boivin and A. Gagalowicz: Image-Based Rendering of Di use, Specularand Glossy Surfaces from a Single Image, Proc. SIGGRAPH 2001, pp. 107116, 2001.
[6] Y. Ohta and T. Kanade: Stereo by Intra- and Inter- Scanline Search Using
Dynamic Programming, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. PAMI-7, No. 2, pp. 139-154, 1985.
[7] 横矢 直和: 多重スケールでの正則化によるステレオ画像からの不連続性を保持した曲面再構成 , 信学論, Vol. J76-D-II, No. 8, pp. 1667-1675, 1993.
[8] N. Ayache and F. Lustman: Fast and Reliable Passive Trinocular Stereo
Vision, Proc. 1st Int. Conf. on Conputer Vision, pp. 422-426, 1987.
[9] V. J. Milenkovic and T. Kanade: Trinocular Vision Using Photometoric andEdge Orientation constraints, Proc. Image Understanding Workshop, pp.
163-175, 1985.
51

[10] 佐藤 いまり, 佐藤 洋一, 池内 克史: 物体の陰影に基づく光源環境の推定 ,情報処理学会論文誌, Vol. 41, No. SIG 10, pp. 31-40, 2000.
[11] P. Devebec: Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic
Range Photography, Proc. SIGGRAPH '98, pp. 189-198, 1998.
[12] R. J. Woodham: Re ectance Map Techniques for Analyzing Surface Defects
in Metal Casting, MIT AI-TR 457, 1978.
[13] F. Solomon and K. Ikeuchi: Extracting the Shape and Roughness of Specular
Lobe Objects Using Four Light Photometric Stereo, IEEE Trans. on PatternAnalysis and Machine Intelligence, Vol. PAMI-18, No. 4, pp. 449-454, 1996.
[14] 田中 法博, 富永 昌治, 河合 利幸: カラー画像から反射パラメータの推定法と CG 応用 , 情処全大, pp. 105-112, 1999.
[15] 楊 駿, 大西 昇, 杉江 昇: 2 光源ホト メトリックステレオ法による多面体の形状復元と反射率の推定 , 信学論, Vol. J78-D-II, No. 2, pp. 292-301, 1995.
[16] G. Kay and T. Caelli: Inverting an Illumination Model from Range andIntensity Map, CVGIP: Image Understanding, Vol. 59, pp. 183-201, 1994.
[17] Y. Sato, M. D. Wheeloer and K. Ikeuchi: Object Shape and Re ectance
Modeling from Observation, Proc. SIGGRAPH '97, pp. 379-387, 1997.
[18] K. Ikeuchi and K. Sato: Determining Re ectance Properties of an Object
Using Range and Brightness Images, IEEE Trans. on Patern Analysis andMachine Intelligence, Vol. PAMI-13, NO. 11, pp. 1139-1153, 1991.
[19] S. Lin and S. W. Lee: A Representation of Specular Appearance, Proc.
Int. Conf. on Computer Vision, Vol. 2, pp. 849-854, 1999.
[20] 町田 貴史, 横矢 直和: 相互反射を伴う物体表面反射特性の推定 , 電子情報通信学会 技術研究報告, PRMU2001-225, 2002.
52

[21] B. T. Phong: Illumination for Computer Generated Pictures, Commun.
ACM, Vol. 18, No. 6, pp. 311-317, 1975.
[22] K. E. Torrance and E. M. Sparrow: Theory for O -specular Re ection from
Roughened Surfaces, Jour. Optical Society of America, Vol. 57, pp. 11051114, 1967.
[23] J. D. Foley, A. V. Dam, S. K. Feiner and J. F. Hughes: Computer Graphics:
Principles and Practice - second edition, Addison-Wesley Publishing Company, Massachusetts, 1993.
[24] A. Appel: Some Techniques for ShadingMachine Rendering of Solids, Proc.
AFIPS Joint Computer Conference, pp. 37-45, 1968.
[25] Mathematical Applications Group, Inc.: 3-D Simulated Graphics O eredby Service Bureau, Datamation, Vol. 13, No. 1, 1968.
[26] R. A. Goldstein and R. Nagel: 3-D Visual Simulation, Simulation, Vol. 16,
No. 1, pp. 25-31, 1971.
[27] C. M. Goral, K. E. Torrance, D. P. Greenberg and B. Battaile: Modelingthe Interaction of Light Between Di use Surfaces, Proc.SIGGRAPH '84, pp.
213-222, 1984.
[28] T. Nishita and E. Nakamae: Continuous Tone Representation of Three Dimensional Objects Taking Account of Shadows and Interre ection, Proc.
SIGGRAPH '85, pp. 23-30, 1985.
[29] Y. Yu, P. Devebec, J. Milik and T. Hawkins: Inverse Global Illumination:
Recovering Re ectance Models of Real Scenes from Photograph, Proc. SIGGRAPH '99, pp. 215-227, 1999.
[30] G. J. Ward: Measuring and Modeling Anisotropic Re ection, Proc. SIGGRAPH '92, Vol. 26, pp. 256-272, 1992.
53

[31] C. Loscos, M. C. Frasson, G. Drettakis, B. Walter, X. Grainer and P.
Poulin: Interactive Viutual Relighting and Remodeling of Real Scenes,
www.imagis.imag.fr/Publications RT-0230, Institut National de Recherche en
Informatique (INRIA), 1999.
[32] M. F. Cohen and D. P. Greenberg: The Hemi-Cube: A Radiosity Solution
for Complex Environments, Proc. SIGGRAPH '85, pp. 31-40, 1985.
[33] T. Sato, M. Kanbara and N. Yokoya: Dense 3-D Reconstraction of an Outdoor Scene by Hundreds-Baseline Streo Using Hand-Held Video Camera,International Journal of Computer Vision, pp. 119-129, 2002.
[34] M. F. Cohen, D. P. Greenberg, D. S. Immel and P. J. Brock: An EcientRadiosity Approach for Realistic Image Synthsis, Computer Graphics andApprication, Vol. 6, No. 3, pp. 26-35, 1986.
[35] D. R. Baum, H. E. Rushmeier and J. M. Winget: Improving Radiosity
Solutions Thhrough the Use of Analytically Determined Form-Factors, Proc.
SIGGRAPH '89, pp. 325-334, 1989.
[36] J. R. Wallace, K. A. Elmquist and E. A. Haines: A Ray Tracing algorithm
for Progressive Radiosity, Proc. SIGGRAPH '89, pp. 315-324, 1989.

54