実３次元形状への光学パターン投影による仮想照明環境の実現
西山 正志

向川 康博

尺長 健

岡山大学工学部情報工学科〒 700-8530 岡山市津島中 3-1-1

E-mail: mukaigaw@chino.it.okayama-u.ac.jp

Realizing Virtual Lighting Environment by Photometric Pattern Projection
onto Real 3D Shape
Masashi NISHIYAMA

Yasuhiro MUKAIGAWA

Takeshi SHAKUNAGA

Department of Information Technology ，Faculty of Engineering,
Okayama University
Tsushima-naka 3-1-1 ，Okayama ，700-8530 ，Japan

あらまし: 本稿では，拡張現実感の枠組において，プロジェクタによって実３次元形状に光学パターンを投影することで，実世界の幾何情報と仮想世界の光学情報を融合し，仮想照明環境を実現する手法を提案する．実世界をスクリーンとみなし，仮想光源による光学情報をスクリーンに投影することで，光源や物体反射特性を任意に変化させた場合の見え方を，実世界において提示することが可能となる．スクリーンが平面でないために生じるプロジェクタの光量変化を，カメラを用いて近似的に補正する．また，鏡面反射は視線方向に依存するため，視点位置の変化に追従して光学パターンを適切に変化させる方法についても述べる．試作システムを用いた実験により，本手法の有効性を示す．

1 まえがき拡張現実感とは，実世界と仮想世界を違和感なく融合させる技術であり，実世界に仮想的な情報を付加することができるため，人間に対する新たな情報提示の手段として注目されている [1] ．

画面が小さく，解像度も低いため，ユーザが得る現実感が損なわれるという問題がある.

HMD を用いない方法として，Raskar らより Projector Based Augmented Reality(PBAR)[2] が提案されている．これは，仮想世界の情報を含むパターンを，プロジェクタによって実世界に直接的に投影する手法でこれまで，拡張現実感の枠組においてユーザに対するある．PBAR では，HMD を装着する煩わしさや，視が多く用いられてきた．HMD は，ハーフミラーなど点位置の変動に伴う実世界と仮想世界の時間ずれ，お情報提示の装置として，Head Mounted Display(HMD)を用いて，映り込む仮想世界と透過して見える実世界を同時にユーザに提示する光学式シースルー方式と，ユーザの視線方向とカメラの光軸を一致させて撮影した実世界の映像上に，仮想世界を合成して提示するビデオシースルー方式がある．光学式シースルー方式は，実世界が時間遅れなく見えるのに対し，仮想世界が遅れて提示されるため，実世界と仮想世界との間の時間よび，実世界の解像度不足を感じさせることなく，任意の視点から見ることが可能である．

Raskar らによって提案された手法は，幾何学的な位置合わせや，複数のプロジェクタを同時に用いる手法に重点が置かれており，仮想世界の光源による光学情報の変化は取り扱われていない．光学情報は，現実感が増すための重要な要因の一つである．

ずれが生じてユーザが違和感を感じる．一方，ビデオ

そこで，本研究では，PBAR の枠組において，仮想シースルー方式は，人間のもつ視野に比べて映像表示光源による光学情報を実世界に重ね合わせる手法を提プロジェクタ

Attached shadow

Specular Reflection

仮想光源

Diffuse Reflection

Cast shadow

計算機

ユーザ

図 2: 反射と影

非平面スクリーン

図 1: 仮想照明環境に光を遮られて生じる cast shadow の二つに分けられる．attached shadow は光源方向と法線方向の角度に案する．本手法により，光源や反射特性を任意に変化させることができる仮想照明環境の構築が可能となる．

2 PBAR による仮想照明環境
2.1 研究目的

PBAR は，プロジェクタによって仮想世界の情報を依存し，cast shadow は物体の 3 次元形状に依存する．
従って，拡散反射と attached shadow を生成するた

めには物体表面の法線方向を，cast shadow を生成する

ためには物体の 3 次元形状を，鏡面反射を生成するためには法線方向に加え視線方向を推定する必要がある．

2.3 光学パターン投影における問題と解決方針

実世界に投影することで，実世界と仮想世界の融合を行う手法である．本研究の目的は，PBAR の枠組で，仮想光源による光学情報の変化を表現することである．
図 1 に示すように，実世界をスクリーンと見なして，仮想光源によって生じる光学パターンを，プロジェクタから投影する．これにより，ユーザは実際の光源にプロジェクタによってパターンを投影されるスクリーンは，完全拡散反射であると仮定する．実世界には物体が存在するため，スクリーンは平面とならない．本
研究では，このスクリーンを非平面スクリーンと呼ぶ．
まず，非平面スクリーンを用いて PBAR を実現する

よってスクリーンが照らされているかのように見るこ際に解決すべき問題を以下に示す．とができる．また，スクリーン中の物体の反射特性を(1) スクリーンの 3 次元形状の獲得(2) 2 次元プロジェクタ座標と 3 次元スクリーン座標任意に変化させることにより，物体の材質の変化を表現できる．本研究では，これらの光源や反射特性による見え方の変化を実世界で提示できる仮想照明環境を実現する．

2.2 仮想光源変動に伴う変化要因
仮想光源の変動に伴って見え方が変化する主な要因

として反射と影がある．図 2 に示すように，反射は，のキャリブレーション(3) スクリーンが平面でないために生じる光量変化(4) プロジェクタから投影できないために生じる隠れ領域(5) スクリーンに奥行きがあるために生じる焦点深度
これらの問題は，それぞれ次のように解決可能と考えられる．(1) は，プロジェクタとカ メラを用いるレ

拡散反射 (di use re ection) および鏡面反射 (specular

ンジファインダにより，3 次元形状を計測することでらの光をあらゆる方向に同じ強さに反射し，視線方向(3) は換言すると，スクリーンが平面ではないために，に依存せず一定の強度で観測される．一方，鏡面反射輝度が均一のパターンを投影してもスクリーン表面のは，視線方向に依存し正反射方向付近で最も強く観測輝度が一定にならない問題である．本研究では，様々される．影は，物体表面の法線方向が光源方向を向いな輝度パターンを投影したスクリーンを実際にカメラ

re ection) の二つに大別できる．拡散反射は，光源かていないために生じる attached shadow と，他の物体解決する．(2) は，(1) の過程で求めることができる．

で撮影し，輝度を直接的に補正することで解決する．

(4) は，スクリーン形状とプロジェクタの位置関係にプロジェクタ

よっては，パターンを投影できない隠れ領域が存在する問題である．本研究ではこの問題を取り扱わないが，カメラ複数のプロジェクタを同時に用いることで解決できる[2, 3]．(5) は，スクリーンに奥行きがあるために，全ての点で同時に焦点を合わせることができない問題である．本研究ではこの問題を取り扱わないが，複数のプロジェクタを用いて奥行きごとにプロジェクタを切替える方法や，プロジェクタの画像投影部の開口径をスクリーン絞り込み，ピンホール光学系を形成することで解決で3次元形状

図 3: レンジファインダきると思われる．
次に，PBAR の枠組で反射特性を変化させる際の問題を述べる．反射特性として，完全拡散反射を仮定し，拡散反射・attached shadow・cast shadow のみを取り扱う場合，これらは視線方向に依存しないため，複数クリーン表面の法線方向を推定することが可能となる．

3.2 光学パターンの生成の人物が異なる位置から同時に見ることができる．一方，物体の材質を仮想的に変化させることのできる仮
想照明環境を実現するためには，鏡面反射を考慮する必要がある．鏡面反射は視線方向に依存するため，同時に見ることができるユーザは一人に限られ，ユーザの視線方向を推定する必要がある．本研究では，カメラを用いてユーザの視点位置を検出し，光学パターンを変化させる方法でこれを解決する．

光源，反射特性を変化させた時に投影すべき光学パターンを生成する．拡散反射は Lambertian モデルにより求め，鏡面反射は Phong モデルにより求める．また，光学パターンにおいて attached shadow および castshadow の画素値は 0 とする．

仮想光源のパラメータを変更することで，任意の種類，位置，明るさの光源による光学パターンが生成できる．また，反射特性のパラメータを変更することで，スクリーン中の物体の材質を仮想的に変更することが3 非平面スクリーンに対する光学パターン投影できる．

3.3 光学パターンの輝度補正

本章では，ユーザの視点位置を固定した状態で，非プロジェクタによって投影されるスクリーンの各場平面スクリーンに対して光学パターンを投影する方法

所において，表面の法線方向，プロジェクタからの距を述べる．まず，3.1 節ではスクリーンの 3 次元形状を離，拡散反射率が異なるため，輝度が均一なパターン獲得する方法を述べる．3.2 節ではスクリーンに投影を投影しても，観測されるスクリーンの輝度が均一にするパターンの生成法を述べる．3.3 節では投影するならないという問題が生じる．例えば，図 4 の画像のパターンの輝度を補正する方法を述べる．

ように，スクリーン中の円錐に対して，真上から輝度が均一なパターンを投影しても，円錐表面はその他の3.1 スクリーンの 3 次元形状獲得3 次元形状を獲得する場合，複数のカ メラによるステレオ法が用いられることが多いが，対象となる実世平面に比べて暗くなる．従って，生成した光学パターンをそのまま投影しても，スクリーンを意図する輝度にすることはできない．これを解決するために，光学パターンの輝度補正を行なう必要がある．

界のテクスチャが単調であれば，複数の画像間での対一つの解決法として，スクリーン表面の法線方向，拡応付けが難しくなり，安定に形状を獲得できない．

散反射率，プロジェクタの投影方向などの情報を用い本研究では，プロジェクタを用いることができるため，図 3 に示すように，プロジェクタとカメラを用いて，補正輝度を算出する方法が考えられる．しかし，これらの情報を正確に求めることは容易でないため，安るレンジファインダ [4] により，安定にスクリーンの 3定に輝度を補正することは難しい．

ロジェクタ座標と 3 次元スクリーン座標の幾何学的な様々な輝度を持つパターンを投影したスクリーンを実次元形状を獲得する．形状を求める過程で，2 次元プ関係が求まる．さらに，獲得された 3 次元形状からス

そこで，本研究では，法線などの情報を用いずに，際にカメラを用いて観測することにより，直接的に輝レンジファインダおよび輝度補正用カメラ
(a)

(a)

横軸：投影したパターンの輝度
縦軸：観測されたスクリーンの輝度

(b)

(b)

(a)

非平面スクリーン

プロジェクタ(b)

図 4: 輝度の補正

図 5: 実験環境度補正を行う．図 4 の各グラフ組の (a) は，明るさを段殊な装置を用いて獲得する手法と，カメラによって撮階的に変えて投影したパターンの輝度と，カメラを用影された画像から推定する手法が挙げられる．前者は，いて観測した輝度の関係を表す曲線である．スクリー

3 次元位置を比較的容易に獲得できるが，特殊な装置ンの全ての座標において，得られた曲線を用いて投影が必要となる．

するパターンの輝度を求めることができる．しかし，スクリーンの全ての座標において，この曲線を保持すれば膨大なデータ量になる．そこで，図 4 の各グラフ

そこで，本研究では，ユーザの視点付近に発光するマーカーを設けてカメラで追跡を行い，その 3 次元位置を推定することにより，ユーザの視点位置を推定す

組の (b) に示すように，曲線を折れ線で近似する．たる．また，ユーザの動きは平面的であるという制約をだし，この補正法は処理を単純化できるが相互反射の設けて，単眼でユーザの視点位置を推定する．

影響には対応できない．

4.3 投影する光学パターンのずれ

4 視点追従4.1 視点位置の変動に伴う変化要因
図 2 に示した見え方の 4 つの要因の中で，視点位置の変動に伴って見え方が変化する要因は鏡面反射のみ

上述の方法で推定された視点位置は空間的な誤差を含む．また，視点位置推定や鏡面反射パターン更新の処理時間のために時間ずれが生じる．その結果，実際の視点位置と，投影された鏡面反射パターンの幾何学的な位置との関係は厳密には一致しない．

である．従って，視点位置が変化した場合に再描画が必

しかし，これらの推定誤差や時間ずれが大きくても，要な要因は鏡面反射だけであり，拡散反射と影は更新

異なる視点位置から見た場合に適切に見えるパターンする必要がない．つまり，光源位置を固定した状態でが投影されるだけであり，本来投影されるはずのないは，あらかじめ拡散反射と影のみを含んだ光学パター場所に鏡面反射が付加されることは原理上あり得ない．

ンを用意しておき，ユーザの視点位置に対応する鏡面また，拡散反射と影に関しては，推定誤差や時間ずれ反射を逐次付加するだけで良い．この方法では，視点位に関係なく，常に正しい位置に投影される．そのため，置が変動してもパターン生成に最も時間のかかる castshadow を更新する必要がないため，比較的高速にパターンを生成できる．

ある程度の精度で視点位置が推定されていれば，結果として生成される鏡面反射にユーザが大きな違和感を感じることは少ない．これが，HMD を使うシステムに対する本手法の最大の利点である．

4.2 カメラを用いた視点位置の推定
鏡面反射は視線方向によって変化するため，ユーザ

5

実験結果の視点位置を推定する必要がある．ユーザの視点位置提案手法の有効性を確認するために，試作システム

推定は，磁気式，超音波式，多関節アーム型など，特を用いた実験を行なった．試作システムとして，液晶図 6: スクリーンの 3 次元形状(a) 補正前(b) 補正後

図 7: 輝度の補正(a)：鏡面反射を付加(b)：異なる視点からした光学パターン

見たスクリーン

図 10: 視点変動に伴う鏡面反射の変化

図 8: 投影した光学パターン

プロジェクタを 1 台，3CCD カメラ (SONY XC-003)
を 2 台用いた．カメラはレンジファインダおよび輝度の補正用に 1 台，視点位置推定用に 1 台とした．非平面スクリーンは，白色で完全拡散反射面であり，プロジェクタで投影できない隠れ領域が存在しないものとした．これらの配置を図 5 に示す．また，円錐が存在する非平面スクリーンの 3 次元形状を復元した結果を

図 6 に示す．プロジェクタで投影できない隠れ領域がほとんど存在しないため，安定に 3 次元形状を復元できている．

次に，輝度補正の有効性を確認する実験を行った，5段階の明るさでスクリーンを照らし，投影輝度と観測輝度の関係を調べた．補正を行わず，輝度が一定のパターンを，円錐を含むスクリーンに投影した結果が図7(a) である．一方，補正をしたパターンを投影した結果が図 7(b) である．輝度を補正することで，スクリー
図 9: 異なる視点から見たスクリーンンの見かけの輝度がほぼ均一になっていることがわかる．一部，円錐の淵が暗くなっているが，これはプロジェクタから投影できない場所である．

た．時間ずれに関する違和感を抑えるためには，さらなる高速化が必要であると考えられる．
最後に，複数の物体を含む複雑なスクリーンに対して，仮想光源位置，反射特性，および，仮想光源種類を変化させた場合の結果を示す．図 11(a) は仮想光源の位置を変化させた場合，図 11(b) は Phong モデルにおける表面の荒さの係数を変化させることにより反射(a)：仮想光源位置の変化特性を変化させた場合，図 11(c) は線光源を点光源の集合として近似することにより光源種類を変化させた場合の見え方の変化を示している．これらの実験結果
より，プロジェクタを用いて光源や反射特性を任意に変えることのできる仮想照明環境を実現できることを確認した．

6

むすび
本稿では拡張現実感の枠組において，仮想光源によ(b)：反射特性の変化る光学情報をプロジェクタによって実世界に重ね合わせる手法を提案した．実験結果により，実際に光源を用意することなく，任意の照明をプロジェクタで代用できる可能性を示した．また，鏡面反射を付加することにより，反射特性の変化を表現できることを示した．
今後の課題として，相互反射の影響を考慮することや，視点位置推定の精度の向上などが挙げられる．

(c)：仮想光源種類の変化
図 11: 複数の物体を含む複雑なスクリーン

次に，プロジェクタより光学パターンを投影して，仮想光源による光学情報を付加する実験を行った．スクリーンから 30cm 離れた仮想点光源による光学パターンを図 8 に示す．この光学パターンを投影されたスクリーンを，様々な方向から見た結果が図 9 である．あたかも仮想点光源に照らされているかのように見えることが確認された．
次に，ユーザの視点位置を推定し，適切な鏡面反射を付加した光学パターンを投影する実験を行った．ユー
ザの視点付近に赤く発光するマーカを設け，カメラで撮影することにより追跡した．推定された視点位置に対応する光学パターンを図 10(a) に示す．また，パターンが投影されたスクリーンを視点位置から撮影した結果が図 10(b) である．視点位置に合わせて鏡面反射の位置が適切に変化していることが確認できる．なお，視点位置を推定し，鏡面反射パターンを更新する一連の処理は，PentiumIII-600MHz を用いて約 250ms であっ

参考文献[1] Y.Ohta, H.Tamura : \Mixed Reality - Merging
Real and Virtual Worlds", Ohmsha, 1999.
[2] R.Raskar, G.Welch, W.C.Chen : \Table-Top
Spatially-Augmented Reality : Bring Physica
Models to Life with Projected Imagery", Proc.
International Workshop on Augmented Reality'99 (IWAR'99), pp.64-71, 1999.
[3] R.Raskar, M.S.Brown, R.Yang, W.C.Chen,
G.Welch, H.Towles, B.Seales, H.Fuchs : \MultiProjector Displays Using Camera-Based Registration", Proc. IEEE Visualization '99, 1999.
[4]

井口征士, 佐藤宏介 : \三次元画像計測 ", 昭晃堂,

1990.