光源環境マップの実時間推定による光学的整合性を考慮したビジョンベース拡張現実感

Vision-based Geometric and Photometric Registration for Augmented Reality Estmating a Light Source Map
神原 誠之

横矢 直和

Masayuki Kanbara

Naokazu Yokoya

1. はじめに計算機に よって 管理され コンピュータグ ラフィクス
を用いて提示される仮想物体を現実環境に合成し ，などの表示デバイスを用いてユーザに提示する技術は拡張現実感と呼ばれる．拡張
現実環境を構築するためには，現実環境と仮想環境との間におけるいくつかの整合性問題を解決する必要がある ．
現実世界と仮想世界の幾何学的整合性の欠如は，ユーザに違和感を与える最も大きな要因であると考えられている．
そのため，現実環境と仮想環境間での幾何学的整合性を解
図
正方マーカと鏡面球を組み合わせた決する研究が多くなされている．代表的なものに，形状が既知のマーカをカメラで撮影し，画像上でのマーカの位置により視点位置を求め位置合わせを行なう手法がある ． した拡張現実感システムについて述べる．

(CG)
HMD(head mounted display)

[1]

1:

3 次元マーカ[2]

一方，現実環境と仮想環境での画質や陰影のずれの問題 2.1 システム概要である光学的整合性を解決する試みがある．特に，照明条
図 に，提案する拡張現実感システムの処理の概要を件の差に起因する現実物体と仮想物体の見え方のずれは 示す．まず現実環境に 次元マーカを配置する．これは，ユーザに大きな違和感を与える．そこで従来，現実環境に 幾何学的整合性を解決するための正方マーカと現実環境の形状が既知の物体を配置し，それに移り込む映像を利用す 照明条件を考慮するための鏡面球体を組み合わせたものをや，その物体が現実環境に落す影を利用する研 利用する 図 参照 ．このとき，正方マーカと球の位置るものがなされている．これまでに，現実環境と仮想環境 関係とそれぞれの大きさは既知であるとする．次に，カメ究の位置合わせを行なうためのマーカと，現実環境の照明環 ラによって撮影された映像から正方マーカの位置を抽出す
境を推定するための鏡面の球体を組み合わせたマーカを利 ることで，現在のマーカとカメラの位置関係を推定する．
用して，拡張現実感における幾何学・光学的性合成の双方 次に，既知である正方マーカと球の位置関係から，画像上しかし，この手法 では， の球の領域を抽出する．その画像から映り込んだ照明環境の解決を試みた手法がある
単一光源を仮定して光源推定を行なっているため，一般的 を推定し，光源環境マップを作成する．最後に，推定されな環境に適用するのは困難であり，単一光源では仮想物体 たマーカとカメラの位置関係と光源マップを利用して，撮が現実環境に落す影を正確に表現することはできない．
影された映像に仮想物体を合成する．

2

[4]

[3]

3( 1[5].

)

[5]

, 1

本稿では 図 に示すように，現実環境と仮想環境の位以下，幾何学的整合性と光学的整合性の解決手法につい置合わせを行なうための正方マーカと，現実環境の照明環 て述べる．
境を推定するための鏡面球を組み合わせたマーカを利用し 2.2 幾何学的整合性の解決て，拡張現実感における幾何学・光学的性合成の双方の解既知である正方マーカの形状と色を利用して，画像上に決を試みる．その際，鏡面の球に映り込んだ映像から光源 おける正方マーカの位置を推定する ．具体的には，画環境マップを推定し，より現実に近い陰影表現の可能な拡 像の 値化，セグメンテーション，特徴点の抽出処理を行張現実感の実現を試みる．
ない，マーカとカメラの位置関係を推定する．
以降， 章では現実環境と仮想環境の画像合成手法につ2.3 光学的整合性の解決いて説明する． 章では，提案手法を用いたプロトタイプ
まず，正方マーカと球の位置関係が既知であるため，マーシステムの構築と画像合成実験について述べ，試作システ
カとカメラの位置関係が推定できれば，画像上における球ムの特徴と現状での問題点について考察する．の撮影されている領域が抽出できる．抽出された領域内で
2. 光学的整合性を考慮した拡張現実感
輝度値の大きい画素に光源が映り込んでいる考えられるた
本章では，幾何学的整合性と光学的整合性の双方を考慮 め，各画素の輝度値がその方向に存在する光源の強さであるとする．各画素の球面上における法線と視線方向から各
奈良先端科学技術大学院大学 情報科学研究科
Nara Institute of Science and Technology (NAIST)
画素に映り込んでる光源の方向を推定する．なお，現在の

22

3

[2]

Square marker
Captured image
CameraMirror ball(a) 鏡面領域
Virtual object(A) Geometricregistration
Composed image

図(B) Estimation oflighting condition(b) 光源環境マップ

Computer2: 幾何学的・光学的位置合わせの処理手順

ところ，光源の色は考慮しないため，画像における RGBの輝度値の平均を各光源の強さとして光源環境マップを作成する．

3. 実験
提案手法の有効性を示すため，拡張現実感システムのプロトタイプを構築し実験を行なった． 次元マーカとしての正方マーカと直径の鏡面球をその中央カに組み合わせたものを利用した．カメラはを，計算機にはデスクトップメラメモリを利用した．

3(c) 合成画像例
4cm24cm
1cm
IEEE1394
図 3: 実験結果(SONY: DFW-VL500)
PC(CPU 2GHz,256MB)
図 3 に，実験結果を示す．(a) は切り出された球の領域， て，光源の色情報などを利用するなど , より正確な光源環(b) は簡易光源マップである．図 3(b) では，各方向からの 境マップの推定が挙げられる．

光源の強さを球の大きさで表している．これらより，鏡面球に映り込んだ現実環境の光源環境を推定できていることが確認できる．

3(c)

参考文献
[1] M. Kanbara, T. Okuma, H. Takemura and N. Yokoya:

は，机の上に置かれたコップの横に仮想物体の図\A Stereoscopic Video See-through Augmented Reality
System Based on Real-time Vision-based Registration,"
ティーポットを合成した結果を示している．この時，現実
Proc. IEEE Virtual Reality 2000, pp. 255{262, 2000.
環境に映る仮想物体の影は 推定されたすべての光源を用[2] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto and
いて描画しているが，仮想物体のシェーディングはレンダ
K. Tachibana: \Virtual Ob ject Manipulation on a Tableリング処理を実時間で行なうために，最も明るい光源から
top AR Environment," Proc. IEEE/ACM Int. Sympo. on
Augmented Reality, pp. 111{119, 2000.
個を選択して処理を行なっている．実験より，現実環境に光源に応じた仮想物体の陰影が表現できていることが確 [3] P. Debevec: \Rendering Synthetic Objects into Real
Scenes: Bridging Traditional and Image-based Graphics
認できる．画像更新レートは約 フレーム毎秒であった．
with Global Illumination and High Dynamic Range Pho-,

84. まとめ153

本稿では，正方マーカと鏡面球を組み合わせた 次元マーカを利用することで，幾何学的整合性と光学的整合性を解決した拡張現実感を提案した．幾何学的位置合わせは正方マーカで行ない，同時に，鏡面の球から光源環境マップの簡易推定を行なった．試作システムによる実験により，光源環境マップの推定，陰影を考慮した合成画像の生成が実時間で行なえることが確認できた．今後の課題とし

tography," Proc. SIGGRAPH'98, pp. 189{198, 1998.
[4] I. Sato, Y. Sato and K. Ikeuchi: \Illumination Distribution from Brightness in Shadows:

Adaptive Estimationof Illumination Distribution with Unknown Re

ectance

Properties in Shadow Regions," Proc. ICCV'99, pp. 875{882, 1999.
[5]

石川, 南, 井村, 安室, 千原: \立体マーカを用いた実空間での調和的な仮想物体表現", 第 46 回システム制御情報学会研究
発表講演会講演論文集, pp. 317{318, 2002.