FIT（情報科学技術フォーラム）2003

I-042
仮想物体のキャストシャド ウが表現可能なビジョンベース拡張現実感

Representation of Virtual Cast Shadow for Vision-based Augmented Reality
神原 誠之

横矢 直和

Masayuki Kanbara

Naokazu Yokoya
幾何学的整合性の解決

1. はじめに計算機に よって 管理され コンピュータグ ラフィクス
を用いて提示される仮想物体を現実環境に合成し ，などの表示デバイスを用いてユーザに提示する技術は拡張現実感と呼ばれる．拡張現3
実環境を構築するためには，現実環境と仮想環境との間におけるいくつかの整合性問題を解決する必要がある ．一
般に，現実環境と仮想環境間での幾何学的な位置合わせで図次元マーカある幾何学的整合性と，現実環境と仮想環境での画質や陰影のずれの問題である光学的整合性が挙げられる．従来
図処理手順
前者を解決する手法の代表的なものに，形状が既知のマー描画し，現実環境の 次元シーンを考慮したキャストシャ
カをカメラで撮影し，画像上でのマーカの位置により視点ド ウを合成する．
位置を求め位置合わせを行なう手法がある ．一方，後2.2 幾何学的整合性の解決
者を解決する手法には，現実環境に形状が既知の物体を配既知である正方マーカの形状と色を利用して，画像上にや，その物置し，それに移り込む映像を利用する手法
おける正方マーカの位置を推定する ．具体的には，画が挙げられる．
体が現実環境に落す影を利用する研究像の 値化，セグメンテーション，特徴点の抽出処理を行
また図 に示すような，現実環境と仮想環境の位置合ない，マーカとカメラの位置関係を推定する．
わせを行なうためのマーカと，現実環境の照明環境を推定
2.3 実環境における光源環境の推定するための鏡面の球体を組み合わせたマーカを利用して，まず，正方マーカと球の位置関係が既知であるため，マー
拡張現実感における幾何学・光学的整合性の双方の解決を
カとカメラの位置関係が推定できれば，画像上における球しかし ，これらの手法では，実試みた手法があるの撮影されている領域が抽出できる．抽出された領域内時間で光源環境推定を行なうが，シーンの 次元形状を考で輝度値の大きい画素に光源が映り込んでいると考えら慮していないため，仮想物体が現実環境に落す影 キャスれるため，各画素の輝度値がその方向に存在する光源の強トシャド ウ を正確に表現することは困難であった．
さであるとする．各画素の球面上における法線と視線方向
そこで本稿では ビデオシースルー拡張現実感において，から各画素に映り込んでる光源の方向を推定する．なお，動的に光源位置やシーン形状が変化する環境において位現在のところ，光源の色は考慮しないため，画像における置合わせと同時に正確なキャストシャド ウの表現が可能な
RGB の輝度値の平均を各光源の強さとして光源環境マッ手法を提案する．現実環境と仮想環境の幾何学的位置合わプを作成する．
せ および光源環境の推定には従来提案した 次元マーカ
2.4 3 次元シーンの実時間推定に取り付けられたカメラで撮を利用する．さらに，に取り付けられたステレオカメラで撮影された影されたステレオ画像から 次元シーンの形状を簡易的にステレオ画像からシーンの 次元形状を推定する．本稿推定することで正確なキャストシャド ウの表現を試みる．
では，密なシーン形状は必要ないため，入力画像を縮小し2. 動的環境におけるキャストシャド ウの表現法 た画像に対し，ステレオ法により奥行き情報を推定する．
2.1 処理の概要
具体的には，左画像のある画素に対し，右画像のエピポー
本稿で提案する手法の処理手順を図 に示す．まず，ラ拘束を用いて候補とした画素に対してブロックマッチン
次元マーカを用いた手法
により，現実環境と仮想環境 グを行なう この際，評価尺度としてを用い，最もの幾何学的位置合わせと実環境の光源環境の推定する．次 マッチングした相関値が高い点を対応点とする．その際，に取り付けられたカメラで撮影されたステレオ 相関値が閾値より低い場合は，その点は信頼度が低いと考に，画像から 次元シーンの形状を簡易的に推定する．最後 えその結果を利用しない．奥行き値が求まらない画素に関に，これらの推定結果を用いて，正しい位置に仮想物体を しては，画像のスキャンライン方向に線形補間する．
2.5 合成画像の生成奈良先端科学技術大学院大学 情報科学研究科
推定された現実環境と仮想環境の位置関係，光源位置情
Nara Institute of Science and Technology (NAIST)(CG)
HMD(head mounted display)

光源環境の推定次元シーンの簡易推定[1],[4]

1[5, 6].

)

,

[2]
[3]

3合成画像の生成
2:

1: 3

3[2]

2(,3HMD
3[5]

2HMD

3HMD
393,3.

SAD

FIT（情報科学技術フォーラム）2003

断面
実物体ることが確認できる．画像更新レートは約秒であった．

光源方向10 フレーム毎

4. まとめ

本稿では，ステレオビデオシースルー拡張現実感において，光源と位置とシーンの 次元形状が動的に変化する環
境において正確にキャストシャド ウの表現が可能な手法を提案した．現実環境と仮想環境の幾何学的位置合わせ および光源環境の推定には従来提案した 次元マーカを利用した手法を用いた．さらに，推定した光源情報と本手法で推定した 次元シーンの情報を用いて，実時間で正確な図キャストシャド ウの合成方法キャストシャド ウを表現した．
報およびシーンの 次元形状を用いて，仮想物体を合成す
今後の課題として，本稿での実験では代表となる 光源ると同時に，合成された仮想物体の正確なキャストシャドを利用したが，より自然なキャストシャド ウを表現するたウを表現する．
めに，推定された光源すべてを用いてキャストシャド ウをまず，現実環境と仮想環境の位置関係情報を用いて仮想 合成することが挙げられる．
物体の描画する位置を決定する．次に 推定された光源位置情報を利用して，仮想物体の表面をレンダリングする． 謝辞 本研究の一部は，文部省・科研費補助金 (No. 13558035,最後に仮想物体が現実環境に落すキャストシャドウを描画 15700099) および科学技術振興事業団（ JST ）の戦略的基礎研究「高度メディア社会の生活情報技術」プロ推進事業（ CREST ）する．図 は，キャストシャドウの描画方法の概要を示し グラムの支援によるものである。
た図である．まず，仮想物体の中心を通り光源方向と直交 参考文献
する面を断面と設定し，その面に仮想物体の形状を投影す[1] M. Kanbara, T. Okuma, H. Takemura and N. Yokoya:
る．次に，断面を格子状に区切り，各格子点が光源方向に\A Stereoscopic Video See-through Augmented Reality
System Based on Real-time Vision-based Registration,"
投影した際に，シーン中のどこに投影されるか計算する．
Proc. IEEE Virtual Reality 2000, pp. 255{262, 2000.
格子点がシーン中に投影される 次元位置を用いて，格子内の領域をテクスチャマッピングすることで，断面に投影 [2] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto andK. Tachibana: \Virtual Object Manipulation on a Tableされているキャストシャド ウの形状を描画する．
top AR Environment," Proc. IEEE/ACM Int. Sympo. on

33:,

3仮想物体

331,

333. 予備実験

Augmented Reality, pp. 111{119, 2000.

HMD

本稿では，ステレオビデオシースルーを利用したビジョンベース拡張現実感システムのプロトタイプを構築し，予備実験を行なった．まず，ステレオビデオシースで撮影されステレオ画
ルー
メモリに入像がデスクトップ力される．予備実験では，仮想物体としてティーポットを合成した．また，簡単化のため光源は一点のみ，断面に投に入影される仮想物体の形状は円であるとした．図に，シーンの 次元形状を考慮しな力画像，同図い場合と考慮した場合のキャストシャド ウの合成結果をそれぞれ示す．図より，光源環境およびシーンの形状を考慮することで，より正確なキャストシャド ウを表現できていHMD(CANON:COASTAR)
PC(CPU 2GHz,(b)(c)(a) 入力画像

3256MB)4(a)[3] P. Debevec: \Rendering Synthetic Objects into Real
Scenes: Bridging Traditional and Image-based Graphics
with Global Illumination and High Dynamic Range Photography," Proc. SIGGRAPH'98, pp. 189{198, 1998.
[4] I. Sato, Y. Sato and K. Ikeuchi: \Illumination Distribution from Brightness in Shadows: Adaptive Estimationof Illumination Distribution with Unknown Re ectance
Properties in Shadow Regions," Proc. ICCV'99, pp. 875{
882, 1999.
[5] M. Kanbara and N. Yokoya: \Geometric and Photometric Registration for Real-time Augmented Reality," Proc.
ISMAR2002, pp. 279{280, 2002.
[6] 石川, 南, 井村, 安室, 千原: \立体マーカを用いた実空間での調和的な仮想物体表現", 第 46 回システム制御情報学会研究
発表講演会講演論文集, pp. 317{318, 2002.

(b) 合成画像例(c) 合成画像例(マーカが平面上にあると仮定した場合) (シーン形状を考慮した場合)
図 4: 予備実験結果
94