拡張現実感のための実画像のぼけ推定に基づく画像合成手法
 奥村 文洋  1.

    神原 誠之 

横矢 直和        

はじめに現実環境に対して仮想物体などを重畳表示し，ユーザに対してより多くの情報を効率的に提示する技術は拡張現実感と呼ばれる [1]．違和感のない拡張現実感を構成するためには，いくつかの問題を解決する必要がある．
例えば，仮想物体の実世界における位置・姿勢の正しさ（幾何学的整合性）や，仮想環境と実環境の照明条件の整合性（光学的整合性）などである．近年，写実性の高い拡張現実環境を構築することが可能となってきたため，幾何学的整合性のみならず，光学的整合性を実現する手法が多く提案されるようになってきた [3, 4, 5, 6, 7] ．しかし，これらの手法は光学的整合性の中でも，実環境と仮想環境の照明条件の整合性に注目したものがほとんどであり，実環境と仮想環境の画質に関する整合性を解決するものはほとんど存在しない．
特に，実世界と仮想世界を重畳するための方式の一つであるビデオシースルー方式では，実世界を一度カメラで撮影するため，拡張現実環境の写実性を向上させるには，画質の整合性問題は重要な課題である．画質の不一致が生じる主な原因としては，CG で用いるカメラが理想的なカメラモデルで記述されているのに対し，現実環境を撮影するカメラの性能や，焦点ずれによるぼけなどの画質の劣化が生じるためである．
カメラで撮影した画像と CG の画質の整合性問題を解決するために，CG で用いるカメラモデルを現実に近づける研究がなされている．たとえば，馬場ら [10] はフォーカスなどのパラメータを考慮したカメラモデルを提案している．また，Kolb ら [11] はレンズ設計データに基づいた CG のレンダリング手法を提案している．しかし，これらの手法は現在のフォーカスなどのカメラパラメータが既知である必要があるため，拡張現実感にこれらの手法を適用することは困難である．
本稿ではカメラで撮影した実画像に対して，実画像と画質を合わせた仮想物体を提示することが可能な拡張現実環境を提案する．特に，画質に大きな影響を与えるカメラの焦点ずれによって生じるぼけを考慮して，実画像と CG の画質を合わせる．本手法では従来から用いられている正方マーカ [2] を用いて現実環境と仮想物体の位置合わせを行う．その際，マーカのパターンが既知であることを利用し，撮影されたマーカのパターンのぼけ具合から画像のぼけを推定する．そして，推定された画像のぼけを考慮して CG をレンダリングし，現実環境と仮想物体の画質のずれを軽減させることで違和感をなくすことを試みる．
以降，2 章で提案手法で用いた画像のぼけモデル，現実環境と仮想物体の位置合わせの手法，実画像から画像のぼけを推定する方法，画像のぼけを考慮した仮想物体
 奈良先端科学技術大学院大学, 情報科学研究科

図 1: 提案手法の処理の流れのレンダリング方法について述べる．3 章では提案手法を用いたプロトタイプシステムを構築し，実験についてのべ，最後に 4 章でまとめと今後の課題を述べる．

2.

実画像のぼけ推定に基づく画像合成

図 1 に提案手法の処理の流れを示す．まず，カメラを用いて現実環境を撮影し画像を獲得する．獲得した実画像から形状と色が既知のマーカを検出し，マーカ位置からカメラの位置，姿勢を推定する（図 1 (A)）．次に，実画像中のマーカから画像のぼけを推定する（図 1 (B)）．
最後に仮想物体のレンダリング結果に対して，推定されたぼけに基づいたフィルタ処理を行い，フィルタ処理後の画像を実画像と合成する（図 1 (C)），以下，本手法で想定するカメラのぼけモデルについて述べ，その後，処理 (A),(B),(C) を詳述する．

2.1 焦点ずれによる画像のぼけモデル
焦点ずれによる画像のぼけはレンズから物体への距離とレンズのパラメータに依存する．このぼけ画像の生成過程は，ぼけのない画像とぼけの点広がり関数 (PointSpread Fuction, PSF) の畳み込み積分としてモデル化されている．ぼけの広がりの大きさ σ には式 (1) が成り立つ
ことが知られており [8]，σ は画像上の位置に依存する．

σργ v

1f1m1l(1)式 (1) において， f は焦点距離，l はレンズから物体までの距離，m はレンズから画像面までの距離，γ はレンズの開口径，ρ はカメラに依存する定数である．図 2 に焦点ずれによってぼけが生じている場合の光学系を示す．
本手法では画像のぼけモデルとして，単位体積を持つ2 次元のガウス関数を用いる．このとき，現実環境に配置されたマーカ付近に仮想物体を提示することを想定すれば，PSF は画像上の位置に依存しない関数としてモデル化できる [9]．式 (2) に本手法で用いた PSF の式を示す．

G u v 1exp
2πσ 2

u 2  v 2  2σ 2(2)

図 2: 焦点ずれが生じている場合の光学系
ここで u v は注目画素からの位置，σ はガウス関数の分散を示す．本研究ではガウス関数の分散 σ を焦点ずれによるぼけの程度と見なし，ぼけの大きさとして記述する．

2.2 処理 (A)：マーカに対するカメラ位置の推定
手法 [2] を用いて，色と形状が既知のマーカを撮影した画像からマーカとカメラの位置姿勢の関係を推定する．
具体的にはマーカ領域の抽出，マーカ頂点の検出，モデルビュー行列の計算からなる．
1. マーカ領域の抽出
カメラで撮影した画像に対して 2 値化，ラベリング処理を行う．これらの領域の中で面積が最大のものをマーカの候補として抽出する．
2. マーカ頂点の検出抽出された領域に直線の当てはめを行い，直線の交点より正方マーカの 4 頂点を検出する．
3. モデルビュー行列の計算検出された 4 頂点と既知であるマーカのサイズとパターンからからマーカとカメラの位置関係を示すモデルビュー変換行列を算出する．
2.3 処理 (B)：ぼけの大きさ σ の推定
ぼけの大きさ σ を推定するために，あらかじめマーカの白色部分と黒色部分の一部に矩形領域を設定する．
マーカ中心を基準とした座標系で，マーカ中の白色部分の領域を Sm ，黒色部分の領域を Tm とし，Sm Tm の中心座標をそれぞれ sm tm とする．図 3(a) にマーカ中心座
標における Sm Tm sm tm の例を示す．
ぼけの大きさの推定は実画像に基づいて行うため，
Sm Tm sm tm を実画像上に投影する必要がある．実画像上での領域を S T，各領域の実画像上での中心座標をs，t とすると，s t u はモデルビュー行列 M とプロジェクション行列 P を用いて以下の式で計算できる．また，ベクトル u は s から t への走査方向である．
st

PMsm
PMtm

(3)
(4)

ut(5)s

なお，領域 S T は，それぞれ Sm Tm の 4 頂点を投影して求める．図 3(b) に投影後の実画像上での S T s t u の位置の例を示す．
ぼけの大きさの推定は，実画像，S T s t u と閾値 thを入力として，以下の手順で計算する．

(b) 実画像上に投影された領域(a) マーカ上のぼけの大きさ推定のための領域
図 3: ぼけ推定で利用するマーカ上の領域

1. S T のそれぞれの領域内で画素値の平均をとり，平均輝度値 Is It を算出する．また，これ以降の処理で用いる閾値を ths tht ，画素を走査するためのステッ
プ幅を du，注目している画素の座標を x としたとき，それぞれを以下の式で計算する．
thsthtduxIs Is It  th
Is It  th  Ituus(6)(7)(8)(9)2. 座標 x での実画像の輝度値が ths より小さくなるまで x x  du を繰り返し，初めて輝度値が ths より小さくなった座標 x を s¼ として記録する．
3. さらに画素の走査を続け，座標 x での実画像の輝度値が tht より小さくなるまで x x  du を繰り返す．
初めて輝度値が tht より小さくなった座標 x を t¼ として記録する．
4. ぼけの大きさ σ を推定する．これまでのステップで求められた σ t¼ s¼  α とする．ここで α はぼけの大きさを補正するための係数である．
以上の処理によりぼけの大きさを推定することが可能である．本手法では推定結果が安定するように，白色領域と黒色領域の組を複数用意し，それぞれで求めたぼけの大きさの平均を採用した．

2.4 処理 (C)：ぼけを考慮した仮想物体のレンダリング
まず，2.2 項で求めたモデルビュー行列を用いてテクスチャバッファに対して仮想物体をレンダリングする．
そして，レンダリング結果に対して 2.3 項で推定されたぼけの大きさに基づいた 2 次元のガウシアンフィルタを適用する．このとき処理の高速化のために近傍 N 画素のみをガウシアンフィルタの計算対象とする．さらにガウシアンフィルタ処理が X 軸方向の処理と Y 軸方向の処理の 2 つに分けられる点を利用し高速化を図る．つまり，レンダリング結果に対して式 (10) のフィルタ処理を行い，処理結果に対して式 (11) のフィルタ処理を行うこ

項目
計算機
カメラ

表 1: 実験に使用した機器
機器名
Pentium 4 3.2GHz メモリ 1GByte，
GeForce 6800 GT, VRAM 256MByte
Logitech QV-700N ( 解像度 640 480)

とで，2 次元のガウシアンフィルタ処理と同等の効果を得ることができる．

Gx u v; N 
Gy u v; N  1

Nx exp0

 1

Ny exp0u2
2σ 2v22σ 2

ただし，2N 1

Nx3.

Ny∑ expi Ni2
2σ 2if v = 0other(10)if u = 0other(11)(a) 距離 20cm(b) 距離 40cm
従来手法(c) 距離 60cm(d) 距離 20cm(e) 距離 40cm
提案手法(f) 距離 60cm

(12)

図 4: カメラとマーカの距離を変更した場合の仮想物体の提示
結果の比較

実験

提案手法の有用性を確認するために画像合成実験を行った．本稿では実験環境として，小型カメラとデスクトップ PC を用いた拡張現実環境を構築し，現実環境に正方マーカを置きマーカ上に仮想物体を重畳表示した．
実験ではフォーカスを固定してカメラからのマーカに対する距離を変化させた場合の仮想物体の見え方ついて，従来手法と提案手法を比較する．また，カメラとマーカの距離を固定して，カメラのフォーカスを動的に変更した場合の提案手法の有効性を検証する．計算機として，一般的なデスクトップ PC を用い，CG レンダリング時のガウシアンフィルタはグラフィックスカードのハードウェアを利用して行った．
実験機器を表 (1) に示す．

3.1 カメラからマーカまでの距離を変化させた場合
まず，カメラのフォーカスを固定して，カメラからマーカまでの距離を 20cm,40cm,60cm の 3 通りに変化させ，仮想物体として立方体を重畳表示した．カメラのフォーカスは 20cm の場合に合うように調整した．
図 4 は上段に従来手法による拡張現実感による結果，下段に提案手法による拡張現実感の結果を示す．それぞれ，(a),(d) は約 20cm 離れた位置，(b),(e) は約 40cm 離れた位置，(c),(f) は約 60cm 離れた位置となっている．結果よりマーカの部分はマーカがカメラから離れるにつれて焦点ずれよるぼけが生じている．従来手法ではマーカがぼけている状態でも仮想物体はくっきりと表示されている．対して，提案手法ではマーカのぼけに合わせて仮想物体もぼけており，従来手法に比べて違和感が少なくなっていることがわかる．また，距離と推定されたぼけの大きさ σ  の関係を表 2 に示す．焦点からの距離に応じてぼけの大きさが変化していることがわかる．なお，動作は約 30 フレーム毎秒で実行できることを確認した．
3.2 カメラのフォーカスを変更した場合
カメラとマーカの距離を固定して，カメラのフォーカスを変更した場合に提案手法による仮想物体の提示が有

表 2: カメラからマーカまでの距離と，ぼけの大きさの関係
距離 [cm] ぼけの大きさ σ [pixel]
201.0402.0602.9 

効か検証する．カメラのフォーカスは手動で変更し，マーカの手前，マーカ付近，マーカの奥の 3 カ所にフォーカスを合わせる．
図 5 にフォーカスを変更した場合の結果を示す．(a)〜(c) は仮想物体として立方体を表示し，(d)〜(f) は仮想物体としてティーポットを表示した．また，(a),(d) はマーカの手前，(b),(e) がマーカ付近，(c),(f) がマーカの奥にそれぞれフォーカスを合わせた．提案手法によって，フォーカスの変化によって生じるぼけが再現できている．しかし，実際のカメラでは焦点が物体の手前にある場合と，奥にある場合ではぼけ方が異なるが，提案手法では再現できておらず，図 5 の (a) と (c) 仮想物体の手前と奥でぼけが同じである．これは本手法がマーカの位置でのぼけの大きさを推定し，仮想物体に均一なぼけ効果を与えるため，このような表現ができないという問題がある．

4.

まとめと今後の課題

本稿ではカメラで撮影した実画像と仮想物体を重畳表示するような拡張現実環境で，実画像と CG の画質を合わせるための手法を提案した．本手法によってカメラの焦点ずれやフォーカスの変化によってぼけが生じた場合
でも，撮影されたマーカパターンからボケを推定することで仮想物体が違和感なく提示でき，かつ実時間で動作することを確認した．
しかし，今回の手法では画像のぼけモデルを想定しているのではなく，現在は実画像からマーカ付近のぼけを推定し，合成する CG にぼけを適用しているため，マー(a) 立方体，マーカより近くに焦点が合っている場合（σ 2 6）(b) 立方体，マーカに焦点が合っている場合（σ 0 8）(c) 立方体，マーカより遠くに焦点が合っている場合（σ 2 3）(d) ティーポット，マーカより近くに焦 (e) ティーポット，マーカに焦点が合っ (f) ティーポット，マーカより遠くに焦点が合っている場合（σ 2 6）ている場合（σ 0 8）
点が合っている場合（σ 2 3）

図 5: カメラとマーカの距離を変更した場合の仮想物体の提示結果の比較

カ付近に仮想物体が存在する場合に限られる．この問題を解決するためには，ズームやフォーカスなどを考慮したカメラモデルと，物体の奥行きに基づいた画像のぼけを再現する必要がある．このためには，実画像のぼけから画面全体の奥行きを推定するような Deapth form
Defocuse[12] と呼ばれる手法などと本手法を組み合わせる必要があると考える．

[6] S. Gibson, J. Cook, T.L.J. Howard, R.J. Hubbold： Rapid
Shadow Generation in Real-World Lighting Environments ,Proc. of the Eurographics Symposium on Rendering 2003, pp.
219-229, 2003.
[7] P. Debevec, Rendering Synthetic Objects into Real Scenes:
Bridgin Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography , Proc.
SIGGRAPH ’98, pp. 189-198, 1998.

参考文献[8] A.P. Pentland： A New Sense for Depth of Field , IEEETrans. Pattern Analysis and Machine Intelligence, vol. 9, no.
4, pp. 523-531, 1987.

[1] R. T. Azuma： A Survey of Augmented Reality , Presence,
vol. 6 no. 4, pp. 355-385, 1997.
[2] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto and K.
Tachibana： Virtual Object Manipulation on a Table-top AR
Environment , Proc. IEEE/ACM Int. Sympo. on AugmentedReality, pp. 111-119, 2000.
[3] 神原 誠之, 横矢 直和： 現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感 ,画像の認識・理解シンポジウム (MIRU2004) 講演論文集,vol. II, pp. 247-252, 2004.
[4] Kusama Agusanto, Li Li, Zhu Chuangui, Ng Wan Sing： Photorealistic rendering for augmented reality using environment
illumination , Proc. IEEE/ACM Int. Sympo. on Mixed andAugmented Reality, pp. 208-216, 2003.
[5] J. Unger, A. Wenger, T Hawkins, A. Grandre, P. Debevec：
Capturing and Rendering With Incident Light Fields , Proc.
of the Eurographics Symposium on Rendering 2003, pp. 1-10,2003.

NTT ヒューマンインターフェース研究[9] B.K.P. Horn 著,
所 訳： ロボットビジョン , 朝倉書店, 1993.
[10] 馬場 雅志, 天野 晃, 青山 正人, 浅田 尚紀： Calibrated
Computer Graphics のためのズーム・フォーカス・アイリス統合カメラモデル , 画像の理解・認識シンポジウム (MIRU’98)
論文集, vol. II, pp. 47-51, 1998.
[11] C. Kolb, D. Mitchell, P.Hanrahan： A Realistic Camera
Model for Computer Graphics , SIGGRAPH ’95, pp. 317324, 1995.
[12] D. Rajan, S. Chaudhuri： Super-Resolved Scene and Deapth
Map from Low Resolution Defocused Observations , IEEETrans. Pattern Analysis and Machine Intelligence, vol. 25, no.
9, pp. 1102-1116, 2003.