論 文
焦点外れによるぼけとモーションブラーの推定に基づく
拡張現実感における光学的整合性の実現
奥村 文洋† a)神原誠之† b)

横矢直和† c)

Photometric Registration Based on Defocus and Motion Blur Estimation
for Augmented Reality
Bunyo OKUMURA†a) , Masayuki KANBARA†b) , and Naokazu YOKOYA†c)

あらまし 拡張現実感のための画像合成において，実画像と仮想物体の光学的整合性問題の解決は重要な課題であり，特に実画像と仮想物体の画質の差はユーザに違和感を与える要因の一つである．本論文ではカメラで実環境を撮影した際に生じるぼけを仮想物体に再現可能な画像合成手法を提案する．本手法はシーン中に配置された複数の画像マーカから実画像で生じる焦点外れによるぼけとモーションブラーを推定し，推定したぼけを仮想物体に再現することで実画像と仮想物体の画質の一致を図る．実験では提案手法によって合成された仮想物体と実画像を比較し提案手法の有効性を示す．
キーワード

拡張現実感，光学的整合性，ぼけ，モーションブラー，画像合成

張現実感を用いた仮想的なインテリアデザインシミュ

1. は じ め にレーション [2] など仮想物体の写実性が重要な用途に

拡張現実感は，実環境に対して仮想物体を重畳表示

おいて，実画像と仮想物体の光学的整合性を向上させすることでユーザに対して位置依存情報を提供する技

るための手法がビデオシースルー型の拡張現実感シス術であり，新たな情報提示方式として幅広い応用が期

テムを用いて多数提案されている [3], [4]．ビデオシー

待されている [1]．拡張現実感において実環境と仮想環

スルー型拡張現実感において，カメラで実環境を撮影

境の継ぎ目のない融合を実現するために，実環境と仮した実画像にはカメラの光学特性に応じたぼけなどの想物体の幾何学的整合性問題と光学的整合性問題を解

画像の劣化が生じる．一方，実画像に合成される仮想決することが重要な課題である．幾何学的整合性とは，物体は理想的なカメラモデルを用いて描画されるため合成する仮想物体の位置・姿勢がユーザの視点変更に

画質の劣化は生じない．これら両者を合成するビデオ

伴って実環境と矛盾が生じないことを意味する．また，

シースルー型拡張現実感システムでは，実画像と仮想光学的整合性とは，合成する仮想物体の影・陰影・画物体の間に画質の不一致が生じ，ユーザに違和感を与質などが実環境と一致していることを意味する．

えてしまう．このため，画質の整合性問題の解決はビ

拡張現実感を実現するために広く用いられる手法とデオシースルー型拡張現実感システムにおける合成画

して，環境をカメラで撮影した画像に仮想物体を合成

像の写実性を向上させるために重要な課題である．近するビデオシースルー型拡張現実感がある．従来，拡年では，光学的整合性の 1 つである画質の整合性問題を解決するための手法が提案されている [5]〜[9]．例†

奈良先端科学技術大学院大学 情報科学研究科〒 630–0192 奈良県生駒市高山町 8916–5
Graduate School of Information Science, Nara Institute of
Science and Technology
8916–5 Takayama, Ikoma, Nara, 630–0192 Japana) E-mail: bunyo-o@is.naist.jpb) E-mail: kanbara@is.naist.jpc) E-mail: yokoya@is.naist.jp

えば，文献 [5], [6] などでは実画像と仮想物体の両方に対して，セル画調やスケッチ調と呼ばれる表現効果を付加することで両者の画質の一致を図っている．しかし，これらの手法では実環境の写実性が損なわれるという問題がある．
本論文では，シーンに固定された複数の画像マーカ

電子情報通信学会論文誌 D Vol. Jxx–D No. xx pp. 1–11 xxxx 年 xx 月

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

を用いて実画像のぼけを推定し，推定されたぼけを仮と呼ばれ，ぼけが生じた画像列からぼけのない画像を想物体に再現することで，実画像と仮想物体の間の推定するための手法である．また，焦点外れから奥行

画質の差を軽減する手法を提案する．特に，画質に対きを推定する Depth from defocus [14], [15] や，超解して大きな影響を与えるカメラの焦点外れによって生像 [16], [17] なども同様の問題を扱っており，PSF をじるぼけと動きによって生じるモーションブラーを取推定することでこれらの目的を達成している．

り扱う．なお，本研究ではカメラがユーザ頭部に装着

2. 2 仮想物体に対するぼけの再現された状態で，モーションブラーはユーザの上下・左コンピュータグラフィックスの分野において，カメ

右の首振りによって主に生じると仮定し，カメラの光ラで生じる光学的現象を再現するための手法が提案さ軸周りの回転やカメラの並進運動によって生じるモーれている．例えば，Kolb ら [18] はカメラの光学系のションブラーは扱わない．提案手法はシーン中に配置特性を再現可能な仮想物体の描画手法を提案している．

された形状既知の画像マーカを用いて実時間のぼけ推

この手法はレンズの設計データとフォーカスなどのパ定を行う．そして，カメラの合焦位置とモーションブ

ラメータをもとに，画像のぼけやゆがみを再現するこラーを推定し，仮想物体に対して奥行きに応じたぼけとが可能である．また，Asada ら [19] はカメラのズーを再現する．最後に，実画像と仮想物体を合成するこム，フォーカス，アイリスを考慮したカメラモデルと，とで画質に差違が少ない拡張現実感を実現する．

それを用いた仮想物体の描画手法について述べている．

以降，2. で従来の関連研究と本研究の位置づけに関して述べ，3. で提案手法で用いる画像のぼけモデル，
実環境と仮想物体のぼけを考慮した位置合せ手法，実この手法はカメラのパラメータに応じたぼけを再現することが可能である．

2. 3 本研究の位置づけ

画像からのぼけ推定手法，画像のぼけを考慮した仮想本研究ではコンピュータビジョンにおけるぼけ推定

物体の描画手法について詳述する．4. では提案手法をとコンピュータグラフィックスにおけるぼけ再現を利用いた実験を示し，最後に 5. でまとめと今後の課題を用して，画質に関して整合性のある拡張現実感の実現

述べる．

を図る．従来のぼけ推定に関する研究では任意の PSF

2. 従来研究と本研究の位置づけを対象としており，PSF の推定に複数の画像が必要であるという制約や，計算量が膨大であるという問題が画像のぼけの解析に関する研究は主に画像処理・コあるため，実時間処理が要求される拡張現実感にそのンピュータビジョンの分野で行われ，画像のぼけの再まま適用することは困難である．一方，コンピュータ

現に関する研究は主にコンピュータグラフィックスのグラフィックスの分野におけるぼけ再現手法は，カメ分野で行われている．本章では画像のぼけに関する従ラのレンズ操作によって変化する内部パラメータとぼ来研究を概観した後，本研究の位置づけについて述けの関係が必要であるため，事前に内部パラメータとべる．

ぼけの関係の精密なキャリブレーションが必要である．

2. 1 画像からのぼけ推定

従来，我々はマーカを用いて実画像のぼけを推定し，画像処理・コンピュータビジョンの分野において，

仮想物体に対してぼけを再現することで画質の一致をぼけが生じた劣化画像を復元するための研究が多くな図る手法を提案している [7], [8]．しかし，この手法でされている．これらの研究では画像のぼけによる劣化

はマーカ付近で均一なぼけを仮定しているため，仮想過程を点広がり関数 (Point Spread Function：以下，物体の奥行きに応じたぼけを再現できないという制限

PSF) によってモデル化し，PSF を推定することで画があった．

像の復元を試みている [10]〜[12]．一般的に，画像復本研究では，シーン中に複数配置された形状の既知元は前提条件の違いによって 2 つに分けることができなマーカとパラメータ表現された PSF を用い，1 枚

る．一つは撮影対象に関する既知の情報を利用した手の入力画像からカメラの合焦位置とモーションブラー

法であり，他方は撮影対象に関する知識を用いないもの実時間推定を達成する．まず，画像マーカによる幾のである．前者の代表的な研究の１つに，スキャナの何学的整合性の解決と同時にぼけと奥行きの関係を獲PSF を推定する手法 [13] がある．これは形状既知のパ得し，レンズ操作によって変化する内部パラメータでターンを撮影することで，スキャナの特性を示す PSF

あるカメラの合焦位置とカメラと被写体の相対的運動を推定する．後者はブラインドデコンボリューション

によって生じるモーションブラーを推定する．そして，

2

論文／焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現(A) Detection of image markers

メラの合焦位置とシーン全体のモーションブラーの推定を行い (図 1 (D))，最後に，推定されたぼけを考慮(B) Estimation of PSF parameters from image markers

して仮想物体を描画し，実画像と合成する (図 1 (E))．
以下，本手法で想定するカメラのぼけモデルと画像(C) Estimation of camera position and orientationin consideration of blur effects

マーカについて述べ，その後，処理 (A)〜(E) について詳述する．

(D) Estimation of focused position and motion blur3. 1 画像のぼけモデル
画像のぼけを引き起こす主な要因に，レンズの焦点(E) Rendering of virtual objects with blur effects

外れによるぼけとカメラと撮影対象の相対的な動きに

図 1 提案手法の処理の流れ
Fig. 1 Flow diagram of the proposed method.

よるモーションブラーがある．ぼけ画像の生成過程は，ぼけのない画像と PSF の畳込み積分としてモデル化される．焦点外れによるぼけはレンズ中心から対象ま

任意の位置に置かれる仮想物体に対して奥行きに応じでの奥行き，レンズの開口径などに依存し，散乱円とたぼけを再現することで，拡張現実感における画質に呼ばれる画像上での光の円状の広がりとして表現する

関する光学的整合性の向上を図る．

ことができる．ここで，散乱円の半径 r に関して式 (1)また，本研究の応用範囲は既存の固定焦点型のカメラを内蔵したヘッドマウントディスプレイ (HMD) を利用したビデオシースルー型の拡張現実感システムのみならず，将来登場すると考えられる屋内・屋外で利が成り立つ [20]．

¯¯1

r = ργv ¯¯

f

¯

−

1
1¯
− ¯¯ .
vz(1)

用可能な可変焦点型のカメラを内蔵した HMD を用い

ただし，f は焦点距離，z はレンズから物体までの奥た拡張現実感システムに応用できると考えられる．

行き，v はレンズから画像面までの距離，γ はレンズ

3. ぼけ推定に基づく画像合成の開口径，ρ はカメラの CCD 分解能などに依存する定数である．一方，モーションブラーはカメラの動き，

本研究では画像のぼけモデルとして，レンズの焦点

対象の動き，カメラの露出時間に依存する．一般に外れによるぼけとカメラの動きによって生じるモーモーションブラーを記述する PSF は複雑な形状にな

ションブラーを再現可能な PSF を用い，形状を既知なるため，式による厳密な表現は困難であるが，画像平

マーカのエッジ部分のぼけ幅を用いて PSF パラメー

面に投影された撮影対象の等速直線運動として近似す

タを実時間推定する．PSF パラメータは画像中の様々ることが可能である [21]．

な方向のエッジについてぼけ幅を調べ，それらを統合

本研究では焦点外れによるぼけと画像平面上での平することで推定する．さらに，カメラから奥行きが異行移動によって生じるモーションブラーを表現できるなる位置に存在する複数のマーカ毎に推定された PSF

PSF を用いる．提案手法ではエッジのぼけ幅から PSF

パラメータからカメラの合焦位置を推定し，奥行きにのパラメータを推定し，PSF パラメータに基づいて応じたぼけを再現可能とする．最後に，仮想物体を描

画像のぼけを再現する方針をとる．ぼけの推定・再現画した画像に対して推定された PSF に基づく平滑化の際に，焦点ずれとモーションブラーを表現する 2 種

フィルタを適用してぼけの再現を行う．

のぼけを表す PSF の畳込み積分によってこれらの処

図 1 に処理手順を示す．まず，カメラを用いて実環理を実現する必要がある．しかし，畳込み積分は計算

境を撮影し，実画像から形状と色の既知なマーカを検量が多いため拡張現実感で必要な実時間処理に影響を出する (図 1 (A))．次に，実画像中のマーカのエッジ

与えてしまう．そこで，提案手法では焦点外れによっ部分の輝度に対して，PSF から求めたぼけが生じたて生じる散乱円をモーションブラーの平行移動方向に場合のエッジの輝度変化を表す関数を当てはめ，PSF

引き延ばした楕円形の PSF を用いることで，2 つののパラメータを推定する (図 1 (B))．そして，推定さPSF の畳込み積分を近似し計算量の軽減を図る．ここれた画像のぼけとマーカの実画像中の位置からぼけがで，直線エッジの方向が PSF を表す楕円の短軸もしない場合のマーカの形状を復元し，カメラの位置・姿

くは長軸と同じ方向の場合では，エッジ付近の輝度変勢を推定する (図 1 (C))．次に，複数のマーカからカ化が円形 PSF によって生じる輝度変化と同じになる．
3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx(a) ID areayθ(b) Circular edge for estimating
the parameters of PSF(c) Black shape for detecting themarker and for estimating theposition and orientation ofcamera

x

r

r+l
図2

本手法で用いる PSF の形状
Fig. 2 Shape of PSF.

図 3 本手法で用いるマーカの構造
Fig. 3 An example of marker.

このため，文献 [14] のような円形 PSF モデルを用いた PSF パラメータの高速な推定が期待できる．
式 (2) に提案手法で用いた PSF の近似式を示す．

=

1π ((r+l)2 +r 2 )0ーカ座標系におけるカメラの位置・姿勢を推定し，幾何学的位置合せを行う．

3. 3 実画像からのマーカ検出：処理 (A)P (x, y; r, l, θ)の外周エッジからぼけが生じた状況下でのマ

(
;

x′
r+l

)2 ( ′ )2yr+

Kato らの手法 [22] を用いて，以下の手順により色<= 1 , (2); otherwiseと形状の既知なマーカを実画像中から抽出し，マーカ
座標系におけるカメラの位置・姿勢を推定する．
（ 1 ） 実画像に対して，あらかじめ手動で定めた固

ただし，

( )
x′
y

′

(
=

定閾値による二値化，ラベリング処理を行い，面積が

)( )
cos θ

sin θ

x

− sin θcos θy

一定値以上のものをマーカの候補とする．

.

(3)

ここで，x と y は注目画素からの位置，r は焦点外れ（ 2 ） 抽出された領域より正方マーカの 4 頂点を検出し，マーカ座標系におけるカメラの位置・姿勢を推定する．

による散乱円の半径，l と θ はモーションブラーの平推定されたカメラの位置・姿勢は処理 (B) 以降で，行移動の大きさと方向を示す．提案手法では r, l, θ をマーカの円状のエッジの画像上の位置を特定するため

PSF のパラメータとする．図 2 に提案手法で用いるに用いる．しかし，本処理において検出されたマーカ

PSF の形状と各パラメータの関係を示す．それぞれ，の頂点位置には，ぼけの大きさに依存する誤差が含ま

PSF を表す楕円の短径が焦点外れによるぼけの大きれるため，カメラの合焦位置の推定に影響を与えるこさ r ，楕円の長径が焦点外れによるぼけとモーションとが考えられる．そこで，3. 5 の処理 (C) においてぼブラーの大きさの和 r + l，楕円の傾きがモーションブ

けによる画像劣化の影響を考慮したカメラの位置・姿

ラーの方向 θ を表す．

勢の再推定を行う．

3. 2 画像マーカ
本研究ではカメラの位置・姿勢の推定に形状の既知

3. 4 画像マーカのエッジを用いた PSF パラメー
タの推定：処理 (B)な正方マーカを用い，マーカ内部の円状のエッジ部分

本手法では実時間処理を達成するため，以下のスから PSF のパラメータを推定する．図 3 にマーカのテップから PSF のパラメータを推定する．まず，モー構造を示す．各部分の役割は以下の通りである．

ションブラーによるぼけの影響を考慮しない回転対称(a) ID 部
黒丸の数と位置から複数のマーカを識別する．

(b) 円状のエッジ

を様々な方向のエッジに関して調べる．そして，様々な方向のエッジに対して推定されたぼけ幅を統合し，マーカ中に黒色部と白色部で作られる円状のモーションブラーによるぼけを考慮した楕円 PSF のエッジを持つことで実画像中に様々な方向のパラメータ推定を行う．なお，カメラの被写界深度にエッジが存在することを保証し，エッジのぼ

対してマーカの大きさが十分に小さい場合には，奥行け幅から PSF パラメータを推定する．

きの変化によるマーカ内部での PSF パラメータの変(c) 正方形の黒色部
実画像からのマーカ検出に用い，かつマーカ
4の円形 PSF を想定してマーカ中のエッジ部分のぼけ幅化は小さいと考え，本処理ではマーカ内部で PSF パ
ラメータが均一であると仮定する．

論文／焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現

3. 4. 1 エッジ部分のぼけ幅の推定
輝度変化に対して，ぼけが生じたエッジの輝度変化を表す関数の当てはめによって，エッジ部分でのぼけ幅を推定する．理想的な直線エッジにおいて，エッジとIntensity of pixel ai max

本手法では，エッジと直交する方向に沿った画素のWidth of blur dIntensity of pixelrf ( p)i min

るステップ関数として表現できる場合，円形 PSF に imin=; t < −1g(t)(imax −imin ) + imin ; −1 <= t<
= 1 , (4)


i

; t>1

max

ただし，t = (⃗p−p⃗0 ) · ⃗o/d であり，

g(t) =

1
1
+
2
π

(√
t

1 − t2 + arcsin tと短軸が直交するという制約が存在する．そこで，本手法ではぼけ幅を統合した PSF 形状を楕円で近似し，満たす PSF のパラメータ r, l, θ を推定する．なお，近)似がパラメータ推定精度に与える影響は後述する実験(5)ベクトル，p⃗ は画素の位置，p⃗0 はぼけの影響を受けていない場合のエッジの位置であり，d はぼけ幅を表し，エッジと直交する方向に輝度値が変化している部分の幅である．
理想的なエッジにぼけが生じた場合のエッジの輝度変化と提案手法による関数の当てはめ例を図 4 に示す．
パラメータ d, p
⃗0 , imin , imax は式 (6) で示す誤差関数

Eedge を準ニュートン法で最小化することで推定する．
Eedge (d, p⃗0 , imin , imax )=のパラメータ r + l と等しくなる．また，楕円の長軸

ぼけ幅に対して楕円を当てはめることで以上の制約をである．なお，⃗o はエッジと直交する方向を表す単位

N∑

Position of pixel ( p i )図 4 ぼけエッジに対する関数当てはめ
Function ﬁtting to a blurred edge and sampled
pixels used in blur estimation.

Fig. 4(4) となることが知られている [14]．
f (⃗p; d, p⃗0 , imin , imax )rr
Edge position p0

直交する方向に沿った輝度変化が位置 p⃗0 を原点とす
よるぼけの影響を受けたエッジ部分での輝度変化は式

Ideal edge{I(⃗pi ) − f (⃗pi ; d, p⃗0 , imin , imax )}2 . (6)で検証する．ここで，マーカ中の複数の点で推定されたぼけ幅 d の最小値，最大値をそれぞれ dmin , dmaxとした場合に，PSF パラメータ r の初期値を dmin ，PSF パラメータ l の初期値を dmax − dmin ，PSF パ
ラメータ θ の初期値を最大のぼけ幅を持つエッジと直交する方向とする．

3. 1 で示した PSF のパラメータ r, l, θ は式 (7) を準ニュートン法で最小化することで推定する．

EP SF (r, l, θ) =M∑{h(θj ; r, l, θ) − dj }2

Eedge,j

j=1

(7)

ただし，

h(θj ; r, l, θ) = √(

1

)2 (

cos(θj −θ)
r+l

i=1

,

+

)2 . (8)sin(θj −θ)r

式 (6) において，p⃗i と I(⃗pi ) は，それぞれ i 番目の画
素の位置，輝度値を表し，N はサンプリングした画素

関数 h(θj ; r, l, θ) は楕円状の PSF の中心から θ 方向数である．

の楕円上の点までの距離を表す．dj と Eedge,j は，そ3. 4. 2 方向毎のぼけ幅の統合による PSF パラメー
タの推定本手法ではマーカ中の複数の点で推定されたぼけ幅

d とエッジの方向から PSF のパラメータを推定する．
3. 4. 1 で求めたぼけ幅は円形の PSF を仮定している

れぞれ 3. 4 で推定した j 番目のエッジのぼけ幅と推定時の誤差を表し，M はマーカ 1 つあたりのぼけ幅の推定個数である．

3. 5 マーカ形状の復元とカメラ位置・姿勢の推定：
処理 (C)

が，式 (2) の PSF を表す楕円の長軸と直線エッジの本研究ではシーン中に複数存在するマーカ間の位置・方向が一致している場合に，エッジ部分の輝度変化は姿勢の関係は未知とし，各マーカで推定されたマーカ

式 (4) で表現され，ぼけ幅 d は PSF のパラメータ r

座標系におけるカメラの位置・姿勢から基準マーカにと等しくなる．同様に，PSF を表す楕円の短軸と直線対するマーカ間の位置・姿勢を推定する．カメラの位

エッジの方向が一致している場合に，ぼけ幅 d は PSF

置・姿勢を正確に推定するためには，入力画像におけ5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

るマーカの形状からぼけの影響を除去する必要がある．

ただし，zk と rk はそれぞれ k 番目のマーカの奥行き

マーカ形状の復元には画像のフィルタ処理に基づく手と，マーカで推定された PSF の焦点外れによるぼけ法と，マーカの幾何学的特徴を利用した復元方法が考の大きさであり，L はシーン中のマーカの数である．

えられる．本研究では拡張現実感で要求される実時間

なお，κ は様々な合焦位置や物体までの距離の元で処理を達成するため，計算量が少ない後者の手法を採の最小のぼけの大きさを用い，ργ は合焦位置を既知な用する．具体的には，文献 [7] で提案した手法により状態で，様々な奥行きでのぼけの大きさを計測し，式マーカのエッジの真の位置からマーカの形状を復元す(9) によって計算されるぼけの大きさと計測されたぼる．次に，マーカの頂点から文献 [22] と同様に PnP

けの大きさの差の 2 乗和が最小となる ργ を用いれば問題 (n = 4) を解くことでカメラの位置・姿勢を推定

よい．

する．この処理によりぼけの影響によるカメラの位置・

3. 6. 2 モーションブラーの推定

姿勢精度の低下を改善する．

ユーザの頭部にカメラを装着する拡張現実感におい3. 6 カメラの合焦位置とモーションブラーの推定：て，頭部の回転運動によるモーションブラーが発生しやすい．本研究では，モーションブラーはユーザの上処理 (D)
本節では複数のマーカで得られた PSF パラメータ

下・左右の首振りによって生じると仮定する．このとr, l, θ から奥行きに応じたぼけを再現するため，カメき，カメラの投影中心と回転中心の不一致により，カラの合焦位置とモーションブラーの推定を行う．

メラの並進運動によるモーションブラーとカメラの回

3. 6. 1 カメラの合焦位置の推定

転運動によるモーションブラーが同時に発生する．前

シーン中の奥行きが異なる位置に複数のマーカが配者は奥行きに依存し後者は奥行きに依存しないが，拡置されている場合には，マーカ位置での PSF パラメー

張現実感においては回転運動によるモーションブラー

タと，カメラからマーカまでの奥行きからカメラの合が画質に対して支配的であると考え，本研究ではモー焦位置を推定することが可能である．式 (1) はレンズ

ションブラーは画像上で均一な方向と大きさを持つとを用いた撮像系における奥行きとぼけの関係を示してする．具体的には，各マーカで推定されたパラメータいる．しかし，実際の撮像系では焦点ずれやモーショl, θ の平均値 ˆl, θ̂ をカメラの動きによって生じるモー

ンブラーによるぼけのみならず，CCD の分解能など

ションブラーとする．

の要因によるぼけが生じているため，カメラが合焦し

3. 7 ぼけを考慮した仮想物体のレンダリング：処理 (E)ている場合でもぼけが生じている．本研究では様々なぼけ要因によって生じる影響は PSF パラメータ r に

仮想物体に対するぼけの再現は，前述の手法によっ対する定数の加算で近似し，奥行きとぼけの関係として推定された情報をもとにグラフィックスハードウェて式 (1) に定数κを付加した式 (9) を用いる．

アを用いたフィルタ処理として実現し高速化を図る．
処理は仮想物体の描画と仮想物体へのぼけ再現の 2 段

r̂ = bf ocus (z; z0 , ργ, f, κ)¯¯¯ 1 1 1¯¯
= ργv ¯ − − ¯¯ + κ,fvz

階に分けて行う．

(9)

まず，3. 5 で求めたマーカ座標系におけるカメラの
位置・姿勢情報を用いて仮想物体をテクスチャバッファ

ただし，r̂ は実際の撮像系での焦点外れによるぼけのに描画する．同時に，画素毎に焦点ずれによるぼけの大きさ，z はレンズから対象までの奥行き，z0 はカメ

大きさを表す PSF パラメータ r̂ を式 (9) から画素毎ラの合焦位置である．なお，v はレンズから画像面まの仮想物体の奥行きを用いて計算する．次に，テクスでの距離を表すが，レンズの焦点距離とカメラの合焦

チャバッファに対して PSF パラメータ r̂ と 3. 6. 2 で位置から計算可能であり，v = (f · z0 )/(z0 − f ) であ求めた PSF パラメータ ˆl, θ̂ に基づいた平滑化フィル

る．カメラの合焦位置 z0 は式 (10) に示す誤差関数をタ処理を式 (11) によって適用する．

最小化することで推定する．

Ef ocus (z0 )
=

L
∑
k=1

6

{bf ocus (zk ; z0 , ργ, f, κ) − rk }2 , (10)Iblurred (s, t)
=

−w −w
∑
∑

P (x, y; r̂, ˆl, θ̂)·ICG (s+x, t+y). (11)y=w x=w

なお，ICG (s, t) は仮想物体を描画した画像の位置 (s, t)論文／焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現における画素の輝度値を表し，仮想物体が描画されな(a) Test pattern
for evaluation

い画素では ICG (s, t) = 0 とする．また，Iblurred (s, t)はフィルタ適用後の画像の位置 (s, t) における画素の輝度値，w はフィルタ処理を行う際のウィンドウサ
イズを表し，w = r̂ + ˆ
l である．式 (11) の処理はグCameraラフィックスハードウェアに搭載されているピクセル

0.4mm
0.5mm

シェーダ機能によって実現する．ただし，実画像と仮0.6mm

想物体の境界部分では画像のぼけによって生じる輪郭
Fig. 5のにじみ効果を再現するため，式 (12) に示す輝度値

図5 実験環境
Experimental environment

Iresult (s, t) = α(s, t) · Iblurred (s, t)+(1 − α(s, t)) · Ireal (s, t). (12)
ここで，Ireal (s, t) は実画像の位置 (s, t) における画素

Estimated focus
position [m]の混合を行う．

の輝度値，α(s, t) は画像の位置 (s, t) における輝度値

1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0

Reference
Estimated focus position

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Manually adjusted focus position[m]の合成比率であり，PSF を表す楕円内部で仮想物体を

1.1 1.2 1.3

表す画素が占める割合を表す．
図 6

4. 実

験

提案手法の有効性を確認するための実験を行った．

手動で設定した合焦位置と推定された合焦位置の関係
Fig. 6 Estimated focus position and manually adjusted focus position.

まず，3. 6. 1 で示したカメラの合焦位置の推定結果について評価する．次に，実画像中と合成画像のエッジことで設定し，0.2m から 1.2m まで 0.1m 刻みで変更の輝度変化を比較することで，提案手法が画質の差をし，それぞれ 3 回試行した．合焦位置の推定に必要なパ軽減できているか確認する．さらに，提案手法によるラメータはそれぞれ ργ = 240 画素/m, f = 0.006m,

合焦位置・モーションブラーパラメータの推定結果に

κ = 1.8 画素とし，f はレンズの設計データを用い，ついて評価する．最後に，拡張現実感を用いた応用例

ργ, κ は，事前のキャリブレーション処理によって定めとしてテーブルトップ型の仮想インテリアデザインをた．図 6 に設定した合焦位置と推定された合焦位置の想定した画像合成結果を示す．

関係を示す．図より設定した合焦位置が 0.2m〜0.8m

4. 1 実 験 環 境
デスクトップ PC(CPU：Pentium D 3.0GHz，メの場合では◆印で示した提案手法で推定した結果が真モリ：3.25GByte，グラフィックスカード：Radeon

置が 0.9m 以上の場合では若干ばらつきが生じている．

X1900XTX) と USB 接続の小型カメラ (ARGO 社製

原因として，式 (10) の最小化に基づく合焦位置の推Lu-135c，解像度：1024 × 768 画素，フレームレート：

定において，カメラが遠景に合焦している場合では推15fps) を用いた実験システムを構築した．図 5 に実験定されたカメラからマーカまでの奥行き zk と PSF パ

環境を示す．カメラから 0.4m〜0.6m の位置に 0.1m

ラメータ rk に対する誤差が合焦位置の推定結果に対毎に 2 個ずつ，マーカを合計 6 個配置した．また，図して大きな影響を与えていることが考えられる．

中 (a) 部分は画質の評価に用いたテストパターンであり，カメラ位置・姿勢の推定には利用していない．

値 (○印) に近い値で推定されている．しかし，合焦位

4. 3 奥行きに応じたぼけの再現結果
本節では提案手法によって再現されるぼけと実画像

4. 2 カメラの合焦位置の推定結果
本節では 3. 6. 1 で示したカメラの合焦位置の推定処で生じているぼけを比較するため，シーン中のテスト

理の有効性を確認するために，本実験では手動で設定合成する．ぼけの再現を行わない画像合成と提案手法

した合焦位置と複数のマーカを用いて推定した合焦位による画像合成を行い，実画像と合成画像の輝度値の置の関係を調べる．カメラをシーンに対して固定し，差を比較する．なお，カメラは固定し，カメラの焦点

合焦位置は距離を既知な物体に対して焦点を合わせる

はテストパターンの遠景 (カメラから 0.6m) に合わせパターンと同じ位置に仮想物体のテストパターンを

7

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx
Close toa camera

Far from acamera軸が画像の位置，縦軸が画素の輝度値である．図 7(b)はぼけが再現されていないのに対して，図 7(c) では
合焦位置に近づくにつれてぼけが徐々に弱くなっており，提案手法を用いることで奥行きに応じたぼけの再(a) Real object

現が行えていることが分かる．図 7(d), (e) から，提案手法によるぼけの再現によって実画像のエッジの勾(b) Composed virtual object(without blur representation)

配と提案手法によって合成された仮想物体のエッジの勾配がほぼ一致しており画質の差を軽減できていると考える．

(c) Composed virtual object(with blur representation, proposed method)

Intensity of pixela

AB(a) Real object(b) Without blur representation(c) Proposed method

250
200
150
100
50
0

素の位置を示し，図において左側が近景である．縦軸はエッジと直交する方向に沿って実画像と合成画像の輝度値の差の二乗和を計算した値である．ぼけ再現が05

Position
in image

10(d) Comparison of part A
Intensity of pixela

図 8 にエッジ上の位置と実画像と合成画像の輝度値の差の 2 乗和の関係を示す．横軸はエッジに沿った画

150
100

差が大きいことがわかる．さらに，遠景から近景になるにつれて誤差が大きくなっており，これは奥行きに(a) Real object(b) Without blur representation(c) Proposed method

200

無い画像合成手法では，全体的に誤差が大きく画質の応じたぼけの大きさの変化を再現できていないためである．これに対して，提案手法による画像合成を行った場合は全体的に輝度値の差が小さく，ぼけ再現の効

50
0
0

5

Position
in image

10

果が現れている．特に，近景と遠景で誤差の大きさが同程度になっており，奥行きに応じたぼけを再現した効果が現れている．

(e) Comparison of part B

図 7 評価に用いた画像とエッジ部分での輝度変化の比較
Fig. 7 Images for evaluation and comparison of edge
part of each image.

4. 4 合焦位置・モーションブラーパラメータの推定結果
提案手法はマーカを撮影した画像から 3. 4 で示した

Sum of suqare differencesof pixel intensity

楕円 PSF に基づくぼけの推定処理を行い，カメラの合
30000
25000
20000
15000
10000
5000
0
0
50
Close toa camera

Proposed method
Without blur representation

焦位置とモーションブラーのパラメータを推定している．本節では様々な大きさのモーションブラーが発生した場合における，カメラの合焦位置とモーションブ
ラーパラメータの推定精度を評価する．同時に，モー

100

150

200

Position in an image

250

300
350
Far forma camera

図 8 エッジ上の位置と輝度値の差の 2 乗和の関係
Fig. 8 Square diﬀerences of intensity between realand composed images

ションブラーが合焦位置の推定結果に与える影響について検証する．
実験環境を図 9 に示す．マーカは水平面に 12 個配置
し，カメラはロボットアームを用いて鉛直方向を回転軸として角速度一定で回転させた．カメラの合焦位置，モーションブラーの大きさ，モーションブラーの方向

た．また，実環境と仮想環境の照明条件の一致は手動のそれぞれについて提案手法によって推定される値とで行った．

真値を比較した．なお，カメラの合焦位置は 0.45m と

図 7 に評価に用いた画像を示す．(a)〜(c) はそれぞ

し，カメラは毎秒 30 度の角速度で回転させた．カメれ実画像，仮想物体に対してぼけの再現を行わずに生

ラのシャッタースピードは 20ms, 40ms, 60ms の 3 通成した合成画像，提案手法によって生成した合成画像

りに変更した．

を示し，図の左側が近景である．また，(d), (e) は図

表 1 にシャッタースピードを変更した際の合焦位置

中 A, B で示した部分の輝度変化を表し，グラフの横の真値，推定値の平均，推定値の標準偏差を示す．表8

論文／焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現てモーションブラーの大きさ・方向がおおむね良好に

Robot Arm推定できている．
以上の結果について考察を行う．提案手法によるぼ
Camera

け推定は最も誤差が大きいシャッタースピード 60ms
0.45mmの場合で，合焦位置の推定誤差が 0.05m，モーション
ブラーの大きさの推定誤差が 0.9 画素，モーションブ
ラーの方向の誤差が 2.2 度であった．ここで，本実験で用いたカメラでは合焦位置に 0.05m の誤差があった
場合，奥行き 0.2m〜無限遠の範囲で式 (9) で計算さ
図 9 ロボットアームを用いた実験環境
Fig. 9 Experimental environment with robot arm

れるぼけの大きさは真値に対して差が 0.5 画素以下となる．つまり，シャッタースピード 60ms の場合に提Table 1

表 1 合焦位置の真値と推定結果
Results and errors of estimated focus position.

Shutter
speed

Referencevalue

Average of
estimatedvaluesStandard
deviation of
estimatedvaluesAverageerror ofestimatedvalues

20ms
40ms
60ms

0.45m
0.45m
0.45m

0.42m
0.41m
0.40m

0.012m
0.022m
0.023m

0.03m
0.04m
0.05m

表 2 モーションブラーの真値と推定結果
Table 2 Results and errors of estimated magnitudeof motion blur.
Shutter
speed

Referencevalue

Average of
estimatedvaluesStandard
deviation of
estimatedvaluesAverageerror ofestimatedvalues

20ms
40ms
60ms

3.46pixel
6.92pixel
10.4pixel

3.15pixel
6.9pixel
9.5pixel

0.31pixel
0.53pixel
0.71pixel

0.31pixel
0.02pixel
0.9pixel

案手法によって再現されるぼけの大きさは，実画像で生じているぼけの大きさに対して最大で 1.4 画素の誤差が含まれる．ユーザが画質の不一致を感じる画像のぼけの大きさと方向の誤差は，画像に生じているぼけの強さや重畳表示する画像の内容，アプリケーションに依存すると考えられ，一概に定めることはできないと考えるが，1.4 画素の誤差はビデオシースルー型の
拡張現実感に用いるディスプレイの分解能とほぼ等し
く，提案手法によるぼけの大きさの推定誤差がユーザに対して与える違和感は小さいと考える．

4. 5 提案手法による画像合成結果
提案手法は画質の一致を図る手法であり，応用例としてインテリアデザインのシミュレーション [2] など，
仮想物体と実物体の光学的整合性が重要なアプリケー
ションが考えられる．本実験では提案手法による画質

表 3 モーションブラーの方向の真値と推定結果
Table 3 Results and errors of estimated orientationof motion blur.
Shutter
speed

Referencevalue

Average of
estimatedvaluesStandard
deviation of
estimatedvaluesAverageerror ofestimatedvalues

20ms
40ms
60ms

0deg.
0deg.
0deg.

0.84deg.
-0.79deg.
2.2deg.

3.63deg.
4.34deg.
4.08deg.

0.84deg.
-0.79deg.
2.2deg.

の一致の有効性を確認するため，仮想インテリアデザ
インを想定し，仮想物体として植木鉢を用いた画像合成実験を行った．幾何学的整合性の解決には実環境中に配置された 2 個のマーカを用い，カメラ座標系におけるそれぞれのマーカの位置・姿勢を用いて仮想物体の位置合せを行った．
図 10 において，(a) はぼけ再現を行わない画像合成
結果，(b) は焦点ずれによるぼけのみを再現した画像

より，シャッタースピードが遅くなりモーションブラー

合成結果，(c) は提案手法によって焦点ずれによるぼが大きくなるにつれて，合焦位置の推定誤差が大きく

けとモーションブラーを再現した画像合成結果であり，なり，推定精度が下がっていることがわかる．表 2 に

実画像に焦点外れによるぼけと，カメラの水平方向のシャッタースピードを変更した際のモーションブラー

回転によるモーションブラーが生じている．(a) におの大きさの真値，推定値の平均，推定値の標準偏差をいて，仮想物体は常に鮮明に描画されているため実物示す．なお，モーションブラーの大きさの真値はカメ体との画質の差が発生してしまい違和感が大きい．こラの画角，解像度，回転速度，シャッタースピードかられに対して (b) では，焦点ずれに応じたぼけが再現さ計算した．表 3 にシャッタースピードを変更した際のれており，画質の差が軽減できている．しかし，実画

モーションブラーの方向の真値，推定値の平均，推定像にモーションブラーによる強いぼけが発生している値の標準偏差を示す．提案手法によるぼけ推定によっにもかかわらず仮想物体にはぼけが生じていないため，
9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D No. xx

かる．なお，本システムはおよそ 10fps で動作した．

5. まとめと今後の課題
本論文は拡張現実感において，実画像からのぼけ推定に基づいて実画像と仮想物体の画質の差を減少した
(i)

(ii)

画質合成手法を提案した．本手法は実画像中の複数のマーカから焦点外れによるぼけとモーションブラーを推定し，仮想物体にぼけを再現することで合成画像の違和感の軽減を試みた．実験ではモーションブラーの有無にかかわらずカメラの合焦位置を推定できている(a) Image composition without blur representation

こと，テストパターンを用いて提案手法が画質の差を減少できていることを確認した．しかしながら，本手法を具体的なアプリケーションに適用する際には，カメラの合焦位置やモーションブラーのパラメータの要求精度を検討する必要がある．最後に，仮想インテリ
アデザインを想定した画像合成実験より提案手法によ

(i)

(ii)

るぼけの再現が画質の差の軽減に対して有効であることを確認した．
今後の課題として，仮想物体の動きを考慮したモーションブラーの再現などが考えられる．本論文ではモーションブラーの要因として，仮想物体がシーンに対して静止した状態でカメラの回転によって生じる(b) Image composition with defocus blur
representation

モーションブラーに限定したが，仮想物体を重畳表示
するマーカの動き，あるいは仮想物体のシーン中の移動によって生じるモーションブラーなどの再現による，
よりいっそう画質の差を軽減することでユーザに対して与える違和感を軽減できると考える．
文

(i)

(ii)

[1]

献

H. Regenbrecht, G. Baratoﬀ and W. Wilke: “Augmented Reality Projects in the Automotive andAerospace Industries”, IEEE Computer Graphics andApplications, 25, 6, pp. 48–56 (2005).

安室 喜弘, 石川 悠, 井村 誠孝, 南 広一, 眞鍋 佳嗣, 千原 國宏：“立体マーカを用いた実空間における仮想物体の調和的表現 〜インタラクティブ MR インテリアデザイ
ン〜”, 映像情報メディア学会誌, 57, 10, pp. 1307–1313(2003).
[3] K. Agusanto, L. Li, Z. Chuangui and N. W. Sing:[2](c) Image composition with motion blur and defocus
blur representation (proposed method)

ぼけ再現を行わない場合の画像合成と提案手法による画像合成結果の比較
Fig. 10 Comparison of the proposed method and an
image composition method without blur representation.

“Photorealistic Rendering for Augmented Reality Us-

図 10

ing Environment Illumination.”, Proc. of 2nd IEEEand ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 03), pp. 208–216 (2003).
[4]

M. Kanbara and N. Yokoya:“Real-time Estima-tion of Light Source Environment for Photorealistic Augmented Reality.”, Proc. of 17th IAPR Int.

依然として違和感が残っている．(c) ではモーション

Conf. on Pattern Recognition (ICPR2004), pp. 911–

ブラーも再現されているため，画像全体の画質が実画像と似ており違和感が大幅に軽減できていることがわ
10914 (2004).
[5]

J. Fischer, D. Bartz and W. Strasser: “Stylized Aug-

論文／焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現
mented Reality for Improved Immersion”, Proc. of

Calibrated Computer Graphics”, Proc. of 6th Int.

IEEE Virtual Reality 2005 (VR2005), pp. 195–202

Conf. on Computer Graphics and Imaging, pp. 101–106 (2000).

(2005).
[6]

M. Haller, F. Landerl and M. Billinghurst: “A Loose[20]

IEEE Trans. on Pattern Analysis and Machine Intel-

and Sketchy Approach in a Mediated Reality Envi-ligence, 9, 4, pp. 523–531 (1987).

ronment”, GRAPHITE ’05: Proc. of 3rd Int. Conf.
on Computer Graphics and Interactive Techniques in[21]

GRAPH ’83, pp. 389–399 (1983).

[7]

mented Reality Based on Estimation of Defocusing
and Motion Blurring from Captured Images”, Proc.

M. Potmesil and I. Chakravarty: “Modeling Motion
Blur in Computer-Generated Images”, Proc. of SIG-

Australasia and South East Asia, pp. 371–379 (2005).

奥村 文洋, 神原 誠之, 横矢 直和：“拡張現実感のための実
画像のぼけ推定に基づく画像合成手法”, 情報科学技術レターズ, 4, pp. 245–248 (2005).
[8] B. Okumura, K. Masayuki and N. Yokoya: “Aug-A. P. Pentland: “A New Sense for Depth of Field”,[22]

H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto
and K. Tachibana: “Virtual Object Manipulation ona Table-top AR Environment”, Proc. of IEEE/ACM
Int. Symp. on Augmented Reality, pp. 111–119（平成 xx 年 xx 月 xx 日受付）
(2000).

of 5th IEEE and ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 06), pp. 219–225 (2006).
[9]

奥村 文洋, 神原 誠之, 横矢 直和：“焦点外れによるぼけとモーションブラーの推定に基づく拡張現実感における光学的整合性の実現”, 画像の認識・理解シンポジウム

奥村 文洋

（学生員）

(MIRU2006) 講演論文集, pp. 255–260 (2006).
[10]

J. Flusser and T. Suk: “Degraded Image Analysis:

2001 年，名古屋工業大学工学部卒業．

An Invariant Approach”, IEEE Trans. on Pattern

2003 年，奈良先端科学技術大学院大学情Analysis and Machine Intelligence, 20, 6, pp. 590–

報科学研究科博士前期課程修了．(株) デン
ソー勤務を経て，現在，奈良先端科学技術
大学院大学情報科学研究科博士後期課程に603 (1998).

橋本 正一, 斎藤 英雄：“PSF のパラメータ分布を推定す
るシフトバリアントなぼけ画像の復元法”, 信学論, J77D-II, pp. 719–728 (1994).
[12] D. Kundur and D. Hatzinakos: “Blind Image Deconvolution”, IEEE Signal Processing Magazine, pp. 43–
64 (1996).

[11]

[13]

E. H. B. Smith: “Scanner Parameter Estimation Using Bilevel Scans of Star Charts”, Proc. of 6th Int.
Conf. on Document Analysis and Recognition (ICDAR 2001), pp. 1164–1168 (2001).

[14]

N. Asada and M. Baba: “A Thin Lens Based Camera Model for Depth Estimation from Defocus andTranslation by Zooming”, Proc. of 15th Int. Conf. on
Vision Interface, pp. 274–281 (2002).

[15]

Analysis and Machine Intelligence, 27, 3, pp. 406–
417 (2005).
S. C. Park, M. K. Park and M. G. Kang: “SuperResolution Image Reconstruction:

A Technical

Overview”, IEEE Signal Processing Magazine, 20, 3,
pp. 21–36 (2003).
[17]

I. Begin and F. P. Ferrie: “Blind Super-Resolution
Using a Learning-Based Approach”, Proc. of 17th
IAPR Int. Conf. on Pattern Recognition (ICPR2004),
pp. 85–89 (2004).

[18]

C. Kolb, D. Mitchell and P. Hanrahan: “A Realistic Camera Model for Computer Graphics”, Proc. of
SIGGRAPH ’95, pp. 317–324 (1995).

[19]

神原 誠之

（正員）

2002 年奈良先端科学技術大学院大学博士後期課程修了．同年同大情報科学研究科助手，現在に至る．コンピュータビジョ

ン，複合現実感の研究に従事．博士 (工学)．
1999 年電子情報通信学会学術奨励賞受賞．
日本バーチャルリアリティ学会，情報処理学会，IEEE 各会員．FIT2005 論文賞受賞．

P. Favaro and S. Soatto: “A Geometric Approachto Shape from Defocus”, IEEE Trans. on Pattern[16]

在学中．コンピュータビジョン，コンピュー
タグラフィックス，拡張現実感に関する研究に従事．IEEE 会
員．FIT2005 論文賞受賞．

横矢 直和（正員：フェロー）1974 年大阪大学基礎工学部情報工学科卒．1979 年同大大学院博士後期課程了．同

年電子技術総合研究所入所．以来，画像処
理ソフトウェア，画像データベース，コン
ピュータビジョンの研究に従事．1986〜87
年マッギル大・知能機械研究センター客員
教授．1992 年奈良先端科学技術大学院大学・情報科学センター
教授．現在，同大情報科学研究科教授．1990 年情報処理学会
論文賞受賞．2005 年情報処理学会フェロー，電子情報通信学会フェロー．工博. 日本バーチャルリアリティ学会，情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，
IEEE，ACM SIGGRAPH 各会員．FIT2005 論文賞受賞．

N. Asada and M. Baba: “A Uniﬁed Camera Modelof Zoom, Focus and Iris Parameters for Camera-

11

Abstract In augmented reality, photometric registration is as important as geometric registration to
decrease seams between real and virtual worlds. Especially, the diﬀerence in image quality between a real
image and virtual objects decreases the seamlessness for users. This paper proposes an image composition
method which can represent blur eﬀects caused by a camera on virtual objects. The proposed method
estimates blur eﬀects, which consist of defocusing blur and motion blur, in a captured image of markers.
The diﬀerence in image quality between the real image and virtual objects is decreased by representing
blur eﬀects on virtual objects. In experiments, the eﬀectiveness of the proposed method is conﬁrmed bycomparing a real image with virtual objects generated by our method.
Key words augmented reality, photometric registration, defocus blur, motion blur, image composition