基礎論文

平面上の拡張現実感マーカ除去におけるハイライトの再現
中村 勇貴 *1

河合 紀彦 *1

佐藤 智和 *1

横矢 直和 *1

Reproduction of Highlights for Hiding an Augmented Reality Marker on a Plane
Yuki Nakamura*1 , Norihiko Kawai*1 , Tomokazu Sato*1 , and Naokazu Yokoya*1
Abstract– In augmented reality (AR) applications, a marker is often used for its
robustness for camera pose estimation and its easiness for placing virtual objects on user’s
desired positions. However, AR markers in video may prevent from seamlessly fusing realenvironments and virtual objects. Therefore, plausibly hiding AR markers is desired in
AR applications. As technology that can be applied to marker hiding, diminished reality(DR) has been investigated to visually remove real objects from video in real-time by
generating plausible background images on them. However, conventional DR methods
cannot correctly reproduce background images with highlights on a specular surface.
This paper proposes a method that plausibly removes AR markers on a specular surface
by estimating an illumination environment from images and reproducing highlights on
a background image according to camera poses. Experiments show the eﬀectiveness ofthe proposed method by placing an AR marker on various environments and comparing
results obtained by the proposed and conventional methods.

Keywords : Marker hiding, Diminished Reality, Augmented Reality, Highlight, Specular reflection, Light source map

1

はじめに

撮影した映像中に仮想物体を重畳する拡張現実感(Augmented Reality:AR) が近年注目されている．拡張現実感のアプリケーションでは，実シーンと仮想物
体の幾何学的な位置合わせが重要であり，それを実現するための撮影画像を用いたカメラ位置姿勢推定手法
として，拡張現実感マーカ (以下，AR マーカ) を用いる手法 [1, 2] や画像中の特徴点や輝度値を用いるマー
カレスの手法 [3, 4, 5, 6] が提案されている．近年では後者の手法が盛んに研究されているが，カメラの位置
姿勢の推定精度が環境に大きく依存する．このため，実用的なアプリケーションにおいては，環境のテクス
チャに関わらずカメラの位置姿勢を頑健に推定でき，
また仮想物体をユーザの希望位置に容易に配置できる
前者の手法が広く用いられている．

AR マーカを用いた拡張現実感の具体的な応用例として，AR マーカを配置した室内を撮影し，映像中に仮想的な家具を重畳することで，家具を購入する前に家具と部屋との親和性を確認することができる家具配
置シミュレーションなどが挙げられる．しかし，従来実用化されている家具配置システムでは映像中に映り込む AR マーカによって，仮想家具と部屋との親和性を確認しづらくなる場合がある．このため，AR マー
カを違和感なく映像中から取り除くことが望まれて*1 奈良先端科学技術大学院大学*1 Nara Institute of Science and Technology

いる．
このような AR マーカの除去にも応用できる技術として，様々な実物体を映像中からリアルタイムに除去する隠消現実感 (Diminished Reality:DR) に関する研究が行われおり，その手法は，想定するアプリケーショ
ンに応じて，(a) リアルタイムの複数カメラ画像を補完的に用いる手法 [7, 8, 9, 10, 11]，(b) 毎フレームの画像修復適用により背景画像を生成する手法 [12, 13, 14]，(c) 事前に観測または生成した背景画像を毎フレーム調整し合成する手法 [15, 16, 17, 18, 19, 20, 21, 22, 23]の 3 種類に分類できる．本研究での除去対象は通常何かの上に設置される AR マーカであるため，AR マー
カの背景を原理的に撮影できない手法 (a) は適さない．
このため以下では，AR マーカ除去に適用可能な後の2 手法 (b)，(c) に注目し，従来手法および提案手法について述べる．
ここで，隠消現実感に関する研究において取り組む
べき課題として，合成する背景画像とその周辺のテク
スチャの位置ずれに関する幾何学的整合性，および輝度や画質のずれに関する光学的整合性を高める必要があるが，本研究では特に光学的整合性に着目する．光
学的整合性の解決においては，大局的な輝度変化と局所的な輝度変化で対応が分かれる．ここで，大局的な輝度変化とは，環境全体の照度や色合いの変化，ホワ
イトバランス等のカメラの光学的パラメータの変化によって，画像全体の輝度が変化することを意味し，局日本バーチャルリアリティ学会論文誌 Vol.21, No.4, 2016

所的な輝度変化とは，局所的な強い光の照射，遮蔽物によるキャストシャドウ，鏡面反射による光源の映り込み（ハイライト）等によって，画像の一部分だけ大きく輝度が変化することを意味する．
毎フレームの画像修復適用により背景画像を生成する手法 (b)[12, 13, 14] では，フレーム毎に対象領域
周辺のテクスチャを事例として対象領域にテクスチャを合成するが，照明環境の変化に応じて周辺のテクス
チャの輝度が変化した場合にも，そのテクスチャを用いて背景画像が合成されるため，大局的な輝度変化を反映できる．しかし，これらの手法が用いる画像修復[24, 25] は，原理的に同一画像中に存在しないテクス
チャを対象領域内に再現することはできない．従って，局所的な輝度変化として，対象領域内に鏡面反射によるハイライトが生じる場合において，他の領域にハイライトが存在しない場合には，これを対象領域内に再現できないという問題がある．
一方，事前に観測または生成した背景画像を毎フレーム調整し合成する手法 (c) のうち，手法 [18, 19,

20, 21, 22, 23] では，背景画像の取得・生成時から大局的な輝度変化が生じた場合には，除去対象物体周辺の輝度変化に合わせて背景画像の輝度調整を行うこと
で，対象領域とその周辺領域間の光学的な不整合を解消している．一方，局所的な輝度変化への対応に関しては，唯一手法 [18] のみが取り扱っており，この手法では対象領域周辺にキャストシャドウが生じた場合，それを直線的に結ぶことによってキャストシャドウを
対象領域内に再現している．
本研究では，局所的な輝度変化の中でも，これまで
隠消現実感分野において取り組まれてこなかった，鏡面反射によるハイライトに着目した AR マーカの除去手法を提案する．本研究では事前処理において撮影
画像のみからシーンの照明環境を推定し，これを毎フレームの背景画像の輝度調整に反映させることで，鏡面反射が生じるシーンにおいてもハイライトを再現し，違和感なく AR マーカを除去する手法を提案する．ただし，本研究では，一般的な室内での AR を想定し，対象の AR マーカは平面上に設置され，光源は天井な
どの AR マーカが存在する平面と平行な平面上に存在すると仮定する．また，AR アプリケーションの実行
中に照明環境およびマーカ位置は変化しないものと仮定する．
以下，2 節で本研究に関連する画像からの照明環境推定に関する研究について概観し，3 節で提案手法について述べる．4 節で実験およびその考察について述
べ，最後に 5 節でまとめと今後の課題について述べる．

2

画像からの照明環境推定に関する関連研究

拡張現実感における仮想物体のシェーディングなどを目的として，リアルタイムまたは短時間で照明環境を推定する手法が研究されており，それらは無限遠光源を仮定する手法と近接光源を仮定する手法に分類できる．
無限遠光源を推定する手法として，ユーザのカメラとは別の魚眼カメラを用いる手法 [26]，ユーザのカメラにより鏡面球を撮影する手法 [27] が提案されている．これらの手法では，リアルタイムの照明変化に対応できる一方，AR マーカとユーザカメラ以外の道具が必要となる．Jachnik ら [28] は，撮影画像から鏡面反射成分を推定し，それを半球面上に登録することで，照明環境マップを生成している．この手法では，リア
ルタイムでの照明変化には対応できないが，他の道具を必要としない．これらの手法により推定した光源環
境をハイライトの再現に用いた場合，無限遠光源仮定
が成り立たない室内環境においては，実際のハイライ
トと再現したハイライトの間で位置ずれが生じるという問題がある．
後者の近接光源を仮定する手法として，2 つの鏡面
球や中空透明球を用いる手法 [29, 30] が提案されている．これらの手法では光源の三次元位置を推定できるため，室内におけるハイライトの再現には有効である
が，ユーザカメラ以外の道具を用意する必要がある．
一方，間下ら [31] は，Jachnik ら [28] と同様に他の道具は何も用いずに，照明の方向と距離を含む照明環境を推定している．この研究では，複数の点光源の方向
および距離の推定を実現しているが，照明環境マップの作成を目指しているわけではなく，照明が点光源でない場合には，ハイライトの形状が正しく再現されないという問題がある．
本研究では，文献 [28] と同様に，AR マーカとユー
ザカメラ以外の道具は用いず，照明環境マップを生成することを目指すが，本研究の想定する室内環境において高品位なハイライトの再現を実現するために，提案手法では観測されるハイライトを用いて平面状の照明環境マップを設定するための天井の高さを推定し，また文献 [28] の方法によりマーカ以外の領域の鏡面反射から点光源を仮定しない密な照明環境マップを生成した上で，これを用いることで，位置ずれを抑えたハ
イライトの再現を実現する．

3

ハイライトを考慮した AR マーカの除去

本研究では，AR マーカとユーザカメラ以外の道具を使用しないことを前提に，Jachnik らの手法 [28] に倣い，画像により取得した画素値は鏡面反射光と拡散
反射光のみで構成されるという仮定のもと，入力画像

中村・河合・佐藤・横矢 : 平面上の拡張現実感マーカ除去におけるハイライトの再現;Ϳ↷᫂⎔ቃ䝬䝑䝥⏕ᡂ
;ͲϭͿ ᣑᩓ཯ᑕᡂศ⏬ീ⏕ᡂ
;ͲϮͿ
⏬ീಟ᚟
;⫼ᬒ⏬ീ
⏕ᡂͿ

;ͲϯͿ↷᫂఩⨨䛾㧗䛥᥎ᐃ;ͲϰͿ↷᫂⎔ቃ䝬䝑䝥䜈䛾Ⓩ㘓

;Ϳẖ䝣䝺䞊䝮䛾䝬䞊䜹㝖ཤ㻝䝣䝺䞊䝮┠

㻞䝣䝺䞊䝮┠

㻟䝣䝺䞊䝮┠;ͲϭͿ⏬ീධຊ䞉䜹䝯䝷఩⨨ጼໃ᥎ᐃ䞉ṇᑐ໬;ͲϮͿ↷᫂⎔ቃ䝬䝑䝥䛛䜙䛾㙾㠃཯ᑕᡂศ⏬ീ䛾ྲྀᚓ㻺䝣䝺䞊䝮┠
䞉䞉䞉

ᑕᙳኚ᥮

ᑕᙳኚ᥮

ᑕᙳኚ᥮

ᑕᙳኚ᥮

;ͲϯͿ⫼ᬒ⏬ീ䛾኱ᒁⓗ
㍤ᗘ⿵ṇ
䞉䞉䞉

;ͲϰͿ⫼ᬒ⏬ീ䜈䛾䝝䜲䝷䜲䝖䛾㏣ຍ
;ͲϱͿ䜰䝹䝣䜯䝤䝺䞁䝕䜱䞁䜾ྛ⏬⣲䛾⏬⣲್䛾୰ኸ್䛾⟬ฟ;ͲϲͿᑕᙳኚ᥮䞉⏬ീᥦ♧

図 1 提案手法の処理の流れ
図2

拡散反射成分画像の生成

図3

鏡面反射成分画像の生成

を拡散反射成分画像および鏡面反射成分画像に分解することで照明環境マップを生成し，それに基づきハイライトの再現を行う．
図 1 に提案手法の処理の流れを示す．本研究では，
まず照明環境マップの生成 (A) を行い，その後，毎フレーム鏡面反射によるハイライトを再現した AR マー
カの除去 (B) を行う．なお，提案手法は，AR マーカを設置する前に背景画像を撮影・取得する場合と，画像修復を適用することで背景画像を生成する場合のどちらに対しても適用できる枠組みではあるが，以下で3.1.2 ハイライトを用いた照明位置の高さ推定

は，画像修復を適用する場合における処理を想定し，鏡面反射成分画像は，図 3 に示すように，各フレー

提案手法を説明する．以下，各処理について詳述する．

ムの正対画像の各画素値から拡散反射成分画像の各画

3.1

照明環境マップの生成

素値を引き，正の値の場合はその値，負の値の場合はして画像修復を適用し背景画像を生成する (A-2) とと0 とすることで生成する．ここで，鏡面反射成分画像におけるハイライト領域はそれ以外の領域と比較して一般的に画素値が大きくなるため，本研究では，鏡面もに，拡散反射成分画像と入力画像との差分により鏡反射成分画像の各画素値がそれぞれある一定の閾値以面反射成分画像を取得する．次に，ハイライトの領域

上の領域をハイライト領域とし，異なる 2 カ所のカメを検出しその重心位置から照明の高さを推定する (A-ラ位置で撮影された画像中のハイライト領域の重心位

3)．最後に，推定した高さに平面状の照明環境マップ(最大輝度値 255 の 2 次元 RGB 画像) を設定し，鏡面置をそれぞれ算出し，三角測量によって照明環境マッ

反射成分画像から抽出した光源情報を照明環境マップ

ここではユーザがカメラを動かしながハイライトをへ登録する．以下，それぞれの処理について詳述する．

含む画像 2 枚を手動で選択するが，ユーザが 1 枚目を

照明環境マップの生成 (A) では，まず入力画像群から拡散反射成分画像を生成 (A-1) する．その画像に対プを設定する高さ zs を推定する．

3.1.1 拡散反射成分画像の生成

選択しハイライトの重心を計算した後，2 枚目の画像

処理 (A-1) では，まず図 2 に示すように，異なる複を選択するまでの間，毎フレームハイライトの重心位数地点から AR マーカを含むシーンを撮影し，各画像置を追跡することで，1 枚目と 2 枚目の画像中のハイからマーカの 4 隅を検出し，それらが画像上で同一のライトの重心位置を対応付ける．ここでは，フレーム

正方形になるように射影変換することで，各撮影画像

間でハイライトの位置は大きく移動しないという仮定

をマーカを正面から見た画像 (正対画像) に変換する．

のもと，フレーム間のハイライトの重心位置が一定距

次に，射影変換した全ての画像における同一座標の画離以内の場合，同一照明によるハイライトの重心位置

素値の中央値を算出することで得られる画像を拡散反として追跡する．なお，1 枚目の画像選択時に，ハイ射成分画像とみなす．

ライトが画像中に複数ある場合には，ユーザが高さ zsの推定に用いるハイライトを指定する．また，高さ zsを精度よく推定するための 2 枚の画像の選択基準とし

日本バーチャルリアリティ学会論文誌 Vol.21, No.4, 2016

3 次元位置 (xm , ym , 0) に対応付けられる照明環境マッ
プ中の画素の 3 次元位置 (a, b, zs ) は，当該フレームのග※఩⨨ pAR マーカから推定されるカメラ位置 (xc , yc , zc ) を用
いて距離の比から以下のように求められる．

䜹䝯䝷఩⨨
䜹䝯䝷఩⨨

C1

C2

zs (xm − xc )+ xmzczs (ym − yc )
b=
+ ym
zc

a=

㔜ᚰ఩⨨ G 2

G1 㔜ᚰ఩⨨(1)(2)

この関係から，各鏡面反射成分画像の画素と照明環境
ϭϵ

p′
ϭϵ

マップの画素の対応関係が得られる．
なお，照明環境マップの範囲は，上記の式で求まる
天井の 3 次元位置が照明環境マップ外にならないよう，
照明環境マップの 1 画素の実際の大きさは，照明環境

図4

光源位置の高さ推定

マップ上の 1 画素がカメラ画像上でおおよそ 1 画素の大きさで観測されるよう，アプリケーションにおいてて，以下の 2 点を考慮する必要がある．

(a) 視差を大きくするため，2 視点のカメラ間の距離を長くする．
(b) ハイライトの重心位置を正しく求めるため，ハイライト領域をマーカと重ねず，かつ正対画像中にハイライト全体を収める．
次に，各カメラ位置から観測されるハイライトの重心位置が三次元空間中の特定の点光源位置 p に対応している (点光源 p の反射位置である) ことを仮定し，点p の三次元位置を推定する．図 4 に示すように，具体的にはまず，点 p について，マーカが存在する平面に対して面対象となる点 p′ を考え，点 p′ および AR マー
カから推定されるカメラ位置 C1 ，C2 で構成される三角形の辺がハイライトの重心位置に対応する三次元位
置 G1 ，G2 を通過することを利用して，直線 C1 G1 とC2 G2 の交点として点 p′ の三次元位置を算出する．次に，マーカ平面について点 p′ の面対称となる点 p の三次元座標を求め，この高さ zs を求める．
ここで，上述した仮定からの乖離やハイライトの重心位置の検出誤差によって，2 本の直線は一般に三次元空間中で交わらない．そこで，本研究では，2 本の光路を最短で結ぶ線分の中点を取る方法（中点法）により，三次元座標 p′ および p を算出し，zs の算出に用いる．

3.1.3 照明環境マップへの登録前処理で求めた高さ zs に 2 次元 RGB 画像平面である照明環境マップを設置し，鏡面反射成分画像上の各画素位置と照明環境マップの画素位置を毎フレーム
対応付け，複数フレームにおける鏡面反射成分画像中のマーカ領域以外の領域の画素値の平均値を照明環境
マップの画素値として登録する．
マーカ座標系における鏡面反射成分画像中の画素の想定するカメラの移動範囲および天井の高さから決定することで，適切な解像度のハイライトを再現する．

3.2

毎フレームのマーカ除去

毎フレームのマーカ除去処理 (B) においては，現在のフレーム画像を取得し，AR マーカを用いたカメラの位置姿勢推定，および入力画像の正対化の (B-1) 後，
照明環境マップから鏡面反射成分画像を取得し (B-2)，
画像修復によって得られた背景画像に対して大局的な輝度補正 (B-3) およびハイライト成分の追加 (B-4) を行う．その背景画像を AR マーカ領域にアルファブレ
ンディングにより合成し (B-5)，元の見え方に射影変換する (B-6) ことで，ハイライトを再現したマーカ除去を実現する．
具体的には，処理 (B-2) では，照明環境マップへの登録時と同様に，マーカ座標系におけるカメラ位置，
照明環境マップの画素位置，正対画像の画素位置の関係を用いて，照明環境マップから鏡面反射成分画像を生成し，画素値が閾値以上の領域をハイライト領域として設定する．次に，処理 (B-3) で，マーカ周辺の輝度の変化から背景画像の大局的な輝度補正を行う．ここでは，背景画像から現フレームへの大局的な輝度変化は，画像中のマーカ領域外においてハイライトが存在しない領域で観測されるとの考えから，図 5 に示
すように，背景画像および現フレームの正対画像内のマーカおよびその周辺領域に矩形を設定し，(i) 撮影
画像の範囲外のため画素値が存在しない画素を含む矩形，(ii) ハイライトを含む矩形，(iii) 外枠の矩形以外の内側の矩形，の 3 領域の集合を大局的輝度変化が観測できない未知領域，それ以外の矩形を大局的輝度変化が観測できる既知領域とし，既知領域における輝度変化率をまず算出し，次に未知領域の輝度変化率を推定する．まず，既知領域の i 番目の矩形 Ai の大局的輝度変化率 αi を以下のように算出する．

中村・河合・佐藤・横矢 : 平面上の拡張現実感マーカ除去におけるハイライトの再現;ĂͿ⎔ቃϭ;ďͿ⎔ቃϮ;ĐͿ⎔ቃϯ;ĚͿ⎔ቃϰ

図6

図5

大局的輝度変化率の算出∑
I(xk )
αi = ∑ k∈Ai
k∈Ai B(xk )ら大局的輝度変化の増加分を引く際，引いた値が 0 よ
り小さくなる場合は 0 とする．
次に，処理 (B-5) で，輝度補正した背景画像を現フ(3)

ただし，I(xk )，B(xk ) はそれぞれ，現フレームの正対画像，背景画像の画素 xk の画素値である．次に，未知領域の各矩形の大局的変化率を上記の式で求めた既知領域の大局的輝度変化率を用いて補間する．具体的には，隣接する矩形の輝度変化率が類似するよう，以下のエネルギー E が最小となる各未知領域の大局的レームの正対画像に合成するが，ここでは設定した矩形領域の外側から一定範囲ではアルファブレンディン
グを行う．これにより，合成の境界領域における違和感を低減する．最後に，処理 (B-6) で，輝度補正した背景画像を射影変換により元の見え方に戻しユーザに提示することで，ハイライトを再現したマーカ除去を実現する．

変化率を算出する．

E=4∑(αi − αj )2

実験環境

(4)

(i,j)∈R

実験

提案手法の有効性を示すために，図 6 に示す 4 環境
で AR マーカの除去実験を行った．各環境はそれぞれ

ただし，R は隣り合う矩形のインデックスのペアの集

以下のような特徴を持つ．

合である．エネルギー E は各未知領域の大局的変化

・環境 1：灰色一色で模様のない平面・細長い蛍光灯率で偏微分し，連立方程式を解くことで一意に大局解・環境 2：表面に模様のある平面・電球が求まる．最後に，求まった各矩形の大局的変化率を

・環境 3：表面に細かい凹凸があり光沢が強い平面・

その矩形の中心画素の大局的変化率とし，バイリニア

電球

補間により残りの画素の大局的変化率を算出する．こ・環境 4：鏡面反射の生じづらい平面・細長い蛍光灯

れを RGB 値独立に行い，各画素で求まった大局的変実験では，Web カメラ (Logicool HD Webcam C270，

化率を背景画像の各画素値に掛けることで大局的な輝解像度 640×480 画素，露出・ゲイン・ホワイトバランス

度補正を行う．

固定)，サイズが 80mm×80mm のマーカを用い，計算次に，処理 (B-4) で，照明環境マップから取得した機としてデスクトップ PC(Windows 10，CPU: Intel

鏡面反射成分画像を用いてハイライトを追加する．ここで，全体的な明るさが変化している場合に，事前処Core i7 3.47GHz，メモリ: 12GB)，開発環境として
Visual Studio 2013，開発言語として C++を用いた．

理で得られたハイライトの強度をそのまま用いると，また，カメラのキャリブレーションおよび位置姿勢推最終的な出力画像の明るさに不整合が生じる場合があ定には ARToolkit[1]，画像修復には文献 [25] の手法，る．そこで，本研究では，鏡面反射成分画像から大局

画像の入出力，射影変換には OpenCV，処理 (B-3) に的輝度変化により増加した画素値の平均を引いたうえ

おける式 (4) の最適化には，疎行列で表される連立方

で，大局的な輝度補正を行った背景画像にこれを足し

程式を比較的高速に解くことができる，行列計算のたこむことで，ハイライトを再現した背景画像を生成すめのライブラリ Eigen[32] の SimplicialLDLT クラス

る．ただし，この処理において，鏡面反射成分画像かを用いた．また，室内環境を想定した予備実験を行い，

日本バーチャルリアリティ学会論文誌 Vol.21, No.4, 2016

⎔ቃ

㻔㼍㻕

ϭ

㻔㼎㻕
⎔ቃ
Ϯ

㻔㼏㻕
⎔ቃ

図8

ϯ

4.2

環境 1 に対する結果提案手法と従来手法の比較⎔ቃ

提案手法の有効性を示すため，前項の背景画像，照明環境マップを用いた提案手法によるマーカの除去処ϰ理の結果と従来手法 [18] の結果を比較する．従来手
ᣑᩓ཯ᑕ
ᡂศ⏬ീ

図7

⏬ീಟ᚟⤖ᯝ
;⫼ᬒ⏬ീͿ

↷᫂⎔ቃ䝬䝑䝥

背景画像生成結果と照明環境マップ

法 [18] は，大局的な輝度補正およびキャストシャドウに対応した局所的な輝度補正を行うが，本実験の撮影シーンではキャストシャドウが生じなかったため，大局的な輝度補正のみが行われている．図 8 から 12 に，各環境におけるマーカの除去結果を示す．各図 (a) は

画質及び処理速度を考慮した結果，実験におけるパラ

入力画像，(b) は従来手法 [18] による結果，(c) は提案

メータを経験的に表 1 に示すように決定した．

手法による結果である．以下，それぞれの環境での結4.1

背景画像と照明環境マップの生成結果

果について順に考察する．

図 7 に各環境における画像修復による背景画像生成

灰色一色の平面を持つ環境 1 に対する実験におい

結果と照明環境マップを示す．いずれの環境においてて，従来手法の結果（図 8(b)）では，ハイライトがも鏡面反射が取り除かれた拡散反射成分画像を画像修

マーカに一部かかる場合においても，マーカ内にハイ復の対象とすることで，違和感のない背景画像が生成

ライトが再現されず，またハイライトが近傍に存在すされている．照明環境マップに関しては，環境 1 からるときにはマーカ領域の背景画像が全体的に明るくな

3 ではそれぞれの照明環境に応じたマップが生成されているが，環境 4 では照明が確認できない．これは，り，マーカが不自然に除去されていることが確認でき

対象の平面で鏡面反射がほとんど生じず，鏡面反射成

大局的輝度変化率の算出においてハイライトの領域を分画像において画素値が閾値以上のハイライト領域が使用しないため，ハイライトがマーカの付近にあって存在しなかったことにより，照明環境マップに輝度値も全体的に明るくなっていない．また，ハイライトがを登録できなかったためである．

マーカ内に入った場合において，ハイライトが正しい

る．これに対して，提案手法の結果（図 8(c)）では，位置に再現されており，マーカを違和感なく除去でき
表1

実験におけるパラメータṇᑐ⏬ീ䛾ゎീᗘϱϬϭ㽢ϱϬϭ⏬⣲ṇᑐ⏬ീୖ䛻䛚䛡䜛䝬䞊䜹䛾䝃䜲䝈

ϭϬϭ㽢ϭϬϭ⏬⣲↷᫂⎔ቃ䝬䝑䝥䛾ゎീᗘϭϬϬϭ㽢ϭϬϬϭ⏬⣲ている．
また，環境 1 において，提案手法による結果画像を取得した後，カメラを固定したままマーカを物理的に取り除くことで実際の背景（真値）を取得し，提案手法による結果と真値の比較を行った．図 9 に，入力画↷᫂⎔ቃ䝬䝑䝥䛾ϭ⏬⣲䛾኱䛝䛥 ϭϬŵŵ㽢ϭϬŵŵ

像および，入力画像（図 (a)）中の枠の領域に対応す䝝䜲䝷䜲䝖䛾㜈್る，実際の背景，提案手法による結果，およびそれら

ϭϱ;᭱኱㍤ᗘ್ϮϱϱͿ䜰䝹䝣䜯䝤䝺䞁䝕䜱䞁䜾䛾ቃ⏺ᖜ ϱϬ⏬⣲の差分画像の拡大図を示す．図 (d) に示す差分画像の下部の中ほどに大きな差が見られるが，これは実際の背景には部分的に汚れが存在するのに対し，画像修復

中村・河合・佐藤・横矢 : 平面上の拡張現実感マーカ除去におけるハイライトの再現

㻔㼍㻕

㻔㼎㻕

㻔㼏㻕

図9

環境 1 における提案手法の結果と実際の背景（真値）との比較

図 11 環境 3 に対する結果

㻔㼍㻕
㻔㼍㻕

㻔㼎㻕
㻔㼎㻕

㻔㼏㻕
㻔㼏㻕

図 12 環境 4 に対する結果

図 10 環境 2 に対する結果

ではこのような汚れは復元されなかったことに起因する．また，ハイライトが再現された領域全体に差が見られ，最大で輝度値 24 の差を確認した．提案手法では，画像は拡散反射成分と鏡面反射成分で構成されるという仮定に基づき輝度値を再現しているが，実際にはそのような単純なモデルで画像は構成されていない
ため，このような輝度の誤差が発生したと考える．ただし，AR アプリケーションにおいてマーカを視覚的に違和感なく除去したいという目的に対しては，必ずしも真の背景を復元する必要はないという点で，これらの誤差は許容されるものと考える．
表面に模様のある平面を持つ環境 2 に対する実験において，従来手法の結果（図 10(b)）では，環境 1 の場合と同様に，ハイライトがマーカ内に再現されていないことが確認できる．これに対して，提案手法の結果（図 10(c)）では，ハイライトが違和感なく再現されており，また，マーカ領域内のテクスチャも確認できる．
表面に細かい凹凸があり光沢が強い平面を持つ環境

3 に対する実験においては，図 11 から，提案手法を用いることで，複数のハイライトを正しくマーカ領域内に再現できることがわかる．しかし，同一画像内で実際に観測されている鏡面反射と，マーカ内に再現された鏡面反射を比較すると，再現されたハイライトにぼけが生じている．これは，環境 3 において，照明環境
マップのある画素に対応する各フレーム上の画素が凹凸により様々な方向の法線を持つことで見かけ上の反射率がばらつき，提案手法によってこれらの観測輝度
値が平均化されることでぼけたようなハイライトが照明環境マップに登録されることが要因であると考える．
鏡面反射が生じづらい平面を持つ環境 4 においては，
照明環境マップが登録されなかったため，従来手法と提案手法の結果（図 12(b)，(c)）に差はなく，双方と日本バーチャルリアリティ学会論文誌 Vol.21, No.4, 2016

も違和感のない同等の結果が得られた．
また，各環境に共通して，推定したカメラ位置姿勢の誤差により，連続したフレームで見た場合には，再現したハイライト位置にジッタが生じることも確認した．今後これを解決するためには，マーカ以外の周辺の特徴点等の情報を用いたカメラの位置姿勢推定の高精度化や，リアルタイムで観測されるマーカ周辺のハ
イライトの位置を利用した，マーカ領域に再現するハ
イライトの位置の補正方法を検討する必要がある．
各環境における提案手法及び従来手法の処理速度を
表 2 に，環境 1 での毎フレームのマーカ除去処理 (B)における各処理の処理時間を表 3 に示す．これらの結果より，提案手法においても AR アプリケーションで必要な処理速度を達成できていることがわかる．また，
表 3 からわかるように，提案手法と従来手法の速度の違いは，処理 (B-2)，(B-4) の有無である．なお，従来手法においても文献 [18] に記載されている速度を大き

図 13 環境 1 に新たな光源を追加した場合の結果

く上回っているが，これはライブラリ Eigen の使用の5有無による差である．

4.3

照明環境マップ登録時とは異なる光源が存在する場合の結果おわりに

本論文では，画像のみから照明環境マップを生成し，それを AR マーカ上に合成する背景画像の輝度調整に

環境 1 に照明環境マップ登録時には存在しなかった

利用することで，ハイライトを再現した AR マーカの色の異なる照明を追加し，撮影シーンの色合いが大局除去を実現する手法を提案した．実験では，様々な環的に変化した場合の影響を検証した．図 13 に入力画境において従来手法と結果を比較することで提案手法

像および提案手法による結果を示す．図より，大局的の有効性を示した．今後の課題として，フレーム間に輝度変化を考慮することによって，マーカ内のハイラ

おけるハイライト位置のジッタを抑制する手法，およイト以外の領域では色合いが補正されていることがわ

び動的な照明環境の変化に対応する手法を検討する必かる．しかし，ハイライト領域では，マーカ外のハイ要がある．また本研究では，光源が複数の場合においライト領域の色と少し異なっていることがわかる．こてもこれらが同一平面上に存在するという仮定をおき，れは，ハイライト領域に関しては照明環境マップ登録

ユーザが手動で 2 枚の画像を選択することで光源の高時の色がそのまま反映され，その後の照明環境の変化さを推定したが，今後は多視点の画像を自動的に選択には対応できないためである．従って，この問題を解し，それぞれ高さの異なる複数光源位置を推定するこ決するためには，リアルタイムにハイライトの色を補とで，より複雑な光源環境に対応する AR マーカの除正する枠組みを検討する必要がある．

去手法も検討する．

表2

謝辞

処理速度（fps）

環境 1

環境 2

環境 3

環境 4

提案手法

32.1

32.5

32.4

34.5

従来手法 [18]

47.4

46.5

46.3

46.8

表3

提案手法の処理 (B) における各処理の速度（ms）

処理 (B-)

1

2

3

4

5

6

提案手法

10

7

3

3

2

4

従来手法 [18]

10

-

3

-

2

4

本研究の一部は，科学研究費補助金 (No.15K16039)の支援による．

参考文献[1] H. Kato and M. Billinghurst, “Marker tracking
and hmd calibration for a video-based augmented
reality conferencing system,” Proc. Int. Workshop
on Augmented Reality, pp.85–94, 1999.
[2] M. Fiala, “ARTag, a fiducial marker system using digital techniques,” Proc. IEEE Conf. on
Computer Vision and Pattern Recognition, vol.2,
pp.590–596, 2005.
[3] G. Klein and D. Murray, “Parallel tracking andmapping for small AR workspaces,” Proc. Int.

中村・河合・佐藤・横矢 : 平面上の拡張現実感マーカ除去におけるハイライトの再現

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

Symp. on Mixed and Augmented Reality, pp.225–
234, 2007.
R.A. Newcombe，S.J. Lovegrove, and A.J. Davison, “DTAM: Dense tracking and mapping in realtime,” Proc. IEEE Int. Conf. on Computer Vision,
pp.2320–2327, 2011.
J. Engel，T. Schöps, and D. Cremers, “LSDSLAM: Large-scale direct monocular SLAM,”
Proc. European Conf. on Computer Vision,
pp.834–849, 2014.
T. Taketomi, T. Sato, and N. Yokoya, “Realtime and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality,” Computers and Graphics, vol.35,
no.4, pp.768–777, 2014.
S. Zokai，J. Esteve，Y. Genc, and N. Navab, “Multiview paraperspective projection model for diminished reality,” Proc. Int. Symp. on Mixed and Augmented Reality, pp.217–226, 2003.
T. Tsuda, H. Yamamoto, Y. Kameda, and Y.
Ohta, “Visualization methods for outdoor seethrough vision,” IEICE Trans. on Information and
Systems, vol.E89-D, no.6, pp.1781–1789, 2006.
A. Enomoto and H. Saito, “Diminished reality using multiple handheld cameras,” Proc. ACCV’07
Workshop on Multi-dimensional and Multi-view
Image Processing, pp.130–135, 2007.
P. Barnum，Y. Sheikh，A. Datta, and T. Kanade,“Dynamic seethroughs: Synthesizing hidden viewsof moving objects,” Proc. Int. Symp. Mixed andAugmented Reality, pp.111–114, 2009.
S. Jarusirisawad, T. Hosokawa, and H. Saito, “Diminished reality using plane-sweep algorithm withweakly-calibrated cameras,” Progress in Informatics, no.7, pp.11–20, 2010.
S. Siltanen, “Texture generation over the marker
area,” Proc. Int. Symp. on Mixed and Augmented
Reality, pp.253–254, 2006.
J. Herling and W. Broll, “Advanced self-contained
object removal for realizing real-time diminishedreality in unconstrained environments,” Proc. Int.
Symp. on Mixed and Augmented Reality, pp.207–
212, 2010.
J. Herling and W. Broll, “High-quality real-timevideo inpainting with pixmix,” IEEE Trans. Visualization and Computer Graphics, vol.20, no.6,
pp.866–879, 2014.
V. Lepetit and M.-O. Berger, “An intuitive tool foroutlining objects in video sequences: Applications
to augmented and diminished reality,” Proc. Int.
Symp. on Mixed and Augmented Reality, pp.159–
160, 2001.
F.I. Cosco，C. Garre，F. Bruno，M. Muzzupappa,
and M.A. Otaduy, “Augmented touch without visual obtrusion,” Proc. Int. Symp. on Mixed andAugmented Reality, pp.99–102, 2009.
O. Korkalo，M. Aittala, and S. Siltanen, “Lightweight marker hiding for augmented reality,” Proc.
Int. Symp. on Mixed and Augmented Reality,
pp.247–248, 2010.
N. Kawai, M. Yamasaki, T. Sato, and N. Yokoya,“Diminished reality for AR marker hiding basedon image inpainting with reflection of luminancechanges,” ITE Trans. on Media Technology andApplications, vol.1, no.4, pp.343–353, 2013.
Z. Li，Y. Wang，J. Guo，L.-F. Cheong, and S.Z.
Zhou, “Diminished reality using appearance and

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

3D geometry of internet photo collections,” Proc.
Int. Symp. on Mixed and Augmented Reality,
pp.11–19, 2013.
森尚平，小向啓文，柴田史久，木村朝子，田村秀行，“隠消現実感における隠背景平面拘束と周辺参照領域の効果的利用，” 日本バーチャルリアリティ学会論文誌，vol.19，no.2，pp.131–140，2014．
N. Kawai，T. Sato，Y. Nakashima, and N. Yokoya,“AR marker hiding with real-time texture deformation,” Proc. Int. Symp. on Mixed and Augmanted Reality Workshops, pp.26–31, 2015.
S. Mori，F. Shibata，A. Kimura, and H. Tamura,“Eﬃcient use of textured 3D model for preobservation-based diminished reality,” Proc. Int.
Symp. on Mixed and Augmented Reality Workshops, pp.32–39, 2015.
N. Kawai, T. Sato, and N. Yokoya, “Diminished reality based on image inpainting considering background geometry,” IEEE Trans. on Visualization
and Computer Graphics, vol.22, no.3, pp.1236–
1247, 2016.
Y. Wexler, E. Shechtman, and M. Irani, “Spacetime completion of video,” IEEE Trans. on PatternAnalysis and Machine Intelligence, vol.29, no.3,
pp.463–476, 2007.
N. Kawai and N. Yokoya, “Image inpainting considering symmetric patterns,” Proc. Int. Conf. on
Pattern Recognition, pp.2744–2747, 2012.
P. Supan, I. Stuppacher, and M. Haller, “Image based shadowing in real-time augmented reality,” International Journal of Virtual Reality,
vol.5, no.3, pp.1–7, 2006.
M. Kanbara and N. Yokoya, “Real-time estimation of light source environment for photorealistic
augmented reality,” Proc. Int. Conf. on Pattern
Recognition, vol.2, pp.911–914, 2004.
J. Jachnik，R.A. Newcombe, and A.J. Davison,“Real-time surface light-field capture for augmentation of planar specular surfaces,” Proc. Int.
Symp. on Mixed and Augmented Reality, pp.91–
97, 2012.
M.W. Powell, S. Sarkar, and D. Goldgof, “A simple strategy for calibrating the geometry of lightsources,” IEEE Trans. on Pattern Analysis andMachine Intelligence, vol.23, no.9, pp.1022–1027,
2001.
青砥隆仁，佐藤智和，向川康博，武富貴史，横矢直和，“中空透明球を用いた近接点光源の位置推定，” 電子
情報通信学会論文誌，vol.J98-D，no.3，pp.534–545，
2015．
間下以大，安原広幸，プロプスキアレクサンダー，清川清，竹村治雄，“インバースレンダリングに基づく
拡張現実感のための光源環境と反射特性のオンライン
推定，” 電気学会論文誌 C，vol.134，no.10，pp.1473–
1480，2014．
G. Guennebaud, B. Jacob, et al., “Eigen v3,”
http://eigen.tuxfamily.org, 2010.
(2016 年 8 月 1 日受付)

日本バーチャルリアリティ学会論文誌 Vol.21, No.4, 2016

［著 者 紹 介］
中村 勇貴
2014 年鳥取大学工学部知能情報工学科卒業．2016 年奈良先端科学技術大学院
大学情報科学研究科博士前期課程修了．
同年日立産業制御ソリューションズ入社，現在に至る．

河合 紀彦 （正会員）
2005 年京都大学工学部情報学科卒業．
2010 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．同年日
本学術振興会特別研究員 (PD) 兼，カリ
フォルニア大学バークレー校博士研究員．
2011 年奈良先端科学技術大学院大学情報科学研究科助教，現在に至る．画像処理，複合現実感に関する研究に従事．博士 (工学)．

佐藤 智和 （正会員）
1999 年大阪府立大学工学部情報工学科
卒業．2003 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．同年同大同研究科助手，2007 年同大同研究科助教，2010 年〜2011 年チェコ工科大学客員研究員，2011 年奈良先端科学技術
大学院大学情報科学研究科准教授，現在に至る．コンピュータビジョン，複合現実感に関する研究に従事．博士 (工学)．

横矢 直和 （正会員）
1974 年大阪大学基礎工学部情報工学科卒業．1979 年同大大学院博士後期課程修了．同年通商産業省電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データベース，コンピュータビジョンの研究に従事．1986 年〜1987 年マッギル大
学知能機械研究センター客員教授．1992
年奈良先端科学技術大学院大学情報科学センター教授（併任），1993 年文部省へ出向，1994 年同大情報科学研究科教授．
2013 年同大理事・副学長兼情報科学研究科教授，現在に至る．工学博士．