NAIST-IS-MT1451079

修士論文

拡張現実感におけるハイライトを考慮した
マーカ除去

中村

勇貴

2016 年 3 月 11 日

奈良先端科学技術大学院大学
情報科学研究科本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
中村

勇貴

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）拡張現実感におけるハイライトを考慮した
マーカ除去 ∗
中村

勇貴

内容梗概
近年，撮影した映像中に CG を重畳する拡張現実感 (Augmented Reality: AR)
技術が注目されている．拡張現実感の具体的な応用例として，室内を撮影した映像中に CG による家具を重畳することで，家具を購入する前に家具と部屋との親
和性を確認することができる家具配置シミュレーションなどがある．しかし，従来実用化されている家具配置システムでは映像中に映り込む AR マーカによって，CG の家具と部屋との親和性を確認しづらくなる場合がある．これを解決する手段として，現実世界の AR マーカを映像中からリアルタイムに除去する隠消現実
感 (Diminished Reality: DR) に関する研究が行われている．AR において隠消現実感を実現する手法は，毎フレーム画像修復を適用する手法と事前に観測または生成した背景画像を毎フレーム輝度調整し合成する手法に大別できる．前者の手法では，毎フレーム類似パターンを探索し，それに基づきマーカ領域における画素値を決定するため，フレーム間でテクスチャの幾何学的構造が変化し，違和感が生じる場合がある．これに対して，後者の手法では，観測または生成した背景
画像を毎フレーム射影変換し，輝度調整を行った上で，マーカ上に合成するため，
テクスチャのフレーム間における違和感のある幾何学的な変化は生じにくい．しかし，マーカが設置されている平面上の大局的な明度変化のみを扱っているため，鏡面反射によるハイライトを再現することは難しい．本論文では後者の手法に着目し，撮影画像からシーンの照明環境を推定した上で，これを背景画像の輝度調∗

奈良先端科学技術大学院大学 情報科学研究科 修士論文, NAIST-IS-MT1451079, 2016 年 3 月
11 日.

i

整に反映させることで，鏡面反射が生じるシーンにおいても自然に AR マーカを除去する手法を提案する．提案手法は，撮影画像から光源を登録する事前処理と，実際にそれを反映しマーカを除去する処理に分かれる．事前処理においては，撮影した画像における画素値は鏡面反射光と拡散反射光のみで構成されるという仮定の下，様々な異なる地点で撮影された複数の画像を位置合わせし，各画素の画素値の中央値を算出することで得られる画像を拡散反射成分画像，各フレームから拡散反射成分画像を引いた画像を鏡面反射成分画像として推定する．次に，光源は天井などの平面上に存在するという仮定の下，異なる撮影位置の鏡面反射成
分画像を用いることで照明の位置及び鏡面反射成分画像のハイライトの強度を算出する．マーカ除去の処理においては，登録した照明位置およびハイライトの強度をカメラの位置に応じて毎フレーム画像に反映させることで鏡面反射を再現した隠消現実感を実現する．実験では表面の模様が異なる平面上にマーカを配置し，提案手法と従来手法の適用結果を比較することで提案手法の有効性を示す．

キーワード
拡張現実感，隠消現実感，背景画像，鏡面反射光，拡散反射光

ii

Marker Removal Considering Highlights
for Augmented Reality∗
Yuki Nakamura

Abstract
In recent years, augmented reality (AR), which superimposes CG to captured
videos, has attracted much attention. One example of augmented reality applications is furniture layout simulation in which we can confirm the aﬃnity between
a piece of furniture and a room before we purchase it by superimposing the virtualized furniture on videos capturing the room. However, in existing furniturelayout systems, AR markers in videos may hinder us from confirming the aﬃnity
between the furniture and the room. To solve this problem, diminished reality(DR) technology, which is able to remove AR markers in the real world fromvideos in real time, has been investigated. Methods for diminished reality in
AR are classified into those that apply image inpainting in each frame and thosethat adjust the intensity of the background image observed or generated in advance and synthesize the adjusted background image in each frame. Since theformer method generates a background image by searching for similar texture
patterns for every frame, the method may cause implausible temporal changes
in the structure of texture. On the other hand, the latter method rarely causes
the implausible temporal changes in the structure of texture, since it overlays
a background image that is observed or generated beforehand on an AR marker
with perspective transformation and intensity adjustment. However, it is diﬃcult∗

Master’s Thesis, Graduate School of Information Science, Nara Institute of Science andTechnology, NAIST-IS-MT1451079, March 11, 2016.

iii

for the latter method to reproduce a highlight which is produced by specular reflection caused by camera motion inside an AR marker, because the method only
considers global brightness changes for adjusting the brightness of backgroundimages. This thesis focuses on the latter methods and proposes a method thatnaturally removes AR markers in scenes with specular reflection by estimating
an illumination environment from images and influencing it on the adjustment of
the intensity of a background image. The proposed method has two steps: preprocessing step for registering light source from images and AR marker removal
step in which the registered light source is reflected to intensity adjustment. In
the pre-processing step, on the assumption that the pixel values in captured images are composed of the specular reflected light and the diﬀuse reflected light, adiﬀuse reflected image is defined on the basis of median pixel values of multiplealigned images captured at various diﬀerent positions, and a specular reflected
image is defined as the diﬀerence between a captured image and the diﬀuse reflected image. Then, on the assumption that the light sources exist on a planesuch as a ceiling, the positions of light sources and the intensities of highlights
in the specular reflected image are calculated by using the specular reflected images captured at diﬀerent positions. In the AR marker removal step, diminishedreality dealing with specular reflection is achieved by reflecting the registered
light sources and the intensities of highlights to each frame according to camera
motion. Experiments show the eﬀectiveness of the proposed method by placing
an AR marker on various environments and comparing results obtained by the
proposed with those by conventional methods.

Keywords:
augmented reality, diminished reality, background image, specular reflected light,
diﬀuse reflected lightiv

目次
1. はじめに1

2. 関連研究と本研究の位置付け

4

2.1

隠消現実感に関する従来研究. . . . . . . . . . . . . . . . . . . .

4

2.1.1

毎フレーム画像修復により背景画像を生成する手法 . . . .

4

2.1.2

事前に観測または生成した背景画像を毎フレーム変形し合成する手法 . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.2

照明環境の推定に関する研究. . . . . . . . . . . . . . . . . . . .

10

2.3

本研究の位置付け . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3. ハイライトを考慮した AR マーカの除去

15

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

照明環境マップの生成 . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2.1

拡散反射成分画像と鏡面反射成分画像の取得 . . . . . . . .

17

3.2.2

ハイライトの対応付けによる照明位置の高さ推定 . . . . .

17

3.2.3

照明環境マップへの登録 . . . . . . . . . . . . . . . . . . .

22

ハイライトの再現した背景画像合成 . . . . . . . . . . . . . . . . .

23

3.3

3.3.1

照明環境マップからハイライトの取得. . . . . . . . . . .

23

3.3.2

背景画像の輝度補正 . . . . . . . . . . . . . . . . . . . . .

23

4. 実験

26

4.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

4.2

様々な環境における提案手法と従来手法による結果の比較 . . . .

29

4.3

照明環境マップ推定時とユーザ利用時とで撮影画像全体の色が異なる際の提案手法と従来手法による結果の比較 . . . . . . . . . . .

36

5. まとめ

39

謝辞

41

v

参考文献

42

vi

図目次
1

家具配置シミュレーション [1] . . . . . . . . . . . . . . . . . . . .

2

2

Siltanen の手法によるマーカ除去結果 [2] . . . . . . . . . . . . . .

5

3

Hearling らの手法による物体除去結果 [3] . . . . . . . . . . . . . .

5

4

Lepetit らの手法による物体除去結果 [4] . . . . . . . . . . . . . .

6

5

Cosco らの手法による物体除去結果 [5] . . . . . . . . . . . . . . .

66

Li らの手法による物体除去結果 [6] . . . . . . . . . . . . . . . . .

77

森らの手法による物体除去結果 [7]. . . . . . . . . . . . . . . . .

7

8Mori らの手法による物体除去結果 [8] . . . . . . . . . . . . . . . .

89Kawai らの手法によるキャストシャドウを含むマーカ除去結果 [9]810Kawai らの手法による歪みのある設置面におけるマーカ除去結果 [10]911Kawai らの手法による物体除去結果 [11] . . . . . . . . . . . . . .

912

稲葉の手法における照明環境 [12] . . . . . . . . . . . . . . . . . .

10

13

神原らの手法による AR マーカ [13] . . . . . . . . . . . . . . . . .

10

14

神原らの手法によって推定された照明環境 [13] . . . . . . . . . . .

11

15

Jachnik らの手法によるハイライトの再現 [14] . . . . . . . . . . .

1116

安原らの手法によるハイライトの再現 [15] . . . . . . . . . . . . .

12

17

Hara らの手法によるハイライトの再現 [16] . . . . . . . . . . . . .

1218

Powell らの手法による照明環境推定 [17] . . . . . . . . . . . . . .

1319

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1620

拡散反射成分画像の推定 . . . . . . . . . . . . . . . . . . . . . . .

1821

鏡面反射成分画像の推定 . . . . . . . . . . . . . . . . . . . . . . .

1822ハイライトの領域と重心位置. . . . . . . . . . . . . . . . . . . .

1923

マーカ座標系への座標変換 . . . . . . . . . . . . . . . . . . . . . .

20

24

照明環境の高さの推定 . . . . . . . . . . . . . . . . . . . . . . . .

21

25

照明環境マップ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

26

照明環境マップからハイライトの取得. . . . . . . . . . . . . . .

24

27

大局的輝度変化率の計算領域. . . . . . . . . . . . . . . . . . . .

24

28

実験環境 1：灰色一色で模様のない平面 . . . . . . . . . . . . . . .

26

vii

29

実験環境 2：表面に模様のある平面 a . . . . . . . . . . . . . . . .

2730

実験環境 3：表面に模様のある平面 b . . . . . . . . . . . . . . . .

27

31

実験環境 4：鏡面反射の生じづらい平面 . . . . . . . . . . . . . . .

28

32

環境１の拡散反射成分画像と画像修復結果 . . . . . . . . . . . . .

29

33

環境１の照明環境マップ . . . . . . . . . . . . . . . . . . . . . . .

2934

環境 2 の拡散反射成分画像と画像修復結果 . . . . . . . . . . . . .

3035

環境 2 の照明環境マップ . . . . . . . . . . . . . . . . . . . . . . .

30

36

環境 3 の拡散反射成分画像と画像修復結果 . . . . . . . . . . . . .

30

37

環境 3 の照明環境マップ . . . . . . . . . . . . . . . . . . . . . . .

31

38

環境 4 の拡散反射成分画像と画像修復結果 . . . . . . . . . . . . .

31

39

環境 4 の照明環境マップ . . . . . . . . . . . . . . . . . . . . . . .

3140

灰色一色の平面における提案手法と従来手法による実験結果 . . .

3241

表面に模様のある平面 a における提案手法と従来手法による実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

表面に模様のある平面 b における提案手法と従来手法による実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

33
33

鏡面反射の生じづらい平面における提案手法と従来手法による実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

44

灰色一色の平面における赤色ランプを近づけた際の実験結果 . . .

3745

灰色一色の平面における青色ランプを近づけた際の実験結果 . . .

37

表目次
1

4 環境における手法別の計算コスト [fps] . . . . . . . . . . . . . . .

viii

34

1. はじめに
近年，撮影した映像中に CG を重畳合成する拡張現実感 (Augmented Reality:AR) が注目されている．拡張現実感のアプリケーションでは，実シーンと CG の幾何学的な位置合わせが重要であり，それを実現するための撮影画像を用いたカ
メラの位置姿勢推定手法として，マーカを用いる手法 [18, 19] と，画像中の特徴点を用いるマーカレスの手法 [20, 21, 22, 23] がある．近年では後者の手法が盛んに研究されているが，テクスチャの少ない環境においてはカメラ位置姿勢がロバス
トに推定できないという問題がある．このため，実用的なアプリケーションにおいては，仮想物体をユーザの希望位置に容易に設置でき，また環境のテクスチャに関わらずカメラの位置姿勢をロバストに推定できる前者の手法が広く用いられている．マーカを用いた拡張現実感の具体的な応用例として，図 1 に示すような室内を撮影した映像中に CG による家具を重畳することで，家具を購入する前に家具と部屋との親和性を確認することができる家具配置シミュレーションなどが挙げられる．しかし，従来実用化されている家具配置システムでは映像中に映り込むマーカによって，CG の家具と部屋との親和性を確認しづらくなる場合がある．これを解決する手段として，現実世界の拡張現実感に利用されるマーカ（以下，AR マーカ）を映像中からリアルタイムに除去する隠消現実感 (Diminished

Reality: DR) に関する研究が行われている．
AR において隠消現実感を実現する手法は，毎フレーム画像修復により背景画像を生成する手法と，事前に観測または推定した背景画像を毎フレーム輝度調整
し合成する手法に分類できる．前者の手法 [2, 3, 24] では，毎フレーム，画像中のパターンを用いて背景画像を生成するため，テクスチャのある環境においてはフレーム間でテクスチャの幾何学的構造が変化し，違和感を生じる場合がある．
これに対して，後者の手法 [4, 5, 6, 7, 8, 9, 10, 11] では，観測または生成した背景画像を毎フレーム幾何学的な変換および輝度調整を行った上で，AR マーカ上に合成するため，テクスチャのフレーム間における違和感のある幾何学的な変化は生じにくい．しかし，これらの手法では大局的な明度変化のみを扱っているた
め，鏡面反射によるハイライトを再現することは難しい．
本論文では前者の手法と比較して，テクスチャのフレーム間における違和感の1図 1: 家具配置シミュレーション [1]ある幾何学的な変化が生じづらい後者の手法に着目し，撮影画像からシーンの照明環境を推定した上で，これを背景画像の輝度調整に反映させることで，鏡面反射が生じるシーンにおいても自然に AR マーカを除去する手法を提案する．提案
手法は，撮影画像から光源を登録する事前処理と，それを反映し AR マーカを除去する処理に分かれる．事前処理においては，まず異なる地点から AR マーカを撮影し，それらの画像を AR マーカを正面から見た画像 (正対画像) に射影変換する．次に撮影した画像における画素値は鏡面反射光と拡散反射光のみで構成されるという仮定の下，射影変換した全ての画像において各画素の画素値の中央値を算出することで得られる画像を拡散反射成分画像として推定する．その後，毎フレーム撮影した正対画像から拡散反射成分画像を引いた画像を鏡面反射成分画
像として推定する．次に，光源は天井などの平面上に存在するという仮定の下，異なる撮影位置の鏡面反射成分画像を用いることで照明の位置及び鏡面反射成分
画像のハイライトの強度を算出する．AR マーカ除去の処理においては，登録した照明位置およびハイライトの強度をカメラの位置に応じて毎フレーム背景画像の輝度調整に反映することで，鏡面反射を再現した隠消現実感を実現する．このように鏡面反射が生じる環境において，照明環境を推定し，画像修復により AR
マーカ除去を行った上で再現すべきハイライトを推定することで，ハイライトを考慮した AR マーカ除去を実現する．

2

以下，2 章では隠消現実感に関する従来の取り組みと照明環境の推定に関する
従来の取り組みを概観し，本研究の位置付けについて述べる．3 章では本論文の提案手法として，撮影した画像から照明位置とハイライト強度の推定によるハイライトを考慮した AR マーカの除去について述べる．4 章では AR マーカを設置する平面の材質が異なる場合における本手法の実験結果を示し，5 章ではまとめと今後の展望について述べる．

3

2. 関連研究と本研究の位置付け
本章では隠消現実感に関する従来手法と照明環境の推定に関する従来手法を概観し，本研究の位置付けについて述べる．

2.1 隠消現実感に関する従来研究
隠消現実感とは実環境を撮影した映像中から不要物体を視覚的に除去する技術である．隠消現実感を実現する手法は，毎フレーム画像修復により背景画像を生成する手法 [2, 3, 24]，事前に観測または生成した背景画像を毎フレーム変形し合成する手法 [4, 5, 6, 7, 8, 9, 10, 11]，複数のカメラを用い他のカメラで観測した背景画像を合成する手法 [25, 26] に分類できる．ここで，一般的な AR システムにおいては，1 台のカメラに写る AR マーカを利用するため，本論文では，1 台のカメラのみを用いる毎フレーム画像修復する手法および事前に観測または推定した背景画像を用いる手法に着目する．以下では，それぞれの従来手法について述
べる．

2.1.1 毎フレーム画像修復により背景画像を生成する手法
毎フレーム，画像修復を不要物体領域に適用し背景画像を生成することでリア
ルタイムに不要物体を除去する手法がいくつか提案されている．Siltanen [2] は，
図 2 に示すように，各画素でマーカ周りの特定の画素を用いたバイリニア補間によりマーカ上に背景画像を生成することで隠消現実感を実現している．しかし，この手法では補間方法が単純なため，複雑なテクスチャを違和感なく生成することは難しい．これに対して，Herling ら [24] は，現在のフレームをグレースケー
ル画像に変換し，画像サイズを小さくした上で，現在のフレーム中の不要物体以外の領域から類似した画像パターンを探索し，それを合成することで背景画像を推定する処理を毎フレーム行うことで隠消現実感を実現している．この手法では，比較的複雑な背景画像を生成できるが，フレーム間で類似パターンの位置が大きく変化した場合には，フレーム間で生成される背景画像の幾何学的構造が変化し，

4

(a) 入力画像(b) 結果画像

図 2: Siltanen の手法によるマーカ除去結果 [2](a) 入力画像(b) 結果画像

図 3: Hearling らの手法による物体除去結果 [3]
違和感が生じる場合がある．これを解決するために，同著者らは図 3 に示すように，不要物体の輪郭からフレーム間の射影変換行列を算出し，それを用いて類似パターンの探索における初期位置を決定することで，フレーム間のテクスチャの幾何学的変化が生じにくい隠消現実感を実現している [3]．しかし，それでもな
お毎フレーム画像中のパターンを用いて背景画像を生成するため，テクスチャのある環境においてはフレーム間でテクスチャの幾何学的構造が変化し，違和感を生じる場合がある．

5

(a) 入力画像(b) 結果画像

図 4: Lepetit らの手法による物体除去結果 [4](a) 入力画像(b) 結果画像

図 5: Cosco らの手法による物体除去結果 [5]2.1.2 事前に観測または生成した背景画像を毎フレーム変形し合成する手法
事前に不要物体を設置する前の実環境を観測するか，または初期のフレームに対して画像修復を適用することで背景画像を推定しておき，その後，毎フレーム，
背景画像を変形し合成することでリアルタイムに不要物体を除去する手法が提案されている [4, 5, 6, 7, 8, 9, 10, 11]．Lepetit ら [4] は，図 4 に示すように，複数フレームから特徴点の 3 次元位置を求め，三角形分割により背景の形状を復元した
上で，前のフレームに写っている背景画像をその形状を用いてレンダリングし，対象物体を除去している．Cosco ら [5] は，図 5 に示すように，除去対象物体およびその背景の 3 次元形状が既知であるという仮定の下，不要物体を設置する前の環境を多視点から撮影しておき，視点依存テクスチャマッピング [27] により対象物体の領域に背景画像を合成することで，隠消現実感を実現している．これらの手法では，事前撮影した画像を輝度調整をせずそのまま用いるので，取得した

6

(a) 入力画像(b) 結果画像

図 6: Li らの手法による物体除去結果 [6](a) 入力画像(b) 結果画像

図 7: 森らの手法による物体除去結果 [7]時と現フレームで環境の明るさが変わった場合等においては，合成した領域とその周りの領域で輝度の違いによる違和感が生じることがある．これに対して，Liら [6] は，図 6 に示すように，事前処理で実環境の画像をネットから大量に収集し，それらから環境の 3 次元点群を推定しておいた上で，現在のカメラ画像の特徴点と三次元点群との対応付けにより推定したカメラ位置姿勢に基づき，不要物体のない画像を自動的に選択し，射影変換および Mean-Value Coordinate(MVC)[28]による画像ブレンディングにより背景画像の変形および大局的な輝度調整を行い合成することで隠消現実感を実現している．また，森ら [7] は，図 7 に示すように，背景の形状が 2 平面で近似されるという仮定のもと，事前に不要物体を設置する前の環境を多視点から撮影しておき，現在のカメラ位置に近い視点の画像を選択し，画像全体のヒストグラム変換および，画像を分割したグリッドごとの色調補正を行った上で，射影変換し不要物体上に合成することで隠消現実感を実現

7

(a) 入力画像(b) 結果画像

図 8: Mori らの手法による物体除去結果 [8](a) 入力画像(b) 結果画像

図 9: Kawai らの手法によるキャストシャドウを含むマーカ除去結果 [9]している．また，同著者ら [8] は図 8 に示すように，事前に作成した実環境の三角メッシュモデルの頂点に着目し，現在のカメラ画像と事前撮影した背景画像間の頂点の輝度の変化率を算出し，さらに各三角形で変化率を補間した上で背景画像に掛け合わせ，メッシュモデルの形状を用いてレンダリングすることで隠消現実感を実現している．これらの手法では，それぞれ異なる方法で背景画像の輝度補正をしているが，いずれの手法においても，近隣の画素では類似した輝度変化が起こるという考えに基づいた大局的な輝度補正をしているため，鏡面反射による局所的な輝度変化には対応できない．
一方，背景を事前に生成する手法として，Kawai ら [9] は，図 9 に示すように，
マーカは平面に固定されているという仮定のもと，あるキーフレームにおいてに
画像修復によりフレームからマーカを除去した背景画像を生成し，マーカ周辺におけるキーフレームと現フレーム間の輝度変化からマーカ上の輝度変化率を補間8(a) 入力画像(b) 結果画像

図 10: Kawai らの手法による歪みのある設置面におけるマーカ除去結果 [10](a) 入力画像(b) 結果画像

図 11: Kawai らの手法による物体除去結果 [11]し，かつマーカ周辺においてキャストシャドウが検出された場合には，直線的にキャストシャドウをマーカ領域に補間することで，大局的かつ局所的な輝度変化に対処した隠消現実感を実現した．また，同著者らは図 10 に示すように，この手法を応用し，平面でない背景に対応したマーカ除去手法 [10] や，図 11 に示すよ
うに，立体的な形状を持つ不要物体に対処した隠消現実感 [11] を提案している．
ただし，これらの手法においては，大局的な輝度変化にのみ対応している．以上
で述べたように，一部の従来手法では，局所的な明度の変化としてキャストシャ
ドウには対応しているが，カメラの位置に応じて生じる鏡面反射によるハイライ
トがマーカ上に存在する場合には，これを再現することが難しい．

9

図 12: 稲葉の手法における照明環境 [12]図 13: 神原らの手法による AR マーカ [13]2.2 照明環境の推定に関する研究撮影された画像から照明環境を推定する研究は，無限遠光源を仮定する手法と，近接光源を仮定する手法に分類できる．前者の手法において，稲葉 [12] は，図 12に示すように，光源環境を全方位カメラまたは魚眼カメラを用いて天空画像を撮
影し，サチュレーション部分は天空光モデルで補間し，その他の部分は HDR 画
像化することで屋外の天空輝度分布を推定している．神原ら [13] は，従来の AR
マーカの中心に鏡面球を配置することで図 13 に示す新たな 3 次元 AR マーカを制作し，鏡面球を撮影した画像から図 14 に示す照明環境を推定している．Jachnik

10図 14: 神原らの手法によって推定された照明環境 [13](a) 実画像(b) ハイライトを再現した画像

図 15: Jachnik らの手法によるハイライトの再現 [14]ら [14] は，図 15 に示すように，撮影した画像における画素値は鏡面反射光と拡散反射光のみで構成されるという仮定の下，多視点で撮影した鏡面反射の生じる平面からその平面の拡散反射成分を推定し，その後撮影された画像と拡散反射成
分画像との差から鏡面反射成分を推定し，それを半球面上に登録することで，照明環境を推定している．これらの無限遠光源を仮定した手法より推定した光源環
境をハイライトの再現に用いた場合，無限遠光源仮定が成り立たない室内環境においては，実際のハイライトと再現したハイライトの間で位置ずれが生じるという問題がある．
後者の近接光源を仮定する手法において，安原ら [15] は，図 16 に示すように，一様な平面を撮影し，初期化として照明までの大まかな距離を設定し，鏡面反射11

(a) 実画像(b) ハイライトを再現した画像

図 16: 安原らの手法によるハイライトの再現 [15](a) 実画像(b) ハイライトを再現した画像

図 17: Hara らの手法によるハイライトの再現 [16]成分画像を半球面上に登録することで，照明の方向と距離を含む照明環境を推定している．この手法では，点光源を仮定しているため，照明が点光源でない場合に実際のハイライトとは異なる形状のハイライトが再現されてしまう．Hara ら [16]は，図 17 に示すように，カメラと光源に偏光フィルタを用い，拡散反射成分画像を除去することで鏡面反射成分画像を推定し，既知の平面上の鏡面反射光のピー
クから光源方向を求め，Torrance Sparrow モデルに当てはめることで，照明環境を推定している．この手法では，光源を点光源であると仮定しているため，点光源でない照明環境を推定することが難しい．これに対し，Powell ら [17] は，図 18に示すように，2 つの鏡面球に反射する照明を対応付けることで照明の位置を推12

図 18: Powell らの手法による照明環境推定 [17]
定している．これらの手法では，光源位置を推定できるため，室内におけるハイライトの再現には有効であるが，偏光フィルタ，複数の鏡面球といった，特殊な道具を用意する必要がある．

2.3 本研究の位置付け
2.1 節で概観したように，隠消現実感を実現する様々な手法がこれまでに提案されている．毎フレーム画像修復により背景画像を生成する手法では，毎フレーム
画像中のパターンを用いて背景画像を生成するため，テクスチャのある環境においてはフレーム間でテクスチャの幾何学的構造が変化し，違和感を生じる場合がある．事前に観測または生成した背景画像を毎フレーム輝度調整し合成する手法の多くは，大局的な輝度変化のみを扱っており，また一部キャストシャドウによる局所的な輝度変化に対応した手法も提案されているが，マーカ内における直線
的なキャストシャドウのみ扱っているため，応用範囲が限られている．このため，
従来手法ではカメラの移動に起因する鏡面反射によるハイライトが生じるシーンに対しては，違和感なくマーカを除去することは難しい．これに対して，本研究13

では，事前に撮影環境の照明位置とハイライト強度を取得することで，隠消現実
感においてハイライトが生じる場面においても，違和感のない背景画像生成を実現する．
一方，照明環境の推定に関する研究も多く提案されている．無限遠光源を仮定する手法を用いた場合には，部屋などの光源までの距離が近い環境では，実際のハイライトと再現したハイライトとの位置ずれが生じる問題がある．一方，近接光源を仮定する手法ではカメラとマーカ以外の特殊な道具を用意する必要がある．
本研究では，カメラと AR マーカのみを用いた拡張現実感アプリケーションを想定し，短時間の事前キャリブレーションにより AR マーカの除去において鏡面反射によるハイライトを再現することを目的としている．このため，提案手法では，カメラのみから光源環境を推定できる Jachnik らの手法 [14] を応用するが，室内での利用を想定し，光源は天井などの平面上にあるという仮定をおき，光源の位置および対象環境に現れるハイライトの強度を推定することで，AR マーカの除去に反映する．

14

3. ハイライトを考慮した AR マーカの除去
3.1 提案手法の概要
本研究では, 図 19 に示すように，マーカが平面上に設置されていること，照明がマーカの設置された平面と平行な平面上に固定されていることを前提に，(1)
事前のキャリブレーションによる照明環境マップの生成 (図 19 淡青)，(2) ユーザ
利用時のハイライトを再現したマーカ除去 (図 19 淡赤)，の 2 つのステージで，鏡面反射によるハイライトを再現した AR マーカの除去を実現する．ステージ (1)は，(1-1) 異なる複数視点から撮影した画像から拡散反射成分画像の生成，(1-2)2
枚の撮影画像それぞれに対し，拡散反射成分画像との差から鏡面反射成分画像を生成し，さらにハイライトの領域からその重心を算出し，それらを用いることで照明環境マップの高さを推定，(1-3) 拡散反射成分画像を画像修復し背景画像の取得，(1-4) 毎フレーム撮影画像と拡散反射成分画像から鏡面反射成分画像を生成し，(1-2) で推定した高さの照明環境マップへの登録の 4 つの小ステージから成る．ステージ (2) は，毎フレーム撮影画像のカメラ位置により (1-4) の照明環境
マップからハイライトを含む鏡面反射成分画像を推定し，撮影画像と (1-3) の画
像修復後の画像から大局的輝度補正を行った画像に推定した鏡面反射成分画像を足し込み，その画像と撮影画像を α ブレンディングし，撮影画像へ変形合成する
ことで結果画像を提示する．以下，3.2 節で照明環境マップの生成，3.3 節でハイライトを再現したマーカの除去について述べる．

3.2 照明環境マップの生成
本研究では，まず入力画像を拡散反射成分画像と鏡面反射成分画像に分け，鏡面反射成分画像からハイライトの領域を検出する．次に，ハイライトから照明の高さを推定し，平面の照明環境マップを設定する．最後に，鏡面反射成分画像から照明環境マップへ登録する．以下，それぞれの処理について詳述する．

15

図 19: 提案手法の概要

16

3.2.1 拡散反射成分画像と鏡面反射成分画像の取得
光は物体に当たると鏡面反射光，拡散反射光，散乱光，吸収光などに分離されるが，撮影した画像のある 1 画素における画素値は鏡面反射光，拡散反射光，散乱光などが混合されたものである．しかし，AR アプリケーションを開始する前の短時間で画素値をそれぞれの光に正確に分解し，照明環境を推定することは難しい．そこで本研究では，Jachnik らの手法 [14] と同様に，画像により取得した
画素値は鏡面反射光と拡散反射光のみで構成されると仮定し，入力画像を拡散反射成分画像および鏡面反射成分画像に分解する．
具体的な処理として，まず，図 20 に示すようにマーカの 4 隅を検出し，それらが画像上で正方形になるように射影変換することで，撮影画像をマーカの正面から見た画像 (正対画像) へ変換する．次に，異なる複数地点から AR マーカを撮
影し，射影変換した全ての画像における各画素の画素値の RGB 値のそれぞれに対し，中央値を算出することで得られる画像を拡散反射成分画像とみなす．ただし，各画素の画素値の中央値を算出するためには，正対画像において各画素値を少なくとも 1 回は取得する必要がある．
鏡面反射成分画像は，図 21 に示すように，各フレームの正対画像の各画素のRGB 値から拡散反射成分画像の各画素の RGB 値を引き，正の値の画素はその値，
負の値の画素は 0 とすることで生成する．ただし，入力画像の範囲外のため，正対画像において画素値をもたない画素は，後述する処理では用いない．

3.2.2 ハイライトの対応付けによる照明位置の高さ推定
鏡面反射成分画像におけるハイライトの領域はハイライトの存在しない領域と比較して一般的に画素値が大きくなるため，本研究では，鏡面反射成分画像の各画素の画素値の RGB 値のそれぞれが閾値 m 以上の領域をハイライトの領域とし，また異なるカメラ位置で撮影された画像から取得した鏡面反射成分画像 2 枚を用いて照明環境マップを設定する高さを推定する．ただし，ここでは，1 か所の照明から生じるハイライト全体が正対画像に入っているフレームを選択する必要があり，また鏡面反射成分画像上に複数のハイライトが存在した場合にはいずれのハイライトを使用するか選択する．

17

図 20: 拡散反射成分画像の推定

図 21: 鏡面反射成分画像の推定18

図 22: ハイライトの領域と重心位置
具体的には，まず図 22 に示すように，ハイライトに属する連結した画素の集合から画像上におけるハイライトの重心位置を算出する．図 22 では青色領域がハイライトと検出された領域，赤色の位置がそのハイライトの重心位置と検出された領域である．ただし，赤色領域は実際には 1 画素分の大きさだが，画像上で確認できるように拡大し表示している．これを異なる 2 地点から行い，2 つの画
像上におけるそれぞれの重心位置を算出する．
ここで，マーカの中心が原点でマーカが存在する平面が xy 平面とする座標系
をマーカ座標系とすると，図 23 に示すように，任意の画素 (u, v) とマーカ座標系
における三次元座標 (x, y, 0) の関係は，正対画像のサイズを T × T 画素，正対画
像上でのマーカのサイズを L × L 画素，マーカの実際のサイズを M × M とすると，以下のように表せる．

x=

M (2u − T )
2L

19

(1)

図 23: マーカ座標系への座標変換y=M (2v − T )2L(2)

この式により得られるマーカ座標系におけるハイライトの重心位置 G1 ，G2 および，それぞれの画像を撮影した時のカメラ位置 C1 ，C2 を用いて，照明の高さ zsを算出する．
具体的にはまず，図 24 に示すように，ハイライトの重心位置に対応する光源
位置を (xs , ys , zs ) とした場合，理想的にはカメラ位置とハイライトの重心位置の
直線上の，xy 平面に関して光源位置と対称な位置に (xs , ys , −zs ) が存在する．しかし，実際には 2 直線が必ずしも交点を持つとは限らない．そこで 2 直線が互いに最も接近する直線上の点 p1 = (xp1 , yp1 , zp1 )，p2 = (xp2 , yp2 , zp2 ) を計算し，それらの中点から光源位置 (xs , ys , zs ) を推定する．まず p1 ，p2 は，倍数 d1 ，d2 お
よび vc1 g1 = G1 − C1 ，vc2 g2 = G2 − C2 ，vc1 c2 = C2 − C1 を用いると以下のように表せる．

p1 = d1 vc1 g1 + C1

(3)

p2 = d2 vc2 g2 + C2

(4)

このとき，直線 p1 p2 と直線 C1 G1 ，直線 p1 p2 と直線 C2 G2 はそれぞれ直交するので，以下の式が成り立つ．

vc1 g1・(p2 − p1 ) = 0(5)

vc2 g2・(p2 − p1 ) = 0

(6)

20

図 24: 照明環境の高さの推定
式 (3)，(4) を式 (5)，(6) に代入すると，

vc1 c2・vc1 g1 − d1 (vc1 g1・vc1 g1 ) + d2 (vc2 g2・vc1 g1 ) = 0(7)vc1 c2・vc2 g2 − d2 (vc2 g2・vc2 g2 ) − d1 (vc2 g2・vc1 g1 ) = 0(8)が得られ，これらの式から d1 ，d2 は以下のように算出される．

d1 =(vc1 g1・vc2 g2 )(vc2 g2・vc1 c2 ) − (vc2 g2・vc2 g2 )(vc1 g1・vc1 c2 )
(vc1 g1・vc2 g2 )(vc1 g1・vc2 g2 ) − (vc1 g1・vc1 g1 )(vc2 g2・vc2 g2 )

(9)

d2 =

(vc1 g1・vc1 g1 )(vc2 g2・vc1 c2 ) − (vc1 g1・vc2 g2 )(vc1 g1・vc1 c2 )
(vc1 g1・vc2 g2 )(vc1 g1・vc2 g2 ) − (vc1 g1・vc1 g1 )(vc2 g2・vc2 g2 )(10)

求めた d1 ，d2 を式 (3)，(4) に代入することで，最近点 p1 ，p2 が求まる．最後に点

p1 ，p2 の中点の z 座標に −1 をかけた値が推定される照明環境の高さ zs である．

21

図 25: 照明環境マップ

3.2.3 照明環境マップへの登録
図 25 に示すように，推定された高さ zs に F × F 画素の画像平面である照明環
境マップを設置し，鏡面反射成分画像上の各画素位置と照明環境マップの画素位
置を毎フレーム対応付け，複数フレームにおける鏡面反射成分画像の画素値の平均値を照明環境マップの画素値として登録する．あるフレームにおける鏡面反射
成分画像の画素と照明環境マップの画素の対応付けについては，鏡面反射成分画
像上の位置 (u, v) のマーカ座標系における 3 次元位置を (x, y, 0)，当該フレームのカメラ位置を (xc , yc , zc ) としたとき，当該画素に対する照明環境マップ上の 3 次
元位置 (xsk , ysk , zs ) は距離の比を利用して以下のように求められる．ただし，zs
は照明環境マップの高さなので既知である．

xsk =(x − xc )(zc + zs )
+ xc
zc

(11)

ysk =

(y − yc )(zc + zs )
+ yc
zc

(12)

また，xsk ，ysk と照明環境マップの画素位置 (u′ , v ′ ) の対応関係を以下のように設定することで，各フレームにおける鏡面反射成分画像と照明環境マップの全画

22

素の対応が求まる．

u′ = xsk /b(13)v ′ = ysk /b(14)

ただし，b は照明環境マップにおける 1 画素当たりの距離である．
鏡面反射成分画像の画素値を照明環境マップに登録する際に，マップ上の同位置にすでに画素値が登録されている場合は取得した画素値と今までに登録された
画素値の平均を新たな画素値として照明環境マップに登録する．

3.3 ハイライトの再現した背景画像合成
本節では照明環境マップから鏡面反射成分画像を取得し，背景画像に大局的な輝度補正およびハイライト成分の追加を行うことで，ハイライトを再現したマー
カ除去を実現する手法について説明する．

3.3.1 照明環境マップからハイライトの取得
図 26 に示すように，毎フレームマーカ座標系におけるカメラ位置 (xc , yc , zc ) と正対画像上における T × T の画素ごとの位置 (x, y, 0) に対し，式 (11)，(12) を用いることで，再現すべきハイライトの 3 次元位置を取得し，照明環境マップから再現すべきハイライトの鏡面反射成分画像を取得する．

3.3.2 背景画像の輝度補正
背景画像の輝度補正では，まず拡散反射成分画像に画像修復を適用することで生成した背景画像と現フレーム画像のマーカ周りとの輝度差に基づき大局的な輝度補正を行う．
具体的には，まず正対画像に対し，図 27 のように矩形を設定する．次に，現フレームにおける推定された鏡面反射成分画像の画素ごとの RGB 値が全て閾値 m
以上の画素をハイライト領域とし，外枠の各矩形のうち，ハイライト領域，もしくは撮影画像の範囲外のため画素値が存在しない領域を含む矩形を未知領域（図23図 26: 照明環境マップからハイライトの取得

図 27: 大局的輝度変化率の計算領域

24

27 中の水色領域），それ以外の矩形を既知領域とし，既知領域のみ矩形ごとに以下のようにして大局的輝度変化率を算出する．ただし，矩形における画素数をn，画素位置を xk ，現フレームの正対画像の画素値を J(xk )，背景画像の画素値
を K(xk ) とする．

n−1
∑
k=0
大局的輝度変化率 = n−1∑

J(xk )(15)
K(xk )k=0

次に，Kawai らの手法 [9] と同様に，隣接する矩形の輝度変化率の差の 2 乗和が最小となるよう全ての矩形の大局的輝度変化率を算出し，各矩形の中心画素の輝度変化率を求めた輝度変化率としたうえで，バイリニア補間により全ての矩形の画素ごとに輝度変化率を算出する．これを背景画像の各画素値にかけ合わせることで，大局的輝度変化を反映した背景画像を生成する．次に，照明環境マップから取得した鏡面反射成分画像を用いてハイライトを追加するが，ここで，全体的な明るさが変化している際に，事前処理で得られたハイライトの強度をそのまま用いると，最終的な出力の明るさに違和感が生じる場合がある．そこで，本研究では，鏡面反射成分画像から大局的輝度変化により増加する画素値の平均を引いた上で，大局的輝度変化を反映した背景画像に足しこむことで，最終的な背景画像を生成する．ただし，鏡面反射成分画像から大局的輝度変化の増加分を引く際には，引いた値が 0 より小さい場合，0 とする．そのようにして取得した背景画
像と現フレームの正対画像において，その矩形領域に対し，外側から Q 画素分 α
ブレンディングし，撮影画像に射影変換して合成することで，ハイライトを再現したマーカ除去を実現する．

25

4. 実験
提案手法の有効性を示すために，実環境に AR マーカを配置し，AR マーカの除去実験を行った．以下では，実験の概要，様々な環境における提案手法と従来手法による結果の比較，照明環境マップ推定時とユーザ利用時とで撮影画像全体の色が異なる際の提案手法と従来手法による結果の比較について述べる．

4.1 実験概要
本研究では，図 28〜31 に示す 4 環境による実験を行った．4 環境はそれぞれ以下の特徴を持つ．また，環境 2 と環境 3 は主に平面の色が異なる．
・環境 1：灰色一色で模様のない平面
・環境 2：表面に模様のある平面 a
・環境 3：表面に模様のある平面 b
・環境 4：鏡面反射の生じづらい平面

図 28: 実験環境 1：灰色一色で模様のない平面26

図 29: 実験環境 2：表面に模様のある平面 a

図 30: 実験環境 3：表面に模様のある平面 b27

図 31: 実験環境 4：鏡面反射の生じづらい平面
また，実験では，以下のカメラおよび PC を用いた．
・HD WEBCAM C270(Logicool 社，解像度 640 × 480 画素，露出，ゲイン，ホワイトバランスは固定)・デスクトップ PC(Windows8，CPU：Intel Core i7 3.20GHz，メモリ：32.0GB)
・ノート PC(Windows7，CPU：Intel Core i7 2.80GHz，メモリ：8.0GB)
なお，デスクトップ PC は図 28 に示す環境に，ノート PC は図 29〜31 に示す環境に用いた．また，カメラのキャリブレーションおよび位置姿勢には ARToolKit [18]を用いた．マーカのサイズは 80 [mm] × 80 [mm] を用いた．また，実験では，正対画像の解像度を 501 × 501 画素，正対画像上におけるマーカのサイズを 101 ×

101 画素とし，背景画像は Kawai ら [29] の画像修復手法を拡散反射成分画像に適用することで取得した．また，ハイライトの閾値は鏡面反射成分画像の RGB 値
が 15 以上の画素位置とし，50 画素の α ブレンディングを行った．照明環境マップのサイズを 10000 [mm] × 10000 [mm]，サンプリング間隔を 10 [mm] × 10 [mm]，照明マップの画像サイズを 1001 × 1001 画素とした．

28

(a) 拡散反射成分 (b) 画像修復結果
画像

図 32: 環境１の拡散反射成分画像と画像修復結果

図 33: 環境１の照明環境マップ

4.2 様々な環境における提案手法と従来手法による結果の比較
本節では，図 28 から図 31 に示す 4 環境にマーカを配置し，提案手法と従来手法を比較する．以下，4 環境に対する実験についてそれぞれ述べる．各実験環境に対して，提案手法を適用し，生成した拡散反射成分画像，画像修復結果，照明
環境マップを図 32 から図 39 に示す．いずれの環境においても鏡面反射が取り除かれた拡散反射成分画像を画像修復の対象とすることで，違和感のない背景画像が生成されている．照明環境マップに関しては，環境 1 から 3 ではそれぞれの照明環境に応じたマップが生成されているが，環境 4 では生成されていない．これは，対象の平面で鏡面反射がほとんど生じず，鏡面反射成分画像において画素値が閾値以上のハイライト領域が存在しなかったことにより，照明環境マップに登29

(a) 拡散反射成分 (b) 画像修復結果
画像

図 34: 環境 2 の拡散反射成分画像と画像修復結果

図 35: 環境 2 の照明環境マップ(a) 拡散反射成分 (b) 画像修復結果
画像

図 36: 環境 3 の拡散反射成分画像と画像修復結果

30

図 37: 環境 3 の照明環境マップ(a) 拡散反射成分 (b) 画像修復結果
画像

図 38: 環境 4 の拡散反射成分画像と画像修復結果

図 39: 環境 4 の照明環境マップ31

図 40: 灰色一色の平面における提案手法と従来手法による実験結果録されなかったためである．
次に，これらの背景画像，照明環境マップを用いたマーカ除去処理の結果について述べる．各環境におけるマーカ除去結果を図 40 から図 43 に示す．各図 (a)に入力画像，図 (b) に Kawai らの手法 [9] による結果、図 (c) に提案手法において大局的な輝度補正をせずハイライトのみを合成した場合の結果，図 (d) に提案手法による結果を示す．また表 1 にそれぞれの計算時間を示す．以下，それぞれの環境での実験について順に述べる．
灰色一色の平面に AR マーカを設置した実験環境 1 において，従来手法の結果(図 40(b)) ではハイライトがマーカに一部かかる場合においても，マーカ内にハイライトが再現されておらず，またマーカが近傍に存在するときにはマーカ領域の背景画像が全体的に明るくなっており，マーカを不自然に除去していることが確認できる．これと比較して，提案手法の結果 (図 40(d)) では，ハイライトの箇所は大局的輝度変化率の推定に使用しないために，ハイライトがマーカの付近にあっても全体的に明るくなることはなく，またハイライトがマーカ内に入ってい32

図 41: 表面に模様のある平面 a における提案手法と従来手法による実験結果

図 42: 表面に模様のある平面 b における提案手法と従来手法による実験結果

33

図 43: 鏡面反射の生じづらい平面における提案手法と従来手法による実験結果

表 1: 4 環境における手法別の計算コスト [fps]

環境 1

環境 2

環境 3

環境 4

手法 (b)

4.0

4.2

5.1

4.7

手法 (c)

3.9

3.6

5.2

3.1

手法 (d)

4.1

3.9

4.2

3.9

34

るときには，ハイライトが正しい位置に再現されており，マーカを違和感なく除去している．一方，提案手法における大局的な輝度変化をハイライトに反映させなかった場合の結果 (図 40(c)) では，提案手法 (d) と比較してわずかにマーカ内が明るくなることがあり，大局的な輝度変化をハイライトの合成に反映させることが有効であることを確認した．
表面に模様のある平面 a に AR マーカを設置した実験環境 2 において，従来手法の結果 (図 41(b)) ではハイライトがマーカ内に再現されていないことが確認できる．これと比較して，提案手法の結果 (図 41(d)) と提案手法における大局的な輝度変化をハイライトに反映させなかった場合の結果 (図 40(c)) では，ハイライ
トがマーカ内に入っているときには，ハイライトが正しい位置に再現されており，
マーカを違和感なく除去している．また，表面に模様のある平面 b に AR マーカを設置した実験環境 3 においても同様に従来手法の結果 (図 42(b)) ではハイライ
トがマーカ内に再現されず，提案手法の結果 (図 42(d)) と提案手法における大局的な輝度変化をハイライトに反映させなかった場合の結果 (図 42(c)) では，ハイラ
イトがマーカ内に入っているときには，ハイライトが正しい位置に再現されており，マーカを違和感なく除去している．しかし，表面に模様のある平面 b における提案手法の結果 (図 42(d)) では実際のハイライトと比較してぼけたハイライトが再現されていることが確認できる．これは事前の照明環境マップの生成時に，取得した鏡面反射成分画像の画素値を平均してマップへ登録しているために，ユー
ザ利用時に再現されるハイライトを含む鏡面反射成分画像はぼけるためである．
灰色一色の平面における提案手法の結果 (図 40(d)) や表面に模様のある平面 a における提案手法の結果 (図 41(d)) では，光源の形や強度を明瞭に反映するような鏡面反射の強い特徴を持つ表面に模様のある平面 b と比較して，鏡面反射が強く生じないために，再現されるハイライトに違和感を生じにくいと考えられる．また，表面に模様のある平面 a，表面に模様のある平面 b のそれぞれの環境の実験
結果 (図 41，42) では，撮影時における画像全体に明るさの変化がなかったために，提案手法の結果 (図 41(d)，42(d)) と大局的輝度変化を考慮しない提案手法の結果 (図 41(c)，42(c)) では大差がなかったと考えられる．また，表面に模様のある平面 a，表面に模様のある平面 b の提案手法の結果 (図 41(d)，42(d)) では，フ35

レームごとには違和感がないが，連続したフレームで確認すると推定したハイラ
イトの位置がカメラ位置姿勢の誤差により，わずかに動くため違和感が生じる場合があった．
鏡面反射の生じづらい平面における実験結果を図 43 に示す．提案手法における大局的な輝度変化をハイライトに反映させなかった場合の結果 (図 43(c)) では，
大局的な輝度変化を考慮しないためにマーカ内の明るさとマーカ外の明るさが異なり，マーカを不自然に除去していることが確認できる．これと比較して，従来手法の結果 (図 43(b)) では大局的な輝度変化を考慮しており，マーカを違和感なく除去していることが確認できる．提案手法はハイライトから高さを推定しているが，ハイライトが取得できないために高さが推定できず照明環境モデルが生成されなかったため，このようなシーンでは提案手法は従来手法と同様の結果 (図43(d)) となる．

4.3 照明環境マップ推定時とユーザ利用時とで撮影画像全体の色が異なる際の提案手法と従来手法による結果の比較
灰色一色の平面に AR マーカを設置した環境において，Mori らの文献 [8] における実験のようにランプを近づけ，画像全体の色が変化した場合における図 44(a)と図 45(a) に入力画像，図 44(b) と図 45(b) に Kawai らの従来手法 [9] による結果，図 44(c) と図 45(c) に提案手法においてハイライトの合成に大局的な輝度変化を反映させなかった場合の結果，図 44(d) と図 45(d) に提案手法による結果を示す．従来手法の結果 (図 44(b)，図 45(b)) では全体的な色が変化した場合，それに伴ってマーカ内の色も変化しているが，付近のハイライトにより明るくなりすぎており，またハイライトがマーカ内に再現されていないことが確認できる．提案
手法における大局的な輝度変化をハイライトに反映させなかった場合の結果 (図44(c)，図 45(c)) では大局的な輝度変化を考慮していないために，画像全体の色が変化してもマーカ内の色が変化せず，マーカ内とマーカ外との色が極端に異なり，違和感を生じる．提案手法の結果 (図 44(d)，図 45(d)) では大局的な輝度変化を考慮しているために，画像全体の明るさが変化するとマーカ内の色も変化して36

図 44: 灰色一色の平面における赤色ランプを近づけた際の実験結果

図 45: 灰色一色の平面における青色ランプを近づけた際の実験結果

37

いるが，大局的輝度変化率により増加した画素数の平均を引き鏡面反射成分画像を足したことで RGB 値の特定の値の増加を抑えるために，マーカ内のハイライ
トがマーカ外のハイライトと異なる色となり，ハイライトがマーカ内に存在しない際にもマーカ内とマーカ外との色が異なることがあることを確認した．このことから，提案手法は大局的な輝度変化を考慮することで撮影画像全体の明るさの変化に対処したが，色の変化には対処できないことを確認した．

38

5. まとめ
本論文では，平面上のハイライトから環境の光源位置およびハイライト強度を推定し，それをマーカ上に合成する背景画像の輝度調整に利用することで，ハイライトを再現した隠消現実感を提案した．
従来手法との比較実験において，従来は再現されなかったハイライトを再現したマーカ除去を実現できた．提案手法は鏡面反射の生じる平面に AR マーカを設置した環境における実験結果ではハイライトを再現し，違和感なくマーカを除去でき，鏡面反射の生じづらい平面に AR マーカを設置した環境における実験結果
では従来手法と同等の結果を示すことができた．しかし，光源の形や強度を明瞭に反映するような鏡面反射の強い平面に AR マーカを設置した環境においては再現されるハイライトがぼけ，違和感を生じてしまう．また，フレームごとにはハイライトを再現し，違和感のないマーカ除去が可能な場合であっても，連続したフレームで確認すると推定したハイライトの位置がカメラ位置姿勢の誤差により，わずかに動くため違和感が生じることがある．さらに，提案手法は大局的輝度変化を考慮することで撮影画像全体の明るさの変化に対処したが，色の変化には対処できない．このことから，提案手法は光源の形や強度を明瞭に反映するような鏡面反射の強い環境でなく，事前の照明環境マップ生成時とユーザ利用時において AR マーカの設置平面の色が大きく変化せず，カメラ位置推定の誤差が小さい
場合には，ハイライトを再現し，マーカを除去する有効な手法である．
今後の課題として，連続したフレームでは推定したハイライトの位置がカメラ
位置姿勢推定の誤差により，微動することについては推定された鏡面反射成分画
像と実際の鏡面反射成分画像との位置を補正するような処理を必要とする．また
実際に CG を映像中に重畳した上で提案手法を適用することで，違和感を生じないハイライトを再現可能か検討する必要がある．本研究は将来的に実環境にマーカを設置し映像中に CG による家具を重畳する家具配置シミュレーションのような拡張現実感におけるマーカ除去が必要とされるアプリケーションにおいて，照明環境を考慮することで違和感の生じづらいマーカ除去を可能とした拡張現実感のアプリケーションを実現可能である．また，本研究は個々の照明ごとに高さを推定可能であるため，本手法を応用することで全ての照明が同一平面に設置され39

ておらず，異なる高さに照明が設置されている環境においてもハイライトを再現可能である．

40

謝辞
本研究の全過程を通して，懇切なる御指導，ご鞭撻を賜りました視覚情報メディア研究室 横矢直和教授に心より感謝致します．本研究の遂行にあたり，有益な御助言を頂いたインタラクティブメディア設計学研究室 加藤博一教授に厚く御礼申し上げます．そして，本研究を進めるにあたり，終始温かい御指導をして頂きま
した視覚情報メディア研究室 佐藤智和准教授に深く感謝致します．また，本研究を行うにあたり，多大なる御助言，ご鞭撻を頂いた視覚情報メディア研究室 河合紀彦助教に厚く御礼感謝致します．さらに，本研究において，的確な御助言，ご鞭撻を頂いた視覚情報メディア研究室 中島悠太助教に深く感謝致します．また，研究室での生活を支えて頂きました視覚情報メディア研究室 石谷由美女史に心より感謝致します．そして，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア研究室の皆さまに深く感謝致します．最後に，両親をはじめ，私の二年間の大学院生活に関わった全ての方々に感謝の意を表します．

41

参考文献
[1] Soture

smart:
in

New
your

ikea

home.

app

placesvirtualfurni-

http://www.wired.com/2013/08/

a-new-ikea-app-lets-you-place-3d-furniture-in-your-home/

2016

年 1 月 29 日に閲覧.

[2] Sanni Siltanen. Texture generation over the marker area. Proc. IEEE andACM International Symposium on Mixed and Augmented Reality, pp. 253–
254, 2006.
[3] Jan Herling and Wolfgang Broll. High-quality real-yime video inpainting
with pixmix. IEEE Transactions on Visualization and Computer Graphics,
Vol. 20, No. 6, pp. 866–879, 2014.
[4] Vincent Lepetit and Marie-Odile Berger. An intuitive tool for outlining objects in video sequences: Applications to augmented and diminished reality.
Proc. International Symposium on Mixed Reality, pp. 159–160, 2001.
[5] Francesco I. Cosco, Carlos Garre, Fabio Bruno, Maurizio Muzzupappa, andMiguel A. Otaduy. Augmented touch without visual obtrusion. Proc. IEEE
International Symposium on Mixed and Augmented Reality, pp. 99–102,
2009.
[6] Zhuwen Li, Yuxi Wang, Jiaming Guo, Loong-Fah Cheong, and Steven ZhiYing Zhou. Diminished reality using appearance and 3D geometry of internet
photo collections. Proc. IEEE International Symposium on Mixed and Augmented Reality, pp. 11–19, 2013.
[7] 森尚平, 小向啓文, 柴田史久, 木村朝子, 田村秀行. 隠消現実感における隠背景平面拘束と周辺参照領域の効果的利用. 日本バーチャルリアリティ学会論文誌, Vol. 19, No. 2, pp. 131–140, 2014.

42

[8] Shohei Mori, Fumihisa Shibata, Asako Kimura, and Hideyuki Tamura. Efficient use of textured 3D model for pre-observation-based diminished reality. Proc. IEEE International Symposium on Mixed and Augmented Reality
Workshops, pp. 32–39, 2015.
[9] Norihiko Kawai, Masayoshi Yamasaki, Tomokazu Sato, and Naokazu Yokoya.
Diminished reality for AR marker hiding based on image inpainting withreflection of luminance changes. ITE Transactions on Media Technology
and Applications, Vol. 1, No. 4, pp. 343–353, 2013.
[10] Norihiko Kawai, Tomokazu Sato, Yuta Nakashima, and Naokazu Yokoya.
AR marker hiding with real-time texture deformation. Proc. IEEE International Symposium on Mixed and Augmented Reality Workshops, pp. 26–31,
2015.
[11] Norihiko Kawai, Tomokazu Sato, and Naokazu Yokoya. Diminished reality
considering background structures. Proc. IEEE International Symposium on
Mixed and Augmented Reality, pp. 259–260, 2013.
[12] 稲葉正樹. 実世界環境モデル化による屋外複合現実感のための頑健な位置合
わせ. 東京大学大学院 情報理工学系研究科 修士論文, 2013.

[13] 神原誠之, 横矢直和. 現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感. 画像の認識・理解シンポジウム, Vol. 2,

pp. 247–252, 2004.
[14] Jan Jachnik, Richard A. Newcombe, and Andrew J. Davison. Real-time
surface light-field capture for augmentation of planar specular surfaces. Proc.
IEEE International Symposium on Mixed and Augmented Reality, pp. 91–97,
2012.
[15] 安原広幸, 間下以大, 清川清, 竹村治雄. AR のための光源環境と物体の反射特性のオンライン推定. 研究報告コンピュータビジョンとイメージメディア,

No. 54, pp. 1–6, 2013.
43

[16] Kenji Hara, Ko Nishino, and Katsushi Ikeuchi. Determining reflectance andlight position from a single image without distant illumination assumption.
Proc. IEEE International Conference on Computer Vision, pp. 560–567,
2003.
[17] Mark W. Powell, Sudeep Sarkar, and Dmitry Goldgof. A simple strategy
for calibrating the geometry of light source. IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 23, No. 9, pp. 1022–1027, 2001.
[18] Hirokazu Kato and Mark Billinghurst. Marker tracking and hmd calibration
for a video-based augmented reality conferencing system. Proc. IEEE andACM International Workshop on Augmented Reality, pp. 85–94, 1999.
[19] Gregory Baratoﬀ, Alexander Neubeck, and Holger Regenbrecht. Interactive
multi-marker calibration for augmented reality applications. Proc. International Symposium on Mixed and Augmented Reality, pp. 107–116, 2002.
[20] Georg Klein and David Murray. Parallel tracking and mapping on a camera phone. Proc. IEEE International Symposium on Mixed and Augmented
Reality, pp. 83–86, 2009.
[21] Richard A. Newcombe, Steven J. Lovegrove, and Andrew J. Davison.
DTAM: Dense tracking and mapping in real-time. Proc. IEEE International
Conference on Computer Vision, pp. 2320–2327, 2011.
[22] Jakob Engel, Thomas Schöps, and Daniel Cremers. LSD-SLAM: Large-scaledirect monocular slam. Proc. European Conference on Computer Vision, pp.
834–849, 2014.
[23] Takafumi Taketomi, Tomokazu Sato, and Naokazu Yokoya. Real-time andaccurate extrinsic camera parameter estimation using feature landmark
database for augmented reality. Computers & Graphics, Vol. 35, No. 4,
pp. 768–777, 2011.
44

[24] Jan Herling and Wolfgang Broll. Advanced self-contained object removal for
realizing real-time diminished reality in unconstrained environments. Proc.
IEEE International Symposium on Mixed and Augmented Reality, pp. 207–
212, 2010.
[25] Akihito Enomoto and Hideo Saito. Diminished reality using multiple handheld cameras. Proc. ACCV 07 Workshop on Multidimensional and Multiview Image Processing, Vol. 7, pp. 130–135, 2007.
[26] Siim Meerits and Hideo Saito. Real-time diminished reality for dynamic
scenes. Proc. IEEE International Symposium on Mixed and Augmented Reality Workshops, pp. 53–59, 2015.
[27] Paul E. Debevec, Camillo J. Taylor, and Jitendra Malik. Modeling andrendering architecture from photographs: A hybrid geometry- and imagebased approach. Proc. ACM Annual Conference on Computer Graphics andInteractive Techniques(SIGGRAPH), pp. 11–20, 1996.
[28] Zeev Farbman, Gil Hoﬀer, Yaron Lipman, Daniel Cohen-Or, and Dani
Lischinski. Coordinates for instant image cloning. ACM Transactions on
Graphics, Vol. 28, No. 3, pp. 67–74, 2009.
[29] Norihiko Kawai and Naokazu Yokoya. Image inpainting considering symmetric patterns. Proc. International Conference on Pattern Recognition, pp.
2744–2747, 2012.

45