NAIST-IS-MT1351048

修士論文

複数の透視投影歪みの排除基準を用いた画像修復

笹尾 海斗

2015 年 3 月 11 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
笹尾 海斗

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）複数の透視投影歪みの排除基準を用いた画像修復 ∗
笹尾 海斗

内容梗概
写真についた傷などの画像内の不要な部分を取り除き，その欠損領域を自動的に修復する画像修復に関する研究が広く行われている．従来，パターン類似度を用いて欠損領域全体の尤もらしさに基づくエネルギー関数を定義し，それを最小化することで欠損領域を修復する手法が提案されている．この手法では画像中のテクスチャと調和したテクスチャを欠損領域に再現し，多様なシーンで良好な結果を得られるが，画像の撮影位置に依存して生じる画像上の透視投影歪みを考慮しておらず，透視投影歪みが大きい領域では不自然な修復結果となることが多い．
このような問題に対して，ユーザの手入力を介して画像内の透視投影歪みを排除し，画像修復を行う手法が提案されているが，ユーザの手入力には専門的な知識や経験が求められ，ユーザにとって大きな負担となる．一方で，自動で透視投影
歪みを考慮した画像修復も提案されているが，対象が人工物などにより構成される消失点が容易に検出できるシーンに限定されている．以上を踏まえ，本論文では様々なシーンに対応した自動的な画像修復の実現を目的として，複数の透視投
影歪みの自動排除を実現する手法を用いてそれぞれ歪みの排除および画像修復を行い，修復結果を元の見え方に戻したあと，その中からユーザに使用したい修復結果を選択させるシステムを提案する．本研究では自動的な透視投影歪み排除の手法として，テクセルの大きさを均一化する手法，行列のランクを利用する手法，
消失点を利用する手法を用いる．また，これらの手法では透視投影歪みを排除することのみを目的としているため，歪み排除後の画像の解像度を任意に設定でき∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1351048,
2015 年 3 月 11 日.

iる．そこで，本研究では，修復結果を元の見え方に戻す際にボケが生じないよう，
入力画像における欠損領域の最大解像度を考慮し，自動的な解像度の調整を行う．
実験では，まず透視投影歪みを擬似的に再現した複数の画像を用い，透視投影歪みの程度と修復結果の関係を検証する．また様々な実画像に対して欠損領域の修復を行い，主観的評価実験による従来手法との比較により提案システムの有効性
を示す．

キーワード
画像修復, 透視投影歪み, テクセル, ランク, 消失点iiImage Inpainting Using Multiple Criteria for
Correcting Perspective Distortion∗
Hiroto Sasao

Abstract
Image inpainting has been widely investigated to remove unwanted parts ofimages such as scratches in a photo and automatically fill in the missing regions.
One of the eﬀective approaches is an exemplar-based one, which optimizes anobjective function based on pattern similarity. This method generates texturesin the missing regions that are consistent with those in the rest of image, andobtain good results for a variety of scenes. However, it often generates implausible results for scenes with perspective distortion caused depending on camera
positions because the objective function has not considered perspective distortion. Though image inpainting with manually correcting perspective distortion
was proposed for this problem, it requires a user to have specialized knowledge
and experiences. On the other hand, although image inpainting with automatic
correcting perspective have been proposed, the target scene is limited to artificial one in which vanishing points are easily detectable. This thesis proposes a
new system that outputs image inpainting results that are generated by applying
image inpainting to images whose perspective distortions are corrected by threemethods for automatic correction of perspective distortion using the following criteria: texel size, matrix rank, and vanishing points, and provides user’s preferable
one from them. The correction methods are designed only to correct perspective∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1351048, March 11, 2015.

iii

distortion, and the resolution of corrected image is arbitrary. For this issue, we
adjust the resolution of corrected image considering the highest resolution of themissing region in the input image so that the inpainted result does not get blurrywhen the corrected and inpainted image is transformed to the original appearance. Experiments examine the relation between degree of perspective distortionand image inpainting results by producing distortions by simulation. We also
show the eﬀectiveness of the proposed system by subjectively comparing resultsby the proposed and conventional methods with real images.

Keywords:
image inpainting, perspective distortion, texel, rank, vanishing pointiv

目次
1. はじめに

1

2. 画像修復に関する従来研究および本研究の位置付けと方針

42.1

画像修復に関する従来研究 . . . . . . . . . . . . . . . . . . . . . .

4

2.1.1

統計ベースの画像修復 . . . . . . . . . . . . . . . . . . . .

4

2.1.2

輝度値の連続性を用いる画像修復 . . . . . . . . . . . . . .

5

2.1.3

事例ベースの画像修復 . . . . . . . . . . . . . . . . . . . .

7

2.2

透視投影歪みの排除に関する従来研究. . . . . . . . . . . . . . .

14

2.3

本研究の位置付けと方針および本論文の構成 . . . . . . . . . . . .

16

3. 透視投影歪みを自動排除した画像修復

18

3.1

画像修復手法の概要. . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2

透視投影歪みの自動排除 . . . . . . . . . . . . . . . . . . . . . . .

20

3.2.1

テクセルの大きさを均一化する手法 . . . . . . . . . . . . .

20

3.2.2

行列のランクを利用する手法 . . . . . . . . . . . . . . . .

23

3.2.3

消失点を利用する手法 . . . . . . . . . . . . . . . . . . . .

24

3.3

解像度の調整 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.4

画像修復 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

3.4.1

エネルギー関数の定義 . . . . . . . . . . . . . . . . . . . .

26

3.4.2

エネルギー関数の最小化 . . . . . . . . . . . . . . . . . . .

29

3.4.3

粗密法による局所解の回避と処理の高速化 . . . . . . . . .

30

4. 実験

31

4.1

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

4.2

シミュレーション画像を用いた評価実験 . . . . . . . . . . . . . .

32

4.2.1

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

4.2.2

評価結果と考察 . . . . . . . . . . . . . . . . . . . . . . . .

35

実画像を用いた被験者による主観的評価実験と考察 . . . . . . . .

42

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

4.3

4.3.1

v

4.3.2

評価結果と考察 . . . . . . . . . . . . . . . . . . . . . . . .

43

5. まとめ

55

謝辞

56

参考文献

57

vi

図目次
1

安田ら [1] の手法を用いた画像修復の例 . . . . . . . . . . . . . . .

52

Bornemann ら [15] の手法を用いた画像修復の例 . . . . . . . . . .

73

天野ら [26] の手法を用いた画像修復の例 . . . . . . . . . . . . . .

94

Drori ら [31] の手法を用いた画像修復の例 . . . . . . . . . . . . .

105Wexler ら [46] の手法を用いた画像修復の例. . . . . . . . . . . .

11

6

Kawai ら [48] の手法を用いた画像修復の例 . . . . . . . . . . . . .

12

7

Darabi ら [49] の手法を用いた画像修復の例 . . . . . . . . . . . . .

128Pavić ら [50] の手法を用いた画像修復の例 . . . . . . . . . . . . .

13

9Huang ら [53] の手法を用いた画像修復の例 . . . . . . . . . . . . .

1410

透視投影歪みが画像修復に影響を及ぼす例 . . . . . . . . . . . . .

15

11

提案システムの処理の流れ . . . . . . . . . . . . . . . . . . . . . .

19

12

テクセルの大きさの均一化による透視投影歪み排除の例 . . . . . .

21

13

テクセルの大きさを均一化する処理の流れ 1(l1 − l2 空間) . . . . .

22

14

テクセルの大きさを均一化する処理の流れ 2((l1 − l2 ) − d′ 空間)

.

22

15

行列のランクを利用した透視投影歪み排除の失敗例 . . . . . . . .

24

16

消失点と消失線の関係 . . . . . . . . . . . . . . . . . . . . . . . .

25

17

歪み排除によって画像が引き伸ばされる例 . . . . . . . . . . . . .

26

18

画像上の各領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

19

シミュレーションによる評価実験環境. . . . . . . . . . . . . . .

33

20

シミュレーションに用いた画像 . . . . . . . . . . . . . . . . . . .

33

21

アンケートの時のランダム配置の例 . . . . . . . . . . . . . . . . .

34

22

シミュレーションによる評価実験結果. . . . . . . . . . . . . . .

37

23

歪みのない画像に対して歪み排除手法を適用した結果 . . . . . . .

37

24

修復結果と平均スコア (テクスチャ2) . . . . . . . . . . . . . . . .

38

25

手法ごとの平均スコアの比較 (テクスチャ2) . . . . . . . . . . . .

38

26

修復結果と平均スコア (テクスチャ4) . . . . . . . . . . . . . . . .

39

27

手法ごとの平均スコアの比較 (テクスチャ4) . . . . . . . . . . . .

39

28

修復結果と平均スコア (テクスチャ5) . . . . . . . . . . . . . . . .

40

vii

29

手法ごとの平均スコアの比較 (テクスチャ5) . . . . . . . . . . . .

40

30

修復結果と平均スコア (テクスチャ10). . . . . . . . . . . . . . .

41

31

手法ごとの平均スコアの比較 (テクスチャ10) . . . . . . . . . . . .

41

32

実画像実験に用いた画像 . . . . . . . . . . . . . . . . . . . . . . .

4233

実画像を用いた主観的評価実験の結果. . . . . . . . . . . . . . .

4434

手法 (A) が他手法よりも平均評価値が高い修復画像とその評価値 .

4535

手法 (B) が他手法よりも平均評価値が高い修復画像その評価値 . .

4536

手法 (C) が他手法よりも平均評価値が高い修復画像その評価値 . .

4637

手法 (D) が他手法よりも平均評価値が高い修復画像その評価値 . .

4638

手法 (E) が他手法よりも平均評価値が高い修復画像その評価値 . .

46

39

画像 24 に対する歪み排除画像 . . . . . . . . . . . . . . . . . . . .

50

40

画像 24 に対する修復画像. . . . . . . . . . . . . . . . . . . . . .

50

41

画像 29 に対する歪み排除画像 . . . . . . . . . . . . . . . . . . . .

51

42

画像 29 に対する修復画像. . . . . . . . . . . . . . . . . . . . . .

51

43

画像 18 に対する歪み排除画像 . . . . . . . . . . . . . . . . . . . .

52

44

画像 18 に対する修復画像. . . . . . . . . . . . . . . . . . . . . .

5245

画像 3 に対する歪み排除画像 . . . . . . . . . . . . . . . . . . . . .

53

46

画像 3 に対する修復画像 . . . . . . . . . . . . . . . . . . . . . . .

53

47

画像 25 に対する歪み排除画像 . . . . . . . . . . . . . . . . . . . .

54

48

画像 25 に対する修復画像

54. . . . . . . . . . . . . . . . . . . . . .

表目次
1

透視投影歪み排除手法の特徴. . . . . . . . . . . . . . . . . . . .

162

本実験での各種パラメータの設定 . . . . . . . . . . . . . . . . . .

32

3

30 枚の各修復画像に対する平均評価値と標準偏差 . . . . . . . . .

44

viii

1. はじめにインターネットの普及に伴い，個人が日常的に撮影した写真や映像を Twitter
や Facebook をはじめとする SNS (Social Networking Service) に掲載することが頻繁に行われている．このような時，掲載する画像や映像内に著作権やプライバ
シーの問題となる物体や利用意図に沿わない物体などが写り込み，そのままでは利用できない場合がある．また，過去に撮影済みのアナログ写真を電子化し，各種のコンテンツとして利用する際，アナログ写真の物理的な損傷（キズ，よごれ等）によりそのままでの利用が困難である場合もある．このような問題に対して，
写真についたキズや意図せず写り込んでしまった物体などの画像内の不要領域を取り除き，取り除かれた領域（以下，欠損領域）を自動的に違和感なく修復することで画像の利用価値を高める画像修復に関する研究がなされている．これら画像修復の手法は，以下のように大別できる．

• 統計ベースの手法 [1–3]• 輝度値の連続性を用いる手法 [4–22]• 事例ベースの手法 [23–53]
統計ベースの手法では，入力画像をパラメトリックな統計モデルに当てはめて分析し，そのモデルに近づけるように欠損領域の修復を行う．この手法では，当てはめたモデルで表現できるテクスチャを復元する際には良好な結果が得られる
が，実画像においてはそのようなテクスチャはあまり存在せず，多くの場合良い結果が得られない．輝度値の連続性を用いる手法では，欠損領域の周りから輝度値を滑らかに補間することで欠損領域を修復する．この手法は，写真に付いた引っかき傷のような細い領域に対しては良好な修復画像を得ることができる．しかし，大きな領域を修復した場合には細かいテクスチャが表現できず，不鮮明な画像が生成されるという問題がある．
事例ベースの手法は，特徴空間を用いる事例ベースの手法，局所的な事例ベースの手法，大局的な事例ベースの手法，パターンを拡張した事例ベースの手法に分類できる．これらの手法は，欠損領域と欠損領域以外の領域全体 (以下，デー1タ領域) のパターン類似度に基づいてデータ領域のテクスチャを欠損領域内に再現することで画像修復を行い，細かいテクスチャを表現している．この手法において，高品位な結果を得るためには，事例として利用される画像内に適切なテク
スチャパターンが存在することが必要である．しかし，従来手法の多くは，画像中に存在するテクスチャパターンをそのまま事例として利用しており，このような場合には適切な事例が存在しないことで良好な結果が得られない場合も多い．
この問題に対して，近年，修復に用いるテクスチャパターンの明度の違いや回転・拡大縮小・対称性を考慮することで，利用可能な事例を拡張し，画像内で照明条件等によりパターンの明度に変化がある場合や軸対称や回転対称なパターンを含む場合でも比較的良好な修復結果を出力できる手法が提案されている．しかし，これらの手法においても，画像の撮影位置に依存して生じる画像上の透視投
影歪みを考慮しておらず，透視投影歪みが大きい領域では不自然な修復結果となることが多い．このような問題に対して，ユーザの手入力を介して透視投影歪みを排除し，画像修復を行う手法 [50–52] が提案されているが，ユーザの手入力には専門的な知識や経験が求められる．一方で，自動で透視投影歪みを考慮した画像修復手法 [53] も提案されているが，対象が人工物 (例えばビルや窓，敷き詰められたレンガ) などにより構成されるような消失点が容易に検出できるシーンに限定される問題がある．
本論文では，より多くのシーンにおいて透視投影歪みを考慮した画像修復を実現するために，異なる複数の指標を用いた透視投影歪みの自動排除手法を用いて画像修復を行い，ユーザに複数の修復結果を提示するシステムを提案する．すな
わち，異なる複数の透視投影歪みの排除基準を用いた修復を並列に行うことで，特定の手法が不得意とする対象シーンについて，全く利用できない結果のみが出力されることを回避する．なお，本研究では，自動的な透視投影歪み排除の手法として，テクセルの大きさを均一化する手法 [54]，行列のランクを利用する手法 [55]，消失点を利用する手法 [53] を用いる．これらの手法は透視投影歪みを排除することのみを目的としており歪み排除後の解像度を任意に設定できるが，本研究では，修復結果を元の見え方に戻す際にボケが生じないよう，入力画像における欠損領域の最大解像度を考慮し，自動的な解像度の調整を行うことで画像修

2

復を効率よく行い，かつ修復結果のボケの発生を抑制する．
以降，2 章では，画像修復に関する従来研究と本研究の位置づけと方針について述べる．3 章では，透視投影歪みの自動排除を実現する異なる 3 つの手法を用いて画像修復を行い，その中からユーザに使用したい修復結果を選択させるシス
テムを提案する．4 章では，透視投影歪みを擬似的に再現した複数の画像を用いた透視投影歪みの程度と画像修復結果の関係の検証，および様々な特徴を持つ実画像に対して提案システムを適用し，従来手法との比較および主観的評価実験を行うことで，提案システムの有効性を示す．最後に 5 章で，本論文のまとめと今後の課題について述べる．

3

2. 画像修復に関する従来研究および本研究の位置付けと方針
近年，個人が日常的に撮影した写真や映像をネット上に掲載することが頻繁に行われている．しかし，それらの中には著作権やプライバシーの問題となる物体が写り込んでいるため，そのまま利用できない場合がある．このような物体を取り除くために，多様なシーンに対応した画像修復手法の開発が求められている．
特に本研究では，修復結果に大きな影響を与える透視投影歪みの排除に着目する．
本章では，このような画像修復に関する従来研究および，透視投影歪みの排除に関する従来研究を概観し，最後に本研究の位置づけと方針について記述する．なお，修復領域の自動的な検出に関する研究 [56–59] も行われているが，本研究では欠損領域の修復のみに着目し，修復領域はユーザによってあらかじめ与えられるものとする．

2.1 画像修復に関する従来研究
画像修復に関する従来研究は，統計ベースの手法 [1–3]，欠損領域周辺の画素値を利用する手法 [4–22]，事例ベースの手法 [23–53] に大別される．また，事例
ベースの手法は，特徴空間を用いる事例ベースの手法 [23–27]，局所的な事例ベースの手法 [28–42]，大域的な事例ベースの手法 [43–46]，パターンを拡張した事例
ベースの手法 [47–53] に分類できる．どの手法も現在までに多くの研究がなされており，様々な工夫がなされている．以下では，それぞれの手法について順に特徴と問題点を述べる．

2.1.1 統計ベースの画像修復
統計ベースの画像修復は，入力画像をパラメトリックな統計モデルに当てはめて分析し，そのモデルに近づけるようにテクスチャ合成を繰り返すことで欠損領域の修復を行う．安田ら [1] は，図 1 に示すように，マルコフ確率場を基礎としたガウシアングラフィティカルモデルを用いて画像修復を行う手法を提案してい4

(a) 原画像(b) 文字領域を取り除いた修復画像

図 1: 安田ら [1] の手法を用いた画像修復の例る．これは比較的短時間で修復結果を得られるが，欠損領域に隣接する画素値のみを考慮しているためエッジなどの情報が失われる問題がある．これに対して，

Levin ら [2] は, 局所的な特徴のヒストグラムを用いて画像修復を行う手法を提案している．また，高橋ら [3] は，画像が自己回帰型モデルに従うと仮定し，画像修復を行う手法を提案している．この手法は，構造化行列のランクを用いて最適なモデル次数を決定し，修復結果の品質を高めている．しかし，これらの手法は，当てはめたモデルで表現できるテクスチャを復元することはできるが，大部分の実画像は複雑なテクスチャ構造を有しているため，単純なモデルではテクスチャを表現できず，違和感のある修復結果となることが多い．

2.1.2 輝度値の連続性を用いる画像修復
欠損領域周辺の画素値を利用する画像修復は，欠損領域内に欠損領域の境界部
分の輝度値が滑らかに伝播することで違和感のない画像が生成されるという考えに基づき，欠損領域の外側から内側に向かって画素値を順に補間することで欠損領域の修復を行う．このようなアプローチにおいて，多くの手法はエッジを保存することに着目し修復を行っている．

5前田ら [4] は，欠損領域の境界部にエッジが存在する場合には，エッジの方向に従って連続的に欠損領域内部へエッジを延ばし，エッジがない場合には注目画
素周辺の画素値の平均値をとることで欠損領域の修復を行う手法を提案している．
この手法では欠損領域の境界部分から内側へ逐次的に画素を埋めていくため自然画像への適応が困難という問題がある．また，Masnou ら [5] は，欠損領域内で繋がる複数の二つのエッジの組をあらかじめ自動的に対応させ，それらを直線的に結ぶことで修復を行っているが，欠損領域境界においてエッジが複雑な場合にはエッジの対応付けが困難であり，またエッジを直線的に結ぶため，曲線的なエッジが欠損領域に続く画像では修復結果に違和感が生じる．また，Oliveira ら [6] は，欠損領域の画素を 2 種類のカーネルを用いて適切な重み付けをした近傍の画素値の加重平均で補間するという処理を繰り返すことで修復を行う手法を提案している．Hadhoud ら [7] は，この手法を改良し，加重平均値で補間する画素の位置を変えることにより高速化を図った修復手法を提案している．しかし，これらの手
法はエッジが滑らかに繋がらない問題がある．これらの手法に対して，以下のような基準を用いてエッジを滑らかに接続することで画像を修復する手法が提案されている．

• 偏微分方程式 (Partial Diﬀerential Equation) を用いる手法 [8–15]• 全変動 (Total Variation) を用いる手法 [16–19]• 弾性方程式を用いる手法 [20]• マンフォード・シャー関数を用いる手法 [21]• オプティカルフローを用いる手法 [22]これらの手法を用いることで，輝度値の連続性とエッジのつながりを考慮することができ，引っかき傷やテロップのような小さな欠損領域に対しては図 2 に示す
ように良好な修復画像を得ることができる．しかし，原理的に細かい複雑なテクスチャを表現することができず，大きな領域を修復した場合には違和感のある画像が生成されるという問題がある．

6

(a) 原画像(b) 柵を取り除いた修復画像

図 2: Bornemann ら [15] の手法を用いた画像修復の例

2.1.3 事例ベースの画像修復
事例ベースの画像修復は，特徴空間を用いる手法，局所的な事例ベースの手法，
大域的な事例ベースの手法，パターンを拡張した事例ベースの手法に分類できる．
これらの手法は，データ領域のパターン類似度に基づいて画像修復を行い，細かいテクスチャを表現している．以下，それぞれの手法について記述する．

[特徴空間を用いる事例ベースの画像修復]
特徴空間を用いる事例ベースの画像修復は，欠損領域を含む一定範囲の領域に対して特徴量を算出し，その領域での特徴量と最も近いデータ領域上の特徴ベク
トルを利用することで欠損領域を補間する手法である．このような手法では，特徴量として周波数ベクトルや，画像から得られる固有ベクトルが従来用いられてきた．
周波数ベクトルを用いる手法として，東海林 [23] は，データ領域中のフーリエ振幅ベクトル情報を利用することで欠損領域を修復する手法を提案している．この手法は，適当な大きさをもつ部分画像のフーリエ振幅スペクトルの位置不変性を仮定することで欠損領域を修復するため，周期的なテクスチャパターンを持つ
画像では良好な結果を得られるが，そうでない場合は良好な結果を得ることが難しい．また，Hirani ら [24] は，空間領域と周波数領域の両方を用いて欠損領域を7

修復する手法を提案している．しかし, ユーザが修復に用いる領域を手動で指定する必要があり，自動で修復することができない．
これらの手法に対して，一般的な周波数ベクトルよりも画像特有の特徴量を用いた方が良好な結果を得られるとの考えから，画像から得られる固有ベクトルを用いる修復手法が提案されている．天野らは，画像が持つフラクタル的な性質に着目し，自己相関性に基づいた BPLP 法 [25] および BPLP 法を改良することで高次元の非線形射影を求める kBPLP 法 [26] を提案している．これらの手法では，自己相関性の高い画像に対して，図 3 に示すように欠損領域内に細かいテクスチャを再現し違和感の少ない修復を行うことができる．また，文献 [25] ではフーリエ基底を用いた結果との比較を行い，固有ベクトルを用いることの有効性を示している．井添ら [27] は，画像のフラクタル性と局所性に着目することに加え，カーネル主成分分析を用いて修復を行う kernel FID 法を提案している．この手法も，天野らの手法と同様にデータ領域のテクスチャを用いて生成した固有ベクトルから修復を行うため，欠損領域内の細かいテクスチャを再現することが可能である．
このように，特徴空間を用いる手法は，欠損領域内に細かいテクスチャを再現することが可能である．しかし，修復には欠損領域周辺の特徴量を用いるため，画像中に欠損領域を含むウインドウをあてはめた時，そのウインドウ内に必ずデータ領域を含まなければならないという原理的な制約がある．そのため，1 つのウ
インドウに収まらないような大きな欠損領域を持つ画像に対しては良好な結果を得ることが難しい．

[局所的な事例ベースの画像修復]
局所的な事例ベースの画像修復は，データ領域から欠損領域の境界のテクスチャパターンと類似する部分を探索し，最も類似したテクスチャを逐次的に合成する手法であり，図 4 に示すように，大きな欠損領域に対しても細かいテクスチャを表現した修復が可能である．Efros ら [28] は，テクスチャ合成の分野で用いられてきた合成手法を画像修復に対して適用した．また，Bertalmio ら [29] は，この手法を応用し，輝度値を滑らかに補間する手法 [8] とテクスチャ合成の手法 [28]を組み合わせた．これらの手法は，欠損領域の境界部分から欠損領域内部へと逐次的に合成を行い，一度合成された画素値は書き換えないという制約を用いるた

8

(a) 原画像(b) テロップを取り除いた修復画像

図 3: 天野ら [26] の手法を用いた画像修復の例
め，短時間で修復が完了する反面，生成される画像の品質がテクスチャの合成順
序に大きく依存し，テクスチャの不連続が起こりやすい．この問題に対して，テ
クスチャの合成順序に着目し，より違和感の少ない画像を生成するために，以下のような様々な基準を用いた手法が提案されてきた．

• テクスチャの類似度 [30]• inverse matte [31]
• 決定済みの画素数 [32]
• 決定済みの画素数とエッジの強さ [33–35]• 決定済みの画素数とエッジの強さと類似度 [36]• テクスチャの希少度 [37]しかし，これらの手法においても，やはり欠損領域の外部で複雑なパターン構造を持つ画像に対しては不連続なテクスチャが生じやすいという問題がある．近年，
この問題を解決するために様々な工夫がなされている．Oliveira ら [38] は，Droriらの手法 [31] をベースにして，ウインドウサイズ等のパラメータを変化させながら独立に画像修復を適用し，それらの結果を統合した後，超解像度処理を行うことで修復する手法を提案している．しかし，パラメータごとに大きく異なる修復

9

(a) 原画像(b) 球体を取り除いた修復画像

図 4: Drori ら [31] の手法を用いた画像修復の例
結果が得られるようなシーンでは，違和感のある修復結果となる．また，Daisy
ら [39] は Criminisi らの手法 [33] をベースにして，テクスチャ合成をした後，ブレンディングを行うことでテクスチャの不連続を軽減する手法を提案しているが，複雑なテクスチャに対しては修復結果にボケが発生する問題がある．
これに対して，エッジ部分のつながりをあらかじめ自動的または手動で指定し，優先的にテクスチャを合成することでこの問題を回避する手法 [40–42] が提案されている．しかし，テクスチャが複雑な場合には，修復に効果的なエッジを正しく推定することが難しい．

[大局的な事例ベースの画像修復]
局所的な事例ベースの画像修復では，不連続なテクスチャが生じやすいという問題があるため，全体最適化の枠組みを用いることでこれを解決する手法が提案されている．Komodakis ら [43] は，Belief Propagation を応用した Priority-BP を用いて目的関数を最適化し，欠損領域にラベル付けをすることで不連続なテクス
チャを生じさせないような最適なテクスチャの合成順を決定する手法を提案している．また，Pritch ら [44] は，欠損領域の画素とデータ領域の画素を対応付ける

sift-map をグラフカットを用いて最適化する手法を提案し，Allene ら [45] は，欠損領域を様々な形の断片に分割し，パーティクルフィルタを用いて最適となるテク
スチャの組み合わを決定し合成を行う手法を提案している．また，Wexler ら [46]は，欠損領域と欠損領域以外のパターン類似度を用いて画像の尤もらしさを表す
エネルギー関数を定義し，これを欠損領域全体に対して最適となるよう各画素値

10(a) 原画像(b) 人物を取り除いた修復
画像

図 5: Wexler ら [46] の手法を用いた画像修復の例を決定することで画像を修復する手法を提案している．この手法では，図 5 に示
すように，不連続なテクスチャのない修復結果が得られている．しかし，これまで挙げた手法は，データ領域のそのままのテクスチャを事例として用いて修復するため，欠損領域に利用できそうな一見類似した物体がデータ領域に存在したとしても類似物体の明度や見え方の差異がある場合はその差異に対応できず，そのような事例を有効に活用することができない．

[パターンを拡張した事例ベースの画像修復]
パターンを拡張した事例ベースの画像修復は，入力画像内の類似パターンが不足する問題に対して，明度変化や幾何学的変換，透視投影歪みを考慮した類似パターンを新たに生成することで，より多様な画像に対して違和感のない欠損領域の修復を実現している．Kawai ら [47] は，従来の事例ベース手法で用いられているエネルギー関数 [46] を拡張し，画像内における類似パターンの明度変化にも対応できる画像修復を実現した．また，同著者らは，対称性を考慮した手法 [48] を提案し，図 6 に示すように画像上に存在しないテクスチャパターンについても，対称的なテクスチャパターンを新たに生成することで自然なテクスチャを生成する手法を提案している．Darabi ら [49] は，エネルギー関数をテクスチャの回転，お11(a) 原画像(b) 角を復元した修復画像

図 6: Kawai ら [48] の手法を用いた画像修復の例(a) 原画像(b) 天井を復元した修復画像

図 7: Darabi ら [49] の手法を用いた画像修復の例
よび拡大縮小を考慮して拡張することで，図 7 に示すように円状でかつスケール
変化のある物体が欠損している場合でも，自然な幾何学的構造を持つテクスチャを生成する手法を提案している．これらの手法は，射影変換を決定するために推定すべきパラメータの多さから，撮影位置によって生じる透視投影歪みの影響を考慮していない．このため，透視投影歪みが画像中に存在する場合には，適切な類似パターンが存在せず，これによりテクスチャがうまく繋がらずに不連続が生じるという問題がある．
この問題に対して，ユーザが特殊なインタフェースを介して手入力によって透視投影歪みを排除するための情報を与え，その情報を基に画像修復を行う手法が提案されている．Pavić ら [50] は，ユーザに画像中に写り込んでいる物体の構造の12(a) 原画像(b) 騎手と馬を取り除いた修復画像

図 8: Pavić ら [50] の手法を用いた画像修復の例
情報をおおまかに与えさせ歪みを排除した後，画像修復を行う手法を提案している．この手法では，データ領域中の物体の構造を与え，かつ欠損領域中にはエッジ情報を付加することで，透視投影歪みによる不自然なテクスチャがなくかつエッジが自然に繋がる画像修復を実現している．また，Hao ら [51] や Huang ら [52]も，専用のインタフェースを介してユーザから物体の構造情報を入力させ，画像修復を行う手法を提案している．これらの手法では，図 8 に示すようにユーザが正しい情報を入力した場合は高品質な修復結果が得られるが，それには専門的な知識や経験が求められるため一般のユーザが用いることは困難である．
一方，自動的に透視投影歪みを考慮する画像修復手法が提案されている．Huang
ら [53] は，対象シーンが 3 面以下の平面で構成されているという仮定のもと，消失点を利用した自動的な射影変換行列の推定に基づく画像修復を行う手法を提案している．本手法では，透視投影歪みを排除する変換パラメータを考慮したエネ
ルギー関数を定義し，それを最小化することで自動修復を行うため，ユーザは欠損領域を含む画像を入力として与えるだけで，図 9 に示すような高品質な修復結果を得ることができる．しかし，対象が人工物 (ビルや窓，敷き詰められたレンガ) などにより構成される消失点が検出できるシーンに限定され，そうでない場
合には良好な結果が得られない問題がある．

13

(a) 原画像(b) 赤い領域を復元した修復画像

図 9: Huang ら [53] の手法を用いた画像修復の例

2.2 透視投影歪みの排除に関する従来研究
図 10(a) に示すように，一般的なカメラを用いて写真を撮影したとき，例えば壁や地面のタイルのような本来は同じ形・大きさであるはずの複数の物体が，透視投影によってそれぞれ異なる形・大きさとなって画像中に投影される．このような現象を透視投影歪みといい，この歪みが生じている画像に対して事例ベースの画像修復を適用すると，図 10(b) に示すようにテクスチャの不連続が生じ，違和感のある修復結果が生成される．この原因として，透視投影歪みによって画像上での同一物体の見かけが変化することで，欠損領域を埋めるのに適切な形や大きさのテクスチャパターンが画像上に表れないことが考えられる．
このような透視投影歪みの排除を実現する手法として，テクセルの大きさを均一化する手法 [54]，行列のランクを利用する手法 [55] が提案されており，また，
消失点を利用することで歪みを排除できる [60]. Aiger ら [54] は，シーン中に同一サイズの物体が多数存在することを前提に，対象となる物体の見かけ上の大きさが均一になるように射影変換パラメータを推定することで透視投影歪みを排除する手法を提案している．また，Zhang ら [55] は，画像をその画素値が要素となる行列として捉え，行列のランクを最小化するような射影変換パラメータを推定することで透視投影歪みを排除する手法を提案している．この手法は，規則的なテ
クスチャパターンを対象とした場合に有効であるが，対象となるテクスチャの前に大きな遮蔽物が存在する場合，歪み排除の精度が著しく低下する．一方で，消14

(a) 歪んだ画像(b) テクスチャの不連続が生じた修
復画像

図 10: 透視投影歪みが画像修復に影響を及ぼす例
失点を利用することで透視投影歪みを排除する手法 [60] が広く用いられており，

Huang ら [53] はこのアプローチを用いた画像修復手法を提案しているが，先に述べたように対象シーンが消失点が検出できるようなシーンに限定される．

15

表 1: 透視投影歪み排除手法の特徴
テクセルの大きさを均一化する手法[54]行列のランクを利用する手法[55]

消失点を利用する手法[53]

対象シーンの制限

シーン中に多数の同一物体が存在すること

テクスチャパターンが規則的であること

シーン中に平行線を検出できる物体があること

対象物以外の存在
による影響

小

大

小

2.3 本研究の位置付けと方針および本論文の構成
2.1 節で概観したように，既に多くの画像修復手法が提案されている．統計ベースの手法では，当てはめたモデルで表現できるテクスチャを復元することはできるが，大部分の実画像では複雑なテクスチャ構造を有しているため，単純なモデ
ルではテクスチャを表現できず，違和感のある修復結果となることが多い．輝度値の連続性を用いる手法では，引っかき傷のような細い欠損領域に対しては良好な結果を得られるが，細かいテクスチャを再現できないという特徴から，大きな欠損領域では修復結果にボケが発生しやすい．一方，事例ベースの手法においては，近年パターンの拡張も考慮されたことにより，多様な画像に対して良好な結果が得られるようになってきている．しかし，透視投影歪みに関しては，現状では専門的な知識や経験が求められる手動による操作が必要であったり，特定の制約を満たすシーンでしか良好な修復結果が得られないという問題が残されている．
透視投影歪みの排除手法の特徴を表 1 にまとめる．同表に示すように，現在までに複数の異なる指標を用いた透視投影歪みの排除手法：テクセルの大きさを均一化する手法 [54]，行列のランクを利用する手法 [55]，消失点を利用する手法 [53]が提案されているが，手法ごとに得意とする対象の性質が異なり，単一の手法のみで，良好な結果を得ることは難しい. 文献 [53] では，消失点を用いた透視投影
歪みの排除手法を画像修復に応用した事例が報告されているが，他の透視投影歪みの排除基準と画像修復の関係について，過去に論じられた事例は存在しない．
以上のことから，本論文では，上記の 3 つの透視投影歪みの排除手法 [53–55] を用いて，それぞれに独立に歪みの排除および画像修復を実行し，その中からユー
ザに使用したい修復結果を選択させる画像修復システムを提案する．これにより，
単純に１つの従来手法を適用することで画像修復を行うよりも，良好な結果が得

16

られる可能性を高める．
また，本論文では，擬似的に透視投影歪みを発生させた画像を用いて，歪みの程度と修復結果との関係を主観的評価実験を通じて明らかにする. 加えて，様々なシーンでの実画像を用いた修復を行い，主観的評価実験を通じて従来の画像修復手法 [48, 53] と比較することで，提案するシステムの有効性を客観的に示す.

17

3. 透視投影歪みを自動排除した画像修復
3.1 画像修復手法の概要
本論文では，初めに異なる 3 つの透視投影歪みの排除基準を用いて歪みを自動で排除し，それぞれ歪み排除を行った画像に対して適切な解像度を設定し，画像修復を適用した後に，これに透視投影歪みを加えることで元の見え方に戻し，その中からユーザに使用したい修復結果を選択させるシステムを提案する．本研究では，自動的な透視投影歪み排除の手法として，テクセルの大きさを均一化する
手法 [54]，行列のランクを利用する手法 [55]，消失点を利用する手法 [53] を用いる．また，透視投影歪みの排除を行わず，入力画像の見え方に対する修復画像をユーザに提示する選択肢に追加する．
提案システムの流れを図 11 に示す．まずユーザが画像上の不要な物体等の修
復したい領域を手動により指定し (a)，自動で透視投影歪みを排除する 3 つの手法をそれぞれ適用する (b-I)〜(b-III)．得られた歪み排除後の画像に対して，修復結果を元の見え方に戻す際にボケが生じないよう，入力画像における欠損領域の最大解像度を考慮し，自動的な解像度の調整を行なった後 (c)，変換後の画像上で画像修復を行う (d-I)．また，入力画像の見え方に対しても画像修復を行う (d-I

I)．次に，逆射影変換を行うことで修復画像を入力画像と同じ見え方に戻し (e)，これらの中からユーザに使用したい修復結果を選択させる (f)．このような手続きにより，ユーザに負担をかけることなく様々なシーンで発生する透視投影歪みを含む画像に対して，高品位な修復結果を提供する．
以下，自動で透視投影歪みを排除する 3 つの手法について記述する．次に，歪みを排除した画像に対して画像修復に適した解像度を設定する方法を述べ，最後に，具体的な画像修復手法について述べる．

18

入力：1枚の対象画像(a)欠損領域の指定(b-I)テクセルの大きさの均一化による透視投影歪みの排除(b-II)行列のランクを利用した
透視投影歪みの排除(b-III)消失点を利用した
透視投影歪みの排除(c)解像度の調整(d-I)射影変換画像上での画像修復(e)逆射影変換(f)ユーザによる選択

出力：1枚の修復画像

図 11: 提案システムの処理の流れ

19(d-II)画像修復

3.2 透視投影歪みの自動排除
本研究では，自動的に透視投影歪みを排除する手法として，テクセルの大きさを均一化する手法 [54]，行列のランクを利用する手法 [55]，消失点を利用する手法 [53]，の 3 つの自動的な透視投影歪みの排除手法を用いて，それぞれ射影変換
行列 Htexel ，Hrank ，Hvanish を算出し，透視投影歪みを排除する．ここで，一般的な射影変換行列は 9 個のパラメータからなるが，アフィン変換の成分は透視投影
歪みの排除には関係がないため，歪みを排除するために必要なパラメータは 2 つとなる．また，修復結果にボケが生じないように，歪み排除画像の縦と横の拡大率を決定するパラメータが必要となる．よって，透視投影歪みの排除に用いる射
影変換行列を以下のように定義する．
sx
H := 
 0
l1

0

0



sy


0


l2

1

(1)

ここで，H ∈ (Htexel ，Hrank ，Hvanish ) である．l1 ，l2 は透視投影歪みを排除するためのパラメータであり，sx ，sy は解像度の調整を行うパラメータである．以下，歪み排除パラメータ l1 ，l2 を算出する 3 つの歪みの排除手法についてそれぞれ述べ，

3.3 節で解像度の調整パラメータ sx ，sy の算出方法について述べる．

3.2.1 テクセルの大きさを均一化する手法
本項では，文献 [54] に基づくテクセルの大きさの均一化による自動的な透視投
影歪みの排除手法について述べる．透視投影歪みの影響により，本来は同じ形・大きさであるはずの複数の物体がそれぞれ異なる形・大きさとなって写し出される．この考えに基づき，対象画像を領域分割した上で，分割した各領域 (テクセル) を本来は形や大きさが同じ物体とみなし，図 12 に示すように，テクセルの大きさが均一になるような射影変換行列 Htexel を Hough 変換を用いて算出すること
で透視投影歪みを排除する．以下では，式 (??) の各パラメータ l1，l2 を算出す
る方法について述べる．本手法では，欠損領域を含む画像に対して領域分割 (分割数:N ) を行い，それぞれの領域に楕円を当てはめ，当てはめた楕円の長軸の ℓ2

20

(a) 入力画像(b) 歪みを排除した画像

図 12: テクセルの大きさの均一化による透視投影歪み排除の例
ノルム di (i = 1, 2, · · · , N ) をテクセルの大きさとして抽出する．ただし，領域分割は以下の流れで行う．

1. 画像全体に LoG(Laplacian of Gaussian) フィルタをかける．
2. 判別分析法を用いた 2 値化 [61] を適用する．
3. 欠損領域とエッジ以外の領域をラベリングする．
上記で抽出した各楕円の長軸の端点をそれぞれ (xi1 , yi1 )，(xi2 , yi2 ) とすると楕
円の長軸の ℓ2 ノルム di は以下の式で求まる．

di =√(xi1 − xi2 )2 + (yi1 − yi2 )2

(2)

′
′
また，射影変換行列 Htexel によって変形される各端点を (x′i1 , yi1)，(x′i2 , yi2) とすると，以下の関係式が成り立つ．

yi1
l1 xi1 + l2 yi1 + 1
yi2
′
=
yi2
l1 xi2 + l2 yi2 + 1xi1,
l1 xi1 + l2 yi1 + 1
xi2
x′i2 =,
l1 xi2 + l2 yi2 + 1

′
=
yi1

x′i1 =(3)

ここで，均一化後の各テクセルの大きさを d′ とすると以下の式が成り立つ．
√′′ 2d′ = (x′i1 − x′i2 )2 + (yi1
− yi2
)
(4)
√
= (ϕxi1 − φxi2 )2 + (ϕyi1 − φyi2 )221

全てが同じ長さになる位置

d1  d 2  d 3

y
d1

d2

y

l2

d3

d

x

d

d

x

l1

図 13: テクセルの大きさを均一化する処理の流れ 1(l1 − l2 空間)

最終的な l1と l の組合わせ

d’

2

l2

l2

l1

少

l1

多

図 14: テクセルの大きさを均一化する処理の流れ 2((l1 − l2 ) − d′ 空間)
ただし，ϕ := l1 xi1 +l12 yi1 +1 ，φ := l1 xi2 +l12 yi2 +1 とする．本研究では，図 13 に示すよ
うに，各テクセルの大きさについて式 (4) を l1 − l2 空間で描画し，その空間上で最も多く交わった l1 と l2 の組み合わせを用い，各テクセルの大きさを d′ に均一化する．ただし，d′ は未知の変数であり，d′ が変化すると l1 と l2 の組み合わせも変化するので，このままでは一意に l1 と l2 を決定できない．そこで，d′ を一定の値で変化させ，各 d′ における l1 と l2 の組み合わせを決定し，最後に最も多くなる l1 と l2 の組み合わせを探索することで，射影変換行列 Htexel を算出する (図

14)．

22

なお，この手法を欠損領域を含む画像に適用する場合，欠損領域は Hough 空間の投票値に影響を与えないという特徴がある．ただし，透視投影歪みの排除結果の精度はテクセルの大きさを抽出するための領域分割の精度に大きく依存することから，本手法を適用する場合には精度の高い領域分割が求められる．

3.2.2 行列のランクを利用する手法
本項では，文献 [55] に基づく行列のランクを利用した自動的な透視投影歪みの排除について述べる．この手法では，入力された画像をその画素値が要素となる行列として捉え，射影変換後の行列が低ランク行列になるような射影変換行列

Hrank を算出することで透視投影歪みを排除する．透視投影歪みが排除された低−1
ランク行列である画像 I 0 が射影変換行列 Hrankによって変形され，高ランクな行列である入力画像 I が得られたと考えると，以下の関係式が成り立つ．

I ◦ Hrank = I 0 + E(5)

ここで，E はノイズを表す行列とする．これを制約として，以下のランク最小化
問題を定式化する．

arg min rank(I 0 ) + γ||E||0 ただし I ◦ Hrank = I 0 + E(6)

I 0 ,E,Hrank

ただし，||E||0 は E の要素において 0 でない要素の数，γ は重み (γ >0) である.
上式の目的関数は非凸関数であるため不連続であるため，文献 [55] では式 (6) を以下のように近似することで凸関数に置き換えている．

arg min ||I 0 ||∗ + γ||E||1 ただし I ◦ Hrank = I 0 + E(7)

I 0 ,E,Hrank

ここで，|| ||∗ はランクを近似する核ノルムであり，|| ||1 は L1 ノルムである．本
研究では，拡張ラグランジュ法を用いて，制約を線形に繰り返し解くことで式 (7)を最適化し，射影変換行列 Hrank を算出する．
この手法を欠損領域を含む画像に適用する際，欠損領域内の画素値も最適化に用いられるため，透視投影歪みの排除結果の精度は欠損領域の形や大きさに影響

23

(a) 入力画像(b) 歪みを排除した画像 (失敗)

図 15: 行列のランクを利用した透視投影歪み排除の失敗例を受ける．欠損領域が小さく，歪んでいる方向に沿っている場合はこの手法は有効に働くが，そうでない場合には図 15 に示すように，欠損領域が影響して透視投影歪みの排除が失敗することがある．

3.2.3 消失点を利用する手法
本項では，文献 [53] に基づく消失点を利用した自動的な透視投影歪みの排除手法について述べる．本手法では，入力画像からエッジを抽出し線分を当てはめ，

RANSAC ベースの投票方式によってそれらの線分を消失点ごとに選定・分類し，最大 3 つの平面を推定する．ここで，図 16 に示すように，2 つの消失点の組み合
わせによって消失線を算出でき，全ての組み合わせを考慮すると最大 3 つの消失線を算出できる．本研究では，当てはめた平面の面積が最も大きい消失点の組み合わせを用いて透視投影歪みを排除するパラメータ l1 ，l2 を決定する．具体的には，上記で選ばれた 2 つ消失点を用いて，消失線を以下のように算出する．

ax + by + c = 0(8)

ただし，c ̸= 0 である．このパラメータ a，b，c を用いて，以下の式のようにパラ
メータ l1 ，l2 を決定し，射影変換行列 Hvanish を算出する．

al1 = ,
c

l2 =

b
c

(9)

この手法を欠損領域を含む画像に適用する際，テクセルの大きさを均一化する手法と同様に，欠損領域による影響を受けにくいという特徴がある．しかし，適用できる対象シーンが人工物のような消失点を検出できるシーンに限定される．

24

消失点

消失点

消失線： ax  by  c  0
消失点
図 16: 消失点と消失線の関係

3.3 解像度の調整
本節では，透視投影歪みを排除した画像に対して，入力画像における欠損領域の解像度を考慮し，解像度を調整する．3.2 節において述べた手法は，いずれも透視投影歪みを排除することのみを目的としているため，画像スケール (解像度)の決定方法を別途定める必要がある．ここで，これらの透視投影歪みの排除手法
を画像修復に応用する場合において，入力画像に対して歪み排除後の画像の解像度が低い場合には，修復結果にボケが生じる．また，入力画像に対して歪み排除
後の画像の解像度が高い場合，画像修復処理の効率が悪くなる．この問題を解決するために，歪みを排除した画像内の欠損領域の解像度を，入力画像内の欠損領
域 Ω の最高解像度に合わせる．具体的には，歪みを除去した画像に対する縦と横の拡大率 sy ，sx を以下の式により算出し，歪みを排除した画像の解像度を調整
する．


)
(

1


sy = min max ||H(x,y+1)−H(x,y)||2 , S(x,y)∈Ω

(
)




1

 sx = min max ||H(x+1,y)−H(x,y)||2 , S(10)(x,y)∈Ω

ここで，|| ||2 は L2 ノルムを表し，H(x, y) は入力画像中の画素位置 (x, y) を射影
変換行列 H ∈ (Htexel , Hrank , Hvanish ) によって変形した後の画素位置を表す．ま

25

(a) 欠損領域を含む入力画像(b) 歪み排除後の画像

図 17: 歪み排除によって画像が引き伸ばされる例
た，射影変換行列のパラメータによっては，図 17 に示すように，歪みを排除した画像が引き伸ばされすぎる場合があるので，それぞれの拡大率 sy ，sx に上限 Sを設定する．

3.4 画像修復
ユーザによって指定された欠損領域を，Kawai ら [48] が提案した対称性と明度変化およびテクスチャの局所性を考慮したエネルギー関数の最小化により修復する．以下，エネルギー関数の定義とその最小化手法，粗密法による局所解の回避と処理の高速化について順に述べる．

3.4.1 エネルギー関数の定義
図 18 に示すように，画像をユーザが指定した欠損領域 Ω を含む領域 Ω′ と，画像内の Ω′ 以外のデータ領域 Φ とデータ外領域 Φ に分け，領域 Ω′ 内の画像の尤もらしさをデータ領域 Φ 内の画像パターンを用いて，エネルギー関数を定義する．
データ外領域 Φ は透視投影歪みを排除した際に生じる入力画像外の領域である．
画像内において一定サイズの正方ウインドウ W 内に一部でも Ω が含まれるウイ
ンドウの中心画素の集合を Ω′ とし，エネルギーを，領域 Ω′ 内の画素 xi とデータ

26



ウインドウ W

データ領域

x

p ・i

Ω’
ウインドウ W

xj

Ω

・

欠損領域

Tx i x j p

データ外領域
図 18: 画像上の各領域
領域 Φ 内の画素 xj 周辺のパターン類似度を用いて以下のように定義する．
∑{}
E=
wxi SSD(xi , xj , Txi xj )+κSD(xi , xj )(11)xi ∈Ω′

ここで，SSD(xi , xj , Txi xj ) は画素位置 xi と xj との間の明るさと対称性を考慮したパターン類似度を表し，SD(xi , xj ) はテクスチャの局所性を考慮したコスト関数を表す．また，wxi は重みとして，領域 Ω′ ∩ Ω では各画素の真値が既値であるため wxi = 1 を，領域 Ω では境界に近いほど画素値の信頼度が高くなるため

wxi = c−d (d は Ω の境界から画素 xi までの距離，c は定数) を用い，κ は SSD 項と SD 項との相対的な重み係数を表す．

SSD(xi , xj , Txi xj ) を以下のように定義する．
∑{}2
SSD(xi , xj , Txi xj ) =I(xi + p)−αxi xj I(xj + Txi xj p)

(12)

p∈W

ここで，I(xi ) は画素 xi の画素値を表し，p はウインドウ W 内の変位ベクトルを表す．さらに，αxi xj は xi 周辺と xj 周辺のそれぞれの平均輝度値の比によって定義される明度補正係数 [47] を表し，Txi xj はデータ領域のテクスチャの幾何学的変換を許容するための座標変換行列を表す．
明度補正係数 αxi xj は，データ領域のテクスチャの明度を欠損領域のテクスチャの明度に合わせるために用いられる．ただし，実際の画像において比較的大きな明度

27

変化を定数倍の変化として近似すると，違和感のある画像が生成されやすいことから，式 (13) に示す一定の範囲内 (1−D ≤ αxi xj ≤ 1+D，ただし D は 0 < D < 1 の定数) に限定する．




1−D



αxi xj = βxi xj1 + D(βxi xj < 1 − D のとき)
(1 − D ≤ βxi xj ≤ 1 + D のとき)

(13)(βxi xj > 1 + D のとき)

ただし，βxi xj を以下のように定義する．
√∑

βxi xj = √∑2q∈W I(xi + q)

(14)2q∈W I(xj + q)

幾何学的変換として，対称的なテクスチャパターンを利用するために，座標変換行列 Txi xj を以下の 4 パターンに限定する．

(
Txi xj =

1 0
0 1

) (
,

−1 0
0

) (
,

1

1

0

) (
,

0 −1

−1

0

0

−1

)
(15)

また，注目画素が存在する物体領域の範囲内では類似したテクスチャが存在する確率が一様に高いと仮定し，同様に，物体領域の範囲外では類似したテクスチャが存在する確率が一様に低いと仮定する．以上の仮定から，一定範囲の内外で値がほぼ一定となるシグモイド関数を用いて局所性に関するコスト関数 SD(xi , xj )を以下のように定義する．




∥W ∥

 {−K(∥xi −xi ∥−X0 )}1+eSD(xi , xj ) =





C





Txi xj = 


1 0
0 1



 のとき
(16)(otherwise)

ここで，K ，X0 は定数，∥ W ∥ はウインドウ内の画素数，C はウィンドウサイ
ズ W に関して指数関数的に増加する比較的高めの値を表す．局所性を考慮する
ことによって，注目画素の近傍に存在する適切なテクスチャが優先的に選択されやすくなる．

28

3.4.2 エネルギー関数の最小化
本研究では，Greedy Algorithm の枠組みを用いて式 (11) で定義したエネルギー

E を最小化する．具体的には，類似パターンの位置を固定した時，欠損領域内の画素値の変化に対して明度補正係数 αxi xj の変化が微小であると仮定すると，エネルギー E を欠損領域 Ω 内の各画素で独立に扱えることに着目し，(i) 領域 Ω′ 内の各画素 xi に対する類似パターン位置 xj と座標変換行列 Txi xjの更新(ii) 欠損領域 Ω 内の画素値の並列的な更新をエネルギーが収束するまで繰り返すことで，画像全体のエネルギーを最小化する．
プロセス (i) では，欠損領域 Ω 内の画素値 I(xi ) を全て固定することで，対応する類似パターン位置 xj と座標変換行列 Txi xj を更新する．具体的には，データ領
域 Φ 内の画素に対して SSD と SD を算出し，以下の式を計算することでで類似
パターン位置 xj と座標変換行列 Txi xj を決定する．

{f (xi ), g(xi , f (xi ))} = arg min SSD(xi , xj , Txi xj ) + κSD(xi , xj )(17)

xj ,Txi xj

式 (17) を計算するにあたり，xj に対してデータ領域 Φ 内の画素を全探索すると計算コストが高くなる問題がある．そこで，探索範囲を限定することで計算コストを大幅に下げる Patch-Match [62] を用いて，最適な類似パターン位置 xj と座標変換行列 Txi xj を近似する．
プロセス (ii) では，類似パターン位置 xj と座標変換行列 Txi xj を固定することで，欠損領域 Ω 内の画素値 I(xi ) を更新する．具体的には，まず注目更新画素 xiに関係する式 (11) の要素エネルギーを以下のように定義する．

E(xi )=∑

wt {I(xi )−αtf (t) I(f (t)−g(t, f (t))p)}2 , t = xi + p

(18)

p∈W

ここで，wt は，類似パターン位置 xj 周辺のデータ領域 Φ 内の画素数，注目画素

xi 周辺のテクスチャとそれに対応する類似パターン位置 xj のテクスチャとの相29

対的な類似度，および Sobel フィルタを用いたテクスチャの複雑さを考慮した重み係数を表す．欠損領域 Ω の各画素 xi に対する要素エネルギー E(xi ) はそれぞれの項で独立しているので，各画素 xi に対する要素エネルギー E(xi ) を独立に最小化することでエネルギー E を最小化できる．従って，欠損領域 Ω の各画素値

I(xi ) を以下のように計算できる．
∑
p∈W wt αtf (t) I(f (t) − g(xi , f (xi ))p)∑, t = xi + p
I(xi ) =p∈W wt(19)

3.4.3 粗密法による局所解の回避と処理の高速化
本研究では，Greedy Algorithm の枠組みを用いているため，局所解問題が存在する．ここでは，効率的に大域最適解に近い解を得るために，初めは原画像を縮小した画像に対して式 (11) のエネルギー最小化処理を行い，その結果を初期値として順次解像度を高くしながらエネルギーを最小化する多重スケール処理を採用する．具体的には，一定スケールまで画像サイズを 2 分の 1 ずつ縮小した画像ピ
ラミッドを作成しておき，まず最小となるスケールで 3.4.2 項で述べた手法によりエネルギー最小化処理を行う．あるスケールでエネルギーが収束すると，上位層での最類似パターン位置の結果を下位層での初期値として投影する．これらの処理を元の画像サイズになるまで繰り返す．このような処理を行うことで大域最適解に比較的近い解を得ることができ，また，各スケールでの初期値があらかじめエネルギーの低いテクスチャを用いることができるため処理の高速化にもつな
がる．

30

4. 実験
本章では，シミュレーション画像を用いた場合と実画像を用いた場合の 2 種類の画像修復実験を通じて，提案システムの有効性を明らかにする．そのために，それぞれの実験において修復結果に対するアンケートに基づく被験者実験を行う．
シミュレーション画像を用いた実験では，アンケートの評価結果をもとに透視投
影歪みの程度と画像修復結果との関連を明らかにする．さらに，実画像を用いた実験では，画像によって有効な歪み排除手法が異なることを示し，それぞれの特徴について考察する．

4.1 実験条件
以下で述べる実験では，画像修復の手法として，下記 (A)〜(E) の 5 つの手法を用いて比較を行う．

(A) テクセルの大きさを均一化する歪み排除を用いた画像修復手法 (3.2.1 項参照)
(B) 行列のランクを利用した歪み排除を用いた画像修復手法 (3.2.2 項参照)
(C) 消失点を利用した歪み排除を用いた画像修復手法 (3.2.3 項参照)
(D) 歪み排除手法を用いずに Kawai ら [48] の手法を適用した画像修復手法(E) 消失点を利用した Huang ら [53] の画像修復手法
ここで，手法 (A)〜(C) では，画像修復手法として，2.1.3 項で述べた kawai ら [48]の手法を用い，手法 (B)，(C) で行う歪み排除手法および手法 (E) はインターネッ
ト上で公開されているプログラム 1,2 を用いた．本実験では，経験的に，3.2.2 項の式 (7) で用いた γ は 1/(対象領域の横幅の長さ) とし，解像度の調整に用いる拡大率の上限および提案するエネルギー関数の各種パラメータを表 2 に示すように
設定した．
1
2

http://perception.csl.illinois.edu/matrix-rank/tilt.html
https://sites.google.com/site/jbhuang0604/publications/struct completion31表 2: 本実験での各種パラメータの設定
設定する解像度の拡大率の上限 (シミュレーション)

S

5

設定する解像度の拡大率の上限 (実画像)S

10ウィンドウサイズW

9×9

輝度補正係数 αxi xj に関する範囲

D

0.2

局所性を考慮したコストに用いる定数K

0.1

局所性を考慮したコストに用いる定数X080

局所性を考慮したコストに対する重みκ

400

画素の重み wxi に用いる定数

c

1.12

4.2 シミュレーション画像を用いた評価実験
本節では，透視投影歪みの強さと画像修復結果との関連を明らかにすることを目的としたシミュレーション画像を用いた実験について述べる．本実験ではまず，
図 19 に示すように，カメラとその撮影面上の欠損領域の位置を固定し，図 20 に示す 10 種類のテクスチャを θ(θ = 0◦ , 20◦ , 40◦ , 50◦ , 60◦ , 70◦ ) 回転させることで，それぞれの角度に対する入力画像 (200 × 200 画素) を生成した．次に，これらの入力画像に対して修復手法 (A)〜(E) を適用し，修復結果を用いて 16 名 (本学の学生) の被験者による評価実験を行った．

32

テクスチャ

θ

欠損領域(固定)を含んだ投影面カメラ(固定)図 19: シミュレーションによる評価実験環境

1

2

3

4

5

6

7

8

9

10

図 20: シミュレーションに用いた画像

33

図 21: アンケートの時のランダム配置の例

4.2.1 評価方法
被験者には，アンケート評価のためのウェブページにアクセスしてもらい，事前説明を読んでもらった後，図 21 に示すようにランダムに並べられた 60 枚の入力画像に対する修復手法 (A)〜(E) による修復画像に対して，5 段階の点数評価を行ってもらった．同図に示す A〜E と手法 (A)〜(E) はランダムに対応づいている．本実験では，修復画像を他のコンテンツ生成の素材として利用することを前提として，使う際に違和感がある画像を 1 点，違和感がない画像を 5 点という基準で採点してもらった．ただし，本実験では歪み排除後の画像の縦，もしくは横のスケールが入力画像のそれの 10 倍以上になった場合，透視投影歪みを排除するためのパラメータの算出が失敗したものとみなし，画像修復を行わず評価対象から除外した．

34

4.2.2 評価結果と考察
各手法 (A)〜(E) に対する評価実験全体の平均評価値をグラフで表したものを
図 22 に示す．透視投影歪みが生じていない (θ = 0◦ ) 場合は，透視投影歪みを考
慮しない手法 (D) が最も高い評価値を得た．このとき，手法 (A)，(B)，(C)，(E)は図 23 に示すように，透視投影歪みが生じていないにもかかわらず，変形を行う場合があり，手法 (D) に比べて評価値が低くなったと考えられる．一方で，角度が大きくなるにつれて，全体的に評価値が低くなる傾向が見てとれるが，手法(B)，(C) は手法 (D)，(E) に比べてその下がり幅が小さい．また，θ = 40◦ の場
合，手法 (D) よりも手法 (B)，(C) の方が評価値が高くなり，θ = 50◦ になると手法 (A) も手法 (D) より評価値が高くなっている．これらの結果より，透視投影歪みが発生している画像に対して，歪みの排除を行った上で画像修復を行うことで，修復結果の品質が向上することが分かる．
全体的な傾向として，手法 (B) の評価値が高く，手法 (D) は，歪みがなければ良好な結果が得られる一方で，歪みが生じると違和感のある修復結果となった．
手法 (E) は全体的にボケたテクスチャが生成されたため，評価値が低くなったと考えられる．テクスチャ2，4，5，10 に対する修復結果，平均評価値とこれをグラフで表したものを図 24〜31 に示す．以下，各手法の特徴を考察する．
テクスチャ2(図 24，25)
テクスチャ2 は単純かつ規則的で直線成分が多いパターンである．手法 (A)〜(C) は，比較的良好な修復結果が得られたが，線分がはっきりしており，平行線の検出が容易であったため，特に消失点を用いる手法 (C) で良好な結果が得られた．
テクスチャ4(図 26，27)
テクスチャ4 はテクセルが小さく複雑なパターンである．θ = 50◦ 以上の場
合，全ての手法において違和感のある修復結果となったが，それ以外の角度では手法 (C)，(D)，(E) によって良好な修復結果が得られた．パターンが複雑であることから行列のランクを用いる手法 (B) は，歪みの排除に失敗することが多く，良い結果が得られなかった．手法 (C) は，θ = 0◦ ，20◦

35

，40◦ の場合，正しい消失点が検出できており良好な修復結果が得られたが，それ以外では，パターンが複雑であることに加え，歪みが大きくなったことで消失点を検出できず修復結果が得られなかった．
テクスチャ5(図 28，29)
テクスチャ5 はテクセルが大きく複雑かつ直線成分が少ないパターンである．テクセルの大きさを用いる手法 (A) は，テクスチャに様々な模様が描かれておりノイズが多いため歪みの排除に失敗し，全体的に違和感のある修復結果となった．手法 (B) は，θ = 0◦ ，20◦ ，40◦ の場合，歪みが排除でき
良好な修復結果となったが，それ以外では歪みの排除が失敗し，違和感のある修復結果となった．手法 (C) は，テクスチャの形が円形であるため，消失点が検出できず，全ての場合で修復結果が得られなかった．
テクスチャ10(図 30，31)
テクスチャ10 はテクセルが小さく複雑かつランダムなパターンである．どの歪みの排除基準を用いても歪みの排除が成功せず，手法 (A)，(B)，(C)，(E) の評価値は低くなった．このようなテクスチャに対しては，歪みの排除を行わない手法 (D) を用いた場合に，比較的安定に良好な結果が得られた．
以上のように，テクスチャの種類や透視投影歪みの強さによって各手法の歪み排除の精度が変化し，これに伴って最も高品位な修復結果を出力する手法も異なることが分かる．手法原理から推定されるように，手法 (A) では，テクセルの大きさを抽出することができるような単純なパターン，手法 (C) では，消失点が検出できるようなパターンにおいて，比較的良好な修復結果が得られる傾向がある．
また，ランダムテクスチャなどの一部の画像に対して，歪みの排除を行わない方が良好的な結果が得られる場合があることが確認できた．シミュレーション画像を用いた実験では，行列のランクを用いる手法 (B) について目立った傾向があまりなかったが，次の項で行う実画像を用いた評価実験においては，様々な形や大きさの欠損領域を与えることで，その傾向を明らかにする．

36

Average Score

5
4
3
2
1
0

20

40

50

60

70

Degree[θ ]Method A

Method B

Method C

Method D

Method E

図 22: シミュレーションによる評価実験結果(a) テクスチャ 6 (θ = (b) 歪み排除失敗 例 (c) 歪み排除失敗例 (手0◦ )(手法 (A))法 (C))

図 23: 歪みのない画像に対して歪み排除手法を適用した結果

37

θ = 0°

4.75

4.94

4.88

4.94

4.19

4.69

3.88

4.88

4.25

3.31

1.44

3.75

4.44

2.86

3.81

2.44

4.19

4.19

2.19

2.31

3.31

3.75

3.81

1.31

2.25

θ = 20 °θ = 40 °θ = 50 °θ = 60 °θ = 70 °Input image

1.00

1.88

3.94

1.75

2.13

Method A

Method B

Method C

Method D

Method E

図 24: 修復結果と平均スコア (テクスチャ2)

Average Score

5
4
3
2
1
0

20

40

50

60

70

Degree[θ ]Method A

Method B

Method C

Method D

Method E

図 25: 手法ごとの平均スコアの比較 (テクスチャ2)38

No Resultθ = 0°

3.56

No Score

4.81

5.00

4.88

4.44

3.88

4.50

4.69

4.81

4.81

4.19

4.63

1.94

1.94

2.06

1.94

θ = 20 °No Resultθ = 40 °2.94

No Score

No Resultθ = 50 °3.06
θ = 60 °
1.13

1.13

No Score

No Result

No Result

No Score

No Score

No Resultθ = 70 °Input image

1.69

1.00

No Score

2.00

1.88

Method A

Method B

Method C

Method D

Method E

図 26: 修復結果と平均スコア (テクスチャ4)

Average Score

5
4
3
2
1
0

20

40

50

60

70

Degree[θ ]Method A

Method B

Method C

Method D

Method E

図 27: 手法ごとの平均スコアの比較 (テクスチャ4)39

No Resultθ = 0°

3.50

4.94

No Score

4.56

1.06

3.88

1.31

3.88

1.25

2.13

1.31

3.06

1.56

No Resultθ = 20 °

4.13

3.69

θ = 40 °No Score

No Result

1.19

4.13

No Score

No Resultθ = 50 °
1.12

2.00

No Score

No Resultθ = 60 °
2.56

2.88

No Result

No Resultθ = 70 °Input image

No Score

No Score

1.94

No Score

2.44

1.00

Method A

Method B

Method C

Method D

Method E

図 28: 修復結果と平均スコア (テクスチャ5)

Average Score

5
4
3
2
1
0

20

40

50

60

70

Degree[θ ]Method A

Method B

Method C

Method D

Method E

図 29: 手法ごとの平均スコアの比較 (テクスチャ5)40

No Resultθ = 0°

1.75

4.00

No Score

4.50

1.75

1.56

3.50

3.88

3.63

1.81

θ = 20 °θ = 40 °No Result

No Result
No Score

3.13

No Score

4.31

1.75

1.44

4.00

3.75

1.25

3.44

1.44

No Resultθ = 50 °No Scoreθ = 60 °No Result

1.25

3.69

No Scoreθ = 70 °Input image

1.13

1.44

1.19

3.13

2.50

Method A

Method B

Method C

Method D

Method E

図 30: 修復結果と平均スコア (テクスチャ10)

Average Score

5
4
3
2
1
0

20

40

50

60

70

Degree[θ ]Method A

Method B

Method C

Method D

Method E

図 31: 手法ごとの平均スコアの比較 (テクスチャ10)41

4.3 実画像を用いた被験者による主観的評価実験と考察
本節では，提案システムの有効性を明らかにすることを目的として，図 32 に示
すような様々な特徴を持つ 30 枚の画像に対して修復手法 (A)〜(E) を適用し，14
名 (本学の学生) の被験者による評価実験を行った．

1

2

6

3

4

7

5

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

24

25

26

23

27

28

29

図 32: 実画像実験に用いた画像

4230

4.3.1 評価方法
被験者には，アンケート評価のためのウェブページにアクセスしてもらい，4.2
節と同様の方法によるアンケート評価を行った．なお，被験者には，修復画像を
他のコンテンツ生成の素材として利用することを前提として，使用したくない画
像を 1 点，あまり使用したくない画像を 2 点，どちらでもない画像を 3 点，使用してもよい画像を 4 点，使用したい画像を 5 点という解答基準で採点してもらった．

4.3.2 評価結果と考察
本実験では，手法 (A)〜(E) を個別に用いた場合，および，手法 (A)〜(D) の最良のものを選択した場合 (提案システム)(F)，について，出力された各 30 枚の修復結果につけられた評価値を算出した．表 3 に手法 (A)〜(F) に対する評価値の平均値，および標準偏差を示し，そのグラフを図 33 に示す．ここで，(F) の評価
値は，(A)〜(D) において個別に評価してもらった個人ごとの評価値から，各画像について最良の評価値を選択することで算出した．表 3，図 33 より，個別の手法(A)〜(E) を採用するよりも，ユーザに最良の結果を選択させる提案システム (手法 (F)) を用いる方が，利用者の評価値が大きく向上することが分かる．評価結果
に対して，有意水準を 5% と設定した t 検定により，手法 (F) と手法 (A)〜(E) には有意差が認められた．
以下，個別の手法の結果について詳しく分析する．手法 (A)〜(E) について，最も高い評価値を得た画像を手法ごとに分類したものを図 34〜38 に示す．図 34 は
手法 (A)〜(E) を個別に用いた場合において，テクセルの大きさを用いる手法 (A)が最も高い評価値を得た画像群である．これらの画像中には，多数の同一物体が単純なパターンとして写っており，テクセルの大きさを抽出しやすいという特性がある．図 35 は，行列のランクを用いる手法 (B) が最も高い評価値を得た画像群である．これらの画像中には，テクスチャパターンが規則的であるという特性が見られる．図 36 は，消失点を用いる手法 (C) が最も高い評価値を得た画像群である．同図から，手法 (C) は直線成分が多く存在し，消失点が検出しやすい画像で良好な結果が得られることが分かる．図 37，38 は，それぞれ手法 (D)，(E)が最も高い評価値を得た画像を示しており，それぞれテクスチャが細かい，またはランダムテクスチャが存在するという特性 (図 37)，および，直線成分が多く存

43

在し，複雑なパターンである (図 38) という特性が見られる．しかし，いくつかの画像では全ての手法において違和感が生じた修復結果となり，図 34 に示す画
像 2 のように，相対的に一番高い評価値でも絶対的にみると明らかに評価値が低くなった例も見られた．これは歪みの排除が失敗していることが原因となっているため，このような画像に対しては他の歪みの排除基準を利用することでよりよい修復結果が得られると考えられる．
表 3: 30 枚の各修復画像に対する平均評価値と標準偏差
手法

平均評価値

標準偏差

(A) テクセルの大きさを基準とした変形による手法

3.03

1.17

(B) 行列のランクを基準とした変形による手法

2.97

1.05

(C) 消失点を基準とした変形による手法

3.39

1.22

(D)Kawai らの手法 [48]

2.66

1.01

(E)Huang らの手法 [53]

2.47

0.95

(F) 提案システム

4.00

0.95

Average Score

5
4
3
2
1

(A)

(B)

(C)

(D)

(E)

(F)

図 33: 実画像を用いた主観的評価実験の結果

44

2(1.64)11(3.64)

19(4.50)12(4.93)24(4.14)16(4.57)

28(4.21)

図 34: 手法 (A) が他手法よりも平均評価値が高い修復画像とその評価値

5(2.50)15(4.58)6(2.21)26(3.14)29(5.00)

図 35: 手法 (B) が他手法よりも平均評価値が高い修復画像その評価値

45

8(4.57)

18(4.43)9(3.93)10(4.79)

21(4.38)

22(4.79)

14(4.86)23(3.93)

図 36: 手法 (C) が他手法よりも平均評価値が高い修復画像その評価値

1(4.07)13(4.29)3(4.64)4(4.93)17(2.14)7(3.93)30(2.86)

図 37: 手法 (D) が他手法よりも平均評価値が高い修復画像その評価値

20(3.64)25(3.29)

27(2.79)

図 38: 手法 (E) が他手法よりも平均評価値が高い修復画像その評価値

46

手法 (A)〜(E) の中で最も高い評価値を得た一部の画像 3，18，24，25，29 に対して，手法 (A)〜(C) を用いた透視投影歪み排除後の画像と手法 (A)〜(E) の修復結果を図 39〜図 48 に示し，結果を個別に検証する．
手法 (A) が最高評価を得た画像 24(図 39，40)
画像 24 は単純かつ直線成分が多いパターンであり，欠損領域が大きい．この画像では，評価値はテクセルの大きさを均一化する手法 (A) を用いた場
合に一番高くなった．手法 (A) は，歪みの排除が成功し，良好な修復画像が得られており，手法 (B) は，欠損領域が大きいため，歪みの排除が失敗
し，テクスチャの不連続が発生している．手法 (C) は，図 39(c) を見ると歪みの排除が成功しているように見えるが，修復画像上では，ブロックの線に歪みが生じ違和感がある．このように，歪みの排除にわずかな誤差でも生じると，修復結果に大きく影響することが分かる．手法 (D) は，歪みを考慮しないため修復画像にテクスチャの不連続が生じ，手法 (E) は，局所的に歪みが生じているが全体的に良好な修復画像が得られている．
手法 (B) が最高評価を得た画像 29(図 41，42)
画像 29 は複雑かつ直線成分が多いパターンであり，欠損領域が小さい．この画像では，評価値は行列のランクを用いる手法 (B) を用いた場合に一番高くなった．手法 (A) は，歪みの排除が失敗したため，その結果を示していない．手法 (B) は，欠損領域が小さく，全体的に規則的なパターンが並んでいるため，歪みの排除が成功し，良好な修復結果が得られている．手法(C) でも，消失点が検出できており，歪みの排除が成功し，手法 (B) と同様にきれいな修復結果が得られている．手法 (D) と (E) は，窓の下に部分的な文字が復元され，違和感が生じている．
手法 (C) が最高評価を得た画像 18(図 43，44)
画像 18 はテクセルが小さく単純かつ直線成分が多いパターンであり，欠損領域が大きい．この画像では，評価値は消失点を利用した手法 (C) を用いる場合に一番高くなった．手法 (A) は，図 43(a) を見ると歪みの排除が成功しているように見えるが，完全に歪みの排除がされず，テクスチャが少し47歪んで生成されている．手法 (B) は，欠損領域が大きいため，歪みを排除することができず，修復結果にテクスチャの不連続が発生している．手法(C) は，消失点が正確に検出できたため，歪みの排除が成功し，良好な修復結果が得られている．手法 (D) は，歪みを考慮しないため修復画像にテクスチャの不連続が生じ，手法 (E) は，消失点が検出できているがテクスチャに大きなボケが生じている．
手法 (D) が最高評価を得た画像 3(図 45，46)
画像 3 はパターンがランダムであり複雑である．この画像では，評価値は歪みの排除を行わない Kawai らの手法 (D) を用いる場合に一番高くなった．
手法 (A)〜(C) は，パターンが複雑かつランダムテクスチャであるため，それぞれ歪みの排除に失敗し修復画像に違和感が生じている．手法 (D) は，歪みを排除していないが良好な修復画像を得ており，手法 (E) は，修復画像にボケが生じている．
手法 (E) が最高評価を得た画像 25(図 47，48)
画像 25 は細かいパターンであり，遮蔽物が多い．この画像では，評価値は消失点を利用した Huang らの手法 (E) を用いる場合に一番高くなった．手法 (A) は，パターンが細かくテクセルの大きさを抽出できず歪みの排除に失敗し，修復画像に違和感が生じている．手法 (B) は，欠損領域や信号など遮蔽物が多いため歪みの排除に失敗し，修復画像に局所的に違和感が生じている．手法 (C) は，完全に歪みの排除をすることができず，修復画像に局所的に違和感が生じている．手法 (D) は，歪みを排除していないが手法 (B)，(C) と類似した修復結果を得ており，手法 (E) は，テクスチャが繋がっていない部分もあるが，全体的に良好な修復画像を得られている．
以上のように，手法 (A)，(C)，(D)，(E) は，修復結果に対してシミュレーショ
ン画像を用いた実験と同じ傾向がみられ，手法 (A) は，テクセルが比較的に大きく単純なテクスチャ，手法 (C) は，消失点が検出できるような直線成分の多いテ
クスチャ，手法 (D) は，ランダムテクスチャや歪みが小さく細かいテクスチャ，
であれば比較的安定に良好な修復結果が得られることを確認した．手法（E）は，48

手法 (C) と同じく消失点が検出できるような直線成分の多いテクスチャであれば良好な修復結果が得られることがあるが，全体的にボケが生じる傾向がある．一方，手法 (B) については，規則的なパターンが並んでいる場合に良好な修復画像が得られるが，欠損領域が大きい場合は歪み排除が失敗する傾向があり，修復画
像にテクスチャの不連続が生じることが確認できた．
以上のことから，画像の特性により，用いるべき透視投影歪みの排除基準が異なることが分かる．また，歪みの排除を行わない方が良好な修復画像を得られる
場合もある．これにより，透視投影歪みを含む画像に対する画像修復を行う際には，特定の基準を用いずユーザに画像を選択させる提案システム (F) が有効であることが分かる．今後，他の透視投影歪み排除基準の追加，もしくは，歪み排除や画像修復の各パラメータを変動させることにより，修復画像の選択肢を増やすことで，より良好な修復結果が得られると考えられる．

49

(a) 手法 (A) による歪み排 (b) 手法 (B) による歪み排 (c) 手法 (C) による歪み排
除画像
除画像
除画像

図 39: 画像 24 に対する歪み排除画像(a) 手法 (A) による修復画像 (b) 手法 (B) による修復画像 (c) 手法 (C) による修復画像(d) 手法 (D) による修復画像(e) 手法 (E) による修復画像

図 40: 画像 24 に対する修復画像

50

(a) 手法 (B) による歪み排除画像(b) 手法 (C) による歪み排除画像図 41: 画像 29 に対する歪み排除画像(a) 手法 (B) による修復画像(b) 手法 (C) による修復画像(c) 手法 (D) による修復画像(d) 手法 (E) による修復画像

図 42: 画像 29 に対する修復画像

51

(a) 手法 (A) による歪み排 (b) 手法 (B) による歪み排 (c) 手法 (C) による歪み排
除画像
除画像
除画像

図 43: 画像 18 に対する歪み排除画像(a) 手法 (A) による修復画像 (b) 手法 (B) による修復画像 (c) 手法 (C) による修復画像(d) 手法 (D) による修復画像(e) 手法 (E) による修復画像

図 44: 画像 18 に対する修復画像

52

(a) 手法 (A) による歪み排 (b) 手法 (B) による歪み排 (c) 手法 (C)
除画像
除画像
による歪み
排除画像

図 45: 画像 3 に対する歪み排除画像(a) 手法 (A) による修復画像 (b) 手法 (B) による修復画像 (c) 手法 (C) による修復画像(d) 手法 (D) による修復画像(e) 手法 (E) による修復画像

図 46: 画像 3 に対する修復画像

53

(a) 手法 (A) によ (b) 手法 (B) による歪み排 (c) 手法 (C) による歪み排る歪み排除画像 除画像
除画像

図 47: 画像 25 に対する歪み排除画像(a) 手法 (A) による修復画像 (b) 手法 (B) による修復画像 (c) 手法 (C) による修復画像(d) 手法 (D) による修復画像(e) 手法 (E) による修復画像

図 48: 画像 25 に対する修復画像

54

5. まとめ
本論文では，自動的に透視投影歪みを排除する 3 つの手法 (テクセルの大きさを均一化する方法，行列のランクを利用する方法，消失点を利用する方法) を並列に用いて透視投影歪みを排除し画像修復を行い，複数の修復画像からユーザに使用したいものを選択させることで，様々なシーンに生じる透視投影歪みに対して高品位な修復結果を提供するシステムを提案した．
シミュレーション画像と実画像を用いた主観評価実験により，対象シーンのテ
クスチャの性質 (テクセルの大きさ，パターンの複雑さ，直線成分の多さなど) や
透視投影歪みの程度，欠損領域の形や大きさによって，最も有効な歪み排除基準が異なることを示し，複数の歪み排除基準を用いることの重要性を示した．ただし，ランダムテクスチャなど歪み排除を行わない方が良好な結果が得られる場合
や，歪み排除が行われてもテクスチャの不連続が生じ，違和感のある修復結果となる場合があることも示した．
今後は，透視投影歪みの排除基準を追加することや，歪み排除や画像修復に関連するパラメータを変化させることでより多くの修復画像を用意し，ユーザの選択肢を増加させることで，より有用なシステムが構築されることが期待できる．
また，修復結果の候補数とユーザがそれらの中から選択することにかかる時間との関係性を調査することで，最適な修復結果の候補数を決定できると考える．さらに，1 枚の画像中に複数の透視投影歪みが生じている場合 (建物と地面が写っているシーンなど) に対しても，歪みを排除できる手法を開発することで，より多くのシーンで良好な修復結果が得られることが期待される．

55

謝辞
本研究の全過程を通して，始終暖かくご指導，ご鞭撻頂いた視覚情報メディア研究室 横矢 直和 教授に心より感謝いたします．本研究の遂行にあたり有益な御助言，御指導を頂いたインタラクティブメディア設計学研究室 加藤 博一 教授に厚く御礼申し上げます．さらに，本研究を進めるにあたり，始終温かい御指導をして頂いた視覚情報メディア研究室 佐藤 智和 准教授に深く感謝申し上げます．
また，研究に関して的確な御助言を頂いた視覚情報メディア研究室 河合 紀彦 助
教と 中島 悠太 助教に厚く御礼申し上げます．また，研究室での生活を支えていただいた視覚情報メディア研究室 石谷 由美 女史に心より感謝いたします．さらに，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メ
ディア研究室の皆様に深く感謝いたします．最後に，始終暖かく見守ってくださいました両親に熱く感謝の意を表します．

56

参考文献
[1] 安田, 大久保, 田中: “ガウシアングラフィカルモデルを用いた画像補修アルゴ
リズム”, 情報科学技術フォーラム (FIT) 情報技術レターズ, Vol. 5, pp. 225–

228, 2006.
[2] A. Levin, A. Zomet and Y. Weiss: “Learning how to inpaint from global
image statistics,” Proc. IEEE Int. Conf. on Computer Vision, pp. 305–312,
2003.
[3] 高橋, 小西, 古川: “構造化行列のランク最小化に基づく画像修復法”, 電子情報通信学会論文誌. D, 情報・システム, 96, 7, pp. 1606–1617, 2013.

[4] 前田, 高橋, 太田: “欠損画像の修復処理の一方式”, 電子情報通信学会論文誌
D, Vol. J69-D, No. 1, pp. 91–97, 1986.
[5] S. Masnou and J. Morel: “Level lines based disocclusion,” Proc. IEEE Int.
Conf. on Image Processing, pp. 259–263, 1998.
[6] M. Oliveira, B. Bowen, R. McKenna and Y. Chang: “Fast digital image inpainting,” Proc. Int. Conf. on Visualization, Imaging and Image Processing,pp. 261–266, 2001.
[7] M. Hadhoud, K. Moustafa and S. Shenoda: “Digital images inpainting using modified convolution based method,” Int. Journal of Signal Processing,Image Processing and Pattern recognition, Vol. 1, No. 1, pp. 1–10, 2008.
[8] M. Bertalmio, G. Sapiro, V. Caselles and C. Ballester: “Image inpainting,”
Proc. ACM SIGGRAPH, pp. 417–424, 2000.
[9] M. Bertalmio, A. Bertozzi and G. Sapiro: “Navier-stokes, fluid dynamics,
and image and video inpainting,” Proc. IEEE Computer Society Conf. on
Computer Vision and Pattern Recognition, pp. 355–362, 2001.

57

[10] C. Ballester, M. Bertalmio, V. Sapiro and J. Verdera: “Filling-in by joint
interpolation of vector fields and gray levels,” IEEE Trans. on Image Processing, Vol. 10, No. 8, pp. 1200–1211, 2001.
[11] C. Ballester, V. Caselles, J. Verdera, M. Bertalmio and G. Sapiro: “A variational model for filling-in gray level and color images,” Proc. IEEE Int. Conf.
on Computer Vision, pp. 10–16, 2001.
[12] C. Barcelos, M. Batista, A. Martins and A. Nogueira: “Level lines continuation based digital inpainting,” Proc. IEEE Brazilian Symposium on
Computer Graphics and Image Processing, pp. 50–57, 2004.
[13] A. Telea: “An image inpainting technique based on the fast marching
method,” Journal of Graphics Tools, Vol. 9, No. 1, pp. 25–36, 2004.
[14] D. Tschumperlé: “Curvature-preserving regularization of multi-valued images usingpde’s,” Proc. European Conf. on Computer Vision, pp. 295–307,
2006.
[15] F. Bornemann and T. Marz: “Fast image inpainting based on coherencetransport,” Journal of Mathematical Imaging and Vision, pp. 259–278, 2007.
[16] T. Chan and J. Shen: “Mathematical models for local non-texture inpaintings,” SIAM Journal of Applied Mathematics, Vol. 62, No. 3, pp. 1019–1043,
2001.
[17] T. Chan and J. Shen: “Non-texture inpainting by curvature-driven diﬀusions(CDD),” Journal of Visual Communication and Image Representation, Vol.
12, No. 4, pp. 436–449, 2001.
[18] C. Fei, W. Mei-qing and L. Choi-Hong: “An algorithm for total variation
inpainting based on nonlinear multi-grid methods,” Journal of Algorithms
and Computational Technology, Vol. 2, No. 1, pp. 15–33, 2007.

58

[19] 齊藤, 高垣, 小松: “全変動カラー画像復元問題とその近接勾配解法”, 情報科
学技術フォーラム講演論文集, Vol. 9, No. 3, pp. 377–384, 2010.

[20] T. Chan, S. Kang, J. Shen and S. Osher: “Euler’s elastica and curvature
based inpaintings,” SIAM Journal of Applied Mathematics, Vol. 63, No. 2,
pp. 564–592, 2002.
[21] S. Esedoglu and J. Shen: “Digital inpainting based on the mumford-shaheuler image model,” SIAM Journal of Applied Mathematics, Vol. 13, pp. 353–
370, 2003.
[22] 小川, 長谷山, 北島: “オプティカルフローを用いた静止画像における失われた輝度値の復元”, 電子情報通信学会論文誌 D-II, Vol. J87-D-II, No. 9, pp. 1786–

1795, 2004.
[23] 東海林: “テクスチャ画像における欠損部修復の一手法”, 電子情報通信学会
論文誌 D, Vol. J71-D, No. 9, pp. 1701–1708, 1988.

[24] A. Hirani and T. Totsuka: “Combining frequency and spatial domain information for fast interactive image noise removal,” Proc. ACM SIGGRAPH,
pp. 269–276, 1996.
[25] 天野, 佐藤: “固有空間法を用いた BPLP による画像補間”, 電子情報通信学
会誌 D-II, Vol. J85-D-II, No. 3, pp. 457–465, 2002.

[26] 天野, 佐藤: “kBPLP 法を用いた高次元非線形射影による画像補間”, 電子情報通信学会誌 D-II, Vol. J86-D-II, No. 4, pp. 525–534, 2003.

[27] 井添, 剣持, 小谷: “画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定”, 電子情報通信学会 技術研究報告, pp. 55–62, 2001.

[28] A. Efros and T. Leung: “Texture synthesis by non-parametric sampling,”
Proc. IEEE Int. Conf. on Computer Vision, pp. 1033–1038, 1999.

59

[29] M. Bertalmio, L. Vese, G. Sapiro and S. Osher: “Simultaneous structure andtexture image inpainting,” IEEE Trans. on Image Processing, Vol. 12, No.
8, pp. 882–889, 2003.
[30] P. Harrison: “A non-hierarchical procedure for re-synthesis of complex textures,” Proc. Int. Conf. in Central Europe Computer Graphics, Visualization
and Computer Vision, pp. 190–197, 2001.
[31] I. Drori, D. Cohen-Or and H. Yeshurun: “Fragment-based image completion,” Proc. ACM SIGGRAPH, pp. 303–312, 2003.
[32] R. Bornard, E. Lecan, L. Laborelli and J. Chenot: “Missing data correction
in still images and image sequences,” Proc. ACM Int. Conf. on Multimedia,
pp. 355–361, 2002.
[33] A. Criminisi, P. Pérez and K. Toyama: “Region filling and object removal by
exemplar-based image inpainting,” IEEE Trans. on Image Processing, Vol.
13, No. 9, pp. 1200–1212, 2004.
[34] W.-H. Cheng, C.-W. Hsieh, S.-K. Lin, C.-W. Wang and J.-L. Wu: “Robustalgorithm for exemplar-based image inpainting,” Proc. Int. Conf. Computer
Graphics, Imaging and Visualization, pp. 64–69, 2005.
[35] S. Vetter, M. Grzegorzek and D. Paulus: “Wavelet-based inpainting for object removal from image series,” Annual Symposium of the German Association for Pattern Recognition, pp. 343–352, 2010.
[36] B. Li, Y. Qi and X. Shen: “An image inpainting method,” Proc. IEEE Int.
Conf. on Computer Aided Design and Computer Graphics, pp. 531–536,
2005.
[37] Z. Xu and J. Sun: “Image inpainting by patch propagation using patch
sparsity,” IEEE Trans. on Image Processing, Vol. 19, No. 5, pp. 1153–1165,
2010.
60

[38] M. Oliveira, M. Ebdelli and C. Guillemot: “Hierarchical Super-ResolutionBased Inpainting,” IEEE Trans. on Image Processing, Vol. 22, No. 10,
pp. 3779–3790, 2013.
[39] M. Daisy, D. Tschumperlé and O. Lézoray: “A Fast Spatial Patch Blending
Algorithm for Artefact Reduction in Pattern-based Image Inpainting,” ACM
SIGGRAPH Asia Technical Briefs, pp. 8:1–8:4, 2013.
[40] J. Jia and C. Tang: “Image repairing: Robust image synthesis by adaptivend tensor voting,” Proc. IEEE Computer Society Conf. on Computer Vision
and Patern Recognition, pp. 643–650, 2003.
[41] J. Sun, L. Yuan, J. Jia and H. Shum: “Image completion with structure
propagation,” Proc. ACM SIGGRAPH, pp. 861–868, 2005.
[42] 柴田, 池谷, 仙田: “確率的構造予測に基づく高速な画像修復”, 画像の認識・理解シンポジウム, pp. 754–761, 2010.

[43] N. Komodakis and G. Tziritas: “Image completion using global optimization,” Proc. IEEE Computer Society Conf. on Computer Vision and Pattern
Recognition, pp. 442–452, 2006.
[44] Y. Pritch, E. Kav-Venaki and S. Peleg: “Shift-Map Image Editing,” Proc.
IEEE Int. Conf. on Computer Vision, pp. 151–158, 2009.
[45] C. Allène and N. Paragios: “Image Renaissance Using Discrete Optimization,” Proc. IAPR Int. Conf. on Pattern Recognition, pp. 631–634, 2006.
[46] Y. Wexler, E. Shechtman and M. Irani: “Space-time completion of video,”
IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 29, No. 3,
pp. 463–476, 2007.
[47] N. Kawai, T. Sato and N. Yokoya: “Image inpainting considering brightnesschange and spatial locality of textures and its evaluation,” Proc. Pacific-Rim
Symp. on Image and Video Technology, pp. 271–282, 2009.
61

[48] N. Kawai and N. Yokoya: “Image inpainting considering symmetric patterns,” Proc. IAPR Int. Conf. on Pattern Recognition, pp. 2744–2747, 2012.
[49] S. Darabi, E. Shechtman, C. Barnes, D. B. Goldman and P. Sen: “Image
melding: combining inconsistent images using patch-based synthesis,” ACM
Trans. on Graphics, Vol. 31, No. 4, pp. 82:1–82:10, 2012.
[50] D. Pavić, V. Schőnefeld and L. Kobbelt: “Interactive Image Completion with
Perspective Correction,” The Visual Computer, Vol. 22, No. 4, pp. 671–681,
2006.
[51] C. Hao and E. Wu: “Interactive Image Completion with Perspective Constraint,” Proc. ACM Int. Conf. on Virtual-Reality Continuum and Its Applications in Industry, pp. 153–160, 2012.
[52] J. Huang, J. Kopf, N. Ahuja and S. B. Kang: “Transformation Guided
Image Completion,” IEEE Int. Conf. on Computational Photography, pp. 1–
9, 2013.
[53] J. Huang, S. B. Kang, N. Ahuja and J. Kopf: “Image Completion using
Planar Structure Guidance,” ACM Trans. on Graph., Vol. 33, No. 4, 2014.
[54] D. Aiger, D. Cohen-Or and N. J. Mitra: “Repetition Maximization based
Texture Rectification,” Computer Graphics Forum (EUROGRAPHICS),
Vol. 31, No. 2, pp. 439–448, 2012.
[55] Z. Zhang, A. Ganesh, X. Liang and Y. Ma: “TILT: Transform Invariant LowRank Textures,” Int. Journal of Computer Vision, Vol. 99, No. 1, pp. 1–24,
2012.
[56] 鈴木, 玉木, 山本: “画像復元のための周期的な遮へい物体の抽出”, 電子情報通信学会誌 D-II, Vol. J87-D-II, No. 5, pp. 1189–1192, 2004.

[57] R. Chang, Y. Sie, S. Chou and T. Shih: “Photo defect detection for image
inpainting,” Proc. IEEE Int. Symposium on Multimedia, pp. 403–407, 2005.
62

[58] T. Amano: “Correlation based image defect detection,” Proc. IAPR Int.
Conf. on Pattern Recognition, pp. 163–166, 2006.
[59] N. Turakhia, R. Shah and M. Joshi: “Automatic Crack Detection in Heritage
Site Images for Image Inpainting,” Proc. ACM ICVGIP, pp. 68:1–68:8, 2012.
[60] R. Szeliski: “Computer Vison: Algorithms and Applications”, Springer,
2010.
[61] 大津: “判別および最小 2 乗基準に基づく自動しきい値選定法”, 電子通信学
会論文誌, Vol. J63-D, No. 4, pp. 349–356, 1980.

[62] C. Barnes, E. Shechtman, A. Finkelstein and D. B. Goldman: “PatchMatch:
A Randomized Correspondence Algorithm for Structural Image Editing,”
ACM Trans. on Graphics, Vol. 28, No. 3, pp. 24:1–24:11, 2009.

63