NAIST-IS-MT1451070

修士論文

畳み込みニューラルネットワークを用いた修復失敗領域の自動検出による反復型画像修復

田中 隆寛

2016 年 3 月 14 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
田中 隆寛

審査委員：
横矢 直和 教授

（主指導教員）向川 康博 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）河合 紀彦 助教

（副指導教員）中島 悠太 助教

（副指導教員）畳み込みニューラルネットワークを用いた修復失敗領域の自動検出による反復型画像修復 ∗
田中 隆寛

内容梗概
写真についた傷や意図せず写った人物・物体などの不要な領域を画像内から取り除き，取り除かれた領域 (以下，欠損領域) を違和感なく修復することで画像の利用価値を高める画像修復に関する研究が盛んに行われている．従来から，欠損領域と他の領域間のパターン類似度に基づくエネルギー関数を定義し，それを最小化するように欠損領域内の画素値を決定することで修復を行う手法が提案されている．ここで，一度のみの修復では欠損領域内に不自然なテクスチャが生成される場合もあるが，そのような場合にはユーザが手動で修復に失敗した領域 (以下，修復失敗領域) を再指定し，反復的に画像修復を適用することで結果を改善することが可能である．本論文では，このような手動での修復失敗領域の再指定なしに画像修復の結果の品質を向上させることを目指し，畳み込みニューラルネッ
トワークを用いて画像修復の結果から修復失敗領域を自動的に検出することで，自動で反復的に画像修復を適用する手法を提案する．提案手法は，(1) 畳み込み
ニューラルネットワークの学習，(2) 修復失敗領域の検出による画像修復の反復的適用，の 2 つのフェーズから構成される．学習フェーズ (1) では，まず，画像修復の結果から得られる様々な特徴マップ (パターン類似度，修復に用いられた事例の位置関係等) と，画像修復結果を手動で修復成功領域と修復失敗領域に分類した
ラベルを学習用データセットとして生成する．次に，修復成功領域を正例，修復失敗領域を負例とした 2 クラス分類器の畳み込みニューラルネットワークに対し∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1451070,
2016 年 3 月 14 日.

iて，特徴マップから抽出した小領域および，その小領域の中心画素の教師ラベルを入力とすることでネットワークを学習させる．修復失敗領域の検出による画像修復の反復的適用フェーズ (2) では，未知の画像に対し画像修復を行った結果か
ら学習時と同様の特徴マップを生成し，抽出した小領域を学習済みのネットワー
クへ入力することで小領域の中心画素のクラスを求める．これを欠損領域全体に対して行うことで，画像全体における修復失敗領域を検出し，それに対して再度画像修復を行う．以上の処理を繰り返すことで，修復画像の品質を向上させる．
実験では，まず，学習用の画像に対して画像修復を行い，生成した学習用データ
セットを用いて畳み込みニューラルネットワークを学習させる．次に，修復失敗
領域か否かの確率を表す Softmax 関数の出力の閾値や画像修復の反復回数を様々に変化させ，未知の画像に対する画像修復の反復的適用実験を行い，定量的な評価により各パラメータと修復結果の品質の関係性を検証する．最後に，修復結果の主観的評価実験により従来手法と比較することで提案手法の有効性を示す．

キーワード
画像修復, 畳み込みニューラルネットワーク, 修復失敗領域の自動検出, 反復型画
像修復ii

Iterative image inpainting
with automatic detection of failure regions
using a convolutional neural network∗
Takahiro Tanaka

Abstract
Image inpainting is a method that fills in missing regions with plausible textures in an image to remove undesired objects for enhancing the utility of theimage. Image inpainting has been widely studied; some conventional methods
define an energy function based on similarity between missing regions and therest of the image. They search for patterns that are similar to the missing regions and update pixel values so that the energy function is minimized. Here,applying such methods only once does not always generate plausible textures forthe missing regions. This problem can be solved by iteratively applying image
inpainting with manually reselecting such failure regions. To improve the qualityof image inpainting result without such manual reselection, this thesis proposesa method that iteratively applies image inpainting with automatic detection of
failure regions in a resulting image using a convolutional neural network (CNN).
The proposed method consists of two phases: (1) training of CNN and (2) iteratively applying image inpainting with detection of failure regions. In the training
phase (1), various feature maps (e.g., pattern similarity, relationship of positions
between similar patterns in the missing regions and the rest of the image, and soon) obtained from the image inpainting result, and labels of the image inpainting∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1451070, March 14, 2016.

iii

result manually determined as success/failure regions are set as training dataset.
Next, CNN is used as a two-class classifier assuming regions judged as successin inpainting to be positive examples and those judged as failure to be negative
examples, and parameters of the CNN are trained using patches extracted fromthe training dataset regarding the classes of the center pixels in the patches as supervisory signal. In the iteratively applying image inpainting phase (2), patches
extracted from feature maps obtained from an image inpainting result for an
unknown image are fed to the trained CNN and it gives a classification result.
Failure regions in the entire image are obtained by applying this process to all
possible image patches in the missing regions, and image inpainting is applied to
the failure regions again. The quality of the image inpainting result is improvedby iterating the process above. In experiments, CNN is trained using the training
dataset obtained from image inpainting results. We then apply our method with
diﬀerent parameters, i.e., the threshold to judge success/failure from the outputof the softmax function of our CNN and the number of iterations of image inpainting, and demonstrate how these parameters aﬀect image inpainting resultswith quantitative evaluation. Finally, the eﬀectiveness of the proposed method
is demonstrated by subjectively comparing results obtained by the proposed andconventional methods.

Keywords:
image inpainting, convolutional neural network, automatic detection of failure
regions, iterative image inpaintingiv

目次
1. はじめに

1

2. 画像修復に関する従来研究および本研究の位置付けと方針

4

2.1

2.2

画像修復に関する従来研究 . . . . . . . . . . . . . . . . . . . . . .

4

2.1.1

輝度値の連続性を利用する修復手法 . . . . . . . . . . . . .

4

2.1.2

事例に基づく修復手法 . . . . . . . . . . . . . . . . . . . .

5

2.1.3

その他の画像修復手法 . . . . . . . . . . . . . . . . . . . .

12

2.1.4

画像修復結果の品質を評価する手法 . . . . . . . . . . . . .

12

本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

14

3. 事例に基づく画像修復手法

15

3.1

エネルギー関数の定義 . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

エネルギー関数の最小化 . . . . . . . . . . . . . . . . . . . . . . .

18

3.3

粗密法による局所解の回避と処理の高速化 . . . . . . . . . . . . .

18

4. 修復失敗領域の自動検出による反復型画像修復

19

4.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

4.2

画像修復結果から得られる特徴マップ. . . . . . . . . . . . . . .

21

4.3

小領域の抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

4.4

畳み込みニューラルネットワークの構成 . . . . . . . . . . . . . .

26

4.5

確率の閾値処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

5. 実験と考察

29

5.1

畳み込みニューラルネットワークの学習実験 . . . . . . . . . . . .

33

5.2

パラメータと画像修復結果の品質の関係性の検証 . . . . . . . . .

37

5.2.1

修復失敗領域の検出に用いるパラメータ H に関する検証 .

37

5.2.2

画像修復の反復回数 M に関する検証 . . . . . . . . . . . .

41

提案手法と従来手法の画像修復結果の品質に対する評価実験 . . .

48

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

5.3

5.3.1

v

5.3.2

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5.3.3

定量評価実験 . . . . . . . . . . . . . . . . . . . . . . . . .

57

5.3.4

被験者による主観的評価実験 . . . . . . . . . . . . . . . .

62

6. まとめ

70

謝辞

71

参考文献

72

vi

図目次
1

画像修復の反復的な適用による修復結果の品質の向上 . . . . . . .

2

2

Bertalmio ら [3] の手法による画像修復結果 . . . . . . . . . . . . .

63

天野ら [23] の手法による画像修復結果. . . . . . . . . . . . . . .

7

4

Daisy ら [36] の手法による画像修復結果 . . . . . . . . . . . . . . .

85Wexler ら [43] の手法による画像修復結果 . . . . . . . . . . . . . .

10

6Darabi ら [44] の手法による画像修復結果 . . . . . . . . . . . . . .

11

7

Kawai ら [46] の手法による画像修復結果 . . . . . . . . . . . . . .

118Huang ら [47] の手法による画像修復結果 . . . . . . . . . . . . . .

11

9

Xie ら [53] の手法による画像修復結果 . . . . . . . . . . . . . . . .

12

10

Kopf ら [58] の手法による画像修復結果 . . . . . . . . . . . . . . .

1311

欠損領域とデータ領域 . . . . . . . . . . . . . . . . . . . . . . . .

1612

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

13

特徴マップの例 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2114

座標軸の算出処理 . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

15

特徴マップにおける欠損領域とデータ領域 . . . . . . . . . . . . .

24

16

学習フェーズ (i) における小領域抽出の流れ . . . . . . . . . . . .

25

17

畳み込みニューラルネットワークの構成 . . . . . . . . . . . . . .

26

18

修復失敗領域の検出漏れによる画像修復結果の品質の低下 . . . .

28

19

実験に使用した 25 枚の未知の画像 (赤色は欠損領域を示す) . . . .

30

20

各データセットを用いて学習させたネットワークの ROC 曲線 . .

36

21

修復失敗領域の検出に用いるパラメータ H に対する画像修復結果(画像 21) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22

修復失敗領域の検出に用いるパラメータ H に対する画像修復結果(画像 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23

39
40

修復失敗領域の検出に用いるパラメータ H に対する不自然なテク
スチャの領域の割合の平均値 (M = 3 に固定) . . . . . . . . . . . .

41

24

画像修復の反復回数 M に対する画像修復結果 (画像 16) . . . . . .

4325

画像修復の反復回数 M に対する画像修復結果 (画像 1)

44

vii

. . . . . .

26

画像修復の反復回数 M に対する不自然なテクスチャの領域の割合の平均値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

27

画像修復の反復的適用処理に要した計算時間の平均値 . . . . . . .

45

28

提案手法による画像修復の反復的適用結果 (画像 14) . . . . . . . .

46

29

提案手法による画像修復の反復的適用結果 (画像 25) . . . . . . . .

47

30

Kawai らの手法 [46] を自動で反復的に適用する手法 (3) の概要 . .

50

31

アンケート評価のための事前説明ページ . . . . . . . . . . . . . .

51

32

25 枚の画像に対する手法 (1) の画像修復結果 (Sq :不自然なテクス
チャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

33

25 枚の画像に対する手法 (2) の画像修復結果 (Sq :不自然なテクス
チャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

3455

25 枚の画像に対する手法 (5) の画像修復結果 (Sq :不自然なテクス
チャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

3754

25 枚の画像に対する手法 (4) の画像修復結果 (Sq :不自然なテクス
チャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

3653

25 枚の画像に対する手法 (3) の画像修復結果 (Sq :不自然なテクス
チャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

35

52

56

手法 (1)∼(5) による修復結果に残存する不自然なテクスチャの領域の割合の平均値 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

38

画像 13 の初回の画像修復結果に対して決定された修復失敗領域 .

60

39

手法 (1)∼(5) による画像 13 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値) . .

6040

画像 6 の初回の画像修復結果に対して決定された修復失敗領域 . .

6141

手法 (1)∼(5) による画像 6 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値) . .

61

42

アンケート評価による主観的評価実験の結果 . . . . . . . . . . . .

6243

手法 (2) が提案手法 (5) よりも平均評価値が 0.5 以上高い画像に対する画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，

Ss :主観的評価実験の評価値の平均値) . . . . . . . . . . . . . . . .

viii

65

44

画像 1 の初回の画像修復結果に対して決定された修復失敗領域 . .

45

手法 (1)∼(5) による画像 1 の画像修復結果 (Sq :不自然なテクスチャ

66の領域の割合の平均値，Ss :主観的評価実験の評価値の平均値) . .

66

46

画像 3 の初回の画像修復結果に対して決定された修復失敗領域 . .

67

47

手法 (1)∼(5) による画像 3 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値) . .

48

67

手法 (5) が手法 (2) よりも平均評価値が 0.5 以上高い画像に対する
画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

49. . . . . . . . . . . . . . . . .

68

提案手法 (5) と手法 (2) の平均評価値が共に高い画像に対する画像
修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値) . . . . . . . . . . . . . . . . . . . .

ix

69

表目次
1

25 枚の未知の画像の引用情報 (画像 1∼13) . . . . . . . . . . . . .

31

2

25 枚の未知の画像の引用情報 (画像 14∼25) . . . . . . . . . . . . .

32

3

各データセットに含まれる特徴マップと評価用データに対する識別率 (特徴マップ (b):画像修復の結果画像，特徴マップ (c):欠損領
域の境界から欠損領域内の各画素までの最短距離，特徴マップ (d):修復の終了時における欠損領域内のパターンと対応するデータ領域内の類似パターン間の相違度，特徴マップ (e)(f):修復の終了時
における欠損領域内のパターンと対応するデータ領域内の類似パ
ターン間の距離 (軸に沿った 2 方向)) . . . . . . . . . . . . . . . .

34

4

各データセットを用いて学習させたネットワークの AUC . . . . .

365パラメータ H と修復失敗領域の検出に用いる閾値 h の関係 . . . .

38

6

反復回数 M と修復失敗領域の検出に用いる閾値 h の関係 . . . . .

427

手法 (1)∼(5) による修復結果に残存する不自然なテクスチャの領域

8の割合の平均値と標準偏差 . . . . . . . . . . . . . . . . . . . . . .

57

25 枚の画像修復結果に対する各手法の平均評価値と標準偏差 . . .

62x

1. はじめに近年，インターネットやスマートフォンの普及に伴い，個人が撮影した写真や映像を Twitter や Facebook などの SNS(Social Network Service) やウェブページ
に掲載することが一般的に行われている．しかし，写真や映像に利用意図に沿わない人物や物体が写っている場合，見栄えの低下やプライバシーの侵害といった問題が発生し，そのままでは利用できない場合がある．また，過去に撮影したアナログ写真をスキャナなどで電子化し利用する際，アナログ写真の物理的な損傷(キズ，よごれ等) によりそのままでは利用できない場合もある．このような問題に対して，写真についた傷や意図せず写った人物・物体などの不要な領域を画像内から取り除き，取り除かれた領域 (以下，欠損領域) を違和感なく修復すること
で画像の利用価値を高める画像修復に関する研究が盛んに行われている．これら
画像修復の手法は，輝度値の連続性を利用する修復手法 [1–19] と事例に基づく修復手法 [20–47] に大別できる．
輝度値の連続性を利用する修復手法は，欠損領域の周辺画素から欠損領域内の画素へ輝度値を滑らかに補間することで修復する．この手法は，写真についた引っかき傷などの細い欠損領域を修復する場合に有効であり，良好な修復結果を得る
ことができる．しかし，大きな欠損領域を修復した場合には細かいテクスチャを再現できず，不鮮明な画像が生成されるという問題がある．一方，事例に基づく修復手法は，欠損領域と他の領域（以下，データ領域）間のパターン類似度に基
づきデータ領域のテクスチャを欠損領域内に再現することで修復する．この手法は，大きな欠損領域の内部にも細かいテクスチャを再現でき，多くの場合，比較的良好な修復結果を得ることができる．ただし，この手法では，一度のみの修復
では欠損領域内に不自然なテクスチャが生成されることがあり，そのような場合にはユーザが手動で修復に失敗した領域 (以下，修復失敗領域) を再指定し，繰り返し画像修復を適用することで結果を改善できる場合がある (図 1)．
本論文では，手動での修復失敗領域の再指定なしに画像修復の結果の品質を向上させることを目指し，畳み込みニューラルネットワークを用いて画像修復の結果から修復失敗領域を自動的に検出することで，自動で反復的に画像修復を適用する手法を提案する．ただし本研究では，比較的高品位な画像修復が可能な事例

11回目の画像修復

2回目の画像修復

3回目の画像修復

欠損領域(赤色)を指定した画像修復失敗領域(赤色)を指定した画像修復失敗領域(赤色)を指定した画像画像修復結果

画像修復結果

画像修復結果4回目の画像修復

5回目の画像修復

修復失敗領域(赤色)を指定した画像修復失敗領域(赤色)を指定した画像画像修復結果

画像修復結果図 1: 画像修復の反復的な適用による修復結果の品質の向上に基づく手法を画像修復手法として使用することを想定する．提案手法は，(1)
畳み込みニューラルネットワークの学習，(2) 修復失敗領域の検出による画像修
復の反復的適用，の 2 つのフェーズから構成される．学習フェーズ (1) では，まず，学習用の画像に対し事例に基づく修復手法を用いて画像修復を行い，画像修復結果から得られる様々な特徴マップ (パターン類似度，修復に用いられた事例の位置関係等) と，画像修復結果を手動で修復成功領域と修復失敗領域に分類したラベル (教師ラベル) を学習用データセットとして生成する．次に，特徴マップ
から抽出した小領域および，その小領域の中心画素の教師ラベルを入力とするこ

2

とで，畳み込みニューラルネットワークを学習させる．修復失敗領域の検出による画像修復の反復的適用フェーズ (2) では，未知の画像の画像修復結果から学習時と同様の特徴マップを生成し，抽出した小領域を学習済みのネットワークへ入力することで小領域の中心画素のラベルを求める．これを欠損領域全体に対して行うことで，画像全体における修復失敗領域を検出し，それに対して再度画像修復を行う．以上の処理を実験的に求めた適用回数分自動で繰り返すことで，修復画像の品質を向上させる．
以降，2 章では，関連研究および本研究の位置付けについて述べる．3 章では，本研究で対象とする事例に基づく画像修復手法について述べる．4 章では，畳み込みニューラルネットワークを用いて修復失敗領域を検出し，画像修復を反復的に適用する手法について述べる．5 章では，畳み込みニューラルネットワークの学習実験の結果を示す．また，画像修復の反復回数等のパラメータを様々に変化させ，未知の画像に対する画像修復の反復的適用実験を行うことで，パラメータと修復結果の関係性を定量的に検証する．また，提案手法と従来手法により得られる修復結果に対して主観的評価実験を行うことで提案手法の有効性を示す．最後に 6 章では，本論文のまとめと今後の展望について述べる．

3

2. 画像修復に関する従来研究および本研究の位置付けと方針
本章では，画像修復に関する従来研究について概観したのち，本研究の位置付けを述べる．なお，画像上の遮蔽物体・キズ等が一般的に不要な領域であるという考えの下，それらをユーザによる指定なしに自動で修復する研究 [48–51] も提案されているが，本研究ではユーザによってあらかじめ与えられた欠損領域の修復を対象とする．

2.1 画像修復に関する従来研究
画像修復に関する従来研究は，輝度値の連続性を利用する修復手法 [1–19] と事例に基づく修復手法 [20–47] に大別される．また，事例に基づく修復手法は，特徴空間を用いる修復手法 [20–24]，局所的な事例に基づく修復手法 [25–39]，および大局的な事例に基づく修復手法 [40–47] に分類される．以下，各手法の特徴および問題点について述べる．

2.1.1 輝度値の連続性を利用する修復手法
輝度値の連続性を利用する修復手法は，欠損領域周辺から欠損領域内に輝度値が連続している場合，違和感のない画像となるという考えに基づき，欠損領域の周辺画素から欠損領域内の画素へ輝度値を滑らかに補間することで修復を行う [1–19]．このようなアプローチにおいて，単純な輝度値の補間を行うとエッジが再現されないため，多くの手法はエッジを保存することに着目し修復を行う．
前田らは [1]，欠損領域の周囲の画素を用いて欠損領域の境界部におけるエッジの有無を推定し，エッジが存在する場合はエッジを保つように欠損領域内の画素値を求め，エッジが存在しない場合は，周辺の画素値の平均値をとることで修復を行う手法を提案した．この手法では，逐次的に欠損領域内の画素の画素値を推定するため，比較的大きな欠損領域を対象とした場合はエッジが繋がらないという問題がある．また，Masnou ら [2] は，欠損領域に到達する複数のエッジをあ4

らかじめ自動的に対応付け，それらのエッジを直線的に結ぶことで修復を行う手法を提案した．この手法では，欠損領域の境界でのエッジが複雑な場合は正しく対応付けることが難しく，また，エッジを直線的に結ぶため，欠損領域の境界に到達するエッジの方向が保たれず，違和感のある結果となる．これらの手法に対して，以下のような基準を用いて反復処理を行い，エッジを滑らかに接続することで修復を行う手法が提案されている．

• 偏微分方程式 (Partial Diﬀerential Equation) を用いる手法 [3–10]• 全変動 (Total Variation) を用いる手法 [11–14]• 畳み込みを用いる手法 [15, 16]• 弾性方程式を用いる手法 [17]• マンフォード・シャー関数を用いる手法 [18]
• オプティカルフローを用いる手法 [19]これらの手法を用いることで，輝度値の連続性とエッジのつながりを考慮することができ，写真についた引っかき傷やテロップのような小さな欠損領域に対しては図 2 に示すように良好な修復結果を得ることができる．しかし，原理的に細かいテクスチャを欠損領域内に再現することができないため，大きな欠損領域を修復した場合は不鮮明な画像が生成されるという問題がある．

2.1.2 事例に基づく修復手法
事例に基づく修復手法は，大きな欠損領域であっても細かいテクスチャを再現できるため，その有効性から研究が盛んに行われている．この手法は，特徴空間を用いる修復手法 [20–24]，局所的な事例に基づく修復手法 [25–39]，大局的な事例に基づく修復手法 [40–47] に分類される．以下，各手法について詳述する．
特徴空間を用いる修復手法
特徴空間を用いる修復手法は，欠損領域を含む一定範囲の領域に対して特徴量5

(a) 文字が書かれた画像(b) 文字を取り除いた画像

図 2: Bertalmio ら [3] の手法による画像修復結果を算出し，その領域での特徴量と最も近いデータ領域内の特徴ベクトルを利用することで修復を行う手法である．このような手法では，特徴量として周波数ベク
トルや画像から得られる固有ベクトルが従来用いられてきた．
周波数ベクトルを用いる手法として，東海林ら [20] はデータ領域内のフーリエ振幅スペクトル情報を用いることで欠損領域を修復する手法を提案した．この手法は，フーリエ振幅スペクトルの位置不変性を仮定することで修復を行うため，周期的なテクスチャパターンを持つ画像においては良好な結果が得られるが，そうでない場合は良好な結果を得ることが難しい．また，Hirani ら [21] は，空間領域と周波数領域の両方を用いて欠損領域を修復する手法を提案した．しかし，この手法では修復に用いる領域をユーザが手動で指定する必要があり，欠損領域で多様なテクスチャを持つ場合には修復が難しい．
これらの手法に対して，一般的な周波数ベクトルよりも画像固有の特徴量を用いた方がより良好な結果が得られるとの考えから，画像から得られる固有ベクトルを用いた修復手法が提案されている．天野ら [22] は，画像から切り出した局所領域が他の局所領域と類似するという性質である自己相関性の高い画像を対象とし，その画像のデータ領域から学習サンプルとして複数のウィンドウを切り出す
ことにより固有ベクトル群を生成し，生成された固有ベクトルを結合することで修復を行う BPLP 法および BPLP 法を改良した kBPLP 法 [23] を提案した．これらの手法では，自己相関性の高い画像に対して，図 3 に示すように欠損領域内に6

(a) 文字が書かれた画像(b) 文字を取り除いた画像

図 3: 天野ら [23] の手法による画像修復結果
細かいテクスチャを再現し，良好な修復結果を得ることができる．また，文献 [22]では，フーリエ基底を用いた結果との比較を行い，固有ベクトルを用いることの有効性を示している．また，井添ら [24] は，画像のフラクタル性と局所性に着目することに加え，カーネル主成分分析を用いて修復を行う kernel FID 法を提案した．この手法も，天野らの手法と同様にデータ領域のテクスチャを用いて生成した固有ベクトルを用いて修復を行うため，欠損領域内に細かいテクスチャを再現することができ良好な結果を得ることが可能である．
このように，特徴空間を用いる手法は，欠損領域内に細かいテクスチャを再現することが可能である．しかし，修復を行うには欠損領域周辺の特徴量を用いる
ため，欠損領域にウィンドウを当てはめた時，そのウィンドウ内に必ずデータ領域を含まなけらばならないという原理的な制約がある．従って，1 つのウィンドウに収まらないような大きな欠損領域を修復する場合は良好な結果を得ることが難しい．
局所的な事例に基づく修復手法
局所的な事例に基づく修復手法は，欠損領域内の画素を中心とするパターンと類似するパターンをデータ領域内から探索し，そのパターンを欠損領域内に逐次的に合成することで修復を行う手法であり，図 4 のように大きな欠損領域であっても良好な修復画像を生成することができる．Efros ら [25] は，テクスチャ合成の分野で用いられてきた合成手法を画像修復に対して適用する手法を提案した．
また，Bertalmio ら [26] は，この手法を応用し，輝度値の連続性を考慮する修復手法 [3] とテクスチャ合成の手法 [25] を組み合わせた手法を提案した．これらの7

(a) 欠損した画像(b) 画像修復結果

図 4: Daisy ら [36] の手法による画像修復結果
手法は，欠損領域内のパターンと類似するデータ領域内のパターンを，欠損領域の境界から欠損領域内部へと逐次的に合成することで修復を行う．一度決定された画素値は更新されないという制約を用いるため，短時間で修復が完了するが，修復結果の品質がテクスチャの合成順序に大きく依存し，テクスチャの不連続が起こりやすい問題がある．この問題に対して，テクスチャの合成順序に着目し，より良好な結果を得るために以下のような様々な基準を用いた手法が提案されてきた．

• テクスチャの類似度 [27]• inverse matte [28]
• 決定済みの画素数 [29]
• 決定済みの画素数とエッジの強さ [30–32]• 決定済みの画素数とエッジの強さと類似度 [33]• テクスチャの希少度 [34]しかし，これらの手法においても，データ領域に複雑なテクスチャ構造を持つ画像に対しては，修復結果に不連続なテクスチャが生じやすい問題がある．この問題に対し，Oliveria ら [35] は，Drori らの手法 [28] をベースに，ウィンドウサイズ

8等のパラメータを変化させながら独立に画像修復を行い，それらの結果を統合した後，超解像度処理を行うことで修復する手法を提案した．しかし，パラメータ毎に結果が大きく異なるようなシーンでは違和感のある結果となる．また，Daisy
ら [36] は，Criminisi らの手法 [30] をベースに，テクスチャを合成した後，ブレンディングを行うことでテクスチャの不連続を軽減する手法を提案した．しかし，複雑なテクスチャを含むシーンに対しては修復結果にボケが発生する問題がある．
これに対し，エッジ部分の繋がりをあらかじめ自動または手動で指定し, 優先
的にテクスチャを合成することでこの問題を回避する手法 [37–39] が提案されている．しかし，テクスチャが複雑な場合には，修復に必要なエッジを正しく推定することが難しい問題がある．
大局的な事例に基づく修復手法
局所的な事例に基づく修復手法による問題点を解決するために，全体最適化の枠組みを用いて修復を行う手法が提案されている．Komodakis ら [40] は，Belief

Propagation を応用した Priority-BP を用いて目的関数を最適化し，欠損領域の各画素にラベル付けすることで不連続なテクスチャを生じさせないようにする手法を提案した．また，Pritch ら [41] は，欠損領域内の画素とデータ領域内の画素を対応付ける shift-map を，グラフカットを用いて最適化することで修復を行う手法を提案した．Allène ら [42] は，欠損領域を様々な形の断片に分割し，パーティク
ルフィルタを用いて最適となるテクスチャの組み合わせを推定し合成を行う手法を提案した．Wexler ら [43] は，欠損領域とデータ領域のパターン類似度に基づき
画像の尤もらしさを表すエネルギー関数を定義し，これを最小化するように欠損領域内の画素値を決定することで修復を行う手法を提案した．この手法では，図5 に示すように，大きい欠損領域であっても，不連続なテクスチャが生じず，比較的良好な修復結果が得られている．しかし，これまで述べた手法は，データ領域のパターンをそのまま事例として用い修復を行うため，一見類似するパターンがデータ領域内に存在していても，明度変化や見え方の差異が生じている場合はそのパターンを利用できず，良好な修復結果が得られない場合がある．この問題を解決するために，パターンの明度変化や幾何学的変換を考慮することで利用できるパターンの数を増やし，より多様な画像に対して良好な修復結果を得る手法が

9

(a) 人が写った画像(b) 人を取り除いた画像

図 5: Wexler ら [43] の手法による画像修復結果提案されている．Darabi ら [44] は，パターン類似度に基づくエネルギー関数を拡張し，パターンの回転・拡大縮小・反転を考慮した手法を提案した．これにより，
図 6 に示すように，回転とスケールの変化がある物体上の欠損領域に対しても，違和感のない修復結果を得ることができる．Kawai らは，事例に基づく修復手法で用いられるパターン類似度に基づくエネルギー関数 [43] を拡張し，パターンの明度変化に対応した手法 [45] およびパターンの対称性を考慮した手法 [46] を提案した．この手法では，図 7 に示すような本来画像内に存在しないようなパターン
であっても，対称性を考慮することでパターンを生成し，良好な修復結果を得る
ことができる．また，Huang ら [47] は，透視投影変換を考慮したエネルギー関数
を定義し，それを最小化するように修復を行うことで，図 8 に示すように，透視投影歪みが生じパターンの見え方が異なる場合であっても良好な修復画像の生成を可能にした．
このように，大局的な事例に基づく修復手法は多様な画像に対して良好な修復結果を得ることが可能である．しかし，これらの手法は，欠損領域内に適切な初期値が求まっていない場合や，利用できる事例の数が少ない場合，一度のみの修復
では欠損領域内に不自然なテクスチャが生成される場合があるという問題がある．

10

(a) 欠損した画像(b) 画像修復結果

図 6: Darabi ら [44] の手法による画像修復結果(a) 欠損した画像(b) 画像修復結果

図 7: Kawai ら [46] の手法による画像修復結果(a) 人が写った画像(b) 人を取り除いた画像

図 8: Huang ら [47] の手法による画像修復結果

11

(a) 文字が書かれた画像(b) 文字を取り除いた画像

図 9: Xie ら [53] の手法による画像修復結果

2.1.3 その他の画像修復手法
これまでに述べた画像修復手法に属さない手法として，深層学習を用いて画像修復を行う手法 [52–54] が挙げられる．Jain ら [52]，Xie ら [53] は，ノイズや文字が重畳された画像と，それらが除去された教師画像を学習用データセットとして学習させた深層学習のネットワークを用いることで，修復を行う手法を提案した．この手法により，ノイズや文字が重畳された画像をネットワークへ入力すると，それらが除去された画像が出力されるため，ユーザが欠損領域を指定することなく，図 9 に示すような修復結果を得ることができる．また，Köhler ら [54] は，

Jain ら [52]，Xie ら [53] と同様の学習用データセットに欠損領域の位置を表すマスク画像を追加することで，より良好な修復結果を生成する手法を提案した．しかしこれらの手法は，ノイズや文字といった比較的小さく細い領域の修復を目的としてネットワークを学習させているため，比較的大きな欠損領域に対して良好な結果を得ることは未知数である．

2.1.4 画像修復結果の品質を評価する手法
画像修復の結果には一般的に真値が存在しないため，結果の品質を定量的に評価することは難しい．この問題に対して，近年，人間の認知の情報を考慮することで画像修復の結果の品質を評価する手法がいくつか提案されている [55–57]．

Venkatesh ら [55] は，画像修復結果に対する人間の注視パターンに着目し，修復
12

(a) 不規則な形状のパノラマ画像(b) 修復結果から切り出した画像

図 10: Kopf ら [58] の手法による画像修復結果された領域に対する注視密度とデータ領域に対する注視密度の比を計算し，その値と修復結果の品質に相関があることを示した．Trung ら [56] は，画像修復の結果において，修復された領域とデータ領域の画素値の一貫性と，物体の境界や詳
細部に人間は注視するという考えの下，修復結果の品質の評価指標を定義し，その評価値と修復結果の品質に相関があることを示した．また，Voronin ら [57] は，人が修復結果に対しスコアを付けたデータを用いて学習させた Support Vector

Machine により修復結果の品質を評価し，その評価値と修復結果に相関があることを示した．しかし，いずれの手法においても，修復結果全体に対しての品質を評価しており，領域毎や画素毎の品質の評価にそのまま応用することは難しい．
一方，Kopf ら [58] は，図 10(a) に示すような不規則な形状のパノラマ画像から，事例に基づく修復手法と機械学習による結果の品質の予測により，画像の境界周辺の画素が補間された規則的な形状のパノラマ画像を生成する手法を提案した．具体的には，まず，不規則な形状のパノラマ画像の境界周辺の画素を欠損領域とみなし画像修復を行う．ただし，事前に画像の領域分割を行い，欠損領域の各画素毎に類似パターンを探索する領域の範囲を決めておく．次に，修復結果から得られる特徴量 (欠損領域内の画素の位置，類似パターンを探索する領域内の色やエッジ情報等) に対して Gentle AdaBoost を用いて結果が良好か否かを予測し，結果が良好でない画素をできる限り含まないように画像を切り取ることで規則的な形状のパノラマ画像を生成する (図 10(b))．この手法は，欠損領域の画素毎に結果の品質の評価を行うことができ，その評価を基に良好な修復結果を生成している．しかし，Gentle AdaBoost を学習させるための特徴量として，欠損領
域内の画素毎に決められた類似パターンを探索する領域内の情報を用いるため，

Gentle AdaBoost の性能が領域分割の結果に大きく依存する問題がある．

13

2.2 本研究の位置付けと方針
2.1 節で概観したように，これまで多くの画像修復手法が提案されている．輝度値の連続性を利用する修復手法では，細い欠損領域に対しては良好な結果が得られるが，細かいテクスチャを再現できないため，大きい欠損領域に対してはボケが発生する問題がある．一方，事例に基づく修復手法は，パターンの拡張を考慮することにより，多様な画像に対して比較的良好な結果が得られる．しかし，事例に基づく修復手法には，一度のみの修復では欠損領域内に不自然なテクスチャが生成される場合があるというという問題がある．この問題は，欠損領域内に適切な初期値が求まっていないこと，利用できる事例の数が少ないことなどが原因であるため，画像修復を反復的に適用することで解決できると考えられる．これは，反復的に画像修復を適用することで欠損領域が徐々に小さくなり，適切な初期値が求まりやすく，また利用できる事例の数が増えるためである．画像修復を自動で反復的に適用するためには，修復結果の品質を評価し修復失敗領域を検出する必要があるが，画像修復結果の品質を評価する従来手法 [55–57] では，画像全体における品質の評価しかできないため，修復失敗領域を検出することは難しい．
また，画素毎に品質を評価する手法 [58] も提案されているが，修復結果が良好でない画素を含まないように画像を切り出すことで最終的な結果を生成しているため，本研究の反復的に画像修復を行い結果を改善する枠組みとは異なる．従って，これまでの手法を用いて反復的に画像修復を適用するためにはユーザが手動で修復失敗領域を再指定し，手動で画像修復を反復的に適用する必要がある．すなわ
ち，自動で修復失敗領域を検出し，自動で反復的に画像修復を適用する手法は過去に提案されていない．
以上を踏まえ本論文では，畳み込みニューラルネットワークを用いて修復失敗
領域を自動検出し，自動で反復的に画像修復を適用する手法を提案する．これにより，手動での修復失敗領域の再指定なしに画像修復を反復的に適用することが可能となり，画像修復の結果の品質を向上させることが可能となる．

14

3. 事例に基づく画像修復手法
本章では，本研究が画像修復手法として使用することを想定する大局的な事例に基づく修復手法 [40–47] について，Wexler の手法 [43]，Darabi らの手法 [44]，Kawai らの手法 [46] を例として挙げ詳述する．これらの手法は，欠損領域とデータ領域間のパターン類似度に基づくエネルギー関数を定義し，それを最小化する
ように欠損領域内の画素値を決定することで修復を行う．以下，エネルギー関数の定義と最小化および粗密法による局所解の回避と処理の高速化について述べる．

3.1 エネルギー関数の定義
図 11 に示すように，画像を欠損領域 Ω を含む領域 Ω′ と，Ω′ 以外のデータ領域

Φ に分ける．ここで Ω′ は，画像内において，ある一定サイズの正方ウィンドウW を考えた際，ウィンドウ内に一部でも Ω を含むようなウィンドウの中心画素の集合である．エネルギー関数は，領域 Ω′ 内の画素 xi とデータ領域 Φ 内の画素

xj 周辺のパターン類似度に基づき以下のように定義される．
E=

∑

{
}
wxi SSD(xi , xj , Txi xj ) + λSSDL (xi , xj , Txi xj ) + κSD(xi , xj ) (1)xi ∈Ω′

ここで，SSD(xi , xj , Txi xj ) は，領域 Ω′ の画素を中心とするパターンとデータ領
域 Φ 内の画素を中心とするパターン間の類似度に関する項，SSDL (xi , xj , Txi xj )は，同パターン間の明度値の勾配の類似度に関する項，SD(xi , xj ) はテクスチャの局所性に関する項を表す．また，λ は SSD 項と SSDL 項の相対的な重み，κ は

SSD 項と SD 項の相対的な重みを表す．wxi は領域 Ω′ 内の各画素に与えられた重みであり，Wexler の手法 [43]，Darabi らの手法 [44] では，領域 Ω′ ∩ Ω においては，各画素の真値が既知であるため wxi = 1 を，領域 Ω においては境界に近いほど画素値の信頼度が高くなるため wxi = g −d (d は Ω の境界から画素 xi までの距離，g は定数) を用いる．Kawai らの手法 [46] では，wxi はエネルギー最小化のための反復処理が行われる度に更新され，以下のように定義される．

wxi = C(xi )S(xi )ν K(xi )µ(2)15

ウィンドウ𝑊𝒑xj

ウィンドウ𝑊𝒑Ω′xi
欠損領域 Ω
データ領域 Φ図 11: 欠損領域とデータ領域
ここで，ν ，µ は各項の相対的な重みを表す．また，C(xi ) はウィンドウ W に含まれる Ω 内の画素数，S(xi ) は領域 Ω 内の画素 xi とそれに対応する類似パター
ン位置 xj 周辺のパターンの相違度，K(xi ) は Sobel フィルタにより計算される xi
周辺のテクスチャの複雑さを表す．

SSD(xi , xj , Txi xj )，SSDL (xi , xj , Txi xj ) は以下のように定義される．
SSD(xi , xj , Txi xj ) =∑{}2
I(xi + p)−αxi xj I(xj + Txi xj p)

(3)

p∈W

SSDL (xi , xj , Txi xj ) =∑{∇L(xi + p)−∇L(xj + Txi xj p)

}2
(4)

p∈W

ここで，I(xi )，I(xj ) は画素 xi ，xj の画素値，∇L(xi )，∇L(xj ) は画素 xi ，xj の明度値の勾配を表す．また，p はウィンドウ W 内の変位ベクトル，αxi xj は，テクスチャパターンの明度を補正する係数，Txi xj はテクスチャパターンの幾何学的変換を行うための座標変換行列を表す．

16

SD(xi , xj ) は，シグモイド関数を用いて以下のように定義される．






1 0


NW

Txi xj =  {−K0 (∥x
−x
∥−X
)}
0
i
i
1+e
SD(xi , xj ) =
0 1





G
(otherwise)(5)

ここで，K0 ，X0 は定数，NW はウインドウ内の画素数，G は比較的大きい定数値を表す．SD(xi , xj ) は，ある注目画素が属する物体の領域内では，類似テクス
チャが存在する確率が一様に高く (SD 項の値は一様に低い)，また，物体の領域
外では類似テクスチャが存在する確率が一様に低い (SD 項の値は一様に高い) という仮定に基づいたコストに関する項である．また G は，座標変換行列 Txi xj が単位行列以外の場合に適用される．

Wexler の手法 [43] は，テクスチャパターンの単純な類似度のみを考慮し，明度変化，局所性および幾何学的変換を考慮していないため，エネルギー関数は式(1) における SSD 項のみから構成され，式 (3) における係数 αxi xj = 1，座標変換
行列 Txi xj は単位行列となる．また，Darabi らの手法 [44] は，テクスチャパター
ンの回転・拡大縮小・反転を考慮した手法であり，エネルギー関数は式 (1) における，SSD 項，SSDL 項から構成され，式 (3) における係数 αxi xj = 1，行列 Txi xj
は回転・拡大縮小・反転の座標変換を行う．Kawai らの手法 [46] は，テクスチャ
パターンの明度変化・局所性・対称性を考慮した手法であり，エネルギー関数は式 (1) における SSD 項，SD 項から構成され，式 (3) における係数 αxi xj は以下のように定義される．
√∑

αxi xj = √∑2q∈W I(xi + q)q∈W I(xj

(6)

+ q)2

係数 αxi xj は，位置 xi 周辺の画素と位置 xj 周辺の画素の平均画素値の比から求められ，領域 Φ 内のパターンの明度を領域 Ω′ のパターンの明度に合わせるように補正する．ただし，大きな明度変化を線形的に近似した場合違和感のあるテク
スチャが生成されやすいため，αxi xj の値を一定の範囲に限定している．

17

3.2 エネルギー関数の最小化
式 (1) で定義したエネルギー E が収束するまで類似パターンの探索と画素値の更新を繰り返すことでエネルギーを最小化し，最終的に欠損領域内の画素値および欠損領域内の各画素と対応するデータ領域内の画素位置を決定する．ただし，探索では，領域 Ω′ 内の各画素毎にデータ領域 Φ 内の全画素を対象として探索した場合，計算コストが非常に高い．そこで，Darabi らの手法 [44]，Kawai らの手法 [46] では，PatchMatch [59]，[60] に基づき探索範囲を限定することで計算コストを大きく削減し，類似パターンを近似的に求める．

3.3 粗密法による局所解の回避と処理の高速化
前節で述べたエネルギー最小化は，Greedy Algorithm の枠組みを用いている
ため，局所解問題が存在する．ここでは，効率的に大域最適解に近い解を得るた
めに，初めは原画像を縮小した画像に対して式 (1) のエネルギー最小化処理を行い，その修復結果を初期値として順次解像度を高くしながらエネルギー最小化処理を行う，多重スケール処理を行う．具体的には，まず一定スケールまで画像サ
イズを段階的に縮小した画像ピラミッドを生成し，最小のスケールの画像でエネ
ルギー最小化処理を行う．最小のスケールでエネルギーが収束すると，その修復結果の画素値および，最類似パターンの位置の結果を下位層での初期値として使用する．以上の処理を原画像のサイズになるまで繰り返し行うことで，大域最適解に比較的近い解を得ることができ，また，各スケールでの初期値があらかじめエネルギーの低いテクスチャを用いるため，処理の高速化にも繋がる．

18

4. 修復失敗領域の自動検出による反復型画像修復
4.1 提案手法の概要
図 12 に提案手法の概要を示す．提案手法は，(i) 畳み込みニューラルネットワー
クの学習，(ii) 修復失敗領域の検出による画像修復の反復的適用，の 2 つのフェーズから成る．
学習フェーズ (i) では，まず，学習用の画像に対し事例に基づく修復手法を用いて画像修復を行い，画像修復結果から得られる様々な特徴マップ (パターン類似度，修復に用いられた事例の位置関係等) を生成する (i-a)，(i-b)．また，画像修復の結果において，欠損領域の各画素に対し人が手動で修復成功領域と修復失敗
領域の 2 クラスをラベル付けしたデータを生成する (i-b)．次に，修復成功領域を
正例，修復失敗領域を負例とした 2 クラス分類器である畳み込みニューラルネッ
トワークに対し，特徴マップから抽出した小領域および，その領域の中心画素の教師ラベルを入力することでネットワークのパラメータを学習させる (i-c)，(i-d)．
修復失敗領域の検出による画像修復の反復的適用フェーズ (ii) では，未知の画像に対し学習時と同一の手法を用いて画像修復を行い，画像修復結果から学習時と同様の特徴マップを生成する (ii-a)，(ii-b)．次に，特徴マップから小領域を抽出し，学習フェーズ (i) で学習させた畳み込みニューラルネットワークへ入力することで，小領域の中心画素が修復失敗領域か否かを表す確率を求める (ii-c)，(ii-d)．
これを欠損領域全体に対して適用し，各画素における修復失敗領域か否かの確率を求める．最後に，各画素の確率に対し閾値処理を適用することで，画像全体における修復失敗領域を検出し，それに対し再度画像修復を行う (ii-e)，(ii-f)，(ii-g)．
以上の処理を実験的に求めた適用回数分繰り返すことで，反復的に画像修復を行う．
以下，(i-b)，(ii-b) で生成した画像修復結果から得られる特徴マップの詳細，(i-c)，(ii-c) で行った小領域の抽出方法，(ii-d) で使用した畳み込みニューラルネット
ワークの構成および確率の閾値処理 (ii-e) について述べる．

19

(i) 畳み込みニューラルネットワークの学習(i-b) 学習用データセット(i-a) 画像修復
欠損領域

画像修復結果から得られる特徴マップ

画像修復結果(i-c) 小領域の抽出人が指定した修復失敗領域(i-d) 畳み込みニューラルネットワーク
出力 : 修復失敗領域
か否かの確率入力 : 小領域
80％

・・

・・

修復失敗領域

20％

教師ラベル

修復成功領域(ii) 修復失敗領域の検出による画像修復の反復的適用(ii-a) 未知の画像に対する画像修復
欠損領域(ii-b) 学習時と同様の形式のデータ

画像修復結果

画像修復結果から得られる特徴マップ(ii-g) 画像修復
欠損領域全体に適用(ii-c) 小領域の抽出(ii-f) 修復失敗領域の検出(ii-d) 学習済みの畳み込みニューラルネットワーク
出力 : 修復失敗領域
か否かの確率入力 : 小領域
70％

・・

・・

30％

修復失敗領域

(ii-e) 確率の閾値処理

修復成功領域100%0%

図 12: 提案手法の概要

20

𝑦′

𝑥′

(b) 事例に基づく手法による画像修復結果(a) 欠損領域

大

大

小

小

(c) 欠損領域の境界から欠損領域内の各画素までの最短距離(d) 欠損領域内のパターンと対応する
データ領域内の類似パターン間の相違度

大

大

小

小

(e) 欠損領域内のパターンと対応する(f) 欠損領域内のパターンと対応する
データ領域内の類似パターン間の距離 (x’ 軸) データ領域内の類似パターン間の距離 (y’ 軸)

図 13: 特徴マップの例

4.2 画像修復結果から得られる特徴マップ
本研究では，前章で述べた事例に基づく画像修復の結果から得られ，修復結果の品質と相関があると考えられる様々な特徴マップを畳み込みニューラルネット
ワークの学習に使用する．図 13 に特徴マップの例を示す．具体的には，(c) 欠損

21

領域の境界から欠損領域内の各画素までの最短距離，(d) 修復の終了時における欠損領域内のパターンと対応するデータ領域内の類似パターン間の相違度，(e)(f)
同パターン間の距離 (軸に沿った 2 方向) を用いる．以下，各特徴マップについて詳述する．

(c) 欠損領域の境界から欠損領域内の各画素までの最短距離
欠損領域内の各画素までの最短距離は，境界付近においては短く境界から離れるにつれて長くなる．画像修復を行う際，欠損領域の境界付近の画素に着目すると，その画素を中心とするパターンは欠損領域だけでなくデータ領域も含むため，適切な類似パターンが求まりやすく違和感のないテクスチャが生成される場合が多い．一方，境界から離れた画素の場合は，その画素を中心とするパターンはデータ領域を含まないため，適切な類似パターンが求まりにくく，良好でない結果となる可能性が高くなる．

(d) 欠損領域内のパターンと対応するデータ領域内の類似パターン間の相違度
本研究では，事例に基づく修復手法で定義されるパターン間の相違度を用いて特徴マップの相違度を計算する．相違度は，適切な類似パターンと対応付いている場合は小さくなり，データ領域内のパターンが再現されるため違和感のないテ
クスチャが生成される場合が多い．一方，相違度が大きい場合は，適切な類似パ
ターンと対応付いておらず，データ領域に存在しないパターンが再現されている場合が多いため，良好でない結果となる可能性が高くなる．

(e)(f ) 欠損領域内のパターンと対応するデータ領域内の類似パターン間の距離
多くの画像では，類似したテクスチャ同士が近傍に存在することが多い．従って，欠損領域内のパターンと対応するデータ領域内のパターン間の距離が短い場
合は類似したテクスチャが再現されるため，違和感のないテクスチャが生成される場合が多い．一方，距離が長い場合は，類似したテクスチャが再現されない場合が多いため，良好でない結果となる可能性が高くなる．本研究では，距離だけでなく類似パターンが存在する方向にも画質が依存するとの考えから，画像から
主要な 2 軸の方向を算出し，それぞれの軸に沿った 2 つの距離を特徴量として用いる．図 14 に座標軸の算出処理を示す．まず，画像中のデータ領域の画素を中心とするパターンと類似するパターンを同領域内から探索し，その位置関係から対22

(1) 類似パターンの探索(2) パターン間の対応方向

欠損領域

データ領域

𝜃
類似パターン(3) 対応方向のヒストグラム(4) 座標軸

1200
1000

頻度

800
600

𝑦′

400
200

0
−90

−45

0

45

𝑥′

90

対応方向𝜃[°]

図 14: 座標軸の算出処理
応方向を求める．次に，これをデータ領域内の全画素に対して行い，対応方向のヒストグラムを作成する．最後に，ヒストグラムから最も出現頻度が高い対応方向を求め，その方向を基底とする軸を x′ 軸，x′ 軸と直交する軸を y ′ 軸とする座標軸を構成する．ただし，処理の高速化のために，画像の短辺が 200 になるように縮小した画像に対して以上の処理を行う．

23

小領域

xi

𝑙

小領域

xk

欠損領域 Ω
データ領域 Φ図 15: 特徴マップにおける欠損領域とデータ領域

4.3 小領域の抽出提案手法では，特徴マップから抽出した小領域を畳み込みニューラルネットワー
クの入力とする．本節では，学習フェーズ (図 (12)(i-c))，画像修復の反復的適用
フェーズ (図 (12)(ii-c)) における小領域の抽出方法について述べる．
図 15 に示すように，特徴マップを欠損領域 Ω とデータ領域 Φ に分ける．学習フェーズ (i) においては，学習データが冗長にならないよう，図 16 の流れにより特徴マップから小領域を抽出する．具体的には，領域 Ω 内からランダムに画素 xi
を選択し，既に抽出された xi と最も近い小領域の中心位置 xk 間のユークリッド
距離 l を算出する．次に，距離 l が下限 llower 以上であれば，xi を中心とする小領域を学習データとして追加する．この処理を，上記の条件を満たす xi がなくなるまで，または 1 枚の画像から抽出する小領域の上限数 Supper に達するまで繰り返す．
画像修復の反復的適用フェーズ (図 (12)(ii-c)) では，欠損領域 Ω 内の全ての画素に対し修復失敗領域か否かのクラスを求める必要があるため，領域 Ω 内の全ての画素を中心とする小領域を抽出し，学習済みの畳み込みニューラルネットワー
クへ入力する．

24開始𝑙 ≥ 𝑙𝑙𝑜𝑤𝑒𝑟
いいえを満たすxiがある

はい
xiをランダムに選択𝑙 ≥ 𝑙𝑙𝑜𝑤𝑒𝑟
いいえ
はいxiを中心とする小領域を学習データに追加抽出した小領域の数≥ 𝑆𝑢𝑝𝑝𝑒𝑟

いいえ

はい
終了

図 16: 学習フェーズ (i) における小領域抽出の流れ

25

Input4 channels
56×56

30 channels
54×54

27×27

25×25

13×13 11×11

6×6

100

Output
2
𝑢1

𝑢2

3×3
2×2

3×3

2×2

Convolution(C) Max pooling(MP) C

𝑧2

2×2

3×3

MP

𝑧1

C

MP Fully connected

図 17: 畳み込みニューラルネットワークの構成

4.4 畳み込みニューラルネットワークの構成
図 17 に畳み込みニューラルネットワークの構成を示す．提案手法で用いた畳み込みニューラルネットワークは，畳み込み層・プーリング層と 3 層の全結合層から構成され，各畳み込み層・プーリング層は 30 チャネルのマップを持つ．また，
出力層以外の層の活性化関数を Rectified Linear Unit [61] とし，出力層の活性化関数を以下に示す softmax 関数とする．

exp(ua )z a = ∑2b=1 exp(ub )(7)

ここで，a は出力層のユニットの数 (a = 1, 2) であり，u1 ，u2 は出力層の 1，2 番目のユニットの入力，z1 ，z2 はその出力を表す．前節で述べた特徴マップから抽出した 56 × 56 の小領域を入力として取り，小領域の中心画素が修復失敗領域か否かを表す確率を出力する．学習時には，過学習を避けるために全結合層に dropout [62]を適用し，確率的勾配降下法によりネットワークのパラメータを求める．

26

4.5 確率の閾値処理
一般的に，畳み込みニューラルネットワークを用いたクラス分類においては，50% の確率を閾値として用いる．しかし，図 18(a)1 の画像に対する修復結果に示すように，確率の閾値を 50% として修復失敗領域を検出し，もし正しく検出できなかった領域が存在する場合，反復的に画像修復を適用しても結果が改善されない．この問題を解決するために，本研究では，50% よりも低い確率の閾値 H を用い，画像修復の反復回数を M とした場合における，m 回目 (1≤m≤M ) の画像
修復適用後の修復失敗領域検出のための閾値を，以下の式により決定する．

50
M =1
hm =
(8)
 50−H (m − 1) + H M > 1
M −1
これにより，1 回目の修復失敗領域の検出時における閾値を低く設定し，画像修復を反復的に適用する度に閾値を徐々に上げることで，検出漏れを減らし修復画
像の品質を向上させる．ただし，反復回数が 1 回のみの場合 (M = 1) は確率の閾値を 50% とする．

1

March for Refugees September 2015 - 12, Garry Knight, 2015.
https://www.flickr.com/photos/garryknight/23128532536/，
https://creativecommons.org/licenses/by/2.0/27

(a) 欠損領域(b) 初回の画像修復結果(c) 修復失敗領域の検出結果(d) 再度画像修復を行った結果(確率の閾値 50%)
図 18: 修復失敗領域の検出漏れによる画像修復結果の品質の低下

28

5. 実験と考察
本章では，提案手法と従来手法により得られる修復結果に対して定量的な評価
および被験者による主観的評価実験を行うことで，提案手法の有効性を検証する．
本実験では，まず，学習用の画像に対し 3 章で述べた事例に基づく修復手法を用いて画像修復を行い，生成した学習用データセットを用いて畳み込みニューラル
ネットワークを学習させる．学習時には，学習用データセットに含む特徴マップの種類を様々に変化させ，未知の画像の画像修復結果に対する修復失敗領域の検出性能を評価することで，特徴マップの組み合わせとネットワークの識別性能の関係性を検証する．ただし，未知の画像として図 19 に示す 25 枚の画像 (表 1∼2 に
引用情報を示す．) を用い，画像修復手法として高品位な画像修復が可能な Kawai
らの手法 [46] を用いる．次に，修復失敗領域の検出に用いるパラメータ H と画像修復の反復回数 M を変化させ，図 19 に示す 25 枚の未知の画像に対し画像修
復を反復的に適用することで，各パラメータと修復結果の品質の関係性を検証する．最後に，定量的な評価および被験者による主観的評価実験を行うことで提案手法の有効性を示す．

29

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

図 19: 実験に使用した 25 枚の未知の画像 (赤色は欠損領域を示す)

30

表 1: 25 枚の未知の画像の引用情報 (画像 1∼13)
画像 1
画像 2
画像 3

画像 4

画像 5

画像 6

画像 7
画像 8
画像 9
画像 10
画像 11
画像 12
画像 13

Летний отдых, Andrey, 2011.
https://www.flickr.com/photos/akras/6025680126/in/dateposted/
https://creativecommons.org/licenses/by/2.0/
http://www.photo-ac.com/main/detail/146243?title=Beach%20Cruiser
Washed cat, Vladimir Pustovit, 2014.
https://www.flickr.com/photos/pustovit/14144751864/
https://creativecommons.org/licenses/by/2.0/
Unknown Clock of Albin Rydberg 1928. Wayne’s Coﬀee near to
the Stockholms Stadsmuseum in Stockholm Sweden, Arjan
Richter, 2011.
https://www.flickr.com/photos/arjanrichter/6092908973/in/
dateposted/
https://creativecommons.org/licenses/by/2.0/
Painted Cow Sculpture, Chris Hunkeler, 2015.
https://www.flickr.com/photos/chrishunkeler/21664888548/in/dateposted/
https://creativecommons.org/licenses/by-sa/2.0/
Youngstown, Ohio, Home Savings & Loan Building – ”
How did it get so late so soon?” ― Dr. Seuss, Jack Pearce, 2013https://www.flickr.com/photos/jwpearce/10019321643/
https://creativecommons.org/licenses/by-sa/2.0/
Thames Path 14/03/13 - 22, Garry Knight, 2013.
https://www.flickr.com/photos/garryknight/8656120716/
https://creativecommons.org/licenses/by/2.0/
DSC02374 - The Duck Walk...., Dennis Jarvis, 2012.
https://www.flickr.com/photos/archer10/8176441830/
https://creativecommons.org/licenses/by-sa/2.0/
good mood, Andrey, 2011.
https://www.flickr.com/photos/akras/6063183186/
https://creativecommons.org/licenses/by/2.0/
Yawn!, Andrey, 2008.
https://www.flickr.com/photos/akras/2413459862/in/dateposted/
https://creativecommons.org/licenses/by/2.0/
Picknick kann los gehen!, Alexander von Halem, 2013.
https://www.flickr.com/photos/barockschloss/9280570285/
https://creativecommons.org/licenses/by/2.0/
Young, Andrey, 2009.
https://www.flickr.com/photos/akras/4536533711/
https://creativecommons.org/licenses/by/2.0/
A Lady that cares a lot about her appearance, Pedro Ribeiro
Simoes, 2008.
https://www.flickr.com/photos/pedrosimoes7/15163469028/
https://creativecommons.org/licenses/by/2.0/31表 2: 25 枚の未知の画像の引用情報 (画像 14∼25)
画像 14

画像 15
画像 16
画像 17
画像 18
画像 19

画像 20

画像 21
画像 22
画像 23
画像 24
画像 25

Line of Boots, Alexander von Halem, 2011https://www.flickr.com/photos/barockschloss/5536824051/in/
dateposted/
https://creativecommons.org/licenses/by/2.0/
Wolverton Manor Garden Fair 2013 - 05, Garry Knight, 2013.
https://www.flickr.com/photos/garryknight/10090717603/
https://creativecommons.org/licenses/by/2.0/
Жук, Andrey, 2014.
https://www.flickr.com/photos/akras/21574602324/
https://creativecommons.org/licenses/by/2.0/
Painters, Andrey, 2008.
https://www.flickr.com/photos/akras/2461869616/in/dateposted/
https://creativecommons.org/licenses/by/2.0/
Tennessee Mountain Lodge sign, Brent Moore, 2006.
https://www.flickr.com/photos/brent nashville/257830517/
https://creativecommons.org/licenses/by/2.0/
男孩的夏天 Boys of Summer / 嶺大艇 Lingnan University Rowing
Team / 香港水上體育運動 Hong Kong Water Sports /SML.20130809.7D.49261, See-ming Lee, 2013https://www.flickr.com/photos/seeminglee/9475590133/
https://creativecommons.org/licenses/by/2.0/
Squirrel 03, GabboT, 2011.
https://www.flickr.com/photos/tonyshek/6994360395/in/album72157629249630186/
https://creativecommons.org/licenses/by-sa/2.0/
Harbor Fish Market, Paul VanDerWerf, 2012https://www.flickr.com/photos/pavdw/7943133994/
https://creativecommons.org/licenses/by/2.0/
Horse at Dyes Farm, Peter O’Connor aka anemo, 2011.
https://www.flickr.com/photos/anemoneprojectors/5810887363/
https://creativecommons.org/licenses/by-sa/2.0/
March for Refugees September 2015 - 12, Garry Knight, 2015.
https://www.flickr.com/photos/garryknight/23128532536/
https://creativecommons.org/licenses/by/2.0/
Bike and Blue Shutters, Durham, England, Spencer Means, 2007.
https://www.flickr.com/photos/hunky punk/8462253191/
https://creativecommons.org/licenses/by-sa/2.0/
The Church of St Mary, Lawford, Essex, England (from thesoutheast), Spencer Means, 2010.
https://www.flickr.com/photos/hunky punk/7952527086/in/
dateposted/
https://creativecommons.org/licenses/by-sa/2.0/

32

5.1 畳み込みニューラルネットワークの学習実験
Web から収集した VGA サイズにリサイズされた 1,078 枚の学習用の画像に対して，画像上の前景や物体を欠損領域として指定することで画像修復を行い，修復結果に対して人が手動で修復成功領域か修復失敗領域のラベル付けを行うこと
で学習用データセットを生成し，抽出した 146,556 組の小領域 (56×56 画素) を用
いて畳み込みニューラルネットワークを学習させた．また，学習用の画像とは別の 78 枚の評価用の画像に対して画像修復を行い，評価用データセットを生成し，抽出した 11,000 組の小領域を用いてネットワークの識別性能を評価した．ただし，学習用の画像，評価用の画像には図 19 で示した画像は含まれない．ここで，学習用データセットと評価用データセットに含まれる特徴マップの種類を様々に変化させることで，特徴マップの組み合わせとネットワークの識別性能の関係性を検証した．本実験では，画像修復手法として Kawai らの手法 [46] を用いたため，

4.2 節で述べた画像修復結果から得られる特徴マップ (c) のパターン間の相違度として，式 (3) に示すパターンの明度変化・対称性を考慮した SSD を使用した．また，画像修復結果を増やすために，データの拡張として画像の左右の鏡像反転と√縮小を行った．縮小画像の生成は，長辺が 200 画素以下になるまで画像を 22 倍に繰り返しリサイズすることで行う．小領域を抽出する際には，4.3 節で述べた抽出する小領域間の距離の下限を llower = 15 − 2k(k は縮小処理の適用回数)，1枚の画像から抽出する小領域数の上限を Supper = 500 とした．
表 3 に各データセットに含まれる特徴マップと評価用データに対する識別率を示す．本実験では，4.2 節で述べた特徴マップの組み合わせとネットワークの識
別性能の関係性の検証に加えて，特徴マップに画像修復の結果画像を加えたデー
タセットも生成し学習させることで，画像修復の結果画像の有無とネットワークの識別性能の関係性も検証した．また，学習は，バッチサイズを 150，パラメー
タの更新回数を 50,000 回とし，深層学習のフレームワークである Caﬀe [63] を用いて行った．表 3 に示すように，評価用データに対する識別率は，データセット

1 を用いて学習させたネットワークにおいて約 84.02% と最も高くなった．
以上の実験により得られたネットワークに対して，図 19 に示す 25 枚の未知の画像の画像修復結果に対する修復失敗領域の検出性能を評価することで，より33

表 3: 各データセットに含まれる特徴マップと評価用データに対する識別率 (特徴
マップ (b):画像修復の結果画像，特徴マップ (c):欠損領域の境界から欠損領域内の各画素までの最短距離，特徴マップ (d):修復の終了時における欠損領域内のパターンと対応するデータ領域内の類似パターン間の相違度，特徴マップ (e)(f):修復の終了時における欠損領域内のパターンと対応するデータ領域内の類似パターン間の距離 (軸に沿った 2 方向))データセット

特徴マップ

識別率 [%]

(b)

(c)

(d)

(e)(f)

1

有り

有り

有り

有り

84.02

2

有り

有り

有り

無し

81.62

3

有り

有り

無し

有り

81.72

4

有り

無し

有り

有り

81.18

5

無し

有り

有り

有り

81.81

6

有り

有り

無し

無し

78.50

7

有り

無し

有り

無し

76.94

8

有り

無し

無し

有り

79.09

9

無し

有り

有り

無し

79.84

10

無し

有り

無し

有り

79.90

11

無し

無し

有り

有り

81.49

12

有り

無し

無し

無し

74.46

13

無し

有り

無し

無し

63.57

14

無し

無し

有り

無し

79.04

15

無し

無し

無し

有り

78.58

多様な画像の画像修復結果に対するネットワークの識別性能を評価した．具体的には，まず，25 枚の未知の画像に対して画像修復を行い，画像修復結果に対して人が手動で修復成功領域か修復失敗領域のラベル付けを行うことでテスト用
データセットを生成し，欠損領域内の全ての画素を中心とする小領域を抽出する

34

ことで 1,698,365 組の小領域を生成する．次に，人により付けられたラベルが修
復失敗領域であり，ネットワークにより判断されたラベルが修復失敗領域の場合
を TP(True Positive)，人により付けられたラベルが修復失敗領域であり，ネット
ワークにより判断されたラベルが修復成功領域の場合を FN(False Negative) とし，

TPR(True Positive Rate) を以下の式により求める．
TPR =

TP
TP + FN(9)

また，人により付けられたラベルが修復成功領域であり，ネットワークにより判断されたラベルが修復失敗領域の場合を FP(False Positive)，人により付けられたラベルが修復成功領域であり，ネットワークにより判断されたラベルが修復成
功領域の場合を TN(True Negative) とし，FPR(False Positive Rate) を以下の式により求める．

FPR =FP
FP + TN(10)

次に，ネットワークの出力である softmax 関数の値に対する閾値を様々に変化させ，式 (9)，(10) により求めた TPR，FPR により ROC(Receiver Operating Char-

acteristic) 曲線を描く．最後に，ROC 曲線下の面積である AUC(Area Under theCurve) を求め，AUC の値によりネットワークの識別性能を評価する．ただし本実験では，評価用データに対する識別率が高かった上位 3 つのデータセット (データセット 1，3，5) を用いて学習させたネットワークに対してのみ評価を行った．
図 20 に各データセットを用いて学習させたネットワークの ROC 曲線，表 4 に

AUC の値を示す．表 4 より，AUC の値はデータセット 5 を用いて学習させたネッ
トワークにおいて最も高くなり，識別性能が最も高いことが確認できる．従って，以降の実験ではデータセット 5 を用いて学習させたネットワークを用いる．

35

1.0
0.8

TPR

0.6
データセット1を用いて学習させたネットワーク

0.4

データセット3を用いて学習させたネットワーク

0.2

0
0

データセット5を用いて学習させたネットワーク

0.2

0.4

0.6

0.8

1.0

FPR
図 20: 各データセットを用いて学習させたネットワークの ROC 曲線

表 4: 各データセットを用いて学習させたネットワークの AUC

AUC
データセット 1 を用いて学習させたネットワーク

0.8523

データセット 3 を用いて学習させたネットワーク

0.8359

データセット 5 を用いて学習させたネットワーク

0.894636

5.2 パラメータと画像修復結果の品質の関係性の検証
5.2.1 修復失敗領域の検出に用いるパラメータ H に関する検証
修復失敗領域の検出に用いる閾値 h はパラメータ H によって決定される．本
実験では，パラメータ H を表 5 に示すように変化させ画像修復を反復的に適用することで，パラメータ H と画像修復結果の品質の関係性を検証する．まず，画像修復の反復回数を M = 3 に固定し，式 (8) により閾値 hm を求め，図 19 に示した

25 枚の画像に対して画像修復を反復的に適用した．図 21，22 にパラメータ H を様々に変化させ画像修復を反復的に適用した具体例を示す．ここで，図 21(a)，図22(a) は欠損領域を指定した画像，図 21(b)，図 22(b) は従来の画像修復を 1 度のみ適用した場合の結果を表し，図 21(c)，図 22(c) は，同図中 (b) に対して提案手法により異なる H(左 : H = 20，中央 : H = 35，右 : H = 50) で修復失敗領域を検出した結果である．また，図 21(d)，(e)，図 22(d)，(e) はそれぞれ初回および3 回目の画像修復の反復的適用によって出力された修復結果である．図 21(c)∼(e)
左に示すように，H = 20 の場合は修復失敗領域を過剰に検出してしまい，1 回目に検出された修復失敗領域の面積と元の欠損領域の面積の間に大きな変化が見られない．その結果，反復的に画像修復を適用しても修復結果が改善されず，不自然なテクスチャが残る結果となった．また，図 21(c)∼(e) 右，図 22(c)∼(e) 右に示
すように，H = 50 の場合は，1 回目の修復失敗領域の検出時に正しく検出できなかった領域が存在する．従って，反復的に画像修復を適用してもその領域が消えることはなく，不自然なテクスチャが残る結果となった．一方，図 21(c)∼(e) 中央，図 22(c)∼(e) 中央に示すように，H = 35 の場合は，修復失敗領域の過剰な検出や検出漏れがなく，反復的に画像修復を適用した結果，不自然なテクスチャが消え，従来手法や他のパラメータによる結果と比べて良好な結果となることが確認できる．
次に，図 21(e), 図 22(e) を含む最終的な画像修復の結果において不自然なテク
スチャの領域を手動で与え，同図 (a) に示したような元の欠損領域の面積に対して最終的に残存する不自然なテクスチャ領域の面積の割合を算出した．図 23 に，25枚の画像に対して算出したパラメータ H と修復結果における不自然なテクスチャの領域の割合の平均値を示す．図 23 より，H = 20 とし反復的に画像修復を適用

37

した場合は，修復結果に残る不自然なテクスチャの領域の割合が約 11%，H = 50とした場合は約 10% であるのに対し，H = 35 とした場合は最も小さい約 5% となり，不自然な領域の割合が H = 20 の場合に対して相対的に約 54%，H = 50 より約 49% 減少していることが確認できる．従って，以降の実験では H = 35 を用いる．
表 5: パラメータ H と修復失敗領域の検出に用いる閾値 h の関係
パラメータ

各反復的適用処理における閾値 h

H

h1

h2

h3

20

20

35

50

25

25

37.5

50

30

30

40

50

35

35

42.5

50

40

40

45

50

45

45

47.5

50

50

50

50

50

38

(a) 欠損領域(H = 20)(b) 初回の画像修復結果(Kawai らの手法)(H = 35)(H = 50)(c) (b) に対する修復失敗領域の検出結果 (m = 1)

(H = 20)(H = 35)(H = 50)(d) (c) に対する画像修復結果 (m = 1)

(H = 20)(H = 35)(H = 50)(e) 最終的な画像修復結果 (m = 3)

図 21: 修復失敗領域の検出に用いるパラメータ H に対する画像修復結果 (画像21)39

(b) 初回の画像修復結果(Kawai らの手法)(a) 欠損領域(H = 20)(H = 35)(H = 50)(c) (b) に対する修復失敗領域の検出結果 (m = 1)

(H = 20)(H = 35)(H = 50)(d) (c) に対する画像修復結果 (m = 1)

(H = 20)(H = 35)(H = 50)(e) 最終的な画像修復結果 (m = 3)

図 22: 修復失敗領域の検出に用いるパラメータ H に対する画像修復結果 (画像 2)40

不自然なテクスチャの領域の割合

0.12
0.10

0.08
0.06

0.04
0.02

0

20
25
30
35 40
45
50
修復失敗領域の検出に用いるパラメータ𝐻

図 23: 修復失敗領域の検出に用いるパラメータ H に対する不自然なテクスチャの領域の割合の平均値 (M = 3 に固定)

5.2.2 画像修復の反復回数 M に関する検証
画像修復の反復回数 M を表 6 に示すように変化させ画像修復を反復的に適用することで，反復回数 M と画像修復結果の品質の関係性を検証した．修復失敗領域の検出に用いるパラメータを前項の実験で得られた値 H = 35 とし，式 (8) により閾値 hm を求め，図 19 に示した 25 枚の画像に対して画像修復を反復的に適用した．図 24，図 25 に反復回数 M を様々に変化させ画像修復を反復的に適用した
具体例を示す．ここで，図 24(a)，図 25(a) は欠損領域を指定した画像，図 24(b)，図 25(b) は従来の画像修復を 1 度のみ適用した場合の結果を表し，図 24(c)∼(h)，
図 25(c)∼(h) は，画像修復の反復回数 M を 1∼6 まで変化させて画像修復を適用した結果を表す．図 24(c) に示すように，画像修復の反復回数 M = 1 の場合は，
式 (8) より閾値 h1 が 50 となるため，修復失敗領域を正しく検出できない領域が存在し，不自然なテクスチャが残る結果となった．一方，図 25(d)∼(h) に示すように，画像修復の反復回数を増やし閾値 hm を 35 から徐々に上げて反復的に画像修復を適用した場合は，不自然なテクスチャが減少し，従来手法や反復回数 M = 1
による結果と比べて良好な結果となることが確認できる．また，図 25 に示す画41

表 6: 反復回数 M と修復失敗領域の検出に用いる閾値 h の関係
反復回数

各反復的適用処理における閾値 h

M

h1

h2

h3

h4

h5

h6

h7

0

-

-

-

-

-

-

-

1

50

-

-

-

-

-

-

2

35

50

-

-

-

-

-

3

35

42.5

50

-

-

-

-

4

35

40

45

50

-

-

-

5

35

38.8

42.5

46.3

50

-

-

6

35

38

41

44

47

50

-

7

35

37.5

40

42.5

45

47.5

50

像においては，画像修復を反復的に適用した場合であっても結果が完全には改善されなかったが，画像修復の反復回数を増やし画像修復を適用するにつれて不自然なテクスチャが徐々に小さくなることが確認できる．
次に，5.2.1 項で述べた手法と同様に，画像修復の結果における不自然なテクス
チャの領域を手動で与え，元の欠損領域の面積に対して最終的に残存する不自然なテクスチャの領域の面積の割合を算出した．図 26 に，25 枚の画像に対して算出した反復回数 M と修復結果における不自然なテクスチャの領域の割合の平均値を示す．図 26 より，従来の画像修復を 1 度のみ適用した場合 (M = 0) は，修復結果に残る不自然なテクスチャの領域の割合が約 29% であるのに対し，M = 5とし反復的に画像修復を適用した場合は約 4% となり，不自然な領域の割合が相対的に約 88% 減少している．M = 5 で不自然なテクスチャの領域の割合は概ね収束しており，良好な修復結果を得るためには 5 回程度の画像修復の反復的な適用が必要であることが分かる．
また，図 27 に画像修復の反復的適用処理に要した計算時間の平均値を示す．図27 より，反復回数が増えるにつれ画像修復と修復失敗領域の検出が必要となるため，計算時間は徐々に増加することが確認できる．

42

以上の実験の結果より，提案手法は，修復失敗領域の検出に用いるパラメータ

H = 35，画像修復の反復回数 M = 5 とし，図 28，29 に示すように画像修復を反復的に適用する．

(a) 欠損領域(b) 初回の画像修復結果(Kawai らの手法 [46])(c) 画像修復を反復的に適用した最終結果 (M = 1)(d) 画像修復を反復的に(e) 画像修復を反復的に適用 (f) 画像修復を反復的に適用適用した最終結果 (M = 2) した最終結果 (M = 3)
した最終結果 (M = 4)(g) 画像修復を反復的に(h) 画像修復を反復的に(i) 画像修復を反復的に適用適用した最終結果 (M = 5) 適用した最終結果 (M = 6) した最終結果 (M = 7)

図 24: 画像修復の反復回数 M に対する画像修復結果 (画像 16)43

(a) 欠損領域(b) 初回の画像修復結果(Kawai らの手法 [46])(c) 画像修復を反復的に適用した最終結果 (M = 1)(e) 画像修復を反復的に適用 (f) 画像修復を反復的に適用(d) 画像修復を反復的にした最終結果 (M = 4)
適用した最終結果 (M = 2) した最終結果 (M = 3)(g) 画像修復を反復的に(h) 画像修復を反復的に(i) 画像修復を反復的に適用適用した最終結果 (M = 5) 適用した最終結果 (M = 6) した最終結果 (M = 7)

図 25: 画像修復の反復回数 M に対する画像修復結果 (画像 1)44

不自然なテクスチャの領域の割合

0.30
0.25
0.20
0.15
0.10
0.05
0

0

1

2
3
4
5
6
画像修復の反復回数𝑀7

図 26: 画像修復の反復回数 M に対する不自然なテクスチャの領域の割合の平均値

画像修復

計算時間[sec]

200

修復失敗領域の検出

150
100
50
0

0

1

2
3
4
5
6
画像修復の反復回数𝑀7

図 27: 画像修復の反復的適用処理に要した計算時間の平均値

45

欠損領域

初回の修復失敗
領域の検出結果

2回目の修復失敗
領域の検出結果

初回の画像修復結果

2回目の画像修復結果

3回目の画像修復結果3回目の修復失敗
領域の検出結果

4回目の修復失敗
領域の検出結果

5回目の修復失敗
領域の検出結果

4回目の画像修復結果

5回目の画像修復結果

6回目の画像修復結果図 28: 提案手法による画像修復の反復的適用結果 (画像 14)

46

欠損領域

初回の修復失敗
領域の検出結果

2回目の修復失敗
領域の検出結果

初回の画像修復結果

2回目の画像修復結果

3回目の画像修復結果3回目の修復失敗
領域の検出結果

4回目の修復失敗
領域の検出結果

5回目の修復失敗
領域の検出結果

4回目の画像修復結果

5回目の画像修復結果

6回目の画像修復結果図 29: 提案手法による画像修復の反復的適用結果 (画像 25)

47

5.3 提案手法と従来手法の画像修復結果の品質に対する評価実験
本節では，実際の画像修復アプリケーションにおける提案手法の有用性を明らかにすることを目的として，定量的な評価および被験者実験による主観的評価実験により各手法を比較し，提案手法の優位性を示す．

5.3.1 実験条件
ここでは，図 19 に示した 25 枚の画像に対し下記 (1)∼(5) の 5 つの手法を用いて画像修復を行う．

(1) Kawai らの手法 [46] による画像修復(2) 人が手動で Kawai らの手法 [46] を反復的に適用する手法(3) Kawai らの手法 [46] を欠損領域の境界からの距離に基づき自動で反復的に適用する手法(4) 提案手法 (H = 50，反復回数 M = 1)
(5) 提案手法 (H = 35，反復回数 M = 5)
以下，手法 (2)，(3) について詳述する．

(2) 人が手動で Kawai らの手法 [46] を反復的に適用する手法
手法 (2) では，人が手動で修復失敗領域を指定し，3 章で述べた Kawai らの手法 [46] を反復的に適用することで修復を行う．条件として，反復回数の上限を 5.2
節で求めた良好な修復結果を得るために必要であると考られる反復回数 M = 5とする．また，提案手法と同一の条件とするため，一度修復成功領域と判断した
領域は，画像修復を反復的に適用する中で修復失敗領域として再指定しないものとする．

(3) Kawai らの手法 [46] を欠損領域の境界からの距離に基づき自動で反復的に適用する手法手法 (3) では，画像修復の反復回数に応じて欠損領域の境界から徐々に画素値を更新することで，Kawai らの手法 [46] を自動で反復的に適用し，修復を行う．

48

図 30 に手法 (3) の概要を示す．まず，欠損領域の境界から欠損領域内の各画素までの最短距離を求める．次に，Kawai らの手法 [46] を用いて修復領域全体を画像修復し，修復結果に対し画素値を確定する領域，確定しない領域の 2 つの領域に分ける．具体的には，画像修復の反復回数を 5.2 節で求めた M = 5 とし，5 回の画像修復の反復的適用で全ての欠損領域の画素値が確定するように，距離に応じて画素値を確定する領域・確定しない領域を決める．最後に，画素値を確定しない
領域を欠損領域とし再度画像修復を行う．以上の処理を繰り返すことで，Kawai
らの手法 [46] を自動で反復的に適用する．

5.3.2 評価方法
本実験では，定量評価と被験者による主観評価の双方を行う．定量的な評価においては，5.2 節で用いた評価方法と同様に，修復結果に残存する不自然なテク
スチャの領域を手動で指定し，元の欠損領域に対する割合を求めることで各手法を評価する．また，被験者実験では，18 名の被験者 (20 代の男性 13 人，50 代の男性 1 人，20 代の女性 3 人，50 代の女性 1 人) はアンケート評価のためのウェブ
ページにアクセスし，図 31 に示す事前説明を読んだ後，同図に示すランダムな順に配置された (1)∼(5) の手法による修復画像に対して 5 段階の点数評価を行った．図 31 に示す A∼E と手法 (1)∼(5) はランダムに対応づいている．アンケート
では，修復画像を個人のウェブページや書籍・雑誌等の写真として利用することを前提として，全く使えない画像を 1 点，使えない画像を 2 点，どちらでもない
画像を 3 点，使える画像を 4 点，十分使える画像を 5 点という解答基準で採点させた．図 32∼ 図 36 に手法 (1)∼(5) による 25 枚の画像に対する修復結果と，修復結果に残存する不自然なテクスチャの領域の割合の平均値 (Sp )，主観的評価実験の評価値の平均値 (Ss ) を示す．

49

欠損領域

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

欠損領域(m=1)

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

欠損領域(m=2)

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

欠損領域(m=3)

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

欠損領域(m=4)

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

欠損領域(m=5)

画像修復結果青:画素値を確定する領域
白:画素値を確定しない領域

図 30: Kawai らの手法 [46] を自動で反復的に適用する手法 (3) の概要

50

図 31: アンケート評価のための事前説明ページ

51

1

2

3

4

5

(𝑆𝑞 =0.28, 𝑆𝑠 =1.22) (𝑆𝑞 =0.42, 𝑆𝑠 =1.67) (𝑆𝑞 =0.37, 𝑆𝑠 =1.61) (𝑆𝑞 =0.28, 𝑆𝑠 =2.22) (𝑆𝑞 =0.17, 𝑆𝑠 =4.33)

6

7

8

9

10

(𝑆𝑞 =0.22, 𝑆𝑠 =1.33) (𝑆𝑞 =0.39, 𝑆𝑠 =3.44) (𝑆𝑞 =0.22, 𝑆𝑠 =2.33) (𝑆𝑞 =0.17, 𝑆𝑠 =3.89) (𝑆𝑞 =0.56, 𝑆𝑠 =1.67)

11

12

13

14

15

(𝑆𝑞 =0.38, 𝑆𝑠 =2.94) (𝑆𝑞 =0.09, 𝑆𝑠 =2.50) (𝑆𝑞 =0.24, 𝑆𝑠 =1.67) (𝑆𝑞 =0.51, 𝑆𝑠 =1.11) (𝑆𝑞 =0.26, 𝑆𝑠 =2.28)

16

17

18

19

20

(𝑆𝑞 =0.18, 𝑆𝑠 =1.89) (𝑆𝑞 =0.01, 𝑆𝑠 =4.28) (𝑆𝑞 =0.15, 𝑆𝑠 =1.44) (𝑆𝑞 =0.33, 𝑆𝑠 =1.11) (𝑆𝑞 =0.11, 𝑆𝑠 =3.00)

21

22

23

24

25

(𝑆𝑞 =0.61, 𝑆𝑠 =3.67) (𝑆𝑞 =0.11, 𝑆𝑠 =1.61) (𝑆𝑞 =0.55, 𝑆𝑠 =1.78) (𝑆𝑞 =0.22, 𝑆𝑠 =4.06) (𝑆𝑞 =0.48, 𝑆𝑠 =1.28)

図 32: 25 枚の画像に対する手法 (1) の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

52

1

2

3

4

5

(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.89)(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0.02, 𝑆𝑠 =4.89)

78

6(𝑆𝑞 =0, 𝑆𝑠 =4.89)(𝑆𝑞 =0.01, 𝑆𝑠 =4.67) (𝑆𝑞 =0.10, 𝑆𝑠 =3.33)

910(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0, 𝑆𝑠 =4.83)

11

12

13

14

15

(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0, 𝑆𝑠 =4.28)(𝑆𝑞 =0.02, 𝑆𝑠 =4.56)

16

17

18

19

20

(𝑆𝑞 =0.03, 𝑆𝑠 =4.28)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0.03, 𝑆𝑠 =4.28)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0.01, 𝑆𝑠 =4.33)

21

22

23

24

25

(𝑆𝑞 =0.01, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.33)(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0.02, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.67)

図 33: 25 枚の画像に対する手法 (2) の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

53

1

2

3

4

5

(𝑆𝑞 =0.10, 𝑆𝑠 =3.00) (𝑆𝑞 =0.38, 𝑆𝑠 =1.78) (𝑆𝑞 =0.17, 𝑆𝑠 =1.61) (𝑆𝑞 =0.22, 𝑆𝑠 =2.00) (𝑆𝑞 =0.34, 𝑆𝑠 =4.06)

6

7

8

9

10

(𝑆𝑞 =0.05, 𝑆𝑠 =2.06) (𝑆𝑞 =0.28, 𝑆𝑠 =3.56) (𝑆𝑞 =0.23, 𝑆𝑠 =2.39) (𝑆𝑞 =0.12, 𝑆𝑠 =1.89) (𝑆𝑞 =0.36, 𝑆𝑠 =1.22)

11

12(𝑆𝑞 =0.32, 𝑆𝑠 =1.33)(𝑆𝑞 =0, 𝑆𝑠 =4.78)

16

17(𝑆𝑞 =0.36, 𝑆𝑠 =1.61)(𝑆𝑞 =0, 𝑆𝑠 =4.39)

21

22

13

14

15

(𝑆𝑞 =0.20, 𝑆𝑠 =2.22) (𝑆𝑞 =0.30, 𝑆𝑠 =1.33) (𝑆𝑞 =0.15, 𝑆𝑠 =2.94)

18

19

20

(𝑆𝑞 =0.13, 𝑆𝑠 =1.39) (𝑆𝑞 =0.29, 𝑆𝑠 =1.11) (𝑆𝑞 =0.03, 𝑆𝑠 =4.00)

23

24

25

(𝑆𝑞 =0.66, 𝑆𝑠 =1.89) (𝑆𝑞 =0.04, 𝑆𝑠 =2.83) (𝑆𝑞 =0.48, 𝑆𝑠 =1.78) (𝑆𝑞 =0.26, 𝑆𝑠 =4.44) (𝑆𝑞 =0.21, 𝑆𝑠 =1.28)

図 34: 25 枚の画像に対する手法 (3) の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

54

1

2

3

4

5

(𝑆𝑞 =0.25, 𝑆𝑠 =1.39) (𝑆𝑞 =0.08, 𝑆𝑠 =2.67) (𝑆𝑞 =0.17, 𝑆𝑠 =1.56) (𝑆𝑞 =0.15, 𝑆𝑠 =2.11) (𝑆𝑞 =0.14, 𝑆𝑠 =4.39)

6(𝑆𝑞 =0, 𝑆𝑠 =4.89)

11

7

8

9

10

(𝑆𝑞 =0.11, 𝑆𝑠 =3.11) (𝑆𝑞 =0.18, 𝑆𝑠 =2.61) (𝑆𝑞 =0.05, 𝑆𝑠 =4.00) (𝑆𝑞 =0.32, 𝑆𝑠 =1.28)

12

13

14

15

(𝑆𝑞 =0.23, 𝑆𝑠 =2.39) (𝑆𝑞 =0.05, 𝑆𝑠 =2.78) (𝑆𝑞 =0.10, 𝑆𝑠 =3.28) (𝑆𝑞 =0.30, 𝑆𝑠 =1.17) (𝑆𝑞 =0.18, 𝑆𝑠 =2.44)

16

17

18

(𝑆𝑞 =0.05, 𝑆𝑠 =2.50) (𝑆𝑞 =0.01, 𝑆𝑠 =4.33) (𝑆𝑞 =0.09, 𝑆𝑠 =2.00)

21

22

23

19

20

(𝑆𝑞 =0, 𝑆𝑠 =4.67)(𝑆𝑞 =0.13, 𝑆𝑠 =3.06)

24

25(𝑆𝑞 =0.24, 𝑆𝑠 =1.39) (𝑆𝑞 =0.04, 𝑆𝑠 =1.72) (𝑆𝑞 =0.13, 𝑆𝑠 =2.72) (𝑆𝑞 =0.21, 𝑆𝑠 =4.33) (𝑆𝑞 =0.41, 𝑆𝑠 =1.33)

図 35: 25 枚の画像に対する手法 (4) の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

55

1

2

(𝑆𝑞 =0.06, 𝑆𝑠 =3.28)(𝑆𝑞 =0, 𝑆𝑠 =4.83)

6(𝑆𝑞 =0, 𝑆𝑠 =4.89)

7

3

4

5

(𝑆𝑞 =0.06, 𝑆𝑠 =3.17) (𝑆𝑞 =0.07, 𝑆𝑠 =3.89) (𝑆𝑞 =0.09, 𝑆𝑠 =4.78)

8(𝑆𝑞 =0.05, 𝑆𝑠 =4.44) (𝑆𝑞 =0.04, 𝑆𝑠 =4.17)

910(𝑆𝑞 =0, 𝑆𝑠 =4.67)(𝑆𝑞 =0.10, 𝑆𝑠 =2.22)

11

12

13

14

15

(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0.08, 𝑆𝑠 =2.61)(𝑆𝑞 =0, 𝑆𝑠 =4.11)(𝑆𝑞 =0.10, 𝑆𝑠 =3.94)

16

17

18

19

20

(𝑆𝑞 =0.03, 𝑆𝑠 =4.33)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0.06, 𝑆𝑠 =3.72)(𝑆𝑞 =0, 𝑆𝑠 =4.56)(𝑆𝑞 =0, 𝑆𝑠 =4.94)

21

22

23

24

25

(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0.15, 𝑆𝑠 =4.56)(𝑆𝑞 =0, 𝑆𝑠 =5.00)

図 36: 25 枚の画像に対する手法 (5) の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)56表 7: 手法 (1)∼(5) による修復結果に残存する不自然なテクスチャの領域の割合

不自然なテクスチャの領域の割合の平均値と標準偏差
手法

平均値

標準偏差

(1)

0.292

0.159

(2)

0.010

0.021

(3)

0.228

0.154

(4)

0.145

0.104

(5)

0.035

0.042

0.5

0.4
0.3

0.2
0.1
0
-0.1

手法(1) 手法(2) 手法(3) 手法(4) 手法(5)図 37: 手法 (1)∼(5) による修復結果に残存する不自然なテクスチャの領域の割合の平均値

5.3.3 定量評価実験
25 枚の画像に対する手法 (1)∼(5) による修復結果に残存する不自然なテクス
チャの領域の割合の平均値および標準偏差を表 7 に，そのグラフを図 37 に示す．
各手法の不自然なテクスチャの領域の割合に対する有意水準を 1% と設定した t
検定により，手法 (3)，手法 (4) 間の結果以外においては全て有意差が認められた．また，有意水準を 5% と設定した t 検定により，手法 (3)，手法 (4) 間の結果

57

においても有意差が認められた．表 7，図 37 より，修復結果に残存する不自然なテクスチャの領域の割合は，手法 (1) で最も高い約 29%，手法 (2) で最も低い約1%，手法 (3) で約 23%，手法 (4) で約 15%，手法 (5) で約 4% となっている．全体の傾向として，画像修復を 1 度のみ適用する手法 (1) と，画像修復を反復的に適用する手法 (2)∼(5) を比べると，手法 (2)∼(5) はいずれも不自然なテクスチャの領域の割合を減少させており，画像修復を反復的に適用することの有効性が確認できる．ただし，欠損領域の境界からの距離に基づき自動で反復的に修復する手法 (3) は，不自然なテクスチャの領域の割合が約 23% と手法 (1) に次いで高かった．これは，手法 (3) では，修復結果において欠損領域の境界周辺は修復成功領域であると仮定して反復的に画像修復を適用しているため，欠損領域の境界周辺に修復失敗領域が存在する場合，反復的に適用してもその領域が改善されず，最終の修復結果に残存する不自然なテクスチャの領域が多くなることが原因であると考えられる．従って，画像修復を反復的に適用する際の指標として，欠損領域の境界からの距離のみでは不十分であると考えられる．一方，提案手法である手法 (5) (H=35，M =5) は，不自然なテクスチャの領域の割合が手法 (1) より大幅に減少していることから，提案手法により画像修復を自動で反復的に適用することで，従来手法による結果を大きく改善している．また，単純な繰り返しに基づく手法 (3) に対しても大幅な結果の改善が見られ，提案手法により検出した修復
失敗領域は，画像修復を反復的に適用する際の指標として有効であることが確認できる．
ただし，提案手法 (5) は，人が手動で画像修復を反復的に適用する手法 (2) より不自然なテクスチャの領域の割合が約 3% 高い．これは，修復失敗領域の検出精度が原因であると考えられる．この点について，具体例に基づいて考察する．
画像 13 の初回の修復結果に対する手法 (2)，手法 (5) における修復失敗領域を図

38 に，各手法による画像 13 の修復結果を図 39 に示す．また，画像 6 の初回の修復結果に対する手法 (2)，手法 (5) における復失敗領域を図 40 に，各手法による
画像 6 の修復結果を図 41 に示す．提案手法では修復失敗領域の検出に用いるパラメータを H=35 とし，初回の画像修復結果における修復失敗領域を過剰に検出することで検出漏れを防いでいるため，修復成功領域を修復失敗領域と誤検出して58

いる領域が存在する (図 38(c))．一方，人により修復失敗領域を手動で指定する
場合 (手法 (2)) は，修復失敗領域のみを指定できるため誤検出が少なく，提案手法よりも修復失敗領域の面積は小さくなる (図 38(b))．これにより，図 39 に示す
ように，提案手法 (5) による結果にはテクスチャの不連続が生じる一方で，手法(2) による結果にはテクスチャの不連続が生じず良好な結果となる．このように，過剰に検出した修復失敗領域により，画像修復を反復的に適用しても細かいテク
スチャを再現できない場合があることが原因であると考えられる．ただし，図 41に示すように，細かいテクスチャを再現する必要がない画像においては，手法 (5)は手法 (2) と比べて過剰に修復失敗領域を検出しているが (図 40)，修復結果に大きな違いは見られず，提案手法は人が手動で画像修復を反復的に適用する手法と同程度の修復結果を得ることができている．

59

(a) 初回の画像修復結果(b) 手法 (2) による (a) に (c) 手法 (5) による (a) に対する失敗領域の指定結果 対する失敗領域の推定結果

図 38: 画像 13 の初回の画像修復結果に対して決定された修復失敗領域

欠損領域

手法(1)による結果(𝑆𝑞 =0.24, 𝑆𝑠 =1.67)

手法(2)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.78)

手法(3)による結果(𝑆𝑞 =0.20, 𝑆𝑠 =2.22)

手法(4)による結果(𝑆𝑞 =0.10, 𝑆𝑠 =3.28)

手法(5)による結果(𝑆𝑞 =0.08, 𝑆𝑠 =2.61)

図 39: 手法 (1)∼(5) による画像 13 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

60

(a) 初回の画像修復結果(b) 手法 (2) による (a) に (c) 手法 (5) による (a) に対する失敗領域の指定結果 対する失敗領域の推定結果

図 40: 画像 6 の初回の画像修復結果に対して決定された修復失敗領域

欠損領域

手法(1)による結果(𝑆𝑞 =0.22, 𝑆𝑠 =1.33)

手法(2)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.89)

手法(3)による結果(𝑆𝑞 =0.05, 𝑆𝑠 =2.06)

手法(4)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.89)

手法(5)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.89)

図 41: 手法 (1)∼(5) による画像 6 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)61表 8: 25 枚の画像修復結果に対する各手法の平均評価値と標準偏差
手法

平均評価値

標準偏差

(1)

2.33

1.44

(2)

4.61

0.63

(3)

2.44

1.42

(4)

2.72

1.47

(5)

4.27

1.01

6

平均評価値

5
4
3

2
1
0

手法(1) 手法(2) 手法(3) 手法(4) 手法(5)図 42: アンケート評価による主観的評価実験の結果

5.3.4 被験者による主観的評価実験
18 名の被験者に対する主観的な評価実験により得られた手法 (1)∼(5) に対する
評価値の平均値および評価者毎のスコアのばらつきを表す標準偏差を表 8 に，そのグラフを図 42 に示す．各手法の評価結果に対する有意水準を 1% と設定した

t 検定により，手法 (1)，手法 (3) 間の結果以外においては全て有意差が認められた．表 8，図 42 より，提案手法 (5) は 1 度のみ画像修復を適用する従来の画像修復手法 (1) よりも有意に平均評価値が高く，提案手法により画像修復を反復的に62

適用することで，被験者の評価値が大きく向上することが確認できる．また，手法 (3)，(4) よりも平均評価値が高いことから，提案手法による反復的な画像修復の有効性および，5.2 節で求めた修復失敗領域の検出時に用いる閾値と画像修復の反復回数の有効性が確認できる．ただし，定量評価の結果と同様に，手法 (2)と比べると有意に平均評価値が低いことが確認できる．以下，手法 (2)，(5) の結果に着目し，各手法について考察する．
図 43 に人が手動で画像修復を反復的に適用する手法 (2) による評価値が提案手
法 (5) よりも 0.5 以上高い画像に対する手法 (2) と手法 (5) の修復結果を示す．また，同図中に示す画像 1 および画像 3 の初回の修復結果に対する手法 (2)，手法(5) における修復失敗領域と各手法による画像 1，3 の修復結果を図 44∼ 図 47 に示す．図 43 に示すように，細かいテクスチャを含む画像の修復結果や，元の欠損領域と類似する領域が比較的小さいような画像の修復結果において，手法 (2) が提案手法 (5) より高い評価値を得ている．これは，既に述べたように，提案手法
は修復失敗領域の検出に用いるパラメータを H = 35 とし，初回の画像修復結果に対し過剰に修復失敗領域を検出しているため，人が手動で修復失敗領域を指定した場合と比べて修復失敗領域の面積が大きくなるためである (図 44，46)．細かいテクスチャを含む画像や，元の欠損領域と類似する領域が比較的小さいような画像に対し良好な修復結果を得るためには，検出する修復失敗領域を小さくし，データ領域を大きくすることが重要であるため，図 43 に示す画像においては手法 (2) が有効であり，高い評価値となった．
また，図 46 に示すように，提案手法 (5) では修復失敗領域を一部検出できていない領域が存在する．従って，画像修復を反復的に適用しても検出できなかった領域が最終の修復結果に残り，高い評価値を得ることができなかった．今後は，より正確に修復失敗領域を検出できるように，学習用データセットの数をさらに増やすことや，最適なネットワーク構成やパラメータを求めることで，ネットワー
クの識別性能を向上させる必要がある．また，画像の領域に応じて修復失敗領域の検出に用いる閾値を適応的に変化させることで，修復失敗領域をより正確に検出する手法についても検討する必要がある．
図 48 に提案手法 (5) による評価値が手法 (2) よりも 0.5 以上高い画像に対する63

手法 (2) と手法 (5) による修復結果を，図 49 に提案手法 (5) と手法 (2) の評価値に大きな差がなく，共に高い評価値となった画像に対する手法 (2) と手法 (5) による修復結果を示す．図 48(a) に示すように，提案手法 (5) による評価値が手法 (2)よりも高い画像においては，提案手法の結果は手法 (2) の結果よりも良好な結果が得られていることが確認できる．また，図 49(a)，(b) に示すように，多くの画像において提案手法は従来手法と同程度の評価値を得ることができるため，提案
手法は人が手動で画像修復を反復的に適用する手法と同程度の性能を持つと考えられる．さらに，実験で用いた図 19 に示す 25 枚の画像全てにおいて，提案手法(5) は手法 (1)，(3)，(4) より高い評価値となっていたことから，提案手法により画像修復を自動で反復的に適用することで，従来手法の修復結果を改善でき，より良好な修復結果が得られることが確認できる．

64

1

3

4

(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0, 𝑆𝑠 =4.89)(𝑆𝑞 =0, 𝑆𝑠 =4.83)

10

13(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0, 𝑆𝑠 =4.78)

15

18(𝑆𝑞 =0.02, 𝑆𝑠 =4.56)(𝑆𝑞 =0.03, 𝑆𝑠 =4.28)(a) 手法 (2) による画像修復結果

1

3

4

(𝑆𝑞 =0.06, 𝑆𝑠 =3.28)(𝑆𝑞 =0.06, 𝑆𝑠 =3.17)(𝑆𝑞 =0.07, 𝑆𝑠 =3.89)

10

13

15

18

(𝑆𝑞 =0.10, 𝑆𝑠 =2.22)(𝑆𝑞 =0.08, 𝑆𝑠 =2.61)(𝑆𝑞 =0.10, 𝑆𝑠 =3.94)(𝑆𝑞 =0.06, 𝑆𝑠 =3.72)(b) 手法 (5) による画像修復結果

図 43: 手法 (2) が提案手法 (5) よりも平均評価値が 0.5 以上高い画像に対する画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)65(a) 初回の画像修復結果(b) 手法 (2) による (a) に (c) 手法 (5) による (a) に対する失敗領域の指定結果 対する失敗領域の推定結果

図 44: 画像 1 の初回の画像修復結果に対して決定された修復失敗領域

欠損領域

手法(1)による結果(𝑆𝑞 =0.28, 𝑆𝑠 =1.22)

手法(2)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.83)

手法(3)による結果(𝑆𝑞 =0.10, 𝑆𝑠 =3.00)

手法(4)による結果(𝑆𝑞 =0.25, 𝑆𝑠 =1.39)

手法(5)による結果(𝑆𝑞 =0.06, 𝑆𝑠 =3.28)

図 45: 手法 (1)∼(5) による画像 1 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

66

(a) 初回の画像修復結果(b) 手法 (2) による (a) に (c) 手法 (5) による (a) に対する失敗領域の指定結果 対する失敗領域の推定結果

図 46: 画像 3 の初回の画像修復結果に対して決定された修復失敗領域

欠損領域

手法(1)による結果(𝑆𝑞 =0.37, 𝑆𝑠 =1.61)

手法(2)による結果(𝑆𝑞 =0, 𝑆𝑠 =4.89)

手法(3)による結果(𝑆𝑞 =0.17, 𝑆𝑠 =1.61)

手法(4)による結果(𝑆𝑞 =0.17, 𝑆𝑠 =1.56)

手法(5)による結果(𝑆𝑞 =0.06, 𝑆𝑠 =3.17)

図 47: 手法 (1)∼(5) による画像 3 の画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の平均値)

67

8

20

22

(𝑆𝑞 =0.10, 𝑆𝑠 =3.33)(𝑆𝑞 =0.01, 𝑆𝑠 =4.33)(𝑆𝑞 =0, 𝑆𝑠 =4.33)(a) 手法 (2) による画像修復結果

8

20

22

(𝑆𝑞 =0.04, 𝑆𝑠 =4.17)(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.83)(b) 手法 (5) による画像修復結果

図 48: 手法 (5) が手法 (2) よりも平均評価値が 0.5 以上高い画像に対する画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価
値の平均値)

68

2(𝑆𝑞 =0, 𝑆𝑠 =4.61)

5

6(𝑆𝑞 =0.02, 𝑆𝑠 =4.89) (𝑆𝑞 =0, 𝑆𝑠 =4.89)

7

9(𝑆𝑞 =0.01, 𝑆𝑠 =4.67)(𝑆𝑞 =0, 𝑆𝑠 =4.78)

11

12

14

17

16

(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.28)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0.03, 𝑆𝑠 =4.28)

19

21(𝑆𝑞 =0, 𝑆𝑠 =4.61) (𝑆𝑞 =0.01, 𝑆𝑠 =4.94)

23

24

25

(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0.02, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.67)(a) 手法 (2) による画像修復結果

2

5

6

7

9

(𝑆𝑞 =0, 𝑆𝑠 =4.83)(𝑆𝑞 =0.09, 𝑆𝑠 =4.78)(𝑆𝑞 =0, 𝑆𝑠 =4.89)(𝑆𝑞 =0.05, 𝑆𝑠 =4.44)(𝑆𝑞 =0, 𝑆𝑠 =4.67)

11

12

14

16

17

(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.94)(𝑆𝑞 =0, 𝑆𝑠 =4.11)(𝑆𝑞 =0.03, 𝑆𝑠 =4.33)(𝑆𝑞 =0, 𝑆𝑠 =4.61)

19

21

23

24

25

(𝑆𝑞 =0, 𝑆𝑠 =4.56)(𝑆𝑞 =0, 𝑆𝑠 =4.61)(𝑆𝑞 =0, 𝑆𝑠 =4.78)(𝑆𝑞 =0.15, 𝑆𝑠 =4.56)(𝑆𝑞 =0, 𝑆𝑠 =5.00)(b) 手法 (5) による画像修復結果

図 49: 提案手法 (5) と手法 (2) の平均評価値が共に高い画像に対する画像修復結果 (Sq :不自然なテクスチャの領域の割合の平均値，Ss :主観的評価実験の評価値の
平均値)

69

6. まとめ本研究では，ユーザによる手動での修復失敗領域の再指定なしに画像修復の結果の品質を向上させることを目的とし，畳み込みニューラルネットワークを用いて自動的に修復失敗領域を検出することで，自動で反復的に画像修復を適用する手法を提案した．
提案手法と従来手法による修復結果に対する定量的評価実験および被験者による主観的評価実験の結果，提案手法は従来手法より修復結果に残存する不自然なテクスチャ領域の割合を大きく減少させることができ，また被験者から高い評価
値を得ていたことから，画像修復を反復的に適用することの重要性および提案手法の有効性を示した．さらに，提案手法は，修復結果に残存する不自然なテクス
チャの領域の割合および被験者からの評価値において，人が手動で画像修復を反復的に適用する手法と同程度の結果となったことから，人手による反復的修復に近い性能を持つことが確認できた．
今後は，より正確に修復失敗領域を検出し，より良好な修復結果を得ることができるように，学習用データセットをさらに増やし畳み込みニューラルネットワー
クを学習させ，ネットワークの識別性能を向上させる．また，ネットワークの構成やパラメータを様々に変化させ，識別性能との関係性を検証し，最適なネット
ワーク構成やパラメータを求めることで識別性能を向上させる．さらに，画像の領域に応じて修復失敗領域の検出に用いる閾値を適応的に変化させ，より正確に
修復失敗領域を検出する手法について検討する必要がある．

70

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜りました視覚情報メディア研究室 横矢 直和 教授に心より感謝致します．また，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いた光メディアインタフェース研究室 向川 康博 教授に厚く御礼申し上げます．そして，本研究を進めるにあたり，始終暖かい御指導をして頂いた視覚情報メディア研究室 佐藤 智和 准教授に深く感謝致します．また，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視覚情報メディア研究室 河合 紀彦 助教に心より感謝致します．さらに，本研究を通じて，的確な御助言，御鞭撻を頂いた視覚情報メディア研究室 中島 悠太 助教に深く御礼申し上げます．特に，佐藤 智和 准教授，河合 紀彦 助教，中島 悠太 助教には，本研究の着想およびテーマ設定から研究の遂行，原稿執筆，発表練習など，長期にわたり様々なご指導をいただきました．また，研究室生活において様々な支援をして頂いた，視覚情報メディア研究室秘書 石谷 由美 女史に厚く御礼申し上げます．
そして，研究のみならず研究室生活全般においてお世話になりました視覚情報メ
ディア研究室の諸氏に深く感謝いたします．最後に，両親をはじめ，私の二年間の大学院生活に関わった全ての方々に感謝の意を表します．

71

参考文献
[1] 前田, 高橋, 太田. 欠損画像の修復処理の一方式. 電子情報通信学会論文誌 D,
Vol. J69-D, No. 1, pp. 91–97, 1986.
[2] S. Masnou and J.M. Morel. Level lines based disocclusion. In Proc. IEEE
Int. Conf. on Image Processing, pp. 259–263, 1998.
[3] M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester. Image inpainting.
In Proc. ACM SIGGRAPH, pp. 417–424, 2000.
[4] M. Bertalmio, A.L. Bertozzi, and G. Sapiro. Navier-stokes, fluid dynamics,
and image and video inpainting. In Proc. IEEE Computer Society Conf. on
Computer Vision and Pattern Recognition, pp. 355–362, 2001.
[5] C. Ballester, M. Bertalmio, V. Sapiro, and J. Verdera. Filling-in by joint
interpolation of vector fields and gray levels. IEEE Trans. on Image Processing, Vol. 10, No. 8, pp. 1200–1211, 2001.
[6] C. Ballester, V. Caselles, J. Verdera, M. Bertalmio, and G. Sapiro. A variational model for filling-in gray level and color images. In Proc. IEEE Int.
Conf. on Computer Vision, pp. 10–16, 2001.
[7] C.A. Barcelos, M.A. Batista, A.M. Martins, and A.C. Nogueira. Level lines
continuation based digital inpainting. In Proc. IEEE Brazilian Symposiumon Computer Graphics and Image Processing, pp. 50–57, 2004.
[8] A. Telea. An image inpainting technique based on the fast marching method.
Journal of Graphics Tools, Vol. 9, No. 1, pp. 25–36, 2004.
[9] D. Tschumperlé. Curvature-preserving regularization of multi-valued images
usingpde’s. In Proc. European Conf. on Computer Vision, pp. 295–307, 2006.
[10] F. Bornemann and T. Marz. Fast image inpainting based on coherencetransport. pp. 259–278, 2007.
72

[11] T. Chan and J. Shen. Mathematical models for local non-texture inpaintings.
SIAM Journal of Applied Mathematics, Vol. 62, No. 3, pp. 1019–1043, 2001.
[12] T. Chan and J. Shen. Non-texture inpainting by curvature-driven diﬀusions (CDD). Journal of Visual Communication and Image Representation,
Vol. 12, No. 4, pp. 436–449, 2001.
[13] C. Fei, W. Mei-qing, and L. Choi-Hong. An algorithm for total variation
inpainting based on nonlinear multi-grid methods. Journal of Algorithms
and Computational Technology, Vol. 2, No. 1, pp. 15–33, 2007.
[14] 齊藤, 高垣, 小松. 全変動カラー画像復元問題とその近接勾配解法. 情報科学
技術フォーラム講演論文集, Vol. 9, No. 3, pp. 377–384, 2010.

[15] M. Oliveira, B. Bowen, R. McKenna, and Y. Chang. Fast digital image
inpainting. In Proc. Int. Conf. on Visualization, Imaging and Image Processing, pp. 261–266, 2001.
[16] M.M. Hadhoud, K.A. Moustafa, and S.Z. Shenoda. Digital images inpainting
using modified convolution based method. Int. Journal of Signal Processing,Image Processing and Pattern recognition, Vol. 1, No. 1, pp. 1–10, 2008.
[17] T. Chan, S. Kang, J. Shen, and S. Osher. Euler’s elastica and curvature
based inpaintings. SIAM Journal of Applied Mathematics, Vol. 63, No. 2,
pp. 564–592, 2002.
[18] S. Esedoglu and J. Shen. Digital inpainting based on the mumford-shah-euler
image model. SIAM Journal of Applied Mathematics, Vol. 13, pp. 353–370,
2003.
[19] 小川, 長谷山, 北島. オプティカルフローを用いた静止画像における失われた輝度値の復元. 電子情報通信学会論文誌 D-II, Vol. J87-D-II, No. 9, pp.

1786–1795, 2004.

73

[20] 東海林. テクスチャ画像における欠損部修復の一手法. 電子情報通信学会論
文誌 D, Vol. J71-D, No. 9, pp. 1701–1708, 1988.

[21] A.N. Hirani and T. Totsuka. Combining frequency and spatial domain information for fast interactive image noise removal. In Proc. ACM SIGGRAPH,
pp. 269–276, 1996.
[22] 天野, 佐藤. 固有空間法を用いた BPLP による画像補間. 電子情報通信学会
誌 D-II, Vol. J85-D-II, No. 3, pp. 457–465, 2002.

[23] 天野, 佐藤. kBPLP 法を用いた高次元非線形射影による画像補間. 電子情報通信学会誌 D-II, Vol. J86-D-II, No. 4, pp. 525–534, 2003.

[24] 井添, 剣持, 小谷. 画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定. 電子情報通信学会技術研究報告. PRMU, パター
ン認識・メディア理解, Vol. 101, No. 362, pp. 55–62, 2001.

[25] A.A. Efros and T.K. Leung. Texture synthesis by non-parametric sampling.
In Proc. IEEE Int. Conf. on Computer Vision, pp. 1033–1038, 1999.
[26] M. Bertalmio, L. Vese, G. Sapiro, and S. Osher. Simultaneous structure andtexture image inpainting. IEEE Trans. on Image Processing, Vol. 12, No. 8,
pp. 882–889, 2003.
[27] P. Harrison. A non-hierarchical procedure for re-synthesis of complex textures. In Proc. Int. Conf. in Central Europe Computer Graphics, Visualization and Computer Vision, pp. 190–197, 2001.
[28] I. Drori, D. Cohen-Or, and H. Yeshurun. Fragment-based image completion.
In Proc. ACM SIGGRAPH, pp. 303–312, 2003.
[29] R. Bornard, E. Lecan, L. Laborelli, and J. Chenot. Missing data correction
in still images and image sequences. In Proc. ACM Int. Conf. on Multimedia,
pp. 355–361, 2002.
74

[30] A. Criminisi, P. Pérez, and K. Toyama. Region filling and object removal
by exemplar-based image inpainting. IEEE Trans. on Image Processing,Vol. 13, No. 9, pp. 1200–1212, 2004.
[31] W-H. Cheng, C-W. Hsieh, S-K. Lin, C-W. Wang, and J-L Wu. Robust algorithm for exemplar-based image inpainting. In Proc. Int. Conf. Computer
Graphics, Imaging and Visualization, pp. 64–69, 2005.
[32] S. Vetter, M. Grzegorzek, and D. Paulus. Wavelet-based inpainting for object
removal from image series. In Annual Symposium of the German Association
for Pattern Recognition, pp. 343–352, 2010.
[33] B. Li, Y. Qi, and X. Shen. An image inpainting method. In Proc. IEEE
Int. Conf. on Computer Aided Design and Computer Graphics, pp. 531–536,
2005.
[34] Z. Xu and J. Sun. Image inpainting by patch propagation using patch sparsity. IEEE Trans. on Image Processing, Vol. 19, No. 5, pp. 1153–1165, 2010.
[35] M. Oliveira, M. Ebdelli, and C. Guillemot. Hierarchical super-resolutionbased inpainting. IEEE Trans. on Image Processing, Vol. 22, No. 10, pp.
3779–3790, 2013.
[36] M. Daisy, D. Tschumperlé, and O. Lézoray. A fast spatial patch blending
algorithm for artefact reduction in pattern-based image inpainting. In ACM
SIGGRAPH Asia Technical Briefs, pp. 8:1–8:4, 2013.
[37] J. Jia and C. Tang. Image repairing: robust image synthesis by adaptive nd
tensor voting. In Proc. IEEE Computer Society Conf. on Computer Vision
and Patern Recognition, pp. 643–650, 2003.
[38] J. Sun, L. Yuan, J. Jia, and H. Shum. Image completion with structure
propagation. In Proc. ACM SIGGRAPH, pp. 861–868, 2005.

75

[39] 柴田, 池谷, 仙田. 確率的構造予測に基づく高速な画像修復. 画像の認識・理
解シンポジウム, pp. 754–761, 2010.

[40] N. Komodakis and G. Tziritas. Image completion using global optimization.
In Proc. IEEE Computer Society Conf. on Computer Vision and Pattern
Recognition, pp. 442–452, 2006.
[41] Y. Pritch, E. Kav-Venaki, and S. Peleg. Shift-map image editing. In Proc.
IEEE Int. Conf. on Computer Vision, pp. 151–158, 2009.
[42] C. Allène and N. Paragios. Image renaissance using discrete optimization.
In Proc. IAPR Int. Conf. on Pattern Recognition, pp. 631–634, 2006.
[43] Y. Wexler, E. Shechtman, and M. Irani. Space-time completion of video.
IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 29, No. 3,
pp. 463–476, 2007.
[44] S. Darabi, E. Shechtman, C. Barnes, D. B. Goldman, and P. Sen. Image
melding: combining inconsistent images using patch-based synthesis. ACM
Trans. on Graphics, Vol. 31, No. 4, pp. 82:1–82:10, 2012.
[45] N. Kawai, T. Sato, and N. Yokoya. Image inpainting considering brightnesschange and spatial locality of textures and its evaluation. In Proc. PacificRim Symp. on Image and Video Technology, pp. 271–282, 2009.
[46] N. Kawai and N. Yokoya. Image inpainting considering symmetric patterns.
In Proc. IAPR Int. Conf. on Pattern Recognition, pp. 2744–2747, 2012.
[47] J. Huang, S. B. Kang, N. Ahuja, and J. Kopf. Image completion using planar
structure guidance. ACM Trans. on Graphics., Vol. 33, No. 4, 2014.
[48] 鈴木, 玉木, 山本. 画像復元のための周期的な遮へい物体の抽出. 電子情報通信学会誌 D-II, Vol. Vol. J87-D-II, No. No. 5, pp. 1189–1192, 2004.

76

[49] R. Chang, Y. Sie, S. Chou, and T. Shih. Photo defect detection for image
inpainting. In Proc. IEEE Int. Symposium on Multimedia, pp. 403–407,
2005.
[50] T. Amano. Correlation based image defect detection. In Proc. IAPR Int.
Conf. on Pattern Recognition, pp. 163–166, 2006.
[51] N. Turakhia, R. Shah, and M. Joshi. Automatic crack detection in heritagesite images for image inpainting. In Proc. ACM ICVGIP, pp. 68:1–68:8,
2012.
[52] V. Jain and H. Sebastian Seung. Natural image denoising with convolutional
networks. In Proc. Neural Information Processing Systems, pp. 769–776.
Curran Associates, Inc., 2008.
[53] J. Xie, L. Xu, and E. Chen. Image denoising and inpainting with deepneural networks. In Proc. Neural Information Processing Systems, pp. 341–
349, 2012.
[54] R. Köhler, C. Schuler, B. Schölkopf, and S. Harmeling. Mask-specific inpainting with deep neural networks. In Proc. German Conference on Pattern
Recognition, pp. 523–534. Springer, 2014.
[55] M.V. Venkatesh and S.S. Cheung. Eye tracking based perceptual image
inpainting quality analysis. In Proc. IEEE Int. Conf. on Image Processing,pp. 1109–1112. IEEE, 2010.
[56] A. Trung, B.A. Beghdadi, and C.C. Larabi. Perceptual quality assessment
for color image inpainting. In Proc. IEEE Int. Conf. on Image Processing,pp. 398–402. IEEE, 2013.
[57] V. Voronin, V. Marchuk, E. Semenishchev, S. Maslennikov, and I. Svirin.
Inpainted image quality assessment based on machine learning. In Proc.

77

Int. Conf. on Computer Graphics, Visualization and Computer Vision, pp.
167–172, 2015.
[58] J. Kopf, W. Kienzle, S. Drucker, and S.B. Kang. Quality prediction forimage completion. ACM Trans. on Graphics, Vol. 31, No. 6, p. 131, 2012.
[59] C. Barnes, E. Shechtman, A. Finkelstein, and D. B. Goldman. PatchMatch:a randomized correspondence algorithm for structural image editing. ACM
Trans. on Graphics, Vol. 28, No. 3, pp. 24:1–24:11, 2009.
[60] C. Barnes, E. Shechtman, D.B. Goldman, and A. Finkelstein. The generalized patchmatch correspondence algorithm. In Proc. European Conference
on Computer Vision, pp. 29–43. Springer, 2010.
[61] V. Nair and G.E. Hinton. Rectified linear units improve restricted boltzmann
machines. In Proc. Int. Conf. on Machine Learning, pp. 807–814, 2010.
[62] N. Srivastava, G.E. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting.
Jounal of Machine Learning Research, Vol. 15, No. 1, pp. 1929–1958, 2014.
[63] Y. Jia. Caﬀe: An open source convolutional architecture for fast featureembedding, 2013. http://caffe.berkeleyvision.org/.

78