 
修士論文

輝度値の変化と画像の局所性を考慮したパターン類似度に基づく
エネルギー最小化による画像修復

河合 紀彦

 年 月 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 工学 授与の要件として提出した修士論文である。
河合 紀彦

審査委員：
横矢 直和 教授

（主指導教員）千原 國宏 教授

（副指導教員）輝度値の変化と画像の局所性を考慮したパターン類似度に基づく
エネルギー最小化による画像修復
河合 紀彦

内容梗概
写真についた傷などの画像内の不要な部分を取り除き，その欠損領域を自動的に修復する画像修復に関する研究が近年盛んに行われている．従来，欠損領域の修復に関しては，パターン類似度     を用いて欠損領域全体の尤もらしさを表す目的関数を定義し，それを最適化することで画像を修復する手法が提案されている．しかし，画像上における同一構造物体の輝度値の変化を考慮していないため，修復画像に輝度値の不自然な変化が発生し違和感が生じる場合がある．また，パターン類似度  による評価尺度はパターンの変形に比較的弱いため，画像上でテクスチャが幾何学的に連続変化する場合には，
不適切なウインドウの対応を招き，修復画像がぼけてしまう．そこで，本論文ではテクスチャの輝度値の変化を考慮したパターン類似度と画像の局所性を考慮したエネルギー関数を新たに定義し，これを最小化することで，高品位に欠損領域を修復する手法を提案する．本研究では，輝度値の変化を考慮したパターン類似度を用いることで，輝度値の不自然な変化を抑止する．また，画像の局所性を考慮することで，不適切なウインドウの対応付けを防ぎ，ぼけの発生を抑える．実験では，様々な画像に対して欠損領域の修復を行い，従来手法との比較および主観的評価実験を行うことで提案手法の有効性を示す．
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文






年

月

日





キーワード
画像修復，画像補間，エネルギー最小化           
     

 

  ! !" "# $ %&'  ! #  #&
$(!   "   !  "! "   & %" "#!&&' ! ! !) *#!&&'+ !"    !
     &! $'  !,  $(!# ! %""  -$  !"       ) .%#+ !" # $ $(!# !  ! $! ! !!' "   ) "+!& !!' " !    !"  !)  !+ %"  " !&' " !/! !!+ !"  &! !/!  
&!!  ! $&  !   ! !! !")  !"
 +   !  # !"  &!'  !"  &! !/!+ !" #!& $(!# !  %&' /! $'  !!' "
  !& &&!' ! #! !& !!' "  $&   &!! ) 0' , !" /! ' !+ !"   $  &! %!"! !& !!' "  $&)  / !+ !"
!#  !"   !"  &&' !! $'  &' !" ! #     !" &! %!" !" $! $'!" #!& !")  
""   

 !  "" ! "#  

"#$ %&!







  !+   &!+ ' ,!

#

目次

 はじめに 画像修復に関する従来研究および本研究の位置付けと方針



)

)

画像修復に関する従来研究

))
))
))

輝度値の連続性を考慮した画像修復
特徴空間での補間による画像修復
テクスチャを用いた画像修復

本研究の位置付けと方針

 輝度値の変化と画像の局所性を考慮したエネルギー最小化による画像修
復) 画像修復手法の概要) パターン類似度  によるエネルギー関数の定義) 輝度変化と局所性を考慮したエネルギー関数の拡張)1 エネルギー最小化による画素値と類似パターン位置の更新)1) 欠損領域内の画素値に対する並列的な更新)1) 各画素に対する類似パターン位置の更新) 粗密法による局所解の回避と処理の高速化

 実験
1)
1)

1



2


様々な特徴を持つ画像に対する実験と考察

3

被験者による主観的評価実験と考察

1) )
1) )

評価方法
評価結果と考察 まとめ



謝辞



参考文献


#

図目次

0!& ら 4 5 の手法を用いた画像修復の例
天野ら 4 25 の手法を用いた画像修復の例* ら 4 5 の手法を用いた画像修復の例
6/& ら 4 5 の手法を用いた画像修復の例

1



3


画像修復の処理の流れ

1

画像上の各領域
シグモイド関数による局所性のエネルギーと画素間の距離との関係

32
エネルギー算出における画素の関係
類似パターン位置の探索とリスト化の流れ
粗密法による画像修復の反復処理実験で用いた入力画像
輝度値の変化とパターンの変形が小さい画像 画像 ：  に対す
る実験

1


3


輝度値の大きな変化が伴う画像 画像 0：2 に対する実験



パターンの変形を伴う画像 画像 *：1  に対する実験

輝度値の大きな変化とパターンの変形を伴う画像 画像 ： 3 に対する実験
画像  に対する修復におけるエネルギーと反復回数の関係

32


画像 0 に対する修復におけるエネルギーと反復回数の関係

画像 * に対する修復におけるエネルギーと反復回数の関係

画像  に対する修復におけるエネルギーと反復回数の関係

1
1



アンケート評価のための事前説明ページ
修復結果の採点ページ* ら 4 5 の手法による結果が最も評価が高い修復画像
6/& ら 4 5 の手法による結果が最も評価が高い修復画像

3

1
1
1 輝度変化を考慮した手法による結果が最も評価が高い修復画像
1
 画像の局所性を考慮した手法による結果が最も評価が高い修復画像 1
提案手法による結果が最も評価が高い修復画像
11#画像番号 3 
3 従来手法・提案手法共に評価が低い結果画像 画像番号 2
2 提案手法の評価が従来手法より低い結果画像 画像番号 1
従来手法・提案手法共に評価が低い結果画像

1
1
13

表目次
本実験での各種パラメータの設定
従来手法 41

5 と提案手法による処理時間

 枚の画像に対する点数の平均点

各手法が最高点を取った回数
画像 〜 の平均点

#

1
2
1
1
1

 はじめにインターネットの普及に伴い，個人が日常的に撮影した写真や映像をホームページやブログに掲載することが一般的に行われている．このような目的で，過去に撮影済みのアナログ写真をスキャナなどで電子化する際，アナログ写真の物
理的な損傷（キズ，よごれ等）によりそのままでの利用が難しい場合がある．また，デジタル写真や映像においては，利用意図に沿わない物体などが写っている
ため，そのままでは利用しづらい場合も起こりうる．このような問題に対して，
写真についた傷や意図せず写りこんでしまった物体などの画像内の不要部分を取り除き，取り除かれた領域（以下，欠損領域）を自動的に違和感なく修復することで画像の利用価値を高める画像修復に関する研究が盛んに行われている．
これら画像修復に関する基礎的な手法として，輝度値の連続性を考慮して欠損領域の周りから輝度値を滑らかに補間する手法が古くから用いられてきた 4 +++ 1+ + + + 3+ 2+ + + + + 1+ + 5．これらの手法は，画素の輝度値を欠損領域の境界から内側へ徐々に伝播させることで，写真に付いた引っかき傷のよ
うな細い領域に対しては良好な修復画像を得ることができる．しかし，大きな領域を修復した場合には細かいテクスチャが表現できず，不鮮明な画像が生成されるという問題がある．このような問題を解決するために，近年，以下のような多数の手法が提案されている．

 欠損領域を特徴空間を用いて補間する手法 4+ 3+ 2+ + 5

 欠損領域以外の領域（以下，データ領域）のテクスチャを逐次合成して修復する手法 4+ + 1+ + + + 3+ 2+ 5

 テクスチャを全体で最適化し修復する手法 4+ + 5

これらの手法は，データ領域のテクスチャ情報を用いた修復を行うため，細かい
テクスチャを表現することが可能である．
しかし，特徴空間を用いる手法では，欠損領域を含む１つのウインドウ内に必ず欠損領域以外の領域を含まなければならないという原理的な制約から，１つのウインドウに収まらないような大きな欠損領域を持つ画像に対しては適用が難し

い．また，テクスチャを逐次合成する手法では，欠損領域が大きい場合にも細かいテクスチャを生成できるが，テクスチャを欠損領域の境界から内側に逐次的に合成するというアプローチを採るため，最終的に生成される画像の品質がテクス
チャの合成順に大きく依存し，不連続なテクスチャが生じやすいという問題がある．これらの手法に対して，テクスチャを欠損領域全体で最適化し修復する手法
は，結果がテクスチャの合成順に依存せずに，欠損領域全体に対して最適な画像を生成できる．しかし，同一画像内における照明条件の変化等を考慮していないため，修復画像に輝度値の不連続が表れ違和感が生じる場合がある．また，画像上でテクスチャが幾何学的に大きく変化する場合には，不適切なテクスチャの対応を招き，修復画像がぼけてしまうという問題がある．
本論文では，このような問題を解決するために，テクスチャの全体最適化による手法 45 を基礎とし，輝度値の変化と画像の局所性を新たに考慮したエネル

ギー関数を最小化することで各画素値を決定し，画像修復を行うアプローチを採る．具体的には，欠損領域とデータ領域の間の輝度変化を考慮したパターン類似度の総和と，類似パターン間の画像上での距離に応じたコスト関数の和をエネル
ギーとして定義し，同時に最小化することで不連続・不明瞭なテクスチャの生じにくい画像修復を行う．
以降， 章では，画像修復に関する従来研究と本研究の位置づけについて述べる． 章では，輝度値の変化と画像の局所性を考慮したエネルギー関数を最小化することで画像修復を行う提案手法について述べる．1 章では，様々な特徴を持
つ画像に対して欠損領域の修復を行い，従来手法との比較および主観的評価実験を行うことで，提案手法の有効性を示す．最後に  章で，本論文のまとめと今後の課題について述べる．

 画像修復に関する従来研究および本研究の位置付けと方針
現在，キズやよごれ等が入ってしまった写真，映画のフィルム，壁画等の修復
は，主に専門の技師によって手作業で行われている．しかし，大量の写真や映像の修復を行うためには多くの労力がかかってしまうため，専門の技師によって行われてきた画像修復を自動化するための手法の開発が近年盛んになりつつある．
本章では，このような画像修復の自動化に関する従来研究について述べ，最後に従来研究と本研究との位置づけについて述べる．なお，修復領域の自動的な検出に関する研究 4 1+

+ + 5 も近年盛んに行われているが，本研究では欠損領域の修復にのみ着目し，修復領域はあらかじめ与えられるものとする．

 画像修復に関する従来研究
画像修復に関する従来手法は，輝度値の連続性を考慮した手法，特徴空間での補間による手法，テクスチャを用いた手法に大別できる．どの手法も現在までに多くの研究がなされているが，どのような画像に対しても良好な結果を出力する手法は無いといえる．そこで，以下では，輝度値の連続性を考慮した手法，特徴空間での補間による手法，テクスチャを用いた手法についてそれぞれ順に特徴と問題点を述べる．

 輝度値の連続性を考慮した画像修復
輝度値の連続性を考慮した画像修復は，欠損領域内に欠損領域の境界部分の輝度値が滑らかに続くことで違和感のない画像が生成されるという考え方に基づき，欠損領域内の画素値を周辺から補間することで欠損領域の修復を行う 4 ++ + 1+

+ + + 3+ 2+ + + + + 1+ + 5．このようなアプローチにおいて，単純な輝度値の補間を行うとエッジが再現されず違和感が生じるため，多くの手法はエッジを保存することに着目し修復を行っている．
前田ら 4 5 は，欠損領域の境界部にエッジが存在する場合には，エッジの方向

を保つよう連続的に欠損領域内部へエッジを延ばし，エッジがない場合には周りの画素値の平均値をとることで欠損領域の修復を行う手法を提案した．この手法
では欠損領域の境界部分から内側へ逐次的に画素を埋めていくため比較的大きな
欠損領域ではエッジがつながらないという問題がある．また， ら 4 5 は，欠損領域に到達する複数のエッジをあらかじめ自動的に対応させ，エッジを直線的に結ぶことで修復を行っているが，欠損領域境界でのエッジが複雑な場合にはエッジを正しく対応付けることが難しく，また直線的に結ぶため曲線的なエッジが欠損領域に続く画像では違和感が生じる．これらの手法に対して，以下のような基準を用いて反復処理でエッジを滑らかに接続することで画像修復する手法が提案されている．

 偏微分方程式 7!& !& 8! を用いた手法 4 + 1+ + 総変動 !& 9! を用いた手法 42+
 弾性方程式を用いた手法 4

55

 マンフォード・シャー関数を用いた手法 4
 確率モデルを用いた手法 4+ + 355+ 1+ 5

 オプティカルフローを用いた手法 45

これらの手法を用いることで，輝度値の連続性とエッジのつながりを考慮することができ，引っかき傷やテロップのような小さな欠損領域に対しては図 に示す
ように良好な修復画像を得ることができる．しかし，原理的に細かいテクスチャを表現することができず，大きな領域を修復した場合には不鮮明な画像が生成されるという問題がある．

 特徴空間での補間による画像修復
特徴空間での欠損情報の補間による画像修復は，欠損領域を含む一定範囲の領域に対して特徴量を算出し，その領域での特徴量と最も近いデータ領域上の特徴

1

原画像

図

白い線を取り除いた修復画像

0!& ら 4 5 の手法を用いた画像修復の例

ベクトルを利用することで欠損領域を補間する手法である．このような手法では，特徴量として周波数ベクトルや，画像から得られる固有ベクトルが従来用いられてきた．
周波数ベクトルを用いる手法として，東海林 4

5 は，データ領域のフーリエ振幅ベクトル情報を利用することで欠損領域を修復する手法を提案した．この手法
は，テクスチャ画像のフーリエ振幅スペクトルの位置不変性を仮定することで欠損領域を修復するため，周期的なテクスチャパターンを持つ画像では良好な結果を得られるが，そうでない場合は良好な結果を得ることが難しい．また，.
ら 4 35 は，空間領域と周波数領域の両方を用いて欠損領域を修復する手法を提案している．この手法ではユーザが修復に用いる領域を手動で指定する必要があり，欠損領域の周りで多様なテクスチャを持つ場合には修復が難しい．
これらの手法に対して，一般的な周波数ベクトルよりも画像特有の特徴量を用いた方が良好な結果を得られるとの考えから，画像から得られる固有ベクトルを用いた修復手法が提案されている．天野らは，データ領域から学習サンプルとして複数のウインドウを切り出すことにより固有ベクトル群を生成し，生成された固有ベクトルを結合することで欠損領域の補間を行う 07:7 法 4 25 および 07:7法を改良した ;07:7 法 4 5 を提案している．これらの手法では，自己相関性の



原画像

図

テロップを取り除いた修復画像

天野ら 4 25 の手法を用いた画像修復の例

高い画像に対して，図 に示すように欠損領域内に細かいテクスチャを再現し違
和感の少ない修復を行うことができる．また文献 4 25 ではフーリエ基底を用いた結果との比較を行い，固有ベクトルを用いることの有効性を示している．井添ら

4 5 は，画像のフラクタル性と局所性に着目し，画像から生成した固有ベクトルを用いて修復を行う < 法を提案している．この手法も，天野らの手法と同様にデータ領域のテクスチャを用いて生成した固有ベクトルから修復を行うため，欠損領域内の細かいテクスチャを再現することが可能である．
このように，特徴空間での補間による修復手法は欠損領域内に細かいテクス
チャを再現することが可能である．しかし，修復には欠損領域周辺の特徴量を用いるため，画像中に欠損領域を含むウインドウをあてはめた時，そのウインドウ
内に必ずデータ領域を含まなければならないという原理的な制約がある．そのため，１つのウインドウに収まらないような大きな欠損領域を持つ画像に対しては適用が難しい．

 テクスチャを用いた画像修復
テクスチャを用いた画像修復は，本来欠損領域に存在するテクスチャはデータ領域に存在するテクスチャと類似しているという考えに基づき，データ領域のテ
クスチャを用いて欠損領域を修復する手法であり，最近の画像修復に関する研究の主流となっている．テクスチャを用いた画像修復は，テクスチャを逐次的に合成する手法，テクスチャを欠損領域全体で最適化する手法に大別できる．

 テクスチャの逐次的合成による修復
テクスチャの逐次的合成による手法は，データ領域から欠損領域の境界のテクスチャパターンと類似する部分を探索し，最も類似したテクスチャを逐次的に合成する手法であり，図 に示すように，大きな欠損領域に対しても細かいテクスチャを表現した修復が可能である．
このアプローチによる画像修復は， 枚の小さなテクスチャから大きな新しいテクスチャを生成するというテクスチャ合成に関する研究に関連が深い．

8 ら 4 5 は，テクスチャ合成の分野で用いられてきたテクスチャの合成手法を画像修復に対して適用した．また，0!& ら 4 5 は，この手法を応用し，輝度値を滑らかに補間する手法 4 5 とテクスチャ合成の手法を 4 5組み合わせた手法を提案している．これらの手法は，欠損領域の境界部分
から欠損領域内部へと逐次的に合成を行い，一度合成された画素値は書き換えないという方針から，短時間で修復が完了する反面，生成される画像の品質が画像の合成順序に大きく依存し，テクスチャの不連続が起こりやすい．そのため，より違和感の少ない画像を生成可能なテクスチャの合成順の決定方法に関して，以下のような様々な基準を用いた手法が提案されてきた 4 1+

+ + + 35．

 テクスチャの類似度 4 15 # !!4 5
 決定済みの画素数 4 5 決定済みの画素数とエッジの強さ 4 5

原画像

図

前景（人）を取り除いた修復画像* ら 4 5 の手法を用いた画像修復の例

 決定済みの画素数とエッジの強さと類似度 4 35
しかし，これらの手法においても，やはり欠損領域の外部で複雑なパターン構造を持つ画像に対しては，不連続なテクスチャが生じやすいという問
題がある．
これに対して，エッジ部分のつながりをあらかじめ自動的または手動で指定
し，優先的にテクスチャを合成することでこの問題を回避する手法 4 2+

5も提案されているが，テクスチャが複雑な場合には，修復に有効なエッジ
を正しく指定することが難しい．

3

 テクスチャの全体最適化による画像修復
テクスチャを逐次的に合成する手法は，不連続なテクスチャが生じやすいという問題があるため，テクスチャを欠損領域全体で最適化することでこれを解決する手法が提案されている 4+ + 5．
=; ら 4 5 は，0& 7 ! を応用した 7!'07 を用いて目的関数を最適化し，欠損領域にラベル付けをすることで不連続なテクス
チャを生じさせないような最適なテクスチャの合成順を決定する手法を提案した．また，&& ら 4

5 は欠損領域を様々な形の断片に分割し，最適となるテクスチャの組み合わせで合成を行う手法を提案した．この手法では，定義した目的関数が最適となるようデータ領域のテクスチャを張り合わせることで，欠損領域全体で不連続なテクスチャの少ない最適な画像を生成できる．また，6/& ら 4

5 は欠損領域と欠損領域以外のパターン類

似度  を用いて画像の尤もらしさを表す目的関数を定義し，これを欠損領域全体に対して最適となるよう各画素の値を求めることで画像を修復する手法を提案した．画像全体での最適化を行う手法では，修復結果がテクスチャの合成順に依存せずに，図 1 に示すように欠損領域全体に対して最適な画像を生成できるという特長がある．しかし，同一画像内における輝度値の変化を考慮していないため，修復画像に輝度値の不連続が表れ違和感が生じる場合がある．また，これらの手法ではパターン類似度を画像全体で一様に比較しているため，不適切なテクスチャの対応を招くことがあり，修復画像がぼけてしまう場合や，一見局所的には自然なテクスチャのつながりでも全体として違和感の残る画像が生成されてしまう場合がある．
このように，テクスチャを用いた手法は，大きな欠損領域に対しても細かいテ
クスチャを表現でき，特定の画像に対しては違和感の少ない修復が可能である．
しかし，適用可能な画像が比較的限定され，また輝度値の変化を考慮していない
ため，画像によっては違和感が生じることがある．

2

原画像

図 1 6/& ら 4

前景（人）を取り除いた修復画像

5 の手法を用いた画像修復の例



本研究の位置付けと方針

前節までに概観したように，画像修復手法として既に多くの手法が提案されている．輝度値の連続性を考慮した手法では，小さな欠損領域に対しては良好な結果を得られるが，細かいテクスチャを再現できないという特徴から，大きな欠損
領域では不鮮明な画像が生成されやすく，適用できる画像が限られる．特徴空間
での補間による手法は，画像の自己相関性が強くなければならないことや，一つのウインドウにデータ領域と欠損領域の両方を含まなければならないという制約があるため，適用可能な画像が比較的限定される．また，テクスチャを用いた手法において，逐次的に合成を行うアプローチは，どのような画像に対しても良好な結果が得られるような合成順を求めることが困難である．これに対して，テクスチャを欠損領域全体で最適化するアプローチでは，細かいテクスチャを持ち，かつ不連続なテクスチャがない画像を得ることができ，現時点で最も高品位な修復画像を得ることができる．しかし，一般的に画像内において同一のパターン構
造を持つ物体でも照明変化や汚れ等によって画像内での輝度値の変化が起こる場
合があるため，欠損領域の周りで輝度の変化が大きい画像に対して修復を行った
際には，輝度値の不自然な変化が見られ違和感を生じる場合がある．また，従来手法では画像全体で一様に欠損領域とデータ領域との類似度を比較しているため，
不適切なテクスチャの対応が起こり修復画像がぼけてしまうという問題が残っている．
本論文では，テクスチャの全体最適化による画像修復法における上記の問題に対して，テクスチャの輝度値の変化とテクスチャの局所性を考慮することで，不連続・不明瞭なテクスチャの生じにくい画像修復を実現する手法を提案する 4 35．

本研究では，テクスチャを欠損領域全体で最適化する 6/& らの手法 4

5 を基礎に，輝度値の変化を考慮したパターン類似度を用いることで，輝度値の不自然な変化を抑止し，違和感を軽減する．また，テクスチャパターンの局所性を考慮することで，不適切なウインドウの対応付けを防ぎ，ぼけの発生を抑える．

 輝度値の変化と画像の局所性を考慮したエネルギー最小化による画像修復
 画像修復手法の概要
本論文では，従来からあるパターン類似度  によるエネルギー関数を，輝度値の変化と画像の局所性を考慮することで拡張し，そのエネルギー関数を最小化することで画像修復を行う．提案手法の処理の流れを図  に示す．本研究では，
まず写真上の傷や不要な物といった修復したい領域を画像上で手動により指定し，何らかの方法を用いて欠損領域に初期値となる画素値を与える $．次に，エネルギー関数を最小化することで，欠損領域の修復を行う ．
以下， ) 節で従来から用いられてきたパターン類似度  によるエネルギー関数の定義について概説し， ) 節で今回新たに用いるエネルギー関数を定義する．また， )1 節で提案するエネルギー関数の最小化手法について述べ，最後に，) 節で処理全体で用いる粗密法による局所解の回避と処理の高速化について述べる．



パターン類似度  によるエネルギー関数の定義

本節では，6/& らが提案した， による画像修復のための目的関数 4

ついて概説する．ただし，文献 4

5に

5 では目的関数を確率密度関数として定義しているが，本研究ではこれを本質的に同等なエネルギー関数として再定義する．パターン類似度を用いた画像修復手法 4

5 では，図 に示すように，画像をユーザが指定した欠損領域 > を含む領域 > と，画像内の > 以外のデータ領域 ? に分け，
領域 > 内の画像の尤もらしさをデータ領域 ? 内の画像パターンを用いて定義す内に一部でも >る．ここでは，画像内において一定サイズの正方ウインドウが含まれるウインドウの中心画素の集合を > とし，欠損領域の尤もらしさを表@  周辺のパター
すエネルギーを，領域 > 内の画素  とデータ領域 ? 内の画素 開始(a)対象領域(欠損領域)の指定(b)

欠損領域の初期値の設定(c)

エネルギー最小化による画素の更新

エネルギーが収束したか
はい終了
図  画像修復の処理の流れ

いいえ

Φ
データ領域

ウインドウ Wx = ( x, y )ウインドウWΩ
欠損領域

xˆ = ( xˆ, yˆ )Ω′図画像上の各領域

ン類似度  の重み付き総和として以下のように定義する．
 

A

Ü ¼

Ü    @  







ただし，     @   は以下のように表される．


ここで，   は画素

 @   A


Ô

 

 B   @ B 

 の画素値を表す．また，@ は領域> 内の画素  周辺の  



パターンと最も類似したパターンを持つデータ領域 ? 内の画素であり，  を最

小化する @  は次の式によって決定できる．

@ A


 

 A 
Ü¼ 





また，ここでは重み Ü として，領域 >  > では各画素の値が固定値となるため
Ü

A を，領域 > では境界に近いほど画素値の信頼度が高くなるため Ü A


1





（ は > の境界からの距離， は定数）を用いる．従来手法 4

5 では，定義したエ

ネルギー関数   を最小化する欠損領域内の画素値    とそれに対応する類似
パターン位置 を算出することで，欠損領域を修復する．

 輝度変化と局所性を考慮したエネルギー関数の拡張
本研究では，式   による欠損領域の尤もらしさを表すエネルギー関数   を，
輝度値の変化と画像の局所性を考慮して拡張する．具体的には，画像パターンの線形的な輝度値の変化を許容するために，輝度値の補正係数を導入する．また，
画像の局所性を考慮するために，欠損領域とデータ領域の対応する画素間の距離に応じたコスト関数をエネルギー関数に加え，欠損領域の尤もらしさ表すエネル
ギーを新たに次のように定義する．


A

Ü

4

Ü    @  B 






 @ 5

1



¼





ここで，     @  は輝度値の変化を考慮したパターン類似度，    @  は画
素

 と画素 @ の距離をシグモイド関数に基づいて変換した値であり，それぞれ以下のように定義する．
 @  A




Ô

 

 B   ÜÜ @ B 





 

 Ü Ü @  A B












¼ 



ただし， ， は定数，   はウインドウ内の画素数を表す．また，@ は，新たに定義した  を最小とするデータ領域 ? 内の画素であり，次式によって算出する．

@ A  A 

Ü 


¼





   B 






  
 また，本研究では輝度値の補正係数 ÜÜ として ， @ それぞれの画素の周辺の平均輝度値を用いて定義するが，実際の画像において比較的大きな輝度値の変化を線形的に近似すると，違和感のある画像が生成されやすいため，ここでは ÜÜ の



局
所
性
のエ
ネル
ギー
SD ( x, xˆ )画素間の距離 x − xˆ図

シグモイド関数による局所性のエネルギーと画素間の距離との関係

値を式 3 に示す一定範囲内     ÜÜ 



A
 B

B



，ただし  は    

の定数 に限定することで，輝度値の変化を線形に近似する．



ÜÜ



ÜÜ



ただし，



ÜÜ

 ÜÜ
 
 ÜÜ




  のとき ÜÜ 




A 

B



B

のとき

3

のとき

 B 
 B Õ  @
Õ 




2



なお，本研究では画像の局所性に関して，注目画素からの距離が一定以下または一定以上の領域において，注目画素周辺と同じテクスチャが存在する可能性があまり変化しなくなると仮定し，図 に示すようなシグモイド関数を用いて式  に示す局所性に関するコスト関数を定義する．

 エネルギー最小化による画素値と類似パターン位置の更新
本研究では，C' &!" の枠組みを用いて式 1 で定義したエネルギー

を最小化する．具体的には，式   によって求まる類似パターンの組   @  を固定し，かつ輝度値の補正係数 ÜÜ の変化が欠損領域内の画素値の変化に対して微小であると仮定することで，エネルギー  を欠損領域 > 内の各画素で独立に扱えることに着目し，

 欠損領域内の画素値の並列的な更新 類似パターンの組を固定 各画素に対する類似パターン位置 @ の更新 画素値を固定
をエネルギーが収束するまで繰り返すことで，画像全体のエネルギーを最小化す
る．以下では，処理 ， の詳細について順に述べる．

 欠損領域内の画素値に対する並列的な更新
処理  では，類似パターンの組を固定し，式 1 で定義したエネルギー  を

最小化する欠損領域内の画素値    を画素並列に更新する．以下では，パターン



の組を固定した場合の画素値    の算出手法について詳述する．ここではまず，



エネルギー  を，欠損領域内の各画素での要素エネルギー    に分解する．図3 に示すように，更新対象となる画素の位置を ， を中心とするウインドウ
内の任意の点を  B     とする．このとき，画素  B  を中心とするパターンに対して式   で求まる類似パターンの位置は  B  であり，この類似パターン上において  と対応する画素の位置は  B    となる．ここで，注目画素  に関係する の要素エネルギー  は， と  B    の画素値の関係，それぞれの画素の周りの平均輝度値， と  位置の関係から算出でき，
















以下のように表すことができる．


 A

Ô



 B   Ô     ÜÔ ÜÔ   ÜB  B  Ü Ü







¼ 



 

f ( x + p)xΦf (x + p) − p

f
最類似
ウインドウ

Ω

x+p

図 3 エネルギー算出における画素の関係
このとき，欠損領域全体のエネルギー 8 と各画素での要素エネルギー 8/ の関
係は，以下のように表せる．


A



 B

 







は，領域 >  > 内にある画素に関するエネルギーであり，ここでは類似パター

ン位置が固定されているため定数として扱える．ここで， を欠損領域内のある画素の画素値    で偏微分すれば，エネルギー を最小化する   の必要条


件は次式で表せる．

  A Ü  A 
 











 

  の変化に対する輝度値補正係数 の変化は微小であるとこのとき，画素値  
仮定し，




  A      >   ?
Ü Ü¼



3



 



  A   A   となり，以下の式を満たす   を求とおけば，   

めることで，8 を最小化できる．

  A

これを欠損領域内の全ての画素  A   について一般化すれば，欠損領域内の全ての画

素値    を以下のように算出できる．


 A

 1





  B   Ô ÜÔ ÜÔ ÜÔ   Ô ÜÔ

なお，式   は式 

 を前提とした近似解であるが，  が収束するに従って輝度値の補正係数の値も収束するため，エネルギーが収束するにつれて良い近似解となる．

 各画素に対する類似パターン位置の更新
処理  では，処理  で更新された欠損領域内の画素値を用い，対応する類似

パターン位置を更新する．パターン位置の更新は，基本的にはデータ領域 ? 内の

全ての画素に対して    と   を算出し，式   を満たすパターン位置 @ を決定することで実現できる．しかし，データ領域 ? の全範囲を対象に毎回全探索を行うことは計算負荷が大きい．そこで，本研究では最類似パターンの位置の候補になり得る類似度の高いパターン位置をリスト化し，リスト内のみを対象として探索することで高速化を図る．図 2 に，欠損領域 > 内の個々の画素値を対象とした最類似パターン位置の探索とリスト化の流れを示す．処理 ， の繰り返しの初回ではデータ領域 ? 内の全画素を注目画素とするウインドウ内のパターンと修復画素周辺のパターンを総当りで比較することで最類似パターンを決定し，同時に類似パターンの候補のリストを作成する． 回目以降の処理では，後述する

条件を満たす場合にはリスト内の候補から最類似パターンを探索し，条件を満たさない場合にはリストの更新を行う．これらの処理を画素独立に行うことで，無駄な探索を排除する．
まず，全探索におけるリストの作成について述べる．ここでは，全探索によって







式   で類似パターンの組   @  が定まる時の評価値：     @ B      @ 

2

初回かどうか はい
いいえ
式(17)を満たすか いいえ
はい
リスト内探索全画素探索
リスト作成
図 2 類似パターン位置の探索とリスト化の流れ



の値を   とおき，以下に示すようにデータ領域 ? 内の画素に対する評価値が の  倍以下

 D定数 となる全ての  を候補としてリストに格納する．
   B 






  


 

 



ただし，ここではリスト内探索の時間と全探索の頻度のトレードオフを考慮し，
を適切に設定する必要がある．
リストが作成されれば，次回以降の類似パターンの探索はリスト内のパターンのみを用いた照合で完了するため，効率的な処理が実現できる．ただし，繰り返しによって 周辺のパターンが更新されていくと，リスト内に最類似パターンが存在しない場合が発生する．そこで，リスト内に最類似パターンが存在することが保証されるかどうかを判定し，存在しない可能性が生じた場合には再度リストを作成する．具体的には，リスト作成時ののパターンの  が 





 




 周辺のパターンと，更新を行った後

 を超えるとリスト内に最類似パターンとなる位置が存在しない可能性が生じる．よって，次の式を満たさなくなった場
合に に対するリストを更新する．
Ô 

 B    B 

 















 



ただし， は全探索を行いリスト化した時点での画素値， は更新を行った後の現在の画素値を表す．

 粗密法による局所解の回避と処理の高速化
本研究では，C' &!" の枠組みを用いているため，局所解問題が存在する．ここでは効率的に大域最適解に近い解を得るために，図 左に示すように，初めは原画像を縮小した画像に対してエネルギー最小化処理を行い，それを初期値として順次解像度を高くしながらエネルギーを最小化する多重スケール処理を採用する．具体的には，一定スケールまで繰り返し画像サイズを 分のずつ縮小した画像ピラミッドを作成しておき，まず最小となるスケールで)1 節で述べた手法によりエネルギー最小化処理を行う．あるスケールでエネルギーが

大

・・
・

の
スケール
1/4

ウ
イ
ン
ド
ウ
サ
イ
ズ

の
スケール
1/2

原寸のスケール

小図 粗密法による画像修復の反復処理

収束すると，上位層での最類似パターン位置の結果を下位層での初期値として投影する．これらの処理を元の画像サイズになるまで同じ大きさのウインドウを用いて繰り返す．このような処理を行うことで大域最適解に近い解を得ることができ，また，各スケールでの初期値があらかじめエネルギーの低いテクスチャを用いることができるため処理の高速化にもつながる．
また，本研究では細部までテクスチャを再現するために，図 右に示すように，元のサイズの画像に対しては，ウインドウサイズを順次小さくしながらエネ
ルギー最小化処理を行う．このような処理を行うことで，データ領域のテクスチャのサンプル数が増えるため，より細かいテクスチャも再現することができ，ぼけの発生を防ぐことができる．

 実験
本章では，図に示す様々な特徴を持つ

 枚の画像   ×  画素 を対象とした画像修復実験を通じて，提案手法の有効性を明らかにする．ここではまず，画像内の輝度値の変化やパターン構造の変形が大きい特徴的な 1 枚の画像について，本手法が基礎としている 6/& らの手法 45 による修復結果と提案手法による修復結果を比較することで，提案手法の有効性を示す．また，  枚全ての修復結果に対するアンケート評価に基づく被験者実験を行うことで，提案手法の有効性を客観的に判定する．なお，本実験では，7**7EDF) C., メモリD3C0 を用いて修復処理を行い，エネルギー関数の各種パラメータは表 に示すように設定した．また，欠損領域は，原画像の一部を塗りつぶすことにより手動で与え 図中の赤い領域，欠損領域の初期値は欠損領域の境界画素の輝度値の平均値とした．粗密法による処理では，データ領域のサンプル数が全画素G以上となる最小のスケールから開始し，元のサイズの画像に対してはウ
までウインドウの辺の長さを 画素ずつ減少さ
インドウサイズを 2 2 から数のせた．また，収束判定は， 反復におけるエネルギーの減少幅がエネルギーの大きさの ) G以下となる場合とした．なお，従来手法 45 と提案手法の実装上の違いはエネルギー関数の変更のみであり，双方共にリスト化による高速化を行っている．

表

本実験での各種パラメータの設定
ウインドウサイズ



局所性を考慮した項の重み

シグモイド関数中のパラメータ

輝度値補正係数に関する範囲リスト化候補となる上限倍率

1




2 2

)1

)
1

00

01

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

図

実験で用いた入力画像  H 



35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

図

実験で用いた入力画像  H 

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

図

実験で用いた入力画像  H  様々な特徴を持つ画像に対する実験と考察

 から図  に示す輝度変化やパターン構造の異なる 1 枚の画像について実験結果を示し，考察する．1 枚の画像はそれぞれ以下に示す特
本節では，図徴を持つ．

 輝度値の変化とパターンの変形が小さい画像 画像 ：画像番号  
 輝度値の大きな変化が伴う画像 画像 0：画像番号 2 パターンの変形を伴う画像 画像 *：画像番号 1  輝度値の大きな変化とパターンの変形を伴う画像 画像 ：画像番号 3
また，各図 $ に手動で与えた欠損領域を， に) 節で述べたパターン類似度 をエネルギーとした従来手法 4 5 による修復画像を， に提案手法を適用した修復画像を示す．以下，画像 〜 に関して考察する．
画像  図  は欠損領域の周辺での輝度値やパターンの変形が小さい画像である．図から，このような画像に対する修復結果においては，従来手法，提案手法ともに違和感の少ない画像が生成されており，主観的には違いが感じられない．
画像 0 図 は，欠損領域周辺において輝度値の変化が大きい画像である．従

来手法では，座席部と背もたれ部の修復領域において，輝度値が滑らかに続いていないため偽エッジが発生し違和感が生じている．これに対して，提案手法では輝度値の変化を考慮しているため輝度値が滑らかにつながり，違和感の少ない画像が生成されている．
画像 * 図 1 は，欠損領域周辺においてパターンの変形が伴う画像である．この画像では，欠損領域周辺が一見類似したテクスチャに見えるが，小石の大きさが均一でなく，単純なパターンマッチングによる対応付けが難しい．これにより，従来手法では，修復領域の一部で適切な対応付けが行われず，結果として修復領
域が白っぽく浮き出ている．これに対して，提案手法ではテクスチャパターンの局所性を考慮することで，パターンの変形にも関わらず欠損領域周辺のパターン

3

が対応付けられ，周辺の領域と類似した色のテクスチャで欠損領域が修復されている．
画像  図  は，欠損領域周辺において輝度値の大きな変化とパターンの変形を伴う画像である．従来手法では，修復領域内部の壁や床の輝度値の急激な変化
により違和感が生じている．また，ポストの窓も再現されず完全にぼけてしまっている．これに対して提案手法では，輝度値が滑らかにつながり，またパターン
も連続的なものが生成されているため，比較的違和感の少ない画像が生成できている．
次に，処理時間の比較を行った．従来手法と提案手法による処理時間を表 に示す．表から提案手法では従来手法に対して 〜 倍程度の処理時間が必要であることが分かる．これは，輝度値補正係数と局所性を考慮した項の計算コストが増えたことによる．
最後に，図

〜図

2 に提案手法による各スケール，ウインドウサイズにおける画像処理時のエネルギーの変化と反復回数の関係を示す．なお，各スケール，
ウインドウサイズでの初期エネルギーを に正規化している．図から式  による近似を用いてもエネルギーは単調に減少していることが確認できる．しかし，画像によっては数十回の繰り返し以降エネルギーがほとんど変化しておらず，収束判定を緩和することで，処理速度の改善が見込める．

表

従来手法 45 と提案手法による処理時間
従来手法

画像  
画像 02
画像 *1 

分

秒

分

秒

3秒
画像  3  分  秒
分

2

提案手法

3 分 1 秒
分 秒
3 分 2 秒
3分 秒

'(

'"(

図

従来手法 )

原画像

*

'&(

による結果画像'(

指定した欠損領域提案手法による結果画像

輝度値の変化とパターンの変形が小さい画像 画像 ：  に対する実験



'(

'"(

図

従来手法 )

原画像*

による結果画像'&('(

指定した欠損領域提案手法による結果画像

輝度値の大きな変化が伴う画像 画像 0：2 に対する実験

'(

'"(

従来手法 )

図

原画像*

による結果画像'&('(

指定した欠損領域提案手法による結果画像

1 パターンの変形を伴う画像 画像 *：1  に対する実験

'(

'"(

図

従来手法 )

原画像*

による結果画像'&('(

指定した欠損領域提案手法による結果画像

 輝度値の大きな変化とパターンの変形を伴う画像 画像 ： 3 に対する実験

図

画像  に対する修復におけるエネルギーと反復回数の関係

図

画像 0 に対する修復におけるエネルギーと反復回数の関係

1

図

3 画像 * に対する修復におけるエネルギーと反復回数の関係

図2 画像  に対する修復におけるエネルギーと反復回数の関係

被験者による主観的評価実験と考察

1) 節で比較対象とした 6/& らの手法 4 5 に加え，テクスチャの逐次的合成による代表的な修復手法である * らの手法 4 5 を実装し，提案手法と従来手法を用いた修復画像に対して 名 本学情報科学研究科の学生 の被験者による評価実験を行った．本実験は，被験者により修復画像を主観的に評価してもらうことで，提案手法の有効性を客観的に示すことを目的とする．

 評価方法
被験者には，アンケート評価のためのウェブページにアクセスしてもらい，図 に示す事前説明を読んでもらった後，図 に示すようなレイアウトで並べられた  枚の入力画像に対する  枚の修復画像に対して  段階の点数評価を行ってもらった．なお，本実験で画像修復に用いた手法は，テクスチャの逐次的合成
による手法 4

5，テクスチャの全体最適化による手法 4 5，提案手法において輝度の変化のみ考慮したエネルギー関数を用いた場合，画像の局所性のみ考慮したエネルギー関数を用いた場合，輝度値の変化と画像の局所性の双方を考慮したエ
ネルギー関数を用いた場合の  つであり，修復結果の採点ページ上では， つの手法により修復した結果画像をランダムな順序で並べた．また，本実験では，修復画像を個人のホームページや書籍・雑誌等の写真として利用することを前提として，使えない画像を 点，十分使える画像を  点という解答基準で採点してもらった．

 評価結果と考察
各手法により出力された各々  枚の修復結果につけられた点数の平均値を表に示す．また，各手法が最高点を取った回数の比較を表 1 に示し，最高点となった修復画像を手法ごとに分類したものを図〜図に示す．表 ，1 から，提案

手法は従来手法よりも平均点が高く，最高点を得た回数が最多となった．また，有意水準を Gを設定した ! 検定により提案手法と従来手法 45 の比較を行った

結果，有意な差が認められたことから，平均的に提案手法が最も違和感が少ない図 アンケート評価のための事前説明ページ

図

修復結果の採点ページ

3

画像を生成できる手法だと言える．また，輝度値の変化のみを考慮した手法と画像の局所性のみ考慮した手法のどちらも平均点が従来手法よりも高く，また ! 検定による比較でも有意な差が認められたため，各々の要素をエネルギー関数に導入することの有効性が確認できた．また，表  に 1) 節で採り上げた画像 〜
に対しての各手法の平均点を示す．これらの結果についても有意水準を Gと設定した ! 検定により提案手法と従来手法 45 の比較を行った結果，画像  に関しては有意な差が認められず，画像 0〜 に関しては有意な差が認められたことから，1) 節で考察した画像 〜 の評価が客観的にも正しいことが確認できた．
ただし，図，図 3 に示すような画像においては従来手法 4 5・提案

手法ともに修復結果に問題があり，どちらの結果に対する平均点も 点台であった．これらの画像では，欠損領域の周りで輝度値や構造が大きく変化しているため，局所性を考慮したにも関わらずぼけてしまい違和感のある画像が生成されている．これに対して，局所性に関する重みを高め， A
を実行したところ，図 とした上で修復

，図 3 に示す違和感の少ない画像が生成された．

このように，単一の重み係数による修復では必ずしも最適な画像が得られないた
め，更に多くの画像に対して良好な結果を得るためには，画像の特徴を考慮してパラメータを動的に決定するが必要がある．

2 に．提案手法の評価が従来手法よりも低く，点数の差が最も顕著な画像を示す．この画像に対する評価結果は，従来手法 4 5 が ) 点，提案手
法が ) 点であった．提案手法による結果画像上において，ぼけは少ないがテク次に，図スチャの存在する場所が不自然なために違和感が生じている．これに対して，欠損領域境界部分の輝度値の平均を初期値として用いず，テクスチャ合成による従来手法 45 による結果を初期値とし，再度提案手法によるエネルギーを最小化したところ図 2 に示す画像を得た．ここで，平均輝度値を初期値とした場合 
と従来手法 4 5 を初期値とした場合  の最終的なエネルギーを比較すると，前者の方が約 Gエネルギーが高かった．このことから，初期値を平均輝度値とした場合には，より大局解から遠い局所解に陥っていることが分かる．以上のことから，より良い初期値を設定する手法について検討する必要がある．

2

 枚の画像に対する点数の平均点

表

手法

平均点

テクスチャの逐次的合成による手法 4

5
テクスチャの全体最適化による手法 4 5

)
)1
)2
)1
)

輝度変化を考慮した手法
画像の局所性を考慮した手法
輝度変化と画像の局所性を考慮した手法

表 1 各手法が最高点を取った回数
手法

回数

テクスチャの逐次的合成による手法 4

5
テクスチャの全体最適化による手法 4 5
輝度変化を考慮した手法
画像の局所性を考慮した手法
輝度変化と画像の局所性を考慮した手法

1

表  画像 〜 の平均点
手法
テクスチャの逐次的合成による手法 4

5
テクスチャの全体最適化による手法 4 5
輝度変化を考慮した手法
画像の局所性を考慮した手法
輝度変化と画像の局所性を考慮した手法

1

画像 

)1
1)
1)3
1) 3
1)31

画像 0

)
)
1)1
)
1)31

画像 *

)
)
)2
)32
)

画像 

)
)31
)2
)
)2

03

14

83

図

90

79

91

* ら 4 5 の手法による結果が最も評価が高い修復画像

04

18

54

図

75

25

60

30

64

6/& ら 4 5 の手法による結果が最も評価が高い修復画像

1

図

10

17

21

22

32

43

47

48

51

53

56

57

59

65

71

72

76

82

85

92

93

1 輝度変化を考慮した手法による結果が最も評価が高い修復画像

1

図

02

07

08

15

23

24

26

27

28

35

37

41

42

45

46

55

68

69

77

87

 画像の局所性を考慮した手法による結果が最も評価が高い修復画像

1

00

01

05

06

09

11

12

13

16

19

20

29

30

31

34

36

38

39

40

44

49

50

52

58

61

図

提案手法による結果が最も評価が高い修復画像  H 

11

62

63

66

67

70

73

74

78

80

81

84

86

88

89

94

95

96

97

98

99

図

提案手法による結果が最も評価が高い修復画像  H 

1

'(

'"(

指定した欠損領域'&(提案手法による結果画像'(

従来手法 )*

による結果画像パラメータを変更した場合における提案手法による結果画像

図

従来手法・提案手法共に評価が低い結果画像

1

画像番号 3 

'(

'"(

指定した欠損領域'&(提案手法による結果画像'(

従来手法 )*

による結果画像パラメータを変更した場合における提案手法による結果画像

図

3 従来手法・提案手法共に評価が低い結果画像 画像番号 2
1

'(

'"(

指定した欠損領域'&(提案手法による結果画像'(

従来手法 )*

による結果画像

初期値を変更した場合における提案

手法による結果画像

図

2 提案手法の評価が従来手法より低い結果画像 画像番号 1
13 まとめ
本論文では，従来から提案されているパターン類似度  による画像修復手法を基礎に，輝度値の変化とテクスチャパターンの局所性を考慮したエネルギー関数を新たに定義し，これを最小化することで，不連続・不明瞭なテクスチャの少ない修復画像を生成する手法を提案した．
実験では，輝度値の変化を考慮したことで輝度値の不自然な変化を防ぎ，また，
テクスチャパターンの局所性を考慮したことで不適切なテクスチャの対応によるぼけの発生を抑止できることを示した．また，名の被験者による主観評価実験の結果，提案手法が従来手法に比べて様々な特徴を持つ多くの画像に対する修復で良好な結果が得られることが確認できた．しかし，画像によっては，ぼけの発生を防止しきれず違和感が生じる結果が得られる場合もあった．また，ウインド
ウのサイズやエネルギー関数中での重みなど，経験的に決定したパラメータが多く，パラメータを変化させることで結果画像が大きく異なる場合がある．
今後，更に多くの画像に対して良好な結果を得るためには，画像の特徴から良好な結果画像を得るための最適なパラメータの決定手法や局所解を回避するための初期値の設定手法を確立する必要がある．また，提案手法の処理時間のうち類似パターンの探索に要する時間が多くを占めており，特にリストを作成時の全探索での計算負荷が大きい．そのため，データ領域のサンプルデータから分類木を予め作成し，探索回数を削減することで，更なる処理の高速化を実現できる見込みである．また，今回は定性的な評価のみ行ったため，今後，画質評価に用いられる 7I 7; & !  I! による定量的評価を行う予定である．

12

謝辞
本研究の全過程を通して，懇親なる御指導，御鞭撻を賜った視覚情報メディア講座横矢直和教授に心より感謝致します．本研究の遂行にあたり，御助言頂いた像情報処理学講座千原國宏教授に厚く御礼申し上げます．本研究を進めるにあたり，終始，温かい御指導をして頂いた視覚情報メディア講座山澤一誠助教授に深く感謝致します．そして，本研究を通じて適切な御助言を頂きました視覚情報メディア講座神原誠之助手に深く御礼申し上げます．また，本研究の遂行において多大なる御助言，御鞭撻を賜った視覚情報メディア講座佐藤智和助手に心より感謝致します．特に佐藤智和助手には，本論文の執筆，その他の論文の添削に至るまで細やかな御指導を頂きました．研究室において物心両面において常に温かい
ご支援を頂いた，視覚情報メディア講座守屋知代女史に厚く御礼申し上げます．
最後に，研究活動だけでなく日々の生活においても大変お世話になった視覚情報
メディア講座の諸氏に深く感謝致します．



参考文献

4 5 前田+ 高橋+ 太田D J欠損画像の修復処理の一方式K+ 電子情報通信学会論文誌
+ 9&) L 2+ ) + ) 2 M2 + 23 )4 5 )   L)) &D J:#& : 0 &+K 7) 888!) *)   7+ ) 2M + 223)
4 5 ) 0!&+ C)  + 9) *&&  *) 0&&!D J  !+K
7) * CCI7. + ) 1 M1 1+ )415 ) 0!&+ ) :) 0!,,  C)  D J #!;+ <& '+    9  !+K 7) 888 *)  * ! 9
 7!! I!+ ) M +  )45 *) 0&&!+ ) 0!&+ 9)    L) 9D J<&& $' L!
! &!  9! <&  C' :#&+K 888 )  
7+ 9&) + ) 3+ ) M +  )4 5 *) 0&&!+ 9) *&&+ L) 9+ ) 0!&  C)  D J 9
!& &  <&& C' :#&  *& +K 7) 888 !)*)  * ! 9+ ) M +  )4 5 *)+ 0&+ )) 0!!+ )) !  )*) D J:#& :*!! $ !&  !+K 7) 888 0,& '  * ! C "   7+ ) M + 1)435 ) " &ND J*#!7# I&,!  &!#&  E 78O+K 7) 8  *)  * ! 9+ ) 2M  + )425 ) *"  L) "D J!"!& &  :& !/!  !
+K  L&   & !"!+ 9&) + ) + )  2M 1 + )


4 5 ) *"  L) "D J !/!  ! $' *#!# 
 *+K L&  9& *!   I !!+9&) + ) 1+ ) 1 M112+  )4 5 ) *"+ ) =+ L) "  ) P"D J8&O 8&!  *#!
0  !+K  L&   & !"!+ 9&) + ) +)  1M2 +  )4 5 ) 8&  L) "D J!&  ! 0  !" ""&  &+K 8  L&   & !"!+ 9&) +)  M +  )4 5 ) :#+ ) Q!  R) 6D J: .% !  !  C&$& !!!+K 7) 888 !) *)  * ! 9+ ) M + )4 15 8) 9&&N+ C) $!  :) 0&<ND J & E 7$$&! C! P!!+K 7) 888 !) *)  7!!
I!+ )  M+ 1)
4 5 安田+ 大久保+ 田中D Jガウシアングラフィカルモデルを用いた画像補修アルゴ
リズムK+ 情報科学技術フォーラム（<）情報技術レターズ+ 9&) + ) M
3+  )
4 5 小川+ 長谷山+ 北島D Jオプティカルフローを用いた静止画像における失われた輝度値の復元K+ 電子情報通信学会論文誌 + 9&) L3 + ) 2+ ) 3 M
2+ 1)
4 5 東海林D Jテクスチャ画像における欠損部修復の一手法K+ 電子情報通信学会
論文誌 + 9&) L + )2+ )  M 3+ 233)
4 35 ) ) .  ) !;D J*$ <'   !& 
!  <! !!#   I#&+K 7) * CCI7. 22 + ) 2M + 22 )


4 25 天野+ 佐藤D J固有空間法を用いた 07:7 による画像補間K+ 電子情報通信学会誌 + 9&) L3+ ) + ) 1 M1 +  )4 5 天野+ 佐藤D J;07:7 法を用いた高次元非線形射影による画像補間K+ 電子情報通信学会誌 + 9&) L3 + ) 1+ )  M 1+  )4 5 井添+ 剣持+ 小谷D J画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定K+ 電子情報通信学会 技術研究報告+ 7IE    +) M +  )4 5 )) 8  )=) :D J/! '!" $'  ! &+K 7) 888 !) *)  * ! 9+ )  M  3+ 222)
4 5 ) 0!&+ :) 9+ C)    ) P"D J&! !! /!   !+K 888 )   7+ 9&) +) 3+ ) 33 M332+  )4 15 7) .D J ."& 7  I'!"  * &//!+K 7) !) *)  *!& 8  * ! C "+ 9&,!  * ! 9+ ) 2M 2 +  )4 5 ) + ) *"P  .) R"D J<!0  * &!+K 7) * CCI7.  + )  M +  )4 5 I) 0+ 8) :+ :) :$&&  L) *"!D J ! *! !&&    +K 7) * !) *)  &!+) M +  )4 5 ) *+ 7) 7N,  =) 'D JI <&&  P$(! I#&$' 8/ &0   !+K 888 )   7+9&) + ) 2+ ) M + 1)
4 35 0) :+ R) S  F) "D J   ! !"+K 7) 888!) *)  * !    * ! C "+ )  M +)

4 25 L) + :) R+ L) L  .) "D J * &! %!" !!7 !+K 7) * CCI7. + ) 3 M3 3+ )4 5 L) L  *) D J I D I$!  '!" $'  !#   9!+K 7) 888 *)  * ! 9  7!
I!+ ) 1 M +  )4 5 ) =;  C) ,!D J * &! E C&$& P !
,!+K 7) 888 *)  * ! 9  7!! I!+) 11 M1 +  )4 5 *) &&T  ) 7D J I E ! P !,!+K 7) 888 !) *)  7!! I!+ ) M 1+  )4 5 R) 6/&+ 8) ""!  ) D J  9 * &!+K
7) 888 *)  * ! 9  7!! I!+ ) M
+ 1)
4 15 鈴木+ 玉木+ 山本D J画像復元のための周期的な遮へい物体の抽出K+ 電子情報通信学会誌 + 9&) L3 + ) + ) 32M 2 + 1)
4 5 I) *"+ R) + ) *"  ) ""D J7"! ! !!  
 !+K 7) 888 !) '   &!+ ) 1 M  + )4 5 ) D J*&! 0  ! !!+K 7) 888 !)*)  7!! I!+ ) M +  )4 5 ) ;  .) ,;D J!&; P& I 8/!! 0; I!!+K 7) 888 !) *)  7!! I!+) M 3+  )4 35 河合+ 佐藤+ 横矢D Jパターン類似度に基づくエネルギー最小化による画像修復K+ 電子情報通信学会技術研究報告+ 7IE  + ) M 3+  )1