論 文
テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復
河合 紀彦Ý
 佐藤 智和Ý

横矢 直和Ý

  

     

       

   Ý    Ý   Ý
あらまし 本論文では，写真についた傷など画像内の不要な部分を取り除き，その欠損領域を自動的に修復す
る新たな手法を提案する．従来，欠損領域の修復に関しては，欠損領域と欠損領域以外のデータ領域のパターン
類似度を用いて欠損領域全体の尤もらしさを表す目的関数を定義し，それを最適化することで画像修復を行う手法が提案されている．しかし，従来提案されている目的関数の最適化による修復では，以下に挙げる つの問題
により不自然なテクスチャが生じやすい． データ領域におけるテクスチャパターンの種類に限りがあるため，単純なテクスチャのコピーによる修復を前提とした場合には，違和感のない修復に最低限必要なパターンがデータ領域に存在しないことが多い．  データ領域と欠損領域間のパターン類似度のみによる指標は自然なテクス
チャの再現条件としては不十分である．本研究ではこのような問題に対して，テクスチャの明度変化を許容したパターン類似度を用いることで表現できるテクスチャパターンの拡張を行う．また，パターン類似度以外にテク
スチャの局所性を表すコスト関数を用いることで不自然なテクスチャの生成を抑制する．実験では，様々な画像に対して欠損領域の修復を行い，従来手法との比較およびアンケート評価に基づく定性的評価により提案手法の有効性を示す．また，従来行われてきた評価方法である少人数・少数の画像による主観評価および結果画像と原画像の差分に基づく定量的評価の問題点を実験により明らかにする．
キーワード 画像修復，画像補間， ，エネルギー最小化，パターン類似度

修復に関する研究が盛んに行われている．これら画像

はじめに修復の手法は，輝度値の連続性を考慮する手法と欠損

インターネットの普及に伴い，個人が日常的に撮影領域以外の領域 以下，データ領域 のテクスチャを用した写真や映像をホームページやブログに掲載するこいる手法に大別できる．前者は，輝度値の連続性を考とが一般的に行われている．このような目的で，過去慮して欠損領域の周りから輝度値を滑らかに補間するに撮影済みのアナログ写真をスキャナなどで電子化すことで画像修復を行う手法 〜 であり，写真に付る際，アナログ写真の物理的な損傷（キズ，よごれ等）

いた引っかき傷のような細い領域に対しては良好な修によりそのままでの利用が難しい場合がある．また，

復画像を得ることができる．しかし，大きな領域を修

デジタル写真や映像においては，利用意図に沿わない

復した場合には細かいテクスチャが表現できず，不鮮物体などが写っているため，そのままでは利用しづら

明な画像が生成されるという問題がある．そのため，い場合も起こりうる．このような問題に対して，写真

近年では複雑なテクスチャも表現できる後者の手法がについた傷や意図せず写りこんでしまった物体などの主流となっている．

画像内の不要部分を取り除き，欠損領域を自動的に違データ領域のテクスチャを用いる手法は，欠損領域

和感なく修復することで画像の利用価値を高める画像とデータ領域のパターン類似度に基づいてデータ領

Ý 奈良先端科学技術大学院大学， 奈良県生駒市高山町             
    !"
電子情報通信学会論文誌

域のテクスチャを欠損領域に合成することで画像修復を行う．このような手法には，テクスチャの輝度値をパターン類似度の指標として用いる手法 〜 と，

   

 

 

 年  月

電子情報通信学会論文誌     

フーリエ空間，ウェーブレット空間，固有空間等の特徴

修復の前処理としてテクスチャの境界部分を手動で指空間上の距離を類似度の指標として用いる手法 〜

定または自動で推定する手法   が提案されてい がある．後者の手法は特徴空間への変換コストがる．これらの手法では，テクスチャの境界を保つよう

大きく，またテクスチャの輝度値を用いた場合でも画にテクスチャを合成することで不連続なテクスチャを像修復においては十分良好な結果が得られることから，生じにくくしているが，複雑なテクスチャを持つ画像

本論文では前者の手法に着目する．

を対象とした修復では，修復に有効な境界部分を指定

ら  は，データ領域から欠損領域の境界部分

または推定することが難しい．

に最も類似したテクスチャを欠損領域の外側から逐次本論文では，多くの画像に対して違和感の少ない修的に合成する手法を提案している．この手法は複雑な復結果を得るために，従来とは異なるアプローチを採

テクスチャを再現することができるが，最終的に生成用する．まず，問題  に対して，従来手法では考慮される画像の品質がテクスチャの合成順に大きく依存されてこなかったデータ領域のテクスチャの明度変化

し，不連続なテクスチャが生じやすいという問題があを許容したパターン類似度を用いることで，表現できる．そのため，決定済みの画素数，エッジの強さ，類るテクスチャパターンの拡張を行う．また，問題 

似度等を考慮することで，違和感の少ない画像を生成について，多くの画像において類似したテクスチャ同可能なテクスチャの合成順を決定する手法 〜

士が近傍に存在する確率が高い性質 以下，テクスチャが提案されている．しかし，これらの手法においても，の局所性 を考慮し，類似パターン間の画像上での距やはり欠損領域の外部のテクスチャが複雑な幾何学的離に応じたコスト関数を用いることで，不自然なテク構造を持つ画像に対しては，不連続なテクスチャが生

スチャの生成を抑制する．本研究では，テクスチャのじやすいという問題がある．この問題に対して，欠損全体最適化を用いる  らの手法  を基礎とし，領域全体の尤もらしさを表す目的関数を定義し，それこれら  つの拡張を行うことにより高品位な画像修復を最適化するアプローチが提案されている 〜．

を行う手法を提案する．更に，本論文では従来の研究

これらの手法では，グラフカット，確率伝搬法， 

ではあまり議論されてこなかった修復結果の評価方法

アルゴリズムを用いて目的関数を最適化することで画の妥当性についても考察する．具体的には，従来から像修復を行っている．

行われてきた少人数・少数の画像による主観評価およ

全体最適化による手法 〜 では，結果がテクスチャの合成順に依存せず，欠損領域全体に対して最び結果画像と原画像の差分に基づく定量的評価の問題
点を実験により明らかにする．

適な画像を生成できるが，それでもなお以下に挙げる

以下， 節では，テクスチャの明度変化と局所性を

 つの問題により不自然な画像が生成される場合があ

考慮したエネルギー関数を最小化することで画像修復

る．  データ領域におけるテクスチャパターンの種を行う提案手法について述べる． 節では，まず修復類に限りがあるため，単純なテクスチャのコピーによ

結果について従来手法との比較およびアンケート評価

る修復を前提とした場合には，違和感のない修復に最に基づく定性的評価により提案手法の有効性を示す．

低限必要なパターンがデータ領域に存在しないことが次に，従来行われてきた修復結果の評価方法の妥当性多い．  データ領域と欠損領域間のパターン類似度

ついて考察する．最後に  節で，まとめと今後の課題のみによる指標は自然なテクスチャの再現条件としてについて述べる．

不十分である．従って，多くの画像に対して良好な結果を得るためには，これら  つの問題を考慮する必要があり，これまでにもいくつかの試みがなされてきた．



テクスチャの明度変化と局所性を考慮したエネルギー最小化による画像修復問題  に対して，文献  ではデータ領域における提案手法の処理の流れを図  に示す．本研究では，テクスチャの幾何学的な変形を許容することで，修復

まず写真上の傷や不要な物といった修復したい領域をに用いるテクスチャパターンを拡張している．また，

画像上で手動により指定し ，何らかの方法を用いテクスチャの明度変化などの光学的な変化についてもて欠損領域に初期値となる画素値を与える ．次に，許容することで，より多くのパターンを修復に利用す

今回提案するエネルギー関数を最小化することで，欠ることが可能になると考えられるが，現在までにその損領域の修復を行う ．

ような研究事例は存在しない．問題  については，

本節では，まず従来から用いられてきたパターン類

論文／テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復( 周辺のパターン類似
応するデータ領域 ' 内の画素 

Start度  の重み付き総和として以下のように定義する．

(a) Specify target region

No
Is energy converged?
Yes
End
図

画像修復の処理の流れ     Φdata region #Ü    (     (  )

た だ し ， $¼ は 領 域 & 内 の 画 素 数 を 表 す．ま た ， (  は以下のように表される．

Ô  *    ( *   は画素  の画素値を表す．また，ここÜ として，領域 &  & では各画素の値が固定値となるため Ü )  を，領域 & では境界に近いほど画素値の信頼度が高くなるため Ü )
（

ここで，
では重み



window W

xi

window W

x̂i

ª¼

 )

(c) Update pixels
by minimizing energy







(b) Give initial values

Ω′は & の境界からの距離， は定数）を用いる．従来手

 を最小化   とそれに対応する類似

法  では，定義したエネルギー関数

Ωmissing
regionする欠損領域内の画素値

( を算出することで，欠損領域を修復
パターン位置 する．



明度変化と局所性を考慮したエネルギー関数の拡張

本研究では，式  による欠損領域の尤もらしさに図  画像上の各領域

           基づくエネルギー関数



を，テクスチャの明度変化と局所性を考慮して拡張する．具体的には，テクス
チャの明度変化を許容するために，輝度値の補正係数

似度  

! " #$ %  によるエネルギー関数の定義について概説し，次に，今回提案するエネルギー関数とその最小化手法について述べる．

  パターン類似度  によるエネルギー関数の定義
本節では， らが提案した， による画像修復のための目的関数  について概説する．ただし，を導入する．また，テクスチャの局所性を考慮するために，欠損領域とデータ領域の対応する画素間の距離に応じたコスト項をエネルギー関数に加えることで，エネルギーを新たに次のように定義する．

)



ª¼

#



 



文献  では目的関数を確率密度関数として定義しているが，本研究ではこれを本質的に同等なエネルギー関数として再定義する．
文献  では，図  に示すように，画像をユーザが指定した欠損領域 & を含む領域 & と，画像内の &以外のデータ領域 ' に分け，領域 & 内の画像の尤もらしさをデータ領域 ' 内の画像パターンを用いて定義する．ここでは，画像内において一定の大きさの正方Ü    (  *     (    (  は明度の変化を考慮したパター   (  は画素  と画素 ( の距離に応じたコスト項であり， は局所性の強さを示す重(  と    (  についみである．以下，   

ここで，

ン類似度，

 

て詳述する．

テクスチャの明度変化を許容したパターン類似度

内に一部でも & が含まれるウインドウ

一般的な画像中において，照明条件が不均一であるの中心画素の集合を & とし，欠損領域の尤もらしさ

場合などに，局所的なパターン構造は同一であってもを表すエネルギーを，領域 & 内の画素  とそれに対明度の異なるテクスチャの組が存在する場合がある．

ウインドウ

電子情報通信学会論文誌     

このようなテクスチャパターンは，利用できるデー数を用いて次のように定義する．

タ領域が限られる一枚の画像からの画像修復に有用

容していないため，明度の異なるテクスチャを修復に

   (  )  *  & Ü Ü% ¼'
ただし， ， は定数，
 はウインドウ内の画利用することができない．本研究では，式  に明度

素数を表す．テクスチャの局所性に関して，注目画素の補正係数を加え，テクスチャの明度変化を許容するが存在する物体領域の範囲内では類似したテクスチャ

ことで，より多くのパターンを修復に利用し，修復画が存在する確率が一様に高いと仮定する．同様に，物像の品質を向上させる．具体的には，テクスチャの明

体領域の範囲外では類似したテクスチャが存在する確度変化を許容したパターン類似度率が一様に低いと仮定する．以上の仮定から，一定範であると考えられるが，従来手法  で用いられる
 式  は，テクスチャパターンの明度変化を許 を以下のように定義する．

   (  )Ô  *   Ü Ü%  ( * 

ここで， Ü Ü% はテクスチャの明度変化を許容する( それぞれのための輝度値の補正係数であり， ，

度に合わせる．ただし，実際の画像において比較的大きな明度変化を式  のような定数倍の変化として近似すると違和感のある画像が生成されやすいたÜ Ü% の値を式  に示す一定範囲内
の ) Ü Ü% )  * ，ただし  は  

 


     定数 に限定する．

Ü Ü% )

なお，欠損領域内における実際の物体の大きさは未知と仮定している．局所性を考慮することにより，注目画素の近傍に存在する適切なテクスチャが優先的に選択される確率が高くなる．





Ü Ü%

Ü Ü%



*

Ü Ü%

Õ

 *

Õ

( *



)



Ü Ü% )  *

*

 




ン位置の更新本研究では，+ ", -. #/0
式  で定義したエネルギーでは，類似パターンの組



の枠組みを用いて を最小化する．ここ (  を固定し，かつ輝度値の補正係数 Ü Ü% の変化が欠損領域内の画素値の変化に対して微小であると仮定することで，エネルギー

 を欠損領域 & 内の各画素で独立に扱えることに着
#

( の更新
各画素  に対する類似パターン位置 ##

欠損領域内の画素値の並列的な更新の  つのプロセスをエネルギーが収束するまで繰り返すことで，画像全体のエネルギーを最小化する．
プロセス # では，欠損領域内の画素値を全て固定することで，対応する類似パターン位置を更新する．







損領域がまたぐ場合においても，中間的な明度のテク
スチャを生成することで，式  のコストを下げることができ，結果的に急激な明度変化を抑制することが を算出し，以下の式を満たすパターン位置 (

具体的には，データ領域 ' 内の画素に対してとを決定することで類似パターン位置を更新する．

   ) ( )
 . #%      *      
Ü (
¼

 



プロセス ## では，類似パターンの組を固定し，式できる．
テクスチャの局所性

 を最小化する欠損領域内
   を画素並列に更新する．以下では，パターンの組を固定した場合の画素値    の算出手法について詳述する．ここではまず，エネルギー  を，
 で定義したエネルギー

多くの画像では類似したテクスチャ同士が近傍に存在する確率が高い．ここでは，このようなテクスチャの局所性を考慮したコスト関数

エネルギー最小化による画素値と類似パター

目し，輝度値補正係数 Ü Ü% を用いることによって，画像中
でテクスチャの明度が連続的に変化している箇所を欠

て式  に示す局所性に関するコスト関数を定義する．

域のテクスチャの明度を欠損領域のテクスチャの明Ü Ü% )



囲の内外で値がほぼ一定となるシグモイド関数を用い画素の周辺の平均輝度値を用いることで，データ領

であるため，式  において物体領域を一定の大きさ
め，ここでは を，シグモイド関の画素値

論文／テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復含んでいるが，画素値は微小であると仮定し，

 Ü &Ü ' )    & 
  
とおけば，     ) fmost similar
windowsf ( x i + p)

Ω xi + p

欠損領域内の各画素の要素エネルギー   に分解する．図  に示すように，更新対象となる画素の位置
を  ， を中心とするウインドウ
内の任意の点を *     とする．このとき，画素  *  を中心とするパターンに対して式  で求まる類似パター

  *  であり，この類似パターン上において  と対応する画素の位置は   *    となる．ここで，注目画素  に関する  の要素エネル
ギー    は， と   *    の画素値の関係，
 *  と   *  の画素の周りの平均輝度値，
と    の位置の関係から算出でき，以下のように表ンの位置はすことができる．

      )    ) 

Ô

 *
 





&Ü  &Ü '

このとき，欠損領域全体のエネルギーの要素エネルギー¼ ' )  となるた   ) &Ü )Ô'   Ô     &Ü )Ô'& &Ü )Ô''    *    &Ü )Ô'& &Ü )Ô''    *     
となることから，式 ， ，  より， を最小化する画素値 )Ô   は以下のように算出される．

&Ü )Ô' &Ü )Ô'& &Ü )Ô''   *   &Ü )Ô'Ô

なお，式  は式  を前提とした近似解であるが，   が収束するに従って輝度値の補正係数 の

値も収束するため，エネルギーが収束するにつれて良と各画素で   の関係は，以下のように表

せる．

)



ここで，

 )
&Ü )Ô'    &Ü )Ô'& &Ü )Ô''   *
め，式  は次のように表せる．

図  エネルギー算出における画素の関係            

*も変数    を   の変化に対する の変化

このとき，式  内の輝度補正係数xi

f (xi + p) − p Φい近似解となる．
また，処理全体を通して効率的に大域最適解に近い解を得るために，粗密法による処理も行う．具体的に



ª

#

  *は，あらかじめ画像ピラミッドを作成しておき，一定 は，領域 &  & 内にある画素に関するエネルギーでサイズのウインドウを用いて上位層から下位層へ順次
エネルギー最小化処理を行う．その際，上位層の結果を下位層の初期値として投影することで良い初期値をあり，ここでは類似パターン位置が固定されているた与え，処理の高速化と局所解の回避を行う．また，元め定数として扱える．ここで，要素エネルギーのサイズの画像に対しては，ウインドウサイズを順次の変数は小さくしながらエネルギー最小化処理を行うことで，    であるため， を欠損領域内のある画
素の画素値    で偏微分すれば，エネルギー  を最小化する    の必要条件は次式で表せる．
 ) ª    )    #   

細部までテクスチャを再現する．



実

験



本節では，まず提案手法と従来手法を含む  種類の手法を実装し，様々な特徴を持つ  枚の画像 電子情報通信学会論文誌     表

本実験での各種パラメータの設定

中  に 6  節で述べたパターン類似度  をエネ      

ルギーとした従来手法  による修復画像を， " に  !
  
    
    Æ  





¼


 

 " ¢ "  ¢ 
#
#$
#
#

提案手法を適用した修復画像を示す．以下，画像 :〜:; に関して考察する．

画像 : は欠損領域周辺の同一の物体領域に対する照明条件が一様でテクスチャの明度変化が小さく，また，パターン構造の変化も小さい画像である．このような画像に対する修復結果においては，従来手法，提案手法ともに違和感の少ない画像が生成されており，×  画素 を対象とした画像修復実験を行い，修復

主観的には違いが感じられない．

結果の比較およびアンケート評価に基づく定性的評価

画像 :: は，欠損領域周辺の同一の物体領域においにより提案手法の有効性を示す．次に，従来から画像てテクスチャが平坦でパターン構造は類似しているが，修復に関する多くの研究で用いられてきた，少人数・照明条件が一様でなく明度変化が大きい画像である．

少数の画像による主観評価および結果画像と原画像の従来手法では，座席部と背もたれ部の修復領域におい差分に基づく定量的評価について，アンケートの評価て，輝度値が滑らかに続いていないため偽エッジが発結果を用いて考察を行い，問題点を明らかにする．

生し違和感が生じている．これに対して，提案手法で

  修復結果の比較およびアンケート評価による提案手法の評価は明度変化を考慮しているため輝度値が滑らかにつながり，違和感の少ない画像が生成されている．

本節ではまず，実験で用いた  枚の画像のうち，

画像 ::: は，欠損領域周辺の同一の物体領域に対画像内の同一の物体領域上においてテクスチャに対すする照明条件が一様でテクスチャの明度変化は小さい

る明度変化やパターンの幾何学的な構造 以下，パターが，物体の大きさと形が一様でないため，画像上におン構造 の変化が特徴的な  枚の画像について，本手けるテクスチャパターンの構造も一様でない画像であ法が基礎としている  らの手法  による修復

る．この画像では，欠損領域周辺が一見類似したテク結果と提案手法による修復結果を比較することで，提スチャに見えるが，小石の大きさが均一でなく，単純案手法の有効性を示す．次に，テクスチャの逐次的なな  による類似度を用いた場合，欠損領域とデー合成により修復を行う手法の中で代表的な 1 # #%# #タ領域のテクスチャの適切な対応付けが難しい．これらの手法 ， らの手法 ，提案手法によるにより，従来手法では，修復領域の一部で適切な対応

それぞれ  枚全ての修復結果に対するアンケート評付けが行われず，結果として修復領域が白っぽく浮き価に基づく定性的評価を行うことで，提案手法の有効出ている．これに対して，提案手法ではテクスチャの性を客観的に判定する．

局所性を考慮することで，パターン構造の変化にも関

なお，本実験では，21 12345 % 6+78 メモ

わらず欠損領域周辺のパターンが欠損領域内のテクス

リ4+9 を用いて修復処理を行い，エネルギー関数のチャに対応付けられ，周辺領域と類似した色のテクス

各種パラメータは，事前に数枚の画像に対して行ったチャで欠損領域が修復されている．

予備実験の結果から，経験的に表  に示すように設定

画像 :; は，欠損領域周辺の同一の物体領域に対した．また，欠損領域は原画像の一部を塗りつぶすこする照明条件が一様でないため明度変化が大きい．まとにより手動で与え，欠損領域の画素値の初期値とした，中央に写る物体の三次元構造は規則的であるが，て欠損領域の境界画素の輝度値の平均値を与えた．

透視投影効果により画像上でのテクスチャパターンの   様々な特徴を持つ画像を対象とした修復結果の比較構造が連続的に変化している．従来手法では，修復領
域内部の壁や床の明度の急激な変化により違和感が生

本項では，実験に用いた  枚の画像のうち図  

じている．また，黒い四角の模様も再現されず完全にに示す，同一の物体領域上においてテクスチャに対す

ぼけてしまっている．これに対して提案手法では，輝る明度変化やパターン構造の変化が特徴的な  枚の画

度値が滑らかにつながり，またパターンも連続的なも像について提案手法と従来手法の修復結果を比較し，のが生成されているため，比較的違和感の少ない画像考察する．図   に手動で与えた欠損領域を，同図が生成できている．

論文／テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復&' 原画像&*' 指定した欠損領域&' 従来手法 +, による結果&' 提案手法による結果

画像 %&：テクスチャの明度変化やパターン構造の変化が小さい画像&' 原画像&*' 指定した欠損領域&' 従来手法 +, による結果&' 提案手法による結果

画像 %&：テクスチャの明度の大きな変化を伴う画像&' 原画像&*' 指定した欠損領域&' 従来手法 +, による結果&' 提案手法による結果

画像 %&：パターン構造の変化を伴う画像&' 原画像&*' 指定した欠損領域&' 従来手法 +, による結果&' 提案手法による結果

画像 %'&：テクスチャの明度の大きな変化とパターン構造の変化を伴う画像
図 $ 様々な特徴を持つ画像に対する画像修復 $         (  電子情報通信学会論文誌     
表

従来手法 ) *+ と提案手法による処理時間の比較      %& %& %& %'&,(   
- ./
- ./
-0/
*-*/

  
0-$*/
- */
0-*"/
0-/

次に，従来手法と提案手法による処理時間の比較を表

## 枚の画像に対する点数の平均点と最高点を取った回数

  1(            
   ##  1(   
3  1 ) +
3  4 ) *+$
3  ,
"
3  5$
3  6
7#

2       
.
.

#
$*

行った．表  に各画像に対する各手法の処理時間を示
す．同表から提案手法では従来手法に対して 〜 倍程度の処理時間が必要であることが分かる．これは，輝度値補正係数と局所性を考慮した項の計算コストが増えたことによる．

 

アンケート評価に基づく定性的評価実験と考察

本項では，提案手法と従来手法を含む  種類の手法
による各々 枚の修復画像を用いた  名の被験者によるアンケート評価実験について述べる．なお，本

表 $ 有意水準 *8と設定した時の  検定による各手法間を比較した場合の検定統計量 %有意差がある場合は数値に下線&$ (              *8 9  (  % 9  :     ( ; (    &

3 
1) +
4 ) *+,
54 ) *+






,

5

6

     

#$#
 




実験では以下の  手法で画像修復を行った．
手法 - テクスチャの逐次的合成による 1 # #%# # らの手法 
手法 9

テクスチャの全体最適化による  らの手法 
手法 1

提案手法においてテクスチャの明度変化のみ考慮したエネルギー関数を用いた場合
手法  テクスチャの局所性のみ考慮したエネルギー関数を用いた場合
手法

テクスチャの明度変化と局所性の双方を考慮したエネルギー関数を用いた場合
また，被験者は  代前半の男女であり，全員コン
ピュータを日常的に扱っている．本実験は，被験者により修復画像を主観的に評価してもらうことで，提案手法の有効性を客観的に示すことを目的とする．
・評価方法
被験者には，アンケート評価のためのウェブページ
にアクセスしてもらい，ウェブページ上に並べられた 枚の入力画像に対する  枚の修復画像に対して
 段階の点数評価を行ってもらった．修復結果の採点

ページ上では， 種類の手法により修復した結果画像
を入力画像ごとにランダムな順序で並べ，評価者には各画像がどの手法による修復結果であるのかを知らせなかった．また，本実験では，修復画像を個人のホームページや書籍・雑誌等の写真として利用することを前提として，全く使えない画像を  点，十分使える画

像を  点という回答基準で採点してもらった．
・アンケートの評価結果と考察
手法 -〜により出力された各々 枚の修復結果につけられた点数の平均値と各手法が最高点を取った
回数を表  に示す（注 ½）．表  から，平均点で比較すると，手法，手法 ，手法 1，手法 9，手法 - の順

で高く，最高点の回数で比較すると，手法，手法 1，

手法 ，手法 -・9 の順となった．また，各画像への評価点を基に有意水準を <を設定した / 検定により各手法間を比較することで統計的な裏付けを行った．
表  に各手法間の検定統計量と有意差の有無を示す．
同表に示すように，手法 1 と手法  の間には有意な差が見られず，他は有意な差が見られた．従って，手法 ，手法 1・，手法 9，手法 - の順に多くの画像に対して良好な結果を得られる手法であると言え，最高点を得た回数もおおよそそれに一致している．以上のことから，提案手法 手法

 が平均的に最も違和感が少ない画像を生成できる手法であると言える．また，テクスチャの明度変化のみを考慮した手法 手法
1 とテクスチャの局所性のみ考慮した手法 手法 

は，どちらも従来手法 手法 -・9 よりも良い評価を得ており，各々の要素をエネルギー関数に導入するこ（注 ）：実 験 に 用 い た  枚 の 画 像 と 修 復 結 果 お よ び そ の 評 価 を
 "-../  /0".    . "  .に示す．

論文／テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復の差分に基づく定量的評価法である．しかし，このような評価方法の妥当性についてはあまり議論されてこなかった．本節では，従来の画像修復の研究で行われてきた評価方法を 6 6  項で得られたアンケート評価
結果を用いて考察し，問題点を明らかにする．

   アンケート評価における被験者数と画像枚数の考察&' 指定した欠損領域&*' 従来手法 +, による結果

従来行われてきた多くの研究では，少人数の被験者によって少数の画像を主観的に評価することが一般的に行われている．しかし，一般的には画像や人による評価のばらつきが存在するため，手法の優劣が正しく評価されていない可能性がある．ここでは，前述の入力画像  枚，被験者数  名によるアンケート評価
結果における平均点を基準とした手法の優劣を正解とし，実験に用いる画像枚数および被験者数を減少させた場合の結果の信頼性を検証する．
本論文では，結果の信頼度を示す指標として，順位&' 提 案 手法 に よ る 結果&   #  '

&' 提案手法 による結果&   # 1'図 * 従来手法・提案手法共に評価が低い画像 * 6         (     (   との有効性が確認できる．

誤差 =%>#%.

 を以下のように定義する．

  )         )  


法  手法 9・提案手法 手法  ともに修復結果に

  は画像枚数  および被験者数  でア
ンケート評価を行った際の手法   !

問題があり，どちらの結果に対する被験者間の平均点の順位を表す．本実験では画像枚数  枚，被験者数

も  点台となった．しかし，これらの画像のうち，図 名の中からランダムに  に示す画像では，欠損領域の周りでテクスチャパ

を選び

ただし， 枚の画像のうち  枚の画像は，従来手

ただし，ターンの幾何学的な構造に周期性がなく様々なパター 枚の画像と  名の被験者
  を算出する．これを  回施行し，
  の平均値として平均順位誤差   をンが混在しているため，局所性を考慮したにも関わら求めることで結果の信頼性を検証する．

ず，データ領域と欠損領域のテクスチャの対応付けが

図  に画像枚数 ，被験者数 ，平均順位誤差

うまくいかずにぼけてしまい，違和感のある画像が生の関係について，主観評価の平均点に大きな差があっ成されている．これに対して，局所性に関する重みをた  手法 手法 - と手法  を用いた場合 ，平均点高め，  ) とした上で修復を実行したところ，に有意差はあるものの差が比較的小さい  手法 手法

図  " に示す違和感の少ない画像が生成された．こ と手法のように，単一の重み係数による修復では必ずしも最手法

適な画像が得られず，更に多くの画像に対して良好な結果を得るためには，画像の特徴を考慮してパラメー
タを動的に決定するが必要がある．

 を用いた場合 ， 手法全て 手法 -〜 を用いた場合  の結果を示す．同図中には

 の値が 6 変化するごとに等値線が引かれている．また，各図では     として，6 6  項で得られた結果から，表  に示す値を用いる．なお，手

画像修復手法における評価方法の考察

法 1 と手法  の間には有意な差がないため，図  

従来の画像修復に関する文献では，主に以下に述べではそれぞれ  か  を当てはめて，少なくとも一方のる  種類の方法により結果画像の評価を行っている．

 が  の場合は， を  として  を算出してすなわち，一方は，小人数・少数の画像による主観評

いる．

価法であり，もう一方は，原画像と結果画像の画素値

手法の順位が正解の順位と異なった場合，

 が 
電子情報通信学会論文誌     
表 7 " 枚の画像に対する 3>6 とアンケート評価値の平均値

Average Ranking Error: ARE
Number of Subjects: h

0.1 0.0537

 7 1(   3>6  (      <   "  

29

3  1 ) +3  4 ) *+3  ,
3  53  6

15
8
1
1

20

40
60
Number of images: n

80

100

&' 手法 2 と手法 3 に関する 

結果に対して，優劣が入れ替わることは少ない．これに対して，図   から，平均点の差が小さい手法 

Average Ranking Error: ARE
Number of Subjects: h

0.2

0.1

0.05

と手法

37

の比較においては，"  を満たす

 )  の時，画像枚数    が )  の時，画像枚数   

29

ためには，被験者数22

必要であり，被験者数15の条件が必要であることが分かる．よって，手法間の8評価の差が比較的小さい  手法の優劣を評価する場合

1には，数人による数枚の画像に対する評価結果が，多

1

20

40
60
Number of images: n

80

100

くの被験者および多くの画像を用いた場合の評価結果&*' 手法 4 と手法 3 に関する と異なる可能性が高い．一方，図   から， 手法の優劣を検証する場合，<以上の確率で正解と一致す

Average Ranking Error: ARE
0.5

Number of Subjects: h3>6 >    < 
$"*
""
0$#

.0
$$
07
$
.$$
77

22

0.2

0.1

0.05

 " ためには，同図  の場合よりも更

37

る

29

に多くの人数，多くの画像による検証が必要となるこ22とが分かる．

 

15

定性的評価と定量的評価の関係の考察

従来の画像修復に関する研究では，修復結果の定量

8

的な評価指標として，修復画像と原画像の画素値の差分

1
1

20

40
60
Number of images: n

80

100

=

&' 手法 2〜3 に関する 
図 7 画像枚数と被験者数と平均順位誤差の関係 7            < (   16  ## .& の値

表 * 図 7%&〜% & で用いた %  % ## .&  7%&% &
 =1  =4  =,  =5  =6 * '
7%&7%&7% &



*



$

に基づいて計算される      =

% ! "

/ % ! "，，2?= 2>

#.%@/ @? #  =/#  等が用いられてきた．本実験

では =

を用いて修復画像に対する定量的評価を行い，アンケート評価に基づく定性的評価との関係を考察する．=

は以下のように定義される．

# ) A ª  $  

ただし，
は結果画像の画素値を表し，
は原画像の画素値を表す．また，$ は欠損領域の画素数を










表す．なお，本実験で用いた  枚の画像のうち  が 6 の場合，<の確率で枚の画像においては，特定の物体を取り除くために欠優劣の順位が正解と一致する．図   から主観評価に

損領域の指定を行っており，原画像と結果画像を比較

よる平均点の差が大きい手法 - と手法 )  の時，画像枚数    で " を満たすことが分かる．よって，比較的することは無意味である．したがって，物体の位置に差の大きい  者の比較においては，少人数・少数の画

表  に各手法による  枚の結果画像に対する =

像を用いても，多人数・多数の画像による主観的評価の平均値とアンケート評価の平均値を示す．また になることから，の優劣の比

較において，被験者数

関わらず欠損領域の指定を行った残りの  枚に対して =の評価を行った．

論文／テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復

Correlation coefficient

Correlation coefficient

クスチャの位相のずれに対して敏感に値が変化する傾0.8~ 1.0
0.6~ 0.8
0.4~ 0.6
0.2~ 0.4
0 ~ 0.2-0.2~ 0-0.4~ -0.2
-0.6~ -0.4
-0.8~ -0.6
-1.0~ -0.8
0

5

10

15 20

0.8~ 1.0
0.6~ 0.8
0.4~ 0.6
0.2~ 0.4
0 ~ 0.2-0.2~ 0-0.4~ -0.2
-0.6~ -0.4
-0.8~ -0.6
-1.0~ -0.80向がある．従って，=

による評価は高周波成分を多く含む画像の評価には適していないと言える．図  はアンケート評価の評価値が顕著に低い手法 -を除いた  手法による相関係数の分布であるが，約 
分の  の画像については負の相関関係，約  分の  の
5

10

15 20

画像については正の相関関係を示している．これは，Number of images

Number of images&' 手法 2〜3 による結果&*' 手法 5〜3 による結果

いことを示している．以上のことから，= は人間

図 . 3>6 とアンケート評価の間の相関係数と画像の枚数の関係の主観による画質の評価と一致することも多いが，画 . 5      Æ     
3>6   < (   =の微小な差が必ずしも画質の差を表していな

像修復結果の絶対的な判定指標として用いることは難
しい．



む

す び

本論文では，従来から提案されているパターン類似度による目的関数を拡張することで画像修復を行う新しい手法を提案した．多くの画像に対して違和感の少図 0 3>6 とアンケート評価の間に正相関が得られた
画像 0    (     
3>6   < ( ( 

ない修復結果を得るために，以下に挙げる  点において拡張を行った．


テクスチャの明度変化の許容によるテクスチャパ

ターンの拡張枚の画像に対する =とアンケート評価の間の相

テクスチャの局所性を考慮したコスト関数の導入

関係数の分布を図  に示す．同図中  は手法 -〜これら  つの要素を考慮したエネルギー関数を新たにの  手法を用いた場合，  は手法 - を除いた  手法

定義し，これを最小化することで，不連続・不明瞭なを用いた場合の分布を示している．なお，ここでは相テクスチャの少ない画像修復を行う手法を提案した．

関係数

 を以下の式で算出した．

実験では， 枚の画像に対して従来手法と提案手 ) A   A  A 
 A  A  A  A








 は比較に用いた手法の数であり， ，

ただし，



はそれぞれ =の値，被験者による評価値の平均よる定性的評価を行うことで，様々な特徴を持つ多くの画像に対して，提案手法が従来手法よりも良好な修復画像を生成できることを確認した．また，アンケー
ト評価における被験者数や画像枚数を変化させた場合の結果の信頼性についても検証を行い，数人・数枚の画像による主観評価では，手法の優劣を正しく評価できない可能性を示した．最後に，結果画像と原画像の値である．
表  と図   から = とアンケート評価の間には強い負の相関関係が確認できるため，=

法により修復を行った結果を比較し， 名の被験者に差分に基づく定量的評価と定性的評価との関係についとアて考察し，現在行われている定量的評価についても手ンケート評価の評価結果はおおよそ一致すると考えら法の優劣を正しく評価できていない可能性があることれる．しかし，図  に示す  枚の画像においては，正を明らかにした．今後，更に多くの画像に対して良好の相関関係が見られた．これら  枚の画像は他の画像な結果を得るために，画像の特徴から最適なパラメー

より比較的周波数が高いテクスチャを持つ画像である．

タを決定する手法を確立する必要がある．また，提案

文献  でも指摘されているが，現在定量的評価に用手法の処理時間のうち類似パターンの探索に要する

いられている  ，= ，2?= は  つの画像間時間が多くを占めているため，データ領域のサンプルの対応する画素値の差分を用いて計算されるため，生データから分類木を予め作成し，探索回数を削減する

成される画像の見た目の違和感に関係なく，高周波テことで，処理の高速化を実現する．

電子情報通信学会論文誌     文

献) + 前田浩幸; 高橋健一; 太田正光? @欠損画像の修復処理の一方式/; 電子情報通信学会論文誌 5; ' A7"5; 2 ; " B".; "07
)+ > 3  A3 3 ? @C (  C  4 5  ;/   666  ,     ; ' ;  *"B7; ""0)+ 3 4 ; D >; ' ,    ,4  ? @ ;/   1,3 >D
D1E###;  $ .B$$; ###
)$+ , 4  ; 3 4 ; ' >  A '  ?
@  A    '     D C ( ;/ 666     ;' #; 2 0;  ##B  ; ## )*+  ,  A > ? @2    , (  5(  5:  %,55&;/ A   '  ,        ; '
; 2 $;  $7B$$"; ## )7+ 1 C (; 1 F   G
? @C  E   D  > ;/   666
 ,   ,   '; ' ;  #*B ;
##
).+ 小川貴弘; 長谷山美紀; 北島秀夫? @オプティカルフローを用いた静止画像における失われた輝度値の復元/; 電子情報通信学会論文誌5; ' A0.5; 2 ";  .07B ."*;
##$
)0+ 5    H? @, (    (   !
  3 (  I 56-;/   6 
  ,   ,   '; ' ;  "*B
#.; ##7
)"+ 11 6   J C ? @   >  
2  >;/   666  ,  ,   ';  #B #0; """) #+  4 ; 6 C ; C C   A , ?
@3 5 ,   >    > K  ;/   1,3  ,   3  ; **B7 ; ##
) + 1 ,;  H !  J ? @    L<   (  6 4 ;/ 666     ; '
; 2 ";  ##B  ; ##$) + 4 C; G M  N > ? @1  
3  ;/   666  ,   ,   1
5   ,   D ;  * B*7; ##*) + , 1O  2 ? @   I 5   L!;/   666  ,     ;  7 B7$; ##7
) $+ 2 J P  D !? @ , I D L!;/   666 ,  ,   '     ;  $$B$*; ##7
) *+ G ; 6 >   3 ? @> ,   ' ;/     1
 3     ; ' "; 2 ;  $7B$.7; ##.

) 7+  5; 5 , L  E G   ? @ 4 , ;/   1,3 >D
D1E##;  #B ; ##
) .+ A > ; C G ; A A  E > ? @ ,   >   ;/   1,3 >D
D1E##*;  07 B070; ##*
) 0+ A A  , ? @  ?    >   1 ( 25   ';/  
666 ,   ,   '     ;  7$B7*#; ##
) "+ 東海林健二? @テクスチャ画像における欠損部修復の一手法/; 電子情報通信学会論文誌 5; ' A. 5; 2"; .# B .#0; "00)#+ 天野敏之; 佐藤幸男? @固有空間法を用いた 4C による
画像補間/; 電子情報通信学会誌 5; ' A0*5; 2;  $*.B$7*; ##) + 天野敏之; 佐藤幸男? @P4C 法を用いた高次元非線形
射影による画像補間/; 電子情報通信学会誌 5; '
A075; 2 $;  **B*$; ##)+ 井添慎太郎; 剣持雪子; 小谷一孔? @画像のフラクタル性に基づいたカーネル主成分分析による遮へい領域の原画像推定/; 電子情報通信学会 技術研究報告; 3I##  #7;

 **B7; ## （平成  年  月  日受付）

河合紀彦 （学生員）

##* 京大・工・情報卒．##. 奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，同大博士後期課程に在学中．情報処理学会，666 各会員．

佐藤

智和 （正員）""" 阪府大・工・情報工卒．## 奈良先
端科学技術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研究科
助教．コンピュータビジョンの研究に従事．

## 本会学術奨励賞受賞．博士 %工学&．情報処理学会，666 各会員．

横矢

直和 （正員：フェロー）".$ 阪大・基礎工・情報工卒． "." 同
大大学院博士後期課程修了．同年電子技術
総合技術研究所入所．以来，画像処理ソフ
トウェア，画像データベース，コンピュー
タビジョンの研究に従事． "07〜0. マッ
ギル大・知能機械研究センター客員教授．

"" 奈良先端科学技術大学院大学・情報科学センター教授．現
在，同大情報科学研究科教授． ""#，##. 情報処理学会論文賞受賞．##* 情報処理学会フェロー．工博．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，
映像情報メディア学会，666 各会員．


#% #

.

:

. #%B#%/#%. /0%#! 0C % D#", #%C /#./" /0  "1 %C%/# %, /0# "F%"  "

." B#/# %#%. B /% B// % #

% #

B/#

.   

# #/, /D% /0

#/"  B// % ## #/, #%/  //  6 :% /0# BB  #%C %" # " C#  E/

0C #"%/, %/ " #%/B/" ,
#

%

" /

%/# % # /%"" ,  D#%.  #.0/%

#8#%. /0#%. .# % %" /0  /7 DC  %%/  //     #, .% /" " / /D
# !#/ #B0 / . B0 %" B B D0/4

E/#C %/# % D0#0/0 # C# 

. "/ .# %6B #% /0 "/ .# %/0 !# "  %"#/# % / # % / Æ#%/#BC /0 #0%.



. !#/,B // 

B#/  6

B

"#%.

B/" //  /0E/#C %" #%/#/,  % ""#/# %  % / #%/6 G0 $/#C%

, BB,#%. /0 B

B% 0%" " #/0  %C%/# %

/0 "6 :% ""#/# % /0 /# % 0#B /D% !%/#//#C %" !#//#C C/# %/0   /%/ #. # "#  

:"

/0 " //0  /% # % #. %" "#%. B/#  @, "

B #%. /0  / D#/0 /0"6. :%B#%/#%. :. 1

B/# %% ., #%##8/# % 2// % #

# #/,% / /"/#%" ,