画像修復における定性的・定量的評価法に関する考察    

河合 紀彦

    Ý 

佐藤 智和 Ýはじめに従来の評価方法

本節では，従来から画像修復の評価に用いられてきた定性的評価法と定量的評価法について述べる．

 主観的比較による定性的評価
多くの文献では，自然な画像の修復を目的として，生成画像を主観的に比較する定性的評価法が用いられていÝ 奈良先端科学技術大学院大学

 

情報科学研究科         

横矢 直和 Ý    

写真についた傷や意図せず写りこんでしまった物体な
どの画像内の不要部分を取り除き，取り除かれた領域 以
下，欠損領域 を自動的に違和感なく修復することで画像の利用価値を高める画像修復に関する研究が近年盛んに行われている．これまで画像修復に関する多くの手法が発表されてきたが，手法の評価方法については文献ごとに異なり，各々の評価手法の妥当性についてはあまり議論されて来なかった．各文献における画像修復結果の評価法は，以下に述べる  種類に大別できる．一方は，従来手法と提案手法による結果画像を主観的に比較することで，提案手法の有効性を示す定性的評価法     であり，他
    ，

方は，
   ，        などの原画像と結果画像の画素値の差分に基づく定量的評
価法    ! である．画像修復の研究では，個人で利用する写真の利用価値の向上などのように，違和感のない修復を目的とする研究が多く，この場合には必ずしも原画を忠実に再現する必要はない．このような目的に対して，前者のように比較により提案手法の有効性を示すことは妥当であるが，特定の個人の主観のみによる評価であるため，提案手法の有効性を示す根拠に乏しい．それに対して，後者は人の主観が入らず全ての結果に対して同条件で評価を行うことができるが，不要物体を消去するという目的で修復した画像では物体を再現することは無意味であり，原画像と結果画像の差分を用いて結果を評価することはできない．また，上に挙げた例のように，必ずしも原画像を再現する必要がない場合には，定性的評価と定量的評価の結果が一致するとは限らない．
そこで，本稿では，自然な画像修復を目的とした場合において，従来から用いられてきた定性的・定量的評価法がどの程度有効であるのかを明らかにする．具体的には，まず筆者らが提案した画像修復手法  と従来提案されている代表的な  つの画像修復手法   を用いて，
"" 枚の画像 "" × "" 画素 に対する画像修復実験を行い，それらの修復画像に対して被験者によるアンケート評価を行うことで各手法を定性的に評価する．次に，これらの結果から，アンケート評価を行う際の被験者の人数と実験に用いる画像の枚数について議論する．最後に，
による定量的評価を行い，アンケート評価結果との関係を明らかにする．

           る．このような比較ではエッジのつながりやテクスチャの再現等に着目し，それらの優位点を挙げることで提案手法の有効性を示している．しかし，画像の自然さを判断する基準には人によるばらつきがあるため，特定の個人の主観のみでは，有効性を示すには不十分な可能性がある．また，多くの文献では提案手法の得意とする数枚の画像に対する修復結果を掲載するのみで，従来手法に対する劣位点が述べられていることが少ない．



原画像と結果画像の差分に基づく定量的評価

いくつかの研究では，原画像を真値とし，結果画像と原画像の画素値の差分に基づく定量的評価が行われている．ただし，このような評価を行うためには故意に原画像に傷やテロップ等による欠損領域を作り，それを修復することで結果画像を作り出す必要がある．定量的評価，，  が用いられてきたとしてこれまで
   !．
は以下の式で定義される．

    ¾
ªただし， は結果画像の画素値， は原画像の画素値であり，ª は欠損画素数である．また，  を用いて#$ª，  はそれぞれ以下のように定義される．

    ¾
½¼
ただし，  は画素値の最大値である．これらの定量## " 

，の場合は低い値，  の場的評価では，合は高い値の方が真値に近い画像であると言える．しかし，画像修復においては原画像を再現しなくても違和感のない画像を作り出すことは可能であるため，自然な画像の修復という目的においては必ずしも真値を求める必が必ずしも妥当な要はない．また，文献   では 評価でないことが示唆されている．以下の実験では，これらの定量的評価値が悪い場合でも，画像修復としては良好な結果が得られる場合があることを示す．

 定性的・定量的評価実験と考察
本実験では，様々な特徴を持つ "" 枚の画像 "" ×"" 画素 に対する画像修復を行い，その結果を用いて画像修復手法の評価を行う．以下では，まず実験で用いた手法について概説し，次に，アンケート評価に基づく定を用いた性的評価実験について述べる．最後に，定量的評価実験について述べ，アンケート評価実験との関係を考察する．

 実験に用いた手法の概説
本節では，評価実験に用いた画像修復の手法について述べる．画像修復手法は，輝度値の連続性を考慮する手Φ データ領域 ア W

法と欠損領域以外の領域のテクスチャを用いる手法に大別できるが，前者は大きな欠損領域を修復した場合，細かいテクスチャが再現できず結果が不鮮明になるという問題があるため，現在，後者が画像修復手法の主流となっている．本実験では，テクスチャを用いる後者の手法の中でも以下に挙げる代表的な手法を実装し，評価実験を行った．本実験で用いた手法は，%& らのテクスチャの逐次合成による手法 ，' (  らのテクスチャの全体最適化による手法 ，筆者らが提案したテクスチャの明度変化と局所性を考慮した全体最適化手法  である．以下，それぞれに手法について概説する．

似ペ類
最xウインドウ W Ω′x̂Ω
欠損領域

図 - 画像上の各領域と類似パターンのペアの例

 テクスチャの逐次合成による手法  %& らが提案したテクスチャの逐次合成による手法は，図  に示すように欠損領域 ) 以外の画像内の領域*（以下，データ領域）から欠損領域の境界位置  周辺の+テクスチャパターンと最も類似するテクスチャの位置 を探索し，そのテクスチャを逐次  の位置に合成するアプローチを採る．この手法では，テクスチャの合成順に関して，エッジの強い箇所を優先的に合成する方が，単純に欠損領域の周りから逐次合成するよりも不連続なテクスチャが生じにくいという考えから，式  に示すよ とうに一定ウインドウ内にある決定済みの画素数
 により計算された  が最も大きくエッジの強さなる位置  にテクスチャを合成する．これを，欠損領域が無くなるまで繰り返すことで画像を修復する．

#



この手法では，比較的高速にテクスチャを合成できるが，欠損領域の周りで複雑なテクスチャが多い場合には不連続なテクスチャが生じやすいという問題がある．

テクスチャの全体最適化による手法 ' (  らは，欠損領域内の画像の尤もらしさを表す関数を定義し，それを最適化することにより画像修復を行う手法を提案している．この手法では，修復結果がテクスチャの合成順に依存せず，欠損領域全体に対して最適な画像を生成することができる．具体的には，欠損領域 )とデータ領域 * のパターン類似度を用いた式  に示す
エネルギー関数  を最小化することで画像修復を行う．

#Ü¾ª¼Ü

Ô¾   ¾,

+,

 

ただし， Ü は画素の信頼度に関する重みで欠損領域の境界に近いほど大きい値になる．また， は一定サイズのウインドウ，  は位置  の画素値である ．この手法
では，不連続なテクスチャは生じにくいが，テクスチャの明度変化や幾何学的構造変化に弱く，明度の不連続やぼけが発生する場合がある．

 テクスチャの明度変化と局所性を考慮した全体最適化による手法 
筆者らは，より多くの画像に対して自然な修復結果を得るために，' (  らの手法  を基礎として，テクスチャの明度変化と局所性を考慮した全体最適化による画像修復手法を提案している．具体的には，照明変化等に

図 - 修復結果の採点ページ
より同一構造を持つテクスチャでも大きな明度変化があることや，類似したテクスチャ同士が近傍に存在する確率が高いという性質 テクスチャの局所性 に着目し，式 に示すテクスチャの明度変化を考慮したパターン類似によるエネルギー関度と局所性を考慮したコスト項
数  を最小化することで画像修復を行う．





#

Ü¾ª¼Ü

Ô¾

 , ¾+, , + 

ただし， は明度変化を許容する輝度補正係数であり， は局所性を考慮したコスト関数の重みである．この手法
では，欠損領域全体に対して最適な画像を生成でき，不自然な明度変化やぼけが発生しにくいという特長を持つ．

アンケート評価に基づく定性的評価実験
定性的評価実験として，上に述べた各手法を用いて得られた修復画像に対して  名の被験者による評価を行った．
なお，被験者は " 代前半の男女であり，全員コンピュータを日常的に扱っている．

  評価方法
被験者には，アンケート評価のためのウェブページにアクセスしてもらい，図  に示すようなレイアウトで並べられた "" 枚の入力画像に対する "" 枚の修復画像に

 

評価結果と考察手法 /〜 により出力された各々"" 枚の修復結果につけられた点数の平均値と各手法が最高点を取った回数を表  に示すÞ ．表  から，平均点で比較すると手法 ，
手法 1，手法 %，手法 0，手法 / の順で高く，最高点を得た回数で比較すると，手法 ，手法 %，手法 1，手法/・0 の順となった．また，各画像への評価点を用いて有意水準を 2と設定した  検定により各手法間を比較することで統計的な裏づけを行った．その結果を表  に示す．
結果から，手法 % と手法 1 には有意な差が見られず，他は有意な差が見られた．従って，画像修復手法の評価として，手法 ，手法 %・1，手法 0，手法 / の順に多くの画像に対して良好な結果を得られる手法だと言え，最高点を得た回数もおおよそそれに一致している．

  アンケート評価における被験者数と画像枚数の考察従来行われてきた少数の画像または少人数の被験者による評価では，画像や人による評価のばらつきにより，手表 - "" 枚の画像に対する点数の平均点と最高点を取った回数
手法
手法 /
手法 0
手法 %手法 1
手法 平均点回数

.
.
.3



.

"

."



表 - 有意水準 2と設定した時の  検定による各手法間を比較した場合の有意差
手法 0 手法 % 手法 1 手法 手法 /ありありありあり
手法 0

ありありあり手法 %
なし
あり
手法 1
あり

 枚の画像と各手法による修復結果とその評価結     に示す．

Þ 実験に用いた果を

2.0 1.5 1.0 0.5

順位差距離 SDO
数者
験被h

対して  段階の点数評価を行ってもらった．本実験で画像修復に用いた手法は，. 節で述べた，テクスチャの逐次的合成による手法  手法 /，テクスチャの全体最適化による手法  手法 0，テクスチャの明度変化と局所性を考慮した全体最適化による手法  手法  に加えて，
手法 において明度変化のみ考慮したエネルギー関数を用いた場合 手法 %，テクスチャの局所性のみ考慮したエネルギー関数を用いた場合 手法 1 の  つとした．修復結果の採点ページ上では，これら  つの手法により修復した結果画像を入力画像ごとにランダムな順序で並べ，評価者には各画像がどの手法による修復結果であるのかを知らせなかった．また，本実験では，修復画像を個人のホームページや書籍・雑誌等の写真として利用することを前提として，全く使えない画像を  点，十分使える画像を  点という回答基準で採点してもらった．

画像枚数 n図 - 画像枚数と被験者数と順位差距離の関係法の優劣が正しく評価されていない可能性がある．そこで，本節では，前述の入力画像 "" 枚，被験者数  名によるアンケート評価結果における平均点を基準とした手法の優劣を正解とし，実験に用いる画像枚数および被験者数を減少させた場合の結果の信頼性を検証する．
を結果の信頼度を示す指標として，順位差距離以下のように定義する．

      ""   #        

ここで， は画像枚数および被験者数 でア
ンケート評価を行った際の手法の順位を表す．本考察では，画像枚数 "" 枚，被験者数
 名の中からランダムに 枚の画像と 名の被験者を選び，これを """" 回施行した平均点による各手法の順位 とする．なお，.. 節で得られた結果からを""   の値は が手法 / の時に ，手法 0 の時に４，手法 %・1 の時に  または ，手法 の時に  となる．また，手法 % と手法 1 は有意な差がないため，それの小さい方を用いる．
ぞれ  か  を当てはめて
図  に画像枚数，被験者数，順位差距離の関が ". 変化するごとに等値線を引いて係を示す．
おり，画像枚数 "" 枚・被験者数  名の時に最も低く""   # "，画像枚数  枚・被験者数  名の時に  #  ! となった．順位が隣接する手最も高くの値が  に法の順が  組だけ入れ替わった場合，が ". の場合おおよそ 32の確率なることから，で優劣の順位が正解と一致する．図から，被験者数が 名の場合，画像枚数が ! 枚以上あれば 32以上の確率で正解と一致し，画像枚数が "" 枚の時，被験者が  名いれば 32以上の確率で正解と一致する．しかし，例え#   となりば # ， #  の場合には，の値が  を上回ってるため、手法間の順位が平均的に 組以上入れ替わっていることがわかる．以上のことから，数人による数枚の画像に対する主観評価では，多くの被験者および多くの画像を用いた場合の評価と結果が異なる可能性が高い．

                 定性的評価と定量的評価の関係
画像修復の定量的評価として従来，修復画像と原画像の画素値の差分に基づいて計算される，， が用いられてきたが，本実験では を用いる．なお，本実験で用いた "" 枚の画像のうち  枚の画像においては，特定の物体を取り除くために欠損領域の指定を行っているため，その物体を復元することは無意味である．したがって，物体の位置に関わらず欠損領域の指定を行っの評価を行った．
た残りの 3 枚に対して 
表  に各手法による 3 枚の結果画像に対する の平均値とアンケート評価の平均値を示す．また 3 枚のとアンケート評価の間の相関係数の画像に対する 分布に関して  手法を用いた場合を図   に，手法 / を除いた  手法を用いた場合を図  4 に示す．なお，本実は以下の式で計算される．
験で用いた相関係数0.8~ 1.00.6~ 0.8



#$


 ¾$

  

 $

¾

$

¾

-0.4~ -0.2
-0.6~ -0.4
-0.8~ -0.6
-1.0~ -0.8

-0.4~ -0.2
-0.6~ -0.4
-0.8~ -0.6
-1.0~ -0.8

画像の枚数

51015

200 手法 〜 による結果

画像の枚数

5

101520! 手法 "〜 による結果

図 - とアンケート評価の間の相関係数と画像の枚数の関係$$

数0.4~ 0.6
係0.2~ 0.4
関0 ~ 0.2
相-0.2~ 00

0.8~ 1.0
0.6~ 0.8

数0.4~ 0.6
係0.2~ 0.4
関0 ~ 0.2
相-0.2~ 0$  ¾!

 

ただし，は比較に用いた手法の数であり， ， はその値，被験者による評価値の平均値である．
れぞれ 
表  と図   から とアンケート評価の間には強い負の相関関係が確認できる．しかし，図  に示す 枚の画像においては，正の相関関係が見られた．これら
 枚の画像は他の画像より比較的周波数が高いテクスチャを持つ画像である．文献   でも指摘されているが，現在，，  は 
定量的評価に用いられている
つの画像間の対応する画素値の差分を用いて計算されるため，生成される画像の見た目の違和感に関係なく，高周波テクスチャの位相のずれに対して敏感に値が変化する
は高周波を多く含む画像の傾向がある．従って，とア評価には適していないと言える．図  4 は 
ンケート評価の評価値が顕著に低い手法 / を除いた  手法による相関係数の分布であるが，約  分の  の画像については負の相関関係，約  分の  の画像については正の微小な差がの相関関係を示している．これは，必ずしも画質の差を表していないことを示している．以上のことから，は人間の主観による画質の評価と一致することも多いが，画像修復結果の絶対的な判定指標として用いることは難しい．

図 - 
画像とアンケート評価の間に正相関が得られた

るばらつきに左右されない画像修復手法の評価を行うこによる定量的評とができることを示した．また，
価は，画像修復結果の評価に必ずしも適さないことを示した．
今後は，定性的評価と一致する定量的評価法を検討する必要がある．また，評価に用いる画像を画像の特徴により分類することで，画像修復手法をより詳細に評価する手法を検討する．

参考文献              

!"""

 #$%#!# !"""
!     &' ,-. / 000 )  ( ) *-* 01  2       + 2 3 4  5 !""%!! !""#まとめ3

本稿では，"" 枚の入力画像を用いた被験者  名によに基づくるアンケート評価に基づく定性的評価と 定量的評価を行うことで画像修復手法の評価法に関するの関係に考察を行った．また，アンケート評価と ついて議論した．多数の入力画像や被験者を用いたアンケート評価を行うことで，個人の主観や画像の特徴によ

6 71  0 88 *     9    )   8   )  2)   

2 !5 4  3  #:3%#$:

!""$
#

河合 佐藤 横矢 パターン類似度に基づくエネルギー最小化による画像修復 電子情報通信学会技術研究報告=長 本田 局所的と大局的処理の二段階画像インペインティ
ング 電子情報通信学会 技術研究報告 ;!"":2!$5

:

天野 佐藤 固有空間法を用いた > による画像補間
電子情報通信学会誌 ?2   @<=2?2 4  3  #=$%

;!"":2:3  3%< !"": #3%#< !""$

表 - 3 枚の画像に対する 
ぞれの平均値とアンケート評価それ#:= !""!



手法 /
手法 0
手法 %手法 1手法 

アンケート評価値

.3

.33

!.".

 .!

.

!.

.

 .

.

$

天野 佐藤 A> 法を用いた高次元非線形射影による画像補間 電子情報通信学会誌 ?2   @<:2?2 4  # =!=%=3# !""3<)( 8 8  8  > >BA 

 B !""# >

 >    B   9  5: % !"!  >   -* *   