計測自動制御学会東北支部 第 293 回研究集会 (2015.2.19)
資料番号 293-9

ミッシングデータ領域により連続性が失われた物体を含む
画像のストラクチャ成分の修復手法
An Image Inpainting Method for the Structure Component ofImages Containing Objects Which Lose the Continuity
Caused by Missing Data Domain○周凡，阿部正英，川又政征○ Fan Zhou, Masahide Abe, Masayuki Kawamata
東北大学

Tohoku University
キーワード : ミッシングデータ領域 (missing data domain)，画像分離 (image decomposition)，ストラクチャ (structure)，CDD Inpainting，二値化 (binarization)

連絡先 : 〒 980-8579 仙台市青葉区荒巻字青葉 6-6-05
東北大学 大学院 工学研究科 電子工学専攻 川又・阿部 (正) 研究室周凡，Tel.: 022-795-7094，Fax.: 022-263-9169，
E-mail: fan@mk.ecei.tohoku.ac.jp

1.

はじめにに優秀な修復性能を持っている [5–7]．または，画像処理分野において，ミッシングデータ領域の修復問題は非常に重要なトピックであり，画像・映像の無線通信 (例えば，データ欠損領域の修復 [1, 2]) や特殊撮影 (例えば，不必要なオブジェクトの除去)，古い映像の復元 (例えば，スクラッチやブロッチなどの除去 [3, 4]) など，幅広い分野において応用されている．上記の応用
例では，目標画像の一部をミッシングデータ領域として，修復アルゴリズムにより獲得した情報を用いてミッシングデータ領域を充填することを根拠としている．

ストラクチャだけに対して，非常に優秀な修復性能を持っている [8–12]．しかし，上記のようにいずれの修復手法も，テクスチャとストラクチャの修復を同時に行うことができない．また，自然画像では，テクスチャもしくはストラクチャのみとはいえない．よって，画像のテクスチャ成分とストラクチャ成分を分離することによって，同時に修復する手法を検討する必要がある．
画像 f (x, y) はテクスチャ成分 v(x, y) とストラクチャ成分 u(x, y) の合成として表現することができる．

f (x, y) = u(x, y) + v(x, y)

画像・映像のミッシングデータ領域の修復手法
では，今まで様々な手法が提案されている．多くの手法では，テクスチャだけに対して，非常(1)

ここで，画像のテクスチャ成分 v(x, y) とは，画像の周期的な細かい模様 (Small Scale Repeated–1–

2.

従来のストラクチャ修復手法

ミッシングデータ領域を付加したストラクチャ画像 (あるいは，Non-Texture Image) を修復する手法は，今まで多数提案されている．例えば，BSCB モデルと呼ばれる手法 [8] では，ミッシングデータ領域の境界にあるピクセルの輝度値を境界の勾配にそって，ミッシングデータ領域の内部に拡散する手法で修復する．また，

TV Inpainting [15] では，画像の全変動 (TV:Total Variation) の最小化により，ミッシングデータ領域を修復する手法である．さらに，TV

Fig. 1ク図

成分分離に基づいて修復手法のブロッ

Inpainting の問題点を改善するため，CDD Inpainting [12] が提案されている．
本章では，TV Inpainting と CDD InpaintingDetails) である．画像のストラクチャ成分 u(x, y)の導出について述べる．さらに，検証実験によとは，画像の急峻なエッジを含む均一な領域，あり，二つの手法の問題点について述べる．

るいは緩やかな変化をしている領域である [13]．
成分分離に基づく修復手法 [14] の基本的な考2.1

え方では，Fig. 1 に示した 4 段階の処理で構成されている．まず，画像 f (x, y) から，テクスチャ成分 v(x, y) とストラクチャ成分 u(x, y) を分離する．成分分離に基づく修復手法を実現するため，今まで様々な成分分離手法が提案されてい [13, 15, 16]. 次に，その二つの成分 v(x, y)と u(x, y) に対して修復手法をそれぞれ行うと，より良い修復結果が得られる．画像の再合成とは，処理したストラクチャ成分とテクスチャ成TV Inpainting の概説

TV Inpainting は TV モデルの一つの応用である．TV モデルでは，画像の全変動 (TV) の最小化により，画像のエッジを保存し，画像の雑音やテクスチャ成分を除去することができる．
したがって，TV モデルは画像分離と画像の雑音除去などに応用されている．また，TV モデ
ルを変形すると，画像のミッシングデータ領域の修復にも応用することができる．
画像の骨格であるストラクチャ成分の全変動分の簡単な加算である．
本研究では，成分分離に基づく修復手法を実装して，文献 [12] のストラクチャ成分の修復モデルを改善した，新たな修復手法を提案する．さ(TV) は，画像のエッジの長さの総和により決める．例えば，Fig. 2 の左側の画像を修復対象画像とする．ここで，長さが L の黒い正方形はミッシらに，ミッシングデータ領域を人工的に付加した自然画像と人工画像に対し，提案する手法を用いて修復することで，提案する手法の有効性を示す．また，提案法では，連続性が失われる物体を修復できることを確認した．

Fig. 2–2–

TV Inpainting の応用例

(a) ストラクチャ画像 1 (b) ストラクチャ画像 2(a) 自然画像：蛇口(c) (a) の修復結果(d) (b) の修復結果

Fig. 3 人工ストラクチャ画像の修復実験 (TVInpainting)(b) (a) の修復結果
Fig. 4

自然画像の修復実験 (TV Inpainting)

ングデータ領域である．この修復対象画像のミッシングデータ領域の全変動は約 4L である．画像

人間の視覚心理学により，連続性が失われる全体の全変動の最小化による修復結果を Fig. 2

物体に対して，大部分の人間は連続性を持つとの右側の図に示した．この修復結果のミッシンいう修復結果を好む．例えば，Fig. 4(a) に示しグデータ領域の全変動は約 L になる．よって，た自然画像「蛇口」に対して，TV Inpainting を画像の全変動 (TV) の最小化により，ミッシン用いて修復した結果 Fig. 4(b) を見ると，蛇口のグデータ領域を修復できる．このストラクチャ

管部分が修復できないので，不自然さを感じる．

画像の修復手法である TV Inpainting は，次式

修復結果の不自然さを抑えるためには，修復結のように示す．

果の連続性がミッシングデータ領域のサイズに( ())
 u = f − 1 ∇ ∇f


2λu=f

|∇f |

(x, y) ∈ Ω(x, y) ∈ Ωc

依存しない手法を検討する必要がある．

(2)

2.3

CDD Inpainting の概説

ここで，Ω はミッシングデータ領域を示す．

CDD Inpainting では，修復結果がミッシン

2.2

グデータ領域のサイズに依存しない手法である．

TV Inpainting の問題点

式 (2) に示した TV Inpainting の拡散強度 D̂TV

修復対象とする人工ストラクチャ画像と自然は画像をそれぞれ Fig. 3(a) と Fig. 3(b)，Fig. 4 にD̂TV =示す．

TV Inpainting を用いて修復した結果を示した Fig. 3(c) と Fig. 3(d) から，連続性が失われる物体を含む画像に対して，TV Inpainting では連続性の修復がミッシングデータ領域のサイズに依存していることがわかる．

1
|∇f |

(3)である．よって，TV Inpainting の拡散強度 D̂TVは，等輝度線の強度 |∇f | だけで決定する．CDD

Inpainting では，拡散強度 D̂CDD を計算するとき，次式のように画像の曲率 k に対する関数–3–

(a) ストラクチャ画像 1(a) Fig. 5(a) の修復結果(b) ストラクチャ画像 2(b) Fig. 5(b) の修復結果(c) ストラクチャ画像 3(c) Fig. 5(c) の修復結果(d) ストラクチャ画像 4
Fig. 5(人工ストラクチャ画像(d) Fig. 5(d) の修復結果)

g |k| を重みとして掛けしている．
(D̂CDD =Fig. 6

g |k|

(4)

|∇f |

ここで，画像の曲率 k を次式によって計算する．
(∇uk=∇|∇u|)(5)という問題点がある．よって，本節では CDDInpainting の性能を確認する．本節の対象とするミッシングデータ領域を付加したストラクチャ
画像を Fig. 5 に示す．
各修復結果を Fig. 6(a) から Fig. 6(d) に示す．

また，関数 g(s) の選択基準は，画像の大曲率の場所の拡散強度が強くなり，小曲率の場所の拡散強度が弱くなる関数である．たとえば，次式

その修復結果から，以下のような CDD Inpaint-ing に関する性質が得られる．のような指数関数なら，関数 g(s) の選択基準を満たす．

(6)( ()) u = f − 1 ∇ g(|k|) ∇f2λ|∇f |体が修復されることがわかる．

(x, y) ∈ Ω(x, y) ∈ Ωc(7)と表される．ここで，Ω はミッシングデータ領域を示す．曲率 k は式 (5) により計算する．

2.4の Fig. 6(a) から，ミッシングデータ領域のサイズに関わらず，連続性を失われる物

よって，CDD Inpainting はu=f

• Fig. 5(a) はミッシングデータ領域のサイズを変数として設定した．その修復結果

g(s) = sp , s > 0, p >=1

Fig. 5 の修復結果 (CDD Inpainting))• Fig. 5(b) は棒状物の輝度値を変数として設定した．その修復結果の Fig. 6(b) から，棒状物の輝度値に関わらず，連続性を失われる物体が修復されることがわかる．

• Fig. 5(c) は棒状物の幅を変数として設定

CDD Inpainting の問題点

前述により，TV Inpainting は修復結果の連続性がミッシングデータ領域の形状に依存する–4–した．その修復結果の Fig. 6(c) から，非常に細い棒状物に対して，連続性が失われている物体が修復されないことがわかる．
しかし，テクスチャとストラクチャの定義により，その細かい棒状物はテクスチャ成分であるので，画像分離段階において除去するべき成分である．よって，棒状物の幅に関わらず，連続性が失われる物体が修復されることがわかる．

(a) ストラクチャ画像 5 (b) (a) の 20 行目の輝度値曲線• Fig. 5(d) はミッシングデータ領域の初期人工ストラクチャ画像

Fig. 7値を変数として設定した．その修復結果の Fig. 6(d) から，連続性を失われる物体の一部だけが修復されることがわかる．
以上の結論により，CDD Inpainting では，TV(a) 人工的に Fig. 7 の初期化結果

Inpating を用いた修復結果の連続性がミッシン
グデータ領域の形状に依存するという問題点が解消した．しかし，ミッシングデータ領域の初期値に依存している問題点がある．修復結果の(b) 修復結果

Fig. 6(d) の下側に色分けして，修復結果に連続
Fig. 8性あるかどうかを示す．

Fig. 7 の修復結果 (CDD Inpainting)

前述の実験から，CDD Inpainting では，修• Lm < Ls ⇒ 連続性を持つ

復結果がミッシングデータ領域の初期値に依存• Lm > Ls ⇒ 連続性を持たないしているという問題点が確認した．また，CDD

ここで， Lm はミッシングデータ領域の初期値

Inpainting に対して，下記のようなミッシングを表す，Ls は棒状物の輝度値を表す．

データ領域の理想値に関する結論が得られる．

また，Fig. 7 のような画像に対して，直感的• Lg > Ls ⇒ ミッシングデータ領域の理想に判断すると，求めたい初期化は単にミッシンな初期値:0

グデータ領域を 1 とする，または 0 とするだけ• Lg < Ls ⇒ ミッシングデータ領域の理想ではない．よって，Fig. 8(a) のように人工的な初期値:1に初期化させて，CDD Inpainting を用いて実験する．その修復結果を Fig. 8(b) に示す．直

ここで，Lg は背景の輝度値を表す，Ls は棒状感的な予想の通り，ミッシングデータ領域を単物の輝度値を表す．

純に 1 とする，或いは 0 とする初期化の画像に対して，CDD Inpainting は有効だといえない．

Fig. 7(b) から，左側の棒状物の輝度値は背景よ3.

提案するストラクチャ修復手法

り小さく，右側の棒状物の輝度値は背景より大提案法のフローチャートを Fig. 9 に示す．提きいことが確認できる．よって，Fig. 7(a) の 1案法は，Fig. 9 において，CDD Inpainting 処番エリアに対して，理想の初期化の輝度値は 0

理をベースとし，青枠と赤枠で示した 2 部分のである．また，2 番エリアに対して，理想の初処理が追加されている．Fig. 9 の青枠部分では，期化の輝度値は 1 である．

ミッシングデータ領域の近傍について統計をと–5–る．棒状物の輝度値と背景輝度値の大小関係を判断し，ミッシングデータ領域の初期値を決める．次に，Fig. 9 の赤枠部分では，適切なタイミングで二値化処理を行う．以上の二つの処理る問題点を解消する．提案手法の目標は，修復結果がミッシングデータ領域の初期化に依存せ提案法の修復過程

Fig. 10を追加することで，CDD Inpainting に存在す

3.2

適切なタイミングで二値化処理

Fig. 8 の示すように，CDDInpainting においず，必ず連続性を持つという結果が得られるこて，Fig. 7(a) に示した 2 本棒状物のストラクとである．

チャ画像に対して，理想の初期化は，1 番エリアは 0，2 番エリアは 1 であると考えられる．提案する修復手法では，Fig. 9 に示した赤枠で囲まれたタイミングの判断と二値化処理が追加されている．提案法を用いた，Fig. 7(a) の修復過程を Fig. 10 に示す．
二値化は文献 [18] の手法を用いた．タイミン
グの判断では，画像の更新量 δ により決める．次式を満たすと，二値化処理を行う．

Fig. 9

提案法のフローチャートδ < δBin(8)ここで，δBin は人工的に設定した閾値である．ま3.1

た，画像の更新量 δ の計算は，次式のように計

ミッシングデータ領域の初期化

CDD Inpainting では，ミッシングデータ領域算する．
∑の初期化の輝度値については言及されていない．

δ=x,y∈Ω |u

しかし，Fig. 5 の修復結果を示した Fig. 6 と文献 [17] の実験結果から，修復結果がミッシン

n−1 (x, y) − un (x, y)|

N (Ω)

(9)

ここで，n は実行回数，un は n 回目の CDD In-

グデータ領域の初期値に依存している問題があ

painting の実行結果，un−1 は n−1 回目の CDDるといえる．よって，提案法はミッシングデー

Inpainting の実行結果，N (Ω) はミッシングデー

タ領域の初期値の判断を前処理として，CDDタ領域の画素数である．

Inpainting 処理の前に追加した．まず，画像のミッシングデータ領域の近傍について統計をと4.

る．閾値を利用し，閾値より小さいピクセルの数と大きいピクセルの数を計算する．そのピクセルの数が多い所に対応する輝度値を背景輝度値とし，少ない所を棒状物輝度値とし，背景輝提案法の性能

本節では，提案した手法を用いて，ミッシングデータ領域を付加した画像を修復し，本手法の有効性を示す．

度値と棒状物輝度値の大小関係を判断する．次に，2.4 節で述べた結論を利用して，ミッシング4.1データ領域を初期化させる．

人工ストラクチャ画像の修復対象とする二つの人工ストラクチャ画像をそれぞれ Fig. 11(a) と Fig. 7 に示す．

–6–

に，求めている形が得られる．Fig. 12(c) の最終の修復結果から，提案法は，Fig. 7 に示した

2 本棒状物のストラクチャ画像に対して有効だ(a) ミッシングデータ領域付き人工画像といえる．

4.2(b) ミッシングデータ領域の初期化結果

自然画像 Barbara の修復

ミッシングデータ領域を付加した自然画像 Bar-bara に対して，提案法を用いて，自然画像 Bar(c) 修復結果
Fig. 11案法)

bara のストラクチャ成分を修復する．さらに，人工ストラクチャ画像の修復結果 (提テクスチャ修復をした結果と再合成した上に，提案法の性能を確認する．

(a) 初期化判断の結果(b) 二値化の結果(a) ミッシングデータ領域を付加させた
自然画像 Barbara(部分)(c) 修復結果(d) (c) と原画像の 20行目の曲線

Fig. 12
案法)

人工ストラクチャ画像の修復結果 (提(b) 修復結果

2.4 節で述べた結論から，Fig. 11(a) の右側から 6 本の理想の初期値は 0，左側からの 5 本の理想の初期値は 1 である．Fig. 11(b) から，ミッシングデータ領域の初期化手法が正しく動作することが確認した．その修復結果を示した

Fig. 11(c) を見ると，提案法は有効だといえる．
また，Fig. 7 に示した人工ストラクチャ画像(c) ミッシングデータ領域を付加させに対して，その初期化判断と二値化処理，最終た画像と修復結果，理想的な結果の64 行目の輝度値の修復結果をそれぞれ Fig. 12(a) と (b)，(c) にFig. 13示す．Fig. 12(a) から，理想的な初期値を判断

自然画像 Barbara の修復できることがわかる．また，適切なタイミング対象とするミッシングデータ領域を付加したで二値化処理をすると，Fig. 12(b) に示すようBarbara を Fig. 13(a) に示す．また，画像の分–7–

離は文献 [13] の手法であり，テクスチャ合成は文献 [6] の手法である．
提案法を用いた Fig. 13 のストラクチャ成分を修復する．さらに，テクスチャ合成の結果を再合成すると，Fig. 13(b) に示した結果が得られる．実験結果の輝度値曲線を示した Fig. 13(c)から，分離法は，ミッシングデータ領域を付加した画像に対して，高精度な修復することができることを確認した．

4.3(a) 対象画像 Cameraman

自然画像 Cameraman の修復

ミッシングデータ領域を付加した自然画像 Cam-eraman に対して，提案法を用いて自然画像 Cameraman のストラクチャ成分を修復する．また，連続性を持つという結果の重要性を示す．
修復対象とする画像を Fig. 14(a) に示す．人
工的にミッシングデータ領域を付加した自然画(b) 提案法の修復結果 (連続性を持つ)像 Cameraman は，ミッシングデータ領域により連続性を失われる物体 (カメラの三脚) を含んでいる．4.2 節と同様に，画像の分離は文献 [13]の手法を，テクスチャ合成は文献 [6] の手法を用いた．
提案法を用いて，Fig. 14(a) のストラクチャ成分を修復した．さらに，テクスチャ合成の結果を再合成すると，Fig. 14(b) に示した結果が得(c) 従来法の修復結果 (連続性を持たない)られる．また，比較のために，ミッシングデー

Fig. 14タ領域に対して，TV Inpainting を用いた修復する．その修復結果を示した Fig. 14(c) から，分断されたカメラ三脚を修復できないので，非4.4

自然画像 Cameraman の修復

自然画像「蛇口」の修復常に不自然さが感じられる．しかし，提案法は本節では，ミッシングデータ領域を付加した

ミッシングデータ領域の初期化手法を追加する

自然画像「蛇口」に対して，分離法を用いて，自ので，連続性を持つという結果が得られる．よっ然画像「蛇口」のストラクチャ成分とテクスチャて，提案法は，ミッシングデータ領域で分断さ成分をそれぞれ修復する．さらに，提案法をテれた成分を持つ画像に対して，修復結果の違和クスチャ成分の修復手法として，画像の連続性感を抑えることができる．

を修復できることを示す．
提案法を用いて，Fig. 15(a) のストラクチャ成分を修復した．さらに，テクスチャ合成の結果を再合成すると，Fig. 15(b) に示した結果が得られる．比較のため，従来法である TV Inpainting–8–手法を実装した．また，画像のテクスチャ成分の修復手法を提案した．
提案法では，CDD Inpainting [12] をベースとして，二つの処理を追加した．1 つ目は，修復の前処理として行う，ミッシングデータ領域の初期値の判断である．2 つ目は，適切なタイミングで二値化処理を実行することである．これより，修復結果がミッシングデータ領域の初(a) 対象画像「蛇口」

期値に依存せず，必ず連続性を持つように修復することができる．
また，ミッシングデータ領域を付加した自然画像を対象として，提案法を用いてそのストラクチャ成分を修復した．これにより，提案法の有効性を示した．

参考文献(b) 提案法の修復結果 (連続性を持つ)[1] 坂本脩平，阿部正英，川又政征，“ミッシングデータが存在する圧縮映像の時空間処理による修復手法の検討，” 情報処理学会第75 回全国大会，pp.531–532，2013．
[2] 坂本脩平，阿部正英，川又政征，“圧縮映像においてブロック単位で欠損した輝度値と動きベクトルの修復，” 計測自動制御学会東(c) 従来法の修復結果 (連続性を持たない)
Fig. 15

北支部第 287 回研究集会，no.287-5，pp.1–

自然画像「蛇口」の修復

7，2014．

を用いた Fig. 15(a) のストラクチャ成分を修復し，そのテクスチャ成分の修復も行った．その結果を示した Fig. 15(c) から，蛇口表面の金属光沢だけ修復したことがわかる．しかし，蛇口のストラクチャ成分の連続性を修復できないので，画像の不自然さが感じられる．Fig. 15(c) から，連続性を失われた蛇口を修復し，連続性を[3] S.-C. Nam, M. Abe, and M. Kawamata,“Fast and eﬃcient MRF-based detection
algorithm of missing data in degraded image sequences,” IEICE Transactions onFundamentals of Electronics, Communications and Computer Sciences, vol.E91A, no.8, pp.1898–1906, Aug. 2008.

持つという結果が得られた．

[4] 川又僚太，阿部正英，川又政征，“フィル5.

ム映像におけるフリッカとブロッチの影響おわりにを考慮して作成した参照画像を用いた M

本論文では，ミッシングデータ領域を付加した画像を対象として，成分分離に基づいて修復–9–推定による高速なフリッカ除去，” Journal

of Signal Processing，vol.14，no.1，pp.61–[13] Luminita A.Vese and Stanley J.Osher.,

72，Jan. 2010．

“Modeling textures with total variation
minimization and oscillating patterns in[5] Alexei A.Efros and Thomas K.Leung,

image processing,” Journal of Scientiﬁc“Texture synthesis by non-parametricComputing, Vol. 19, No. 1-3, pp.553–572,sampling,” IEEE. Computer Vision, Vol.

2003.

2, pp.1033–1038, 1999.
[6] W. Li-Yi and M. Levoy, “Fast texture syn-[14] M. Bertalmio and etal, “Simultaneousstructure and texture image inpainting,”

thesis using tree-structured vector quan-IEEE Trans. Image Processing, Vol. 12,

tization,” SIGGRAPH 2000, pp.479–488,

No. 8, pp.882–889, 2003.

2000.
[7] J.S. Bonet, “Multiresolution sampling[15] L. Rudin, S. Osher, and E. Fatemi, “Nonlinear total variation based noise removal

procedure for analysis and synthesis ofalgorithms,” Physica D: Nonlinear Phe-texture images,” SIGGRAPH 97, pp.361–nomena, pp.259–268, 1992.

368, 1997.
[8] M. Bertalmio, G. Sapiro, V. Caselles, and[16] S. Osher, A. Sole’, and L. Vese, “ImageC. Ballester, “Image inpainting,” SIG-

decomposition and restoration using total variation minimization and the h−1

GRAPH 2000, pp.417–424, 2000.

norm,” Multiscale Modeling and Simula[9] A. Bertozzi, S. Esedoglu, and A. Gillette,tion, Vol. 1, No. 3, pp.349–370, 2003.

“Inpainting of binary images using thecahn-hilliard equation,” IEEE Trans. Im-[17] A. Bertozzi, S. Esedoglu, and A. Gillette,age Processing, Vol. 16, No. 1, pp.285–“Inpainting of binary images using the291, 2007.

cahn-hilliard equation,” IEEE Transactions on image processing, Vol. 16 ,No. 1,[10] T. Chan and J. Shen, “Mathematical

pp.285–291, 2007.

models for local non-texture inpaintings,”
SIAM Journal on Applied Mathematics,[18] R.C. Gonzalez and R.E. Woods, “Digitalimage processing,” pp.598–600, Prenticepp.1019–1043, 2002.

Hall, 2002.
[11] C. Brito-Loeza and K. Chen, “Multigrid
method for a modiﬁed curvature driven
diﬀusion model for image inpainting,”
Journal of Computational Mathematics,
Vol. 26, No. 6, pp.856–875, 2008.
[12] T. Chan and J. Shen, “Nontexture inpainting by curvature-driven diﬀusions,”
Journal of Visual Communication andImage Representation, Vol. 12, No. 4,
pp.436–449, 2001.

– 10 –