平成 14 年度
学士学位論文雑音除去と輪郭強調による劣化画像の復元
Blurred Image Restoration by Noise Removal andEdge Emphasis

1030242

井上

景子

指導教員

福本

昌弘

2003 年 2 月 24 日
高知工科大学 情報システム工学科

要 旨

雑音除去と輪郭強調による劣化画像の復元
井上景子

画像は，計算機で処理できる形態のディジタル画像に変換される際，種々の要因により濃度ひずみ，幾何ひずみやボケなどを生じて劣化し，画質は低下するのが普通である．劣化した画像は見苦しくなるばかりでなく，対象物の形状の把握や対象物に含まれる特徴や情報の抽出を困難にする．そこで劣化要因等の不要な情報を抑制し，有用な情報を強調する処理などの修正が必要になる．劣化画像の復元については，これまでにさまざまな研究がなされている．
本研究ではこれまでに研究された雑音除去の方法や劣化の補正方法を検討し，複数劣化画
像から不足する情報を互いに補い合い良好な復元画像を得る手法の検討を行い，既存の手法と比較を行い良好な結果を得た．
キーワード

画像復元，雑音除去，劣化の補正，複数劣化画像–i–Abstract
Blurred Image Restoration by Noise Removal and Edge
Emphasis
Keiko INOUE

When a picture image changed into the digital image which can be processed by
the computer,it is normal that quality of image deteriorate because of various factors
such as concentration distortion,a geometric distortion,dotage.The deteriorated image
not only becomes unsightly,grasp of the form and extraction of the feature and information becomes difficult.So it is necessary that controlling unnecessary information,such
as a degradation factor,and emphasizing to useful information.About restoration of adegradation image,various researches are done until now.
This research considers the method of noise removal and the compensation methodof degradation which were studied until now and inquires way of supplement mutually
about the insufficience information from two or more degradation images.
key words

image restoration,noise removal,compensation method of degradation,multi-

frame blurred images– ii –

目次
第1章

序論

1

1.1

背景と目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

本論文の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

雑音除去

3

2.1

平均値フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

メディアンフィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

輪郭強調

6

1 次差分フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

輪郭強調 手法 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

輪郭強調 手法 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

輪郭強調 手法 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

第2章

第3章

3.1

第4章

12

劣化の逆特性4.1

画像劣化のモデル. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.2

画像復元の問題点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

4.3

最小 2 乗フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

複数の劣化画像からの復元

19

5.1

手法 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

5.2

手法 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

5.3

手法の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

結論

25

結論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

第5章

第6章

6.1

– iii –

目次

6.2

今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

謝辞

26

参考文献

27

付録 A

複数の劣化画像からの復元 1

28

付録 B

複数の劣化画像からの復元 2

30– iv –

図目次
1.1

画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

2.1

平均化画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2

メディアンフィルタにより処理した画像 . . . . . . . . . . . . . . . . . . .

5

3.1

雑音除去した画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.2

1 次差分フィルタによる輪郭の抽出 . . . . . . . . . . . . . . . . . . . . . .

83.3

縦方向の輪郭強調 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93.4

横方向の輪郭強調 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.5

1 次差分フィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.1

最小 2 乗法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

5.1

手法 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

5.2

手法 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

5.3

手法の比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

A.1 複数の劣化画像からの復元 1 . . . . . . . . . . . . . . . . . . . . . . . . .

29

B.1 複数の劣化画像からの復元 2 . . . . . . . . . . . . . . . . . . . . . . . . .

31

B.2 5 枚 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

–v–

第1章

序論

1.1

背景と目的

現代のような高度情報化社会において，色々な情報が電子化されている．このような中で，コンピュータによって画像を処理する技術が急速に発展し普及してきている．代表的なものに X 線 CT がある．今までは解剖しなければわからなかった頭の中の様子が，体内を通過する X 線の減衰量を測定しコンピュータで計算することによって脳の断面図を生成することができるようになった．他にも，文書画像を取り込んで文字を解読したり，手書き図面を自動的に清書してくれるものや防犯，防災の目的で個人を同定するために指紋画像を認識する電子キーなどがある．しかし，これらの画像を計算機で処理できる形態のディジタル画像に変換される際．種々の要因により画像は濃度ひずみ，幾何ひずみやボケなどを生じて劣化し画質は低下する．劣化した画像は見苦しくなるばかりでなく，対象物の形状の把握や対象物に含まれる特徴や情報の抽出を困難にする．そこで劣化要因等の不要な情報を抑制し，有用な情報を強調する処理などの修正が必要になる．劣化画像の復元については，これまでにさまざまな研究がなされ，成果が挙げられている [1]．しかしながら，それらの研究のほとんどが，1 枚の劣化画像が生成される過程，つまり，1 つの劣化過程のみを対象としている．
実際には，1 つの原画像から，複数の劣化過程により，複数の劣化画像を得ることもあり得る．そのような場合，各々の劣化画像から復元処理を行っていたのでは，複数の劣化画像の情報をうまく利用できない．そのため，複数の劣化画像より原画像を復元する研究が行われるようになってきた．本研究ではこれまでに研究された雑音除去の方法や劣化補正の方法を検討し，複数劣化画像からより良い復元方法を考える．

–1–

1.2 本論文の概要

1.2

本論文の概要

ここで，本論文の概要について述べる．
本研究では，原画像として図 1.1(1) で示した girl を用いる．劣化画像として図 1.1(1) に
白色雑音 (一様乱数) が混入した画像図 1.1(2) を用いる．
画像復元の流れとしては，まず雑音を除去する．しかし，一般的な雑音除去の方法にはボケるという欠点がある．そこで，劣化の補正を行い，画像を復元する．
第 2 章では，これまでに研究されてきた雑音除去の方法について，第 3 章と第 4 章では劣化の補正方法について説明する．第 5 章では，複数の劣化画像からの復元手法について説明する．最後に第 6 章では，本研究の結論を述べ，今後の課題を報告する．

(1) 原画像(2) 劣化画像
図 1.1

画像

–2–

第2章

雑音除去
画像は，計算機で処理できる形態のディジタル画像に変換される際，種々の要因により濃度ひずみ，幾何ひずみやボケなどを生じて劣化し画質が低下する．そこで，画像に雑音が含まれている場合には，まず雑音を低減させる必要がある．本章では，これまでに研究されてきた雑音除去の方法について説明する．
本研究では，雑音として一様乱数が混入するようなモデルを想定している (図 1.1(2))．その雑音を除去するためのフィルタとして，平均値フィルタとメディアンフィルタを示す．

まず，平均値フィルタについて説明する．

2.1

平均値フィルタ

平均値フィルタは，注目する画素の近傍の平均値を取り出すフィルタであり，一点の濃淡や白黒２値の判別を周囲の情報を平均化して決定する．画像の高周波成分をカットすること
で，雑音除去とボケ操作を行うのが主たる目的である．白色雑音はスペクトルが全ての周波数に均等に分布しているため，白色雑音の除去には平均値フィルタが適している．このフィルタによって極端に画素値 (色) の変化している部分を緩和することができる．
局所部分として 3 × 3 マスクを用いると，局所平均画像 h(m, n) は窓内 9 カ所の濃度の平均として

h(m, n) = {f (m − 1, n − 1) + f (m, n − 1) + f (m + 1, n − 1)+f (m − 1, n) + f (m, n) + f (m + 1, n) + f (m − 1, n + 1)

–3–

2.2 メディアンフィルタ+f (m, n + 1) + f (m + 1, n + 1)}/9(2.1)

によりあらわされる．ここで，f (m, n) は原画像である．

図 2.1

平均化画像

図 2.1 は，図 1.1(2) に示す画像に対して式 (2.1) で表される平均値フィルタをかけたものである．どの画素に対しても一様に平均化しているため輪郭がボケている．

次に，メディアンフィルタについて説明する．

2.2

メディアンフィルタ

平均化による輪郭のボケを防ぐため，平均化しないメディアンフィルタを用いる．一組のデータ列を大きさの順に並べたとき，中央の位置にくる値を中央値 (median) という．メディアンフィルタは注目する画素の周辺近傍の濃度の中央値を取り出すフィルタで着目画素の濃淡値を与える．3 × 3 マスクを用いて処理を行うとすると，メディアンフィルタにより得られる値はマスク内の 9 個の画素の階調値を小さい順，または大きい順に並べたときの 5
番目 (中央の値) の濃度値があらわす値である．

–4–

2.2 メディアンフィルタ

図 2.2

メディアンフィルタにより処理した画像

図 2.2 は，図 1.1(2) に示す画像に対してメディアンフィルタをかけたものである．

メディアンフィルタにより処理した画像と平均値フィルタにより処理した画像をくらべてみると，メディアンフィルタは平均値フィルタよりも，

1. 雑音低減の効果が大きい
2. 小さな濃度値の変動を平滑化できる
3. 画像の輪郭部分のボケの程度が少ないなどの利点があることがわかる．

そこで，本研究ではメディアンフィルタを用いて雑音除去を行う．

–5–

第3章

輪郭強調
雑音除去によってボケた画像を復元するために，劣化の補正が必要になる．劣化の補正の方法としては，輪郭強調や劣化の逆特性をかけることがあげられる．本章では，輪郭強調について説明する．

図 3.1

雑音除去した画像

図 3.1 に示すメディアンフィルタにより雑音を低減した画像に対して輪郭強調により劣化の補正を行う．
輝度の急激な変化をとらえるために，1 次差分フィルタを用い 3 × 3 マスク内で，注目画
素の輝度と，上下左右の 4 近傍画素の輝度（階調値）の差分値をとる．その差分値で，値が大きいところ，つまり輝度が急激に変化しているところは，輪郭とし，強調する．

–6–

3.1 1 次差分フィルタ

まず，1 次差分フィルタについて示す．

3.1

1 次差分フィルタ

ディジタル画像では微分演算は次のような差分演算により計算される．f (x, y) の x 方向の一次微分，y 方向の一次微分を差分で fx (m, n)，fy (m, n) で近似すると，これらの値は各々次のようになる．

fx (m, n) = f (m + 1, n) − f (m, n)(3.1)

fy (m, n) = f (m, n + 1) − f (m, n)(3.2)

上の式で差分演算を行うと雑音の影響を強く受ける．この影響を除くためマスクを 3 × 3 として次のような式で演算を行う．
縦方向

g(m, n) = (−1) × data2(m − 1, n − 1) + data2(m + 1, n − 1)+(−1) × data2(m − 1, n) + data2(m + 1, n)+(−1) × data2(m − 1, n + 1) + data2(m + 1, n + 1)

(3.3)

横方向

g1(n, m) = (−1) × data2(n − 1, m − 1) + (−1) × data2(n, m − 1)+(−1) × data2(n + 1, m − 1) + data2(n − 1, m + 1)
+data2(n, m + 1) + data2(n + 1, m + 1)

–7–

(3.4)

3.1 1 次差分フィルタ(1) 縦方向(2) 横方向

図 3.2 1 次差分フィルタによる輪郭の抽出

抽出された輪郭を用いて 3 つの手法で輪郭強調を行う．

手法 1 について説明する．

–8–

3.1 1 次差分フィルタ

輪郭強調 手法 1
図 3.2(1) の縦方向の輪郭抽出のみを用いて輪郭強調を行う．

1. g(m, n) が 255 のときは輪郭がはっきりでているということなので白か黒とする
2. 閾値 50 に設定し，g(m, n) が 50 以下のときはグラデーションがでるように輪郭強調は行わない

3. 他のときは近くの濃度をみて近い値にあわせる

図 3.3

縦方向の輪郭強調

図 3.3 は，図 3.1 に示す画像に対して縦方向に輪郭強調したものである．この方法では，3 で近くの値にあわせる際に輪郭が縦方向にずれる．

次に，手法 2 について説明する．

–9–

3.1 1 次差分フィルタ

輪郭強調 手法 2
図 3.2(2) の横方向の輪郭抽出のみを用いて輪郭強調を行う．

1. g1(n, m) が 255 のときは輪郭がはっきりでているということなので白か黒とする
2. 閾値 50 に設定し，g1(n, m) が 50 以下のときはグラデーションがでるように輪郭強調は行わない

3. 他のときは近くの濃度をみて近い値にあわせる

図 3.4

横方向の輪郭強調

図 3.4 は，図 3.1 に示す画像に対して横方向に輪郭強調したものである．この方法では，3 で近くの値にあわせる際に輪郭が横方向にずれる．

次に，手法 3 について説明する．

– 10 –

3.1 1 次差分フィルタ

輪郭強調 手法 3
手法 1，2 を組み合わせる．

1. g が g1 より大きいか同じなら縦方向に再現する
2. g が g1 より小さいときは横方向に再現する(g が g1 と同じときに横方向に再現すると輪郭がずれる)(1) 復元したい画像(2) 輪郭強調した画像
図 3.5 1 次差分フィルタ

図 3.5(2) は，図 3.1 に示す画像に対して縦方向と横方向に輪郭強調したものを組み合わせたものである．手法 1，2 を組み合わせることで輪郭がずれるのを防ぐことができた．

本章では，劣化の補正方法として輪郭強調を説明した．
しかし，この方法では，雑音も輪郭として強調してしまうという問題がある．

– 11 –

第4章

劣化の逆特性劣化の補正方法として輪郭強調を用いると，いくら雑音を低減させても雑音の存在は避けられず，輪郭にも雑音にも反応する (図 3.5(2))．そこで，雑音により復元画像
が 大 き く 乱 れ る こ と の な い 処 理 を 行 う こ と が 必 要 と な る ．本 研 究 で 劣 化 過 程 と し て想定した白色雑音のように画像と雑音に相関がない場合，劣化過程に雑音を考慮する必要はなく，雑音によって画像を大きく乱すことなく復元することができる．そこで，本章では，これまでに研究されてきた劣化補正の方法として劣化の逆特性について説明する．

図 3.1 に示すメディアンフィルタにより雑音を低減した画像に対して劣化の逆特性をかけ劣化の補正を行う．劣化の逆特性を求める方法としては最小 2 乗フィルタを用いる．最小 2乗フィルタでは，原画像と復元画像の誤差が最小になる劣化過程を推定し，その逆特性をかける．

まず，図 3.1 に示すメディアンフィルタにより雑音を低減した画像を劣化画像として，4.1に図 3.1 の画像劣化のモデルを示す．

4.1

画像劣化のモデル

イメージングシステム (対象物を観測する装置や画像を生成するシステム) によって得られる画像 g(x, y) は，

Z ∞Z ∞
g(x, y) =h(x, y, ξ, η, f )f (ξ, η)dξdη
−∞−∞– 12 –(x, y = 0, 1, · · · , M − 1)

(4.1)

4.1 画像劣化のモデルで表される．
ただし，f (ξ, η) は対象物を表す原画像，f (·, ·, ·, ·) は撮影条件なども含めたイメージングシステムの特性を表す点広がり関数である．イメージングシステムは線形で位置不変な特性をもつものとすると，式 (4.1) は 2 次元の線形たたみ込み演算

Z ∞Z ∞
g(x, y) =h(x − ξ, y − η)f (ξ, η)dξdη
−∞

(4.2)

−∞

となる．
また，式 (4.2) をフーリエ変換して得られる空間周波数は，G(u, v) = H(u, v)F (u, v)(4.3)と表すことができる．ここで，u, v はそれぞれ x 方向，y 方向の空間周波数を表す．
画像復元では，劣化をもたらすイメージングシステムの特性が既知である必要がある．
イメージングシステムの特性が事前にわからない場合には，観測画像から h(·, ·) あるいはH(·, ·) を推定する必要があり，そのための推定法についても研究されている [2]．また，観測画像に雑音が含まれている場合も，雑音成分を推定する方法も検討されている [2]．
ディジ タ ル 処 理 を 行 う 場 合 に は ，式 (4.2) は ディジ タ ル た た み 込 み 演 算 と な り，
原 画 像 お よ び 観 測 画 像 は 辞 書 式 配 列 に よって 並 び か え ら れ て そ れ ぞ れ ベ ク ト ル

f = (f 0 , f 1 , · · · , f M −1 )T およびベクトル g = (g 0 , g 1 , · · · , g M −1 )T となり，次のように書き換えられる．

g = Hf + n(4.4)

ただし，n は観測雑音やディジタル化を行うときに生じた誤差等を含めた雑音ベクトルであ
り，H は




H=



h(0, 0)h(0, 1)···h(0, M − 1)h(1, 0)h(1, 0)···h(1, M − 1)

···

···

···

···

h(M − 1, 0)h(M − 1, 1) · · ·h(M − 1, M − 1)

である．画像復元は劣化画像 g から原画像 f を推定する問題となる．

– 13 –








(4.5)

4.2 画像復元の問題点

次に，画像を復元する際の問題点について説明する．

4.2

画像復元の問題点

復元画像 fˆ は，観測画像 g に復元フィルタ [B] を作用させてその出力として得られる．復元フィルタをアナログ領域，または周波数領域で考えると次のようになる．
観測雑音を n(x, y)，そのフーリエ変換を N (u, v) とすると，劣化の過程を示す式は，

Z ∞Z ∞
g(x, y) =h(x − ξ, y − η)f (ξ, η)dξdη + n(x, y)
−∞

(4.6)

−∞

G(u, v) = H(u, v)F (u, v) + N (u, v)(4.7)となる．復元フィルタの点広がり関数を b(x, y)，そのフーリエ変換を B(u, v) とすると，復元画像 fˆ(x, y) とそのフーリエ変換 F̂ (u, v) はfˆ(x, y) =Z ∞Z ∞b(x − ξ, y − η)g(ξ, η)dξdη

(4.8)

F̂ (u, v) = [H(u, v)F (u, v) + N (u, v)]B(u, v)

(4.9)

−∞

−∞

で得られる．式 (4.8) の処理を式 (4.6) に対して逆たたみ込みという．また，復元フィルタの伝達関数 B(u, v) をB(u, v) = H −1 (u, v)(4.10)F̂ (u, v) = F (u, v) + N (u, v)N −1 (u, v)(4.11)とすると，復元画像 F̂ (u, v) はとなる．式 (4.10) の特性をもつ復元フィルタ H −1 (u, v) を H(u, v) の逆フィルタという．雑音が存在しなければ，逆フィルタによって原画像 F (u, v) は，完全に復元される．
しかし，いくらメディアンフィルタ等で雑音を低減しても雑音の存在は避けられず，H(u, v) が 0 かまたは 0 に限りなく近い値をとる周波数領域があると，わずかの雑音でも式(4.11) の第 2 項が著しく拡大されて復元画像は大きく乱れてしまう．

– 14 –

4.3 最小 2 乗フィルタ

ディジタル処理においても，式 (4.4) で逆フィルタに相当する H の逆行列 H −1 が存在す
れば，復元画像 fˆ は次式で得られる．

fˆ = f + H −1 n(4.12)

しかし，一般的に H −1 は存在しないことが多く，仮に存在しても正確に求めることはき
わめて困難になる．このような状況でなんらかの復元処理を強行すると式 (4.12) の右辺第 2項が拡大されて，著しく劣化した復元画像しか得られなくなる．
このような状況におちいる問題を悪条件問題といい，画像復元はほとんどすべてが悪条件問題となる．悪条件問題で，雑音の拡大を抑える方策を正則化という．したがって，画像復元ではいかにして正則化処理をくり込むかが大きなポイントとなる．

次に，最小 2 乗フィルタについて説明する．

4.3

最小 2 乗フィルタ

復元フィルタで得られた画像における復元誤差を測る評価基準として，次の式で定義される原画像と復元画像との間の平均 2 乗誤差を用いる場合を考える．

·n
o2 ¸
ˆ
Ekεk = E f (x, y) − f (x, y)2(4.13)

ただし，E[·] は平均操作を示す．観測画像に作用させてこの平均 2 乗誤差を最小にする画像を得る復元フィルタを最小 2 乗フィルタという．
原画像や付随する雑音成分が弱定常場に属すると仮定できるときには，最小 2 乗フィルタの空間周波数特性は次式で与えられる．

B(u, v) =H ∗ (u, v)|H(u, v)|2 + Sn (u, v)/Sf (u, v)(4.14)

ただし，∗ は複素共役を表し，Sf (u, v) および Sn (u, v) は原画像および雑音のパワースペ
クトル密度で，画像および雑音の自己相関関数 Rf (x, y) および Rn (x, y) のフーリエ変換として，Z ∞Z ∞Sf (u, v) =Rf (x, y)exp{−j2π(ux + vy)}dxdy−∞−∞– 15 –(4.15)

4.3 最小 2 乗フィルタ
Z ∞Z ∞Sn (u, v) =Rn (x, y)exp{−j2π(ux + ny)}dxdy−∞(4.16)−∞のように定められる．
式 (4.4) で得られるディジタル画像の場合，最小 2 乗フィルタは次のようにして求められる．復元フィルタ B によって復元画像 fˆ は，

fˆ = Bg(4.17)

でもとめられる．
原画像との差 ε の 2 乗平均値，すなわち平均 2 乗誤差を最小にする B を求める．すな
わち，

n h
io
© £
¤ª
minimize E ε · εT = minimize E (f − fˆ)(f − fˆ)T

(4.18)となる B を求める．式 (4.4)，式 (4.17) を用いて，

hn
£
¤
T
E (f − Bg)(f − Bg) = E f f T − B(Hf f T + nf T ) − (f f T H + f nT )Boi+B(Hf f T H T + nf H T + Hf nT + nnT )B T
(4.19)
加わる雑音は画像とは無相関であると考えてよいので

E[f nT ] = E[nT f ] = 0(4.20)

E[f f T ] = [Rf f ], E[nnT ] = [Rnn ](4.21)となり，f および n の相関行列をと表すと，式 (4.19) は，E[ε · εT ] = [Rf f ] − 2BH[Rf f ] + BH[Rf f ]HB T + B[Rnn ]B Tのようになる．そこで，(4.22)∂E[ε · εT ]=0
∂B

(4.23)

B = [Rf f ]H T (H[Rf f ]H T + [Rnn ])−1

(4.24)から– 16 –

4.3 最小 2 乗フィルタが求める最小 2 乗フィルタとなる．原画像ベクトル f は，2 次元画像を辞書式配列に従って並べかえて作られたものであるから，f の相関行列は次のようになる．

[Rf f ] = [R00 ],[R01 ],···,[R0M −1 ][R10 ],[R11 ],···,[R1M −1 ]

···,

···,

···,

···

[RM −10 ],

···,

···,

[RM −1M −1 ]








(4.25)

式 (4.25) を構成する各行列 [Rij ] は N × N 行列で，次式で表される．

[Rij ] = E[fi fjT ](4.26)

ただし，fi と fj は i 番目と j 番目の行ベクトルである．[Rij ] = [Rji ] となるので式 (4.25)は対称行列となる．
雑音が存在しない場合には式 (4.14) および式 (4.24) のフィルタは，いずれも逆フィルタと一致する．最小 2 乗フィルタでは，式 (4.13) や式 (4.18) の評価基準から出発することによって復元フィルタの中に雑音の成分がくり込まれて自動的に正則化が行われている．たとえば，式 (4.14) において H(u, v) = 0 となるような領域でも，B(u, v) = 0 となって，逆フィルタで生じたように雑音が極端に増幅されて演算が不安定になり復元画像が大きく乱れることはない．

– 17 –

4.3 最小 2 乗フィルタ(1) 原画像(2) 劣化の逆特性をかけて復元した画像
図 4.1

最小 2 乗法

図 4.1(2) は，図 3.1 に示す画像に対して劣化の逆特性をかけたものである．図 4.1(1) に示す原画像に近い良好な画像を得ることができた．

本章では，劣化の補正方法として劣化の逆特性を説明した．この方法では，雑音に左右されることなく第 3 章で示した輪郭強調よりも，より原画像に近い画像を得ることができた．

そこで，本研究では劣化の補正方法として劣化の逆特性を用いる．

– 18 –

第5章

複数の劣化画像からの復元
劣化画像の復元についてはこれまでに様々な研究がなされてきた．ところが，それらのほとんどは 1 枚の画像からの復元を考慮していた．しかし，同一の対象物を撮影した複数の劣化画像から原画像を復元する方法では，単独で復元すると不足する情報がお互いに補い合ってより良好な復元画像が得られる [1]．

同じ劣化過程で複数の画像をディジタル化した場合，複数の劣化画像が得られる．その場
合，複数枚から復元すると 1 枚から復元するときより，多くの情報を得ることができ，1 枚では不足する情報もお互いに補い合ってより良好な復元画像が得られると予測される．
そこで，複数画像からの復元方法として 2 つの手法を考える．
手法 1 では，複数の劣化画像を用いて複数の劣化画像から劣化過程を推定し，それぞれ劣化の逆特性を求める．その平均値から，この劣化過程で共通する劣化の逆特性を求め，画像を復元する．
手法 2 では，複数の劣化画像から劣化過程を推定し，その平均値から，共通の劣化過程を推定する．その劣化過程を参考に，それぞれ劣化の逆特性を求め，画像を復元する．

ここで，複数画像には，girl の他に，BARBARA と Airplane，Text を用いる．

まず，手法 1 について説明する．

– 19 –

5.1 手法 1

5.1

手法 1

複数の劣化画像を a 枚得て，それらに共通の逆特性を求める．

1. 最小 2 乗フィルタを用いて各々の逆特性を推定する
Ba = [Rf f ]HaT (Ha [Rf f ]HaT + [Rnn ])−1

(5.1)

2. 1 で得た推定値の平均値から，平均逆特性を推定する
B̂ = (B1 + B2 + · · · + Ba )/a

手法 1 の結果，原画像に限りなく近い良好な復元画像が得られた (図 5.1)．

– 20 –(5.2)

5.1 手法 1(1) girl(2) BARBARA(3) Airplane(4) Text
図 5.1

手法 1

– 21 –

5.2 手法 2

次に，手法 2 について説明する．

5.2

手法 2

複数の劣化画像を a 枚得て，それらに共通の劣化過程を推定する．

1. 各々から各々の劣化過程を推定する
Ha ＝

g a − nafa

(5.3)

2. 1 で得た推定値の平均値から，平均劣化過程を推定する
H = (H1 + H2 + · · · + Ha )/a(5.4)

3. 2 で得た平均劣化過程を用いて，各々で劣化の逆特性を推定し各々復元する
Ba = [Rf f ]H T (H[Rf f ]H T + [Rnn ])−1

(5.5)

手法 2 の結果，ボケや輪郭の近傍にリンギングと呼ばれる縞模様が発生するなどの理由により，視覚的に満足のいく復元画像は得られない (図 5.2)．

– 22 –

5.2 手法 2(1) girl(2) BARBARA(3) Airplane(4) Text
図 5.2

手法 2

– 23 –

5.3 手法の比較

次に，手法 1 の結果と手法 2 の結果を比較する．

5.3

手法の比較

手法 2(図 5.3(2)) ではボケやリンギングが発生しているため，手法 1(図 5.3(1)) の方が良
好な画像が得られるといえる．

(1) 手法 1(2) 手法 2
図 5.3

手法の比較

– 24 –

第6章

結論

6.1

結論

本研究では，これまでに研究された雑音除去の方法や，それによる劣化の補正方法を検討した．そして，同じ劣化過程で複数の画像をディジタル化した場合を想定し，そのとき得られた複数の劣化画像から画像を復元する手法を検討した．
その結果，手法 1 では複数の劣化画像から復元したほうが，1 枚の劣化画像から復元した
ときより良好な復元画像が得られた．手法 2 では，新たにリンギングが発生した．

6.2

今後の課題

手法 2 での失敗の原因を検討し，それについて対処法を考える必要がある．
また，一般に最小 2 乗フィルタを用いる場合，原画像と雑音のパワースペクトル密度または相関関数が既知でなければならない．本研究の場合，それらに対する情報は得られている．しかし，実際は既知であることはまれであり，それらを劣化画像から推定することも困
難な場合が多い．
それらについて，今後さらなる研究が必要である．

– 25 –

謝辞
本研究を行うにあたって，御指導，御助言して下さった高知工科大学 情報システム工学科
福本昌弘助教授に深く感謝いたします．また，本研究を審議して下さる岡田守教授，竹田史章教授，および情報システム工学科の先生方皆様に深謝致します．
そして，終始御指導，御助言いだたいた秋山さんに感謝を申し上げます．加えて，本論文を作成するにあたって御助力いただいた舟橋さん，佐伯君に感謝致します．
最後に，研究，論文作成を行うにあたり御協力頂いた福本研究室の皆様に感謝します．

– 26 –

参考文献[1] 藤本 浩司，藤田 和弘，吉田 靖夫，“画像確率モデルに基づく複数の劣化画像からの復元，” 電子情報通信学会論文誌 (D-II)，Vol．J82-D-II，No．5，pp．863-871，1999
年 5 月．

[2] 斎藤恒雄，“画像処理アルゴリズム，” 近代科学社，1993 年．
[3] 藤田 和弘，岩田収 ，山本直子，吉田 靖夫，“エッジ適応型反復法による劣化画像の復元，” 映像情報メディア学会誌，Vol．51，No．6，pp．910-916，1997 年．

[4] 谷口慶治，“画像処理工学 基礎偏，” 共立出版株式会社，1996 年．
[5] 谷口慶治，“信号処理の基礎，” 共立出版株式会社，2001 年．
[6] 井上誠喜，八木信行，林正樹，中須英輔，三谷公二，奥井誠人，“C 言語で学ぶ実践画
像処理，” オーム社，1999 年．

– 27 –

付録 A

複数の劣化画像からの復元 1
同じ劣化過程ならば，同じ値で復元することができるのか，検証する．

ある劣化画像の原画像がわからない場合を想定し，他の画像を利用して復元する．
第 7 章の手法 1 を用いて，他の 3 枚の平均逆特性を推定し，その推定値を用いて各々復元する．
複数劣化画像には，girl，BARBARA，Airplane，Text を用いる．

その結果，図 A.1 に示すように，すべての画像において原画像に限りなく近い良好な画像を得ることができた．

– 28 –

(1) girl(2) BARBARA(3) Airplane
図 A.1(4) Text
複数の劣化画像からの復元 1– 29 –

付録 B

複数の劣化画像からの復元 2
平均値をとる枚数によって画像が変化するのか検証する．

2 枚で平均をとったときと，3 枚で平均をとったとき，4 枚で平均をとったときを比べる．

その結果，図 B.1 に示すように，2 枚より 3 枚の方が 3 枚より 4 枚の方が輪郭部分でのボケが少なくなっている．

– 30 –

(1) 1 枚(2) 2 枚(3) 3 枚(4) 4 枚図 B.1

複数の劣化画像からの復元 2– 31 –

ちなみに，5 枚にすると，

図 B.2 5 枚

図 B.2 に示す通り，4 枚とほぼ同じ画像を得ることができる．4 枚では，既にかぎりなく原画像に近い画像が得られており，5 枚でも変化がなかったといえる．
以上より，ある程度かぎりなく原画像に近い画像を得ることができたら，それ以上枚数を増やしても，効果はないといえる．

– 32 –