(57)【特許請求の範囲】
【請求項１】
ボケ画像から鮮明な画像を求める画像処理方法であって、
前記ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、
前記１次元ベクトルに作用する２次元行列演算を前記ボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、前記鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに前記目的関数の勾配ベクトルを算出する工程と、
行列演算を伴わない数値最適化法および算出した前記勾配ベクトルを用いて、前記目的関数の値が最大または最小となるように前記鮮明な画像の画像データを求める工程と、
を備えることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記１次元ベクトルへの前記変換は、画像の外周に隣接するように配列させるとともに、隣接する前記画像の画素と同じ画素値を有する複数の画素を新たに付加してから行うことを特徴とする画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、
前記鮮明な画像の画像データを求める工程は、複数回行うことを特徴とする画像処理方法。
【請求項４】
請求項１に記載の画像処理方法において、
前記数値最適化法として、共役勾配法または最急降下法を用いることを特徴とする画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
前記ボケ画像とは、平滑化によって取得される画像であることを特徴とする画像処理方法。
【請求項６】
請求項１に記載の画像処理方法において、
前記ボケ画像とは、レンズの焦点ズレによって取得される画像であることを特徴とする画像処理方法。
【請求項７】
請求項１に記載の画像処理方法において、
前記ボケ画像とは、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像であることを特徴とする画像処理方法。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の画像処理方法の各工程を、コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボケ画像から鮮明な画像の復元または低解像度画像の高精細化を行う画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置における撮像レンズの焦点ズレ等によって生じたボケ画像を復元するために、ボケ画像からエッジ成分を抽出して、このエッジ成分を元のボケ画像に割合を変えながら付加してエッジ強調を行うことにより、画像を鮮明にする手法が用いられている。
【０００３】
また、近年、ベイズ理論と呼ばれる統計理論に基づいて画像を復元する方法の開発も盛んに行われている。非特許文献１は、ボケ画像の基となる鮮明な画像とは、ベイズ理論に基づいて計算される目的関数が最小となるときであるとして、準ニュートン法を用いる画像の復元処理を行う手法を開示している。非特許文献２では、目的関数の計算において、非特許文献１の準ニュートン法の代わりに、Ｓｈｅｒｍａｎ−Ｍｏｒｒｉｓ行列を用いる最小化手法によって、非特許文献１よりも短い時間で画像復元する手法を開示している。
【非特許文献１】G. K. Chantas, N. P. Galatsanos, and A. C. Likas, `Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior', IEEE Trans. Image Process, Vol.15, No.10, pp.2987-2997, 2006
【非特許文献２】R. Pan and S. J. Reeves,`Effect Huber-Markov Edge-Preserving Image Restoration', IEEE Trans. Image Process, Vol.15, No.12, pp.3728-3735, 2006
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術である画像のエッジ成分を元のボケ画像に割合を変えながら付加して復元する手法は、処理時間は短いが、ボケの程度が酷い画像には適用できない。一方、非特許文献１および非特許文献２の画像復元方法では、復元処理において膨大なサイズの行列演算を行う必要があり、メモリ容量の増大を招き処理時間が非常に長くなる。さらに、近年の電子カメラ等における撮像素子の画素数増大により、画像をブロック分割しなければメモリ容量が足りず復元処理できない。ところが、このブロック分割を行うと、各々のブロックの境界において画素値の誤差（リンキング）が生じ、画像の不連続性が目立つようになる場合がある。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、ボケ画像を復元または低解像度画像を高精細化する画像処理において、ブロック分割することなく少ないメモリ容量で高速に画像処理する技術を提供することにある。
【課題を解決するための手段】
【０００６】
第１の発明に係る画像処理方法は、ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、１次元ベクトルに作用する２次元行列演算をボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに目的関数の勾配ベクトルを算出する工程と、行列演算を伴わない数値最適化法および算出した勾配ベクトルを用いて、目的関数の値が最大または最小となるように鮮明な画像の画像データを求める工程とを備えることを特徴とする。
【０００７】
第２の発明は、第１の発明において、１次元ベクトルへの変換は、画像の外周に隣接するように配列させるとともに、隣接する画像の画素と同じ画素値を有する複数の画素を新たに付加してから行うことを特徴とする。
【０００８】
第３の発明は、第１の発明において、鮮明な画像の画像データを求める工程は、複数回行うことを特徴とする。
【０００９】
第４の発明は、第１の発明において、数値最適化法として、共役勾配法または最急降下法を用いることを特徴とする。
【００１０】
第５の発明は、第１の発明において、ボケ画像とは、平滑化によって取得される画像であることを特徴とする。
【００１１】
第６の発明は、第１の発明において、ボケ画像とは、レンズの焦点ズレによって取得される画像であることを特徴とする。
【００１２】
第７の発明は、第１の発明において、ボケ画像とは、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像であることを特徴とする。
【００１３】
第８の発明のプログラムは、第１の発明ないし第７の発明のいずれかの画像処理方法の各工程を、コンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像のフィルタリング処理と行列演算のない数値最適化法とを採用することにより、１枚の画像をブロック分割することなく、且つより少ないメモリ容量で高速な処理が可能となる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の一実施形態に係る画像処理方法の全体の流れを示す。以下、図１の流れに沿って、本実施形態の処理について説明する。
【００１６】
ステップＳ１では、鮮明な画像に復元したいボケ画像を取得する。本実施形態におけるボケ画像とは、例えば、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像である。
【００１７】
ステップＳ２では、図２に示すように、ボケ画像ｇの画素の外周に新たに画素（点線）を付加する。新たに付加した画素、例えば、画素２０と画素２１とには、隣接する画像の画素１０と同じ画素値が入る。そして、ボケ画像データを２次元配列の行列から１次元配列のベクトル型に変換する。
【００１８】
ここで、ボケ画像ｇの画素の周りに新たに画素を付加する理由は、ボカシフィルタが中心対称の場合、後述する式（１）におけるボカシフィルタ行列Ｈとその転置行列ＨTとはほぼ等しいとして扱え、以下にて説明する演算を容易にする。すなわち、ボカシフィルタが中心対称の場合でも、原則的にボカシフィルタ行列Ｈとその転置行列ＨTとは等しくない。その原因は、ボカシフィルタが中心対称の場合には、図２に示すように、例えば、ボケ画像ｇの画素の外周上にある画素１０の周りには隣接する画素が存在しない部分があり、それゆえボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素とで扱い方が異なるからであり、中心対称でない場合には、ＨとＨT端処理の影響による差だけではない。そこで、図２に示すように、ボケ画像ｇの画素の外周上にある画素１０と同じ画素値を有する画素２０と画素２１とを付加させることで、ボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素に対する扱い方の違いをなくす。これにより、ボカシフィルタが中心対称の場合に、ボカシフィルタ行列Ｈとその転置行列ＨTとが等しいとして扱っても、処理結果にはあまり影響しない。なお、新たに付加する画素の幅は任意に決めることができ、図２においては２画素分の幅を加えているが、状況に応じて適宜変更が可能であり、本実施形態ではフィルタ半径より大きい画素数の幅分を付加させる。
【００１９】
次に、ステップＳ３へ進む前に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。
【００２０】
１次元ベクトル表現されたボケ画像ｇに対する同様に１次元ベクトル表現された本来の鮮明な画像をｆとすると、両画像は次の式（１）のように関係付けることができる。
【００２１】
【数１】
0005076758.tif 000002
【００２２】
式（１）のｎは、１次元ベクトル表現された画像に付加されるホワイトノイズである。
【００２３】
一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生じる確率が、事象Ｂが生じたときに事象Ａが生じる確率を用いて次式（２）のように表せる関係をいう。
【００２４】
【数２】
0005076758.tif 000003
【００２５】
式（２）により、本実施形態におけるボケ画像ｇから鮮明な画像ｆを求めるということを、鮮明な画像ｆがあるとき、ボケ画像ｇになる確率を用いて表すことができる。そのような確率を、ベイズ統計および非特許文献１のモデルに基づいて表すと次式（３）となる。
【００２６】
【数３】
0005076758.tif 000004
【００２７】
式（３）のβは、ホワイトノイズｎの分布をガウス分布としたときの分散の逆数である。ａは画像ｆのエッジ成分の分散を与える行列で、画像の縦、横、斜め４５度および斜め１３５度方向の成分から成る。統計パラメータｍおよびｌは、行列ａの対角成分の平均と分散を用いて見積もることができ、４方向の成分から成るベクトルある。この式（３）は確率モデルと呼ばれる。確率モデルの式（３）が最大となるときの鮮明な画像ｆが、当該モデルにおける求める鮮明な画像ｆである。ただし、本実施形態では、式（３）の最大となる鮮明な画像ｆを求める代わりに、目的関数ＪB（ｇ，ｆ；β，ｍ，ｌ）＝−ｌｎＰ（ｇ，ｆ；β，ｍ，ｌ）の値が最小となる鮮明な画像ｆを求める。本実施形態における目的関数ＪBを、非特許文献１のモデルを基に具体的に表すと次式（４）のようになる。
【００２８】
【数４】
0005076758.tif 000005
【００２９】
式（４）のＮは、画像の画素数を表し、統計パラメータｍおよびｌの添え字ｋは、画像の縦（ｋ＝１）、横（ｋ＝２）、斜め４５度（ｋ＝３）および斜め１３５度（ｋ＝４）の各方向における行列ａの対角成分の平均と分散を用いて見積もることを表す。Ｑkは、各方向の画像のエッジ成分を求める２次元行列の演算子を表す。
【００３０】
本実施形態では、目的関数ＪBを最小にする鮮明な画像ｆを求めるために、非特許文献１に用いられた行列演算を伴う準ニュートン法ではなく、内部処理において行列演算を行わない最急降下法を用いる。最急降下法では、最適解のある検索方向を目的関数ＪBの勾配の方向として、その勾配をパラメータμで調節しながら最適解を見つけ出す手法である。最急降下法を式で表すと式（５）のようになる。
【００３１】
【数５】
0005076758.tif 000006
【００３２】
目的関数ＪBの勾配が０になる位置、すなわち目的関数が極値になるときの鮮明な画像ｆが求めるべきものである。目的関数ＪBの勾配は、式（４）よりベクトル形式で表すと式（６）のようになる。
【００３３】
【数６】
0005076758.tif 000007
【００３４】
なお、式（６）中のギリシャ文字の添え字αおよびγは１〜Ｎで和を取ることを示す。ｖkiは次式（７）のように表される。
【００３５】
【数７】
0005076758.tif 000008
【００３６】
ステップＳ３では、ＪBを計算するのに必要となる統計パラメータｍおよびｌを、ｆ＝ｇとして求める。本来であれば鮮明な画像ｆからそれらの値を算出すべきである。しかしながら、鮮明な画像ｆは現ステップにおいてはまだ不明であり、ボケ画像ｇから求める値と最終的に得られた鮮明な画像ｆから求める値とでは処理結果に大きな違いが経験的に無いことから、ｆ＝ｇとして計算する。
【００３７】
ステップＳ４では、本実施形態において式（１）のボカシフィルタが拡張したガウス型フィルタＧ0ｅｘｐ（−（ｒ／σ）δ）である仮定として復元処理を行うため、ユーザから当該フィルタのパラメータσの値の入力を受け付ける。なお、δは任意に決めることができるが、本実施形態ではδ＝０．５とする。
【００３８】
ステップＳ５では、ステップＳ３およびステップＳ４にて得られたパラメータの値を用いて式（６）および式（７）を計算して、目的関数ＪBの勾配ベクトルを求める。ここで、式（６）および式（７）の中にＨｆ、ＱkｆおよびＱTkｖkの行列演算の項が存在する。しかしながら、ＨｆおよびＱkｆは平滑化およびエッジ成分抽出を行う行列演算であり、さらに、ＱTkも同様にしてエッジ成分の抽出フィルタにできる。すなわち、Ｈｆ、ＱkｆおよびＱTkｖkの行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換えることが可能である。これにより、ステップＳ２におけるボカシフィルタ行列Ｈとその転置行列ＨTとが等しいとする処理と併せることで、勾配ベクトルの計算において直接行列演算を行なわない処理が可能となり、目的関数ＪBの勾配ベクトルが少ないメモリ領域で高速に計算できる。
【００３９】
ステップＳ６では、ステップＳ５にて求めた目的関数ＪBの勾配ベクトルと式（５）とを用いて、鮮明な画像ｆを新たに算出された鮮明な画像ｆ’に更新する（ｆ＝ｆ’）。上述したように、ステップＳ６において、行列演算を伴わない最適化を用いることで、全ての処理において行列演算を用いないようにできる。なお、本実施形態では、勾配を調節するパラメータμはホワイトノイズｎの分散β-1に等しいとする。
【００４０】
ステップＳ７では、ステップＳ６において更新した鮮明な画像ｆを用いて、新たな目的関数ＪBの勾配ベクトルを求める。
【００４１】
ステップＳ８では、ステップＳ７で求めた目的関数ＪBの勾配ベクトルの成分のうち、最大値となる成分が１より小さいか否かを判定する。１より小さい場合には、最急降下法によるボケ画像処理は収束したとして、ステップＳ９（ＹＥＳ側）に移行する。一方、１以上の場合には、画像処理はまだ収束していないとして、ステップＳ６（ＮＯ側）に戻り、目的関数ＪBの勾配ベクトル成分の最大値が１より小さくなるまでステップＳ６からステップＳ８の処理を行い、鮮明な画像ｆを求める。
【００４２】
ステップＳ９では、得られた鮮明な画像ｆを１次元配列のベクトルから２次元配列のデータ型に変換する。ステップＳ２において付加した画素を鮮明な画像ｆから取り除く。残りのものが、ボケ画像ｇの基である鮮明な画像ｆであり、保存して画像処理を終了する。
【００４３】
このように本実施形態は、目的関数ＪBの勾配ベクトル計算における行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換え、且つ行列演算を必要としない最急降下法を用いて鮮明な画像ｆを求めることにより、大幅なメモリ容量削減が可能となり、高速な演算処理が実現できる。そして、処理装置の回路規模を小型化することもできる。
【００４４】
また、本実施形態において、行列演算を回避することよって、膨大な画素数を有する画像の復元処理についても、従来技術において行われていた画像のブロック分割を行う必要が無くなる。これにより、各ブロックの境界で生じる画像の不連続性（リンキング）を回避することができる。
≪本実施形態に関する補足事項≫
本実施形態では、復元処理において鮮明な画像ｆを求めるために最急降下法を用いたが、本発明はこれに限定されない。例えば、共役勾配法のような行列演算を伴わない数値最適化法を適宜選択して使用することができる。
【００４５】
なお、本実施形態では、ステップＳ８において、更新された鮮明な画像ｆを用いて求められる目的関数ＪBの勾配ベクトル成分の最大値が１より小さいか否かで判定したが、本発明はこれに限定されない。例えば、画像処理のループの回数が所定の値より大きいか否かで判定してもよいし、目的関数ＪBの勾配ベクトル成分の最大値およびループの回数との両方を用いて判定してもよい。
【００４６】
なお、本実施形態では、ボカシフィルタが中心対称の場合を考え、ボカシフィルタ行列Ｈとその転置行列ＨTとは等しいとしたが、本発明はこれに限定されない。ボカシフィルタが中心対称でない場合には、ボカシフィルタ行列Ｈとその転置行列ＨTとは互いに別々のボカシフィルタ行列として扱うことができる。
【００４７】
なお、本実施形態では、復元処理が施されるボケ画像として、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得される画像でもよいし、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像でもよい。
【００４８】
なお、本実施形態では、復元処理におけるボカシフィルタとしてガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行ってもよい。または、実際の撮像装置における光学系によるボカシの影響をボカシフィルタとして評価したものを用いることも好適である。
【００４９】
なお、本実施形態では、ボケ画像を復元する画像処理に対して適用されたが、本発明はこれに限定されない。例えば、画像の圧縮・解凍処理に対しても適用可能である。すなわち、画像を圧縮する時に、性質の明らかなボカシフィルタを用いて画像の平滑化処理を行えば、非常に効率よく圧縮が可能となる。そこで、平滑化処理された画像データを圧縮して、用いたボカシフィルタの情報と統計パラメータｍおよびｌとを付加したファイルを生成することで、解凍時において、平滑化処理された画像を解凍作業とともに復元処理することが可能となる。これにより、効率良く画像が圧縮できるだけでなく、ネットワークに無駄な負荷をかけること無く画像を送受信することが可能となる。
【００５０】
なお、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。
【００５１】
なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置に対しても適用可能である。
【００５２】
なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置としてコンピュータを機能させることに対しても適用可能である。
【００５３】
なお、本発明に係る画像処理方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。
【００５４】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【産業上の利用可能性】
【００５５】
以上説明したように、本発明は、ボケ画像の復元または低解像度画像の高精細化の高速処理が要求される、電子カメラ等の画像の画像処理装置等に応用可能な技術である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態に係る画像処理における手順を示すフローチャート
【図２】ボケ画像ｇの外周に新たな画素を付加する手順を示す図
【図１】
0005076758.tif 000009
【図２】
0005076758.tif 000010