(57)【要約】  本開示は、点広がり関数を高精度で推定することができるようにする画像処理装置および画像処理方法に関する。除外部は、劣化画像から繰り返しパターンを除外する。推定部は、除外部により繰り返しパターンが除外された劣化画像を用いて点広がり関数を推定する。本開示は、例えば、劣化画像から点広がり関数(PSF（Point Spread Function)）を推定し、その点広がり関数を用いて劣化画像から復元画像を生成するブラインドデコンボリューションを行う画像処理装置等に適用することができる。
2015186511.tif 000002
【特許請求の範囲】
【請求項１】
画像から繰り返しパターンを除外する除外部と、
前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部と
を備える画像処置装置。
【請求項２】
前記画像から前記繰り返しパターンを検出する検出部
をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記画像に対して、１次の基底が１つのエッジを含む領域に対応する変換を行う変換部
をさらに備え、
前記検出部は、前記変換部による変換の結果に基づいて、前記繰り返しパターンを検出する
ように構成された
請求項２に記載の画像処理装置。
【請求項４】
前記変換部は、前記画像を分割した変換用領域ごとに、前記画像に対して前記変換を行い、
前記検出部は、前記変換部による変換の結果得られる変換行列の１次の成分の割合が閾値以下である変換用領域を、前記繰り返しパターンとして検出する
ように構成された
請求項３に記載の画像処理装置。
【請求項５】
前記推定部は、前記画像を分割した推定用領域ごとに前記点広がり関数を推定し、
前記変換用領域のサイズは、前記点広がり関数のサイズと同一である
ように構成された
請求項４に記載の画像処理装置。
【請求項６】
前記変換は、離散コサイン変換である
ように構成された
請求項３に記載の画像処理装置。
【請求項７】
前記画像は、劣化後の画像から劣化前の画像を復元した復元画像である
ように構成された
請求項１に記載の画像処理装置。
【請求項８】
前記画像から劣化前の前記画像を復元した復元画像から前記繰り返しパターンを検出する検出部
をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備え、
前記除外部は、前記復元画像から前記繰り返しパターンを除外する
請求項８に記載の画像処理装置。
【請求項１０】
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
請求項９に記載の画像処理装置。
【請求項１１】
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
請求項９に記載の画像処理装置。
【請求項１２】
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備える
ように構成された
請求項８に記載の画像処理装置。
【請求項１３】
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
請求項１２に記載の画像処理装置。
【請求項１４】
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
請求項１２に記載の画像処理装置。
【請求項１５】
画像処理装置が、
画像から繰り返しパターンを除外する除外ステップと、
前記除外ステップの処理により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定ステップと
含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、点広がり関数を高精度で推定することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、撮影装置において収差等のレンズの特性によって劣化した劣化画像から、劣化前の画像(以下、復元画像という)を復元する手法が考案されている。この手法としては、レンズ固有の劣化情報を予め蓄積しておき、その劣化情報に基づいて撮影距離や焦点距離に応じた補正データを作成し、補正データに基づいて劣化画像から復元画像を生成する手法がある（例えば、特許文献１参照）。【０００３】
しかしながら、レンズ固有の劣化情報、撮影距離や焦点距離等が未知である場合、このような手法を用いることはできない。また、この手法では、劣化画像において、レンズの製造誤差等により、予め計測して蓄積しておいた劣化情報とは異なる劣化が発生している場合、復元精度が低下する。また、レンズ交換式撮影装置により撮影された劣化画像から復元画像を生成する場合、想定されるレンズの数が多いため、予め蓄積しておく劣化情報の情報量が多くなる。【０００４】
そこで、予め劣化情報を計測し、蓄積しておくのではなく、劣化画像から劣化情報を算出して復元を行うブラインドデコンボリューション(blind deconvolution)と呼ばれる手法が考案されている。このブラインドデコンボリューションは、劣化画像から劣化情報として点広がり関数(PSF（Point Spread Function)）を推定し、劣化画像に対して点広がり関数を逆畳み込みすることにより復元画像を生成する手法である(例えば、特許文献２および非特許文献１参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2013-243763号公報
【特許文献２】国際公開第2011/099244号
【非特許文献】
【０００６】
【非特許文献１】“High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiaya Jia and Aseem Agarwala, SIGGRAPH 2008
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、劣化画像が繰り返しパターンを含む場合、ブラインドデコンボリューションにより点広がり関数を高精度で推定することはできない。その結果、復元画像の画質が劣化する。【０００８】
本開示は、このような状況に鑑みてなされたものであり、点広がり関数を高精度で推定することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の画像処理装置は、画像から繰り返しパターンを除外する除外部と、前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部とを備える画像処置装置である。【００１０】
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。【００１１】
本開示の一側面においては、画像から繰り返しパターンが除外され、前記繰り返しパターンが除外された前記画像を用いて点広がり関数が推定される。【００１２】
なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１３】
また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本開示の一側面によれば、画像を処理することができる。また、本開示の一側面によれば、点広がり関数を高精度で推定することができる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】ブラインドデコンボリューションを説明する図である。
【図３】図１の推定部による点広がり関数の推定を説明する図である。
【図４】図１の画像処理装置の画像処理を説明するフローチャートである。
【図５】本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図６】図５の画像処理装置の画像処理を説明するフローチャートである。
【図７】本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図８】図７の画像処理装置の画像処理を説明するフローチャートである。
【図９】本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１０】図９の画像処理装置の画像処理を説明するフローチャートである。
【図１１】点広がり関数の推定の他の例を説明する図である。
【図１２】点広がり関数の推定のさらに他の例を説明する図である。
【図１３】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図４）
２．第２実施の形態：画像処理装置（図５および図６）
３．第３実施の形態：画像処理装置（図７および図８）
４．第４実施の形態：画像処理装置（図９および図１０）
５．第１実施の形態乃至第４実施の形態の他の例（図１１および図１２）
６．第５実施の形態：コンピュータ（図１３）
【００１８】
＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００１９】
図１の画像処理装置１０は、分割部１１、変換部１２、検出部１３、除外部１４、推定部１５、および復元部１６により構成される。画像処理装置１０は、ブラインドデコンボリューションにより、劣化画像から復元画像を生成する。
【００２０】
具体的には、画像処理装置１０の分割部１１は、外部から入力される劣化画像を所定のサイズの変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。
【００２１】
変換部１２は、変換用領域ごとに、分割部１１から供給される劣化画像に対して離散コサイン変換（DCT（Discrete Cosine Transform））を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。
【００２２】
検出部１３は、変換部１２から供給される各変換用領域の係数行列に基づいて、劣化画像から、係数行列の１次の成分の割合が閾値以下である変換用領域を、繰り返しパターンとして検出する。
【００２３】
具体的には、検出部１３は、変換用領域ごとに、以下の式（１）により、係数行列に基づいて評価値を算出する。
【００２４】
【数１】
2015186511.tif 000003
【００２５】
式（１）において、Scoreは評価値を表し、Ｘi,jは、係数行列のうちのi行j列の係数を表す。式(１)によれば、評価値として、直流成分を除いた係数行列のうちの１次の成分の割合が計算される。
【００２６】
ここで、離散コサイン変換は、１次の基底が１つのエッジを含む領域に対応し、２次以上の基底が少なくとも２つのエッジを含む領域に対応する行列である。即ち、離散コサイン変換の２次以上の基底は、繰り返しパターンを含む領域に対応する。従って、評価値が小さいほど、即ち１次の成分の割合が小さいほど、変換用領域は、繰り返しパターンを含む領域である可能性が高い。よって、検出部１３は、評価値が閾値以下である変換用領域を、繰り返しパターンとして検出する。検出部１３は、繰り返しパターンとして検出された変換用領域の位置を表す繰り返しパターン情報を除外部１４に供給する。
【００２７】
除外部１４は、検出部１３から供給される繰り返しパターン情報に基づいて、外部から入力される劣化画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。なお、除外部１４は、マスキングではなく、劣化画像内の繰り返しパターンを所定の色（例えば黒色）にすることにより、繰り返しパターンを除外するようにしてもよい。除外部１４は、繰り返しパターンが除外された劣化画像を推定部１５に供給する。
【００２８】
推定部１５は、除外部１４から供給される繰り返しパターンが除外された劣化画像を、変換用領域と同一のサイズの推定用領域に分割する。推定部１５は、繰り返しパターンが除外された劣化画像を用いて、推定用領域ごとに変換用領域と同一のサイズの点広がり関数の推定を行う。点広がり関数の推定方法としては、非特許文献１に記載されているブラインドデコンボリューションにおける手法などを採用することができる。また、点広がり関数のサイズは、例えば、外部から予め入力される。推定部１５は、推定された点広がり関数を復元部１６に供給する。
【００２９】
復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、外部から入力される劣化画像から復元画像を生成する。復元画像の生成方法としては、ウィーナーフィルタ法やリチャードソン・ルーシー法などのノンブラインドデコンボリューション(non-blind deconvolution)における手法を採用することができる。この場合、復元部１６は、推定部１５から供給される点広がり関数をそのまま用いて復元画像を生成する。
【００３０】
また、復元画像の生成方法としては、ブラインドデコンボリューションにおける手法を用いることもできる。この場合、復元部１６は、点広がり関数を初期値として点広がり関数を求め、その点広がり関数を用いて復元画像を生成する。復元部１６は、復元画像を出力する。
【００３１】
（ブラインドデコンボリューションの説明）
図２は、ブラインドデコンボリューションを説明する図である。
【００３２】
なお、図２において、波形は、輝度信号の１次元の断面を表している。
【００３３】
ブラインドデコンボリューションでは、劣化画像における劣化が線形性を持つと仮定され、劣化画像と劣化のない理想的な画像の関係が、以下の式（２）で定義される。
【００３４】
【数２】
2015186511.tif 000004
【００３５】
式（２）において、ｂは劣化画像、lは理想的な画像、kは劣化を表す点広がり関数、＊は畳み込み積分を表す。Ｂはフーリエ変換後の劣化画像、Ｌはフーリエ変換後の理想的な画像、Ｋはフーリエ変換後の劣化を表す点広がり関数を表す。
【００３６】
式（２）によれば、劣化画像は、理想的な画像と劣化を表す点広がり関数の畳み込み積分によって求められる。なお、式（２）では、ノイズの影響は無視されている。
【００３７】
ブラインドデコンボリューションでは、劣化画像のみが既知であり、点広がり関数と理想的な画像は未知である。従って、点広がり関数と理想的な画像を同時に求めることは悪条件問題に相当する。よって、式（２）の条件下では、解の不定性により点広がり関数と理想的な画像を同時に求めることは難しい。特に劣化画像に繰り返しパターンが含まれる場合、右辺における乗算の展開の仕方によって点広がり関数に重大な誤差が生じる場合がある。
【００３８】
例えば、図２に示すように、劣化画像が繰り返しパターンを含み、劣化画像の輝度信号の波形が図２の左辺で示す波形である場合、理想的な画像および点広がり関数の組み合わせとしては、図２の右辺で示す２つの組み合わせのいずれかが求められ得る。
【００３９】
しかしながら、劣化画像に含まれる繰り返しパターンが、理想的な画像においても存在するものである場合、図２の右辺の上段の組み合わせが正解であり、下段の組み合わせは失敗である。従って、この場合、図２の右辺の下段の組み合わせが求められると、点広がり関数に重大な誤差が生じる。その結果、点広がり関数を用いて生成された復元画像の画質が劣化する。
【００４０】
そこで、画像処理装置１０は、劣化画像の繰り返しパターンを除外し、繰り返しパターンが除外された劣化画像を用いて点広がり関数を推定することにより、点広がり関数を高精度で推定する。
【００４１】
（点広がり関数の推定の説明）
図３は、図１の推定部１５による点広がり関数の推定を説明する図である。
【００４２】
図３のＡおよび図３のＢの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０の推定用領域２１ごとに点広がり関数の推定を行う。しかしながら、推定用領域２１のサイズが変換用領域のサイズと同一であるため、繰り返しパターンとして除外された変換用領域(以下、除外領域という)２２を推定用領域２１として点広がり関数は推定することができない。
【００４３】
従って、図３のＡおよび図３のＢの中央に示すように、推定部１５により推定される点広がり関数に対応する推定用領域２１は、除外領域２２以外の領域となる。よって、推定部１５は、例えば、図３のＡの右側に示すように、周囲（例えば上下左右）の除外領域２２以外の推定用領域２１の点広がり関数から線形補間(バイリニア法)などを用いて、除外領域２２の点広がり関数を求める。この場合、画像内の位置によって点広がり関数が異なる（点広がり関数がSpace_Variantである）場合であっても、正確に点広がり関数を推定することができる。
【００４４】
なお、推定部１５は、例えば、図３のＢの右側に示すように、除外領域２２以外の推定用領域２１の点広がり関数の平均値を、全ての推定用領域２１の点広がり関数に決定するようにすることもできる。
【００４５】
（画像処理装置の処理の説明）
図４は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置１０に劣化画像が入力されたとき、開始される。
【００４６】
図４のステップＳ１１において、画像処理装置１０の分割部１１は、外部から入力された劣化画像を変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。
【００４７】
ステップＳ１２において、変換部１２は、変換用領域ごとに、分割部１１から供給される劣化画像に対して離散コサイン変換を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。
【００４８】
ステップＳ１３において、検出部１３は、変換用領域ごとに、上述した式（１）により、係数行列に基づいて評価値を算出する。ステップＳ１４において、検出部１３は、算出された評価値が閾値以下である変換用領域を、繰り返しパターンとして検出する。検出部１３は、繰り返しパターンとして検出された変換用領域の位置を表す繰り返しパターン情報を除外部１４に供給する。
【００４９】
ステップＳ１５において、除外部１４は、検出部１３から供給される繰り返しパターン情報に基づいて、外部から入力された劣化画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。除外部１４は、繰り返しパターンが除外された劣化画像を推定部１５に供給する。
【００５０】
ステップＳ１６において、推定部１５は、除外部１４から供給される繰り返しパターンが除外された劣化画像を、推定用領域に分割する。ステップＳ１７において、推定部１５は、繰り返しパターンが除外された劣化画像を用いて、推定用領域ごとに点広がり関数の推定を行う。推定部１５は、推定された点広がり関数を復元部１６に供給する。
【００５１】
ステップＳ１８において、復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、劣化画像から復元画像を生成し、出力する。そして、処理は終了する。
【００５２】
以上のように、画像処理装置１０は、劣化画像から繰り返しパターンを除外し、繰り返しパターンが除外された劣化画像を用いて点広がり関数を推定する。従って、点広がり関数を高精度で推定することができる。その結果、点広がり関数を用いて生成される復元画像の画質を向上させることができる。また、劣化画像に繰り返しパターンが含まれるかどうかによらず点広がり関数を高精度で推定することができるため、点広がり関数推定結果の安定性が向上する。
【００５３】
また、推定用領域のサイズが変換用領域のサイズと同一であるので、繰り返しパターンを除外することにより、点広がり関数を推定する領域が削減され、推定処理の速度が向上する。
【００５４】
また、画像処理装置１０は、上述した式（１）により求められる評価値が閾値以下である変換用領域を繰り返しパターンとして検出する。従って、画像処理装置１０は、ブラインドデコンボリューションにおける点広がり関数の推定方法で最も精度良く点広がり関数を推定可能な単一（一直線）のエッジのみを含む領域を、繰り返しパターン以外の領域として残すことができる。その結果、点広がり関数の精度が向上する。
【００５５】
さらに、画像処理装置１０では、変換用領域と点広がり関数のサイズが同一であるため、係数行列の１次の成分の割合に基づいて、点広がり関数より小さい周期の繰り返しパターンを検出することができる。従って、点広がり関数の推定に影響しない、点広がり関数より大きい周期の繰り返しパターンが無駄に除外されることを防止することができる。
【００５６】
＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図５は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【００５７】
図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５８】
図５の画像処理装置３０の構成は、新たに仮復元部３１が設けられる点、および、除外部１４、復元部１６の代わりに、除外部３２、復元部３３が設けられる点が、図１の構成と異なる。画像処理装置３０は、劣化画像から仮の復元画像を生成し、仮の復元画像から最終的な復元画像を生成する。
【００５９】
具体的には、画像処理装置３０の仮復元部３１は、ショックフィルタ等のフィルタ処理やブラインドデコンボリューションにより、外部から入力される劣化画像から仮の復元画像を生成する。仮復元部３１は、生成された仮の復元画像を、分割部１１、除外部３２、および復元部３３に供給する。
【００６０】
除外部３２は、検出部１３から供給される繰り返しパターン情報に基づいて、仮復元部３１から供給される仮の復元画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。なお、除外部３２は、マスキングではなく、仮の復元画像内の繰り返しパターンを所定の色（例えば黒色）にすることにより、繰り返しパターンを除外するようにしてもよい。除外部３２は、繰り返しパターンが除外された仮の復元画像を推定部１５に供給する。
【００６１】
復元部３３は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、仮復元部３１から供給される仮の復元画像から復元画像を生成する。復元画像の生成方法としては、復元部１６における手法と同様の手法を採用することができる。復元部３３は、復元画像を出力する。
【００６２】
（画像処理装置の処理の説明）
図６は、図５の画像処理装置３０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置３０に劣化画像が入力されたとき、開始される。
【００６３】
図６のステップＳ３０において、画像処理装置３０の仮復元部３１は、ショックフィルタ等のフィルタ処理やブラインドデコンボリューションにより、外部から入力された劣化画像から仮の復元画像を生成する。仮復元部３１は、生成された仮の復元画像を、分割部１１、除外部３２、および復元部３３に供給する。
【００６４】
ステップＳ３１において、分割部１１は、仮復元部３１から供給される仮の復元画像を変換用領域に分割する。分割部１１は、分割された各変換用領域の仮の復元画像を変換部１２に供給する。
【００６５】
ステップＳ３２において、変換部１２は、変換用領域ごとに、分割部１１から供給される仮の復元画像に対して離散コサイン変換を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。
【００６６】
ステップＳ３３およびＳ３４の処理は、図４のステップＳ１３およびＳ１４の処理と同様であるので、説明は省略する。
【００６７】
ステップＳ３５において、除外部３２は、検出部１３から供給される繰り返しパターン情報に基づいて、仮復元部３１から供給される仮の復元画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。除外部３２は、繰り返しパターンが除外された仮の復元画像を推定部１５に供給する。
【００６８】
ステップＳ３６において、推定部１５は、除外部３２から供給される繰り返しパターンが除外された仮の復元画像を、推定用領域に分割する。ステップＳ３７において、推定部１５は、繰り返しパターンが除外された仮の復元画像を用いて、推定用領域ごとに点広がり関数の推定を行う。推定部１５は、推定された点広がり関数を復元部３３に供給する。
【００６９】
ステップＳ３８において、復元部３３は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、仮復元部３１から供給される仮の復元画像から復元画像を生成し、出力する。そして、処理は終了する。
【００７０】
＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図７は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【００７１】
図７に示す構成のうち、図１や図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７２】
図７の画像処理装置５０の構成は、仮復元部３１が新たに設けられる点が図１の構成と異なる。画像処理装置５０は、仮の復元画像から繰り返しパターンを検出し、劣化画像から繰り返しパターンを除外する。
【００７３】
（画像処理装置の処理の説明）
図８は、図７の画像処理装置５０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置５０に劣化画像が入力されたとき、開始される。
【００７４】
図８のステップＳ５０乃至Ｓ５４の処理は、図６のステップＳ３０乃至Ｓ３４の処理と同様であるので、説明は省略する。
【００７５】
ステップＳ５５乃至Ｓ５８の処理は、図４のステップＳ１５乃至Ｓ１８の処理と同様であるので、説明は省略する。
【００７６】
＜第４実施の形態＞
（画像処理装置の第４実施の形態の構成例）
図９は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【００７７】
図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７８】
図９の画像処理装置７０の構成は、分割部１１の代わりに分割部７１が設けられる点、および、新たに判定部７２が備えられる点が図１の構成と異なる。画像処理装置７０は、劣化画像から生成された復元画像を新たな劣化画像として復元を繰り返すことにより、最終的な復元画像を生成する。
【００７９】
画像処理装置７０の分割部７１は、外部から入力される劣化画像または判定部７２から供給される劣化画像を、変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。
【００８０】
判定部７２は、復元部１６により生成された復元画像が収束したかどうかを判定する。例えば、判定部７２は、現在の復元により生成された復元画像と、１つ前の復元により生成された復元画像との差分が閾値以下である場合、復元画像が収束したと判定し、閾値より大きい場合、復元画像が収束していないと判定する。
【００８１】
判定部７２は、復元画像が収束していないと判定された場合、その復元画像を劣化画像として分割部７１に供給する。これにより、復元が繰り返される。一方、復元画像が収束したと判定された場合、判定部７２は、その復元画像を最終的な復元画像として出力する。
【００８２】
（画像処理装置の処理の説明）
図１０は、図９の画像処理装置７０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置７０に劣化画像が入力されたとき、開始される。
【００８３】
図１０のステップＳ７１において、画像処理装置７０の分割部７１は、外部から入力される劣化画像または判定部７２から供給される劣化画像を変換用領域に分割する。分割部７１は、分割された各変換用領域の劣化画像を変換部１２に供給する。
【００８４】
ステップＳ７２乃至Ｓ７７の処理は、図４のステップＳ１２乃至Ｓ１７の処理と同様であるので、説明は省略する。
【００８５】
ステップＳ７８において、復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、劣化画像から復元画像を生成し、判定部７２に供給する。
【００８６】
ステップＳ７９において、判定部７２は、復元部１６から供給される復元画像が収束したかどうかを判定する。ステップＳ７９で復元画像が収束していないと判定された場合、ステップＳ８０において、判定部７２は、その復元画像を劣化画像として分割部７１に供給する。そして、処理はステップＳ７１に戻り、復元画像が収束したと判定されるまで、ステップＳ７１乃至Ｓ８０の処理が繰り返される。
【００８７】
一方、ステップＳ７９で復元画像が収束したと判定された場合、ステップＳ８１において、判定部７２は、その復元画像を最終的な復元画像として出力し、処理を終了する。
【００８８】
以上のように、画像処理装置７０は、復元画像を用いて繰り返しパターンを検出するので、正確に繰り返しパターンを検出することができる。
【００８９】
なお、除外および復元に用いられる画像は、判定部７２から供給される復元画像であってもよい。この場合、劣化画像に対して繰り返し復元が行われるため、復元の精度が高まり、復元画像の画質が向上する。また、第４実施の形態では、復元画像が収束するまで復元が繰り返されたが、所定の回数だけ復元が繰り返されるようにしてもよい。
【００９０】
また、第１乃至第４実施の形態では、推定用領域ごとに点広がり関数の推定が行われるようにしたが、劣化画像全体に対して点広がり関数の推定が行われるようにしてもよい。この場合、図１１のＡおよび図１１のＢの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０ごとに点広がり関数の推定を行う。
【００９１】
このとき、推定部１５は、例えば、図１１のＡに示すように、劣化画像２０内の除外領域２２以外の領域を用いて推定を行う。または、推定部１５は、図１１のＢに示すように、劣化画像２０内の除外領域２２の境界に対してぼかし等の境界処理を行い、その結果得られるマスキング境界の目立たない画像を用いて推定を行う。以上のように、劣化画像全体に対して点広がり関数の推定が行われる場合、劣化画像全体に対する推定の回数が少ないため、高速で復元画像を生成することができる。
【００９２】
また、第１乃至第４実施の形態では、推定用領域のサイズが変換用領域のサイズと同一であるようにしたが、推定用領域のサイズは、点広がり関数のサイズ以上であれば、これに限定されない。推定用領域のサイズが変換用領域のサイズと異なる場合、図１２のＡ乃至図１２のＤの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０の推定用領域１０１ごとに点広がり関数の推定を行う。
【００９３】
このとき、推定部１５は、図１２のＡおよび図１２のＢに示すように、劣化画像２０内の除外領域２２以外の領域を用いて推定を行う。または、図１２のＣおよび図１２のＤに示すように、劣化画像２０内の除外領域２２の境界に対して境界処理を行い、その結果得られるマスキング境界の目立たない画像を用いて推定を行う。
【００９４】
推定部１５は、例えば、図１２のＡおよび図１２のＣに示すように、推定用領域１０１ごとの点広がり関数を最終的な点広がり関数として出力する。この場合、画像内の位置によって点広がり関数が異なる（点広がり関数がSpace_Variantである）場合であっても、正確な点広がり関数を出力することができる。
【００９５】
なお、推定部１５は、図１２のＢおよび図１２のＤに示すように、各推定用領域１０１の点広がり関数の平均値を最終的な点広がり関数として出力することもできる。
【００９６】
また、第１乃至第４実施の形態では、変換用領域のサイズが点広がり関数のサイズと同一であるようにしたが、変換用領域のサイズは、点広がり関数のサイズ以上であれば、点広がり関数のサイズと同一でなくてもよい。
【００９７】
変換用領域のサイズが点広がり関数のサイズより大きい場合には、評価値は、例えば、以下の式（３）により求められる。
【００９８】
【数３】
2015186511.tif 000005
【００９９】
式（３）において、Scoreは評価値を表し、Ｘi,jは、係数行列のうちのi行j列の係数を表す。また、thは、２×変換用領域のサイズｌpatch÷点広がり関数のサイズlpsfである。式（３）によれば、評価値として、直流成分を除いた係数行列のうちの次数が所定値以下の成分の割合が計算される。そして、評価値が閾値以下である変換用領域が、繰り返しパターンとして検出される。
【０１００】
＜第５実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０１】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０２】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１０４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１０５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１０７】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１０８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１１０】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１１】
例えば、点広がり関数の推定方法は、繰り返しパターンによって推定誤差が生じる方法であれば、非特許文献１に記載されているブラインドデコンボリューションにおける手法に限定されない。
【０１１２】
本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１５】
なお、本開示は、以下のような構成もとることができる。
【０１１６】
（１）
画像から繰り返しパターンを除外する除外部と、
前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部と
を備える画像処置装置。
（２）
前記画像から前記繰り返しパターンを検出する検出部
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記画像に対して、１次の基底が１つのエッジを含む領域に対応する変換を行う変換部
をさらに備え、
前記検出部は、前記変換部による変換の結果に基づいて、前記繰り返しパターンを検出する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記変換部は、前記画像を分割した変換用領域ごとに、前記画像に対して前記変換を行い、
前記検出部は、前記変換部による変換の結果得られる変換行列の１次の成分の割合が閾値以下である変換用領域を、前記繰り返しパターンとして検出する
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記推定部は、前記画像を分割した推定用領域ごとに前記点広がり関数を推定し、
前記変換用領域のサイズは、前記点広がり関数のサイズと同一である
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記変換は、離散コサイン変換である
ように構成された
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記画像は、劣化後の画像から劣化前の画像を復元した復元画像である
ように構成された
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記画像から劣化前の前記画像を復元した復元画像から前記繰り返しパターンを検出する検出部
をさらに備える
前記（１）に記載の画像処理装置。
（９）
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備え、
前記除外部は、前記復元画像から前記繰り返しパターンを除外する
前記（８）に記載の画像処理装置。
（１０）
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
前記（９）に記載の画像処理装置。
（１２）
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備える
ように構成された
前記（８）に記載の画像処理装置。
（１３）
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
前記（１２）に記載の画像処理装置。
（１４）
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
前記（１２）に記載の画像処理装置。
（１５）
画像処理装置が、
画像から繰り返しパターンを除外する除外ステップと、
前記除外ステップの処理により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定ステップと
含む画像処理方法。
【符号の説明】
【０１１７】
１０  画像処理装置，  １２  変換部，  １３  検出部，  １４  除外部，  １５  推定部，  １６  復元部，  ３０  画像処理装置，  ５０  画像処理装置，  ７０  画像処理装置
【図１】
2015186511.tif 000006
【図２】
2015186511.tif 000007
【図３】
2015186511.tif 000008
【図４】
2015186511.tif 000009
【図５】
2015186511.tif 000010
【図６】
2015186511.tif 000011
【図７】
2015186511.tif 000012
【図８】
2015186511.tif 000013
【図９】
2015186511.tif 000014
【図１０】
2015186511.tif 000015
【図１１】
2015186511.tif 000016
【図１２】
2015186511.tif 000017
【図１３】
2015186511.tif 000018
【国際調査報告】
2015186511.tif 000019
2015186511.tif 000020
2015186511.tif 000021
2015186511.tif 000022