(57)【要約】【課題】既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減する。【解決手段】画像復元装置３において、原画像推定部２３は、撮影された劣化画像の画素値と推定原画像およびＰＳＦに基づき推定された劣化画像の画素値との差分、ならびに推定原画像における画素値の勾配のスパース性を評価する関数に基づき、推定原画像の尤もらしさを評価し、スパース性を評価する関数には重みパラメータによる重み付けがなされ、１つの代表カラーチャネルの復元処理において更新された重みパラメータを補助カラーチャネルの復元処理に用いることにより、補助カラーチャネルにおける復元処理の演算量を低減する。【選択図】図４
2014099048.tif 000002
【特許請求の範囲】
【請求項１】
既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、
前記劣化画像が入力される画像入力部と、
前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、
前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、
前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする画像復元装置。
【請求項２】
前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記代表カラーチャネルは、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルであることを特徴とする請求項１または請求項２に記載の画像復元装置。
【請求項４】
前記劣化画像は、ＲＧＢカラー画像であり、前記代表カラーチャネルがＧチャネルからなると共に、前記補助カラーチャネルがＲチャネルおよびＢチャネルからなることを特徴とする請求項１から請求項３のいずれかに記載の画像復元装置。
【請求項５】
前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、
前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、
前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする請求項１に記載の画像復元装置。
【請求項６】
既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、
前記劣化画像が入力される画像入力ステップと、
前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、
前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップと
を含み、
前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、
前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、
更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された１つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像を復元するための画像復元装置および画像復元方法に関し、特に、撮影過程で生じた画像のボケ等を修復するのに好適な画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等を用いた撮影では、焦点ボケやカメラブレ等に起因する画像のボケが生じる場合がある。このボケが生じた劣化画像は、原画像（理想画像）と、この原画像を劣化させる空間フィルタを表す点拡がり関数（以下「ＰＳＦ（Point Spread Function）」という。）との畳み込み（Convolution）によって得られると考えることができる。従来、劣化画像から原画像を復元する方法として、理論上得られた又は実測された既知のＰＳＦを用いて原画像を復元する非ブラインド法（Non-Blind Deconvolution）が知られており、例えば、逆畳み込み（Deconvolution）を行う逆フィルタ（Inverse filter）およびウィーナフィルタ（Wiener filter）が知られている。
【０００３】
また、非ブラインド法としては、原画像の推定に際し、ベイズの定理を利用し確率統計的手法で原画像の最尤推定を行うＬＲ（Lucy-Richardson）法（非特許文献１参照）が知られており、さらに、ＬＲ法のように所定の反復処理を必要とする原画像の推定処理をＩＲＬＳアルゴリズムによって複数回繰り返すことにより、原画像の復元精度を高めるようにした方法（以下、「ＩＲＬＳ適用法」という。）が知られている（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】W.H.Richardson,"Bayesian-Based Iterative Method of Image Restoration",Journal of Optical Society of America,Vol.62,No.1,1972
【非特許文献２】A. Levin, et al. "Deconvolution using natural image priors", http://groups.csail.mit.edu/graphics/CodedAperture/SparseDeconv-LevinEtAl07.pdf, (a supplemental document of "Image and Depth from a Conventional Camera with a Coded Aperture", ACM SIGGRAPH 2007)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献２に記載の従来技術によってカラー劣化画像を復元する場合、原画像を推定するための反復処理の繰り返しステップをカラーチャネル毎に行う必要があるため、復元処理の演算量が膨大となり、処理時間や処理負荷が大きくなるという問題があった。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とした画像復元装置および画像復元方法を提供することを主目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像復元装置は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
【発明の効果】
【０００８】
このように本発明によれば、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することが可能となるという優れた効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像復元装置を備えた画像処理システムの概略構成を示すブロック図
【図２】図１に示した画像復元装置による画像復元方法の流れを示すフロー図
【図３】図２中の代表チャネルに関する復元処理（ＳＴ１０３）の詳細を示すフロー図
【図４】図２中の補助チャネルに関する復元処理（ＳＴ１０４）の詳細を示すフロー図
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の発明は、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元装置であって、前記劣化画像が入力される画像入力部と、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定部と、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部とを備え、前記原画像推定部は、複数の前記カラーチャネルから選択された１つの代表カラーチャネルについて、所定のパラメータを含む評価指標に基づき前記推定原画像の尤もらしさを評価する一方、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについての前記推定原画像が尤もらしいと評価された際の前記パラメータの値を用いて、前記評価指標に基づき前記推定原画像の尤もらしさを評価することを特徴とする。
【００１１】
この第１の発明に係る画像復元装置によれば、上記第１の発明において、既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルについての推定原画像の尤もらしさを評価する処理において更新されたパラメータに基づき補助カラーチャネルの処理を実施するため、復元処理の演算量を低減することが可能となる。
【００１２】
また、第２の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
【００１３】
この第２の発明に係る画像復元装置によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの処理において更新された重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
【００１４】
また、第３の発明では、上記第１または第２の発明において、前記代表カラーチャネルが、複数の前記カラーチャネルのうち高周波数成分の最も多いカラーチャネルである構成とする。
【００１５】
この第３の発明に係る画像復元装置によれば、高周波数成分の大小に基づき重要度の高いカラーチャネルを代表カラーチャネルとして選択できるため、補助カラーチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
【００１６】
また、第４の発明では、上記第１から第３の発明のいずれかにおいて、前記劣化画像は、ＲＧＢカラー画像であり、前記代表カラーチャネルがＧチャネルからなると共に、前記補助カラーチャネルがＲチャネルおよびＢチャネルからなる構成とする。
【００１７】
この第４の発明に係る画像復元装置によれば、視感度の高いＧチャネル（緑色）を代表チャネルとして指定することにより、ＲチャネルおよびＢチャネルにおける反復処理の繰り返しステップを省略した場合でも高精度な復元処理が可能となる。
【００１８】
また、第５の発明では、前記評価指標は、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数とを含み、前記パラメータは、前記スパース性を評価する関数に対する重み付けにより、前記推定原画像の前記評価において画素毎に前記差分との相対的な優先度合いを定める重みパラメータであり、前記原画像推定部は、前記代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施する構成とする。
【００１９】
この第５の発明に係る画像復元装置によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルについて最終的に更新された推定原画像から求めた重みパラメータに基づき補助カラーチャネルの処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。特に、代表チャネルの最終復元画像を利用するため、補助カラーチャネルでの復元精度の向上が期待できる。
【００２０】
また、第６の発明では、既知の点拡がり関数に基づきカラーの劣化画像を復元する画像復元方法であって、前記劣化画像が入力される画像入力ステップと、前記劣化画像の劣化前の原画像を推定することにより、カラーチャネル毎の推定原画像を取得する原画像推定ステップと、前記カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成ステップとを含み、前記原画像推定ステップでは、前記入力された劣化画像の画素値と前記推定原画像および前記点拡がり関数に基づき推定された劣化画像の画素値との差分、ならびに前記推定原画像における画素値の勾配のスパース性を評価する関数に基づき、前記推定原画像の尤もらしさを評価し、前記スパース性を評価する関数には、前記推定原画像の前記評価おいて画素毎に前記差分との相対的な優先度合いを定める重みパラメータによる重み付けがなされ、更に、前記原画像推定ステップでは、複数のカラーチャネルから選択された１つの代表カラーチャネルについて、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を行うと共に、最終的に更新された前記推定原画像に基づき前記重みパラメータを更新して、当該更新された重みパラメータに基づき前記反復処理を新たに開始する一連の処理を所定回数繰り返し、前記代表カラーチャネル以外の補助カラーチャネルについては、前記代表カラーチャネルについて最終的に更新された前記重みパラメータに基づき、前記推定原画像が尤もらしいと評価されるまで、前記推定原画像を順次更新する反復処理を実施することを特徴とする画像復元方法である。
【００２１】
この第６の発明に係る画像復元方法によれば、ＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重みパラメータに基づき補助カラーチャネルの復元処理を実施するため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は本発明に係る画像復元装置を備えた画像処理システムの概略構成を示すブロック図である。画像処理システム１は、撮影された劣化画像（撮影時の焦点ボケやカメラブレ等に起因するボケが生じた画像）の復元処理を行って原画像を取得するものであり、被写体の撮影によりデジタルカラー画像（ここでは、ＲＧＢ画像）を生成する撮像装置２と、この撮像装置２から入力されたデジタルカラー画像が劣化画像である場合に、その劣化画像の復元処理を行う画像復元装置３とを備えている。
【００２４】
撮像装置２は、デジタルスチルカメラからなるが、少なくとも被写体像をデジタル画像データとして記録可能な限りにおいて、デジタルビデオカメラなど他の公知の装置を撮像装置２として用いることができる。
【００２５】
画像復元装置３は、画像処理機能を有するコンピュータシステムからなり、撮像装置２から送信された画像データが図示しないインタフェースを介して入力される画像入力部１１と、入力された画像データ（劣化画像）から原画像を復元する画像復元部１２と、復元された原画像からディスプレイ表示用の表示データを生成する表示データ生成部１３と、原画像をユーザに対して表示するディスプレイ等からなる表示部１４と、原画像を記録する記憶装置からなる記録部１５とから主として構成される。
【００２６】
画像入力部１１は、撮像装置２からの画像データを図示しないメモリに格納し、必要に応じてその画像データを画像復元部１２に出力する。画像復元部１２は、理論上得られた又は実測された既知のＰＳＦを取得するＰＳＦ取得部２１と、複数のカラーチャネル（成分毎に分離された色情報であり、ここでは、Ｒチャネル、Ｇチャネル、Ｂチャネルからなる。）から１つの代表チャネルを選択する代表チャネル選択部２２と、各カラーチャネルについて、劣化画像が劣化する前の原画像を推定することにより、推定された原画像（以下、「推定原画像」という。）を取得する原画像推定部２３と、カラーチャネル毎の推定原画像を合成することにより、復元画像を生成する復元画像合成部２４とを有している。
【００２７】
ＰＳＦ取得部２１は、ここでは、撮像装置２が備える図示しないセンサ（加速度センサ等）によって検出される手振れ情報に基づきＰＳＦを取得する。ただし、これに限らず、他の公知の方法によってＰＳＦを取得してもよい。
【００２８】
画像復元装置３の上記各部による処理機能の少なくとも一部は、画像処理アプリケーションなどのプログラムを図示しないＣＰＵで実行するソフトウェア処理によって実現することができる。ただし、それらの処理機能はソフトウェア処理に基づくものに限定されず、同様の処理を実行可能なハードウェアを用いて実現してもよい。
【００２９】
図２は画像復元装置による画像復元方法の流れを示すフロー図である。画像復元装置３では、撮像装置２において撮影されたカラー画像のデータが画像入力部１１に順次入力される（ＳＴ１０１）。画像データが入力されると、代表チャネル選択部２２が、入力された画像データにおける空間周波数の情報を取得し、高周波成分の割合が最も高いカラーチャネル（例えば、赤みがかった劣化画像におけるＲチャネル）を代表カラーチャネルとして選択する（ＳＴ１０２）。同時に、代表カラーチャネル以外の他のカラーチャネル（例えば、ＧチャネルおよびＢチャネル）は補助カラーチャネルとして選択される。
【００３０】
なお、ステップＳＴ１０２における代表カラーチャネルの選択は、必ずしも画像データの入力毎に行う必要はなく、一連の動画データ等の場合には同じ代表カラーチャネルを用いることができる。或いは、選択すべき代表カラーチャネルを予めユーザが指定しておくことも可能である。例えば、ユーザは、緑色の視感度の高さを考慮してＧチャネルを代表チャネルとして指定することができる。
【００３１】
次に、画像復元装置３では、ステップＳＴ１０２において選択された代表カラーチャネルについて、原画像推定部２３が原画像の復元処理を実施する（ＳＴ１０３）。この代表カラーチャネルの復元処理は、従来のＩＲＬＳ適用法にしたがって実施される。続いて、原画像推定部２３は、各補助カラーチャネルについて原画像の復元処理をそれぞれ実施する（ＳＴ１０４）。詳細は後述するが、各補助カラーチャネルに関するステップＳＴ１０４では、代表カラーチャネルに関するステップＳＴ１０３の処理結果を利用することにより復元処理が効率化される。その後、画像復元装置３では、復元画像合成部２６が、ステップＳＴ１０３およびＳＴ１０４において出力された各カラーチャネルの推定原画像を合成し（ＳＴ１０５）、その合成されたカラー復元画像が表示部１４に表示されると共に、記録部１５に記録される（ＳＴ１０６）。
【００３２】
ここで、上述のＩＲＬＳ適用法により劣化画像を復元する原理について簡単に説明する。劣化前の原画像ｘおよび撮影された劣化画像ｙは、既知のＰＳＦであるｆに基づくＮ×Ｎのコンボリューション行列Ｃｆにより、次の式（１）のように表すことができる。
【００３３】
【数１】
2014099048.tif 000003
【００３４】
ＩＲＬＳ適用法では、上記式（１）を満たす原画像ｘを推定するために、次の式（２）に示すような事後確率を最大とするｘを求める。
【００３５】
【数２】
2014099048.tif 000004
【００３６】
ここで、Ｐ（ｙ｜ｘ）については、劣化画像に含まれるノイズが独立に同一の確率分布に従う分散ηのガウスノイズであるとすると、次の式（３）のように表すことができる。
【００３７】
【数３】
2014099048.tif 000005
【００３８】
更に、ｘの事前確率Ｐ（ｘ）は、フィルタのセットｇｋを用いて次の式（４）のように表すことができる。ここで、所定の関数ρに関し、ｉは画素を表し、ｇｉ，ｋは画素ｉを中心としたｋ番目のフィルタを表す。
【００３９】
【数４】
2014099048.tif 000006
【００４０】
上記式（２）〜式（４）の対数をとることにより、推定原画像ｘの尤もらしさを評価する評価値を次の式（５）のように表すことができる。
【００４１】
【数５】
2014099048.tif 000007
【００４２】
上記式（５）において、第１項は、推定原画像ｘをＰＳＦにより劣化させた画像と撮影された画像（劣化画像ｙ）との差分（残差）を表し、第２項は、推定原画像ｘにおける輝度値（画素値）の勾配がどの程度のスパース性（０成分が多いという性質）を有しているのかを評価する関数である。つまり、ｘ（原画像）にｆ（ＰＳＦ）を畳み込んだＣｆｘとｙ（劣化画像）との差が小さいこと（評価指標１）、及びｘ（原画像）の勾配分布がスパースであること（評価指標２）に基づき評価値を定義し、評価値を最小化するｘを求める。なお、式（５）において評価指標２に付加された重み係数ｗ（＝αη２）は、評価指標１との相対的な優先度合いを定めるスカラ値である。
【００４３】
そこで、上記式（５）の微分を０にするｘを求める。式（５）のｘについての微分の部分式を次の式（６）とすると、線形方程式Ａｘ＝ｂについて解く問題に帰着することができ、これにより、後に詳述するＣＧ法（共役勾配法）によってｘを推定することが可能となる。
【００４４】
【数６】
2014099048.tif 000008
【００４５】
上記式（５）では、重み係数ｗは画像全体に一律に作用し、重み係数ｗを大きくすると、復元画像の輝度勾配が緩やかになる（つまり、鮮鋭感が低下する）。一方、重み係数ｗを小さくする（０に近づける）と、復元画像の輝度勾配が急になる（つまり、鮮鋭感が高くなる）傾向にあるが、原画像のランダムノイズ成分が強調されたり、輪郭回りに波紋状のリンギングノイズが発生したりするという弊害が起こる。そこで、復元画像の中で輝度勾配の大きい画素については復元度合いを弱め（すなわち、スパース性を重視し）、輝度勾配の小さい画素については復元度合いを高める（すなわち、スパース性を軽視する）ように、画素毎に重みを持たせた重み行列Ｗｋ（重みパラメータ）をさらに導入し、復元度合いを画素毎に適切に変更可能としている。
【００４６】
一方で、復元画像の各画素についての輝度勾配の大きさは、復元処理前には未知であり、また、撮影された劣化画像の勾配を流用しても意味がないため、後述するように、ＩＲＬＳアルゴリズムを導入して画像復元ステップを複数回繰り返し、各ステップで求めた復元画像から重み行列Ｗｋを計算することで復元画質を向上させる。
【００４７】
そこで、式（６）における輝度勾配のスパース性を評価する項に重み行列Ｗｋを乗じて次の式（７）とし、線形方程式Ａ’ｘ＝ｂについて解くものとする。
【００４８】
【数７】
2014099048.tif 000009
【００４９】
図３は図２中の代表チャネルに関する復元処理（ＳＴ１０３）の詳細を示すフロー図である。画像復元部１２では、カラー画像データにおける代表チャネル（例えば、Ｇチャネル）についての輝度情報等を取得すると、原画像推定部２３が、上記式（７）における重み行列Ｗｋの値を初期化し（ＳＴ２０１）、更に、推定原画像ｘの初期解を設定する（ＳＴ２０２）。ここでは、ｘ＝ｙ（撮影された劣化画像）として初期解を設定する。
【００５０】
次に、原画像推定部２３は、上記式（７）に基づき残差ｒ（＝Ａ’ｘ−ｂ）を算出し（ＳＴ２０３）、続くステップＳＴ２０４〜ＳＴ２０９において、ＣＧ法に基づく反復処理により推定原画像ｘを順次更新しながら残差ｒが十分に小さくなるまで（すなわち、最終的に更新された推定原画像ｘが尤もらしいと評価されるまで）繰り返す。
【００５１】
ステップＳＴ２０４では、次の式（８）で表されるρが所定の閾値（略０とみなせる値）以下であるか否かによって残差ｒが評価される。
ρ=rTr  ・・・式（８）
【００５２】
原画像推定部２３は、ステップＳＴ２０４において残差ｒが小さくない（ρが閾値を越える）と判定した場合（Ｎｏ）、続くステップＳＴ２０５において、次の式（９）で表される予測ベクトル（修正方向ベクトル）ｐの更新比率（修正係数）βを算出する。ここで、ρｂａｋはρの前回値である。なお、反復処理の初回においては、更新比率βは算出されず、予測ベクトルｐ＝ｒ（初期値）に設定される。
β=ρ/ρbak  ・・・式（９）
【００５３】
続くステップＳＴ２０６では、次の式（１０）に示すように予測ベクトルｐが更新される。ここで、ｐｂａｋはｐの前回値である。なお、反復処理の初回においては、このステップＳＴ２０６は省略される（すなわち、ｐ＝ｒ）。
p=r+βpbak  ・・・式（１０）
【００５４】
続くステップＳＴ２０７では、次の式（１１）に示すように推定原画像ｘの推定解に対する更新比率（修正係数）αが算出される。ここで、ｑ＝Ａ’ｐである。
α=ρ/(pTq)  ・・・式（１１）
【００５５】
続くステップＳＴ２０８では、次の式（１２）に示すように上記予測ベクトルｐおよび更新比率αに基づき推定原画像ｘの推定解が更新される。ここで、ｘｂａｋはｘの前回値である。
x=xbak+αp  ・・・式（１２）
【００５６】
続くステップＳＴ２０９では、次の式（１３）に示すように上記更新比率αに基づき残差ｒが更新され、再びステップＳＴ２０４に戻ってその更新された残差ｒの値が評価される。
r=rbak+αq  ・・・式（１３）
【００５７】
原画像推定部２３は、上記ステップＳＴ２０４〜ＳＴ２０９の反復処理を繰り返し、最終的にステップＳＴ２０４において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第１ステップＳＴ１を終了してステップＳＴ２１０に進む。
【００５８】
ステップＳＴ２１０では、上述の第１ステップＳＴ１の結果に基づき、次の式（１４）によって重み行列Ｗｋが算出される。ここで、ａ、εは定数である。また、Ｄｋ＝Ｃｇｋｘであり、ｘには第１ステップＳＴ１の最終的な値が用いられる。
Wk=(max{|Dk|,ε})a-2   ・・・式（１４）
【００５９】
その後、ＩＲＬＳアルゴリズムの第２ステップＳＴ２として、上記ステップＳＴ２０２およびＳＴ２０３と同様のステップＳＴ２１１およびＳＴ２１２が実施され、更に、上記ステップＳＴ２０４〜ＳＴ２０９と同様の反復処理であるステップＳＴ２１３〜２１８が実施される。
【００６０】
原画像推定部２３は、上記ステップＳＴＳＴ２１３〜２１８の反復処理を繰り返し、最終的にステップＳＴ２１３において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第２ステップＳＴ２を終了してステップＳＴ２１９に進む。
【００６１】
ステップＳＴ２１９では、上記ステップＳＴ２１０と同様に、上述の第２ステップＳＴ２の結果に基づき新たな重み行列Ｗｋが算出される。その後、ＩＲＬＳアルゴリズムの第３ステップＳＴ３として、上記ステップＳＴ２１１および２１２と同様のステップＳＴ２２０および２２１が実施され、更に、上記ステップＳＴ２１３〜ＳＴ２１８と同様の反復処理であるステップＳＴ２２２〜２２７が実施される。
【００６２】
原画像推定部２３は、最終的にステップＳＴ２２２において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、ＩＲＬＳアルゴリズムの第３ステップＳＴ３を終了し、最終的な推定原画像ｘの推定解を代表カラーチャネルに関する復元画像として出力する（ＳＴ２２８）。なお、ここでは、繰り返しステップ数が３回の例（ステップＳＴ１〜ＳＴ３）を示したが、これに限らずステップ数は変更可能である。
【００６３】
図４は図２中の補助チャネルに関する復元処理（ＳＴ１０４）の詳細を示すフロー図である。この補助チャネルに関する復元処理では、上記代表チャネルに関する復元処理の重み行列Ｗｋの情報が利用される。まず、原画像推定部２３は、カラー画像データにおける補助チャネル（例えば、ＲチャネルまたはＢチャネル）についての輝度情報等と共に、上述の代表チャネルに関する復元処理で最終的に更新された（図３中のステップＳＴ２１９で算出された）重み行列Ｗｋの情報を取得する（ＳＴ３０１）。
【００６４】
その後、画像復元部１２では、上述の図３中のステップＳＴ２２０と同様に、補助チャネルに関する推定原画像ｘの初期解が設定され（ステップＳＴ３０２）、続いて図３中のステップＳＴ２２１等と同様に残差ｒが算出される。その後、図３中のステップＳＴ２２２〜ＳＴ２２７等と同様の反復処理であるステップＳＴ３０４〜３０９が実施される。
【００６５】
原画像推定部２３は、最終的にステップＳＴ３０４において残差ｒが十分に小さい（Ｙｅｓ）と判定すると、上述の代表チャネルの場合のように３回のステップを繰り返すことなく、１回のステップにより推定原画像ｘの推定解を復元画像として出力する（ＳＴ３１０）。
【００６６】
なお、ステップＳＴ３０１において図３中のステップＳＴ２１９で算出された重み行列Ｗｋを取得したが、別法として、ＳＴ２２８で出力された復元画像を取得し、この復元画像を用いて前述のＳＴ２１９と同様の方法で算出した重み行列Ｗｋを利用してもよい。ＳＴ２１９で算出された重み行列Ｗｋの算出の元になった復元画像は、代表チャネルの第２ステップＳＴ２で得られた推定画像である。一方、同チャネルのＳＴ３で得られる推定画像（ＳＴ２２８で出力される復元画像）はＳＴ２の推定画像よりも復元精度が良いため、ＳＴ３での推定画像を、補助チャネル用重み行列の算出ソースに使用することで、当該重み行列をさらに適したものにできることが期待できる。
【００６７】
このように、画像復元装置３およびその画像復元方法では、従来のＩＲＬＳ適用法により既知のＰＳＦを用いてカラー劣化画像を復元する際に、代表カラーチャネルの復元処理において更新された重み行列Ｗｋを用いて補助カラーチャネルの復元処理を実施する構成としたため、補助カラーチャネルにおける反復処理の繰り返しステップを省略することが可能となり、復元処理の演算量を低減することが可能となる。
【００６８】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、ＲＧＢ画像を用いた例を示したが、これに限らず他のカラーモデル（例えば、ＹＵＶ）を用いることも可能である。その場合にも、１つのカラーチャネル（例えば、Ｙチャネル）が代表チャネルとして選択され、他のチャネル（例えば、ＵチャネルおよびＶチャネル）が補助チャネルとして選択される。また、補助カラーチャネルの復元処理において流用されるパラメータ（代表カラーチャネルの復元処理で算出されたパラメータ）については、上記実施形態の重み行列Ｗｋに限定されず、復元処理の演算量を低減可能な限りにおいて種々の変更が可能である。なお、上記実施形態に示した本発明に係る画像復元装置および画像復元方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６９】
本発明に係る画像復元装置および画像復元方法は、既知のＰＳＦを用いてカラー劣化画像を復元する際に、復元処理の演算量を低減することを可能とし、特に、撮像過程で生じた画像のボケ等を修復するための画像復元装置および画像復元方法などとして有用である。
【符号の説明】
【００７０】
１  画像処理システム
２  撮像装置
３  画像復元装置
１１  画像入力部
１２  画像復元部
２１  ＰＳＦ取得部
２２  代表チャネル選択部
２３  原画像推定部
【図１】
2014099048.tif 000010
【図２】
2014099048.tif 000011
【図３】
2014099048.tif 000012
【図４】
2014099048.tif 000013