(57)【要約】【課題】点拡がり関数等を良好に推定し得る画像処理装置及び画像処理方法を提供する。【解決手段】画像から第１の領域を検出する第１の領域検出部と、前記第１の領域に類似する第２の領域を前記画像から検出する第２の領域検出部と、前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出する特徴量算出部と、前記特徴量算出部によって算出された前記特徴量に基づいて前記第１の領域又は前記第２の領域を選択する領域選択部と、前記領域選択部によって選択された前記第１の領域又は前記第２の領域から点拡がり関数を推定する点拡がり関数推定部とを有している。【選択図】図３
2017108243.tif 000002
【特許請求の範囲】
【請求項１】
画像から第１の領域を検出する第１の領域検出部と、
前記第１の領域に類似する第２の領域を前記画像から検出する第２の領域検出部と、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された前記特徴量に基づいて前記第１の領域又は前記第２の領域を選択する領域選択部と、
前記領域選択部によって選択された前記第１の領域又は前記第２の領域から点拡がり関数を推定する点拡がり関数推定部と
を有することを特徴とする画像処理装置。
【請求項２】
画像から第１の領域を検出する第１の領域検出部と、
前記第１の領域に類似する第２の領域を前記画像から検出する第２の領域検出部と、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出する特徴量算出部と、
前記第１の領域から第１の点拡がり関数を推定し、前記第２の領域から第２の点拡がり関数を推定する点拡がり関数推定部と、
前記特徴量算出部によって算出された前記特徴量に基づいて、合成比率を決定する合成比率決定部と、
前記第１の点拡がり関数と前記第２の点拡がり関数とを前記合成比率に基づいて合成する、又は、前記第１の点拡がり関数に基づく情報と前記第２の点拡がり関数に基づく情報とを前記合成比率に基づいて合成する合成部と
を有することを特徴とする画像処理装置。
【請求項３】
前記第１の領域は、主たる被写体の領域である主被写体領域である
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
被写体までの距離を示す距離情報を取得する距離情報取得部を更に有し、
前記第２の領域検出部は、前記距離情報に基づいて前記第２の領域を検出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
被写体の動きを示す動き情報を検出する動き情報検出部を更に有し、
前記第２の領域検出部は、前記動き情報に基づいて前記第２の領域を検出する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の領域検出部は、像高に基づいて前記第２の領域を検出する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記特徴量算出部は、前記第１の領域におけるエッジ情報に基づいて前記第１の領域における前記特徴量を算出し、前記第２の領域におけるエッジ情報に基づいて前記第２の領域における前記特徴量を算出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記エッジ情報は、エッジ強度に応じた値である
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記エッジ情報は、エッジ強度に応じた値がそれぞれ算出される複数の方向のうちの、前記エッジ強度に応じた値が所定の閾値以上となるような方向の数である
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記特徴量算出部は、前記第１の領域における飽和画素の割合に更に基づいて前記第１の領域における前記特徴量を算出し、前記第２の領域における飽和画素の割合に更に基づいて前記第２の領域における前記特徴量を算出する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記領域選択部は、前記特徴量が最も大きい領域を前記第１の領域と前記第２の領域とのうちから選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記第１の領域における前記特徴量が所定の閾値以上である場合には、前記領域選択部は、前記第２の領域の前記特徴量の如何に拘わらず、前記第１の領域を選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記第１の点拡がり関数に基づく補正手段は、前記第１の点拡がり関数に基づいて生成される第１のフィルタであり、
前記第２の点拡がり関数に基づく情報は、前記第２の点拡がり関数に基づいて生成される第２のフィルタである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１４】
画像から第１の領域を検出するステップと、
前記第１の領域に類似する第２の領域を前記画像から検出するステップと、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出するステップと、
前記特徴量を算出するステップにおいて算出された前記特徴量に基づいて、前記第１の領域又は前記第２の領域を選択するステップと、
前記第１の領域又は前記第２の領域を選択するステップにおいて選択された前記第１の領域又は前記第２の領域から点拡がり関数を推定するステップと
を有することを特徴とする画像処理方法。
【請求項１５】
画像から第１の領域を検出するステップと、
前記第１の領域に類似する第２の領域を前記画像から検出するステップと、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出するステップと、
前記第１の領域から第１の点拡がり関数を推定し、前記第２の領域から第２の点拡がり関数を推定するステップと、
前記特徴量を算出するステップにおいて算出された前記特徴量に基づいて、合成比率を決定する合成比率決定部と、
前記第１の点拡がり関数と前記第２の点拡がり関数とを前記合成比率に基づいて合成する、又は、前記第１の点拡がり関数に基づく情報と前記第２の点拡がり関数に基づく情報とを前記合成比率に基づいて合成するステップと
を有することを特徴とする画像処理方法。
【請求項１６】
コンピュータに、
画像から第１の領域を検出するステップと、
前記第１の領域に類似する第２の領域を前記画像から検出するステップと、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出するステップと、
前記特徴量を算出するステップにおいて算出された前記特徴量に基づいて、前記第１の領域又は前記第２の領域を選択するステップと、
前記第１の領域又は前記第２の領域を選択するステップにおいて選択された前記第１の領域又は前記第２の領域から点拡がり関数を推定するステップと
を実行させるためのプログラム。
【請求項１７】
コンピュータに、
画像から第１の領域を検出するステップと、
前記第１の領域に類似する第２の領域を前記画像から検出するステップと、
前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出するステップと、
前記第１の領域から第１の点拡がり関数を推定し、前記第２の領域から第２の点拡がり関数を推定するステップと、
前記特徴量を算出するステップにおいて算出された前記特徴量に基づいて、合成比率を決定する合成比率決定部と、
前記第１の点拡がり関数と前記第２の点拡がり関数とを前記合成比率に基づいて合成する、又は、前記第１の点拡がり関数に基づく情報と前記第２の点拡がり関数に基づく情報とを前記合成比率に基づいて合成するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
合焦ミスや手ブレ等に起因する画質の劣化を、画像中のブレやボケを表す点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を用いて補正する技術が提案されている。
【０００３】
例えば、特許文献１には、ブラインドデコンボリューションと称される技術を用いて画像のブレやボケを補正する以下のような技術が開示されている。具体的には、まず、撮影画像から主被写体領域を決定する。主被写体領域は、ユーザによって選択されてもよいし、画像の鮮明度等を利用して自動的に選択するようにしてもよい。次に、ブラインドデコンボリューション技術を用いて主被写体領域からＰＳＦを推定する。そして、推定したＰＳＦと入力画像とをデコンボリューションすることによって、画像のブレやボケを補正する。
【０００４】
また、特許文献２には、画像を領域分割し、それぞれの領域において、ＰＳＦの推定と、ＰＳＦの信頼度の算出とを行い、これらに基づいてＰＳＦの精度を向上する技術が開示されている。具体的には、飽和画素の数や勾配情報に基づいて信頼度を領域毎に算出し、信頼度の低い領域については、周辺の領域から推定されたＰＳＦを用いて補完することによってＰＳＦの精度を向上させる。なお、飽和画素の数や勾配情報に基づいて信頼度を算出するのは、飽和画素が多い場合や、勾配情報が少ない場合には、平坦な被写体である可能性が高く、ＰＳＦの推定に必要な情報を十分取得し得ないためである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３０６５４８号公報
【特許文献２】特開２０１２−１５５４５６号公報
【非特許文献】
【０００６】
【非特許文献１】G.R.Ayers and J.C.Dainty,”Iterative blind deconvolution method and its applications,”Optics Letters,vol.13(7),pp,547-549,july 1988.
【非特許文献２】Xu L, Jia J (2010) Two-phase kernel estimation for robust motion deblurring. In: Proceedings of European Conference on Computer Vision, pp 157-170.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、ブレ・ボケの補正を必ずしも良好に行い得ない場合があった。
【０００８】
本発明の目的は、点拡がり関数等を良好に推定し得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、画像から第１の領域を検出する第１の領域検出部と、前記第１の領域に類似する第２の領域を前記画像から検出する第２の領域検出部と、前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出する特徴量算出部と、前記特徴量算出部によって算出された前記特徴量に基づいて前記第１の領域又は前記第２の領域を選択する領域選択部と、前記領域選択部によって選択された前記第１の領域又は前記第２の領域から点拡がり関数を推定する点拡がり関数推定部とを有することを特徴とする画像処理装置が提供される。
【００１０】
また、本発明の他の態様によれば、画像から第１の領域を検出する第１の領域検出部と、前記第１の領域に類似する第２の領域を前記画像から検出する第２の領域検出部と、前記第１の領域と前記第２の領域とのうちの少なくともいずれかにおける特徴量を算出する特徴量算出部と、前記第１の領域から第１の点拡がり関数を推定し、前記第２の領域から第２の点拡がり関数を推定する点拡がり関数推定部と、前記特徴量算出部によって算出された前記特徴量に基づいて、合成比率を決定する合成比率決定部と、前記第１の点拡がり関数と前記第２の点拡がり関数とを前記合成比率に基づいて合成する、又は、前記第１の点拡がり関数に基づく情報と前記第２の点拡がり関数に基づく情報とを前記合成比率に基づいて合成する合成部とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【００１１】
本発明によれば、点拡がり関数等を良好に推定し得る画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態による画像処理装置の構成を示すブロック図である。
【図２】本発明の第１実施形態による画像処理装置の画像処理部の構成を示すブロック図である。
【図３】本発明の第１実施形態による画像処理装置のブレ・ボケ補正部の構成を示すブロック図である。
【図４】本発明の第１実施形態による画像処理装置において行われるブレ・ボケ補正処理を示すフローチャートである。
【図５】本発明の第１実施形態による画像処理装置の特徴量算出部の構成を示すブロック図である。
【図６】飽和画素の比率とゲインとの関係を示すグラフである。
【図７】本発明の第２実施形態による画像処理装置のブレ・ボケ補正部の構成を示すブロック図である。
【図８】本発明の第２実施形態による画像処理装置において行われるブレ・ボケ補正処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施の形態を、図面を参照しながら詳細に説明する。
【００１４】
［第１実施形態］
本発明の第１実施形態による画像処理装置及び画像処理方法について図１乃至図６を用いて説明する。図１は、本実施形態による画像処理装置の構成を示すブロック図である。本実施形態による画像処理装置１１１は、例えば撮像装置である。より具体的には、本実施形態による画像処理装置１１１は、電子カメラ、即ち、デジタルカメラである。なお、画像処理装置１１１は、撮像装置に限定されるものではなく、撮像機能を有しない電子機器であってもよい。
【００１５】
本実施形態における画像処理装置１１１は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、測距部１０７、画像メモリ１０８、操作部１０９、及び、表示部１１０を備えている。光学系１０１には、フォーカスレンズ、絞り、シャッター等が含まれる。
【００１６】
光学系１０１は、フォーカスレンズ（図示せず）を駆動することによって被写体にピントを合わせ、絞り（図示せず）やシャッター（図示せず）を制御することによって露光量を調節する。なお、光学系１０１は、画像処理装置１１１から着脱不能であってもよいし、着脱可能であってもよい。撮像素子１０２は、光学系１０１において結像される被写体の光学像を光電変換によって電気信号に変換するためのものであり、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されるアナログの画像信号をデジタル化するためのものである。
【００１７】
画像処理部１０４は、Ａ／Ｄ変換部１０３によってデジタル化された画像信号に対して、同時化処理、ホワイトバランス補正処理、色変換処理、輪郭強調処理、ガンマ処理、ブレやボケの補正処理等を施す。また、画像処理部１０４は、主被写体を検出する処理や動きベクトルの検出処理等をも実行する。画像処理部１０４によって所定の処理が施された画像信号（画像、画像情報）は、記録部１０５に出力される。記録部１０５は、画像処理部１０４から出力される画像をＪＰＥＧ形式等の所定の形式の画像に変換し、所定の形式に変換した画像を記録媒体に記録する。
【００１８】
制御部１０６は、本実施形態による画像処理装置１１１の全体の動作を司る。制御部１０６は、例えば、撮影された画像に基づいて所定の評価値を算出し、画像処理部１０４によって行われる画像処理のパラメータを決定する。測距部（距離情報取得部）１０７は、被写体までの距離情報を取得し、距離マップを生成する。距離マップとは、撮影された画像における被写体までの距離情報を画素単位で２次元的に示すものである。
【００１９】
画像メモリ１０８は、画像処理部１０４において画像処理を行う際に必要な情報を格納するためのものである。操作部１０９は、画像処理装置１１１に対してユーザが操作指示を行うためのものである。表示部１１０は、例えば、画像処理装置１１１の例えば背面に設置された液晶ディスプレイ等であり、撮影時の操作の補助を行うための画面や、記録部１０５に保存されている画像等を表示するものである。
【００２０】
次に、画像処理部１０４についての詳細な説明を図２を用いて行う。図２は、本実施形態による画像処理部１０４の構成を示すブロック図である。
【００２１】
画像処理部１０４は、同時化処理部２０１、ホワイトバランス補正処理部２０２、輝度・色信号生成部２０３、色変換処理部２０４、輪郭強調処理部２０５、色ガンマ処理部２０６、輝度ガンマ処理部２０７、及び、色差信号生成部２０８を備えている。また、画像処理部１０４は、ブレ・ボケ補正部２０９、主被写体検出部２１０、及び、動きベクトル検出部２１１を更に備えている。
【００２２】
Ａ／Ｄ変換部１０３から出力されるデジタルの画像信号は、画像処理部１０４に設けられた同時化処理部２０１に入力される。同時化処理部２０１は、カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理である同時化処理を行うものである。同時化処理部２０１は、Ａ／Ｄ変換部１０３から出力されるベイヤーＲＧＢの画像データに対して同時化処理を行い、色信号Ｒ，Ｇ，Ｂを生成する。同時化処理部２０１によって生成された色信号Ｒ，Ｇ，Ｂは、ホワイトバランス補正処理部２０２に入力される。ホワイトバランス補正処理部２０２は、制御部１０６によって算出されたホワイトバランスゲイン値に基づいて、色信号Ｒ，Ｇ，Ｂにゲインを適用することにより、ホワイトバランスを調整する。ホワイトバランスが調整された色信号Ｒ，Ｇ，Ｂは、輝度・色信号生成部２０３に出力される。輝度・色信号生成部２０３では、ホワイトバランス補正処理部２０２から出力される色信号Ｒ，Ｇ，Ｂから輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０５に出力する。また、輝度・色信号生成部２０３は、色信号Ｒ，Ｇ，Ｂを色変換処理部２０４に出力する。
【００２３】
色変換処理部２０４は、マトリクス演算等によって色変換を行い、所望のカラーバランスの色信号Ｒ，Ｇ，Ｂを得る。色ガンマ処理部２０６は、色信号Ｒ，Ｇ，Ｂに対してガンマ補正を行う。色差信号生成部２０８は、色信号Ｒ，Ｇ，Ｂに基づいて色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。色差信号生成部２０８によって生成された色差信号Ｒ−Ｙ、Ｂ−Ｙは、ブレ・ボケ補正部２０９に出力される。
【００２４】
輪郭強調処理部２０５は、輝度信号Ｙに対して輪郭強調処理を行い、輪郭強調処理が施された輝度信号Ｙを輝度ガンマ処理部２０７に出力する。輝度ガンマ処理部２０７は、輝度信号Ｙに対してガンマ補正を行い、ガンマ補正が施された輝度信号Ｙを、ブレ・ボケ補正部２０９、主被写体検出部２１０、動きベクトル検出部２１１、及び、画像メモリ１０８に出力する。
【００２５】
主被写体検出部２１０は、輝度信号Ｙに基づいて、主たる被写体である主被写体の位置と大きさとを検出する。主被写体としては、例えば、人物の顔等が挙げられる。主被写体検出部２１０は、公知の手法によって、顔の位置と大きさとを検出する。なお、主被写体は、人物の顔に限定されるものではなく、例えば、人物の胴体等であってもよい。また、主被写体は、人物に限定されるものではなく、人物以外の動物であってもよいし、物体等であってもよい。
【００２６】
動きベクトル検出部（動き情報検出部）２１１は、輝度ガンマ処理部２０７から出力された輝度信号Ｙと、直前に撮影された画像の輝度信号Ｙとに基づいて、動きベクトルを検出する。なお、直前に撮影された画像は、画像メモリ１０８に記録されている。動きベクトルの検出方法としては、公知の技術を用いることができものとする。が、具体的には、画像を所定のサイズのブロックに分割し、ブロック毎に所定の範囲内でテンプレートマッチングを行う。テンプレートマッチングとは、テンプレートと称される小さい一部の画像領域とマッチングする画像領域を探し出すものである。テンプレートの座標と、当該テンプレートとマッチングがとれた画像領域の座標とに基づいて、各ブロックにおける動きベクトルを求めることができる。
【００２７】
なお、ブレ・ボケ補正部２０９は、色差信号生成部２０８から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、輝度ガンマ処理部２０７から出力される輝度信号Ｙとに対して、ブレ・ボケ補正処理を施す。なお、ブレ・ボケ補正部２０９において行われるブレ・ボケ補正処理の詳細については後述することとする。ブレ・ボケ補正部２０９によってブレ・ボケ補正処理が施された画像信号は、記録部１０５に出力され、記録部１０５に記録される。
【００２８】
次に、本実施形態による画像処理装置１１１において行われるブレ・ボケ補正処理について図３及び図４を用いて詳細に説明する。
【００２９】
図３は、ブレ・ボケ補正部２０９の構成を示すブロック図である。図３に示すように、ブレ・ボケ補正部２０９は、ＲＧＢ信号変換部３０１、類似領域検出部３０２、第１の局所領域抽出部３０３、第２の局所領域抽出部３０４、第１の特徴量算出部３０５、及び、第２の特徴量算出部３０６を備えている。また、ブレ・ボケ補正部２０９は、領域決定部３０７、領域選択部３０８、ＰＳＦ推定部３０９、補正処理部３１０、及び、輝度・色差信号生成部３１１を更に備えている。
【００３０】
図４は、本実施形態による画像処理装置１１１において行われるブレ・ボケ補正処理を示すフローチャートである。
【００３１】
ステップＳ４０１では、類似領域検出部３０２が、主被写体検出部２１０で検出された主被写体領域の位置とサイズと、動きベクトル検出部２１１で検出されたブロック毎の動きベクトルと、測距部１０７で生成した距離マップとを取得する。また、ステップＳ４０１では、類似領域検出部３０２が、主被写体に生じているブレ・ボケと類似するブレ・ボケが生じている類似領域を検出する。
【００３２】
類似領域を検出するのは、以下のような理由によるものである。即ち、例えば、主被写体領域の画像に飽和画素が多く含まれている場合には、平坦な領域である可能性が高く、ＰＳＦの推定に必要な情報を十分取得し得ない可能性が高い。一方、類似領域から良好なＰＳＦを求め得る場合もある。類似領域から良好なＰＳＦを求め得る場合には、類似領域から求められたＰＳＦを用いて、ブレやボケを良好に補正することが可能である。このような理由により、類似領域が検出される。
【００３３】
主被写体に生じたブレ・ボケを良好に補正し得るＰＳＦを得るためには、主被写体に生じているブレと同様のブレが生じており、且つ、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を、類似領域として検出することが好ましい。このため、類似領域の検出の処理においては、以下の２つの処理が少なくとも行われる。１つは、主被写体に生じているブレと同様のブレを有する領域を検出する処理である。かかる処理は、例えば、ブロック毎の動きベクトルに基づいて行うことができる。もう１つは、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を検出する処理である。かかる処理は、例えば、距離マップに基づいて行うことができる。そして、これらの処理の結果に基づいて、主被写体に生じているブレと同様のブレが生じており、且つ、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域である類似領域が検出される。
【００３４】
主被写体に生じているブレと同様のブレが生じている領域を検出する処理について、更に詳しく説明する。単位時間内に同じ動きが生じた領域には、同様のブレが生じていると考えられる。単位時間内に同じ動きが生じた領域であるか否かは、動きベクトルに基づいて判定することができる。このため、主被写体領域における動きベクトル（動き情報）と類似している動きベクトルの領域を検出することによって、主被写体に生じているブレと同様のブレが生じている領域を検出することができる。なお、動きベクトルが類似しているか否かは、動きベクトルの方向や大きさに基づいて判定することができる。こうして、主被写体における動き情報に近い動き情報の領域が検出される。
【００３５】
また、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を検出する処理について、更に詳しく説明する。撮像装置からの距離が同等である被写体には同等の焦点ボケが生じていると考えられる。撮像装置からの距離が同等であるか否かは、距離マップに基づいて判定することができる。このため、距離マップを用いることによって、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を検出することができる。例えば、距離マップを所定のサイズのブロックにおいてブロック積分し、ブロック積分の結果に基づいて、主被写体領域までの距離と同等の距離に位置するブロック領域を検出する。このようにして、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を検出することができる。
【００３６】
このようにして、類似領域検出部３０２は、主被写体に生じているブレと同様のブレが生じており、且つ、主被写体に生じている焦点ボケと同様の焦点ボケが生じている領域を、類似領域として検出することができる。そして、類似領域検出部３０２は、検出した類似領域の位置及びサイズを、第２の局所領域抽出部３０４に出力する。
【００３７】
ところで、撮像装置からの距離が同等であっても、倍率色収差等の光学特性が著しく異なっている領域を類似領域とした場合には、主被写体領域におけるブレやボケを良好に補正し得るようなＰＳＦを取得し得ないことも考えられる。このため、主被写体領域における光学特性と同等の光学特性の領域を類似領域として検出することが好ましい。光学特性が同等か否かは、例えば、像高情報を用いて判定することができる。主被写体におけるブレと同様のブレが生じており、主被写体における焦点ボケと同様の焦点ボケが生じており、且つ、主被写体領域と同等の光学特性の領域を、類似領域として検出すれば、主被写体領域のブレ・ボケをより良好に補正し得るＰＳＦを取得し得る。主被写体と同等の光学特性の領域としては、主被写体領域と同程度の像高位置の領域を挙げることができる。なお、主被写体領域よりも像高の低い領域を類似領域として検出するようにしてもよい。像高が高くなるほど光学特性が劣化するため、像高が高い領域を用いるよりは像高が低い領域を用いる方が好ましいためである。
【００３８】
ステップＳ４０２では、主被写体検出部２１０によって検出された主被写体の位置及びサイズと、輝度ガンマ処理部２０７から出力された輝度信号Ｙとに基づいて、第１の局所領域抽出部３０３が主被写体領域を抽出する。第１の局所領域抽出部３０３は、抽出した主被写体領域の輝度信号Ｙを、第１の特徴量算出部３０５と領域選択部３０８とに出力する。
【００３９】
ステップＳ４０３では、第２の局所領域抽出部３０４が、類似領域検出部３０２によって検出された類似領域の位置及びサイズと、輝度ガンマ処理部２０７から出力された輝度信号Ｙとに基づいて、類似領域を抽出する。第２の局所領域抽出部３０４は、抽出した類似領域の輝度信号Ｙを、第２の特徴量算出部３０６と領域選択部３０８とに出力する。
【００４０】
ステップＳ４０４では、第１の局所領域抽出部３０３から出力される主被写体領域の輝度信号Ｙにおける特徴量が第１の特徴量算出部３０５によって算出され、算出された特徴量が領域決定部３０７に出力される。かかる特徴量は、主被写体領域の輝度信号Ｙ、即ち、入力画像がＰＳＦの推定に適したものであるか否かを判断するために用いられる。かかる特徴量は、入力画像のエッジ強度と、入力画像における飽和画素の数とに基づいて算出される。
【００４１】
ここで、第１の特徴量算出部３０５について、図５を用いて説明する。図５は、第１の特徴量算出部３０５の構成を示すブロック図である。なお、第２の特徴量算出部３０６の構成も、図５に示す第１の特徴量算出部３０５と同様の構成になっている。
【００４２】
第１の特徴量算出部３０５においては、まず、入力画像における水平方向のエッジ強度と、入力画像における垂直方向のエッジ強度とが求められる。具体的には、水平方向バンドパスフィルタ部５０１によって入力画像にフィルタ処理が施され、第１の絶対値計算部５０３によってエッジの強度が算出される。入力画像内の全画素の水平方向におけるエッジ強度に基づいて、水平方向におけるエッジ強度の平均値（エッジ強度平均値）が第１の平均値算出部５０５によって算出される。また、垂直方向バンドパスフィルタ部５０２によって入力画像にフィルタ処理が施され、第２の絶対値計算部５０４によってエッジの強度が算出される。入力画像の全画素の垂直方向におけるエッジ強度に基づいて、垂直方向におけるエッジ強度の平均値が第２の平均値算出部５０６によって求められる。水平方向におけるエッジ強度平均値と垂直方向におけるエッジ強度平均値とのうちの小さい方が最小値選択部５０７によって選択され、選択されたエッジ強度平均値の最小値が最小値選択部５０７から出力される。こうして、エッジ強度に応じた値であるエッジ情報が得られる。入力画像自体にエッジが少ない場合や、水平方向又は垂直方向におけるエッジが少ない場合には、最小値選択部５０７から出力される信号は小さくなる。
【００４３】
一方、入力画像内における飽和画素の割合、即ち、飽和画素比率が、飽和画素比率検出部５０８によって算出される。飽和画素か否かは、画素値が所定の閾値を超えるか否かによって判定される。入力画像における飽和画素の割合が１００％である場合には、飽和画素比率は１とされ、入力画像における飽和画素の割合が０％である場合には、飽和画素比率は０とされる。従って、飽和画素比率の値域は、０〜１となる。飽和画素比率検出部５０８によって求められた飽和画素の割合に基づいて、ゲイン算出部（ゲイン設定部）５０９によってゲインが算出される。ゲインの値域は、０〜１となる。乗算部５１０が、最小値選択部５０７から出力される値に、ゲイン算出部５０９によって算出されたゲインを乗じる。こうして得られた乗算値、即ち、特徴量が、第１の特徴量算出部３０５から領域決定部３０７に出力される。
【００４４】
なお、水平方向におけるエッジ強度平均値と垂直方向におけるエッジ強度平均値とのうちの大きい方ではなく小さい方を最小値選択部５０７によって選択するのは、ＰＳＦを取得するのに適していない領域の画像がＰＳＦの取得に用いられるのを、より厳格に防止するためである。
【００４５】
図６は、飽和画素の比率とゲインとの関係を示すグラフである。図６（ａ）は、飽和画素の比率とゲイン算出部５０９によって設定されるゲインとの関係の一例を示すグラフである。図６（ａ）は、飽和画素の比率が０の際のゲインを１とし、飽和画素の比率が１の際のゲインを０とし、飽和画素の比率が増加するに伴ってゲインが直線的に低下するようにした場合を示している。飽和画素の比率が大きくなるとゲインが小さくなり、第１の特徴量算出部３０５から出力される特徴量が小さくなる。主被写体領域の画像がＰＳＦの推定に適していない場合には、第１の特徴量算出部３０５から出力される特徴量が十分に小さくなるため、後述する領域選択部３０８によって主被写体領域の画像が選択されない。従って、主被写体領域の画像がＰＳＦの推定に適していない場合には、主被写体領域の画像がＰＳＦの推定に用いられないこととなる。
【００４６】
なお、飽和画素の比率とゲインとの関係は、図６（ａ）に示すような関係に限定されるものではない。例えば、飽和画素の比率とゲインとの関係を図６（ｂ）のように設定してもよい。図６（ｂ）は、飽和画素の比率とゲインとの関係の他の例を示すグラフである。図６（ｂ）に示すように、飽和画素の比率が閾値Ｔｈ１以下の場合には、ゲインが１に設定される。一方、飽和画素の比率が閾値Ｔｈ２以上の場合には、ゲインが０に設定される。そして、飽和画素の比率が閾値Ｔｈ１から閾値Ｔｈ２の範囲内においては、飽和画素の比率が増加するに伴ってゲインが直線的に低下する。入力画像における飽和画素の比率がＴｈ１以下である場合には、当該入力画像から良好にＰＳＦを取得し得ると考えられる。従って、この場合には、ゲインを１とし、当該入力画像をＰＳＦの推定に用いられやすくなっても、特段の問題はない。従って、飽和画素の比率が閾値Ｔｈ１以下である場合には、ゲインを１としている。一方、入力画像における飽和画素の比率が閾値Ｔｈ２以上である場合には、当該入力画像からＰＳＦを良好に推定し得ないと考えられる。従って、この場合には、ゲインを０とし、当該入力画像がＰＳＦの推定に用いられにくくすることが好ましい。従って、飽和画素の比率が閾値Ｔｈ２以上である場合には、ゲインを０としている。
【００４７】
ステップＳ４０５では、第２の局所領域抽出部３０４から出力される類似領域の画像における特徴量が、第２の特徴量算出部３０６によって、第１の特徴量算出部３０５と同様にして算出され、算出された特徴量が領域決定部３０７に出力される。なお、上述したように、第２の特徴量算出部３０６の構成は、上述した第１の特徴量算出部３０５の構成と同様である。従って、第２の特徴量算出部３０６についての詳細な説明は、ここでは省略することとする。
【００４８】
ステップＳ４０６では、第１の特徴量算出部３０５から出力される主被写体領域の特徴量と、第２の特徴量算出部３０６から出力される類似領域の特徴量とが、領域決定部３０７によって比較される。特徴量が大きいほど、ＰＳＦの推定に適していると考えられる。従って、領域決定部３０７は、主被写体領域と類似領域とのうちの特徴量が大きい方の領域をＰＳＦの推定に適した領域と判定し、当該領域をＰＳＦの推定に用いられる領域として決定する。領域決定部３０７は、ＰＳＦの推定に用いられる領域、即ち、主被写体領域と類似領域とのうちの特徴が大きい方の領域を示す情報を、領域選択部３０８に出力する。
【００４９】
ステップＳ４０７では、領域選択部３０８が、領域決定部３０７によって決定された領域の輝度信号を選択し、選択した輝度信号をＰＳＦ推定部（点拡がり関数推定部）３０９に出力する。即ち、主被写体領域の特徴量が類似領域の特徴量よりも大きい場合には、第１の局所領域抽出部３０３によって抽出された主被写体領域の輝度信号が領域選択部３０８によって選択され、かかる主被写体領域の輝度信号がＰＳＦ推定部３０９に出力される。一方、類似領域の特徴量が主被写体領域の特徴量よりも大きい場合には、第２の局所領域抽出部３０４によって抽出された類似領域の輝度信号が領域選択部３０８によって選択され、かかる類似領域の輝度信号がＰＳＦ推定部３０９に出力される。
【００５０】
ステップＳ４０８では、ＰＳＦ推定部３０９が、領域選択部３０８から出力された輝度信号に基づいて、ＰＳＦを推定する。ＰＳＦは、例えば公知の方法によって推定することができる。公知のＰＳＦ推定手法について以下に説明する。ＰＳＦ推定部３０９に入力される画像をＭ、ＰＳＦをＫ、ブレやボケのない画像である潜像をＬとすると、以下のような式（１）が成立する。
Ｍ＝Ｋ＊Ｌ  ・・・（１）
なお、＊は、畳み込み演算を表す記号である。
【００５１】
ＰＳＦを示すＫと潜像を示すＬとは未知数である。しかし、潜像Ｌの初期値を適宜設定することによって、暫定的なＰＳＦを推定することが可能である。暫定的なＰＳＦを用いて暫定的な潜像を推定し、更に、暫定的な潜像を用いて暫定的なＰＳＦを推定する。このようにしてＰＳＦの推定と潜像の推定とを反復し、更新を繰り返すことにより、ＰＳＦと潜像の推定精度を高めることができ、一定の条件を満たしたＰＳＦを最終的なＰＳＦとすることができる。
【００５２】
ＰＳＦと潜像とは、式（１）の両辺の差を表す項を含むエネルギー関数を最小化することによって推定し得る。かかるエネルギー関数は、例えば、以下のような式（２）、（３）によって表される。式（２）、（３）におけるσは、正則化項を示している。正則化項σとしては、例えば、画像やＰＳＦをベクトルとして扱った際における要素の二乗和であるＬ２ノルム等が挙げられる。
【数１】
2017108243.tif 000003
【数２】
2017108243.tif 000004
式（２）、（３）に示すエネルギー関数を最小化する手法としては、例えば共役勾配法が挙げられる。こうして、ＰＳＦを推定することが可能である。
【００５３】
ところで、画像のエッジ情報を用いると高精度にＰＳＦを推定し得ることが知られている（非特許文献２）。そこで、本実施形態では、入力画像Ｍのエッジ情報Ｍ′と潜像Ｌのエッジ情報Ｌ’とを用いた式（４）のようなエネルギー関数を最小化することによって、ＰＳＦを推定する。
【数３】
2017108243.tif 000005
【００５４】
最初にＰＳＦを求める際における潜像Ｌのエッジ情報Ｌ′の初期値は、例えば、以下のようにして得ることができる。即ち、入力画像Ｍにショックフィルタを適用することによって、平坦部を残したままエッジを強調する。こうして得られた画像のエッジ部をエッジ情報Ｌ′の初期値として用いる。
【００５５】
ステップＳ４０９では、ＲＧＢ信号変換部３０１が、ブレ・ボケ補正部２０９に入力された色差信号Ｒ−Ｙ、Ｂ−Ｙ、及び、輝度信号Ｙを、色信号Ｒ，Ｇ，Ｂに変換し、当該色信号Ｒ，Ｇ，Ｂを補正処理部３１０に出力する。
【００５６】
ステップＳ４１０では、補正処理部３１０が、ＰＳＦ推定部３０９から出力されるＰＳＦを用いて、色信号Ｒ，Ｇ，Ｂのそれぞれに対してブレ・ボケ補正処理を行う。例えば、デコンボリューション法、より具体的には、ウィナーデコンボリューション法によって、以下のようにしてブレ・ボケ補正処理を行うことが可能である。即ち、ＰＳＦ推定部３０９によって推定されたＰＳＦをＫとし、撮影された画像をＭとし、潜像をＬとすると、以下のような式（５）が成立する。
【数４】
2017108243.tif 000006
ここで、Ｆはフーリエ変換、Ｆ−１は逆フーリエ変換、￣は共役な複素数、λはブレやボケのない画像に含まれるノイズ成分の比率（Ｓ／Ｎ）である。
【００５７】
なお、ブレ・ボケ補正処理を行う際に用いられる手法は、デコンボリューション法に限定されるものではない。例えば、逆フィルタを用いてブレ・ボケ補正処理を行うようにしてもよい。かかる逆フィルタは、以下のような式（６）によって表される。
【数５】
2017108243.tif 000007
【００５８】
また、ブレ・ボケ補正処理を行う際に用いられる手法はこれらに限定されるものではない。例えば、推定されたＰＳＦからエッジ強調用のフィルタを作成し、かかるフィルタを用いた処理によってエッジを強調させることによって、ブレやボケを補正するようにしてもよい。
【００５９】
上記のようにして補正処理部３１０によってブレ・ボケ補正処理が施された色信号Ｒ，Ｇ，Ｂは、輝度・色差信号生成部３１１に出力される。輝度・色差信号生成部３１１は、輝度信号Ｙと色差信号Ｒ−Ｙ、Ｒ−Ｂとを生成し、生成した輝度信号Ｙと色差信号Ｒ−Ｙ、Ｒ−Ｂとを出力する。ブレ・ボケ補正部２０９から出力される輝度信号Ｙと色差信号Ｒ−Ｙ、Ｒ−Ｂとは、記録部１０５に記録される。
【００６０】
このように、本実施形態によれば、主被写体の領域の画像がＰＳＦの推定に適していない場合であっても、主被写体の領域に類似する領域からＰＳＦを推定することができる。このため、本実施形態によれば、ＰＳＦを良好に取得し得る画像処理装置を得ることができる。
【００６１】
［第２実施形態］
本発明の第２実施形態による画像処理装置及び画像処理方法について図７及び図８を用いて説明する。図１乃至図６に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
【００６２】
画像からＰＳＦを推定する際には、推定誤差が生じ得る。かかる推定誤差は、ＰＳＦの推定に用いられる被写体に依存する。複数の被写体からそれぞれ推定されたＰＳＦを合成するようにすれば、被写体への依存性を緩和することができ、推定誤差を抑制することが可能である。従って、本実施形態では、複数の領域の画像から得られるＰＳＦを適宜合成することによって、ＰＳＦを推定する。ところで、特徴量の低い領域から得られるＰＳＦは、大きい推定誤差を含む可能性が高い。このため、主被写体領域から推定したＰＳＦと類似領域から推定したＰＳＦとを合成する際には、それぞれの領域から算出される特徴量に基づいて合成を行う。
【００６３】
図７は、本実施形態による画像処理装置１１１のブレ・ボケ補正部２０９の構成を示すブロック図である。本実施形態では、図３を用いて第１実施形態において上述した領域決定部３０７と領域選択部３０８とＰＳＦ推定部３０９とが、ブレ・ボケ補正部２０９内に設けられていない。一方、本実施形態では、第１のＰＳＦ推定部７０１と第２のＰＳＦ推定部７０２と合成比率決定部７０３と合成部７０４とがブレ・ボケ補正部２０９内に設けられている。
【００６４】
図８は、本実施形態による画像処理装置１１１において行われるブレ・ボケ補正処理を示すフローチャートである。
【００６５】
まず、ステップＳ８０１からステップＳ８０５までは、第１の実施形態におけるステップＳ４０１からステップＳ４０５と同様であるため、これらの説明については省略する。
【００６６】
ステップＳ８０６では、第１のＰＳＦ推定部７０１が、第１の局所領域抽出部３０３によって抽出された主被写体領域の画像情報からＰＳＦ（第１のＰＳＦ）を推定し、推定したＰＳＦを合成部７０４に出力する。
【００６７】
ステップＳ８０７では、第２のＰＳＦ推定部７０２が、第２の局所領域抽出部３０４によって抽出された類似領域の画像情報からＰＳＦ（第２のＰＳＦ）を推定し、推定したＰＳＦを合成部７０４に出力する。
【００６８】
ステップＳ８０８では、合成比率決定部７０３が、第１の特徴量算出部３０５から出力された主被写体の特徴量ａ１と第２の特徴量算出部３０６から出力された類似領域の特徴量ａ２とに基づいて、合成比率ｍを決定する。かかる合成比率ｍは、例えば以下のような式（７）によって求められる。合成比率決定部７０３は、決定した合成比率ｍを合成部７０４に出力する。なお、合成比率ｍの値域は、０〜１となる。
ｍ＝ａ１／（ａ１＋ａ２）  ・・・（７）
【００６９】
なお、ａ１＜ａ２であり、且つ、ａ１が所定の閾値以下である場合には、主被写体領域がＰＳＦの推定に著しく適していないと判断し、ｍ＝０としてもよい。また、ａ１＞ａ２であり、且つ、ａ２が所定の閾値以下である場合には、類似領域がＰＳＦの推定に著しく適していないと判断し、ｍ＝１としてもよい。
【００７０】
ステップＳ８０９では、第１のＰＳＦ推定部７０１によって推定されたＰＳＦと、第２のＰＳＦ推定部７０２によって推定されたＰＳＦとを、合成比率決定部７０３によって決定された合成比率ｍに基づいて、合成部７０４が合成する。ＰＳＦは２次元的な配列によって表現されているため、ＰＳＦの各要素同士を合成比率ｍに基づいて合成する。まず、第１のＰＳＦの中心と第２のＰＳＦの中心とを位置合わせし、第１のＰＳＦと第２のＰＳＦとが重なり合った領域を、合成後のＰＳＦの大きさ（Ｎ×Ｍ）として定める。合成後のＰＳＦをＫｍ（ｉ，ｊ）、第１のＰＳＦをＫ１（ｉ，ｊ）、第２のＰＳＦをＫ２（ｉ，ｊ）とすると、合成後のＰＳＦは、以下のような式（８）を用いて表すことができる。なお、（ｉ，ｊ）は、座標を示している。
Ｋｍ（ｉ，ｊ）＝ｍ×Ｋ１（ｉ，ｊ）＋（１−ｍ）×Ｋ２（ｉ，ｊ）  ・・・（８）
式（８）に基づいて演算を行うことによって、合成後のＰＳＦが得られる。なお、ｉの範囲は０〜Ｎ−１であり、ｊの範囲は０〜Ｍ−１である。
【００７１】
ステップＳ８１０では、補正処理部３１０が、合成部７０４によって合成されたＰＳＦに基づいて、ＲＧＢ信号変換部３０１から出力された色信号Ｒ，Ｇ，Ｂのそれぞれに対して補正処理を行う。補正処理部３１０は、補正処理が施された色信号Ｒ，Ｇ，Ｂを輝度・色差信号生成部３１１に出力する。輝度・色差信号生成部３１１は、色信号Ｒ，Ｇ，Ｂに基づいて色差信号Ｒ−Ｙ、Ｂ−Ｙ及び輝度信号Ｙを生成し、生成したこれらの信号を出力する。
【００７２】
このように、本実施形態によれば、主被写体領域から推定されたＰＳＦと類似領域から推定されたＰＳＦとを合成することによってＰＳＦを生成するため、被写体への依存性を緩和することができる。このため、本実施形態によれば、推定誤差を低減することができ、より良好なＰＳＦを得ることが可能となる。
【００７３】
［変形実施形態］
上記実施形態に限らず種々の変形が可能である。
例えば、上記実施形態では、主被写体領域と類似領域とのうちの特徴量が大きい方の領域を、ＰＳＦを推定するために用いる場合を例に説明したが、これに限定されるものではない。例えば、主被写体領域における特徴量が所定の閾値以上である場合には、類似領域における特徴量の如何にかかわらず、主被写体領域をＰＳＦの推定に用いるようにしてもよい。主被写体領域における特徴量が所定の閾値以上である場合には、主被写体領域の画像からＰＳＦを良好に推定し得るためである。
【００７４】
また、上記実施形態では、類似領域を１つだけ抽出する場合を例に説明したが、類似領域を複数抽出するようにしてもよい。この場合には、特徴量が最も大きい方の領域が、ＰＳＦを推定するために用いられる。
【００７５】
また、第１の特徴量算出部３０５や第２の特徴量算出部３０６において行われる特徴量の算出処理は、上記実施形態において上述したような算出処理に限定されるものではない。即ち、上記実施形態では、水平方向と垂直方向の２方向におけるエッジ強度と、飽和画素の比率とに基づいて特徴量を算出したが、これに限定されるものではない。例えば、４方向におけるエッジ強度と飽和画素の比率とに基づいて特徴量を算出するようにしてもよい。４方向としては、例えば、水平方向、垂直方向、斜め４５度の方向と、斜め１３５度の方向等を挙げることができる。
【００７６】
また、上記実施形態では、特徴量の算出に用いられるエッジ情報がエッジ強度そのものである場合を例に説明したが、特徴量の算出に用いられるエッジ情報はエッジ強度そのものに限定されるものではない。エッジ強度に応じた値を、特徴量の算出に用いられるエッジ情報として適宜用いることができる。例えば、エッジ強度の平均値を複数の方向においてそれぞれ算出し、当該平均値が所定の閾値以上となるような方向の数を算出し、算出された方向の数に基づいて特徴量を算出してもよい。即ち、特徴量の算出に用いられるエッジ情報は、エッジ強度に基づく値がそれぞれ算出される複数の方向のうちの、エッジ強度に基づく値が所定の閾値以上となる方向の数であってもよい。この場合には、上記のようにして算出されたエッジ情報に、飽和画素の比率に応じたゲインを乗算することによって、特徴量が算出される。また、エッジ強度の平均値を複数の方向においてそれぞれ算出し、算出されたエッジ強度平均値の分散値に基づいて特徴量を算出してもよい。また、エッジ方向に依存せずにエッジ強度を取得し得る手段を用いて算出されたエッジ情報に基づいて、特徴量を算出してもよい。エッジ方向に依存せずにエッジ強度を取得し得る手段としては、例えばラプラシアンフィルタ等が挙げられる。こうして得られたエッジ情報に、飽和画素の比率に応じたゲインを乗算することによって、特徴量が算出される。
【００７７】
また、第２実施形態では、主被写体領域の画像情報から得られる第１のＰＳＦと類似領域の画像情報から得られる第２のＰＳＦとを、合成比率ｍに基づいて合成することによって、合成後のＰＳＦを得る場合を例に説明したが、これに限定されるものではない。例えば、第１のＰＳＦに基づいて算出される第１の情報と、第２のＰＳＦに基づいて算出される第２の情報とを、合成比率ｍに基づいて合成することによって、合成後の情報を得るようにしてもよい。そして、合成された情報を用いてブレやボケを補正するようにしてもよい。ＰＳＦに基づいて算出される情報としては、例えば、エッジ強調用のフィルタ等が挙げられる。
【００７８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１１１…画像処理装置
３０８…領域選択部
３０９…ＰＳＦ推定部
【図１】
2017108243.tif 000008
【図２】
2017108243.tif 000009
【図３】
2017108243.tif 000010
【図４】
2017108243.tif 000011
【図５】
2017108243.tif 000012
【図６】
2017108243.tif 000013
【図７】
2017108243.tif 000014
【図８】
2017108243.tif 000015