(57)【要約】【課題】ＰＳＦや復元画像を迅速且つ確実に求め得る画像処理装置及び画像処理方法を提供する。【解決手段】連続的に撮影された複数の画像が入力される入力部と、入力部を介して入力される複数の画像のＰＳＦ又は復元画像を推定する画像処理部であって、複数の画像のうちのいずれかである第１の画像のＰＳＦ又は第１の画像の復元画像に基づいて、第１の画像とは異なる第２の画像のＰＳＦ又は第２の画像の復元画像を推定する画像処理部とを有する。【選択図】図１
2017016555.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮影された複数の画像が入力される入力部と、
前記入力部を介して入力される前記複数の画像のＰＳＦ又は復元画像を推定する画像処理部であって、前記複数の画像のうちのいずれかである第１の画像のＰＳＦ又は前記第１の画像の復元画像に基づいて、前記第１の画像とは異なる第２の画像のＰＳＦ又は前記第２の画像の復元画像を推定する画像処理部と
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理部はＰＳＦを推定するＰＳＦ推定部と、前記復元画像を推定する復元画像推定部とを含み、前記ＰＳＦ推定部による前記ＰＳＦの推定と前記復元画像推定部による前記復元画像の推定とを交互に繰り返すことにより、前記ＰＳＦの収束解又は前記復元画像の収束解を求める
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ＰＳＦ推定部は、前記復元画像推定部によって推定された前記第２の画像の前記復元画像に基づいて、前記第２の画像の前記ＰＳＦを推定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記復元画像推定部は、前記ＰＳＦ推定部によって推定された前記第２の画像の前記ＰＳＦに基づいて、前記第２の画像の前記復元画像を推定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを用いる
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の画像を取得した際における撮像装置の動き量が所定の閾値未満である場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを用い、
前記第２の画像を取得した際における撮像装置の動き量が所定の閾値以上である場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの前記初期値として、前記第１の画像の前記ＰＳＦを用いない
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の画像に移動体が合焦対象として含まれていない場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを用い、
前記第２の画像に前記移動体が前記合焦対象として含まれている場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの前記初期値として、前記第１の画像の前記ＰＳＦを用いない
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の画像を取得した際の絞り値よりも前記第２の画像を取得した際の前記絞り値の方が大きい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを前記絞り値の増加に応じて減少させることにより得られたＰＳＦを用いる
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１の画像を取得した際の絞り値よりも前記第２の画像を取得した際の前記絞り値の方が小さい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを前記絞り値の減少に応じて増加させることにより得られたＰＳＦを用いる
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第１の画像を取得した際のズーム倍率よりも前記第２の画像を取得した際の前記ズーム倍率の方が大きい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを前記ズーム倍率の増加に応じて増加させることにより得られたＰＳＦを用いる
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１の画像を取得した際のズーム倍率よりも前記第２の画像を取得した際の前記ズーム倍率の方が小さい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記ＰＳＦの初期値として、前記第１の画像の前記ＰＳＦを前記ズーム倍率の減少に応じて減少させることにより得られたＰＳＦを用いる
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定する際に用いられる前記復元画像の初期値として、前記第１の画像の前記復元画像を用いる
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第２の画像に移動体が合焦対象として含まれていない場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記復元画像の初期値として、前記第１の画像の前記復元画像を用い、
前記第２の画像に移動体が合焦対象として含まれている場合には、前記画像処理部は、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記復元画像の前記初期値として、前記第１の画像の前記復元画像を用いない
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１４】
前記第１の画像を取得した際のズーム倍率よりも前記第２の画像を取得した際の前記ズーム倍率の方が大きい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記復元画像の初期値として、前記第１の画像の前記復元画像を前記ズーム倍率の増加に応じて拡大させることにより得られた復元画像を用いる
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１５】
前記第１の画像を取得した際のズーム倍率よりも前記第２の画像を取得した際の前記ズーム倍率の方が小さい場合には、前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を取得する際に用いられる前記復元画像の初期値として、前記第１の画像の前記復元画像を前記ズーム倍率の減少に応じて縮小させることにより得られた前記復元画像を用いる
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１６】
連続的に撮影された複数の画像のＰＳＦ又は復元画像を推定する画像処理方法であって、
前記複数の画像のうちのいずれかである第１の画像のＰＳＦ又は前記第１の画像の復元画像を推定するステップと、
前記第１の画像の前記ＰＳＦ又は前記第１の画像の前記復元画像に基づいて、前記第１の画像とは異なる第２の画像のＰＳＦ又は前記第２の画像の復元画像を推定するステップと
を有することを特徴とする画像処理方法。
【請求項１７】
前記第２の画像の前記ＰＳＦ又は前記第２の画像の前記復元画像を推定するステップは、前記第２の画像の前記ＰＳＦを推定するステップと、前記第２の画像の前記復元画像を推定するステップとを含み、前記第２の画像の前記ＰＳＦを推定するステップと前記第２の画像の前記復元画像を推定するステップとを交互に繰り返すことにより、前記第２の画像の前記ＰＳＦの収束解又は前記第２の画像の前記復元画像の収束解を求める
ことを特徴とする請求項１６に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ブレ、ボケ等が生じた画像、即ち、劣化画像が撮影された場合に、ブレ、ボケ等を示す点像分布関数（ＰＳＦ）を用いた処理を当該劣化画像に対して行うことにより、ブレ、ボケ等が低減された復元画像を取得する技術が提案されている（特許文献１参照）。
【０００３】
また、ＰＳＦを用いた画像復元技術として、例えば、非特許文献１に開示されたスパースコーディングによる方法等が知られている。非特許文献１では、まず、手動で与えた初期ＰＳＦと劣化画像とから、第１の復元画像を得る。続いて、第１の復元画像と劣化画像とを用いて、より真のＰＳＦに近いと考えられるＰＳＦを推定し、推定されたＰＳＦを用いて初期ＰＳＦを修正する。続いて、修正されたＰＳＦを用いて、劣化画像から第２の復元画像を得る。以降、第（Ｎ−１）のＰＳＦと劣化画像とから第Ｎの復元画像を取得し、第Ｎの復元画像と劣化画像とから第ＮのＰＳＦを推定する、という操作を繰り返すことにより、ＰＳＦ推定と劣化画像の復元とを同時に行う。
【０００４】
また、特許文献２には、初期ＰＳＦとして、中心のみが１であり、それ以外は０の値をとるＰＳＦであるデルタカーネルを用いることや、水平又は垂直成分のみから成る単純形状のＰＳＦを用いることが提案されている。また、特許文献３には、初期ＰＳＦとしてジャイロセンサや加速度センサ等で検出された手ブレ情報を利用することが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１３４４８１号公報
【特許文献２】特開２０１２−１５５４５６号公報
【特許文献３】特開２０１２−３９３２６号公報
【非特許文献】
【０００６】
【非特許文献１】”High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiaya Jia, and Aseem Agarwala, ACM SIGGRAPH 2008 papers, Article No. 73, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、ＰＳＦや復元画像を必ずしも迅速且つ確実に求め得なかった。
【０００８】
本発明の目的は、ＰＳＦや復元画像を迅速且つ確実に求め得る画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、連続的に撮影された複数の画像が入力される入力部と、前記入力部を介して入力される前記複数の画像のＰＳＦ又は復元画像を推定する画像処理部であって、前記複数の画像のうちのいずれかである第１の画像のＰＳＦ又は前記第１の画像の復元画像に基づいて、前記第１の画像とは異なる第２の画像のＰＳＦ又は前記第２の画像の復元画像を推定する画像処理部とを有することを特徴とする画像処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、ＰＳＦや復元画像を迅速かつ確実に求め得る画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による画像処理装置の構成の概略を示すブロック図である。
【図２】本発明の一実施形態による画像処理装置における処理を示すフローチャートである。
【図３】理想的な点像の入力像に対してＰＳＦの畳み込み演算を行った場合に得られる出力像を示す図である。
【図４】初期値の設定例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施の形態を、添付の図面を参照して詳細に説明する。
【００１３】
［一実施形態］
本発明の一実施形態による画像処理装置及び画像処理方法を図１乃至図４を用いて説明する。図１は、本発明の一実施形態による画像処理装置の構成の概略を示すブロック図である。
【００１４】
本実施形態による画像処理装置１０８は、図示しない撮像装置（カメラ）内に内蔵されていてもよいし、撮像装置と別個に設けられていてもよい。
【００１５】
本実施形態による画像処理装置１０８は、画像入力部１００を有している。画像入力部１００は、本実施形態による画像処理装置１０８に画像（画像データ）を入力するためのものである。本実施形態による画像処理装置１０８が撮像装置に内蔵されている場合には、撮像装置の記憶媒体（メモリ）等に記憶された画像が、画像入力部１００を介して、本実施形態による画像処理装置１０８に入力される。一方、本実施形態による画像処理装置１０８が撮像装置と別個に設けられている場合には、画像が記憶された撮像装置や記憶媒体等に、本実施形態による画像処理装置の画像入力部１００が接続される。そして、撮像装置や記憶媒体等に記憶されている画像が、画像入力部１００を介して、本実施形態による画像処理装置１０８に入力される。
【００１６】
画像入力部１００を介して本実施形態による画像処理装置１０８に入力される画像としては、例えば、連続的に撮影された複数の画像が挙げられる。連続的に撮影された画像としては、例えば、動画像や連写画像等が挙げられる。
【００１７】
本実施形態による画像処理装置１０８は、画像処理部１０７を有している。画像処理部１０７は、ブレ、ボケによるＰＳＦ（点像分布関数）を推定するＰＳＦ推定部１０１と、復元画像を推定する復元画像推定部（画像復元部）１０２と、ＰＳＦや復元画像の初期値を設定する初期値設定部１０６とを含んでいる。画像入力部１００を介して入力される画像が、ＰＳＦ推定部１０１と復元画像推定部１０２とにそれぞれ入力される。画像処理部１０７は、ＰＳＦ推定部１０１によるＰＳＦの推定と復元画像推定部１０２による復元画像の推定とを交互に繰り返し行うことによって、ＰＳＦの収束解と復元画像の収束解とを求める。
【００１８】
ＰＳＦ推定部１０１は、収束解を求めるために繰り返し行われる処理の初期段階においては、以下のようにして、ＰＳＦを推定する。即ち、ＰＳＦ推定部１０１は、画像入力部１００を介して入力される画像と、後述する初期値設定部１０６から入力されるＰＳＦの初期値と、初期値設定部１０６から入力される復元画像の初期値とに基づいて、ＰＳＦを推定する。
【００１９】
収束解を求めるために繰り返し行われる処理の初期段階より後の段階においては、ＰＳＦ推定部１０１は、以下のようにしてＰＳＦを推定する。即ち、ＰＳＦ推定部１０１は、画像入力部１００を介して入力された画像と、ＰＳＦ推定部１０１による前回の推定によって求められたＰＳＦと、復元画像推定部１０２による前回の推定によって求められた復元画像とに基づいて、ＰＳＦを推定する。
【００２０】
ここで、図３を用いて、ＰＳＦについて簡単に説明しておく。図３は、入力像とＰＳＦと出力像とを示す図である。図３に示すような理想的な点光源像（点像）の入力像に対して、ＰＳＦ（関数ｆ）の畳み込み演算を行うと、図３に示すような出力像が得られる。一方、図３に示すような出力像に対してＰＳＦの逆畳み込み演算を行うと入力像を得ることができる。
【００２１】
ボケやブレを含む劣化画像は、図３における出力像に対応する。一方、ボケやブレが除去された復元画像は、図３における入力像に対応する。従って、ボケやブレを含む劣化画像に対してＰＳＦの逆畳み込み演算を行うと、ボケやブレが除去された復元画像が得られる。
【００２２】
復元画像推定部１０２は、画像入力部１００を介して入力された画像と、ＰＳＦ推定部１０１によって推定されたＰＳＦとに基づいて、復元画像を推定する。
【００２３】
最終的な復元画像、即ち、復元画像の収束解を得るためには、ＰＳＦ推定部１０１によるＰＳＦの推定の処理と、復元画像推定部１０２による復元画像の推定の処理とを、交互に反復して実行する必要がある。ここで、図２を用いて、本実施形態による画像処理装置の動作について説明する。
【００２４】
図２に示すように、まず、初期値設定部１０６によってＰＳＦの初期値と復元画像の初期値とが設定される（ステップＳ２０１）。初期値設定部１０６によって設定されたＰＳＦの初期値と復元画像の初期値は、ＰＳＦ推定部１０１と復元画像推定部１０２とにそれぞれ入力される。
【００２５】
次に、ＰＳＦ推定部１０１によって、ＰＳＦの最適解が推定される（ステップＳ２０２）。
次に、復元画像推定部１０２によって、復元画像の最適解が推定される（ステップＳ２０３）。
【００２６】
次に、ＰＳＦの最適解と復元画像の最適解とが収束したか否かを判断する（ステップＳ２０３）。ＰＳＦの最適解と復元画像の最適解とがそれぞれ収束した場合（ステップＳ２０４においてＹＥＳ）、即ち、ＰＳＦの収束解と復元画像の収束解とが得られた場合には、図２に示す処理を終了する。ＰＳＦの最適解と復元画像の最適解とが収束していない場合には（ステップＳ２０４においてＮＯ）、ステップＳ２０２に戻り、ＰＳＦの最適解及び復元画像の最適解が収束するまで、ステップＳ２０２からステップＳ２０４の処理を繰り返す。ＰＳＦは、ＰＳＦ推定部１０１によるＰＳＦ推定処理と復元画像推定部１０２による画像復元処理とが交互に反復して実行されることにより、収束解に収束していく。また、復元画像も、ＰＳＦ推定部１０１によるＰＳＦ推定処理と復元画像推定部１０２による画像復元処理とが交互に反復して実行されることにより、収束解に収束していく。収束する前の段階におけるＰＳＦの最適解は、ＰＳＦの暫定的な最適解と称することもできる。また、収束する前の段階における復元画像の最適解は、復元画像の暫定的な最適解と称することもできる。
【００２７】
ＰＳＦ推定部１０１と復元画像推定部１０２とを用いて行われるＰＳＦの最適解の推定及び復元画像の最適解の推定には、公知の手法を用いることができる。ここでは、かかる公知の手法の概要を簡単に説明する。
【００２８】
最適解の推定アルゴリズムは、自然画像（ブレ、ボケのないもの）とＰＳＦとについて一般的に成り立つ統計的性質を用いて行われる。そして、ブレ、ボケのある入力画像を生成し得る元画像（未知）とＰＳＦ（未知）との組み合わせの中で、最も尤もらしい元画像と最も尤もらしいＰＳＦとをそれぞれ推定する。
【００２９】
元画像を復元した復元画像（Ｌ）について仮定を置くとともに、ＰＳＦ（Ｋ）について仮定を置く。ここで、復元画像は、事前分布ｐ（Ｌ）として表現され、復元画像（Ｌ）の輝度勾配分布は、ガウシアン（又は、これに類するもの）に従うと仮定されることが多い。また、ＰＳＦは、事前分布ｐ（Ｋ）として表現され、Ｋの要素が負ではなく且つスパースな分布となると仮定されることが多い。
【００３０】
まず、Ｌ、Ｋの初期値が設定される。そして、ＰＳＦの最適解の推定は、Ｂをブレ、ボケのある入力画像、Ｌを定数、Ｋを未知数、Ｎをノイズとし、下記の式（１）を用い、ＭＡＰ（ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ）法によってＫについて解くことにより行われる。
Ｂ  ＝  Ｌ×Ｋ＋Ｎ      …  （１）
事後分布ｐ（Ｌ，Ｋ｜Ｂ）を最大化するＬ，Ｋを、事前分布ｐ（Ｌ），事前分布ｐ（Ｋ）及び事後分布ｐ（Ｂ｜Ｌ，Ｋ）を用いて確率統計的に求める。
次に、復元画像の最適解の推定は、導出したＫを定数、Ｌを未知数とし、上記の式（１）を用い、Ｌについて解くことにより行われる。
ＰＳＦの最適解と復元画像の最適解とがそれぞれ収束するまで、上記のようなＰＳＦの最適解の推定と復元画像の最適解の推定とが繰り返される。
【００３１】
上記の推定アルゴリズムによって最終的に得られたＰＳＦ、即ち、ＰＳＦの収束解は、ＰＳＦ推定部１０１からデータ記憶部１０４に出力される。また、上記の推定アルゴリズムによって最終的に得られた復元画像、即ち、復元画像の収束解は、復元画像推定部１０２からデータ記憶部１０４と画像出力部１０３とにそれぞれ出力される。
【００３２】
なお、ＰＳＦの推定及び復元画像の推定は、入力画像の全体に対して行わなくてもよい。例えば、合焦対象の被写体に対応する領域のみに対してＰＳＦの推定及び復元画像の推定を行うようにしてもよい。この場合、推定によって得られたＰＳＦを用いて画像全体に対して逆畳み込みを行うことにより、全体の復元画像が得られる。
【００３３】
撮像装置情報取得部１０５は、画像入力部１００を介して入力される画像を撮影した際の撮像装置の情報を取得するものである。撮像装置情報取得部１０５は、例えば、画像を撮影した際の絞り値の設定の情報、画像を撮影した際のズーム倍率の設定の情報、画像を取得した際の撮像装置の動き量を示す情報、画像中に移動体が合焦対象として含まれているか否かを示す情報等を取得する。撮像装置の動き量としては、撮像装置の平行移動量や回転量等が挙げられる。撮像装置の動き量を示す情報としては、例えば、ジャイロセンサ等から出力される手ブレ情報等が挙げられる。画像中に移動体が合焦対象として含まれているか否かを示す情報としては、例えば、公知の手法で取得された動体の情報等が挙げられる。撮像装置情報取得部１０５によって取得される撮像装置情報は、初期値設定部１０６に出力される。
【００３４】
初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値及び復元画像の初期値を設定するものである。初期値設定部１０６は、現画像よりも前に撮影された画像である前画像に対して求められたＰＳＦ、より具体的には、前画像のＰＳＦの収束解を、現画像を処理する際のＰＳＦの初期値として設定する。また、初期値設定部１０６は、前画像に対して求められた復元画像、より具体的には、前画像の復元画像の収束解を、現画像を処理する際の復元画像の初期値として設定する。現画像とは、連続的に撮影された複数の画像のうちの、現在の処理対象の画像のことである。前画像は、現画像を撮影するよりも前に撮影された画像である。連続的に撮影された複数の画像が動画像である場合には、現画像は現フレームの画像であり、前画像は前フレームの画像である。また、連続した撮影された複数の画像が、連写撮影によって取得された複数の画像である場合には、現画像は第ｎ番目に撮影された画像であり、前画像は第ｎ−１番目に撮影された画像である。なお、ここでは、前画像として、現画像の直前に撮影された画像を用いる場合を例に説明するが、前画像は、現画像の直前に撮影された画像に限定されるものではなく、現画像の直前に撮影された画像よりも前に撮影された画像であってもよい。なお、前画像について求められたＰＳＦや復元画像は、例えば、データ記憶部１０４に記憶されている。
【００３５】
初期値設定部１０６は、全ての場合において、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを用い、現画像を処理する際の復元画像の初期値として前画像の復元画像を用いるわけではない。初期値設定部１０６は、後述するように、撮像装置情報取得部１０５によって取得される撮像装置情報に基づいて、現画像を処理する際のＰＳＦの初期値と復元画像の初期値とを適宜設定する。
【００３６】
ここで、初期値設定部１０６により設定される初期値の設定例について、図４を用いて説明する。図４は、初期値の設定例を示す図である。
【００３７】
前画像を撮影した際の撮像装置情報に対して現画像を撮影した際の撮像装置情報が変化していない場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値と復元画像の初期値とを以下のように設定する。即ち、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを設定し、現画像を処理する際の復元画像の初期値として前画像の復元画像を設定する。撮像装置情報が変化していない場合に、現画像を処理する際のＰＳＦの初期値及び復元画像の初期値をこのように設定するのは、以下のような理由によるものである。即ち、前画像と現画像とは、連続的に取得されたものである。前画像を取得した際の撮像装置情報と現画像を撮影した際の撮像装置情報との間に変化が存在しないのであれば、ブレ、ボケを示すＰＳＦに大きな変化はなく、また、復元画像にも大きな変化はないと推測できる。従って、デルタカーネルをＰＳＦの初期値として用いたり、現在の入力画像を復元画像の初期値として用いたりする場合よりも、収束解に近いＰＳＦや復元画像を初期値として設定することができる。収束解に近いＰＳＦや収束解に近い復元画像を初期値としてそれぞれ設定すれば、ＰＳＦの収束解や復元画像の収束解を速やかに得ることができる。このような理由により、本実施形態では、撮像装置情報が変化していない場合には、前画像のＰＳＦ及び前画像の復元画像を、現画像を処理する際のＰＳＦの初期値及び復元画像の初期値として用いる。
【００３８】
現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値と復元画像の初期値とを以下のように設定する。現画像を取得した際における撮像装置の動き量は、例えばジャイロセンサ等から出力される手ブレ情報（ジャイロ情報）の変化等に基づいて判定することができる。例えば、前画像を撮影した際のジャイロ情報に対して現画像を撮影した際のジャイロ情報が所定の閾値以上変化した場合には、初期値設定部１０６は、前画像のＰＳＦを、現画像を処理する際のＰＳＦの初期値として使用しない。一方、かかる場合には、初期値設定部１０６は、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用する。なお、現画像を取得した際における撮像装置の動き量が所定の閾値未満である場合には、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを使用し、現画像を処理する際の復元画像の初期値として前画像の復元画像を用いる。
【００３９】
現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合に、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを使用しないのは、以下のような理由によるものである。即ち、現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合には、例えば大きな手ブレ等が生じたと考えられ、現画像のＰＳＦは前画像のＰＳＦに対して大きく変化していると考えられる。このような場合に、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを使用した場合には、現画像のＰＳＦの収束解や現画像の復元画像の収束解を速やかに得ることが困難となる。このような理由により、現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合には、現画像を処理する際のＰＳＦの初期値として前画像のＰＳＦを使用しないようにしている。この場合、現画像を処理する際のＰＳＦの初期値としては、例えば、デルタカーネル等の予め用意されたＰＳＦを用いてもよいし、ジャイロ情報から推定したＰＳＦを用いてもよい。
【００４０】
現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合であっても、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用するのは、以下のような理由によるものである。即ち、現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合であっても、現画像の復元画像は前画像の復元画像に対してあまり大きく変化しないと考えられる。従って、前画像の復元画像は、現在の入力画像よりも、現画像の復元画像の収束解に近いと考えられる。このため、現画像を処理する際の復元画像の初期値として現在の入力画像を用いる場合よりも、現画像を処理する際の復元画像の初期値として前画像の復元画像を用いた場合の方が、早く収束解に到達すると考えられる。このような理由により、現画像を取得した際における撮像装置の動き量が所定の閾値以上である場合であっても、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用するようにしている。
【００４１】
なお、現画像を処理する際のＰＳＦの初期値が収束解に近くなくても、現画像を処理する際の復元画像の初期値が収束解に近ければ、ＰＳＦの初期値と復元画像の初期値のいずれもが収束解に近くない場合よりは収束解に早く到達し得る。
【００４２】
ＰＳＦ及び復元画像の推定の対象となる領域内に移動体が検出された場合、より具体的には、移動体が合焦対象として現画像に含まれている場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値や復元画像の初期値を以下のように設定する。即ち、かかる場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値や復元画像の初期値として前画像のＰＳＦや前画像の復元画像を使用しない。
【００４３】
ＰＳＦ及び復元画像の推定の対象となる領域内に移動体が検出された場合に、現画像を処理する際のＰＳＦや復元画像の初期値として前画像のＰＳＦや復元画像を使用しないのは、以下のような理由によるものである。ＰＳＦ及び復元画像の推定の対象となる領域内に移動体が検出された場合には、前画像のＰＳＦや復元画像に対して現画像のＰＳＦや復元画像が大きく変化している可能性が高い。このような場合に、現画像を処理する際のＰＳＦや復元画像の初期値として前画像のＰＳＦや復元画像を使用した場合には、現画像のＰＳＦや復元画像の収束解を速やかに得ることが困難となる。このため、本実施形態では、ＰＳＦ及び復元画像の推定の対象となる領域内に移動体が検出された場合には、現画像を処理する際のＰＳＦや復元画像の初期値として前画像のＰＳＦや復元画像を使用しないようにしている。この場合、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値として、例えば、デルタカーネル等の予め用意されたＰＳＦ、ジャイロ情報から推定したＰＳＦ等を使用する。また、初期値設定部１０６は、現画像を処理する際の復元画像の初期値として、例えば、現在の入力画像、即ち、画像入力部１００を介して入力された現画像を使用する。
【００４４】
前画像の絞り値に対して現画像の絞り値が変化した場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値や復元画像の初期値を以下のように設定する。即ち、かかる場合には、初期値設定部１０６は、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用する。一方、かかる場合には、初期値設定部１０６は、前画像のＰＳＦを絞り値の変化に応じて加工することによって得られたＰＳＦを、現画像を処理する際のＰＳＦの初期値として設定する。具体的には、絞り値が増加した場合には、初期値設定部１０６は、前画像のＰＳＦを絞り値の増加に応じて減少させることにより得られたＰＳＦを、現画像を処理する際のＰＳＦの初期値として設定する。絞り値が増加した場合には、被写界深度が深くなり、ボケの量が小さくなる可能性が高いためである。一方、絞り値が減少した場合には、初期値設定部１０６は、前画像のＰＳＦを絞り値の減少に応じて増加させることにより得られたＰＳＦを、現画像を処理する際のＰＳＦとして設定する。絞り値が減少した場合には、被写界深度が浅くなり、ボケの量が大きくなる可能性が高いためである。
【００４５】
絞り値が変化した場合であっても、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用するのは、以下のような理由によるものである。即ち、絞り値が変化した場合であっても、現画像の復元画像は前画像の復元画像に対してあまり大きく変化しないと考えられる。このため、前画像の復元画像は、現在の入力画像よりも、現画像の復元画像の収束解に近いと考えられる。このため、現画像を処理する際の復元画像の初期値として現在の入力画像を用いる場合よりも、現画像を処理する際の復元画像の初期値として前画像の復元画像を用いた場合の方が、収束解に早く到達すると考えられる。このような理由により、絞り値が変化した場合であっても、現画像を処理する際の復元画像の初期値として前画像の復元画像を使用するようにしている。
【００４６】
前画像のズーム倍率に対して現画像のズーム倍率が変化した場合には、初期値設定部１０６は、現画像を処理する際のＰＳＦの初期値と復元画像の初期値を以下のように設定する。即ち、かかる場合には、初期値設定部１０６は、前画像のＰＳＦ及び復元画像をズーム倍率の変化に応じて加工することにより得られたＰＳＦ及び復元画像を、現画像を処理する際のＰＳＦ及び復元画像の初期値としてそれぞれ設定する。具体的には、ズーム倍率が増加した場合には、初期値設定部１０６は、前画像のＰＳＦをズーム倍率の増加に応じて増加させることにより得られたＰＳＦを、現画像を処理する際のＰＳＦの初期値として設定する。ズーム倍率が増加した場合には、ブレやボケも増大するためである。また、ズーム倍率が増加した場合には、初期値設定部１０６は、前画像の復元画像をズーム倍率の増加に応じて拡大することにより得られた復元画像を、現画像を処理する際の復元画像の初期値として設定する。ズーム倍率が増加した場合には、ズーム倍率の増加に応じて被写体像が拡大され、復元画像もズーム倍率の増加に応じて拡大されるためである。一方、ズーム倍率が減少した場合には、初期値設定部１０６は、前画像のＰＳＦをズーム倍率の減少に応じて減少させることにより得られたＰＳＦを、現画像を処理する際のＰＳＦの初期値として設定する。ズーム倍率が減少した場合には、ブレやボケも減少するためである。また、ズーム倍率が減少した場合には、初期値設定部１０６は、前画像の復元画像をズーム倍率の減少に応じて縮小することにより得られた復元画像を、現画像を処理する際の復元画像の初期値として設定する。ズーム倍率が減少した場合には、ズーム倍率の減少に応じて被写体像が縮小され、復元画像もズーム倍率の減少に応じて縮小するためである。
【００４７】
なお、初期値設定部１０６におけるＰＳＦや復元画像の初期値の設定処理は、上記の例に限定されるものではない。例えば、絞り値とズーム倍率の両方が変化した場合には、初期値設定部１０６は、以下のように処理する。即ち、初期値設定部１０６は、前画像のＰＳＦを絞り値の変化に応じて加工するとともにズーム倍率の変化にも応じて加工することにより得られたＰＳＦを、現画像を処理する際のＰＳＦの初期値として設定する。この場合には、初期値設定部１０６は、前画像の復元画像をズーム倍率の変化に応じて加工することにより得られた復元画像を、現画像を処理する際の復元画像の初期値として設定する。
こうして初期値設定部１０６によって設定されるＰＳＦの初期値や復元画像の初期値は、ＰＳＦ推定部１０１と復元画像推定部１０２とにそれぞれ入力される。
【００４８】
このように、本実施形態では、現画像を処理する際のＰＳＦや復元画像の初期値として前画像のＰＳＦや復元画像を用いる。このため、現画像を処理する際のＰＳＦや復元画像の初期値として、デルタカーネルや現在の入力画像等を用いる場合よりも、現画像のＰＳＦや復元画像の収束解に早く到達し得る。従って、本実施形態によれば、ＰＳＦや復元画像を迅速かつ確実に求め得る画像処理装置及び画像処理方法を提供することができる。
【００４９】
なお、上述した非特許文献１は、ＰＳＦの初期値をユーザが画像から推測して入力するものであり、ＰＳＦや復元画像を迅速に求め得ない。
【００５０】
また、特許文献２は、ＰＳＦの初期値としてデルタカーネル等を用い、復元画像の初期値として入力画像を用いるものであり、ＰＳＦや復元画像の収束解を迅速に求め得ない。
【００５１】
また、特許文献３は、ジャイロセンサや加速度センサ等で検出した情報を用いてＰＦＳを推定することを開示しているにすぎず、焦点外れ等に起因して画像がボケている場合に対応し得ない。
【００５２】
［その他の実施形態］
なお、本発明は上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の変更が可能である。
【００５３】
例えば、上記実施形態では、ＰＳＦの推定を行った後に（ステップＳ２０２）、復元画像の推定を行う（ステップＳ２０３）場合を例に説明したが、これに限定されるものではない。例えば、復元画像の推定（ステップＳ２０３）を行った後に、ＰＳＦの推定（ステップＳ２０２）を行うようにしてもよい。
【００５４】
また、上記実施形態では、現画像の直前に撮影された前画像のＰＳＦ又は復元画像に基づいて、現画像のＰＳＦ又は復元画像を推定する場合を例に説明したが、これに限定されるものではない。即ち、上記実施形態では、ｎ−１番目の画像のＰＳＦ又は復元画像に基づいて、ｎ番目の画像のＰＳＦ又は復元画像を推定したが、これに限定されるものではない。一の画像と他の画像とがある程度の相関を有していれば、他の画像のＰＳＦ又は復元画像を推定する際に、一の画像のＰＳＦ又は復元画像を用いることができる。例えば、ｎ−２番目の画像のＰＳＦ又は復元画像に基づいて、ｎ番目の画像のＰＳＦ又は復元画像を推定してもよいし、ｎ−３番目の画像のＰＳＦ又は復元画像に基づいて、ｎ番目の画像のＰＳＦ又は復元画像を推定してもよい。
【００５５】
また、上記実施形態では、現画像よりも前に撮影された前画像のＰＳＦ又は復元画像に基づいて、現画像のＰＳＦ又は復元画像を推定する場合を例に説明したが、これに限定されるものではない。現画像よりも後に撮影された後画像のＰＳＦ又は復元画像に基づいて、現画像のＰＳＦ又は復元画像を用いてもよい。例えば、ｎ＋１番目の画像のＰＳＦ又は復元画像に基づいて、ｎ番目の画像のＰＳＦ又は復元画像を推定してもよいし、ｎ＋２番目の画像のＰＳＦ又は復元画像に基づいて、ｎ番目の画像のＰＳＦ又は復元画像を推定してもよい。即ち、一の画像と他の画像との間にある程度の相関があれば、一の画像のＰＳＦ又は復元画像を推定する際に、他の画像のＰＳＦ又は復元画像を用いることができ、一の画像と他の画像との前後関係は問わない。
【００５６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００…画像入力部
１０１…ＰＳＦ推定部
１０２…復元画像推定部
１０３…画像出力部
１０４…データ記憶部
１０５…撮像装置情報取得部
１０６…初期値設定部
１０７…画像処理部
【図１】
2017016555.tif 000003
【図２】
2017016555.tif 000004
【図３】
2017016555.tif 000005
【図４】
2017016555.tif 000006