"画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、前記画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成する画像処理装置。前記画像補正部は、さらに、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFと前記短時間露光画像PSFとを適用して補正画像を生成する請求項1に記載の画像処理装置。前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第1の推定画像を生成し、該第1の推定画像と前記長時間露光画像との差分を小さくする第1の補正量を算出し、算出した第1の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する請求項1に記載の画像処理装置。前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像PSFを算出する請求項1に記載の画像処理装置。前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、2倍伸ばした線分を前記長時間露光画像PSFとして算出する請求項1に記載の画像処理装置。前記画像補正部は、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出する構成であり、前記長時間露光画像PSFの重心位置と原点とを結んだ線分を、原点を中心に、2×第2の露光条件の露光時間÷第1の露光条件の露光時間倍、伸ばした線分を、前記短時間露光画像PSFとして算出する請求項1に記載の画像処理装置。前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像PSFと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第1の補正量を算出する第1の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像PSFと、前記初期画像とから、前記初期画像に対する第2の補正量を定める第2の補正量算出部と、前記初期画像に対して、前記第1の補正量と第2の補正量とを加算する加算部と、を備える請求項1に記載の画像処理装置。前記第1の補正量算出部は、前記初期画像と前記長時間露光画像PSFとから前記長時間露光画像に類する画像を推定した結果である第1の推定画像を算出する第1の推定画像算出部と、前記長時間露光画像と前記第1の推定画像との差分である第1の差分画像を算出する減算部と、前記第1の差分画像と前記長時間露光画像PSFとから、第1の補正量を算出する第1の補正量推定部を備えた構成である請求項7に記載の画像処理装置。前記第1の推定画像算出部は、前記長時間露光画像PSFを、撮像デバイスの撮像面の色位相ごとに長時間露光画像PSFの特性を合わせた第1の色別PSFを算出する色別PSF算出部と、前記初期画像の注目画素の色ごとに、前記第1の色別PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、を備えた構成である請求項7に記載の画像処理装置。前記第1の補正量推定部は、さらに、前記長時間露光画像PSFを点対称に反転させた第1の反転PSFを算出する色別反転PSF算出部と、前記第1の差分画像の注目画素の色ごとに、前記第1の色別反転PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である請求項9に記載の画像処理装置。前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する請求項1に記載の画像処理装置。画像処理装置において実行する画像処理方法であり、撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、前記画像補正ステップにおいては、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成する画像処理方法。画像処理装置において画像処理を実行させるプログラムであり、撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、前記画像補正ステップにおいては、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出させ、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成させるプログラム。本開示は、例えば、上述の問題点に鑑みてなされたものであり、異なる露光時間の画像を個別に撮影することなく、1回の撮影画像を用いてダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。また、本開示は、特に手ブレによる撮影画像のブレを抑制したダイナミックレンジの広い画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本開示の第1の側面は、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、前記画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、さらに、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFと前記短時間露光画像PSFとを適用して補正画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第1の推定画像を生成し、該第1の推定画像と前記長時間露光画像との差分を小さくする第1の補正量を算出し、算出した第1の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像PSFを算出する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に2倍伸ばした線分を前記長時間露光画像PSFとして算出する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出する構成であり、前記長時間露光画像PSFの重心位置と原点とを結んだ線分を、原点を中心に、2×第2の露光条件の露光時間÷第1の露光条件の露光時間倍、伸ばした線分を、前記短時間露光画像PSFとして算出する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像PSFと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第1の補正量を算出する第1の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像PSFと、前記初期画像とから、前記初期画像に対する第2の補正量を定める第2の補正量算出部と、前記初期画像に対して、前記第1の補正量と第2の補正量とを加算する加算部と、を備える。さらに、本開示の画像処理装置の一実施態様において、前記第1の補正量算出部は、前記初期画像と前記長時間露光画像PSFとから前記長時間露光画像に類する画像を推定した結果である第1の推定画像を算出する第1の推定画像算出部と、前記長時間露光画像と前記第1の推定画像との差分である第1の差分画像を算出する減算部と、前記第1の差分画像と前記長時間露光画像PSFとから、第1の補正量を算出する第1の補正量推定部を備えた構成である。さらに、本開示の画像処理装置の一実施態様において、前記第1の推定画像算出部は、前記長時間露光画像PSFを、撮像デバイスの画素の色位相ごとに長時間露光画像PSFの特性を合わせた第1の色別PSFを算出する色別PSF算出部と、前記初期画像の注目画素の色ごとに、前記第1の色別PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部と、備えた構成である。さらに、本開示の画像処理装置の一実施態様において、前記第1の補正量推定部は、さらに、前記長時間露光画像PSFを点対称に反転させた第1の反転PSFを算出する色別反転PSF算出部と、前記第1の差分画像の注目画素の色ごとに、前記第1の色別反転PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する。さらに、本開示の第2の側面は、画像処理装置において実行する画像処理方法であり、撮像デバイスが、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像ステップと、画像補正部が、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正ステップを実行し、前記画像補正ステップにおいては、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成する画像処理方法にある。さらに、本開示の第3の側面は、画像処理装置において画像処理を実行させるプログラムであり、撮像デバイスに、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力させる撮像ステップと、画像補正部に、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成させる画像補正ステップを実行させ、前記画像補正ステップにおいては、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成させ、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出させ、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成させるプログラムにある。なお、本開示に係るプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータシステム上でプログラムに応じた処理が実現される。本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。本開示の一実施例の構成によれば、1つの撮影画像に基づいてブレを減少させた広ダイナミックレンジ画像を生成する装置および方法が実現される。具体的には、画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有する。画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、短時間露光画像と、長時間露光画像と、長時間露光画像PSFを適用して補正画像を生成する。この補正画像は、長時間露光画像の画素情報と短時間露光画像の画素情報を利用した広ダイナミックレンジ画像として生成されるとともに、ブレの少ない短時間露光画像の画素情報を適用することでブレを抑制した高品質な補正画像となる。以下、図面を参照しながら、本開示の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。1.画像処理装置の全体構成例について2.撮像デバイスの構成例について3.画像補正部の構成と処理の詳細について3-1補間処理部の構成と実行する処理の詳細について3-2PSF推定部の構成と実行する処理の詳細について3-3手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について4.その他の構成例について5.他の処理との併用構成例と効果について6.本開示の構成のまとめ[1.画像処理装置の全体構成例について]まず、本開示の画像処理装置の全体構成例について図2を参照して説明する。図2は、本開示の画像処理装置の一例である撮像装置の構成を示すブロック図である。光学レンズ101を通して入射される光は例えばCMOSイメージセンサなどによって構成される撮像デバイス102に入射し、光電変換による画像データを出力する。出力画像データは画像補正部103に入力される。なお、撮像デバイス102は制御部105の制御により、行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングが制御され、長時間露光画素と短時間露光画素が設定される構成となっている。画像補正部103は、ダイナミックレンジ拡大処理や手ブレ補正処理を含む画像補正処理を実行する。この処理の詳細については後段で詳細に説明する。画像補正部103の生成した補正画像は信号処理部104に入力される。信号処理部104は、例えばホワイトバランスWB調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像120を生成する。出力画像120は図示しない記憶部に格納される。あるいは表示部に出力される。制御部105は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。[2.撮像デバイスの構成例について]例えばCMOSイメージセンサによって構成される撮像デバイス102は、制御部105によって行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングの制御が行われる。具体的には、例えば、図3aに示すように、長時間露光画素、短時間露光画素、を設定する。なお、本実施例では、撮像デバイスの画素配列はベイヤーBayer配列であるものとする。ただし、これは一例であり、本開示の処理は、この他の画素配列に対しても適用可能である。図3bは、長時間露光画素と短時間露光画素の露光開始タイミングト露光終了タイミングの設定例を示している。本例では長時間露光画素と短時間露光画素の露光時間比は、4:1であり、露光開始時間を異ならせ、露光終了タイミング読み出しタイミングは等しい設定とした例である。なお、この設定は一例であり、その他も様々な設定が可能である。ただし、撮像デバイス102は、1回の撮影において複数の異なる露光時間に設定された画素からの画素情報を取得可能な構成を有するものとする。[3.画像補正部の構成と処理の詳細について]次に、画像補正部103の構成と処理の詳細について、図4以下を参照して説明する。画像補正部103には、先に図2を参照して説明したように、複数の異なる露光時間に設定された画素を持つ撮像デバイス102の出力を入力し、ダイナミックレンジを拡大し、かつ手ブレ補正を行った補正画像を生成して信号処理部104に出力する。図4に示すように、画像補正部103は、補間処理部201、PSF推定部202、手ブレ補正およびダイナミックレンジ拡大処理部203を有する。以下、これらの各構成部の実行する処理の詳細について、以下の項目に従って、順次説明する。3-1補間処理部の構成と実行する処理の詳細について3-2PSF推定部の構成と実行する処理の詳細について3-3手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について[3-1補間処理部の構成と実行する処理の詳細について]まず、図4に示す補間処理部201の構成と実行する処理の詳細について説明する。図4に示すように、撮像デバイス102の出力は、画像補正部103の補間処理部201に入力される。補間処理部201の処理について図5を参照して説明する。補間処理部201は、画素単位で異なる露光時間に設定された撮像デバイス102の出力画像301を入力して、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらの2つの露光時間画像を生成する。補間処理部201は、全画素について各露光パターンが揃うように補間処理を行う。補間処理は、線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ないそれに基づいて補間する方法などが適用可能である。例えば、第1の露光時間画像長時間露光画像321は、撮像デバイス102の出力画像301に含まれる長時間露光画素はそのまま利用する。撮像デバイス102の短時間露光画素の位置に長時間露光画素を補間するときは、周囲の長時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。第2の露光時間画像短時間露光画像322は、撮像デバイス102の出力画像301に含まれる短時間露光画素はそのまま利用する。撮像デバイス102の長時間露光画素の位置に短時間露光画素を補間するときは、周囲の短時間露光画素の画素値に基づいて、上記の線形補間などのフィルタによる補間方法や、画像のエッジの方向の検出を行ない、エッジ方向を考慮して、画素値の差分の少ない方向の画素値の重みを大きく設定して補間画素値を算出する処理が可能である。補間処理部201は、図5に示すように、撮像デバイス102の出力画像301の補完処理により、長時間露光のBayer配列の第1の露光時間画像長時間露光画像321、短時間露光のBayer配列の第2の露光時間画像短時間露光画像322、これらを生成する。図4に示すように、補間処理部201の生成したこれらの2つの異なる露光時間の画像321,322は、PSF推定部202、手ブレ補正およびダイナミックレンジ拡大処理部203に入力される。[3-2PSF推定部の構成と実行する処理の詳細について]次に、図4に示すPSF推定部202の構成と実行する処理の詳細について説明する。PSF推定部202は、点広がり関数以下PSF:PointSpreadFunctionの推定処理を行う。図6と図7を参照して、PSF推定部202の実行する処理について説明する。図6は、PSF推定部202の前半部、図7は、PSF推定部202の後半部、を示している。まず、図6を参照してPSF推定部202の前半部の処理について説明する。図6に示すように、PSF推定部202は、補間処理部201の生成した以下の2つの画像、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらを入力する。画素選択部351は、第1の露光時間画像長時間露光画像321から、G画素だけを抜き出す。画素選択部361は、第2の露光時間画像短時間露光画像322から、G画素だけを抜き出す。このG画素抽出処理の際、G画素以外の画素の画素値はゼロとする。露出補正部362は、第2の露光時間画像短時間露光画像322から生成したG画素データに露光比を掛けることで、第1の露光時間画像とほぼ同じ明るさの画像を生成する。詳細は後段で説明するなお、本来ならばバイリニア補間などを用いて全画素位置にG画素を補間する必要があるが、この処理はフーリエ変換後にあるローパスフィルタを掛けることと等価であるため、本実装例では離散フーリエ変換後に高周波成分を除去することで代用して計算コストを下げている。G画素の画素値のみからなるデータは、離散フーリエ変換部352,363に出力される。なお、後述するように、短時間露光画像である第2の露光時間画像322のG画素については、露出補正部362における露出補正後に離散フーリエ変換部363に出力される。離散フーリエ変換部352,363は、それぞれ窓関数を用いて離散フーリエ変換を行う。離散フーリエ変換部352は、第1の露光時間画像長時間露光画像321から生成したG画素データに基づいて長時間露光G画素フーリエ変換結果を算出する。離散フーリエ変換部363は、第2の露光時間画像短時間露光画像322に露出補正を行い生成したG画素データに基づいて短時間露光G画素フーリエ変換結果を算出する。これらのフーリエ変換結果は、PSF推定演算部371に出力される。PSF推定演算部371は、これらの2つのフーリエ変換結果の除算値を計算する。すなわち、除算値=長時間露光G画素フーリエ変換結果/短時間露光G画素フーリエ変換結果上記の除算値を計算する。この除算値は、高周波除去部372に出力される。高周波除去部372は、除算結果に含まれる高周波成分をゼロにする処理を実行する。この高周波除去結果は、逆離散フーリエ変換部373に出力される。逆離散フーリエ変換部373は、逆離散フーリエ変換を計算する。逆離散フーリエ変換部373の生成した逆離散フーリエ変換結果は、ノイズ除去および閉領域選択部374に出力される。ノイズ除去および閉領域選択部374は、逆離散フーリエ変換部373の生成した逆離散フーリエ変換結果からノイズ除去を行い、閉領域を選択してPSFの推定を行い、第1のPSF長時間露光画像PSF381を生成する。PSF推定部202の具体的な処理例について説明する。画像を構成する画素位置をx,yの座標位置で表し、fx,yを短時間露光画像の各画素位置x,yの画素値とし、gx,yを長時間露光画像の各画素位置x,yの画素値とし、px,yを、PSF点広がり関数の各画素位置x,yの値とする。ただし、説明のためfx,y、gx,yはBayer配列ではなく単色画像とし、画素の飽和白飛びは無視する。長時間露光画像は手ブレの影響を受けるため、以下のように表される。ただしは畳み込み演算を表す。gx,y=px,yfx,y式1すなわち、長時間露光画像の各画素位置x,yの画素値gx,yは、PSFと、短時間露光画像の畳込演算によって算出される。また、短時間露光画像fx,y、長時間露光画像gx,y、PSF:px,y、これらを離散フーリエ変換した結果を、それぞれ、以下のように表す。短時間露光画像fx,yの離散フーリエ変換結果:Fu,v、長時間露光画像gx,yの離散フーリエ変換結果:Gu,v、PSF:px,yの離散フーリエ変換結果:Pu,v、この離散フーリエ変換結果を用いると、上記の式1は以下の式2として表現できる。Gu,v=Pu,vFu,v式2なお、は、周波数成分ごとの積算を意味する。すなわち、長時間露光画像gx,yの離散フーリエ変換結果:Gu,vは、PSF:px,yの離散フーリエ変換結果:Pu,vと、短時間露光画像fx,yの離散フーリエ変換結果:Fu,vとの周波数成分ごとの積算によって算出できる。これらの式1、式2から、PSF:px,yを算出するためには、Pu,v=Gu,v/Fu,v式3上記式3に従って、px,yの離散フーリエ変換結果:Pu,vを算出し、さらに、算出した離散フーリエ変換結果:Pu,vのこの計算結果の逆離散フーリエ変換を計算すればよい。ただし、上記式3の/は、周波数成分ごとの除算を表す。この手順で、短時間露光画像fx,y、長時間露光画像gx,y、これらを用いて、PSF点広がり関数:px,yを求めることができる。ただし実際には、短時間露光画像と長時間露光画像では画像の明るさが異なるため、短時間露光画像で見えている部位が、長時間露光では完全に飽和して白飛びする状況が考えられる。その場合、画素の飽和の影響で上記式1が成り立たない。そこで実際には、露出補正部362にて、第2の露光時間画像長時間露光画像322から生成したG画素データに、露光比本開示の実施例では4倍を掛けて、さらに飽和画素値以上の画素値を、飽和画素値に置き換える処理を行う。本処理により得られたG画素データと、第1の露光時間画像長時間露光画像321から生成したG画素データとでは、飽和画素の位置がほぼ一致するため、画素の飽和の影響を取り除くことができる。また、上記式3に示す手法のように周波数空間で除算する処理のみだけでは、ノイズの影響が大きくなり、短時間露光画像fx,yの離散フーリエ変換結果:Fu,vがゼロに近い値の場合にゼロ除算されてしまう。すなわち、図6に示すように、逆離散フーリエ変換部373において、上記式3によって計算された結果はノイズを多く含むPSFとなってしまう。そこで、本開示の撮像装置における特徴である、第1の露光条件の画素と第2の露光条件の画素をほぼ同じタイミングで撮影できるという特性や、手ブレにおけるPSFは連結した形状をしており細かい高周波のノイズは含まれない、これらの特徴を考慮した処理を行う。図3bを参照して説明した露光タイミングから理解されるように、第2の露光時間画像短時間露光画像の露光期間は、第1の露光時間画像長時間露光画像も露光されている。この結果として、これらの重複露光期間を持つ2つの画像から生成されるPSFは必ず原点を通る。これを利用して、図6に示すノイズ除去および閉領域選択部374は、逆離散フーリエ変換部373において、上記式3によって計算された結果を入力し、この入力から高周波のノイズを除去し、さらに原点を通る閉領域を選択する。正規化部375では、選択された閉領域の画素値の総和が露光比本開示の実施例では4.0と一致するように正規化処理を行う。その結果、ノイズの少ない第1のPSF長時間露光画像PSF381を生成する。次に、図7を参照して、PSF推定部202の後半部の処理について説明する。PSF推定部202の後半部では、PSFが直線的な形状を持つと仮定することで、より高精度な第1のPSF長時間露光画像PSFや、第2のPSF短時間露光画像PSFを算出する。図6を参照して説明したPSF推定部202の前段において生成した第1のPSF長時間露光画像PSF381を入力し、重心検出部401においてPSFの重心を検出する。PSFの形状は直線的と仮定しているため、本来のPSFは、原点と重心を結んだ線分を、原点を中心に2倍伸ばした線分となる。そこでPSF補正処理部402において、原点を中心に2倍伸ばした線分を生成する演算を行い第1の高精度PSF421を生成する。また第2のPSF短時間露光画像PSF422の長さは、第1のPSF長時間露光画像PSF381の長さに露光比を乗算したデータとなる。そこで第2のPSF演算部403において、第1のPSF長時間露光画像PSF381の原点と前記重心位置を結んだ線分を、原点を中心に、2×第2の露光条件の露光時間÷第1の露光条件の露光時間倍、伸ばした線分を生成して、これを第2のPSF短時間露光画像PSF422として出力する。[3-3手ブレ補正およびダイナミックレンジ拡大処理部の構成と実行する処理の詳細について]次に、図4に示す手ブレ補正およびダイナミックレンジ拡大処理部203の構成と実行する処理の詳細について説明する。手ブレ補正およびダイナミックレンジ拡大処理部203は、ブレの少ない短時間露光画像に基づいて初期画像を設定し、初期画像を推定したPSFでぼかした推定画像と、実際に観測された画像の差分が少なくなるように補正量を計算し、初期画像の更新を行う。これらの処理の結果、初期画像の暗部のノイズや階調の劣化が改善され、手ブレの影響を排除しつつダイナミックレンジを拡大することができる。具体的な処理について説明する。第1の画像長時間露光画像から計算された第1の補正量を用いて初期画像を更新するときには、以下の計算を行う。hx,y=hx,yλpx,y{gx,y-px,yhx,y}式4なお、上記式4において、px,yはPSFを点対称に反転した反転PSF、λは調整用のパラメータ予め既定したパラメータ、あるいはユーザが設定したパラメータ、hx,yは初期画像、hx,yは補正された結果である更新初期画像、は畳み込み演算、を表す。また、上記式4は、色の区別をつけずに表記しているが、実際には注目画素の色位相ごとに、後述する色別PSF、色別反転PSFを使い分けて畳み込み演算を行う。手ブレ補正およびダイナミックレンジ拡大処理部203の詳細構成と、実行する処理について、図8を参照して説明する。手ブレ補正およびダイナミックレンジ拡大処理部203は、図4、図5を参しようして説明したように補間処理部201から、補間処理部201の生成した以下の2つの画像、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらを入力する。手ブレ補正およびダイナミックレンジ拡大処理部203は、まず入力されたこれらの画像321、画像322をそれぞれビットシフト部511,521において構成画素値のビットシフトを行う。このビットシフトにより、高ビット階調で表現された第1の高階調画像512、第2の高階調画像522を得る。例えば、入力画像である、以下の画像、すなわち、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらの画像の各画素値が10ビット表現データである場合、ビットシフト部511,521はこれらの画像の各画素値を16ビットに設定する。図8に示す初期画像551は、初期的には、第2の露光時間画像短時間露光画像322に基づいて生成した高階調画像に対して、ノイズ除去部531においてノイズ除去を施した画像を用いる。次に、第1の補正量算出部532において、第1の露光時間画像長時間露光画像321に基づいて生成した第1の高階調画像512と、PSF推定部202の生成した第1のPSF長時間露光画像PSF381と、初期画像551から、第1の補正量を算出する。第1の補正量算出部532の実行する補正量算出処理については、さらに後段で詳細に説明する。なお、第1のPSF長時間露光画像PSF381の代わりに、図7を参照して説明した第1の高精度PSF421を利用してもよい。また、第2の補正量算出部533において、第2の露光時間画像短時間露光画像322に基づいて生成した第2の高階調画像522と、PSF推定部202の生成した第2のPSF短時間露光画像PSF422と初期画像551から、第2の補正量を算出する。次に、加算部534において、初期画像551に第1の補正量と第2の補正量を加算し、補正出力画像552を得る。なお、さらに、補正出力画像552を、再び初期画像551として設定し、同じ処理を繰り返して、補正出力画像552を順次、更新して、最終的な補正出力画像552を生成してもよい。なお、前述したように、第1の補正量算出部532において、第1の露光時間画像長時間露光画像321に対応する第1の補正量を算出する処理に際しては、図6を参照して説明たPSF推定部202の生成する第1のPSF長時間露光画像PSF381、または、図7を参照して説明たPSF推定部202の生成する第1の高精度PSF421のいずれかを用いることが可能である。またノイズ除去部531は、付加的な処理であり、ノイズ除去部531を省略した構成としてもよい。なお、短時間露光処理期間である第2の露光時間画像の露光時間が十分に短く、第2の露光時間画像にブレがないと判定される場合には、先に図7参照して説明したpsf推定部202における第2のPSF短時間露光画像PSF422の算出や、図8に示す手ブレ補正およびダイナミックレンジ拡大処理部203における第2の補正量算出部533を省略した構成とすることが可能である。この場合、手ブレ補正およびダイナミックレンジ拡大処理部203は、例えば図9に示す構成とすることが可能である。なお、図9ではノイズ除去部も省略した構成としている。図8に示す手ブレ補正およびダイナミックレンジ拡大処理部203における処理結果として得られた補正出力画像522は、図2に示す信号処理部104に出力される。信号処理部104は、必要に応じて階調補正、デモザイク、γ補正などを施すことで最終的な出力画像120を生成して出力する。補正量算出部の処理の詳細について次に、図8に示す第1の補正量算出部532の詳細について、図10、図11を参照して説明する。なお、第2の補正量算出部533も同等の構成である。まず色別PSFおよび色別反転PSF生成部701にて、撮像デバイス102の色配列に応じた第1の色別PSF711、第1の色別反転PSF712を生成する。なお。色別位相ごととはベイヤー配列の場合、RGBの3色各々に対応し、R対応のPSFと反転PSF、G対応のPSFと反転PSF、B対応のPSFと反転PSF、これらが生成される。第1の色別PSF711は、畳み込み演算部702に入力される。畳み込み演算部702は、第2の露光時間画像短時間露光画像322に基づいて生成された初期画像551図8参照の注目画素の色に応じて第1の色別PSF711を使い分けて畳み込み演算を行う。畳み込み演算部702の生成した畳み込み演算結果は、飽和処理部703に出力される。飽和処理部703は、畳み込み演算部702の生成した畳み込み演算結果を入力し、予め設定した閾値以上の画素値を、閾値の値に飽和させる飽和処理を行う。これらの処理によって、初期画像551と第1のPSF長時間露光画像PSFから、第1の露光条件長時間露光で撮影していたときに得られると予想できる画像第1の推定画像721を生成する。第1の補正量算出部532は、この第1の推定画像721と、補間処理部201の生成した第1の露光時間画像長時間露光画像321の差分が小さくなるような第1の補正量を算出する。減算部704は、この第1の推定画像721と、補間処理部201の生成した第1の露光時間画像長時間露光画像321の差分を設定した第1の差分画像722を生成する。減算部704において、補間処理部201の生成した第1の露光時間画像長時間露光画像321から第1の推定画像721の対応画素の画素値の減算処理を行い、第1の差分画像722を得る。次に畳み込み演算部705において、順次、選択される注目画素の色ごとR,G,Bごとに第1の色別反転PSF712を使い分けて畳み込み演算を行う。最後に、乗算部706において、畳み込み演算部705の演算結果に補正量調整パラメータ731を乗算して第1の補正量を得る。補正量調整パラメータ731は、予め設定した値、あるいはユーザが設定した値を用いることができる。次に、図11を参照して、色別PSFおよび色別反転PSF生成部701の詳細構成と処理について説明する。本処理では、撮像デバイス102の色配列本実装例ではBayer配列のまま手ブレ補正を行うために、固体撮像素子の色位相ごとに特性を合わせた色別PSF821,822を計算する。また同時に、色別PSFを点対称に反転させた色別反転PSF823.824を算出する。まず、色別PSFおよび色別反転PSF生成部701入力された第1のPSF長時間露光画像PSF381を画素選択部802において、色位相ごとR,G,Bに合わせた画素を抜き出す。例えばBayer配列の場合、G用には市松模様に抜き出し、RやB用には2画素置きに抜き出す。その後、正規化部804a,804bにおいて、それぞれ初期画像と第1の画像の露光比に応じて正規化する処理を行う。本構成例では露光比は、先に図3を参照して説明したように、短時間露光時間:長時間露光時間=1:4、であるため、色別PSF821,822の合計値がそれぞれ4.0になるようにそれぞれ正規化する。また、反転部801では第1のPSF長時間露光画像PSF381を点対称に反転し、画素選択部803において、各色R,G,Bに応じた画素を抜き出す。さらに正規化部804c,804dでは、画素の合計値が露光比の逆数、すなわち0.25になるように正規化し、色別反転PSF823,824を出力する。[4.その他の構成例について]次に、上述した実施例と異なるその他の構成例について説明する。前述のように、第2の露光条件の露光時間短時間露光が十分に短く、撮影画像にブレがない場合には、図7に示すPSF推定部202おいて第2のPSF短時間露光画像PSF422を生成する処理や、図8に示す手ブレ補正およびダイナミックレンジ拡大処理部203の第2の補正量算出部533を省略した図9のような構成もとることができる。さらに、図8において構成の一例としてBayer配列のまま合成する手法を示したが、予めデモザイク処理を実行して、各画素位置に対応するRGB画素値がそろった画像に対して処理を施すこともできる。図12に予めデモザイク処理を実行して、手ブレ補正及びダイナミックレンジ拡大処理を行う手ブレ補正およびダイナミックレンジ拡大処理部203の構成例を示す。まず、図12に示すように、補間処理部201の生成した以下の各画像、すなわち、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらを各々、デモザイク処理部901,902に入力する。デモザイク処理部901,902は、第1の露光時間画像長時間露光画像321、第2の露光時間画像短時間露光画像322、これらの各画像のデモザイク処理を実行して各画素位置にRGBの3色そろった画像に変換する。その後の処理は、基本的には先に図8をと参照して説明した処理と同様の処理をRGBそれぞれの画像に対して実行する。ただし、全画素位置にRGBの3色がそろっているため、色別PSFや色別反転PSFを用いる必要はない。また、輝度信号に比べ色差信号はボケが目立たないという特徴を利用し、RGB画像をさらにYCbCr空間に変換し、Y信号に対してのみ処理を施すことで計算量の削減を行うこともできる。また、撮像デバイス102としての例えばCMOSイメージセンサの画素配列について、先に図3を参照して長時間露光画素と短時間露光画素の設定例について説明した。この図3に示すパターンは一例であり、この他の様々な画素パターンを設定可能である。補間処理部201や色別PSFおよび色別反転PSF生成部701を画素配列に合わせて設計することで、本手法を適用することが可能である。例えば、図13A,Bに示す画素配列や、図13Cに示すようにカラーフィルタが非Bayer配列のイメージセンサであっても適用することができる。また露光制御について、図3bを参照して説明した例では、2種類の露光パターンの露光の終了時が一致するように制御していたが、別の露光タイミングでもよく、例えば図11のように露光開始時を一致させて、露光終了時を異ならせるように制御してもよい。[5.他の処理との併用構成例と効果について]以上、本開示の画像処理装置撮像装置として、撮像デバイスイメージセンサの露光制御と、信号撮像素子の出力に対する処理を工夫することでダイナミックレンジの拡大と手ブレ補正を同時に行う手法を提案した。さらに、本開示の手法は、従来の光学式の手ブレ補正と組み合わせて使うこともできる。本開示の構成における効果をまとめると、例えば以下の効果があげられる。一枚撮りの撮影画像から、信号処理による手ブレ補正と、ダイナミックレンジの拡大された画像を得ることができる。その結果、暗部から明部までノイズの少なく、手ブレの影響を抑えられた画像が得られる。従来手法よりもシンプルな画素配列、制御方法の固体撮像素子に対し、上記の画像処理を適用することができる。具体的には、非特許文献2に比べ、少ない露光条件2種類の画素配列にて処理を行うことができ、露光の制御も単純で簡易な構成とすることができる。入力画像、出力画像の色配列はBayer配列のまま処理することもできるため、既存のカメラ信号処理との親和性が高い。[6.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1画素領域単位の異なる露光時間制御下での撮影処理に基づいて長時間露光画素情報と、短時間露光画素情報を出力する撮像デバイスと、前記撮像デバイスの出力する画素情報を入力し、手ブレ補正およびダイナミックレンジ拡大処理を施した補正画像を生成する画像補正部を有し、前記画像補正部は、全画素に長時間露光を行ったと仮定した場合の画素値を設定した長時間露光画像と、全画素に短時間露光を行ったと仮定した場合の画素値を設定した短時間露光画像を生成し、前記長時間露光画像に対応するPSF点広がり関数を、長時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFを適用して補正画像を生成する画像処理装置。2前記画像補正部は、さらに、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出し、前記短時間露光画像と、前記長時間露光画像と、前記長時間露光画像PSFと前記短時間露光画像PSFとを適用して補正画像を生成する前記1に記載の画像処理装置。3前記画像補正部は、前記短時間露光画像に基づいて、長時間露光を行ったと仮定した第1の推定画像を生成し、該第1の推定画像と前記長時間露光画像との差分を小さくする第1の補正量を算出し、算出した第1の補正量を、前記短時間露光画像に基づいて生成した初期画像に加算する処理を実行して前記補正画像を生成する前記1または2に記載の画像処理装置。4前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結成分の抽出処理により、前記長時間露光画像PSFを算出する前記1~3いずれかに記載の画像処理装置。5前記画像補正部は、前記長時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果を、前記短時間露光画像から選択した特定色の画素値に基づく離散フーリエ変換結果による除算処理を実行し、前記除算処理の結果に対して逆離散フーリエ変換処理を実行し、逆離散フーリエ変換結果に対するノイズ除去と原点を通る連結閉領域の抽出を実行し、原点と閉領域の重心位置を結んだ線分を、原点を中心に、2倍伸ばした線分を前記長時間露光画像PSFとして算出する前記1~4いずれかに記載の画像処理装置。6前記画像補正部は、前記短時間露光画像に対応するPSFを、短時間露光画像PSFとして算出する構成であり、前記長時間露光画像PSFの重心位置と原点とを結んだ線分を、原点を中心に、2×第2の露光条件の露光時間÷第1の露光条件の露光時間倍、伸ばした線分を、前記短時間露光画像PSFとして算出する前記1~5いずれかに記載の画像処理装置。7前記画像補正部は、前記長時間露光画像に基づいて算出する長時間露光画像PSFと、前記短時間露光画像に基づいて生成される初期画像と、前記長時間露光画像とから、前記初期画像に対する第1の補正量を算出する第1の補正量算出部と、前記短時間露光画像に基づいて算出する短時間露光画像PSFと、前記初期画像とから、前記初期画像に対する第2の補正量を定める第2の補正量算出部と、前記初期画像に対して、前記第1の補正量と第2の補正量とを加算する加算部と、を備える前記1~6いずれかに記載の画像処理装置。8前記第1の補正量算出部は、前記初期画像と前記長時間露光画像PSFとから前記長時間露光画像に類する画像を推定した結果である第1の推定画像を算出する第1の推定画像算出部と、前記長時間露光画像と前記第1の推定画像との差分である第1の差分画像を算出する減算部と、前記第1の差分画像と前記長時間露光画像PSFとから、第1の補正量を算出する第1の補正量推定部を備えた構成である前記1~7いずれかに記載の画像処理装置。9前記第1の推定画像算出部は、前記長時間露光画像PSFを、撮像デバイスの撮像面の色位相ごとに長時間露光画像PSFの特性を合わせた第1の色別PSFを算出する色別PSF算出部と、前記初期画像の注目画素の色ごとに、前記第1の色別PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部の出力結果画像の、撮像デバイスの飽和画素値に相当する値以上の画素値を、前記飽和画素値に相当する値に置き換えて出力する飽和処理部とを備えた構成である前記1~8いずれかに記載の画像処理装置。10前記第1の補正量推定部は、さらに、前記長時間露光画像PSFを点対称に反転させた第1の反転PSFを算出する色別反転PSF算出部と、前記第1の差分画像の注目画素の色ごとに、前記第1の色別反転PSFを使い分けて畳み込み演算を行う畳み込み演算部と、前記畳み込み演算部において出力した結果画像に、補正量調整パラメータを乗算して補正量調整を実行する乗算部を備えた構成である前記1~9いずれかに記載の画像処理装置。11前記画像補正部は、前記長時間露光画像と前記短時間露光画像に対するデモザイク処理を実行するデモザイク処理部を有し、前記デモザイク処理部の処理結果であるデモザイク画像に基づいて前記補正画像を生成する前記1~10いずれかに記載の画像処理装置。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"