"領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する画像処理装置。前記中間画像生成部は、フォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する構成である請求項1に記載の画像処理装置。前記中間画像生成部は、前記入力画像より短い露光時間の複数のタイミング画像を生成し、前記歪み補正処理部は、前記入力画像より短い露光時間の複数のタイミング画像を合成して前記補正画像を生成する請求項1に記載の画像処理装置。前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する請求項1に記載の画像処理装置。前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に全ての露光時間を持つタイミング画像については、当該タイミング画像の画素値を、補正画像の画素値にすべて反映させる処理を行い、生成予定の補正画像の露光時間に一部の露光時間重なり部分を持つタイミング画像については、当該タイミング画像の画素値を、前記重なり部分の割合に応じて補正画像の画素値に反映させる処理を行う請求項1に記載の画像処理装置。前記中間画像生成部の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、前記歪み補正処理部は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する請求項1に記載の画像処理装置。前記中間画像生成部は、前記タイミング画像を、前記入力画像より短い露光時間の連続撮影画像として生成し、前記中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を有する請求項1に記載の画像処理装置。前記中間画像生成部は、連続撮影された複数の画像に対する処理を並列に実行する複数の中間画像生成部によって構成され、前記歪み補正部は、前記複数の中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する請求項1に記載の画像処理装置。前記入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素のいずれかである請求項1に記載の画像処理装置。前記画像処理装置は、さらに、入力画像の領域単位の動き検出を実行する動き検出部を有し、動きの検出された領域についてのみ前記歪み補正処理部の出力を適用して出力画像を生成する請求項1に記載の画像処理装置。前記画像処理装置は、さらに、撮像素子と、前記撮像素子の領域単位の露光時間制御を実行する制御部を有する請求項1に記載の画像処理装置。画像処理装置において実行する画像処理方法であり、中間画像生成部が、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成ステップと、歪み補正処理部が、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理ステップを実行する画像処理方法。画像処理装置において画像処理を実行するプログラムであり、中間画像生成部に、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成させる中間画像生成ステップと、歪み補正処理部に、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成させる歪み補正処理ステップを実行させるプログラム。上述したように、フォーカルプレーン動作を行う撮像素子では、動きのある被写体の撮影時などに撮影画像の歪みが発生してしまう。本発明は例えば、このような状況に鑑みてなされたものであり、フォーカルプレーン動作を行う撮像素子において、撮影画像の歪みを抑制可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本発明の第1の側面は、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する画像処理装置にある。さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、フォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する構成である。さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記入力画像より短い露光時間の複数のタイミング画像を生成し、前記歪み補正処理部は、前記入力画像より短い露光時間の複数のタイミング画像を合成して前記補正画像を生成する。さらに、本発明の画像処理装置の一実施態様において、前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。さらに、本発明の画像処理装置の一実施態様において、前記歪み補正処理部は、前記補正画像の画素値算出に際して、生成予定の補正画像の露光時間に全ての露光時間を持つタイミング画像については、当該タイミング画像の画素値を、補正画像の画素値にすべて反映させる処理を行い、生成予定の補正画像の露光時間に一部の露光時間重なり部分を持つタイミング画像については、当該タイミング画像の画素値を、前記重なり部分の割合に応じて補正画像の画素値に反映させる処理を行う。さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、前記歪み補正処理部は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記タイミング画像を、前記入力画像より短い露光時間の連続撮影画像として生成し、前記中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を有する。さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、連続撮影された複数の画像に対する処理を並列に実行する複数の中間画像生成部によって構成され、前記歪み補正部は、前記複数の中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する。さらに、本発明の画像処理装置の一実施態様において、前記入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素のいずれかである。さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、入力画像の領域単位の動き検出を実行する動き検出部を有し、動きの検出された領域についてのみ前記歪み補正処理部の出力を適用して出力画像を生成する。さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、撮像素子と、前記撮像素子の領域単位の露光時間制御を実行する制御部を有する。さらに、本発明の第2の側面は、画像処理装置において実行する画像処理方法であり、中間画像生成部が、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成ステップと、歪み補正処理部が、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理ステップを実行する画像処理方法にある。さらに、本発明の第3の側面は、画像処理装置において画像処理を実行するプログラムであり、中間画像生成部に、領域単位で異なる露光時間を設定して撮影した画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、前記複数の露光パターン画像の差分画像である複数のタイミング画像を生成させる中間画像生成ステップと、歪み補正処理部に、前記複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成させる歪み補正処理ステップを実行させるプログラムにある。なお、本発明のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータシステム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本発明の一実施例によれば、被写体動き等に基づいて発生するフォーカルプレーン動作等に起因する歪みを抑制した画像を生成可能となる。具体的には、例えばフォーカルプレーンシャッタ動作によって撮影された領域単位で露光時間ずれのある画像を入力し、該入力画像に基づいて異なる露光時間対応の複数の露光パターン画像を生成し、複数の露光パターン画像の差分画像である複数のタイミング画像を生成する中間画像生成部と、中間画像生成部の生成した複数のタイミング画像の合成処理により、所定露光時間の露光処理画像に相当する補正画像を生成する歪み補正処理部を有する。例えば各行単位で、所定の露光時間のタイミング画像のみを選択して合成することで、歪みのない画像を生成することが可能となる。以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。1.画像処理装置の構成例について2.歪み補正部の構成と処理の詳細について2-1.歪み補正部の全体構成と処理について2-2.中間画像生成部の処理について2-3.歪み補正処理部の処理について3.その他の実施例について3-1.露光制御パターンの変形例について3-2.露光時間制御の変形例について3-3.フレームバッファ設定の変形例について3-4.歪み補正処理の変形例について4.その他の画像処理との併用構成例について5.本発明の処理による効果の説明[1.画像処理装置の構成例について]まず、画像処理装置の一実施例としての撮像装置の構成例について、図7を参照して説明する。図7に示すように、撮像装置は、光学レンズ201、CMOSイメージセンサ等によって構成される撮像素子202、主にフォーカルプレーン動作に起因する画像歪みを補正する歪み補正部203、信号処理部205、制御部207を有する。光学レンズ201を介した入射光は、撮像素子CMOSイメージセンサ203に入射する。撮像素子202は、フォーカルプレーン動作に従った領域単位、例えば行単位の順次読み出し処理が実行される撮像素子である。撮像素子202は、入射光に応じて撮像素子の各画素において電荷を蓄積し、蓄積電荷に基づく光電変換信号を画像データとして歪み補正部203に出力する。歪み補正部203は、撮像素子202からの出力画像信号を入力し、フォーカルプレーン動作に起因する画像歪みを補正する。この処理については後段で詳細に説明する。歪み補正部203は、歪み補正により生成した補正画像204を信号処理部205に出力する。信号処理部205では、歪み補正のなされた補正画像204を入力し、入力画像に所定の画像処理、例えばホワイトバランス調整処理や、ガンマ補正処理などの画像処理を施して出力画像206を生成して出力する。撮像装置は、動画や静止画を撮影可能な撮像装置であり、撮像素子CMOSイメージセンサ202は、先に図1を参照して説明したと同様の構成を有する。なお、撮像素子CMOSイメージセンサ202は、制御部207の制御によって領域単位の露光時間制御を可能とした撮像素子である。例えば先に説明した特許文献6~8に記載のある構成、あるいはその他の既存構成によって画像領域単位の露光時間制御を実行する。なお、以下に説明する実施例では、撮像素子202の一例として、図8に示す構成を持つ撮像素子を用いた例について説明する。撮像素子202は図8Aに示すようにRGB配列を有し、4画素単位で異なる露光時間露光パターン1~4が設定される。図8A,Bに示すように、a最も長い露光時間の画素ブロック露光パターン1b2番目に長い露光時間の画素ブロック露光パターン2c3番目に長い露光時間の画素ブロック露光パターン3d最も短い露光時間の画素ブロック露光パターン4このような4パターンの露光時間の画素ブロックが図8Aに示すように隣接して設定され、周期的に配置される。露光パターン1~4の露光時間比は4:3:2:1で、図8Bに示すように、各パターンにおいて露光開始時間が異なり、読み出し時間は等しいものとする。[2.歪み補正部の構成と処理の詳細について]2-1.歪み補正部の全体構成と処理について次に、歪み補正部203の構成と処理の詳細について図9を参照して説明する。図9に示すように、歪み補正部203には、撮像素子202からの出力画像であるセンサ出力画像211が入力される。このセンサ出力画像211は、フレームバッファ212および213に、順次格納される。例えば動画撮影時には連続撮影フレームが各フレームバッファ212,213に順次格納されることになる。なお、静止画撮影時にも連続撮影した画像を利用して1つの画像を出力する処理を行うことが可能であり、静止画、動画いずれの撮影時にも適用可能である。3枚の連続撮影画像をフレームN-1,N,N1とし、最新の撮影画像であるセンサ出力画像211=フレームN1としたとき、フレームバッファ212にはフレームN、フレームバッファ213にはフレームN-1、これらの各フレーム画像が格納される。センサ出力画像211およびフレームバッファ212,213の各格納画像に対して中間画像生成部214~216は、各々複数の中間画像を生成する。この中間画像生成処理については後述する。中間画像生成部214~216の生成した複数の中間画像は歪み補正処理部218に入力される。歪み補正処理部218は、中間画像生成部214~216の生成した複数の中間画像を入力し、さらに制御部207から入力する走査線位置情報217を入力し、フォーカルプレーンシャッタによる画像歪みを補正して、補正出力画像219を生成する。この処理については後述する。2-2.中間画像生成部の処理について次に図9に示す歪み補正部203内に構成される中間画像生成部の処理について図10を参照して説明する。図9を参照して説明したように歪み補正部203は、3つの中間画像生成部214~216を有している。中間画像生成部214~216は、それぞれ連続撮影された画像に対する処理を行う。具体的には、中間画像生成部214は、センサ出力画像フレームN1に対する処理、中間画像生成部215は、フレームバッファ212の格納画像フレームNに対する処理、中間画像生成部216は、フレームバッファ213の格納画像フレームN-1に対する処理、これらの処理をそれぞれ実行する。これら3つの中間画像生成部214~216の実行する処理は、処理対象画像が異なるのみであり、基本的に同様の処理である。従って、以下では、中間画像生成部214の処理を代表例として説明する。中間画像生成部214には、センサ出力画像211が入力される。このセンサ出力画像211は、先に図8を参照して説明したように、画素領域ごとに異なる露光パターン露光パターン1~4、すなわち4種類の異なる露光時間を設定して撮影された画像である。まず、図10に示す補間処理部222は、4つの露光時間の設定されたセンサ出力画像221を入力する。図10に示すセンサ出力画像221は、図9のセンサ出力画像211に対応する。補間処理部222は、全画素について各露光パターンが揃うように補間処理を行う。すなわち、センサ出力画像221の全画素について4つの露光時間の各々で、均一に露光処理を行って撮影した画像と同等の4つの露光パターン画像223~226を生成する。具体的には以下の4つの露光パターン画像を生成する。a最も長い露光時間である露光パターン1で撮影した画像に相当する露光パターン画像223、b2番目に長い露光時間である露光パターン2で撮影した画像に相当する露光パターン画像224、c3番目に長い露光時間である露光パターン3で撮影した画像に相当する露光パターン画像225、d最も短い露光時間である露光パターン4で撮影した画像に相当する露光パターン画像226、これらの4つの露光パターン画像を生成する。補間処理部222における露光パターン画像生成において実行する補間処理は、線形補間などのフィルタによる補間方法や、エッジの方向の検出を行ないそれに基づいて補間する方法などである。補間処理部222の生成した4つの露光パターン画像223~226は、露光時間の差分の少ないペアを1組として、3つの差分画像生成部227~229に各々入力する。差分画像生成部227~229の処理について図11を参照して説明する。図10に示す補間処理部222の生成した4つの異なる露光時間の下で撮影された画像に相当する各露光パターン画像223~226は、図11に示すように、4つの異なる露光時間4T,3T,2T,1Tの下での撮影画像に相当する。差分画像生成部227~229では、これら4つの露光パターン画像から、露光時間の差分の少ないペアをそれぞれ入力して対応画素の差分画素値を算出し、その差分画素値から構成される画像をタイミング画像230~232として生成する。差分画像生成部227は、以下の第1タイミング画像230を生成する。第1タイミング画像230は、最も長い露光時間である露光パターン1で撮影した画像に相当する第1露光パターン画像223の画素値と、2番目に長い露光時間である露光パターン2で撮影した画像に相当する第2露光パターン画像224の画素値との差分からなる画像である。差分画像生成部228は、以下の第2タイミング画像231を生成する。第2タイミング画像231は、2番目に長い露光時間である露光パターン2で撮影した画像に相当する第2露光パターン画像224の画素値と、3番目に長い露光時間である露光パターン3で撮影した画像に相当する第3露光パターン画像225の画素値との差分からなる画像である。差分画像生成部229は、以下の第3タイミング画像232を生成する。第3タイミング画像232は、3番目に長い露光時間である露光パターン3で撮影した画像に相当する第3露光パターン画像225の画素値と、最も短い露光時間である露光パターン4で撮影した画像に相当する第4露光パターン画像226の画素値との差分からなる画像である。また、第4タイミング画像233は、最も短い露光時間である露光パターン4で撮影した画像に相当する第4露光パターン画像226がそのまま利用される。これらの4つの差分画像は、図11に示すような露光時間の設定で撮影された画像に対応する。すなわち、1第1タイミング画像230は、露光時間Tt0~t1の撮影画像、2第2タイミング画像231は、露光時間Tt1~t2の撮影画像、3第3タイミング画像232は、露光時間Tt2~t3の撮影画像、4第4タイミング画像233は、露光時間Tt3~t4の撮影画像、このように4つのタイミング画像差分画像230~233は、撮影タイミングがTずつずれた、同じ露光時間Tの4つの連続撮影画像に相当する。このように、図9に示す中間画像生成部214~216の各々は、入力画像に対して4つの異なるタイミングで撮影された4つのタイミング画像を生成する。すなわち、中間画像生成部214は、センサ出力画像フレームN1に基づく4つのタイミング画像を生成する。中間画像生成部215は、フレームバッファ212の格納画像フレームNに基づく4つのタイミング画像を生成する。中間画像生成部216は、フレームバッファ213の格納画像フレームN-1に基づく4つのタイミング画像を生成する。2-3.歪み補正処理部の処理について次に図9に示す歪み補正部203内に構成される歪み補正処理部218の処理について図12を参照して説明する。歪み補正処理部218では、各中間画像生成部214~216の生成するタイミング画像を入力して、フォーカルプレーンシャッタ動作による歪みを補正する。この歪み補正処理について、図12を参照して説明する。図12Aは、3枚の連続撮影画像の露光時間を示す図である。縦軸が行、横軸が時間である。先に図6を参照して説明したようにフォーカルプレーン動作による撮影処理を行う場合、撮像素子の行単位で順次露光時間がずれてしまう。図12Aには3枚の連続撮影画像であるフレームN-1,N,N1の各画像の行単位の露光時間の設定例を示している。この3枚の連続撮影画像であるフレームN-1,N,N1の各画像は、図9に示す歪み補正部203の3つの中間画像生成部214~216において処理対象とする画像、すなわちタイミング画像の生成対象とする3枚の画像に対応する。すなわち、中間画像生成部214は、センサ出力画像フレームN1に基づく4つのタイミング画像を生成する。中間画像生成部215は、フレームバッファ212の格納画像フレームNに基づく4つのタイミング画像を生成する。中間画像生成部216は、フレームバッファ213の格納画像フレームN-1に基づく4つのタイミング画像を生成する。図12Bは、歪み補正部203の3つの中間画像生成部214~216がそれぞれフレームN1~N-1の各画像に基づいて生成する4つのタイミング画像を識別可能な設定で示した図である。図12Bに示すように、フレームN-1の4つのタイミング画像は、中間画像生成部216が、フレームバッファ213の格納画像フレームN-1に基づいて生成する。フレームNの4つのタイミング画像は、中間画像生成部215が、フレームバッファ212の格納画像フレームN-1に基づいて生成する。フレームN1の4つのタイミング画像は、中間画像生成部214が、センサ出力画像フレームN1に基づいて生成する。図12Aでは、行単位で3つの画像フレームN-1~フレームN1が得られるが、図12Bでは、行単位で、3×4=12の12個の画像タイミング画像が得られる。この12この画像は、露光期間Tとして異なる連続時間に撮影された12枚の画像に相当する。このようにタイミング画像を生成することで、より細かい間隔でデータを取得できる。この細かさにより、従来よりも精度の高いフォーカルプレーンシャッタによる歪みの軽減処理を行うことが可能になる。歪み補正処理部218において実行する処理の一例について、図13を参照して説明する。図13は、図12Bに示す図と同様の図である。歪み補正部203の3つの中間画像生成部214~216がそれぞれフレームN1~N-1の各画像に基づいて生成する4つのタイミング画像を識別可能な設定で示した図である。例えば、図13に示す出力タイミングTxの画像を生成する処理、すなわち露光時間をt1~t2=Txとして撮影した画像を生成する場合の処理例について説明する。この図13に示す出力タイミングTxの画像を構成する上端の行の画素の画素値を算出する処理について説明する。画像生成処理に際して、図13に示すタイミング画像A,B,C,D,Eを利用する。タイミング画像B,C,Dの撮影タイミングは、生成予定の画像の出力タイミングTxの範囲内に全期間が含まれている。従ってこれらのタイミング画像B,C,Dは、そのまま利用する。一方、タイミング画像A,Eの撮影タイミングは、生成予定の画像の出力タイミングTxに一部重なっているが一部は外れた状態にある。したがって、これらについては、所定の重み係数を乗算したブレンド処理を行う。図13に示す出力タイミングTxの画像を構成する上端の行の画素の画素値OUTは以下の式1で算出する。OUT=a×ABCD1-a×E式1A~Eは、各タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。aは重み係数である。なお、重み係数aは、例えば図13に示す出力タイミングTxと各タイミング画像との重複率に相当する値を設定する。なお、重み例数aは、各行の露光タイミングによって変わるため、走査線位置情報217を必要とする。上記式1では、タイミング画像B,C,Dについてはブレンドせずにそのまま100の画素値を使用するため、補間処理によってぼけることを最小限にとどめられる。図13に示すように、中間画像生成部214~216の生成するタイミング画像は、画素行単位で異なる露光時間の設定された画像であり、歪み補正処理部218は、画素行単位で生成予定の補正画像の露光時間に含まれる露光時間を持つタイミング画像を選択して、選択したタイミング画像を適用した合成処理を実行する。以上では、上端の行についての画素値算出処理について説明したが、例えば下端の行について、図13に示す出力タイミングTxの画像の画素値を算出する場合、図13に示すタイミング画像P,Q,R,Sを利用した処理を行う。下端の行の画像の画素値OUTは以下の式2で求めることができる。OUT=PQRS式2P~Sは、各タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。この場合、出力タイミングTxに4つのタイミング画像の露光タイミングの総計がちょうど一致し、出力タイミングTxにまたがるタイミング画像を利用する必要がない。他の行についても同様の画素値OUT算出式によって複数のタイミング画像の画素値加算処理によって出力画像の画素値を算出することができる。このようにして、歪み補正処理部218は、複数のタイミング画像を合成して補正画像の画素値を算出して、補正画像204を生成して出力する。この図13を参照して説明した処理から理解されるように、歪み補正処理部218は、複数の画像タイミング画像の合成処理によって補正画像204を生成する。タイミング画像の露光時間は、元の撮影画像の1/4の露光時間の画像であり、これらを組み合わせる合成処理によって補正画像204を生成する。すなわち、上端行~下端行に至るまで、ほぼ同じ露光時間Txに含まれるタイミング画像を利用した補正画像204を生成することが可能となる。この結果、出力画像は、上端行~下端行に至るまで全ての行がほぼ同じ露光時間Txの設定で撮影された画像として生成できる。従って、本方法で生成する出力画像には、先に図5を参照して説明したようなフォーカルプレーン動作に起因した画像歪みはほとんど発生しない。フォーカルプレーン動作に起因した画像歪みは、上端行と下端行とでの露光時間のずれに起因するものであるが、上述したように図13に示すタイミング画像の合成処理を行うことで、上端行~下端行に至るまで全ての行がほぼ同じ露光時間Txの設定で撮影された画像の生成が可能となる。結果として、歪み補正部204の生成する補正画像204は、画像歪みの抑制された画像となる。図7に示すように歪み補正部203の出力した補正画像204は、その後、信号処理部205に出力されホワイトバランス調整、γ補正等の所定の信号処理が施された後、出力画像206として出力される。[3.その他の実施例について]次に、その他の実施例について説明する。3-1.露光制御パターンの変形例について上述した実施例では、撮像素子の露光制御パターンとして図8を参照して矩形領域の画素ブロック単位で4つの露光時間の設定を行った例を説明した。露光領域や露光時間の設定パターンはこのような設定に限らず、その他の様々な設定が可能である。入力画像の露光時間の制御単位である領域は、複数画素からなる画素ブロック、または、行、または、画素など、様々な設定が可能である。なお、先に説明した実施例では、露光制御パターン数を4通りとしていたが、2通り以上であれば本発明は実施可能である。2通りで露光パターンを変化させる一例を、図14に示す。図14Aは2行ごとに電子シャッタ動作を変えて、2行単位で2つの露光時間を交互に設定した例である。図14Bは2x2画素毎に電子シャッタ動作を変えて、2x2画素毎に2つの露光時間を設定した例である。図14Cはさらに異なる単位で電子シャッタ動作を変えて駆動する方法である。縦方向に3画素、横方向に3画素を交互に選択して領域を設定して、各領域2つの露光時間を交互に設定した例である。このような様々な露光パターンの設定が可能である。また、先に図8を参照して説明した画素配列も、図14に示す画素配列も画素のカラーフィルタはベイヤーBayer配列であるが、例えば図15に示すような非Bayer配列の画素配列における画素配列についても適用することができる。図15に示す画素配列はRGBの他Wホワイト画素を持つ構成である。なお、露光パターンを2通りとした場合には、例えば露光時間を図16に示すように、露光パターン1の露光時間と、露光パターン2の露光時間の露光時間比を2:1に設定する。歪み補正部203は、図16に示すように、1第1タイミング画像=露光パターン1-露光パターン22第2タイミング画像=露光パターン2これらの2つのタイミング画像を生成して、先に図13を参照して説明した画像生成処理と同様のタイミング画像の合成処理によって歪みを軽減した補正画像を生成することができる。3-2.露光時間制御の変形例について前述した実施例では、露光時間の異なる撮像画像を取得する場合の撮影処理として、露光開始を領域単位でずらして、読み出しタイミングを揃えた設定例について説明したが、領域単位の露光時間制御は、様々な設定が可能である。例えば図17に示すように、読み出しタイミングをずらして画像を取得することもできる。その他、先に説明した特許文献6~特許文献8に記載された領域単位の露光時間制御や、別の制御によって、行ごとあるいは画素ごとに周期的に露光時間あるいは読み出しタイミングの制御を行う設定として画像を撮影することも可能であり、このような様々な制御で撮影した画像に対する処理が可能である。3-3.フレームバッファ設定の変形例について先に図9を参照して説明した構成では、フレームバッファを2つ用いる例を示したが、図18に示すようにフレームバッファを1つ用い、2つの連続撮影画像のみを利用した構成としてもよい。この構成により、記憶装置の容量や読み書きの帯域を減らすことが可能になる。なお、この構成を用いる場合、歪み補正処理部218は、図13に示すように3つのフレーム:フレームN-1~フレームN1を適用した処理ではなく、図19に示すように連続する2つのフレームのみを適用して生成したタイミング画像を用いた歪み補正画像を生成することになる。さらに、本発明は、図20に示すようにフレームバッファを使用しない構成とすることも可能である。なお、この構成を用いる場合、歪み補正処理部218は、図13に示すように3つのフレーム:フレームN-1~フレームN1を適用した処理ではなく、図21に示すように1つのフレームのみを適用して生成した複数のタイミング画像を用いた歪み補正画像を生成することになる。この場合、図21に示すように出力する画像の露光期間の設定は、入力画像のフレームレートよりも短時間になるため、ノイズの影響が発生することがある。また、図21に示すように、例えば上端行については出力画像タイミングの後半部分のデータの露光期間を含むタイミング画像が存在しない。同様に、下端行については出力タイミングの前半部分のデータの露光期間を含むタイミング画像が存在しない。結果として、近傍のタイミング画像のみから画像を生成することになるため、上下端でわずかにフォーカルプレーンシャッタ動作による歪みの軽減効果が薄まってしまうことがある。しかしながら、フレームバッファを使うことなく歪を補正することができるというメリットがある。さらに、歪み補正部203は入力画像のフレームレートよりも高速なフレームレートの信号を生成することも可能である。すなわち、中間画像生成部は、タイミング画像を、入力画像より短い露光時間の連続撮影画像として生成し、中間画像生成部の生成したタイミング画像を高フレームレート画像として出力する出力部を構成することで入力画像のフレームレートよりも高速なフレームレートの信号を生成して出力することが可能となる。具体的には、例えば、図22に示すように、入力画像フレームN,N1,...に対して、フォーカルプレーン歪みを削減する補正を行いながら任意のタイミングの画像を生成することで出力画像M,M1,M2,M3,...の高フレームレートの画像出力を行なうことができる。なお、画像出力を行う場合には、輝度補正等の所定の画像補正を行って出力することが好ましい。3-4.歪み補正処理の変形例について先に説明した実施例では、歪み補正部203で行う補正処理として、図13や式1を用いた例を説明したが、このような線形補間以外の方法を用いた補正方法を適用することも可能である。例えば、図13に示す2つの隣り合うタイミング画像である画像Aと画像Bから動きを検出し、画像Aに対する動き補償によって、画像Bと同様のタイミングで撮影したと仮定した動き補償タイミング画像Aを生成する。同様に、画像Dと画像Eから動きを検出し、動き補償タイミング画像Eを生成する。これらの画像を用いて以下に示す式2に従って補正画像の画素値OUTを算出する。OUT=a×ABCD1-a×E2ただし、上記式において、A,B,C,D,Eは、各タイミング画像または動き補償タイミング画像の同一画素位置、すなわち対応画素位置の画素値である。aは重み係数である。なお、重み係数aは、例えば図13に示す出力タイミングTxと各タイミング画像との重複率に相当する値を設定する。なお、重み例数aは、各行の露光タイミングによって変わるため、走査線位置情報217を必要とする。[4.その他の画像処理との併用構成例について]本発明は、フォーカルプレーンシャッタ動作による歪みを軽減する方法についてのものであるが、同時に他の処理を併用することによって、さらに画質を向上させることができる。そのような構成例のいくつかを示す。先に説明した実施例では、中間画像生成部において、図10に示したようにフォーカルプレーン歪みを補正するために、異なる露光制御の画素配列をそれぞれ補間して、全画素位置に各露光パターンの画像第1露光パターン画像223~第4露光パターン画像226を生成する処理を行っていた。このような処理は、歪みが起こるような動きによってぶれている画像については問題にはならないが、ぴったりと静止した被写体を撮影しているときには解像度が劣化してしまうという問題を発生させる。このような解像度劣化を防ぎながらフォーカルプレーン歪みを軽減する歪み補正部203の構成例について図23を参照して説明する。センサ出力画像211は、画素ごとに露光時間の異なる画像である。ゲイン補償処理部241は、センサ出力画像211の領域単位で露光時間に応じたゲインを各画素値に乗ずる処理を行う。このケイン補償処理を実行することで、静止画については通常のBayer配列と同じ解像度劣化のない画像を取得することができる。ゲイン補償処理部241の出力は、歪みをもち、また露光制御パターンごとに動きのぶれ量が異なるため、動きのある場合には、画が破綻してしまう。そのため、動き検出部242にて画素ごとあるいはエリアごとに動きを検出し、動き適応処理部243において、動きのある画素領域については、歪み補正処理部218の出力画像、動きのない場所においては、ゲイン補償処理部241の出力画像を使うように選択処理、あるいは、動き量に応じたブレンド処理を行う。このようにして動きのない画像については解像度は従来通りであり、動きのある箇所については、歪みを軽減することが可能になる。さらに、動きのない部分についてはフレームメモリを使用して、時間方向のノイズリダクション処理3次元NRや3DNRともいうを施すことにより、静止画部分についてのノイズを低減することができる。さらに画素値飽和対策処理を追加する構成も可能である。先に説明した図11において、各タイミング画像230~233を生成するために差分画像生成部227~229において異なる露光パターン画像の差分を計算しているが、例えば差分計算対象の片方の画像の画素値が飽和している場合、正確な差分値が得られない。例えば、タイミング画像差分画像の生成に適用する2つの画像の対応画素値が本来1200と800である場合、差分画像画素値=1200-800=400となる。しかし、センサの出力が10bitであるような場合、センサ出力は0~1023の画素値しか出力できない。この場合上記の画素値2000は画素値1023として出力され、差分画像画素値=1023―800=223となり、実際よりも小さな画素値のタイミング画像差分画像を生成してしまうことがある。この飽和対策として最も単純なものは、露光パターンに応じて異なる値でクリップ処理を施すことである。図11に示すように露光パターン1,2,3,4の露光比が4:3:2:1であり、撮像素子の画素値出力が10bitの場合、露光パターン1の画素は1023,露光パターン2の画素は768,露光パターン3の画素は512,露光パターン4の画素は256,で、クリップしたあとに、差分画像生成をすることで飽和にする問題を解消できる。また、別の手法では、飽和を検出し、飽和している部分については、差分画像を生成しない、この飽和部分については、例えば特許文献3に記載されたダイナミックレンジ拡大手法によって画素値設定を行う。例えばこのような処理によって歪みの軽減効果は弱まるもののダイナミックレンジを拡大することが可能である。[5.本発明の処理による効果の説明]次に、本発明間の処理による効果について説明する。本発明の効果を示すために、フォーカルプレーン歪みについて図24を参照して説明する。図24Aは静止している物体を撮像した時の画像例であり、図24B,Cは左から右に横方向に移動している物体を撮像した時の画像例である。図24Bはグローバルシャッタフォーカルプレーン歪みの発生しないにより撮像した時の画像例であり、図24Cはフォーカルプレーンシャッタによる撮像した時の画像例である。図24Cに示すように、フォーカルプレーンシャッタ動作により、物体の歪みが発生する。従来技術との比較のため、特許文献3あるいは図12Aに示される方法によるフォーカルプレーン歪み軽減効果を示す。特許文献3の方法では、図25に示す3枚の画像を利用してフォーカルプレーン歪みを軽減する。行ごとの読み出し時間の違いを考慮して、ブレンド係数を算出し、3枚画像から1枚の画像を生成する。特許文献3による歪み軽減処理結果を図26に示す。図26では、物体の重心位置は調整されたものの、画面の上下端が大きくブレてしまい、また全体の軽減効果も大きくない。本発明によるフォーカルプレーン歪み軽減効果を示す。図11、図12B、図13を参照しはて説明したように、4通りの露光時間からなる1枚の画像から、まず、4枚の露光パターン画像を生成し、さらに4枚の露光パターン画像の差分画像として、4つの異なるタイミングで撮影された画像に相当する4つのタイミング画像を生成する。歪み補正処理部は、これらのタイミング画像の合成処理によってフォーカルプレーン歪みを補正した補正画像を生成する。例えば、複数のタイミング画像差分画像の具体例は、図27のような画像となる。各タイミング画像は、複数の露光パターン画像の差分画像として生成するため、タイミング画像各々の露光期間は短期間となり、暗い画像を取得することになるが、ブレの少なく時間間隔の短い画像を大量に入手することができる。図27の画像を利用した画像合成処理、例えば先に図13を参照して説明した画素値算出処理に基づいて算出した画素値からなる補正画像は、図28に示すような画像となる。すなわち、フォーカルプレーン歪みの軽減処理を行うことで図28を得ることができる。従来の手法における結果である図26に示す画像と比較し、本発明による結果である図28に示す画像は画面の位置による歪み軽減のムラが極めて少なく、また歪み軽減効果としても大きいことが確認できる。以上のように、本発明では撮像素子において、領域単位で異なる露光時間に設定した画像を撮影し、この撮影画像を適用した処理によって、フォーカルプレーン歪み補正を行った画像を生成することが可能となる。従来手法で同等の効果を得るためには、センサを高速動作させる必要があったが、本発明ではそのような必要がないため、撮像素子の動作速度の増大に伴う消費電力増加といったデメリットを発生させることがない。また、同様の理由により、フレームバッファとしての記憶装置の高速動作の必要性もなく、消費電力、装置コストの低減も可能となる。さらに、動きベクトルの算出処理等、複雑な演算を必要としないため、演算負荷の低減、高速処理が実現される。なお、本発明と動きベクトルを算出処理の併用構成とした場合でも、動きベクトル算出対象とするタイミング画像間の時間差が少なく、動きベクトル算出処理を高精度に実行できるため、高精度な歪み軽減効果を得ることが可能となる。以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"