"所定のフレームレートに対応する第1露光時間で画素信号が読み出される複数の第1ラインおよび前記所定のフレームレートよりも長い第2露光時間で画素信号が読み出される複数の第2ラインを有する単板カラー撮像素子であって、前記第1ラインおよび前記第2ラインの各々は、前記第1色成分の光を検出する画素、第2色成分の光を検出する画素および第3色成分の光を検出する画素の少なくとも2種類を有している単板カラー撮像素子と、前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第1色成分の動画像を表す第1動画像、前記第2色成分の動画像を表す第2動画像、および、前記第3色成分の動画像を表す第3動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えた、撮像処理装置。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた、前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および、前記第2露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項1に記載の撮像処理装置。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えた、請求項2に記載の撮像処理装置。前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項2または3に記載の撮像処理装置。前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部とをさらに備えた、請求項1に記載の撮像処理装置。所定のフレームレートに対応する第1露光時間で画素信号が読み出される複数の第1ラインおよび前記所定のフレームレートよりも長い第2露光時間で画素信号が読み出される複数の第2ラインをそれぞれ有する第1撮像素子、第2撮像素子および第3撮像素子であって、前記第1撮像素子は第1色成分の光を検出する画素を有し、前記第2撮像素子は第2色成分の光を検出する画素を有し、前記第3撮像素子は第3色成分の光を検出する画素を有する、第1撮像素子、第2撮像素子および第3撮像素子と、前記第1撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号を受け取り、前記第2撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第3撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えた、撮像処理装置。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた、前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および、前記第2露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項6に記載の撮像処理装置。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えた、請求項7に記載の撮像処理装置。前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項7または8に記載の撮像処理装置。前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部とをさらに備えた、請求項6に記載の撮像処理装置。高解像度の画素信号を長時間露光で読み取ると、被写体が動いている場合には動きぶれが入った画像になってしまう。そのため、得られた動画像の画質は結果として高かったものの、動きの検出が困難な一部の範囲においては復元した画像上に色にじみが見られることがあり、画質改善の余地があった。本発明の目的は、光量を確保しつつ、色にじみの発生を低減した画像を得ることである。本発明の他の目的は、同時に高フレームで高解像度な画像を生成することである。本発明のある実施形態による撮像処理装置は、所定のフレームレートに対応する第1露光時間で画素信号が読み出される複数の第1ラインおよび前記所定のフレームレートよりも長い第2露光時間で画素信号が読み出される複数の第2ラインを有する単板カラー撮像素子であって、前記第1ラインおよび前記第2ラインの各々は、前記第1色成分の光を検出する画素、第2色成分の光を検出する画素および第3色成分の光を検出する画素の少なくとも2種類を有している単板カラー撮像素子と、前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号に基づいて得られた、被写体の前記第1色成分の動画像を表す第1動画像、前記第2色成分の動画像を表す第2動画像、および、前記第3色成分の動画像を表す第3動画像を受け取り、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた、前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および、前記第2露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。前記撮像処理装置は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部とをさらに備えていてもよい。本発明の他の実施形態に係る撮像処理装置は、所定のフレームレートに対応する第1露光時間で画素信号が読み出される複数の第1ラインおよび前記所定のフレームレートよりも長い第2露光時間で画素信号が読み出される複数の第2ラインをそれぞれ有する第1撮像素子、第2撮像素子および第3撮像素子であって、前記第1撮像素子は第1色成分の光を検出する画素を有し、前記第2撮像素子は第2色成分の光を検出する画素を有し、前記第3撮像素子は第3色成分の光を検出する画素を有する、第1撮像素子、第2撮像素子および第3撮像素子と、前記第1撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号を受け取り、前記第2撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号をそれぞれ受け取り、かつ、前記第3撮像素子から前記第1露光時間および前記第2露光時間でそれぞれ読み出された画素信号を受け取って、前記所定のフレームレートを有する新たな動画像を生成する画像処理部とを備えている。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた、前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第1露光時間でサンプリングして得られた動画像との第1の差、および、前記第2露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像と、前記新たな動画像を前記第2露光時間でサンプリングして得られた動画像との第2の差とを少なくとも含む評価式を設定し、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。前記画像処理部は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件を設定し、前記動きの分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、画素値の分布に関する拘束条件を設定し、前記画素値の分布に関する拘束条件をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。前記撮像処理装置は、前記第1露光時間で読み出された画素信号に基づいて得られた前記第1色成分の動画像、前記第2色成分の動画像および前記第3色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第1動画像、前記第2動画像および前記第3動画像を表示する表示部とをさらに備えていてもよい。本発明によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第1ライン短時間露光ラインおよび当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第2ライン長時間露光ラインを有している。この単板カラー撮像素子の第1ラインおよび第2ラインの各々には、第1色成分の光を検出する画素および第2色成分の光を検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、第1色成分および第2色成分のそれぞれについて、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第1色成分または第2色成分のいずれかの動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。本発明の撮像処理装置は、長時間露光の読み出しをしていた色成分画像の画素たとえばG画素を、2種類の画素、すなわち長時間露光の画素と、短時間露光の画素とに分けて、各種類の画素から信号を読み出し、読み出した信号を利用して画像生成処理を行うことにより、全て長時間露光によって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。実施形態1図1は、本実施形態による撮像処理装置100の構成を示すブロック図である。撮像処理装置100は、光学系101と、単板カラー撮像素子102と、読み出し制御部103と、制御部104と、画像処理部105とを備えている。以下、撮像処理装置100の各構成要素を詳細に説明する。光学系101は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。単板カラー撮像素子102は、赤R,緑G,青Bのカラーフィルターアレイが各画素に装着された撮像素子である。図2は、単板カラー撮像素子102の一例を示す。単板撮像素子の各画素フォトダイオードに対応して、ベイヤー配列と呼ばれる配列のカラーフィルターアレイが装着されている。図中のR、G、Bはそれぞれ赤、緑、青のフィルターを示している。単板カラー撮像素子102の各画素は、光学系101によって結ばれた光光学像を、それぞれに対応して設けられた赤、緑または青のフィルターを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値画素信号を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれR、G、Bによって表すとする。撮像素子の各画素から出力される画素信号は、R,G,Bいずれかの色に関する画素値を持つ。この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルターを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の1単位である。読み出し制御部103は、図2に示す配列の単板カラー撮像素子102の各画素の電荷画素値の露光時間または読み出しタイミングを独立して読み出す。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部103の読み出し動作は、制御部104による制御に基づいて実行される。たとえば図3A~図3Cは、長時間露光ラインと短時間露光ラインの配置の例を示している。ラインとは図中、x軸方向の一列の画素群を意味する。画素信号の読み出しは、ライン単位で行われる。図面には参考のためライン番号1~6が示されている。図3A~図3Cにおいて、R,G,Bの添え字Lは長時間露光を示し、添え字Sは短時間露光を示す。本願明細書では、短時間露光とは、一般的な動画撮影時の1フレームの時間だけ露光することを意味する。たとえば短時間露光とは、フレームレートが30フレーム/秒30fpsの場合には1/30秒の露光時間で露光することに相当する。フレームレートが60フレーム/秒60fpsの場合には1/60秒である。一方、長時間露光とは、1フレームの露光に要する時間よりも長い時間、たとえば2フレームから10フレーム程度の露光することを意味する。次に、図3A~図3Cに示されている、各撮像素子のx軸方向に配列された画素のライン1~6に注目する。各ラインは、短時間露光または長時間露光に統一されていることが理解される。そして、各ラインには、複数の色の画素が混在していることも理解される。たとえば、図3Aのライン1は、長時間露光画素の集合であり、G画素およびR画素が含まれている。次のライン2は短時間露光画素の集合であり、B画素およびG画素が含まれている。図3A~図3Cの相違は以下のとおりである。図3Aは、長時間露光するラインと短時間露光するラインとが交互にすなわち2ライン周期で配置されている例である。R画素は長時間露光画素であり、B画素は短時間露光画素である。一方、図3Bは、長時間露光するライン2本毎に短時間露光するライン1本が配置されている例である。図3Bでは、3ライン周期で長時間露光するラインと短時間露光するラインとが混在する例である。なお、図3Cは、図3Aの変形例である。図3Cは、長/短時間露光が交互に繰り返されるが、R画素は短時間露光画素であり、B画素は長時間露光画素である。図4Aおよび図4Bは、それぞれ図3Aおよび図3Bの各画素の露光時間を模式的に示している。図面の左右方向が時間軸tである。図4Aは、ライン毎に長/短時間露光が交互に行われることが示されている。すなわち2ライン周期で長時間露光するラインと短時間露光するラインとが混在している。図4Bでは、3ライン毎に、長/短/長時間露光が交互に行われる。すなわち3ライン周期で長時間露光するラインと短時間露光するラインとが混在している。なお、図3Cに対応する露光時間の図面は省略する。図4Aにおいて長露光時間/短露光時間を入れ替えればよい。図5Aおよび図5Bは、x-y方向に広がるフレーム画像を構成する各画素の露光時間読み出しタイミングを、複数のフレーム画像について示す鳥瞰図である。図5Aは図3Aおよび図4Aを総合して複数のフレーム画像を時空間的に示している。また、図5Bは図3Bおよび図4Bを総合して複数のフレーム画像を時空間的に示している。読み出し制御部103は、制御部104の制御信号に基づいて単板カラー撮像素子102の各ラインに対する読み出しパルス信号、リセット信号を制御することで、ライン毎に露光時間を切り替える。短時間露光時には、読み出し制御部103は1フレーム時間ごとに画素値を読み出し、1フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部103は、複数フレーム時間にわたって、単板カラー撮像素子102を露光し、露光期間が終了した後、画素信号を読み出す。なお、読み出し制御部103は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部103は1フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてあるラインについては、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算されたラインについては、読み出し制御部103は、複数フレーム期間にわたって露光されたラインの画素信号と実質的に同じ画素信号を出力することができる。本願明細書では、画素信号の加算によって長時間露光された画素信号が得られるラインについても、フレーム時刻よりも長い露光時間で画素信号が読み出されるラインと表現する。再び図1を参照する。画像処理部105は、ライン毎に異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値例えば、R,G,Bの画素値を推定し、高解像度カラー動画像を生成する。図6は、画像処理部105の詳細な構成の一例を示す。画像処理部105は、動き検出部201および画像生成部202を有する。図7は、撮像処理装置100の処理の手順を示すフローチャートである。まず概要を説明する。ステップS401において、画像処理部105は、フレームレートがライン毎に異なる動画像をそれぞれ読み出し制御部103から取得する。ステップS402において、画像処理部105の動き検出部201は、取得した画像のうちの露光時間が短い動画像を用いて生成画像の画素毎の動きを検出する。ステップS403およびS404において、画像生成部202は、動き拘束条件を設定し、滑らかさ拘束を設定する。ステップS405において画像生成部202は、高フレームレートカラー画像を生成する。ステップS406において、画像生成部202は生成した動画像を出力する。以下、上述した各ステップの詳細を説明する。動き検出部201は、1フレーム期間露光されて得られた画素信号によって形成される画像短時間露光画像を受け取る。動き検出部201は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動きオプティカルフローを検出する。公知技術として、たとえばP.Anandan.Computationalframeworkandanalgorithmforthemeasurementofvisualmotion,InternationalJournalofComputerVision,Vol.2,pp.283-310,1989が知られている。図8aおよびbは、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部201は、基準とするフレーム動きを求めるべく着目している時刻tにおける画像内に、図8aに示す窓領域Aを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。探索範囲は、図8bに示すように、通常、移動量ゼロの位置Bを基準に予め一定の範囲Cが設定される。また、パターンの類似の度合い程度は、数1に示す残差平飽和SSD:SumofSquareDifferrencesや、数2に示す残差絶対値和SAD:SumofAbsolutedDifferencesを評価値として計算することによって評価する。数1および数2において、Ix、y、tは画像すなわち画素値の時空間的な分布であり、x,y∈Wは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図3で短時間露光で撮影した画像の画素値を利用して、その画像をRGBの各色毎に補間拡大した後、下記数3によって輝度成分を求め、動き検出を行う。なお、Ix,y,tは、数3に限らず、単純なRGB値の加算等にしてもよい。動き検出部201は、探索範囲内でu,vを変化させることにより、上記評価値を最小とするu,vの組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎例えば8画素×8画素に求め、動きベクトルを生成する。上記の様にして得られた数1または数2を最小にするu,vの近傍でのu,vの値の分布に対して、1次ないし2次関数を当てはめる等角フィッテング法やパラボラフィッティング法として知られる公知の技術ことによって、サブピクセル精度の動き検出を行う。<各画素におけるGの画素値の生成処理>画像生成部202は、次式で表される評価関数Jを最小化して、各画素におけるR,G,Bの画素値を計算する。ここで、H1は長時間露光のサンプリング過程、H2は短時間露光のサンプリング過程、fは新たに生成すべき高空間解像度かつ高時間解像度のRGB画像である。単板カラー撮像素子102によって撮像されたRGBの画像のうち、長時間露光で撮像したものをgL、短時間露光で撮像したものをgSとする。Mはべき指数、Qは生成すべき画像fが満たすべき条件、すなわち拘束条件である。数4のべき指数Mの値は、特に限定するものではないが、演算量の観点から、1または2が好ましい。数4の第1項は、生成すべき高空間解像度かつ高時間解像度のRGB画像fを、長時間露光のサンプリング過程H1によってサンプリングして得られた画像と、実際に長時間露光によって得られた、gLとの差の演算を意味する。長時間露光のサンプリング過程H1を予め定めておき、この差分を最小化するfを求めると、そのfは、長時間露光によって得られたgLと最もよく整合するといえる。第2項についても同様に、差分を最小化するfは、短時間露光によって得られたgsと最もよく整合するといえる。また、第3項は、解fを一意に決定するための拘束条件である。そして、数4の評価関数Jを最小化するRGB画像fは、長時間露光および短時間露光によって得られたgLおよびgsの両方を総合的によく満足するといえる。画像生成部202は、数4を最小化するRGB画像fを計算することで、高空間解像度かつ高時間解像度のRGB画像の画素値を生成する。数4のJの最小化は、∂J/∂f=0となるRGB画像fを求めることによって行う。この計算は、評価関数Jがfの2次形式の場合数4においてM=2でかつ、Qがfの2次形式の場合には、上述のJのfによる偏微分∂J/∂fがfの1次式になるため、線形最適化問題となり連立方程式Af=bの計算に帰着する。すなわち、数4をfで偏微分すると以下のとおりである。この式を変形して以下の連立方程式を解くことにより、RGB画像fを計算すればよい。ここで、∂Q/∂fはQがfの2次形式の場合、定数マトリックスfを含まないマトリックスになる。一方、M=1の場合や、M=3以上の整数の場合、また、Mが整数でない場合には、非線形最適化問題となる。図9は、共役勾配法の処理手順を示す。計算が線形最適化問題になる場合、図9に示す共役勾配法の手順により評価関数Jを最小にするRGB画像fを計算することができる。図10は、図9に示す処理を行うための画像生成部202の構成例を示す。画像生成部202は、係数演算部501と、ベクトル演算部502と、演算部503とを有している。係数演算部501は、係数行列Aを計算する。ベクトル演算部502は、定数ベクトルbを計算する。演算部503は、演算によって得られた行列Aおよびベクトルbを用いて、Af=bの連立方程式を解く。図9に示す処理は、主として演算部503の処理である。行列Aおよびベクトルbが求まり、制御部104から初期値および終了条件が与えられると図9の処理が開始される。図9の終了条件は、図9に示すk1ステップ目での残差rk1が十分小さくなったときである。これにより、評価関数Jを最小化するRGB画像fを求めることができる。なお、図9に示すアルゴリズムは公知であるため、詳細な説明は省略する。一方、計算が非線形最適化問題となる場合には、図11に示す準ニュートン法の手順により、Jを最小にするfを計算することができる。この手法によるJの最小化、極小化は、fの初期解から始めて、Jのfに関する勾配を用いて、よりJを小さくする様に、反復計算により解fを更新する。図11においてKkは、sk≡fk1-fk、yk=∇Jfkとおき、準ニュートン法のなかのDFP法では、以下のように計算する。また、準ニュートン法のなかのBFGS法では以下のように計算する。以下、数4に関してより詳しく説明する。画像f、gLおよびgSは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をラスタースキャン順に並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、1画素につき1個の値を考えればよい。fの要素数は、例えば、生成すべき動画像を横2000画素、縦1000画素、30フレームとすると、2000×1000×30=60000000となる。RGB画像fの縦横の画素数および信号処理に用いるフレーム数は、画像処理部105によって設定される。長時間露光のサンプリング過程H1は、行数がgLの要素数と等しく、列数がfの要素数と等しい行列である。また、短時間露光サンプリング過程H2は、行数がgSの要素数と等しく、列数がfの要素数と等しい行列である。現在一般に普及しているコンピュータでは、動画像の画素数例えば幅2000画素×高さ1000画素とフレーム数例えば30フレームに関する情報量が多すぎるため、数4を最小化するfを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてfの一部を求める処理を繰り返すことにより、生成すべき動画像fを計算することができる。次に、長時間露光のサンプリング過程H1の定式化を簡単な例を用いて説明する。以下では、幅2画素x=1,2、高さ2画素y=1,2、2フレームt=1,2の画像をベイヤ配列の単板カラー撮像素子102で撮像し、y=1のラインにおいて2フレーム分時間加算する場合のgLの撮像過程について考える。ここでは、たとえば図3Aの最も左上の2画素x2画素に対応して、y=1である2つの画素x,y=1,1におけるGL、および、x,y=2,1におけるRLのt=1,2を想定している。得られるRGB画像fの要素は、t=1、2を含めて以下の数9のように表される。数9において、R111~R222、G111~G222、B111~B222は各画素におけるR、G、Bの画素値を示し、3個の添字は順にx、y、tの値を示す。上記数9のうち、y=1のライン、すなわち位置1,1および2,1における長時間露光を求めるために必要なのは、位置1,1についてはG111およびG112、位置2,1についてはR211およびR212である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。行列H1は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、y=1のラインにおける長時間露光の画素を得るためには、x,y=1,1の位置におけるt=1、2の各画素値を加算し、またx,y=2,1の位置におけるt=1、2の各画素値を加算する必要がある。これらによれば、長時間露光ラインの撮像過程は以下のように定式化される。次に、短時間露光のサンプリング過程H2の定式化を簡単な例を用いて説明する。先の例と同様に、幅2画素x=1,2、高さ2画素y=1,2、2フレームt=1、2の画像をベイヤ配列の撮像素子で撮像する場合について考える。先のサンプリング過程H1の例と同様、この例もまた、図3Aの最も左上の2画素x2画素を想定する。ただし短時間露光であるため、図3Aのy=2における短時間路高画素BsおよびGsの画素値が、t=1および2について必要となる。すなわち、画素x,y=1,2におけるBs、および、x,y=2,2におけるGsの画素値が、t=1および2について必要となる。なお、得られるRGB画像fの要素は、数9の通りである。上記数9のうち、y=2のライン、すなわち位置1,2および2,2における長時間露光を求めるために必要なのは、位置1,2についてはB121およびB122、位置2,2についてはG221およびG222である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。数12の第1行および第2行が時刻t=1に関し、第3行および第4行が時刻t=2に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。数11や数13は、RGB画像fをベイヤ配列の単板撮像素子によりライン毎に露光時間を変えて撮像しgL、gSを得る過程を示す。逆に、gL、gSからfを生成する問題は、一般に逆問題といわれる。拘束条件Qのない場合、下記数14を最小化するfは無数に存在する。このことは、サンプリングされない画素値に任意の値を入れても数14が成り立つことから、容易に説明できる。そのため、数14の最小化によってRGB画像fを一意に解くことはできない。そこで、RGB画像fについての一意な解を得るために、拘束条件Qを導入する。Qとして、画素値fの分布に関する滑らかさの拘束や、fから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。まず、RGB画像fの画素値の分布に関する滑らかさの拘束としては、数15もしくは数16の拘束式を用いる。数4に示す通り、拘束条件Qも評価関数Jの一部を構成する。したがって、評価関数Jの値をできるだけ小さくするためには、拘束条件Qも小さい方が好ましい。数15に関しては、画素値fの分布の変化が少ないほど、Qの値は小さくなる。数16に関しては、画素値fの分布の変化が一定であるほど、Qの値は小さくなる。これらが、画素値fの分布に関する滑らかさの拘束条件となる。また、数14で||はベクトルのノルムを表す。べき指数mの値は、数4、数14におけるべき指数Mと同様に、演算量の観点から1または2が望ましい。ここで、Ciは以下の式でfの要素のR,G,B値を変換したものである。数17において、C1、C2、C3を一般的な画像におけるRGBの画素値の分布の第1主成分から、第3主成分にすることにより、滑らかさ拘束についての正則化パラメータの調整をRGB空間で行う場合よりも容易にできる。すなわち、C1成分は輝度にほぼ等しく、C2、C3成分は2つの色成分とみなせ、個別にλciを調整することによって、新たに生成される画像に対する滑らかさ拘束の各項の影響を制御できる。λC1からλC3の値は、3板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のPSNRPeakSignaltoNoiseRatioが最良となるように決めればよい。なお、PSNRは数18で定義される。ここで、fmaxは画素値の最大値例えば、8ビット時255、10ビット時1023であり、σは正解画像と生成画像との差の標準偏差である。一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλci決めればよい。なお、上記の偏微分値∂Ci/∂x、∂Ci/∂y、∂2Ci/∂x2、∂2Ci/∂y2は、着目画素近傍の画素値による差分展開により、例えば数19により近似計算できる。差分展開は上記数19に限らず、例えば数20の様に、近傍の他の画素を参照するようにしてもよい。数20は数19による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、0≦α≦1の範囲のαで重み付けをして、以下の式を採用してもよい。差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、回路規模や演算量を少しでも小さくするために、数19を用いてもよい。なお、画像fの画素値の分布に関する滑らかさの拘束としては、数15、数16に限らず、例えば、数22に示す2階の方向微分の絶対値のm乗を用いても良い。ここで、ベクトルnminおよび角度θは1階の方向微分の2乗が最小になる方向であり、下記数23によって与えられる。さらに、画像fの画素値の分布に関する滑らかさの拘束としては、下記数24から数26のいずれかのQを用いて、fの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。なお、こう配とは画像fの画素値の分布関数fを位置について1階微分することによって得られる。数24から数26において、wx,yは画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、下記数27に示す画素値のこう配成分のべき乗和が、大きい場合にはwx,yの値が小さく、逆の場合にはwx,yの値が大きくなるようにすると、fのこう配に応じて拘束条件を適応的に変化できる。このような重み関数を導入することにより、新たに生成される画像fが必要以上に平滑化されることを防ぐことができる。また、数27に示す輝度こう配の成分の2乗和の代わりに、数28に示す方向微分の、べき乗の大小によって、重み関数wx,yを定義してもよい。ここで、ベクトルnmaxおよび角度θは方向微分が最大になる方向であり、下記数29によって与えられる。数15、数16、数22~数26に示したような、動画像fの画素値の分布に関する滑らかさの拘束を導入して数4を解く問題に対しては、公知の解法、たとえば有限要素法等の変分問題の解法を用いて計算することができる。次に、RGB画像fに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。RGB画像fに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記数30または数31を用いる。ここで、uは動画像fから得られる各画素についての動きベクトルのx方向の成分を要素とする縦ベクトル、vは動画像fから得られる各画素についての動きベクトルのy方向の成分を要素とする縦ベクトルである。fから得られる画像の動きの分布に関する滑らかさの拘束としては、数30、数31に限らず、例えば数32、数33に示す1階または2階の方向微分としてもよい。さらに、数34~数37に示すように、数30~数33の拘束条件を、fの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ輝度変化が不連続な境界部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。ここで、wx,yは、fの画素値のこう配に関する重み関数と同一であり、数27に示す画素値のこう配の成分の、べき乗和、または、数28に示す方向微分の、べき乗によって定義される。このような重み関数を導入することにより、fの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像fが必要以上に平滑化されることを防ぐことができる。数30~数37に示したような、画像fから得られる動きの分布に関する滑らかさの拘束を導入して数4を解く問題に関しては、fについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像fと動き情報u,vが相互に依存するためである。この問題に対しては、公知の解法、たとえばEMアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像fと動き情報u,vの初期値が必要になる。fの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報u,vとしては、動き検出部201において数1ないし数2を計算して求めた動き情報を用いる。その結果、画像処理部105が、上述のごとく、数30~数37に示したような、画像fから得られる動きの分布に関する滑らかさの拘束を導入して数4を解くことにより、処理結果の画質を向上させることができる。画像処理部105における処理は、数15、数16、数22~数26に示した画素値の分布に関する滑らかさの拘束のいずれかと、数30~数37に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、数38のように同時に用いてもよい。ここで、Qfはfの画素値のこう配に関する滑らかさの拘束、Quvはfから得られる画像の動きの分布に関する滑らかさの拘束、λ1およびλ2はQfとQuvの拘束に関する重みである。なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。たとえば、画質が最もよくなるものを選択するようにすればよい。画質が最もよくなるとは、たとえばその映像を確認する者の主観に基づいて決定することができる。画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して数4を解く問題も、公知の解法たとえばEMアルゴリズム等を用いた変分問題の解法を利用することができる。また、動きに関する拘束は、数30~数37に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差動きベクトルの始点と終点間における画素値の差を評価値として、これを小さくするようにしてもよい。対応点間の残差は、fを関数fx,y,tとして表すと、数39のように表すことができる。fをベクトルとして、画像全体について考えると、各画素における残差は下記数40に示すようにベクトル表現することができる。残差の平方和は下記数41に示すように表すことができる。数40、数41において、Hmはベクトルfの要素数時空間の総画素数×fの要素数の行列である。Hmでは、各行において、動きベクトルの視点と終点に相当する要素だけが0でない値を持ち、それ以外の要素は0の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、-1と1の値を持ち、他の要素は0である。動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。数41をQmとおき、拘束条件を数42のようにしてもよい。ここで、λ3は拘束条件Qmに関する重みである。以上述べた方法により、動き検出部201でGSとRとBの低解像度動画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたRGBの動画像を画像処理部105で高時空間解像度化することができる。なお、上述した画像処理部105におけるR,G,Bの画素値の計算方法は一例であり、他の計算方法を採用してもよい。例えば画像処理部105において、目的とするカラー画像fにおける各色の画像の空間的変化パターンが近い程度を表す評価関数Jを設定し、評価関数Jを最小化する目的画像fを求める。空間的変化パターンが近いことは、青画像、赤画像、および緑画像の空間的変化が相互に相似していることを意味する。評価関数Jの一例を数43に示す。評価関数Jは、生成したい高解像度カラー画像目的画像fを構成する赤、緑、および青の各色の画像の関数として定義される。ここで、数38右辺の第1項、第2項は、数3におけるべき指数Mを2としたものと同一である。低解像度化画像および入力画像の対応画素位置における画素値の差の2乗和を、評価関数の評価条件として設定する数43の右辺第1項および第2項。つまり、これらの評価条件は、低解像度化画像に含まれる各画素値を要素とするベクトルと、入力画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す。数43の右辺第3項、第4項、第5項のQsは、画素値の空間的な滑らかさを評価する評価条件である。Qsの例であるQs1およびQs2を数44および数48に示す。数44において、θHx,y、ψHx,y、rHx,yは、目的画像の画素位置x,yにおける赤、緑、青のそれぞれの画素値で表される3次元直交色空間いわゆるRGB色空間内の位置を、RGB色空間に対応する球面座標系θ、ψ、rで表現した場合の座標値である。ここで、θHx,yとψHx,yは2種類の偏角を表し、rHx,yは動径を表す。図12は、RGB色空間と球面座標系θ、ψ、rとの対応例を示す。図12では、一例として、θ=0°かつψ=0°の方向をRGB色空間のR軸の正方向とし、θ=90°かつψ=0°の方向をRGB色空間のG軸の正方向としている。ここで、偏角の基準方向は、図12に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、RGB色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系θ、ψ、rの座標値に変換する。目的画像の各画素の画素値をRGB色空間内の3次元ベクトルとして考えた場合に、3次元ベクトルをRGB色空間に対応付けられる球面座標系θ、ψ、rで表現すると、画素の明るさ信号強度、輝度も同義であるは、ベクトルの大きさを表すr軸の座標値に相当する。また、画素の色彩色相、色差、彩度などを含む色情報を表すベクトルの向きは、θ軸およびψ軸の座標値によって規定される。このため、球面座標系θ、ψ、rを用いることにより、画素の明るさおよび色彩を規定するr、θ、ψの3つのパラメータを個別に取り扱うことができる。数44は、目的画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。数44は、目的画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるほど、値が小さくなる条件Qs1を定義している。画素値の変化が一様であることは、画素の色が連続していることに対応する。条件Qs1の値が小さくあるべきということは、目的画像内の空間的に隣り合う画素の色が連続すべきということを表している。なお、上述の条件は、被写体が色々な模様を含んでいる場合でも実用上問題にならない。その理由は以下のとおりである。上記条件はRGBを色空間で変換していることから明らかなように、色間での情報のやり取りをしている。本願で行っている画像生成処理は、色間の相関関係を用いて、解像度に関する情報を復元する処理である。大部分の被写体では、分光分布が比較的ブロードであるため、RG間ないしGB間に相関関係が生じ、被写体が色々な模様を含んでいる場合であっても単色の場合にも、RGBのうちの2色以上に影響を与える。一方、レーザーやLED等一部の被写体では、その分光分布が狭い波長域にピーキーに集中する。しかしながらこのような場合でも、撮像素子に使われているカラーフィルターアレイの分光特性が比較的ブロードであるため、その影響によりRGBのうち2色以上の画像に撮影される。以上から、本願で行っている画像生成処理は、被写体が単色である場合、色々な色を含んでいる場合、または、被写体の分光特性がブロードな場合、ナローな場合のいずれの場合であっても、実用上問題なく動作する。画像中において画素の明るさの変化および画素の色彩の変化は、物理的に異なる事象から生じ得る。このため、数44に示すように、画素の明るさの連続性r軸の座標値の変化の一様性に関する条件数44の大括弧内の第3項と、画素の色彩の連続性θ軸およびψ軸の座標値の変化の一様性に関する条件数44の大括弧内の第1項および第2項とを個別に設定することにより、望ましい画質を得やすくなる。λθx,y、λψx,y、およびλrx,yは、それぞれ、θ軸、ψ軸、およびr軸の座標値を用いて設定される条件に対して、目的画像の画素位置x,yにおいて適用される重みである。これらの値は、予め定めておく。簡単には、λθx,y=λψx,y=1.0、λrx,y=0.01のように、画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力画像のフレーム画像内の隣り合う画素における画素値の差分値や2階差分値の絶対値が一定値以上であることにより判断してもよい。画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き法線の向きの変化によって、画像中の画素の明るさが色彩に比べて変化しやすい一様性に乏しいことによる。なお、数44では、目的画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を条件Qs1として設定したが、数45に示す2階差分値の絶対値和、または数46に示す1階差分値の2乗和もしくは数47に示す1階差分値の絶対値和を条件として設定してもよい。上記説明ではRGB色空間に対応付けられる球面座標系θ、ψ、rを用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のRGB色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける固有ベクトル軸とすることができる。数48において、C1x,y、C2x,y、C3x,yは、目的画像の画素位置x,yにおける赤、緑、青のそれぞれの画素値であるRGB色空間の座標値を、新たな直交座標系の座標軸C1、C2、C3の座標値に変換する回転変換である。数48は、目的画像の新たな直交座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。数48は、目的画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様であるつまり画素値が連続しているほど、値が小さくなる条件Qs2を定義している。条件Qs2の値が小さくあるべきことは、目的画像内の空間的に隣り合う画素の色が連続すべきことを表している。λC1x,y、λC2x,y、λC3x,yはそれぞれ、C1軸、C2軸、C3軸の座標値を用いて設定される条件に対して、目的画像の画素位置x,yにおいて適用される重みであり、予め定めておく。C1軸、C2軸、C3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1x,y、λC2x,y、λC3x,yの値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、2階差分の2乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。以上、2種類の条件Qs1、Qs2の例を説明した。条件Qsとしては、Qs1、Qs2いずれを用いることもできる。例えば、数44に示される条件Qs1を用いた場合、球面座標系θ、ψ、rを導入することにより、色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すr軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。数48に示される条件Qs2を用いた場合、RGB色空間の座標値から線型回転変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。また、固有ベクトル軸を新たな直交座標系の座標軸C1、C2、C3とすることにより、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件設定できる。このため、単純に赤、緑、青の各色成分コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的画像の画質の向上が期待できる。なお、評価関数Jは、上記に限定するものではなく、数43の項を類似式からなる項と置換し、また異なる条件を表す新たな項を追加してもよい。次に、数43の評価関数Jの値をできるだけ小さく望ましくは最小にする目的画像の各画素値を求めることによって、目的画像の各色画像RH、GH、BHを生成する。評価関数Jを最小にする目的画像gは、例えば、Jを目的画像fの各色画像RH、GH、BHの各画素値成分で微分した式を全て0とおいた数49の方程式を解いて求めることができる。各辺の微分式が0になるのは、数43の第1項~第3項の各項が表している各2次式の傾きが0となるときである。このときのRH、GH、BHが、各2次式の最小値を与える望ましい目的画像であるといえる。他の方法として、たとえば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。なお、本実施形態では、出力するカラー画像をRGBとして説明したが、例えばYPbPr等、RGB以外のカラー画像を出力することももちろんできる。すなわち、上記数49と、下記数50とから、数51に示す変数変換を行うことができる。さらに、YPbPr4:2:2フォーマットの場合、Pb、PrはYと比べて水平画素数が半分であることを考慮して、下記数52の関係を利用することにより、YH、PbL、PrLについての連立方程式を立てることができる。この場合、連立方程式で解くべき変数の総数をRGBの場合と比べて3分の2に低減させることができ、演算量を低減できる。以上説明したように、実施形態1によれば、単板撮像素子に時間加算と空間加算の機能を付加し、画素毎に時間加算もしくは空間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、動きぶれのすくない画像空間加算と時間加算を行なわずに全画素を読み出した画像を推定し生成することができる。実施形態1の変形例実施形態1では、画像処理部105における処理に、数10や数12を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。図13は、動き検出部201を含まない画像処理部105を有する撮像処理装置200の構成を示すブロック図である。画像処理部105の画像生成部111は、動き拘束を用いることなく、新たな画像を生成する。図13において、図1および図6と同じ動作をする構成要素には、図1および図6と同一の符号を付し、説明を省略する。従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、単板カラー撮像素子102の長時間露光および短時間露光を行うそれぞれのラインに、複数の色成分を検出する画素が混在しているためである。RGBそれぞれの色チャンネルにおいて、短時間露光によって撮影された画素と長時間露光によって撮影された画素が混在するため、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量を低減することができる。以下に、画像生成部111による高画質化処理を説明する。数4においてM=2とし、Qとして数15ないし数16を用い、これらの式におけるmを2とする。そして、1階微分、2階微分の差分展開として数19、数20、数21のいずれかを用いると、もしくは、数43においてP=2とすると、評価式Jはfの2次式となる。評価式を最小化するfの計算は、数53により、fについての連立方程式の計算に帰着する。ここで、解くべき連立方程式を数54のようにおく。数54において、fは生成する画素数1フレームの画素数×処理するフレーム数分の要素を持つため、数54の計算量は通常、非常に大規模になる。このような大規模な連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解fを収束させる方法繰り返し法が一般的に用いられる。動き拘束を用いずにfを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式数54の係数行列Aの逆行列をあらかじめ計算でき、これを用いることで直説法により画像処理を行うようにできる。数16に示す滑らかさ拘束を用いる場合、xおよびyの2階偏微分は、例えば、数19に示すように1,-2,1の3つの係数のフィルタとなり、その2乗は1,-4,6,-4,1の5つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、数55のように行列をΛを置くことができる。これにより、一行あたりのノンゼロ係数の数を係数行列Aと比べて低減させることができる。その結果、Λの逆行列Λ1の計算が容易になる。そして、数56および数57により、fを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。実施形態2実施形態1では、単板カラー撮像素子を用いる場合について述べた。しかしながら、単板カラー撮像素子を利用した処理は一例である。本実施形態においては、3板撮像素子を用いた撮像処理装置300を説明する。図14は、本実施形態による撮像処理装置300の構成を示すブロック図である。実施形態の撮像処理装置300は、光学系501と、ダイクロイックプリズム502と、B用撮像素子503と、R用撮像素子504と、G用撮像素子505と、B用制御部506と、R用制御部507と、G用制御部508と、画像処理部509と、制御部510とを備える。以下に、上記各構成要素の動作を説明する。まず、制御部510は、撮像処理装置300全体の動作を制御する。後述する各構成要素の動作は制御部510からの指示に基づいて行われる。光学系501は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像させる。ダイクロイックプリズム502は、光学系501から入ってきた入射光を波長毎R,G,Bの各々に分離して、Rレッド,Gグリーン,Bブルーの各色成分画像を生成する。B用撮像素子503、R用撮像素子504、G用撮像素子505は、ダイクロイックプリズム502により分光されたBブルー、Rレッド、Gグリーンの各色の像を撮影する。B用制御部506、R用制御部507、G用制御部508は、それぞれ、B用撮像素子503、R用撮像素子504、G用撮像素子505の露光タイミング、読み出しタイミングを制御する。図15および図16は、各制御部による各撮像素子の露光時間、露光タイミングを示す。R,G,Bのそれぞれについて、図15および図16に示す露光タイミングおよび読み出しタイミングで画素信号の読み出しが制御される。より具体的には、図15は、長時間露光ラインおよび短時間露光ラインのライン位置をそれぞれ示している。また図16は、短時間露光ラインおよび長時間露光ラインの露光時間をそれぞれ示す。本実施形態では、長時間露光ライン2ラインと、短時間露光ライン1の組み合わせについて説明する。なお図15および図16の記載の意味は、図3A、2B、2C、および、図4Aおよび3Bの記載に準ずる。図15および図16では、短時間露光ラインには添え字のSを付し、長時間露光ラインには添え字のLを付している。図15および図16に示すように、R,G,Bで短時間露光ラインの位置が異なるように配置することにより、後述する画像処理部509における処理結果の解像度を高めることができる。画像処理部509は、B用撮像素子503、R用撮像素子504、G用撮像素子505によってそれぞれ撮像された長時間露光画素信号と短時間露光画素信号とを受け取り、上述の実施形態1の処理と同様の高画質化処理を行って、カラー動画像を生成する。以下に、実施形態1の処理との違いを主に説明する。実施形態1では単板カラー撮像素子102を用いて撮像を行った。本実施形態では3板撮像素子を用いて撮像を行う。そのため、実施形態1において数10および数12で表されていた劣化拘束が、本実施形態では異なる式となる。以下に、サンプリング過程H1およびH2の定式化の例を説明する。図15および図16に直接対応するサンプリング過程H1およびH2を本願明細書に具体的に記載することは可能である。しかしながら、そうすると当該H1、H2の行列の幅が144=画像の幅4×画像の高さ3×フレーム数4×RGB3色になり、非常に煩雑となる。そこで以下では、サンプリング過程H1およびH2の定式化を図15および図16よりも簡単な例を用いて説明する。本願明細書では、幅1画素x=1、高さ3画素y=1,2,3、2フレームt=1,2の画像を3板撮像素子で撮像する。そして、B用撮像素子503、R用撮像素子504、G用撮像素子505の各々のy=1のラインにおいて、Rの画素は長時間露光により2フレーム分時間加算し、GおよびBの画素は短時間露光で撮影する。また各撮像素子のy=2のラインにおいて、Gの画素は長時間露光により2フレーム分時間加算し、R,Bの画素は短時間露光で撮影し、y=3のラインでBの画素は長時間露光により2フレーム分時間加算し、R,Gの画素は短時間露光で撮影する場合のgL、gSの撮像過程について考える。まず、gLを以下のように定める。ここで、gRL、gGL、gBLは、それぞれ、長時間露光によって撮影されたR,G,Bの画素値を要素とする縦ベクトルである。また、次のようにfを定める。実施形態1において詳細に説明した考え方と同様の考え方により、サンプリング過程H1は以下のように定められる。すると、H1fは以下の数61によって与えられる。次に、新たにgLを以下のように定める。ここで、gRS、gGS、gBSは、それぞれ、長時間露光によって撮影されたR,G,Bの画素値を要素とする縦ベクトルである。また、実施形態1と同様に、サンプリング過程H2は以下のように定められる。すると、H2fは以下の数64によって与えられる。劣化拘束以外については、本実施形態と実施形態1の画像処理部の動作は、同一である。以上述べた処理を行うことにより、カラー動画像を生成することができる。実施形態3近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献1に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある1つの色について全画素で長時間露光をしているためである。これに対して、本発明の実施形態1、2では、第1色から第3色までのすべてで、一部の画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビュファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。図17は、本実施形態における撮像処理装置400の構成を示すブロック図である。図17において、図1と同一の動作をするものについては、図1と同一の符号を付し、説明を省略する。撮像処理装置400は、光学系101と、単板カラー撮像素子102と、読み出し制御部103と、制御部104と、画像処理部105と、表示制御部801と、表示部802とを備えている。単板カラー撮像素子102によって短時間露光撮影された画素信号は、表示制御部801に入力される。ここでは、RGBの3色が短時間露光で撮影される必要があるため、制御部104は読み出し制御部103を制御して、長時間露光と短時間露光の行毎の切り替えを、図3Aに示す周期ではなく、図3Bに示す周期で行う。その理由は、図3Aの場合、Rが常に長時間露光となり、Rの短時間露光画像が得られないためである。表示制御部801は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部801は、簡単な補間処理によって、RGB各色のサンプリング位置を揃え、また、アスペクト比を調整する。一例として、図18は、短時間露光画像を構成するR,G,およびBの各色画像に補間処理を行い、その後、各色画像を縮小して表示部802に表示するための各色画像を生成する処理の概念図である。他の例として、図19は、短時間露光画像を構成するR,G,およびBの各色画像に補間処理およびアスペクト比の変更処理を行って表示部802に表示するための各色画像を生成する処理の概念図である。表示制御部801は、図18および図19に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部802に表示する。撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。実施形態の3の変形例上述の実施形態3においては、単板カラー撮像素子102を用いた撮像処理装置400のビューファインダを説明した。本変形例は、単板カラー撮像素子102に代えて、3板撮像素子およびビューファインダを有する撮像処理装置を説明する。図20は、3板撮像素子503~505およびビューファインダである表示部901を有する撮像処理装置500の構成を示すブロック図である。図20において、図14と同一の動作をするものについては、図14と同一の符号を付し、説明を省略する。なお、制御部510からの制御信号は、簡略化のため省略している。撮像素子503、504、505において短時間露光撮影された画素信号は、表示部ビューファインダ901に入力される。ここで、長時間露光と短時間露光の行毎の切り替えは、図15および図16に示す周期で行う。ビューファインダである表示部901では、入力された短時間露光画像を、たとえば、実施形態3と同様の簡単な補間処理によって、RGB各色のサンプリング位置を揃え、また、アスペクト比を調整したうえで、撮影者に表示する。撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。また、そのような撮影を行う際のビューファインダ上に画像を表示する用途にも応用できる。なお、本明細書における画像処理部105は装置として実現されなくてもよい。たとえば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部105の動作を行ってもよい。そのようなコンピュータプログラムは、CD-ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。上述の実施形態においては、R,GおよびBの3色でカラー動画像を撮影するとして説明した。しかしながら、これらの色成分の分け方は一例である。たとえば、シアン、マゼンタ、イエローの3色のカラーフィルタを用いてもよい。また、3色ではなく、2色または4色以上のフィルタを用いてもよい。"