"第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記第1動画像および前記第2動画像の各映像信号を取得する取得部と、取得された前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、前記新たな動画像を出力する出力部とを備えた、画像生成装置。前記取得部は、前記第1色成分および前記第2色成分が共通である前記第1動画像および前記第2動画像の各映像信号を取得する、請求項1に記載の画像生成装置。前記取得部は、緑の前記第1動画像および緑の前記第2動画像の各映像信号を取得する、請求項2に記載の画像生成装置。前記取得部は、緑の前記第1動画像の映像信号、および、緑を含む複数の色成分の前記第2動画像の映像信号を取得する、請求項1に記載の画像生成装置。緑の波長域は、第1波長域および第2波長域を含んでおり、前記取得部は、前記第1波長域の前記第1動画像の映像信号、および、前記第2波長域の前記第1動画像の映像信号を取得する、請求項3に記載の画像生成装置。前記単板カラー撮像素子は、前記第1色成分の光、前記第2色成分の光、第3色成分および第4色成分の光を検出し、前記第1色成分および前記第2色成分は共通の色成分であり、前記第3色成分および前記第4色成分は、前記第1色成分および前記第2色成分とは異なり、かつ、前記第3色成分および前記第4色成分は互いに異なっており、前記取得部は、前記第2動画像のフレームレートと同じフレームレートを有する第3動画像および第4動画像の映像信号をさらに取得し、前記処理部は、さらに前記第3動画像および前記第4動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する、請求項1に記載の画像生成装置。前記取得部は、緑の前記第1動画像の映像信号、緑の前記第2動画像の映像信号、赤の前記第3動画像の映像信号、および、青の前記第4動画像の映像信号を取得する、請求項6に記載の画像生成装置。前記取得部は、緑の前記第1動画像の映像信号、赤、緑、青の色成分を含む前記第2動画像の映像信号、赤の前記第3動画像の映像信号、および、青の前記第4動画像の映像信号を取得する、請求項6に記載の画像生成装置。前記取得部は、少なくとも前記第2動画像および前記第3動画像の各映像信号を異なるタイミングで取得する、請求項6に記載の画像生成装置。前記取得部は、前記第2動画像、前記第3動画像および前記第4動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得する、請求項9に記載の画像生成装置。前記処理部は、前記単板カラー撮像素子上の隣接する4画素を利用して撮影された、前記第1動画像の複数フレーム分の画素、前記第2動画像の1フレーム分の画素、前記第3動画像の1フレーム分の画素および前記第4動画像の1フレーム分の画素から、前記新たな動画像の前記第1色成分、前記第3色成分および前記第4色成分の複数フレーム分の各画素を生成する、請求項6に記載の画像生成装置。前記処理部が生成する前記新たな画像の画素数は、前記単板カラー撮像素子の画素数よりも少ない、請求項1から11のいずれかに記載の画像生成装置。前記処理部が生成する前記新たな画像の画素数は、前記第1動画像の画素数と、前記第2動画像の画素数との和より少ない、請求項1から11のいずれかに記載の画像生成装置。前記処理部は、前記第1動画像と、前記新たな動画像に含まれる前記第1色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第1条件、空間的な総光量が一致すべきことを表す第2条件、および、隣り合う画素の色の連続性に関する第3条件を満たす動画像を生成する、請求項1に記載の画像生成装置。前記処理部は、各画素位置における前記第1動画像の1フレーム分の総光量が、前記第1動画像の1フレーム時間に相当する前記新たな動画像の複数フレーム分の総光量に一致すべきことを表す第1条件を設定する、請求項14に記載の画像生成装置。前記第2動画像中の被写体の動きを検出して、検出結果を動きベクトルとして出力する動き検出部をさらに備え、前記動き検出部の検出結果をさらに利用して、前記処理部は、前記動きベクトルに沿った前記新たな動画像内の画素値が一致すべきことを表す第4の条件を設定し、前記第1条件から前記第4条件を満たす動画像を生成する、請求項14に記載の画像生成装置。前記第1動画像の色成分と前記第2動画像の色成分とは同一の色成分を含んでおり、前記撮像部は、前記単板カラー撮像素子の同一の水平ラインを構成する画素については、同じ露光期間で撮影する、請求項1から16のいずれかに記載の画像生成装置。前記撮像部は、前記第2動画像の第2色成分と異なる第3色成分を有する第3動画像であって、前記第2動画像のフレームレートと同じフレームレートで撮影し、かつ、前記第2動画像の露光タイミングと異なる露光タイミングで撮影した第3動画像の映像信号を出力する、請求項17に記載の画像生成装置。第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を有する撮像部と、請求項1から16のいずれかに記載の画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部とを備えた画像生成システムであって、前記撮像部は、前記単板カラー撮像素子を用いて、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像の各映像信号を撮影し、かつ、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低い、画像生成システム。請求項1から16のいずれかに記載の画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と、前記画像出力部から出力された前記新たな動画像を表示する表示装置とを備えた画像生成システム。前記画像生成装置は、前記第1動画像および前記第2動画像の各映像信号を、メモリカード、アンテナおよびネットワークの少なくとも1つを経由して取得する、請求項20に記載の画像生成システム。第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成する方法であって、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記第1動画像および前記第2動画像の各映像信号を取得するステップと、取得した前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを包含する、画像生成方法。画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成し、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、前記第1動画像および前記第2動画像の各映像信号を取得するステップと、取得した前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを実行させる、コンピュータプログラム。上述の画像生成装置の構成では、仮想信号値は、単板入力画像から計算するため、色解像度は出力画像の解像度よりも低下する。また、画素ブロックのサイズを出力画像の画素サイズよりも大きくしてS/N向上を図るため、色解像度が更に低下するという課題がある。すなわち、色解像度向上と感度向上の両立には問題がある。本発明は、従来の課題を解決するためになされたものであり、その目的は、単板撮像素子を用いて撮影した動画像から、色解像度の向上と感度露光量、S/N向上を両立させた高画質の動画像を得ることにある。本発明による画像生成装置は、第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記第1動画像および前記第2動画像の各映像信号を取得する取得部と、取得された前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、前記新たな動画像を出力する出力部とを備えている。前記取得部は、前記第1色成分および前記第2色成分が共通である前記第1動画像および前記第2動画像の各映像信号を取得してもよい。前記取得部は、緑の前記第1動画像および緑の前記第2動画像の各映像信号を取得してもよい。前記取得部は、緑の前記第1動画像の映像信号、および、緑を含む複数の色成分の前記第2動画像の映像信号を取得してもよい。緑の波長域は、第1波長域および第2波長域を含んでおり、前記取得部は、前記第1波長域の前記第1動画像の映像信号、および、前記第2波長域の前記第1動画像の映像信号を取得してもよい。前記単板カラー撮像素子は、前記第1色成分の光、前記第2色成分の光、第3色成分および第4色成分の光を検出し、前記第1色成分および前記第2色成分は共通の色成分であり、前記第3色成分および前記第4色成分は、前記第1色成分および前記第2色成分とは異なり、かつ、前記第3色成分および前記第4色成分は互いに異なっており、前記取得部は、前記第2動画像のフレームレートと同じフレームレートを有する第3動画像および第4動画像の映像信号をさらに取得し、前記処理部は、さらに前記第3動画像および前記第4動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成してもよい。前記取得部は、緑の前記第1動画像の映像信号、緑の前記第2動画像の映像信号、赤の前記第3動画像の映像信号、および、青の前記第4動画像の映像信号を取得してもよい。前記取得部は、緑の前記第1動画像の映像信号、赤、緑、青の色成分を含む前記第2動画像の映像信号、赤の前記第3動画像の映像信号、および、青の前記第4動画像の映像信号を取得してもよい。前記取得部は、少なくとも前記第2動画像および前記第3動画像の各映像信号を異なるタイミングで取得してもよい。前記取得部は、前記第2動画像、前記第3動画像および前記第4動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得してもよい。前記処理部は、前記単板カラー撮像素子上の隣接する4画素を利用して撮影された、前記第1動画像の複数フレーム分の画素、前記第2動画像の1フレーム分の画素、前記第3動画像の1フレーム分の画素および前記第4動画像の1フレーム分の画素から、前記新たな動画像の前記第1色成分、前記第3色成分および前記第4色成分の複数フレーム分の各画素を生成してもよい。前記処理部が生成する前記新たな画像の画素数は、前記単板カラー撮像素子の画素数より少なくてもよい。前記処理部が生成する前記新たな画像の画素数は、前記第1動画像の画素数と、前記第2動画像の画素数との和より少なくてもよい。前記処理部は、前記第1動画像と、前記新たな動画像に含まれる前記第1色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第1条件、空間的な総光量が一致すべきことを表す第2条件、および、隣り合う画素の色の連続性に関する第3条件を満たす動画像を生成してもよい。前記処理部は、各画素位置における前記第1動画像の1フレーム分の総光量が、前記第1動画像の1フレーム時間に相当する前記新たな動画像の複数フレーム分の総光量に一致すべきことを表す第1条件を設定してもよい。前記画像生成装置は、前記第2動画像中の被写体の動きを検出して、検出結果を動きベクトルとして出力する動き検出部をさらに備え、前記動き検出部の検出結果をさらに利用して、前記処理部は、前記動きベクトルに沿った前記新たな動画像内の画素値が一致すべきことを表す第4の条件を設定し、前記第1条件から前記第4条件を満たす動画像を生成してもよい。前記第1動画像の色成分と前記第2動画像の色成分とは同一の色成分を含んでおり、前記撮像部は、前記単板カラー撮像素子の同一の水平ラインを構成する画素については、同じ露光期間で撮影してもよい。前記撮像部は、前記第2動画像の第2色成分と異なる第3色成分を有する第3動画像であって、前記第2動画像のフレームレートと同じフレームレートで撮影し、かつ、前記第2動画像の露光タイミングと異なる露光タイミングで撮影した第3動画像の映像信号を出力してもよい。本発明による画像生成システムは、第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を有する撮像部と、上述のいずれかの画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部とを備えた画像生成システムであって、前記撮像部は、前記単板カラー撮像素子を用いて、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像の各映像信号を撮影し、かつ、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低い。本発明による他の画像生成システムは、上述のいずれかの画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と、前記画像出力部から出力された前記新たな動画像を表示する表示装置とを備えている。前記画像生成装置は、前記第1動画像および前記第2動画像の各映像信号を、メモリカード、アンテナおよびネットワークの少なくとも1つを経由して取得してもよい。本発明による方法は、第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成する方法であって、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記第1動画像および前記第2動画像の各映像信号を取得するステップと、取得した前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを包含する。本発明によるコンピュータプログラムは、画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第1色成分の光および第2色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第1色成分の動画像を表す第1動画像、および、前記被写体の第2色成分の動画像を表す第2動画像から、前記被写体を表す新たな動画像を生成し、前記第1動画像は前記第2動画像よりも長い露光時間で撮影されることにより、前記第1動画像のフレームレートは、前記第2動画像のフレームレートよりも低く、前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、前記第1動画像および前記第2動画像の各映像信号を取得するステップと、取得した前記第1動画像および前記第2動画像の各映像信号に基づいて、前記第2動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを実行させる。本発明のある実施形態に係る画像生成装置によれば、単板カラー撮像において、出力画像よりも画素数の多い高密度の単板入力画像を用いる。入力画像は長時間露光画素と短時間高フレームレート画素から成る。出力画像の画素値は対応する位置の長時間露光画素と短時間高フレームレート画素値を用いて生成する。上記構成により、出力画像の色解像度を上げると同時に、高密度の撮像画素から得た画像であっても長時間露光によって露光量を確保して感度向上を図る。長時間露光画素の情報は、短時間高フレームレート画素の情報を用いることで高フレームレート化する。この結果、生成画像の色解像度と感度を共に向上させた高画質の画像を得ることができる。以下、添付の図面を参照しながら、本発明による画像生成装置の実施形態を説明する。実施形態1図1は、本実施形態に係る画像生成装置100および画像生成装置100を備えた画像生成システム110の構成を示す。画像生成システム110は、たとえばビデオカメラである。画像生成装置100は、同一の対象被写体を異なる露光時間および異なるフレームレートで撮影した動画像のデータから、新たな動画像を生成する。本実施形態では、単板カラー撮像素子を用いて、長時間露光低フレームレートの動画像と短時間露光高フレームレート動画像とが撮影される。画像生成装置100は、長時間露光低フレームレート動画像の画素と、短時間露光高フレームレートの動画像の画素とから、新たな動画像を生成する。新たな動画像とは、色解像度が高く、かつ、フレームレートが高いカラー動画像である。画像生成システム110は、撮像部10と、画像生成装置100と、出力画像記憶部35と、画像出力部45と、表示部40とを備える。撮像部10は、たとえばビデオカメラの光学系を含む撮像系であり、同一の被写体を、異なる撮影条件の画素を有する単板式カラー撮像素子を用いて撮影し、異なる時間解像度の動画像を得る。本実施形態における異なる時間解像度の動画像とは、同一の対象被写体についてi短時間露光高フレームレート動画像、すなわち時間解像度が相対的に高く、かつ、露光量が相対的に低い動画像、および、ii長時間露光低フレームレート動画像、すなわち時間解像度が相対的に低く、かつ、露光量が相対的に高い動画像をいう。画像生成装置100は、画像記憶部20と、画像生成部30とを備えている。画像記憶部20は、たとえば半導体メモリであり、撮像部10により撮像された動画像を一時的に記憶する。画像生成部30は、たとえばハードウェアで実装された画像処理回路グラフィックコントローラである。画像生成部30は、画像記憶部20に記憶された動画像を読み出し、読み出した動画像から、色解像度とフレームレートとを高めた新たな動画像を生成する。画像出力部45は、生成された動画像の出力端子である。たとえば、画像出力部45は、データバスと接続されるコネクタや端子である。表示部40は、たとえば液晶表示装置であり、画像生成部30により生成された新たな動画像を表示する。画像生成システム110はビデオカメラ以外の形態でも実施され得る。たとえば、画像生成システム110において、画像生成装置100は、汎用のプロセッサと画像処理プログラム等のソフトウェアとを備えたPCであり、撮像部10は、単板撮像素子を備えたビデオカメラであってもよい。他の変形例については、後に図29および図30を参照しながら説明する。次に、画像生成装置100の画像生成部30を詳細に説明する。図2は、図1に示された画像生成部30の内部構成を示す。画像生成部30は、画像取得部101と、動き検出部102と、画像処理部103と、出力部106とを備える。画像取得部101は、同一の対象被写体を撮像して得られる時間解像度及び色の異なる動画像を取得する。画像取得部101は、高フレームレートG取得部101a、低フレームレートG取得部101b、低フレームレートR取得部101c、低フレームレートB取得部101dを含む。高フレームレートG取得部101aは、高フレームレートの緑色Gの画像を取得する。低フレームレートG取得部101bは、低フレームレートの緑色Gの画像を取得する。低フレームレートR取得部101cは、低フレームレートの赤色Rの画像をすする。低フレームレートB取得部101dは、低フレームレートの青色Bの画像を取得する。高フレームレートG取得部101a、低フレームレートG取得部101b、低フレームレートR取得部101c、低フレームレートB取得部101dが取得した画像は、時間解像度及び色は異なるが、同じ対象被写体を撮影した画像である。本実施形態においては、高フレームレートの動画像を緑色で撮影するとしたが、これは一例である。主として緑色、赤色および青色に関して、光の波長帯域ごとに動画像が撮影されれば、高フレームレートの動画像を赤色や青色で撮影してもよい。動き検出部102は、動き分布算出部102aと信頼度分布算出部102bとを有する。動き検出部102は、入力画像中の画像の動き検出と動き検出の信頼度の算出とを行い、その結果を出力する。具体的には、動き分布算出部102aは、画像取得部101に入力された画像に基づいて、取得された画像中の一部の画像典型的には被写体を対象として、その動き検出を行う。動き検出は最終的には各フレームの画像全体を対象として行われる。信頼度分布算出部102bは、動き分布算出部102aにおける動き検出の信頼度を各フレームの画像全体において算出する。なお、信頼度分布算出部102bの具体的な説明は後述する。画像処理部103は、画像取得部101によって取得された複数の動画像から、色解像度が高く、かつ、フレームレートが高いカラー動画像を生成する。具体的には、画像処理部103は、高フレームレート化処理部103aと、第1の条件設定部103bと、第2の条件設定部103cと、第3の条件設定部103dと、第4の条件設定部103eとを有する。第1から第4の条件設定部は、取得された動画像と、新たに生成される動画像とが満たすべき関係条件を設定する。なお、本明細書では、新たに生成される動画像を目的動画像とも呼ぶ。目的動画像はカラーの動画像である。ただし、下記の文脈においては、動画像を構成する1フレームの画像を指すこともある。第1の条件設定部103bは、目的動画像の画素値と、取得した動画像の画素値との時間関係目的動画像から、取得した動画像への時間劣化の条件を設定する。第2の条件設定部103cは、目的動画像と、取得した動画像との画素値の空間関係取得した動画像から、目的動画像への空間統合の条件を設定する。第3の条件設定部103dは、目的動画像に対する空間的な拘束条件を設定する。第4の条件設定部103eは、動き検出部102から取得した動きと、後述する動き検出の信頼度との結果を用いて、目的動画像に対する拘束条件を設定する。高フレームレート化処理部103aは、第1から第4の条件設定部103b~103eによって設定される条件が課された動画像を変数とした評価関数を設定し、この関数値をできるだけ小さく望ましくは最小にする画像を求めることによって、目的動画像の各色動画像RO、GO、BOを生成する。このようにして生成された動画像が、目的動画像として出力される。出力部106は、画像生成部30の出力端子である。たとえば、画像生成部30が画像処理回路グラフィックコントローラであるときは、出力部106は、バスと接続されるコネクタである。出力部106は、画像処理部103によって生成されたカラー画像のデータを外部に出力する。出力先は、たとえば表示部40である。なお、本実施形態におけるフレームには、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。次に、以上のように構成された画像生成部30が実行する処理を説明する。図3は、画像生成装置30の実行する処理の手順を示す。ステップ301では、画像取得部101は、露光時間フレームレートと色とが異なる複数の動画像を取得する。具体的には、高フレームレートG取得部101aが高フレームレートのG動画像を取得し、低フレームレートG取得部101bが同一の対象被写体について低フレームレートのG動画像を取得し、低フレームレートR取得部101cが同一の被写体について低フレームレートのR動画像を取得し、低フレームレートB取得部101dが同一の被写体について低フレームレートのB動画像を取得する。図4aは、画像取得部101で取得される動画像を模式的に示す。図4bは、図4aの太線正方形405領域に含まれる画素を視認しやすいように分離して表現したものある。図4cは、画像処理部103で生成される高フレームレートカラー動画像を示す。図4a、cでは、前記2種類の動画像の連続したフレーム画像を時間順に示し、図の奥行き方向は時間軸を表し、画素の奥行き方向の厚みはその画素の露光時間を表している。また、図4a、図4cにおいて、空間解像度の違いは矩形の大きさと密度で表現されている。具体的には、図4において太線の正方形405,409は、同じ大きさの範囲を写す領域を示す。図4aではこの正方形405の範囲に4画素配置されている。一方、図4cの各正方形領域409では正方形の領域に1つの画素が配置されており、図4aの画素配置は図4cよりも画素面積が1/4で画素密度が4倍の配置となっている。G画素401a~401dは、高フレームレートG取得部101aで取得される4フレーム分の高フレームレートG動画像の画素を示す。R画素402は低フレームレートR取得部101cで取得される1フレーム分の低フレームレートR動画像の画素を示す。B画素403は低フレームレートB取得部101dで取得される1フレーム分の低フレームレートB動画像の画素を示す。G画素404は低フレームレートG取得部101bで取得される1フレーム分の低フレームレートG動画像の画素を示す。図4aの低フレームレート画像402,403,404の露光時間は、G画素401a~401dの4フレーム分の露光時間に対応している。図4cの3つの正方形領域409は、図4aの正方形405の太線で示される正方形領域と同じ範囲を撮影したR、G、Bの高フレームレート動画像を示している。図4cにおいて、R画像406a~406dは、正方形405と同じ範囲のG画素401a~401dのフレーム時間に対応するフレーム時間を有している。同様に、G画像407a~407dとB画像408a~408dは、それぞれ正方形405と同じ被写体範囲のG画素401a~401dのフレーム時間に対応するフレーム時間を有している。本実施形態によれば、画像処理部103、図4aの正方形405の範囲で取得された高フレームレートG動画像の画素401a~401d、低フレームレートのR画素402、B画素403、G画素404の各画素を用いて、図4cに示す高フレームレートのR動画像の画素406a~406d、G動画像の画素407a~407d、B動画像の画素408a~408dをそれぞれ生成する。このように、本願発明では、生成するRGB動画像の各画素位置に、生成する画像よりも高密度な単板RGB画像を取得することで、色解像度を向上させる。ここで、画素の高密度化で生じる受光量低下に対しては、生成する画像のフレーム間隔よりもよりも長い露光時間の撮影により露光量を増して感度向上させた画像を用いて画像生成することで、色解像度と感度を両立させたカラー動画像を得ることが可能となる。なお、画像取得部101で取得する色配列は、上記の例に限定されることはなく、RGBの相対的位置が異なっていてもよいし、4色以上の色を取得しても良く、異なる色を2色以上含めばよい。また、生成画像の一つの画素位置に対応する取得画像の画素数も、上記の例のような4画素に限定することはなく、図5のように高フレームレート画素601a~601dを一部に含む16画素からなる正方領域617が生成される動画像の1画素の領域に対応するように画像を取得しても良い。また、生成する画像内の位置によって色の種類や数を変えても良い。具体的を図6に示す。図6では、生成される画像の1画素の対応する太線正方形領域6B1~6B4のそれぞれが入力画像の複数の画素領域を含んでいる。そして、正方形領域6B16B4の組と正方形領域6B26B3の組との間では、正方領域が含む入力画像の色の種類と数が異なっている。特に、正方形領域6B16B4の組にはW画素が含まれている。この画素の画素値は、入射光の色成分をそのまま含む。すなわち、この画素の画素値は、RGBそれぞれの色成分を含む。このように、異なる正方領域に異なる色特性を持たせることで、単一の正方領域の色特性だけでは撮影できない色や明るさの情報を多面的に撮影し、より多くの照明条件や被写体に対応することが可能となる。また、画像取得部101で取得するRGB画像間の撮影タイミングは、時間の相対関係が既知であればよく、必ずしも露光開始や露光終了時刻が同時である必要は無い。つまり、撮像タイミングにおける時間位相が異なっていてもよい。具体的には、低フレームレート長時間露光のR画素、G画素、B画素の露光タイミングの関係を図7のように設定してもよい。図7において、横軸は時間を示している。また矩形は各画素のフレームを表し、矩形の横幅は露光時間の長さを表現している。図7では、図4bに示す配置の入力画素に対し、低フレームレートのR、GおよびBの露光タイミングは同一ではなく、少しずつ等間隔にずらされている。露光タイミングのずらし方は任意である。たとえば、高フレームレート動画像Gの1フレーム時間相当分ずつずらしてもよい。露光タイミングがずれることにより、図2に示す画像取得部101の低フレームレートG取得部101b、低フレームレートR取得部101c、および、低フレームレートB取得部101dが各入力信号を取得するタイミングも同様にずれてもよい。図7に示される露光タイミングで、低フレームレート長時間露光のR画素、G画素、B画素が撮影された場合には、撮像部10から画像生成部30にその露光タイミングを通知する仕組みが必要となる。そこで、送信される映像信号に撮影条件を付加することが考えられる。図8は、撮影条件の情報が記述された識別ヘッダー210aと、動画像データ210bとを有する映像信号210のフォーマットの一例を示す。撮像部10は、撮影条件を示す情報を識別ヘッダー210aに格納し、識別ヘッダー210aを、撮影した動画像データ210bに付加した映像信号210を出力する。画像生成部30の画像取得部101は、映像信号210を受け取って先に識別ヘッダー210aを読み取り、撮影条件の情報を取得する。そしてその撮影条件に基づいて、動画像データ210bを取得する。また、画像処理部103は、識別ヘッダー210aの撮影条件に基づいて第1の条件設定と第2の条件設定を設定する。識別ヘッダー210aに格納される画像の撮影条件の情報は、色ごとRGBおよび画素位置ごとの、露光時間、フレームレート、RGB画素の露光タイミングの相対的な時間差やこれらに対応付けられた数値や符号である。画像取得部101がデジタル信号を受信する場合には、識別ヘッダー210aはデジタルデータである。よって、撮影条件を表す露光時間、フレームレート、RGB画素の露光タイミングの相対的な時間差等の値はデジタル値で直接表されていてもよい。または、対応する撮像素子内の電圧電荷量電流値アナログ値が所定の有効桁数に丸められ、その値がデジタル値で表されていてもよい。一方、画像取得部101がアナログ映像信号を受信する場合には、上述の情報は撮像素子内の電圧電荷量電流値などのアナログ値で表現され、または、それらに対応付けられた数値や符号で表現される。このように画素によって露光開始や露光終了時刻を変えることで、撮像素子からの画素値の読み出しタイミングをずらし、信号線の伝送効率を上げることが可能である。また、画素によって露光開始や露光終了時刻を変えて得た情報を統合して新たな画像を生成することで、時間解像度の高い動画像を得ることが可能になる。画像取得部101で取得する画像は、RGBカラーフィルタ配列を有する単板撮像素子により撮影することができる。図9aおよびbは、RGBカラーフィルタ配列を有する単板撮像素子701の構成を示す。図9bは、光の入射方向から見たときのカラーフィルタ配列を示す。この単板撮像素子701を用いることで、画素位置によって異なるフレームレートや露光時間で撮影でき、撮像後に同等な画像を生成して得ることができる。なお、図9aおよびbに示す単板撮像素子701は一例である。RGBカラーフィルタ配列に加え、図6において説明したW画素を含めた配列を用いてもよい。再び図3を参照する。ステップ302では、動き検出部102が、目的動画像を構成する各画像の画素ごとの動きを検出し、その動き検出の信頼度を算出する。動き検出処理として、本実施形態では、高フレームレートG取得部101aから得た動画像の各フレーム画像の各位置において、動き検出部102は被写体の動きの向きと大きさを求め、そして求めた動き検出の信頼度の時空間的分布confx,y,tを併せて求める。ここで、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。本実施形態では、高フレームレートG画像を動き検出に用いる。これは、高フレームレート画像の方がより詳細な動きを検出できることによる。隣り合う2フレーム画像間における、画像上の各位置での動きの求め方は、例えば、P.ANANDAN,AComputationalFrameworkandanAlgorithmfortheMeasurementofVisualMotion,IJCV,2,283-3101989で用いられる方法や、動画像符号化で一般的に用いられる動き検出手法、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。また、画像全体の大域的動きアフィン動きなど検出の一般的手法や、LihiZelkik-Manor、Multi-bodySegmentation:RevisintingMotionConsistency、ECCV2002などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。ブロックマッチングによる2フレーム画像間の動き検出方法を説明する。図10aおよびbはそれぞれ、動き検出処理に関連する、フレーム番号tとt1における画素配置を表す。ここで、図10aの黒画素2401を注目画素とし、この画素が次のフレーム画像のどの画素に対応するか移動しているかを次の手順で決定する。最初に、注目画素2401を中心としたブロック領域24023×3画素の斜線領域を設定する。このブロックサイズは予め決められている。次に、次フレーム画像図10bにおいて前記ブロック領域と同じサイズ3×3画素の領域2403を設定し、領域2402と領域2403の画素値のSSDSumofSquaredDifferencesまたはSADSumofAbsoluteDifferencesを求める。以降、領域2403の位置を図10b画像内で1画素ごとに変え、SSDまたはSADが最小となった時の領域2403の中心画素位置を、画素2401に対応する画素位置動きベクトルの先とする。以上が、画素2401に対する動き検出結果となる。同様の手続きを、注目画素を変えて、図10aの全画素について繰り返す。これにより、図10aのフレーム画像に対する動き検出が完了する。連続するフレーム画像の隣り合うフレーム画像に対して、動き検出を順次行うことで、動画像全体の動き検出が完了する。信頼度は、上記P.ANANDANの文献に記載の方法を用いて求めてもよく、ブロックマッチングを用いた動き検出の場合には、数1のように、動きに対応するブロック間の画素値の差の2乗和を前記差の2乗和が取り得る最大値SSDmaxから引いた値、つまりブロック間の画素値の差の2乗和の符号を逆にした値confx,y,tを信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の2乗和を2乗和が取り得る最大値SSDmaxから引いた値confx,y,tを信頼度として用いても良い。数1において、位置x’、y’、t1は、動き検出の結果として得られた画素位置x、y、tの移動先に相当する画素位置である。このt1とは、高フレームレートG画像の1フレーム時間を1としたときの、ある時刻tから1フレーム時間経過後の時刻を意味する。Ix、y、tはx、y、tの画素値である。また、数1のΣはブロックマッチングで用いるブロック領域内での加算を表す。次に、図3のステップ303では、最終的に生成されるカラー動画像が満たすべき動き拘束条件Qmを、第4の条件設定部103eにて設定する。第4の条件設定部103eは、動き検出部102で求めた動き分布と信頼度分布とを用いて、数2に従って動き拘束条件Qmを設定する。数2においてRH、GH、BHは、目的動画像であるカラー動画像のRGB成分をそれぞれ示し、vx、vyは検出した動きベクトルのx方向の成分とy方向の成分を示す。数2において、各Σはx、y、tのそれぞれについての加算を意味し、結果として動き拘束条件Qmは目的動画像に対して定義される。数2は、取得された動画像上で検出された動きに沿って、目的動画像上の対応する画素における各色の画素値が時間的に一様であるつまり画素値が時間的に連続しているほど、値が小さくなる動き拘束条件Qmを定義している。数2では、画素値の変化量を、動き検出の信頼度で重み付けをして用いる。低解像度の画像を用いて動き検出を行う場合、動きベクトルが高解像度画像の全画素位置について得られない。このような場合には、空間的な近傍で定義されている動きベクトルから補間して動きベクトルを求めればよい。補間方法はバイリニアやバイキュービックなど一般的な方法を用いることができる。動き拘束条件Qmの値を小さくすることは、取得された動画像上で検出された動きに沿って目的動画像の画素の画素値が連続することを表している。たとえば、ある被写体が移動している動画像において、被写体が同じであれば位置や移動量にかかわらずその被写体部分の画素の画素値はほぼ同じであり、画素値の変化は少ないと考えられる。よって、動きに沿って画素の画素値が連続する、という条件を課して得られる目的動画像は、被写体の動きに関する破綻が少ないと考えられる。なお本実施形態において動き拘束条件Qmの値を小さくするとは、Qm≦QとなるようなQを設定することを意味しない。後述するように、本実施形態においては複数の拘束条件を含む評価関数Jを設定し、その評価関数Jを最小にする動画像を、目的動画像新たな動画像として出力する。そのような評価関数Jを最小にする動画像であれば、各拘束条件の値を小さくするという条件を総合的にはよく満足すると推定される。その推定により、本実施形態では各拘束条件が可能な限り小さくされたと判断している。以下でも種々の拘束条件を説明するが、いずれも個々に満たすべき値を設定するのではないことに留意されたい。次に、ステップ304では、第1の条件設定部103bが時間劣化拘束条件を設定する。数3~数5は、拘束条件の例を示す。数3~数5においてRH、GH、BHは、画像取得部で取得した個々の画素位置における、目的動画像高解像度動画像の各フレームに対応する仮想的な画素のRGB値をそれぞれ示す。HR、HG、HBは、そのようなRGB値を有する高解像度動画像から、取得された画像への変換を行う作用素を示す。本実施例では、HR、HG、HBは低フレームレート化の変換の作用素である。一方、RL、GL、BLはそれぞれ取得された長時間露光のR画像、G画像、B画像を示す。数3~数5は、前記仮想的な画素値を低フレームレート化によって劣化変換した画像と、取得された画像とが一致するほど値が小さくなる。なお、数3~数5には空間解像度に関する変換は含まれていない。たとえば長時間露光低フレームレート化の変換は数6に示す式によって表すことができる。ここで、低フレームレート画像の画素位置x,y,tLの画素値をLHx,y,tLと表す。高フレームレート画像の画素位置x,y,tの画素値をHHx,y,tと表す。数6の等号は、左辺と右辺に関する画素間で総光量が等しいことを意味している。すなわち、各画素位置において、低フレームレート画像の1フレーム分の総光量が、高フレームレートの新たな動画像の複数フレーム分の総光量と等しいことを表している。ここでいう複数フレームとは、低フレームレート画像の1フレーム時間に表示される、新たな動画像のフレーム数である。本実施形態の場合には4フレーム分である。なお、上述の数6に示す総光量の関係は、色成分ごとに成立する。なお、高フレームレートG取得部101aで取得した高フレームレート画素については前記仮想的な画素と同じフレームレートであるため、仮想画素の画像から取得画像への変換は恒等変換となる。次に、ステップ305では、第3の条件設定部103dが生成する目的動画像に対する空間的な拘束条件を設定する。数7および数8は、空間的な拘束条件の例Qs1およびQs2を示す。数7においてθHx,y、ψHx,y、rHx,yは、目的動画像の画素位置x,yにおけるR、G、Bのそれぞれの画素値で表される3次元直交色空間いわゆるRGB色空間内の位置を、RGB色空間に対応する球面座標系θ、ψ、rで表現した場合の座標値であり、θHx,yとψHx,yは2種類の偏角、rHx,yは動径を表す。図11は、RGB色空間と球面座標系θ、ψ、rとの対応例を示す。図11では、一例として、θ=0の方向をRGB色空間のR軸の正方向とし、ψ=0の方向をRGB色空間のG軸の正方向としているが、偏角の基準方向は図11に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、RGB色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系θ、ψ、rの座標値に変換する。目的動画像の各画素の画素値をRGB色空間内の3次元ベクトルとして考えた場合に、3次元ベクトルをRGB色空間に対応付けられる球面座標系θ、ψ、rで表現することにより、画素の明るさ信号強度、輝度も同義であるとしてのベクトルの大きさを表すr軸の座標値、ならびに画素の色彩色相、色差、彩度などを含むとしてのベクトルの向きを表すθ軸およびψ軸の座標値を、独立に取り扱うことができる。自然画像では、明るさと色彩との時空間的な変化量は大きく異なるため、これらの値を独立に評価調整できる座標を選ぶことで目的動画像の画質を向上させることができる。数7は、目的動画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。数7は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様であるつまり画素の色が連続しているほど、値が小さくなる条件Qs1を定義している。条件Qs1の値が小さいことは、目的動画像内の空間的に隣り合う画素の色が滑らかに連続することを意味している。画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、数7に示すように、画素の明るさの連続性r軸の座標値の変化の一様性に関する条件数7の大括弧内の第3項と、画素の色彩の連続性θ軸およびψ軸の座標値の変化の一様性に関する条件数7の大括弧内の第1項および第2項とをλθ、λψ、λrを利用して個別に設定することで、望ましい画質が得やすくなる。λθx,y、λψx,y、λrx,yはそれぞれ、θ軸、ψ軸、r軸の座標値を用いて設定される条件に対して、目的動画像の画素位置x,yにおいて適用される重みであり、予め定めておく。簡単には、λθx,y=λψ、x,y=1.0、λrx,y=0.01のように画素位置やフレームに依らずに設定してもよい。また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。例えば、取得された画像の空間的微分値が大きい位置の重みを小さくする。画素値が不連続であることは、取得された画像のフレーム画像内の隣り合う画素における画素値の差分値や2階差分値の絶対値が一定値以上であることにより判断してもよい。また、明るさに関する拘束条件と、色彩に関する拘束条件との差が相対的に広がるように重みを設定することが望ましい。たとえば画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き法線の向きの変化によって、画像中の画素の明るさが色彩に比べて変化しやすい変化の一様性に乏しいことによる。なお、数7では、目的動画像の球面座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を条件Qs1として設定したが、2階差分値の絶対値和、または1階差分値の2乗和もしくは絶対値和を条件として設定してもよい。上記説明ではRGB色空間に対応付けられる球面座標系θ、ψ、rを用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。新たな直交座標系の座標軸は、例えば、取得された動画像または基準となる他の動画像に含まれる画素値のRGB色空間内での頻度分布を主成分分析分散に基づく分析することで固有ベクトル分散の大きさで選ばれる互いに直交するベクトルの方向を求め、求めた固有ベクトルの方向に設ける固有ベクトル軸とすることができる。RGB色空間における固有ベクトル軸C1,C2,C3の例を図12に示す。次に、数8を説明する。数8において、C1x,y、C2x,y、C3x,yは、目的動画像の画素位置x,yにおける赤、緑、青のそれぞれの画素値であるRGB色空間の座標値を、新たな直交座標系の座標軸C1、C2、C3の座標値に変換する回転変換である。数8は、目的動画像の新たな直交座標系で表現された画素値の、xy空間方向の2階差分値の2乗和を定義している。数8は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様であるつまり画素値が連続しているほど、値が小さくなる条件Qs2を定義している。条件Qs2の値が小さいということは、目的動画像内の空間的に隣り合う画素の色が連続することを意味している。λC1x,y、λC2x,y、λC3x,yはそれぞれ、C1軸、C2軸、C3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置x,yにおいて適用される重みであり、予め定めておく。C1軸、C2軸、C3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1x,y、λC2x,y、λC3x,yの値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、2階差分の2乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。以上、2種類の条件Qs1、Qs2の例を説明した。条件Qsとしては、Qs1、Qs2いずれを用いることもできる。例えば、数7に示される条件Qs1を用いた場合、球面座標系θ、ψ、rを導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すr軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。数8に示される条件Qs2を用いた場合、RGB色空間の座標値から線型回転変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。また、固有ベクトル軸を新たな直交座標系の座標軸C1、C2、C3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。次に、ステップ306では、第2の条件設定部103cが空間統合拘束条件を設定する。数9~数11は、拘束条件の例を示す。数9~数11においてRO、GO、BOは、目的動画像を表す。またSR、SG、SBは、それぞれRH、GH、BHから目的動画像RO、GO、BOへの空間的な低解像度化変換の作用素を表す。低解像度化変換Sの例を数12に示す。数12では、目的動画像を仮想的な画素値の空間的な積算としている。ここで、低解像度変換前の動画像の画素位置x,y,tの画素値をHHx,y,tと表し、低解像度変換後の動画像の画素位置xL,yL,tの画素値をHLxL,yL,tと表す。数12の等号は、左辺と右辺に関する画素間で総光量が等しいことを意味している。次に、ステップ307では、第1の条件設定部103b、第2の条件設定部103c、第3の条件設定部103d、第4の条件設定部103eが設定した拘束条件を満たすような目的動画像を生成する。このために、前記拘束条件から成る評価関数Jを設定する。Jの一例を数13に示す。Jは、生成したい高フレームレートカラー画像を構成するR、G、およびBの各色の画像画像ベクトルとしてRO、GO、BOと表記の関数として定義される。HR、HG、HBは、それぞれ目的動画像の各色画像RH、GH、BHから、各色の取得された画像RL、GL、BLベクトル表記への低解像度化変換を表す。なお、評価関数Jは、上記に限定するものではなく、数13の項を類似式からなる項と置換したり、異なる条件を表す新たな項を追加してもよい。次に、高フレームレート化処理部103aで、数13のJの値をできるだけ小さく望ましくは最小にする目的動画像の各画素値を求めることによって、目的動画像の各色画像RO、GO、BOを生成する。評価関数Jを最小にする目的動画像gは、例えば、Jを目的動画像の各色画像RO、GO、BOの各画素値成分で微分した式を全て0とおいた数14の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。最後に、ステップ308で生成した目的動画像を出力する。上記のような構成に基づく入出力画像の例を次に示す。図13a~dに、右下方向に移動する円形の被写体黒色で表現を示す。図13以降の図において被写体はRGB全ての色成分を全て含み、目的動画像はRGBカラー画像とする。図では、RGB画素値が大きいほど明るいほど黒に近い色で図示し、斜線模様水平線模様の順にRGB画素値が小さくなることを表現する。図13a~dは、後述する連続フレームの撮影時刻t=0,1,2,3における被写体位置を示す。図14a~dは、図13a~dに示される被写体を撮影して取得したい目的動画像を時刻順t=0,1,2,3に示している。図14では、個々の升目が目的動画像の個々の画素を表し、被写体は黒色、中間画素値を持つ画素を斜線で表している。目的動画像はRGBカラー画像とし、各画素におけるRGB値を得ることが目的となる。最初に、目的動画像と同じ解像度の単板カラー撮像を行った場合の画像について説明する。図15に、目的動画像と同じ解像度のRGBカラーフィルタ配列の例を示す。図13の被写体を上記カラーフィルタで撮影し、RGBの色補間全ての画素位置のRGB値決定後の画像を色ごとに図16~18に示す。図16はG、図17はR、図18はBの画像である。ここで、被写体はRGB全ての色成分を同等に含むものとする。図16~18のa~dは、各時刻t=0,1,2,3の生成画像左列と被写体画像右列を表し、被写体の色を再現できている画素は黒色、中間値の画素値を持つ画素は、画素値の大きい方から順に、斜線水平線で示している。図16~18では、図15のカラーフィルタの位置に一致する画素は正しく、色画像が得られるものの、カラーフィルタと異なる色は周辺の画素値の補間により得られるため、色解像度は図14の目的動画像の解像度よりも低下する。次に、提案手法で入力とする画像について図19~23を用いて説明する。図19は、提案手法で入力とする画像を得るカラーフィルタの配置と画素ごとの露光時間とフレームレートの違いを示している。図19で各色フィルタの密度は、図14の目的動画像の解像度の縦横2倍であり、RGBは、図15同様カラーフィルタの色を示している。Sの画素はRGBのいずれかの色に対応する。本実施例では以降、Sの色はGとするが、RやBに置き換えても本発明の効果は得られる。Gにした場合、人の視覚で認知される空間解像度を高められる効果がある。また、Sの画素と他の画素とは、露光時間とフレームレートが異なる。Sの画素は、目的動画像と同じフレームレートの撮影で取得し、他の画素は前記Sの画素の複数フレームにまたがる露光時間の撮影で取得する。結果としてS以外の画素はSの画素よりも低フレームレートの画像となる。以降、本実施例では、S以外の画素は、Sの画素の4フレーム分の露光で得られる低フレームレート画像とする。図20~23は、図19のカラーフィルタを用いて図13の被写体を撮影して得られた画像である。図20は、Sの画素について得られたGの画像を時刻順t=0,1,2,3に示している。図20は目的動画像と同じフレームレートの画像である。図21は、Gの画素について得られた画像である。目的動画像に対して4フレーム分の露光で得られるため、被写体の動きによるブレを含んでいる。同様に、図22と図23はRとBについての長時間露光の画像である。これらRGB画像は、それぞれの色が目的動画像と同等の画素数を持ち、かつ長時間露光によって目的動画像と同等の受光量を得ることができる。ステップ301では、以上のように取得した画像を入力する。次に、ステップ302ではSの画像を用いて、目的動画像のフレーム間の動きを検出する。次に、ステップ303から306では拘束条件を設定し、ステップ307では目的動画像と同じフレームレートのRGB画像を生成する。ステップ307の結果、RGBそれぞれについて、図14a~dと同等の画像が得られる。これらの画像では、色解像度が目的動画像と同等であり、長時間露光によって得られた画像を用いることで、高密度で微細化された撮像素子でも感度低下を起こさずに画像を得ることができる。なお、上記の例では短時間露光の画像はGのみであったが、他の色の画像も短時間露光で撮影しても本発明の効果は得られる。特に、短時間露光のGと同じ水平行の色図19の例ではRを短時間露光撮影することで、入力画像の水平ラインごとに撮影条件をそろえることができ、単板撮像素子による前記画像の取得を回路構成上実現しやすくなる効果がある。図24aおよびbは撮影条件をそろえる画素を説明するための図である。図24aは目的動画像の1画素に対応する複数の正方領域たとえば正方領域6D5を示している。また図24bは、正方領域6D5に含まれる入力画素を入力画素ごとに分離して示している。図24aでは入力のR画素6D2a-6D2dと同じ行のG画素6D1a-6D1dは共に高フレームレート撮影し、B画素6D3と同じ行のG画素6D4は長時間露光低フレームレート撮影する。正方領域6D5の範囲が生成画像の1画素の範囲に対応する。また、上記実施形態の説明では図4aおよびbに示すような単板カラー撮像画像を入力画像として説明した。しかしながら、本発明ではそのような入力画像以外の入力画像を用いてもよい。第1動画像と第2動画像とが人間の視感特性上、共通する色成分を含んでいれば良い。例えば、図25aのように第1動画像をRGBそれぞれの色成分を含む透明画素W501a~501dで形成してもよい。または、図25bのように第1動画像と第2動画像を、人間の視感特性上は同じ緑であるが波長特性が異なる2種類の緑画素G1511a~511d、G2514で形成しても良い。後者の場合、一般的な緑の波長域500nm~580nmのうち、たとえば緑画素G1は500nm以上540nm未満の波長域の光を検出し、緑画素G2は540以上580nm以下の波長域の光を検出する。透明画素を用いた場合、透明画素部では、カラーフィルタによる光量損失がなくなるため、感度向上効果が得られる。また、2種類の波長特性を持つ緑画素G1,G2を用いた場合には、類似した色の区別が可能となるため、生成画像の色再現性を高めることができる。このように、色フィルタの構成を変えた場合、数3~数5で定義している、仮想的な高解像度高フレームレートRGB画像から入力画像への変換を新たな色フィルタに合わせればよい。以上のように、本実施形態にかかる処理によれば、単板撮像素子から得た動画像を用いて、色解像度向上と感度向上を両立させた動画像を得ることができる。また、静止画撮影と動画撮影を両方行うカメラにおいて、静止画用の高解像度撮像素子からの画像取得方法を変えるだけで、低解像度動画撮影時に色解像度と感度を両立させることができる。また、複数の入力画素を統合して用いることにより、撮像素子の画素の欠陥の影響を低減する効果もある。実施形態2図26は、本実施形態に係る画像生成システム130の構成を示す。基本的な構成は実施形態1と同等である。相違点は、本実施形態では動き検出処理を行うことなく、新たな動画像を生成する点にある。そのため、構成上は、実施形態1の画像生成装置100に代えて画像生成装置120が設けられている。より詳しくは、画像生成装置120に設けられた画像生成部31には動き検出部が設けられていない点が、画像生成装置100の画像生成部30と異なっている。図27は、本実施形態における画像生成部31の内部構成を示す。図28は、本実施形態による画像生成部31の処理手順を示す。図2と比較すると、図27の構成には動き検出部が設けられておらず、その結果、図28に示すフローチャートには、画像の動きに関する処理図3のステップ302および303が含まれていない。その他の構成および処理は、画像生成部30および31は共通である。画像生成部31は、画像取得部2201と、画像処理部2203と、出力部2206とを有している。画像取得部2201および出力部2206は、実施形態1による画像取得部101および出力部106と実質的に同じである。画像処理部2203の第1の条件設定部2203bが設定した条件と第2の条件設定部2203cが設定した条件と第3の条件設定部2203dが設定した条件とを用いて高フレームレート化処理部2203aが新たな動画像を生成する。動き拘束を用いない場合でも、Sの画素を用いてフレームごとの画素値変化の情報を取得することで、長時間露光のRGBの撮影画像を高フレームレート化することができる。本実施形態の画像生成処理では動き拘束を用いないため、数13から動き拘束の項を除いた数15を用いて画像生成する。なお動き拘束を用いない場合でも、低フレームレート画素数に対する高フレームレート画素数の割合を高めることで画質を向上させることができる。動き拘束を用いない場合、大きな動きの情報は得にくくなる。しかしながら、画像処理部103の演算手順は、被写体の動きに依存しなくなるため、演算手順をあらかじめ固定化できる。このため、入出力画像の解像度やカラーフィルタの配置に合わせて処理回路を最適化小型化しやすい利点がある。また、最適な処理回路を利用することで、消費電力の低減や演算時間の短縮を図ることができる。なお、これまでは表示部40を有する画像生成システム110、130を説明した。しかしながら、表示部40を有することは必須ではない。図29は、表示部を有しない画像生成システム300を示す。画像生成システム300は、たとえば液晶ディスプレイを有しないビデオカメラである。このような表示部40を有しない画像生成システムもまた、本発明の範疇である。また、撮像部10を有することも必須ではない。図30は、撮像部10を有しない画像生成システム400を示す。画像生成システム400は、たとえばテレビのようなディスプレイ機器である。また図1に示された画像生成システム110から撮像部10を除いてもよい。撮像部10が含まれていない場合でも、そのようなディスプレイ機器は本発明の範疇である。図30に示す画像生成システム400は、映像信号を画像取得部25で受け取る。この映像信号は、ディスプレイよりも高密度な単板撮像素子で撮影した複数色コンポーネントの動画像の信号である。そして画像生成システム400の画像生成部30は、実施形態1に示す処理を行うことにより、その動画像の信号からフレームレートを向上させて高感度化した新たな動画像を生成して表示することが可能になる。例えば、ハイビジョンHDの縦横2倍サイズ4K2K以上の撮像素子や、縦横4倍サイズ8K4K以上の撮像素子を用いて撮影した画像を、ハイビジョンや4K2Kサイズ8K4Kサイズで撮影した場合のディスプレイに表示する場合に、本発明を適用することが容易である。画像生成システム400は複数色コンポーネントの動画像を種々の方法で受け取ることができる。たとえば、半導体メモリカードたとえばSDカード250に予め録画してある動画像データから複数色コンポーネントの動画像を抽出してもよいし、アンテナ251を利用して放送波から抽出してもよい。または、インターネット等のネットワーク252を介して当該動画像取得してもよい。画像生成システム400において、半導体メモリカード250、アンテナ251およびネットワーク252の2つまたは全てが利用可能であってもよい。図30に示す画像生成システム400において、実施形態1にかかる新たな動画像を生成する処理を行うためには、画像生成部30は低フレームレート長時間露光のR画素、G画素、B画素の露光タイミング図7などの撮影条件に関する情報を必要とする。そこで画像取得部25は図8に示すフォーマットの映像信号210を受信して識別ヘッダー210aから撮影条件の情報を取得し、動画像データ210bを取得すればよい。画像生成部30が図8に示す映像信号210を受信できる限り、映像信号210の送信方法は任意である。たとえば図8に示す映像信号210をパケット化して放送波で送信し、ネットワーク通信を行ってもよい。なお、図30では、ディスプレイ機器400には実施形態1にかかる画像生成部30が設けられているが、実施形態2に係る画像生成部31が設けられてもよい。以上、本発明に係る画像生成装置等の実施形態を説明した。上述の実施形態は一例であり、本発明はこれらに限られることはない。実施形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。たとえば、上述の実施形態1では、赤、緑および青の低フレームレート動画像、および、緑の高フレームレート動画像の4つの動画像を用いて1つの動画像を生成した。しかしながら、赤、緑および青の少なくとも1つの低フレームレート動画像、および、赤、緑または青の高フレームレート動画像の少なくとも2つの動画像から、1つの高フレームレートかつ高解像度の動画像を生成することも可能である。単板カラー撮像素子は、少なくとも利用する動画像の色に応じて構成されていればよい。本発明の画像生成装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるCPUが所定のコンピュータプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。そのようなコンピュータプログラムには図示されたフローチャートの処理手順が規定されている。コンピュータプログラムを実行したCPUは、その処理手順にしたがって自らが動作することにより、または、図示される他の構成要素に指示して動作させることにより、画像生成装置をその処理手順に従って動作させる。"