(57)【要約】  単板撮像素子を用いて撮影した動画像から、色解像度の向上と感度（露光量、Ｓ／Ｎ）向上を両立させた高画質の動画像を得る。  画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、被写体の第２色成分の動画像を表す第２動画像から、被写体を表す新たな動画像を生成する。第１動画像は第２動画像よりも長い露光時間で撮影されることにより、第１動画像のフレームレートは、第２動画像のフレームレートよりも低い。画像生成装置は、第１動画像および第２動画像の各映像信号を取得する取得部と、取得された第１動画像および第２動画像の各映像信号に基づいて、第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、新たな動画像を出力する出力部とを備えている。
2012081175.tif 000002
【特許請求の範囲】
【請求項１】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得する取得部と、
取得された前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、
前記新たな動画像を出力する出力部と
を備えた、画像生成装置。
【請求項２】
前記取得部は、前記第１色成分および前記第２色成分が共通である前記第１動画像および前記第２動画像の各映像信号を取得する、請求項１に記載の画像生成装置。
【請求項３】
前記取得部は、緑の前記第１動画像および緑の前記第２動画像の各映像信号を取得する、請求項２に記載の画像生成装置。
【請求項４】
前記取得部は、緑の前記第１動画像の映像信号、および、緑を含む複数の色成分の前記第２動画像の映像信号を取得する、請求項１に記載の画像生成装置。
【請求項５】
緑の波長域は、第１波長域および第２波長域を含んでおり、
前記取得部は、前記第１波長域の前記第１動画像の映像信号、および、前記第２波長域の前記第１動画像の映像信号を取得する、請求項３に記載の画像生成装置。
【請求項６】
前記単板カラー撮像素子は、前記第１色成分の光、前記第２色成分の光、第３色成分および第４色成分の光を検出し、
前記第１色成分および前記第２色成分は共通の色成分であり、
前記第３色成分および前記第４色成分は、前記第１色成分および前記第２色成分とは異なり、かつ、前記第３色成分および前記第４色成分は互いに異なっており、
前記取得部は、前記第２動画像のフレームレートと同じフレームレートを有する第３動画像および第４動画像の映像信号をさらに取得し、
前記処理部は、さらに前記第３動画像および前記第４動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する、請求項１に記載の画像生成装置。
【請求項７】
前記取得部は、緑の前記第１動画像の映像信号、緑の前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得する、請求項６に記載の画像生成装置。
【請求項８】
前記取得部は、緑の前記第１動画像の映像信号、赤、緑、青の色成分を含む前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得する、請求項６に記載の画像生成装置。
【請求項９】
前記取得部は、少なくとも前記第２動画像および前記第３動画像の各映像信号を異なるタイミングで取得する、請求項６に記載の画像生成装置。
【請求項１０】
前記取得部は、前記第２動画像、前記第３動画像および前記第４動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得する、請求項９に記載の画像生成装置。
【請求項１１】
前記処理部は、前記単板カラー撮像素子上の隣接する４画素を利用して撮影された、前記第１動画像の複数フレーム分の画素、前記第２動画像の１フレーム分の画素、前記第３動画像の１フレーム分の画素および前記第４動画像の１フレーム分の画素から、前記新たな動画像の前記第１色成分、前記第３色成分および前記第４色成分の複数フレーム分の各画素を生成する、請求項６に記載の画像生成装置。
【請求項１２】
前記処理部が生成する前記新たな画像の画素数は、前記単板カラー撮像素子の画素数よりも少ない、請求項１から１１のいずれかに記載の画像生成装置。
【請求項１３】
前記処理部が生成する前記新たな画像の画素数は、前記第１動画像の画素数と、前記第２動画像の画素数との和より少ない、請求項１から１１のいずれかに記載の画像生成装置。
【請求項１４】
前記処理部は、前記第１動画像と、前記新たな動画像に含まれる前記第１色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第１条件、空間的な総光量が一致すべきことを表す第２条件、および、隣り合う画素の色の連続性に関する第３条件を満たす動画像を生成する、請求項１に記載の画像生成装置。
【請求項１５】
前記処理部は、各画素位置における前記第１動画像の１フレーム分の総光量が、前記第１動画像の１フレーム時間に相当する前記新たな動画像の複数フレーム分の総光量に一致すべきことを表す第１条件を設定する、請求項１４に記載の画像生成装置。
【請求項１６】
前記第２動画像中の被写体の動きを検出して、検出結果を動きベクトルとして出力する動き検出部をさらに備え、
前記動き検出部の検出結果をさらに利用して、前記処理部は、前記動きベクトルに沿った前記新たな動画像内の画素値が一致すべきことを表す第４の条件を設定し、前記第１条件から前記第４条件を満たす動画像を生成する、請求項１４に記載の画像生成装置。
【請求項１７】
前記第１動画像の色成分と前記第２動画像の色成分とは同一の色成分を含んでおり、
前記撮像部は、前記単板カラー撮像素子の同一の水平ラインを構成する画素については、同じ露光期間で撮影する、請求項１から１６のいずれかに記載の画像生成装置。
【請求項１８】
前記撮像部は、前記第２動画像の第２色成分と異なる第３色成分を有する第３動画像であって、前記第２動画像のフレームレートと同じフレームレートで撮影し、かつ、前記第２動画像の露光タイミングと異なる露光タイミングで撮影した第３動画像の映像信号を出力する、請求項１７に記載の画像生成装置。
【請求項１９】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を有する撮像部と、
請求項１から１６のいずれかに記載の画像生成装置と、
前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と
を備えた画像生成システムであって、
前記撮像部は、前記単板カラー撮像素子を用いて、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像の各映像信号を撮影し、かつ、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低い、画像生成システム。
【請求項２０】
請求項１から１６のいずれかに記載の画像生成装置と、
前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と、
前記画像出力部から出力された前記新たな動画像を表示する表示装置と
を備えた画像生成システム。
【請求項２１】
前記画像生成装置は、前記第１動画像および前記第２動画像の各映像信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得する、請求項２０に記載の画像生成システム。
【請求項２２】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する方法であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を包含する、画像生成方法。
【請求項２３】
画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成し、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を生成する画像処理に関し、特に、同一の対象（被写体）を異なる撮影条件で撮影して得られた画素から成る動画像から、その対象を表す新たな動画像を生成する画像処理に関する。
【背景技術】
【０００２】
カラー撮像で用いられる撮像方式のうち、３板撮像方式は、入射光を光学系でＲＧＢに色分離し、これらＲＧＢの光をそれぞれ異なる撮像素子で受光する。３板撮像方式は、入射光全てを撮像素子で受光するため光の利用効率が高く、色分解能も高い。一方、小型・安価なカメラでは、前記色分離の光学系を用いない単板式カラー撮像が広く採用されている。単板式カラー撮像では、透過式のＲＧＢカラーフィルタを空間的に交互に配置（例えばベイヤ配列など）するため、色解像度が低下し、透過色以外の光は吸収・反射されるため、入射光の利用効率が低く、低感度になるという問題がある。【０００３】
このような問題に対し、単板式カラー撮像において色解像度と感度（Ｓ／Ｎ）を向上させる従来の装置として、隣接する画素値を用いて仮想信号値を計算する撮像装置がある（例えば、特許文献１参照）。文献１では，基準とするＧ画素の画素位置に、Ｇ画素自身の画素値と、周囲のＲ、Ｂ画素の画素値とを用いて、仮想Ｒ信号、仮想Ｂ信号を算出している。これにより、基準画素を中心に含む縦横複数画素からなる画素ブロック内のＲ画素とＢ画素数を増やし、Ｒ信号とＢ信号の色解像度とＳ／Ｎ向上を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５５５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の画像生成装置の構成では、仮想信号値は、単板入力画像から計算するため、色解像度は出力画像の解像度よりも低下する。また、画素ブロックのサイズを出力画像の画素サイズよりも大きくしてＳ／Ｎ向上を図るため、色解像度が更に低下するという課題がある。すなわち、色解像度向上と感度向上の両立には問題がある。【０００６】
本発明は、従来の課題を解決するためになされたものであり、その目的は、単板撮像素子を用いて撮影した動画像から、色解像度の向上と感度（露光量、Ｓ／Ｎ）向上を両立させた高画質の動画像を得ることにある。
【課題を解決するための手段】
【０００７】
本発明による画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、前記第１動画像および前記第２動画像の各映像信号を取得する取得部と、取得された前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、前記新たな動画像を出力する出力部とを備えている。【０００８】
前記取得部は、前記第１色成分および前記第２色成分が共通である前記第１動画像および前記第２動画像の各映像信号を取得してもよい。【０００９】
前記取得部は、緑の前記第１動画像および緑の前記第２動画像の各映像信号を取得してもよい。【００１０】
前記取得部は、緑の前記第１動画像の映像信号、および、緑を含む複数の色成分の前記第２動画像の映像信号を取得してもよい。【００１１】
緑の波長域は、第１波長域および第２波長域を含んでおり、前記取得部は、前記第１波長域の前記第１動画像の映像信号、および、前記第２波長域の前記第１動画像の映像信号を取得してもよい。【００１２】
前記単板カラー撮像素子は、前記第１色成分の光、前記第２色成分の光、第３色成分および第４色成分の光を検出し、前記第１色成分および前記第２色成分は共通の色成分であり、前記第３色成分および前記第４色成分は、前記第１色成分および前記第２色成分とは異なり、かつ、前記第３色成分および前記第４色成分は互いに異なっており、前記取得部は、前記第２動画像のフレームレートと同じフレームレートを有する第３動画像および第４動画像の映像信号をさらに取得し、前記処理部は、さらに前記第３動画像および前記第４動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成してもよい。【００１３】
前記取得部は、緑の前記第１動画像の映像信号、緑の前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得してもよい。【００１４】
前記取得部は、緑の前記第１動画像の映像信号、赤、緑、青の色成分を含む前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得してもよい。【００１５】
前記取得部は、少なくとも前記第２動画像および前記第３動画像の各映像信号を異なるタイミングで取得してもよい。【００１６】
前記取得部は、前記第２動画像、前記第３動画像および前記第４動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得してもよい。【００１７】
前記処理部は、前記単板カラー撮像素子上の隣接する４画素を利用して撮影された、前記第１動画像の複数フレーム分の画素、前記第２動画像の１フレーム分の画素、前記第３動画像の１フレーム分の画素および前記第４動画像の１フレーム分の画素から、前記新たな動画像の前記第１色成分、前記第３色成分および前記第４色成分の複数フレーム分の各画素を生成してもよい。【００１８】
前記処理部が生成する前記新たな画像の画素数は、前記単板カラー撮像素子の画素数より少なくてもよい。【００１９】
前記処理部が生成する前記新たな画像の画素数は、前記第１動画像の画素数と、前記第２動画像の画素数との和より少なくてもよい。【００２０】
前記処理部は、前記第１動画像と、前記新たな動画像に含まれる前記第１色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第１条件、空間的な総光量が一致すべきことを表す第２条件、および、隣り合う画素の色の連続性に関する第３条件を満たす動画像を生成してもよい。【００２１】
前記処理部は、各画素位置における前記第１動画像の１フレーム分の総光量が、前記第１動画像の１フレーム時間に相当する前記新たな動画像の複数フレーム分の総光量に一致すべきことを表す第１条件を設定してもよい。【００２２】
前記画像生成装置は、前記第２動画像中の被写体の動きを検出して、検出結果を動きベクトルとして出力する動き検出部をさらに備え、前記動き検出部の検出結果をさらに利用して、前記処理部は、前記動きベクトルに沿った前記新たな動画像内の画素値が一致すべきことを表す第４の条件を設定し、前記第１条件から前記第４条件を満たす動画像を生成してもよい。【００２３】
前記第１動画像の色成分と前記第２動画像の色成分とは同一の色成分を含んでおり、前記撮像部は、前記単板カラー撮像素子の同一の水平ラインを構成する画素については、同じ露光期間で撮影してもよい。【００２４】
前記撮像部は、前記第２動画像の第２色成分と異なる第３色成分を有する第３動画像であって、前記第２動画像のフレームレートと同じフレームレートで撮影し、かつ、前記第２動画像の露光タイミングと異なる露光タイミングで撮影した第３動画像の映像信号を出力してもよい。【００２５】
本発明による画像生成システムは、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を有する撮像部と、上述のいずれかの画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部とを備えた画像生成システムであって、前記撮像部は、前記単板カラー撮像素子を用いて、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像の各映像信号を撮影し、かつ、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低い。【００２６】
本発明による他の画像生成システムは、上述のいずれかの画像生成装置と、前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と、前記画像出力部から出力された前記新たな動画像を表示する表示装置とを備えている。【００２７】
前記画像生成装置は、前記第１動画像および前記第２動画像の各映像信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得してもよい。【００２８】
本発明による方法は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する方法であって、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、前記第１動画像および前記第２動画像の各映像信号を取得するステップと、取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを包含する。【００２９】
本発明によるコンピュータプログラムは、画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成し、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、前記第１動画像および前記第２動画像の各映像信号を取得するステップと、取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、前記新たな動画像を出力するステップとを実行させる。
【発明の効果】
【００３０】
本発明のある実施形態に係る画像生成装置によれば、単板カラー撮像において、出力画像よりも画素数の多い（高密度の）単板入力画像を用いる。入力画像は長時間露光画素と短時間高フレームレート画素から成る。出力画像の画素値は対応する位置の長時間露光画素と短時間高フレームレート画素値を用いて生成する。上記構成により、出力画像の色解像度を上げると同時に、高密度の撮像画素から得た画像であっても長時間露光によって露光量を確保して感度向上を図る。長時間露光画素の情報は、短時間高フレームレート画素の情報を用いることで高フレームレート化する。この結果、生成画像の色解像度と感度を共に向上させた高画質の画像を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】実施形態１に係る画像生成装置１００および画像生成装置１００を備えた画像生成システム１１０の構成を示す図である。
【図２】図１に示された画像生成部３０の内部構成を示す図である。
【図３】画像生成装置３０の実行する処理の手順を示すフローチャートである。
【図４】（ａ）は画像取得部１０１で取得される動画像を模式的に示す図であり、（ｂ）は（ａ）の太線正方形４０５領域に含まれる画素を視認しやすいように分離して表現した図であり、（ｃ）は画像処理部１０３で生成される高フレームレートカラー動画像を示す図である。
【図５】生成される動画像の１画素の領域に対応する、１６画素からなる正方領域６１７を示す図である。
【図６】生成される画像の１画素の対応する、入力画像の複数の画素領域を含む太線正方形領域６Ｂ１〜６Ｂ４を示す図である。
【図７】低フレームレート長時間露光のＲ画素、Ｇ画素、Ｂ画素の露光タイミングの関係を示す図である。
【図８】撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す図である。
【図９】（ａ）および（ｂ）は、ＲＧＢカラーフィルタ配列を有する単板撮像素子７０１の構成を示す図である。
【図１０】（ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す図である。
【図１１】ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。
【図１２】ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を示す図である。
【図１３】（ａ）〜（ｄ）は、連続フレームの撮影時刻（ｔ＝０，１，２，３）における被写体位置を示す図である。
【図１４】（ａ）〜（ｄ）は、図１３（ａ）〜（ｄ）に示される被写体を撮影して取得したい目的動画像を時刻順（ｔ＝０，１，２，３）に示す図である。
【図１５】目的動画像と同じ解像度のＲＧＢカラーフィルタ配列の例を示す図である。
【図１６】（ａ）〜（ｄ）は、各時刻（ｔ＝０，１，２，３）の緑色に関する生成画像（左列）と被写体画像（右列）を表す図である。
【図１７】（ａ）〜（ｄ）は、各時刻（ｔ＝０，１，２，３）の赤色に関する生成画像（左列）と被写体画像（右列）を表す図である。
【図１８】（ａ）〜（ｄ）は、各時刻（ｔ＝０，１，２，３）の青色に関する生成画像（左列）と被写体画像（右列）を表す図である。
【図１９】本発明の手法で入力とする画像を得るカラーフィルタの配置と画素ごとの露光時間とフレームレートの違いを示す図である。
【図２０】（ａ）〜（ｄ）は、Ｓの画素について得られたＧの画像を時刻順（ｔ＝０，１，２，３）に示す図である。
【図２１】Ｇの画素について得られた画像を示す図である。
【図２２】Ｒの画素についての長時間露光の画像を示す図である。
【図２３】Ｂの画素についての長時間露光の画像を示す図である。
【図２４】（ａ）および（ｂ）は撮影条件をそろえる画素を説明するための図である。
【図２５】（ａ）は第１動画像をＲＧＢそれぞれの色成分を含む透明画素Ｗ（５０１ａ〜５０１ｄ）で形成した図であり、（ｂ）は第１動画像と第２動画像を、人間の視感特性上は同じ緑であるが波長特性が異なる２種類の緑画素Ｇ１（５１１ａ〜５１１ｄ）、Ｇ２（５１４）で形成した図である。
【図２６】実施形態２に係る画像生成システム１３０の構成を示す図である。
【図２７】実施形態２における画像生成部３１の内部構成を示す図である。
【図２８】実施形態による画像生成部３１の処理手順を示すフローチャートである。
【図２９】表示部を有しない画像生成システム３００を示す図である。
【図３０】撮像部１０を有しない画像生成システム４００を示す図である。
【発明を実施するための形態】
【００３２】
以下、添付の図面を参照しながら、本発明による画像生成装置の実施形態を説明する。
【００３３】
（実施形態１）
図１は、本実施形態に係る画像生成装置１００および画像生成装置１００を備えた画像生成システム１１０の構成を示す。画像生成システム１１０は、たとえばビデオカメラである。画像生成装置１００は、同一の対象（被写体）を異なる露光時間および異なるフレームレートで撮影した動画像のデータから、新たな動画像を生成する。
【００３４】
本実施形態では、単板カラー撮像素子を用いて、長時間露光・低フレームレートの動画像と短時間露光・高フレームレート動画像とが撮影される。画像生成装置１００は、長時間露光・低フレームレート動画像の画素と、短時間露光・高フレームレートの動画像の画素とから、新たな動画像を生成する。新たな動画像とは、色解像度が高く、かつ、フレームレートが高いカラー動画像である。
【００３５】
画像生成システム１１０は、撮像部１０と、画像生成装置１００と、出力画像記憶部３５と、画像出力部４５と、表示部４０とを備える。
【００３６】
撮像部１０は、たとえばビデオカメラの光学系を含む撮像系であり、同一の被写体を、異なる撮影条件の画素を有する単板式カラー撮像素子を用いて撮影し、異なる時間解像度の動画像を得る。本実施形態における異なる時間解像度の「動画像」とは、同一の対象（被写体）について（ｉ）短時間露光・高フレームレート動画像、すなわち時間解像度が相対的に高く、かつ、露光量が相対的に低い動画像、および、（ｉｉ）長時間露光・低フレームレート動画像、すなわち時間解像度が相対的に低く、かつ、露光量が相対的に高い動画像をいう。
【００３７】
画像生成装置１００は、画像記憶部２０と、画像生成部３０とを備えている。
【００３８】
画像記憶部２０は、たとえば半導体メモリであり、撮像部１０により撮像された動画像を一時的に記憶する。
【００３９】
画像生成部３０は、たとえばハードウェアで実装された画像処理回路（グラフィックコントローラ）である。画像生成部３０は、画像記憶部２０に記憶された動画像を読み出し、読み出した動画像から、色解像度とフレームレートとを高めた新たな動画像を生成する。
【００４０】
画像出力部４５は、生成された動画像の出力端子である。たとえば、画像出力部４５は、データバスと接続されるコネクタや端子である。
【００４１】
表示部４０は、たとえば液晶表示装置であり、画像生成部３０により生成された新たな動画像を表示する。
【００４２】
画像生成システム１１０はビデオカメラ以外の形態でも実施され得る。たとえば、画像生成システム１１０において、画像生成装置１００は、汎用のプロセッサと画像処理プログラム等のソフトウェアとを備えたＰＣであり、撮像部１０は、単板撮像素子を備えたビデオカメラであってもよい。他の変形例については、後に図２９および図３０を参照しながら説明する。
【００４３】
次に、画像生成装置１００の画像生成部３０を詳細に説明する。
【００４４】
図２は、図１に示された画像生成部３０の内部構成を示す。画像生成部３０は、画像取得部１０１と、動き検出部１０２と、画像処理部１０３と、出力部１０６とを備える。
【００４５】
画像取得部１０１は、同一の対象（被写体）を撮像して得られる時間解像度及び色の異なる動画像を取得する。画像取得部１０１は、高フレームレートＧ取得部１０１ａ、低フレームレートＧ取得部１０１ｂ、低フレームレートＲ取得部１０１ｃ、低フレームレートＢ取得部１０１ｄを含む。
【００４６】
高フレームレートＧ取得部１０１ａは、高フレームレートの緑色（Ｇ）の画像を取得する。低フレームレートＧ取得部１０１ｂは、低フレームレートの緑色（Ｇ）の画像を取得する。低フレームレートＲ取得部１０１ｃは、低フレームレートの赤色（Ｒ）の画像をすする。低フレームレートＢ取得部１０１ｄは、低フレームレートの青色（Ｂ）の画像を取得する。
【００４７】
高フレームレートＧ取得部１０１ａ、低フレームレートＧ取得部１０１ｂ、低フレームレートＲ取得部１０１ｃ、低フレームレートＢ取得部１０１ｄが取得した画像は、時間解像度及び色は異なるが、同じ対象（被写体）を撮影した画像である。
【００４８】
本実施形態においては、高フレームレートの動画像を緑色で撮影するとしたが、これは一例である。主として緑色、赤色および青色に関して、光の波長帯域ごとに動画像が撮影されれば、高フレームレートの動画像を赤色や青色で撮影してもよい。
【００４９】
動き検出部１０２は、動き分布算出部１０２ａと信頼度分布算出部１０２ｂとを有する。動き検出部１０２は、入力画像中の画像の動き検出と動き検出の信頼度の算出とを行い、その結果を出力する。具体的には、動き分布算出部１０２ａは、画像取得部１０１に入力された画像に基づいて、取得された画像中の一部の画像（典型的には被写体）を対象として、その動き検出を行う。動き検出は最終的には各フレームの画像全体を対象として行われる。信頼度分布算出部１０２ｂは、動き分布算出部１０２ａにおける動き検出の信頼度を各フレームの画像全体において算出する。なお、信頼度分布算出部１０２ｂの具体的な説明は後述する。
【００５０】
画像処理部１０３は、画像取得部１０１によって取得された複数の動画像から、色解像度が高く、かつ、フレームレートが高いカラー動画像を生成する。
【００５１】
具体的には、画像処理部１０３は、高フレームレート化処理部１０３ａと、第１の条件設定部１０３ｂと、第２の条件設定部１０３ｃと、第３の条件設定部１０３ｄと、第４の条件設定部１０３ｅとを有する。第１から第４の条件設定部は、取得された動画像と、新たに生成される動画像とが満たすべき関係（条件）を設定する。
【００５２】
なお、本明細書では、新たに生成される動画像を「目的動画像」とも呼ぶ。「目的動画像」はカラーの動画像である。ただし、下記の文脈においては、動画像を構成する１フレームの画像を指すこともある。
【００５３】
第１の条件設定部１０３ｂは、目的動画像の画素値と、取得した動画像の画素値との時間関係（目的動画像から、取得した動画像への時間劣化の条件）を設定する。第２の条件設定部１０３ｃは、目的動画像と、取得した動画像との画素値の空間関係（取得した動画像から、目的動画像への空間統合の条件）を設定する。第３の条件設定部１０３ｄは、目的動画像に対する空間的な拘束条件を設定する。
【００５４】
第４の条件設定部１０３ｅは、動き検出部１０２から取得した動きと、後述する動き検出の信頼度との結果を用いて、目的動画像に対する拘束条件を設定する。
【００５５】
高フレームレート化処理部１０３ａは、第１から第４の条件設定部１０３ｂ〜１０３ｅによって設定される条件が課された動画像を変数とした評価関数を設定し、この関数値をできるだけ小さく（望ましくは最小に）する画像を求めることによって、目的動画像の各色動画像ＲO、ＧO、ＢOを生成する。このようにして生成された動画像が、目的動画像として出力される。
【００５６】
出力部１０６は、画像生成部３０の出力端子である。たとえば、画像生成部３０が画像処理回路（グラフィックコントローラ）であるときは、出力部１０６は、バスと接続されるコネクタである。出力部１０６は、画像処理部１０３によって生成されたカラー画像のデータを外部に出力する。出力先は、たとえば表示部４０である。
【００５７】
なお、本実施形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。
【００５８】
次に、以上のように構成された画像生成部３０が実行する処理を説明する。図３は、画像生成装置３０の実行する処理の手順を示す。
【００５９】
ステップ３０１では、画像取得部１０１は、露光時間・フレームレートと色とが異なる複数の動画像を取得する。具体的には、高フレームレートＧ取得部１０１ａが高フレームレートのＧ動画像を取得し、低フレームレートＧ取得部１０１ｂが同一の対象（被写体）について低フレームレートのＧ動画像を取得し、低フレームレートＲ取得部１０１ｃが同一の被写体について低フレームレートのＲ動画像を取得し、低フレームレートＢ取得部１０１ｄが同一の被写体について低フレームレートのＢ動画像を取得する。
【００６０】
図４（ａ）は、画像取得部１０１で取得される動画像を模式的に示す。図４（ｂ）は、図４（ａ）の太線正方形４０５領域に含まれる画素を視認しやすいように分離して表現したものある。図４（ｃ）は、画像処理部１０３で生成される高フレームレートカラー動画像を示す。図４（ａ）、（ｃ）では、前記２種類の動画像の連続したフレーム画像を時間順に示し、図の奥行き方向は時間軸を表し、画素の奥行き方向の厚みはその画素の露光時間を表している。また、図４（ａ）、図４（ｃ）において、空間解像度の違いは矩形の大きさと密度で表現されている。
【００６１】
具体的には、図４において太線の正方形４０５，４０９は、同じ大きさの範囲を写す領域を示す。図４（ａ）ではこの正方形４０５の範囲に４画素配置されている。一方、図４（ｃ）の各正方形領域４０９では正方形の領域に１つの画素が配置されており、図４（ａ）の画素配置は図４（ｃ）よりも画素面積が１／４で画素密度が４倍の配置となっている。
【００６２】
Ｇ画素４０１ａ〜４０１ｄは、高フレームレートＧ取得部１０１ａで取得される４フレーム分の高フレームレートＧ動画像の画素を示す。Ｒ画素４０２は低フレームレートＲ取得部１０１ｃで取得される１フレーム分の低フレームレートＲ動画像の画素を示す。Ｂ画素４０３は低フレームレートＢ取得部１０１ｄで取得される１フレーム分の低フレームレートＢ動画像の画素を示す。Ｇ画素４０４は低フレームレートＧ取得部１０１ｂで取得される１フレーム分の低フレームレートＧ動画像の画素を示す。
【００６３】
図４（ａ）の低フレームレート画像４０２，４０３，４０４の露光時間は、Ｇ画素４０１ａ〜４０１ｄの４フレーム分の露光時間に対応している。
【００６４】
図４（ｃ）の３つの正方形領域４０９は、図４（ａ）の正方形４０５の太線で示される正方形領域と同じ範囲を撮影したＲ、Ｇ、Ｂの高フレームレート動画像を示している。図４（ｃ）において、Ｒ画像４０６ａ〜４０６ｄは、正方形４０５と同じ範囲のＧ画素４０１ａ〜４０１ｄのフレーム時間に対応するフレーム時間を有している。
【００６５】
同様に、Ｇ画像４０７ａ〜４０７ｄとＢ画像４０８ａ〜４０８ｄは、それぞれ正方形４０５と同じ被写体範囲のＧ画素４０１ａ〜４０１ｄのフレーム時間に対応するフレーム時間を有している。
【００６６】
本実施形態によれば、画像処理部１０３、図４（ａ）の正方形４０５の範囲で取得された高フレームレートＧ動画像の画素４０１ａ〜４０１ｄ、低フレームレートのＲ画素４０２、Ｂ画素４０３、Ｇ画素４０４の各画素を用いて、図４（ｃ）に示す高フレームレートのＲ動画像の画素４０６ａ〜４０６ｄ、Ｇ動画像の画素４０７ａ〜４０７ｄ、Ｂ動画像の画素４０８ａ〜４０８ｄをそれぞれ生成する。
【００６７】
このように、本願発明では、生成するＲＧＢ動画像の各画素位置に、生成する画像よりも高密度な単板ＲＧＢ画像を取得することで、色解像度を向上させる。ここで、画素の高密度化で生じる受光量低下に対しては、生成する画像のフレーム間隔よりもよりも長い露光時間の撮影により露光量を増して感度向上させた画像を用いて画像生成することで、色解像度と感度を両立させたカラー動画像を得ることが可能となる。
【００６８】
なお、画像取得部１０１で取得する色配列は、上記の例に限定されることはなく、ＲＧＢの相対的位置が異なっていてもよいし、４色以上の色を取得しても良く、異なる色を２色以上含めばよい。また、生成画像の一つの画素位置に対応する取得画像の画素数も、上記の例のような４画素に限定することはなく、図５のように高フレームレート画素６０１ａ〜６０１ｄを一部に含む１６画素からなる正方領域６１７が生成される動画像の１画素の領域に対応するように画像を取得しても良い。また、生成する画像内の位置によって色の種類や数を変えても良い。
【００６９】
具体的を図６に示す。図６では、生成される画像の１画素の対応する太線正方形領域６Ｂ１〜６Ｂ４のそれぞれが入力画像の複数の画素領域を含んでいる。そして、正方形領域６Ｂ１・６Ｂ４の組と正方形領域６Ｂ２・６Ｂ３の組との間では、正方領域が含む入力画像の色の種類と数が異なっている。特に、正方形領域６Ｂ１・６Ｂ４の組には「Ｗ」画素が含まれている。この画素の画素値は、入射光の色成分をそのまま含む。すなわち、この画素の画素値は、ＲＧＢそれぞれの色成分を含む。
【００７０】
このように、異なる正方領域に異なる色特性を持たせることで、単一の正方領域の色特性だけでは撮影できない色や明るさの情報を多面的に撮影し、より多くの照明条件や被写体に対応することが可能となる。
【００７１】
また、画像取得部１０１で取得するＲＧＢ画像間の撮影タイミングは、時間の相対関係が既知であればよく、必ずしも露光開始や露光終了時刻が同時である必要は無い。つまり、撮像タイミングにおける時間位相が異なっていてもよい。
【００７２】
具体的には、低フレームレート長時間露光のＲ画素、Ｇ画素、Ｂ画素の露光タイミングの関係を図７のように設定してもよい。図７において、横軸は時間を示している。また矩形は各画素のフレームを表し、矩形の横幅は露光時間の長さを表現している。図７では、図４（ｂ）に示す配置の入力画素に対し、低フレームレートのＲ、ＧおよびＢの露光タイミングは同一ではなく、少しずつ等間隔にずらされている。露光タイミングのずらし方は任意である。たとえば、高フレームレート動画像（Ｇ）の１フレーム時間相当分ずつずらしてもよい。
【００７３】
露光タイミングがずれることにより、図２に示す画像取得部１０１の低フレームレートＧ取得部１０１ｂ、低フレームレートＲ取得部１０１ｃ、および、低フレームレートＢ取得部１０１ｄが各入力信号を取得するタイミングも同様にずれてもよい。
【００７４】
図７に示される露光タイミングで、低フレームレート長時間露光のＲ画素、Ｇ画素、Ｂ画素が撮影された場合には、撮像部１０から画像生成部３０にその露光タイミングを通知する仕組みが必要となる。そこで、送信される映像信号に撮影条件を付加することが考えられる。図８は、撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す。
【００７５】
撮像部１０は、撮影条件を示す情報を識別ヘッダー２１０ａに格納し、識別ヘッダー２１０ａを、撮影した動画像データ２１０ｂに付加した映像信号２１０を出力する。
【００７６】
画像生成部３０の画像取得部１０１は、映像信号２１０を受け取って先に識別ヘッダー２１０ａを読み取り、撮影条件の情報を取得する。そしてその撮影条件に基づいて、動画像データ２１０ｂを取得する。また、画像処理部１０３は、識別ヘッダー２１０ａの撮影条件に基づいて第１の条件設定(時間劣化の拘束条件)と第２の条件設定(空間統合の拘束条件)を設定する。
【００７７】
識別ヘッダー２１０ａに格納される画像の撮影条件の情報は、色ごと（ＲＧＢ）および画素位置ごとの、露光時間、フレームレート、ＲＧＢ画素の露光タイミングの相対的な時間差(時間位相差)やこれらに対応付けられた数値や符号である。
【００７８】
画像取得部１０１がデジタル信号を受信する場合には、識別ヘッダー２１０ａはデジタルデータである。よって、撮影条件を表す露光時間、フレームレート、ＲＧＢ画素の露光タイミングの相対的な時間差等の値はデジタル値で直接表されていてもよい。または、対応する撮像素子内の電圧・電荷量・電流値（アナログ値）が所定の有効桁数に丸められ、その値がデジタル値で表されていてもよい。
【００７９】
一方、画像取得部１０１がアナログ映像信号を受信する場合には、上述の情報は撮像素子内の電圧・電荷量・電流値などのアナログ値で表現され、または、それらに対応付けられた数値や符号で表現される。
【００８０】
このように画素によって露光開始や露光終了時刻を変えることで、撮像素子からの画素値の読み出しタイミングをずらし、信号線の伝送効率を上げることが可能である。また、画素によって露光開始や露光終了時刻を変えて得た情報を統合して新たな画像を生成することで、時間解像度の高い動画像を得ることが可能になる。
【００８１】
画像取得部１０１で取得する画像は、ＲＧＢカラーフィルタ配列を有する単板撮像素子により撮影することができる。図９（ａ）および（ｂ）は、ＲＧＢカラーフィルタ配列を有する単板撮像素子７０１の構成を示す。図９（ｂ）は、光の入射方向から見たときのカラーフィルタ配列を示す。この単板撮像素子７０１を用いることで、画素位置によって異なるフレームレートや露光時間で撮影でき、撮像後に同等な画像を生成して得ることができる。
【００８２】
なお、図９（ａ）および（ｂ）に示す単板撮像素子７０１は一例である。ＲＧＢカラーフィルタ配列に加え、図６において説明した「Ｗ」画素を含めた配列を用いてもよい。
【００８３】
再び図３を参照する。ステップ３０２では、動き検出部１０２が、目的動画像を構成する各画像の画素ごとの動きを検出し、その動き検出の信頼度を算出する。動き検出処理として、本実施形態では、高フレームレートＧ取得部１０１ａから得た動画像の各フレーム画像の各位置において、動き検出部１０２は被写体の動きの向きと大きさを求め、そして求めた動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。ここで、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。
【００８４】
本実施形態では、高フレームレートＧ画像を動き検出に用いる。
【００８５】
これは、高フレームレート画像の方がより詳細な動きを検出できることによる。
【００８６】
隣り合う２フレーム画像間における、画像上の各位置での動きの求め方は、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や、動画像符号化で一般的に用いられる動き検出手法、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。
【００８７】
また、画像全体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ  Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ  Ｍｏｔｉｏｎ  Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
【００８８】
ブロックマッチングによる２フレーム画像間の動き検出方法を説明する。図１０（ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す。ここで、図１０（ａ）の黒画素２４０１を注目画素とし、この画素が次のフレーム画像のどの画素に対応するか（移動しているか）を次の手順で決定する。
【００８９】
最初に、注目画素２４０１を中心としたブロック領域２４０２（３×３画素の斜線領域）を設定する。このブロックサイズは予め決められている。次に、次フレーム画像（図１０（ｂ））において前記ブロック領域と同じサイズ（３×３画素）の領域２４０３を設定し、領域２４０２と領域２４０３の画素値のＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）またはＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）を求める。以降、領域２４０３の位置を図１０（ｂ）画像内で１画素ごとに変え、ＳＳＤまたはＳＡＤが最小となった時の領域２４０３の中心画素位置を、画素２４０１に対応する画素位置（動きベクトルの先）とする。
【００９０】
以上が、画素２４０１に対する動き検出結果となる。同様の手続きを、注目画素を変えて、図１０（ａ）の全画素について繰り返す。これにより、図１０（ａ）のフレーム画像に対する動き検出が完了する。連続するフレーム画像の隣り合うフレーム画像に対して、動き検出を順次行うことで、動画像全体の動き検出が完了する。
【００９１】
信頼度は、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いて求めてもよく、ブロックマッチングを用いた動き検出の場合には、（数１）のように、動きに対応するブロック間の画素値の差の２乗和を前記差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック間の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
【数１】
2012081175.tif 000003
【００９２】
（数１）において、位置（ｘ’、ｙ’、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置である。この（ｔ＋１）とは、高フレームレートＧ画像の１フレーム時間を１としたときの、ある時刻ｔから１フレーム時間経過後の時刻を意味する。Ｉ（ｘ、ｙ、ｔ）は（ｘ、ｙ、ｔ）の画素値である。また、（数１）のΣはブロックマッチングで用いるブロック領域内での加算を表す。
【００９３】
次に、図３のステップ３０３では、最終的に生成されるカラー動画像が満たすべき動き拘束条件Ｑmを、第４の条件設定部１０３ｅにて設定する。第４の条件設定部１０３ｅは、動き検出部１０２で求めた動き分布と信頼度分布とを用いて、（数２）に従って動き拘束条件Ｑmを設定する。
【数２】
2012081175.tif 000004
【００９４】
（数２）においてＲH、ＧH、ＢHは、目的動画像であるカラー動画像のＲＧＢ成分をそれぞれ示し、ｖx、ｖyは検出した動きベクトルのｘ方向の成分とｙ方向の成分を示す。
【００９５】
（数２）において、各Σはｘ、ｙ、ｔのそれぞれについての加算を意味し、結果として動き拘束条件Ｑmは目的動画像に対して定義される。（数２）は、取得された動画像上で検出された動きに沿って、目的動画像上の対応する画素における各色の画素値が時間的に一様である（つまり画素値が時間的に連続している）ほど、値が小さくなる動き拘束条件Ｑmを定義している。（数２）では、画素値の変化量を、動き検出の信頼度で重み付けをして用いる。
【００９６】
低解像度の画像を用いて動き検出を行う場合、動きベクトルが高解像度画像の全画素位置について得られない。このような場合には、空間的な近傍で定義されている動きベクトルから補間して動きベクトルを求めればよい。補間方法はバイリニアやバイキュービックなど一般的な方法を用いることができる。
【００９７】
動き拘束条件Ｑmの値を小さくすることは、取得された動画像上で検出された動きに沿って目的動画像の画素の画素値が連続することを表している。たとえば、ある被写体が移動している動画像において、被写体が同じであれば位置や移動量にかかわらずその被写体部分の画素の画素値はほぼ同じであり、画素値の変化は少ないと考えられる。よって、動きに沿って画素の画素値が連続する、という条件を課して得られる目的動画像は、被写体の動きに関する破綻が少ないと考えられる。
【００９８】
なお本実施形態において動き拘束条件Ｑmの値を小さくするとは、Ｑm≦ＱとなるようなＱを設定することを意味しない。後述するように、本実施形態においては複数の拘束条件を含む評価関数Ｊを設定し、その評価関数Ｊを最小にする動画像を、目的動画像（新たな動画像）として出力する。そのような評価関数Ｊを最小にする動画像であれば、各拘束条件の値を小さくするという条件を総合的にはよく満足すると推定される。その推定により、本実施形態では各拘束条件が可能な限り小さくされたと判断している。以下でも種々の拘束条件を説明するが、いずれも個々に満たすべき値を設定するのではないことに留意されたい。
【００９９】
次に、ステップ３０４では、第１の条件設定部１０３ｂが時間劣化拘束条件を設定する。（数３）〜（数５）は、拘束条件の例を示す。
【数３】
2012081175.tif 000005
【数４】
2012081175.tif 000006
【数５】
2012081175.tif 000007
【０１００】
（数３）〜（数５）においてＲH、ＧH、ＢHは、画像取得部で取得した個々の画素位置における、目的動画像（高解像度動画像）の各フレームに対応する仮想的な画素のＲＧＢ値をそれぞれ示す。ＨR、ＨG、ＨBは、そのようなＲＧＢ値を有する高解像度動画像から、取得された画像への変換を行う作用素を示す。本実施例では、ＨR、ＨG、ＨBは低フレームレート化の変換の作用素である。一方、ＲL、ＧL、ＢLはそれぞれ取得された長時間露光のＲ画像、Ｇ画像、Ｂ画像を示す。（数３）〜（数５）は、前記仮想的な画素値を低フレームレート化によって劣化変換した画像と、取得された画像とが一致するほど値が小さくなる。なお、（数３）〜（数５）には空間解像度に関する変換は含まれていない。
【０１０１】
たとえば長時間露光低フレームレート化の変換は（数６）に示す式によって表すことができる。
【数６】
2012081175.tif 000008
【０１０２】
ここで、低フレームレート画像の画素位置（ｘ，ｙ，ｔＬ）の画素値をＬＨ（ｘ，ｙ，ｔＬ）と表す。高フレームレート画像の画素位置（ｘ，ｙ，ｔ）の画素値をＨＨ（ｘ，ｙ，ｔ）と表す。（数６）の等号は、左辺と右辺に関する画素間で総光量が等しいことを意味している。すなわち、各画素位置において、低フレームレート画像の１フレーム分の総光量が、高フレームレートの新たな動画像の複数フレーム分の総光量と等しいことを表している。ここでいう「複数フレーム」とは、低フレームレート画像の１フレーム時間に表示される、新たな動画像のフレーム数である。本実施形態の場合には４フレーム分である。なお、上述の数６に示す総光量の関係は、色成分ごとに成立する。
【０１０３】
なお、高フレームレートＧ取得部１０１ａで取得した高フレームレート画素については前記仮想的な画素と同じフレームレートであるため、仮想画素の画像から取得画像への変換は恒等変換となる。
【０１０４】
次に、ステップ３０５では、第３の条件設定部１０３ｄが生成する目的動画像に対する空間的な拘束条件を設定する。（数７）および（数８）は、空間的な拘束条件の例Ｑs1およびＱs2を示す。
【数７】
2012081175.tif 000009
【数８】
2012081175.tif 000010
【０１０５】
（数７）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）におけるＲ、Ｇ、Ｂのそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
【０１０６】
図１１は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図１１では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図１１に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１０７】
目的動画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、独立に取り扱うことができる。自然画像では、明るさと色彩との時空間的な変化量は大きく異なるため、これらの値を独立に評価・調整できる座標を選ぶことで目的動画像の画質を向上させることができる。
【０１０８】
（数７）は、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数７）は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
【０１０９】
条件Ｑs1の値が小さいことは、目的動画像内の空間的に隣り合う画素の色が滑らかに連続することを意味している。
【０１１０】
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（数７）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数７）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数７）の大括弧内の第１項および第２項）とをλθ、λψ、λrを利用して個別に設定することで、望ましい画質が得やすくなる。
【０１１１】
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
【０１１２】
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。例えば、取得された画像の空間的微分値が大きい位置の重みを小さくする。
【０１１３】
画素値が不連続であることは、取得された画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１１４】
また、明るさに関する拘束条件と、色彩に関する拘束条件との差が相対的に広がるように重みを設定することが望ましい。たとえば画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１１５】
なお、（数７）では、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
【０１１６】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
【０１１７】
新たな直交座標系の座標軸は、例えば、取得された動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析（分散に基づく分析）することで固有ベクトル（分散の大きさで選ばれる互いに直交するベクトル）の方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を図１２に示す。
【０１１８】
次に、（数８）を説明する。
【０１１９】
（数８）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１２０】
（数８）は、目的動画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数８）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
【０１２１】
条件Ｑs2の値が小さいということは、目的動画像内の空間的に隣り合う画素の色が連続することを意味している。
【０１２２】
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１２３】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１２４】
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれを用いることもできる。
【０１２５】
例えば、（数７）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
【０１２６】
（数８）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
【０１２７】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
【０１２８】
次に、ステップ３０６では、第２の条件設定部１０３ｃが空間統合拘束条件を設定する。（数９）〜（数１１）は、拘束条件の例を示す。
【数９】
2012081175.tif 000011
【数１０】
2012081175.tif 000012
【数１１】
2012081175.tif 000013
【０１２９】
（数９）〜（数１１）においてＲO、ＧO、ＢOは、目的動画像を表す。またＳR、ＳG、ＳBは、それぞれＲH、ＧH、ＢHから目的動画像ＲO、ＧO、ＢOへの空間的な低解像度化変換の作用素を表す。
【０１３０】
低解像度化変換Ｓの例を（数１２）に示す。
【数１２】
2012081175.tif 000014
（数１２）では、目的動画像を仮想的な画素値の空間的な積算としている。
【０１３１】
ここで、低解像度変換前の動画像の画素位置（ｘ，ｙ，ｔ）の画素値をＨＨ（ｘ，ｙ，ｔ）と表し、低解像度変換後の動画像の画素位置（ｘＬ，ｙＬ，ｔ）の画素値をＨＬ（ｘＬ，ｙＬ，ｔ）と表す。（数１２）の等号は、左辺と右辺に関する画素間で総光量が等しいことを意味している。
【０１３２】
次に、ステップ３０７では、第１の条件設定部１０３ｂ、第２の条件設定部１０３ｃ、第３の条件設定部１０３ｄ、第４の条件設定部１０３ｅが設定した拘束条件を満たすような目的動画像を生成する。このために、前記拘束条件から成る評価関数Ｊを設定する。Ｊの一例を（数１３）に示す。
【数１３】
2012081175.tif 000015
【０１３３】
Ｊは、生成したい高フレームレートカラー画像を構成するＲ、Ｇ、およびＢの各色の画像（画像ベクトルとしてＲO、ＧO、ＢOと表記）の関数として定義される。ＨR、ＨG、ＨBは、それぞれ目的動画像の各色画像ＲH、ＧH、ＢHから、各色の取得された画像ＲL、ＧL、ＢL（ベクトル表記）への低解像度化変換を表す。なお、評価関数Ｊは、上記に限定するものではなく、（数１３）の項を類似式からなる項と置換したり、異なる条件を表す新たな項を追加してもよい。
【０１３４】
次に、高フレームレート化処理部１０３ａで、（数１３）のＪの値をできるだけ小さく（望ましくは最小に）する目的動画像の各画素値を求めることによって、目的動画像の各色画像ＲO、ＧO、ＢOを生成する。評価関数Ｊを最小にする目的動画像ｇは、例えば、Ｊを目的動画像の各色画像ＲO、ＧO、ＢOの各画素値成分で微分した式を全て０とおいた（数１４）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
【数１４】
2012081175.tif 000016
【０１３５】
最後に、ステップ３０８で生成した目的動画像を出力する。
【０１３６】
上記のような構成に基づく入出力画像の例を次に示す。図１３（ａ）〜（ｄ）に、右下方向に移動する円形の被写体（黒色で表現）を示す。図１３以降の図において被写体はＲＧＢ全ての色成分を全て含み、目的動画像はＲＧＢカラー画像とする。図では、ＲＧＢ画素値が大きいほど（明るいほど）黒に近い色で図示し、斜線模様・水平線模様の順にＲＧＢ画素値が小さくなることを表現する。
【０１３７】
図１３（ａ）〜（ｄ）は、後述する連続フレームの撮影時刻（ｔ＝０，１，２，３）における被写体位置を示す。図１４（ａ）〜（ｄ）は、図１３（ａ）〜（ｄ）に示される被写体を撮影して取得したい目的動画像を時刻順（ｔ＝０，１，２，３）に示している。図１４では、個々の升目が目的動画像の個々の画素を表し、被写体は黒色、中間画素値を持つ画素を斜線で表している。目的動画像はＲＧＢカラー画像とし、各画素におけるＲＧＢ値を得ることが目的となる。
【０１３８】
最初に、目的動画像と同じ解像度の単板カラー撮像を行った場合の画像について説明する。図１５に、目的動画像と同じ解像度のＲＧＢカラーフィルタ配列の例を示す。
【０１３９】
図１３の被写体を上記カラーフィルタで撮影し、ＲＧＢの色補間（全ての画素位置のＲＧＢ値決定）後の画像を色ごとに図１６〜１８に示す。図１６はＧ、図１７はＲ、図１８はＢの画像である。ここで、被写体はＲＧＢ全ての色成分を同等に含むものとする。図１６〜１８の（ａ）〜（ｄ）は、各時刻（ｔ＝０，１，２，３）の生成画像（左列）と被写体画像（右列）を表し、被写体の色を再現できている画素は黒色、中間値の画素値を持つ画素は、画素値の大きい方から順に、斜線・水平線で示している。図１６〜１８では、図１５のカラーフィルタの位置に一致する画素は正しく、色画像が得られるものの、カラーフィルタと異なる色は周辺の画素値の補間により得られるため、色解像度は図１４の目的動画像の解像度よりも低下する。
【０１４０】
次に、提案手法で入力とする画像について図１９〜２３を用いて説明する。図１９は、提案手法で入力とする画像を得るカラーフィルタの配置と画素ごとの露光時間とフレームレートの違いを示している。図１９で各色フィルタの密度は、図１４の目的動画像の解像度の縦横２倍であり、ＲＧＢは、図１５同様カラーフィルタの色を示している。Ｓの画素はＲＧＢのいずれかの色に対応する。本実施例では以降、Ｓの色はＧとするが、ＲやＢに置き換えても本発明の効果は得られる。Ｇにした場合、人の視覚で認知される空間解像度を高められる効果がある。また、Ｓの画素と他の画素とは、露光時間とフレームレートが異なる。Ｓの画素は、目的動画像と同じフレームレートの撮影で取得し、他の画素は前記Ｓの画素の複数フレームにまたがる露光時間の撮影で取得する。結果としてＳ以外の画素はＳの画素よりも低フレームレートの画像となる。以降、本実施例では、Ｓ以外の画素は、Ｓの画素の４フレーム分の露光で得られる低フレームレート画像とする。図２０〜２３は、図１９のカラーフィルタを用いて図１３の被写体を撮影して得られた画像である。
【０１４１】
図２０は、Ｓの画素について得られたＧの画像を時刻順（ｔ＝０，１，２，３）に示している。図２０は目的動画像と同じフレームレートの画像である。図２１は、Ｇの画素について得られた画像である。目的動画像に対して４フレーム分の露光で得られるため、被写体の動きによるブレを含んでいる。同様に、図２２と図２３はＲとＢについての長時間露光の画像である。これらＲＧＢ画像は、それぞれの色が目的動画像と同等の画素数を持ち、かつ長時間露光によって目的動画像と同等の受光量を得ることができる。ステップ３０１では、以上のように取得した画像を入力する。次に、ステップ３０２ではＳの画像を用いて、目的動画像のフレーム間の動きを検出する。次に、ステップ３０３から３０６では拘束条件を設定し、ステップ３０７では目的動画像と同じフレームレートのＲＧＢ画像を生成する。ステップ３０７の結果、ＲＧＢそれぞれについて、図１４（ａ）〜（ｄ）と同等の画像が得られる。これらの画像では、色解像度が目的動画像と同等であり、長時間露光によって得られた画像を用いることで、高密度で微細化された撮像素子でも感度低下を起こさずに画像を得ることができる。
【０１４２】
なお、上記の例では短時間露光の画像はＧのみであったが、他の色の画像も短時間露光で撮影しても本発明の効果は得られる。特に、短時間露光のＧと同じ水平行の色（図１９の例ではＲ）を短時間露光撮影することで、入力画像の水平ラインごとに撮影条件をそろえることができ、単板撮像素子による前記画像の取得を回路構成上実現しやすくなる効果がある。
【０１４３】
図２４（ａ）および（ｂ）は撮影条件をそろえる画素を説明するための図である。図２４（ａ）は目的動画像の１画素に対応する複数の正方領域（たとえば正方領域６Ｄ５）を示している。また図２４（ｂ）は、正方領域６Ｄ５に含まれる入力画素を入力画素ごとに分離して示している。
【０１４４】
図２４（ａ）では入力のＲ画素（６Ｄ２ａ−６Ｄ２ｄ）と同じ行のＧ画素（６Ｄ１ａ−６Ｄ１ｄ）は共に高フレームレート撮影し、Ｂ画素（６Ｄ３）と同じ行のＧ画素（６Ｄ４）は長時間露光・低フレームレート撮影する。正方領域６Ｄ５の範囲が生成画像の１画素の範囲に対応する。
【０１４５】
また、上記実施形態の説明では図４（ａ）および（ｂ）に示すような単板カラー撮像画像を入力画像として説明した。しかしながら、本発明ではそのような入力画像以外の入力画像を用いてもよい。第１動画像と第２動画像とが人間の視感特性上、共通する色成分を含んでいれば良い。
【０１４６】
例えば、図２５（ａ）のように第１動画像をＲＧＢそれぞれの色成分を含む透明画素Ｗ（５０１ａ〜５０１ｄ）で形成してもよい。または、図２５（ｂ）のように第１動画像と第２動画像を、人間の視感特性上は同じ緑であるが波長特性が異なる２種類の緑画素Ｇ１（５１１ａ〜５１１ｄ）、Ｇ２（５１４）で形成しても良い。後者の場合、一般的な緑の波長域（５００ｎｍ〜５８０ｎｍ）のうち、たとえば緑画素Ｇ１は５００ｎｍ以上５４０ｎｍ未満の波長域の光を検出し、緑画素Ｇ２は５４０以上５８０ｎｍ以下の波長域の光を検出する。
【０１４７】
透明画素を用いた場合、透明画素部では、カラーフィルタによる光量損失がなくなるため、感度向上効果が得られる。また、２種類の波長特性を持つ緑画素Ｇ１，Ｇ２を用いた場合には、類似した色の区別が可能となるため、生成画像の色再現性を高めることができる。このように、色フィルタの構成を変えた場合、（数３）〜（数５）で定義している、仮想的な高解像度高フレームレートＲＧＢ画像から入力画像への変換を新たな色フィルタに合わせればよい。
【０１４８】
以上のように、本実施形態にかかる処理によれば、単板撮像素子から得た動画像を用いて、色解像度向上と感度向上を両立させた動画像を得ることができる。また、静止画撮影と動画撮影を両方行うカメラにおいて、静止画用の高解像度撮像素子からの画像取得方法を変えるだけで、低解像度動画撮影時に色解像度と感度を両立させることができる。また、複数の入力画素を統合して用いることにより、撮像素子の画素の欠陥の影響を低減する効果もある。
【０１４９】
（実施形態２）
図２６は、本実施形態に係る画像生成システム１３０の構成を示す。基本的な構成は実施形態１と同等である。相違点は、本実施形態では動き検出処理を行うことなく、新たな動画像を生成する点にある。そのため、構成上は、実施形態１の画像生成装置１００に代えて画像生成装置１２０が設けられている。より詳しくは、画像生成装置１２０に設けられた画像生成部３１には動き検出部が設けられていない点が、画像生成装置１００の画像生成部３０と異なっている。
【０１５０】
図２７は、本実施形態における画像生成部３１の内部構成を示す。図２８は、本実施形態による画像生成部３１の処理手順を示す。図２と比較すると、図２７の構成には動き検出部が設けられておらず、その結果、図２８に示すフローチャートには、画像の動きに関する処理（図３のステップ３０２および３０３）が含まれていない。その他の構成および処理は、画像生成部３０および３１は共通である。
【０１５１】
画像生成部３１は、画像取得部２２０１と、画像処理部２２０３と、出力部２２０６とを有している。画像取得部２２０１および出力部２２０６は、実施形態１による画像取得部１０１および出力部１０６と実質的に同じである。
【０１５２】
画像処理部２２０３の第１の条件設定部２２０３ｂが設定した条件と第２の条件設定部２２０３ｃが設定した条件と第３の条件設定部２２０３ｄが設定した条件とを用いて高フレームレート化処理部２２０３ａが新たな動画像を生成する。動き拘束を用いない場合でも、Ｓの画素を用いてフレームごとの画素値変化の情報を取得することで、長時間露光のＲＧＢの撮影画像を高フレームレート化することができる。
【０１５３】
本実施形態の画像生成処理では動き拘束を用いないため、（数１３）から動き拘束の項を除いた（数１５）を用いて画像生成する。
【数１５】
2012081175.tif 000017
【０１５４】
なお動き拘束を用いない場合でも、低フレームレート画素数に対する高フレームレート画素数の割合を高めることで画質を向上させることができる。
【０１５５】
動き拘束を用いない場合、大きな動きの情報は得にくくなる。しかしながら、画像処理部１０３の演算手順は、被写体の動きに依存しなくなるため、演算手順をあらかじめ固定化できる。このため、入出力画像の解像度やカラーフィルタの配置に合わせて処理回路を最適化・小型化しやすい利点がある。また、最適な処理回路を利用することで、消費電力の低減や演算時間の短縮を図ることができる。
【０１５６】
なお、これまでは表示部４０を有する画像生成システム１１０、１３０を説明した。しかしながら、表示部４０を有することは必須ではない。図２９は、表示部を有しない画像生成システム３００を示す。画像生成システム３００は、たとえば液晶ディスプレイを有しないビデオカメラである。このような表示部４０を有しない画像生成システムもまた、本発明の範疇である。
【０１５７】
また、撮像部１０を有することも必須ではない。図３０は、撮像部１０を有しない画像生成システム４００を示す。画像生成システム４００は、たとえばテレビのようなディスプレイ機器である。また図１に示された画像生成システム１１０から撮像部１０を除いてもよい。撮像部１０が含まれていない場合でも、そのようなディスプレイ機器は本発明の範疇である。
【０１５８】
図３０に示す画像生成システム４００は、映像信号を画像取得部２５で受け取る。この映像信号は、ディスプレイよりも高密度な単板撮像素子で撮影した複数色コンポーネントの動画像の信号である。そして画像生成システム４００の画像生成部３０は、実施形態１に示す処理を行うことにより、その動画像の信号からフレームレートを向上させて高感度化した新たな動画像を生成して表示することが可能になる。
【０１５９】
例えば、ハイビジョン（ＨＤ）の縦横２倍サイズ（４Ｋ２Ｋ）以上の撮像素子や、縦横４倍サイズ（８Ｋ４Ｋ）以上の撮像素子を用いて撮影した画像を、ハイビジョンや４Ｋ２Ｋサイズ（８Ｋ４Ｋサイズで撮影した場合）のディスプレイに表示する場合に、本発明を適用することが容易である。
【０１６０】
画像生成システム４００は「複数色コンポーネントの動画像」を種々の方法で受け取ることができる。たとえば、半導体メモリカード（たとえばＳＤカード）２５０に予め録画してある動画像データから複数色コンポーネントの動画像を抽出してもよいし、アンテナ２５１を利用して放送波から抽出してもよい。または、インターネット等のネットワーク２５２を介して当該動画像取得してもよい。画像生成システム４００において、半導体メモリカード２５０、アンテナ２５１およびネットワーク２５２の２つまたは全てが利用可能であってもよい。
【０１６１】
図３０に示す画像生成システム４００において、実施形態１にかかる新たな動画像を生成する処理を行うためには、画像生成部３０は低フレームレート長時間露光のＲ画素、Ｇ画素、Ｂ画素の露光タイミング（図７）などの撮影条件に関する情報を必要とする。そこで画像取得部２５は図８に示すフォーマットの映像信号２１０を受信して識別ヘッダー２１０ａから撮影条件の情報を取得し、動画像データ２１０ｂを取得すればよい。
【０１６２】
画像生成部３０が図８に示す映像信号２１０を受信できる限り、映像信号２１０の送信方法は任意である。たとえば図８に示す映像信号２１０をパケット化して放送波で送信し、ネットワーク通信を行ってもよい。
【０１６３】
なお、図３０では、ディスプレイ機器４００には実施形態１にかかる画像生成部３０が設けられているが、実施形態２に係る画像生成部３１が設けられてもよい。
【０１６４】
以上、本発明に係る画像生成装置等の実施形態を説明した。上述の実施形態は一例であり、本発明はこれらに限られることはない。実施形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【０１６５】
たとえば、上述の実施形態１では、赤、緑および青の低フレームレート動画像、および、緑の高フレームレート動画像の４つの動画像を用いて１つの動画像を生成した。しかしながら、赤、緑および青の少なくとも１つの低フレームレート動画像、および、赤、緑または青の高フレームレート動画像の少なくとも２つの動画像から、１つの高フレームレートかつ高解像度の動画像を生成することも可能である。単板カラー撮像素子は、少なくとも利用する動画像の色に応じて構成されていればよい。
【０１６６】
本発明の画像生成装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のコンピュータプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。そのようなコンピュータプログラムには図示されたフローチャートの処理手順が規定されている。コンピュータプログラムを実行したＣＰＵは、その処理手順にしたがって自らが動作することにより、または、図示される他の構成要素に指示して動作させることにより、画像生成装置をその処理手順に従って動作させる。
【産業上の利用可能性】
【０１６７】
本発明は、複数の動画像から新たな動画像を生成する画像生成技術である。特に、高フレームレート動画像と低フレームレート動画像（もしくは静止画像）とから高フレームレートカラー動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、画像処理プログラム等として利用できる。
【符号の説明】
【０１６８】
１０    撮像部
２０    画像記憶部
２５    画像取得部
３０    画像生成部
３１    画像生成部
３５    出力画像記憶部
４０    表示部
４５    画像出力部
１００、１２０    画像生成装置
１１０、１３０  画像生成システム
１０１    画像取得部
１０１ａ  高フレームレートＧ取得部
１０１ｂ  低フレームレートＧ取得部
１０１ｃ  低フレームレートＲ取得部
１０１ｄ  低フレームレートＢ取得部
１０２    動き検出部
１０２ａ  動き分布算出部
１０２ｂ  信頼度分布算出部
１０３    画像処理部
１０３ａ  高フレームレート化処理部
１０３ｂ  第１の条件設定部
１０３ｃ  第２の条件設定部
１０３ｄ  第３の条件設定部
１０３ｅ  第４の条件設定部
１０６  出力部
２５０  半導体メモリカード
２５１  アンテナ
２５２  ネットワーク
３００    カメラ
４００    ディスプレイ機器
２２０１    画像取得部
２２０１ａ  高フレームレートＧ取得部
２２０１ｂ  低フレームレートＧ取得部
２２０１ｃ  低フレームレートＲ取得部
２２０１ｄ  低フレームレートＢ取得部
２２０３    画像処理部
２２０３ａ  高フレームレート化処理部
２２０３ｂ  第１の条件設定部
２２０３ｃ  第２の条件設定部
２２０３ｄ  第３の条件設定部
２２０６  出力部
２６０１  撮影モード選択部
【図１】
2012081175.tif 000018
【図２】
2012081175.tif 000019
【図３】
2012081175.tif 000020
【図４】
2012081175.tif 000021
【図５】
2012081175.tif 000022
【図６】
2012081175.tif 000023
【図７】
2012081175.tif 000024
【図８】
2012081175.tif 000025
【図９】
2012081175.tif 000026
【図１０】
2012081175.tif 000027
【図１１】
2012081175.tif 000028
【図１２】
2012081175.tif 000029
【図１３】
2012081175.tif 000030
【図１４】
2012081175.tif 000031
【図１５】
2012081175.tif 000032
【図１６】
2012081175.tif 000033
【図１７】
2012081175.tif 000034
【図１８】
2012081175.tif 000035
【図１９】
2012081175.tif 000036
【図２０】
2012081175.tif 000037
【図２１】
2012081175.tif 000038
【図２２】
2012081175.tif 000039
【図２３】
2012081175.tif 000040
【図２４】
2012081175.tif 000041
【図２５】
2012081175.tif 000042
【図２６】
2012081175.tif 000043
【図２７】
2012081175.tif 000044
【図２８】
2012081175.tif 000045
【図２９】
2012081175.tif 000046
【図３０】
2012081175.tif 000047
【手続補正書】
【提出日】平成24年7月12日(2012.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得する取得部と、
取得された前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、
前記新たな動画像を出力する出力部と
を備え、
前記単板カラー撮像素子は、前記第１色成分の光、前記第２色成分の光、第３色成分および第４色成分の光を検出し、
前記第１色成分および前記第２色成分は共通の色成分であり、
前記第３色成分および前記第４色成分は、前記第１色成分および前記第２色成分とは異なり、かつ、前記第３色成分および前記第４色成分は互いに異なっており、
前記取得部は、前記第２動画像のフレームレートと同じフレームレートを有する第３動画像および第４動画像の映像信号をさらに取得し、少なくとも前記第２動画像および前記第３動画像の各映像信号を異なるタイミングで取得し、前記第２動画像、前記第３動画像および前記第４動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得し、
前記処理部は、さらに前記第３動画像および前記第４動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する、画像生成装置。
【請求項２】
前記取得部は、前記第１色成分および前記第２色成分が共通である前記第１動画像および前記第２動画像の各映像信号を取得する、請求項１に記載の画像生成装置。
【請求項３】
前記取得部は、緑の前記第１動画像および緑の前記第２動画像の各映像信号を取得する、請求項２に記載の画像生成装置。
【請求項４】
前記取得部は、緑の前記第１動画像の映像信号、および、緑を含む複数の色成分の前記第２動画像の映像信号を取得する、請求項１に記載の画像生成装置。
【請求項５】
緑の波長域は、第１波長域および第２波長域を含んでおり、
前記取得部は、前記第１波長域の前記第１動画像の映像信号、および、前記第２波長域の前記第１動画像の映像信号を取得する、請求項３に記載の画像生成装置。
【請求項６】
前記取得部は、緑の前記第１動画像の映像信号、緑の前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得する、請求項１に記載の画像生成装置。
【請求項７】
前記取得部は、緑の前記第１動画像の映像信号、赤、緑、青の色成分を含む前記第２動画像の映像信号、赤の前記第３動画像の映像信号、および、青の前記第４動画像の映像信号を取得する、請求項１に記載の画像生成装置。
【請求項８】
前記処理部は、前記単板カラー撮像素子上の隣接する４画素を利用して撮影された、前記第１動画像の複数フレーム分の画素、前記第２動画像の１フレーム分の画素、前記第３動画像の１フレーム分の画素および前記第４動画像の１フレーム分の画素から、前記新たな動画像の前記第１色成分、前記第３色成分および前記第４色成分の複数フレーム分の各画素を生成する、請求項１に記載の画像生成装置。
【請求項９】
前記処理部が生成する前記新たな画像の画素数は、前記単板カラー撮像素子の画素数よりも少ない、請求項１から８のいずれかに記載の画像生成装置。
【請求項１０】
前記処理部が生成する前記新たな画像の画素数は、前記第１動画像の画素数と、前記第２動画像の画素数との和より少ない、請求項１から８のいずれかに記載の画像生成装置。
【請求項１１】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得する取得部と、
取得された前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する処理部と、
前記新たな動画像を出力する出力部と
を備え、
前記処理部は、前記第１動画像と、前記新たな動画像に含まれる前記第１色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第１条件、空間的な総光量が一致すべきことを表す第２条件、および、隣り合う画素の色の連続性に関する第３条件を満たす動画像を生成する、画像生成装置。
【請求項１２】
前記処理部は、各画素位置における前記第１動画像の１フレーム分の総光量が、前記第１動画像の１フレーム時間に相当する前記新たな動画像の複数フレーム分の総光量に一致すべきことを表す第１条件を設定する、請求項１１に記載の画像生成装置。
【請求項１３】
前記第２動画像中の被写体の動きを検出して、検出結果を動きベクトルとして出力する動き検出部をさらに備え、
前記動き検出部の検出結果をさらに利用して、前記処理部は、前記動きベクトルに沿った前記新たな動画像内の画素値が一致すべきことを表す第４の条件を設定し、前記第１条件から前記第４条件を満たす動画像を生成する、請求項１１に記載の画像生成装置。
【請求項１４】
前記第１動画像の色成分と前記第２動画像の色成分とは同一の色成分を含んでおり、
前記撮像部は、前記単板カラー撮像素子の同一の水平ラインを構成する画素については、同じ露光期間で撮影する、請求項１から１３のいずれかに記載の画像生成装置。
【請求項１５】
前記撮像部は、前記第２動画像の第２色成分と異なる第３色成分を有する第３動画像であって、前記第２動画像のフレームレートと同じフレームレートで撮影し、かつ、前記第２動画像の露光タイミングと異なる露光タイミングで撮影した第３動画像の映像信号を出力する、請求項１４に記載の画像生成装置。
【請求項１６】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を有する撮像部と、
請求項１から１３のいずれかに記載の画像生成装置と、
前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と
を備えた画像生成システムであって、
前記撮像部は、前記単板カラー撮像素子を用いて、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像の各映像信号を撮影し、かつ、前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低い、画像生成システム。
【請求項１７】
請求項１から１３のいずれかに記載の画像生成装置と、
前記画像生成装置から出力された前記新たな動画像を出力する画像出力部と、
前記画像出力部から出力された前記新たな動画像を表示する表示装置と
を備えた画像生成システム。
【請求項１８】
前記画像生成装置は、前記第１動画像および前記第２動画像の各映像信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得する、請求項１７に記載の画像生成システム。
【請求項１９】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する方法であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を包含し、
前記単板カラー撮像素子は、前記第１色成分の光、前記第２色成分の光、第３色成分および第４色成分の光を検出し、
前記第１色成分および前記第２色成分は共通の色成分であり、
前記第３色成分および前記第４色成分は、前記第１色成分および前記第２色成分とは異なり、かつ、前記第３色成分および前記第４色成分は互いに異なっており、
取得する前記ステップは、前記第２動画像のフレームレートと同じフレームレートを有する第３動画像および第４動画像の映像信号をさらに取得し、少なくとも前記第２動画像および前記第３動画像の各映像信号を異なるタイミングで取得し、前記第２動画像、前記第３動画像および前記第４動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得し、
生成する前記ステップは、さらに前記第３動画像および前記第４動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する、画像生成方法。
【請求項２０】
第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成する方法であって、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を包含し、
生成する前記ステップは、前記第１動画像と、前記新たな動画像に含まれる前記第１色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第１条件、空間的な総光量が一致すべきことを表す第２条件、および、隣り合う画素の色の連続性に関する第３条件を満たす動画像を生成する、画像生成方法。
【請求項２１】
画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成し、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を実行させ、
前記単板カラー撮像素子は、前記第１色成分の光、前記第２色成分の光、第３色成分および第４色成分の光を検出し、
前記第１色成分および前記第２色成分は共通の色成分であり、
前記第３色成分および前記第４色成分は、前記第１色成分および前記第２色成分とは異なり、かつ、前記第３色成分および前記第４色成分は互いに異なっており、
取得する前記ステップは、前記第２動画像のフレームレートと同じフレームレートを有する第３動画像および第４動画像の映像信号をさらに取得し、少なくとも前記第２動画像および前記第３動画像の各映像信号を異なるタイミングで取得し、かつ前記第２動画像、前記第３動画像および前記第４動画像の各々について、露光タイミングの時間差の情報を含む識別ヘッダーと各動画像データとを含む映像信号を取得し、
生成する前記ステップは、さらに前記第３動画像および前記第４動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成する、コンピュータプログラム。
【請求項２２】
画像生成装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムが実行されることにより、前記画像生成装置は、第１色成分の光および第２色成分の光を検出する単板カラー撮像素子を用いて撮影された、被写体の第１色成分の動画像を表す第１動画像、および、前記被写体の第２色成分の動画像を表す第２動画像から、前記被写体を表す新たな動画像を生成し、
前記第１動画像は前記第２動画像よりも長い露光時間で撮影されることにより、前記第１動画像のフレームレートは、前記第２動画像のフレームレートよりも低く、
前記コンピュータプログラムは、前記画像生成装置に実装されるコンピュータに対し、
前記第１動画像および前記第２動画像の各映像信号を取得するステップと、
取得した前記第１動画像および前記第２動画像の各映像信号に基づいて、前記第２動画像のフレームレートと同じフレームレートを有する新たな動画像を生成するステップと、
前記新たな動画像を出力するステップと
を実行させ、
生成する前記ステップは、前記第１動画像と、前記新たな動画像に含まれる前記第１色成分の動画像との間で、対応する各画素位置における時間的な総光量が一致すべきことを表す第１条件、空間的な総光量が一致すべきことを表す第２条件、および、隣り合う画素の色の連続性に関する第３条件を満たす動画像を生成する、コンピュータプログラム。
【国際調査報告】
2012081175.tif 000048
2012081175.tif 000049
2012081175.tif 000050
2012081175.tif 000051