(57)【要約】【課題】色コンポーネントごとの入力動画像から知覚上良好なカラーの目的動画像を生成し、かつ入力動画像を取得する際に転送速度の不足が起こりにくい画像生成装置を提供する。【解決手段】異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を入力動画像として入力する画像入力部１０１と、前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する色画像統合部１０３と、前記入力動画像に含まれるノイズの大きさに関する撮影条件情報に基づいて、前記各入力動画像のフレームの露出期間のずれ量を決定する撮影制御部１０４とを備える。【選択図】図１６
2010239636.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成装置であって、
前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する画像入力手段と、
前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理手段と、
前記入力動画像に含まれるノイズの大きさに関する撮影条件情報に基づいて、前記各入力動画像のフレームの露出期間のずれ量を決定する撮影制御手段と
を備え、
前記画像入力手段は、前記異なる色コンポーネントのフレームの露出期間に前記決定されたずれ量に従って位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する
画像生成装置。
【請求項２】
前記撮影条件情報は、前記被写体からの受光量を表し、
前記撮影制御手段は、前記撮影条件情報により表される前記受光量が少ないほど、前記位相差を増加させる
請求項１に記載の画像生成装置。
【請求項３】
前記撮影条件情報は、前記被写体を撮影する撮像素子の温度を表し、
前記撮影制御手段は、前記撮影条件情報により表される前記温度が高いほど、前記位相差を増加させる
請求項１に記載の画像生成装置。
【請求項４】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成装置であって、
前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する画像入力手段と、
前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理手段と、
前記目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件として、前記隣り合う画素の明るさが連続すべきことを表す第１の拘束条件と、前記隣り合う画素の色彩が連続すべきことを表す第２の拘束条件とを独立して設定する色空間拘束手段と
を備え、
前記画像統合処理手段は、前記複数の入力動画像から前記色空間拘束条件を維持する複数の画素値を求めることにより前記目的動画像を生成する
画像生成装置。
【請求項５】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成方法であって、
前記入力動画像に含まれるノイズの大きさに関する撮影条件情報に基づいて、前記各入力動画像のフレームの露出期間の位相差を決定する撮影制御ステップと、
前記異なる色コンポーネントのフレームの露出期間に前記決定された位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として入力する画像入力ステップと、
前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理ステップと
を含む画像生成方法。
【請求項６】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成するためのプログラムであって、
請求項５に記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
【請求項７】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成方法であって、
前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として入力する画像入力ステップと、
前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理ステップと、
前記目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件として、前記隣り合う画素の明るさが連続すべきことを表す第１の拘束条件と、前記隣り合う画素の色彩が連続すべきことを表す第２の拘束条件とを独立して設定する色空間拘束ステップと
を含み、
前記画像統合処理ステップで、前記複数の入力動画像から前記色空間拘束条件を維持する複数の画素値を求めることにより前記目的動画像を生成する
画像生成方法。
【請求項８】
複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成するためのプログラムであって、
請求項７に記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から、前記動画像よりも画質が優れた新たな動画像を生成する画像生成装置、画像生成方法、およびプログラムに関する。
【背景技術】
【０００２】
デジタル撮像デバイスの進展に伴い、高解像度の静止画像を比較的低コストで撮影することが可能となってきている。しかしながら、このような高解像度の静止画と同等の解像度を保ちながら滑らかに動く高速な（例えば、３０〜６０フレーム／秒程度かそれ以上の高いフレームレートの）動画像を撮影することは依然として困難である。
【０００３】
これは、高速かつ高解像度の撮影においては、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイス内での画像情報の転送速度が不足することによる。転送速度の問題は、例えば並列に画像情報を転送可能な特殊な撮像デバイスを用いた撮像装置を使用することで解決できるが、そのような撮像装置は高価であり、また撮像デバイスの特性の調整が必要になるといった別の問題が生じる。
【０００４】
従来、制限された情報量の動画像から高速かつ高解像度の（つまり時空間解像度の高い）動画像を得る画像生成方法として、高速低解像度カメラで撮影した動画像と低速高解像度カメラで撮影した動画像とを用い、それぞれの動画像のフレーム間の対応点検出を用いてモーフィングを行う画像生成方法が知られている（例えば、特許文献１参照）。
【０００５】
図１９は、特許文献１に記載された従来の画像生成装置の構成を示すブロック図である。図１９において、高速低解像度カメラＡ０１と低速高解像度カメラＡ０２は同じ対象を同じ画角で同期して撮影している。図１９を参照して従来の画像生成方法を説明する。
【０００６】
図２０は、カメラＡ０１およびカメラＡ０２による撮影で得られた動画像を示す図である。図２０は、カメラＡ０１およびカメラＡ０２でそれぞれ得られたフレーム画像を時間の順に並べて示しており、フレームＢ０１とフレームＢ０２とはカメラＡ０２で得られたフレーム画像を表し、フレームＢ１１〜Ｂ１５は、カメラＡ０１で得られたフレーム画像を表している。
【０００７】
ここで、フレーム画像の解像度の違いを画像の大きさで表現しており、フレームＢ１１〜Ｂ１５は、フレームＢ０１およびフレームＢ０２と比べて画素数が少なく、解像度が低い。一方、カメラＡ０１はカメラＡ０２よりも撮影のフレームレートが高く、カメラＡ０２が１フレームを撮影する間にカメラＡ０１は４フレームを撮影している。
【０００８】
また、フレームの撮影のタイミングはカメラＡ０２とカメラＡ０１とで同期している。例えば、フレームＢ０１とフレームＢ１１、およびフレームＢ０２とフレームＢ１５は、それぞれ同じ時刻に撮影される。
【０００９】
以下では、フレームＢ１３の撮影時刻に対応して低速高解像度動画像に挿入されるフレームである中間フレームＢ２３の生成方法の一例を説明する。
【００１０】
一次マッチング部Ａ０３は、カメラＡ０１によって撮影された高速低解像度動画像において隣り合う各フレーム間の画素の対応関係を求める。ここで、画素の対応関係とは、一つのフレーム画像内の画素と、その画素に写っている被写体の部位と同じ部位が写っている他のフレーム画像内の画素との関係を言う。
【００１１】
一次マッチング部Ａ０３は、高速低解像度動画像のフレームＢ１１からフレームＢ１３まで、隣り合うフレーム間の画素の対応関係をつなぎ合わせることで、フレームＢ１１とフレームＢ１３との間の画素の対応関係を求める。フレームＢ１１は、実際に撮影された低速高解像度動画像のフレームＢ０１の時刻に対応し、フレームＢ１３は、低速高解像度動画像に挿入しようとするフレームＢ２３の時刻に対応している。
【００１２】
次に、二次マッチング部Ａ０４は、同じ時刻に撮影された低速高解像度動画像のフレームＢ０１と高速低解像度動画像のフレームＢ１１との間の画素の位置関係、同じ時刻に対応するフレームＢ１３とフレームＢ２３との間の画素の位置関係、および、一次マッチング部Ａ０３で求めたフレームＢ１１とフレームＢ１３との間の画素の対応関係をつなぎ合わせることで、フレームＢ０１とフレームＢ２３との間の画素の対応関係を決定する。
【００１３】
次に、画像生成部Ａ０５は、フレームＢ０１とフレームＢ２３との間の画素の対応関係を用いて、フレームＢ０１の画素値を用いてフレームＢ２３の画素値を決定し、高解像度の中間フレームＢ２３を生成する。
【００１４】
同様の手順で他の中間フレームを生成することで、高解像度かつ高速の映像を生成する。
【００１５】
また、非特許文献１や非特許文献２でも同様に、高速低解像度カメラで撮影した動画像と低速高解像度カメラで撮影した動画像とを用い、高速低解像度カメラの動画像から動き検出を行い、その動き検出結果に応じて低速高解像度カメラの動画像に対してモーフィングを行うことで高解像度の中間フレーム画像を生成している。
【００１６】
このように、従来技術によれば、高速低解像度動画像と低速高解像度動画像とを組み合わせて高解像度の中間フレームを生成して低速高解像度動画像に挿入することで高速高解像度動画像を得るので、高速高解像度動画像の本来の画像の情報量と比べて少量の画像情報から高速高解像度動画像を生成することができる。これにより、高速高解像度動画像を実際に撮影することで画像情報の転送速度が不足する問題を緩和できる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００３−２０３２３７号公報（図１８）
【非特許文献】
【００１８】
【非特許文献１】Ｔｏｒｕ  ＭＡＴＳＵＮＯＢＵ，ｅｔ  ａｌ．，“Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ  Ｖｉｄｅｏ  Ｕｓｉｎｇ  Ｍｏｒｐｈｉｎｇ”，Ｔｅｃｈｎｉｃａｌ  ｒｅｐｏｒｔ  ｏｆ  ＩＥＩＣＥ，ＰＲＭＵ２００４−１７８
【非特許文献２】Ｋｉｙｏｔａｋａ  Ｗａｔａｎａｂｅ，ｅｔ  ａｌ．，“Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅ  ｆｒｏｍ  Ｔｗｏ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ  ｗｉｔｈ  Ｄｉｆｆｅｒｅｎｔ  Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  Ｆｒｅｑｕｅｎｃｉｅｓ”，情報科学技術レターズ（ＦＩＴ２００４），Ｖｏｌ．３，Ｎｏ．ＬＩ−００４，２００４
【発明の概要】
【発明が解決しようとする課題】
【００１９】
ここで、前述の従来技術をカラーの高速高解像度動画像の生成に適用することを考える。
【００２０】
単純には、カラーの高速低解像度カメラおよびカラーの低速高解像度カメラから、それぞれ高速低解像度動画像および低速高解像度動画像を赤、緑、青の３つの色コンポーネントについてそれぞれ取得し、取得された各色コンポーネントの動画像を、前述の従来技術にてそれぞれ独立して処理すれば、カラーの高速高解像度動画像を生成することは可能である。
【００２１】
しかしながら、この構成では、従来取得している高速低解像度動画像および低速高解像度動画像の情報量に対して色コンポーネントの数の倍数の情報量がある色コンポーネントごとの複数の動画像を取得する必要があり、画像情報の転送速度が不足する問題が再び生じる可能性が高い。
【００２２】
また、色コンポーネントごとの動画像をそれぞれ独立して処理したのでは、高速高解像度動画像において偽色として目立つ誤った画素値が生成されやすくなり、知覚上の違和感のない自然な高速高解像度動画像を生成することが難しいという問題もある。
【００２３】
本発明は、このような事情に鑑みてなされたものであり、色コンポーネントごとの入力動画像から知覚上良好なカラーの目的動画像を生成し、かつ入力動画像を取得する際に転送速度の不足が起こりにくい画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記課題を解決するために、本発明に係る画像生成装置は、複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成装置であって、前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する画像入力手段と、前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理手段と、前記入力動画像に含まれるノイズの大きさに関する撮影条件情報に基づいて、前記各入力動画像のフレームの露出期間のずれ量を決定する撮影制御手段とを備え、前記画像入力手段は、前記異なる色コンポーネントのフレームの露出期間に前記決定されたずれ量に従って位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する。
【００２５】
なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【００２６】
本発明の画像生成装置によれば、少なくとも２つの色コンポーネントの入力動画像のフレームの露出期間がずれた、異なる複数の色コンポーネントの入力動画像から、カラーの目的動画像を生成する。
【００２７】
その結果、例えば従来技術に適用される入力動画像を単純に複数の色コンポーネントについてそれぞれ取得するといったように、フレームの露出期間をずらす考慮がなされていない複数の入力動画像を取得する場合とは異なり、入力動画像の情報量における時間的なピークが分散されることで、入力動画像を取得する際に必要となる装置の転送速度を平準化して、転送速度の不足を起こりにくくすることができる。
【００２８】
また、少なくとも２つの色コンポーネントのフレームの露出期間がずれていることで、全ての色コンポーネントのフレームの露出期間が一致している場合と比べて、時間分解能がより高い情報を含んだ入力動画像から目的動画像を生成することができる。
【００２９】
また、目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件を維持する複数の画素値を求めることにより目的動画像を生成する。
【００３０】
その結果、例えば赤、緑、青といった単色の色コンポーネントの画素値に別々に従来技術を適用する場合とは異なり、色の連続性が維持され、偽色として目立ちにくい画素値が得られることで、知覚上良好な目的動画像の生成が可能となる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。
【図２】図２は、実施の形態における画像生成装置の構成を示す機能ブロック図である。
【図３】図３は、画像生成装置の動作を示すフローチャートである。
【図４】図４（ａ）、図４（ｂ）は、色コンポーネントごとの入力動画像のフレームの露出期間の一例を示す図、図４（ｃ）は、目的動画像の各色コンポーネントのフレームの仮想的な露出期間の一例を示す図である。
【図５】図５（ａ）〜図５（ｃ）は、撮像装置の具体例を示す図である。
【図６】図６（ａ）〜図６（ｃ）は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。
【図７】図７は、ＲＧＢ色空間と球面座標系との対応の一例を示す図である。
【図８】図８は、生成すべき理想的な目的動画像のフレーム画像の一例を示す図である。
【図９】図９は、入力動画像のフレーム画像の一例を示す図である。
【図１０】図１０は、入力動画像のフレーム画像の一例を示す図である。
【図１１】図１１は、生成された目的動画像のフレーム画像の一例を示す図である。
【図１２】図１２は、データレートが入力動画像と等しい他の動画像の一例を示す図である。
【図１３】図１３は、データレートが入力動画像と等しい他の動画像の一例を示す図である。
【図１４】図１４は、画像生成システムの変形例としてのカメラの構成を示すブロック図である。
【図１５】図１５は、画像生成システムの変形例としてのディスプレイ機器の構成を示すブロック図である。
【図１６】図１６は、実施の形態における画像生成装置の構成を示す機能ブロック図である。
【図１７】図１７は、画像生成装置の動作を示すフローチャートである。
【図１８】図１８（ａ）は、色コンポーネントごとの入力動画像のフレームの露出期間の一例を示す図、図１８（ｂ）は、目的動画像の各色コンポーネントのフレームの仮想的な露出期間の一例を示す図である。
【図１９】図１９は、従来の画像生成装置の構成を示すブロック図である。
【図２０】図２０は、従来の画像生成装置に入力される２つの動画像を示す図である。
【発明を実施するための形態】
【００３２】
本発明の一つの態様における画像生成装置は、複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成装置であって、前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する画像入力手段と、前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理手段と、前記入力動画像に含まれるノイズの大きさに関する撮影条件情報に基づいて、前記各入力動画像のフレームの露出期間のずれ量を決定する撮影制御手段とを備え、前記画像入力手段は、前記異なる色コンポーネントのフレームの露出期間に前記決定されたずれ量に従って位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する。
【００３３】
この構成によれば、前記画像生成装置は、少なくとも２つの色コンポーネントの入力動画像のフレームの露出期間がずれた、異なる複数の色コンポーネントの入力動画像から、カラーの目的動画像を生成するので、例えば従来技術に適用される入力動画像を単純に複数の色コンポーネントについてそれぞれ取得するといったように、フレームの露出期間をずらす考慮がなされていない複数の入力動画像を取得する場合とは異なり、入力動画像の情報量における時間的なピークが分散されることで、入力画像を取得する際に必要となる装置の転送速度を平準化して、転送速度の不足を起こりにくくすることができる。
【００３４】
ここで、前記撮影条件情報は、前記被写体からの受光量を表し、前記撮影制御手段は、前記撮影条件情報により表される前記受光量が少ないほど、前記位相差を増加させてもよく、また、前記撮影条件情報は、前記被写体を撮影する撮像素子の温度を表し、前記撮影制御手段は、前記撮影条件情報により表される前記温度が高いほど、前記位相差を増加させてもよい。
【００３５】
この構成によれば、Ｓ／Ｎ（信号対ノイズ比）が低下しやすい暗い被写体および高温環境下で、異なる色コンポーネントの露出期間の位相差を増加させることで、入力動画像のフレーム間隔および露出時間の少なくともいずれか一方を長くして撮影を行うことができるので、Ｓ／Ｎ比の低下を抑えた目的動画像の生成を可能とする。
【００３６】
また、本発明の一つの態様における画像生成装置は、複数の異なる色コンポーネントの入力動画像からカラーの目的動画像を生成する画像生成装置であって、前記異なる色コンポーネントのフレームの露出期間に位相差を設けて同一の被写体を撮影して得た複数の動画像を、前記入力動画像として取得する画像入力手段と、前記入力動画像の露出期間よりも短いフレーム周期の前記目的動画像を、前記各色コンポーネントについて、前記入力動画像のフレーム画像と当該フレーム画像に対応する期間に含まれる前記目的動画像の複数のフレーム画像の合計との差を減少させることにより生成する画像統合処理手段と、前記目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件として、前記隣り合う画素の明るさが連続すべきことを表す第１の拘束条件と、前記隣り合う画素の色彩が連続すべきことを表す第２の拘束条件とを独立して設定する色空間拘束手段を備え、前記画像統合処理手段は、前記複数の入力動画像から前記色空間拘束条件を維持する複数の画素値を求めることにより前記目的動画像を生成してもよい。
【００３７】
この構成によれば、前記画像生成装置は、目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件を維持する複数の画素値を求めることにより目的動画像を生成するので、例えば赤、緑、青といった単色の色コンポーネントの画素値に別々に従来技術を適用する場合とは異なり、色の連続性が維持され、偽色として目立ちにくい画素値が得られることで、知覚上良好な目的動画像の生成が可能となる。
【００３８】
また、前記画像生成装置において、前記画像統合処理手段は、前記複数の入力動画像のうち少なくとも１つの入力動画像のフレームが切り替わる時刻に、前記目的動画像のフレームの全ての色コンポーネントのフレームが切り替わるように、前記目的動画像の各フレーム画像を生成してもよい。
【００３９】
この構成によれば、入力動画像のフレームレート以上のフレームレートで目的動画像を生成することができる。また、フレームが切り替わる時刻が入力動画像と目的動画像とで揃うので、入力動画像の画素値と目的動画像の画素値との対応が明確になることから、目的動画像を生成する処理を簡素化できる。
【００４０】
また、前記画像生成装置は、さらに、前記複数の入力動画像の少なくとも１つから被写体の動きを検出する動き検出手段と、前記検出された動きに沿って前記目的動画像の画素の画素値が連続すべきことを表す動き拘束条件を設定する動き拘束手段とを備え、前記画像統合処理手段は、前記色空間拘束条件と前記動き拘束条件とをともに維持する複数の画素値を求めることにより前記目的動画像を生成してもよい。
【００４１】
この構成によれば、動き検出の結果が考慮されることで、視覚上より良好な目的動画像が得られる。
【００４２】
また、前記画像生成装置において、前記画像入力手段は、少なくとも２つの色コンポーネントのフレームの露出期間が重複するように前記同一の被写体を撮影して得られた各色コンポーネントの動画像を、前記複数の入力動画像として入力してもよい。
【００４３】
この構成によれば、１つの色コンポーネントのフレームの露出期間を、他の色コンポーネントのフレームの露出期間に重複するまで延長できるので、例えば被写体からの受光量が少ない場合など、長時間の露出による撮影に適する。
【００４４】
また、前記画像生成装置において、前記画像入力手段は、いずれの色コンポーネントのフレームの露出期間も重複しないように前記同一の被写体を撮影して得られた各色コンポーネントの動画像を、前記複数の入力動画像として入力してもよい。
【００４５】
この構成によれば、色コンポーネントごとにそれぞれ時間分解能が高い情報を含んだ入力動画像から目的動画像を生成することができる。また、色コンポーネントごとにフレームの露出期間が重複しないので、反射または透過強度の色特性を制御可能な色フィルタを用いて、色フィルタの色特性を周期的に変化させることで、単一の撮像素子で時分割に複数の色コンポーネントの入力動画像を得る応用に適する。
【００４６】
また、前記画像生成装置において、前記画像入力手段は、各色コンポーネントのフレームの露出開始時刻が等間隔となるように前記同一の被写体を撮影して得られた各色コンポーネントの動画像を、前記複数の入力動画像として入力してもよい。
【００４７】
この構成によれば、入力動画像の情報量における時間的なピークがより均等に分散されることで、入力画像を取得する際の装置の転送速度の不足を起こりにくくすることができる。
【００４８】
（実施の形態）
以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて詳細に説明する。
【００４９】
図１は、本発明の実施の形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。
【００５０】
画像生成システム１００は、異なる複数の色コンポーネントについて少なくとも２つの色コンポーネントのフレームの露出期間（露出開始時刻および露出終了時刻のうちの少なくともいずれか一方）をずらせて同一の被写体を撮影することで色コンポーネントごとの入力動画像データを取得し、取得した各色コンポーネントの入力動画像データから、入力動画像データのフレームレートよりも高いフレームレートのカラーの目的動画像データを生成するシステムである。
【００５１】
画像生成システム１００は、動画像において時空間的に隣り合う画素の色が連続すべきことを表す色空間拘束条件を少なくとも用いて、各色コンポーネントの入力動画像データから色空間拘束条件を維持する複数の画素値を求めることにより、目的動画像データを生成する。
【００５２】
画素の色は数値で表されているものとし、隣り合う画素の色が連続するとは、隣り合う画素において色を表す数値が連続することを言う。
【００５３】
ここで、色を表す数値とは、例えば、赤、緑、青といった単一の色コンポーネントの単独の画素値ではなく、複数の色コンポーネントの画素値から導出される数値（例えば、複数の色コンポーネントの画素値の比率、色差、色相、および彩度などを表す数値）であることに注意する。
【００５４】
また、数値が連続するとは、数値が一様である（１階微分または１階差分の値が小さい）こと、もしくは数値の変化が一様である（２階微分または２階差分の値が小さい）こと、またはその両方を意味する。
【００５５】
以下では、入力動画像データおよび目的動画像データを、それぞれ入力動画像および目的動画像と略して言う。
【００５６】
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とから構成される。
【００５７】
撮像装置１０は、同一の視点、または視差が無視できる程度に近接した視点から、異なる複数の色コンポーネントについて各色コンポーネントのフレームの露出期間をずらせて同一の被写体を撮影することで、色コンポーネントごとの複数の動画像（例えば、赤、緑、および青のそれぞれの色コンポーネントの３つの動画像）を出力するカメラである。
【００５８】
画像記憶装置２０は、撮像装置１０から出力された複数の動画像を一時的に記憶するメモリである。
【００５９】
画像生成装置３０は、画像記憶装置２０に記憶された複数の動画像を、複数の入力動画像として読み出し、読み出した複数の入力動画像から、フレームレートを高めたカラーの目的動画像を生成する装置である。
【００６０】
表示装置４０は、画像生成装置３０で生成された目的動画像によって表される映像を表示する表示装置である。
【００６１】
なお、この構成において、画像生成装置３０が本発明の画像生成装置の一例である。画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。
【００６２】
図２は、図１に示される画像生成システム１００における画像生成装置３０の内部構成を示す機能ブロック図である。画像生成装置３０は、画像入力部１０１と、動き検出部１０２と、色画像統合部１０３とを備える。
【００６３】
画像入力部１０１は、複数の入力動画像を受け付けるインターフェースである。画像入力部１０１は、赤、緑、および青のそれぞれの色コンポーネントの入力動画像が入力される、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃを有する。
【００６４】
赤画像入力部１０１ａ、緑画像入力部１０１ｂ、青画像入力部１０１ｃにそれぞれ入力される入力動画像は、前述したように、同一の被写体を同一の視点かまたは視差が無視できる程度に近接した視点から撮影することにより得られる。色コンポーネントと、フレームの露出期間とは、それぞれの入力動画像で異なる。
【００６５】
以下では、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃに入力される入力動画像を、それぞれ赤入力動画像、緑入力動画像、および青入力動画像とも言う。
【００６６】
動き検出部１０２は、画像入力部１０１に入力された入力動画像によって表される被写体の動き検出を行う処理部であり、動き分布算出部１０２ａと、動き信頼度分布算出部１０２ｂとを有する。
【００６７】
動き分布算出部１０２ａは、入力動画像のフレーム画像の各画素位置において動き検出を行う。
【００６８】
動き信頼度分布算出部１０２ｂは、動き分布算出部１０２ａによる動き検出の結果の信頼度をフレーム画像の複数の部分についてそれぞれ算出する。
【００６９】
ここで、複数のフレーム画像および各フレーム画像の複数の画素位置において算出される複数の動きおよび複数の信頼度を、それぞれ動きの時空間分布（または単に動き分布）および信頼度の時空間分布（または単に信頼度分布）と言う。
【００７０】
色画像統合部１０３は、画像入力部１０１に入力された異なる色コンポーネントの複数の入力動画像から、後述する拘束条件を維持する画素値を求めることによってカラーの目的動画像を生成する処理部であり、動き拘束部１０３ａと、色空間拘束部１０３ｂと、劣化拘束部１０３ｃと、画像統合処理部１０３ｄとを有する。生成される目的動画像のフレームレートは、入力動画像のフレームレートよりも高い。
【００７１】
動き拘束部１０３ａは、目的動画像の各画素の値が動き分布算出部１０２ａによる画素位置ごとの動き検出の結果に依存して満たすべき拘束条件を設定する。動き拘束部１０３ａが設定する拘束条件を、動き拘束条件という。動き拘束条件は、動き分布算出部１０２ａで検出された動きに沿って目的動画像の画素の画素値が連続すべきことを表す。
【００７２】
色空間拘束部１０３ｂは、目的動画像の各画素の値が動き検出の結果とは別に色の連続性に依存して満たすべき拘束条件を設定する。色空間拘束部１０３ｂで設定される拘束条件を、色空間拘束条件という。色空間拘束条件は、目的動画像において時空間的に隣り合う画素の色が連続すべきことを表す。
【００７３】
劣化拘束部１０３ｃは、目的動画像の各画素の値が画像入力部１０１に入力される入力動画像の撮影過程に依存して満たすべき拘束条件を設定する。劣化拘束部１０３ｃが設定する拘束条件を、劣化拘束条件という。劣化拘束条件は、入力動画像のフレーム画像と、当該フレーム画像に対応する期間に含まれる目的動画像の複数のフレーム画像の加重和とが近似すべきことを表す。
【００７４】
画像統合処理部１０３ｄは、画像入力部１０１に入力された複数の異なる色コンポーネントの入力動画像から、動き拘束部１０３ａ、色空間拘束部１０３ｂ、および劣化拘束部１０３ｃがそれぞれ設定する動き拘束条件、色空間拘束条件、および劣化拘束条件を維持する画素値を求めることによって、カラーの目的動画像を生成する。
【００７５】
なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。
【００７６】
次に、上述したように構成された画像生成装置３０が実行する処理について説明する。
【００７７】
図３は、画像生成装置３０が実行する処理の一例を示すフローチャートである。
【００７８】
ステップ３０１では、赤画像入力部１０１ａ、緑画像入力部１０１ｂ、および青画像入力部１０１ｃがそれぞれ、赤入力動画像、緑入力動画像、および青入力動画像の入力を受け付ける。
【００７９】
ここで、入力動画像のフレームの露出期間と、目的動画像のフレームの露出期間との間の関係を説明する。
【００８０】
図４（ａ）および図４（ｂ）は、赤入力動画像、緑入力動画像、および青入力動画像のフレームの露出期間の、２種類の例を示す図である。
【００８１】
図４（ｃ）は、目的動画像の各色コンポーネントのフレームの、仮想的な露出期間の一例を示す図である。
【００８２】
図４（ａ）、図４（ｂ）、および図４（ｃ）において横軸は時間に対応し、縦軸は色コンポーネントに対応する。箱はフレームの露出期間を表し、箱の横軸方向の幅はフレームの露出期間の長さ（露出時間）を表す。赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色コンポーネントに対応する箱を、それぞれ濃い斜線、斜線、および薄い斜線で示している。縦方向の点線は、目的動画像のフレームレートに対応する時間間隔を表す。
【００８３】
図４（ａ）および図４（ｂ）に示される各色コンポーネントの入力動画像では、フレームレート（単位時間あたりのフレーム数）はいずれも同じだが、フレームの露出期間の長さが、図４（ａ）に示されるフレームと図４（ｂ）に示されるフレームとで異なる。
【００８４】
すなわち、図４（ａ）は、各フレームを長い（フレーム間隔にほぼ等しい）露出時間で撮影して得た入力動画像を示し、図４（ｂ）は、各フレームを短い（フレーム間隔のほぼ１／３の）露出時間で撮影して得た入力動画像を示している。
【００８５】
また、図４（ａ）および図４（ｂ）のいずれに示される入力動画像においても、異なる色コンポーネントのフレームの露出開始時刻および露出終了時刻は互いに異なっている。ここで、色コンポーネントごとにフレームの露出期間がずれていることに注意する。
【００８６】
図４（ａ）において、Ｄ１、Ｄ２、Ｄ３はそれぞれ、赤入力動画像と緑入力動画像、緑入力動画像と青入力動画像、青入力動画像と赤入力動画像のフレームの露出期間のずれ（色位相差という）に対応している。なお、図４（ｂ）においても、各色の入力動画像のフレームの露出期間に、図４（ａ）と同様のずれが設けられている。
【００８７】
目的動画像（図４（ｃ））においては、入力動画像（図４（ａ）および図４（ｂ））と比べて、どの色コンポーネントについても高いフレームレートが得られ、またそれぞれの色コンポーネントで同一のフレームの露出期間が得られている。なお、フレーム画像の空間解像度および画像サイズについては、目的動画像のフレーム画像と入力動画像のフレーム画像とで同一であるとする。
【００８８】
次に、同一の被写体を撮影して色コンポーネントが異なる３つの入力動画像を取得する方法について、撮像装置１０の構成の具体例を示して説明する。
【００８９】
図５（ａ）、図５（ｂ）、および図５（ｃ）は、撮像装置１０の構成のそれぞれ異なる具体例を示す図である。
【００９０】
例えば、図５（ａ）に示すように、３つの撮像素子（またはカメラ）Ｒ、Ｇ、Ｂをダイクロイックプリズムまたはダイクロイックミラーを２段階に介して同一視野および同一視点を持つように配置してなる撮像装置１０で被写体を撮影することで、色コンポーネントが異なる３つの入力動画像を取得することができる。
【００９１】
また、図５（ｂ）に示すように、層Ｒ、Ｇ、Ｂでそれぞれ異なる色感度を持つ単一の多層撮像素子を用いた撮像装置１０で被写体を撮影することで、同一の画素位置で色コンポーネントが異なる３つの入力動画像を取得してもよい。
【００９２】
また、図５（ｃ）に示すように、色感度が異なる複数種類の画素Ｒ、Ｇ、Ｂを空間的に周期的に配列した撮像素子を用いた撮像装置１０で被写体を撮影することで、色コンポーネントが異なる３つの入力動画像を取得してもよい。この場合、空間的な解像度は低下するものの、一般的に使用されるカラーフィルターアレイ（ベイヤー配列など）を用いた撮像素子での撮像が可能となる利点がある。
【００９３】
上記のように構成された撮像装置１０で被写体を撮影することで、同一視点で撮影された被写体に関して色コンポーネントが異なる複数の入力動画像を取得することができる。この撮影の際に、色コンポーネントごとにフレームの露出開始時刻（又は露出終了時刻）を変えることで、図４（ａ）および図４（ｂ）に示されるような、フレームの露出期間が色コンポーネントごとにずれた入力動画像が得られる。
【００９４】
次に、目的動画像（図４（ｃ））の各画素値の理想値、および入力動画像（図４（ａ）および図４（ｂ））の各画素の値が満たすべき関係を（式１）、（式２）、（式３）に示す。この関係は、後述するように、入力動画像のフレーム画像と、当該フレーム画像に対応する期間に含まれる目的動画像の複数のフレーム画像の加重和とが近似すべきことを表す劣化拘束条件としても用いられる。
【００９５】
【数１】
2010239636.tif 000003
【数２】
2010239636.tif 000004
【数３】
2010239636.tif 000005
【００９６】
（式１）、（式２）、（式３）において、Ｒ*H（ｘ，ｙ，ｔ）、Ｇ*H（ｘ，ｙ，ｔ）、Ｂ*H（ｘ，ｙ，ｔ）は、それぞれ目的動画像のｔ番目のフレーム画像の画素位置（ｘ，ｙ）における赤（Ｒ）の画素値、緑（Ｇ）の画素値、青（Ｂ）の画素値（いずれも理想値）を示す。
【００９７】
また、ＲL（ｘ，ｙ，ｔRL）、ＧL（ｘ，ｙ，ｔGL）、ＢL（ｘ，ｙ，ｔBL）は、赤入力動画像のｔRL番目のフレーム画像の画素位置（ｘ，ｙ）の画素値、緑入力動画像のｔGL番目のフレーム画像の画素位置（ｘ，ｙ）の画素値、青入力動画像のｔBL番目のフレーム画像の画素位置（ｘ，ｙ）の画素値を示している。
【００９８】
ここで、各色コンポーネントの入力動画像のフレーム画像と目的動画像のフレーム画像とは、空間解像度および画像サイズについて等しいものとし、全てのフレーム画像において空間画素位置の座標系（ｘ，ｙ）は共通として説明している。
【００９９】
また、異なる色コンポーネントの入力動画像のフレームの露出期間がずれていることを考慮して、赤入力動画像、緑入力動画像、および青入力動画像のフレーム番号を、それぞれｔRL、ｔGL、およびｔBLとしている。
【０１００】
ｅR、ｅG、ｅBはそれぞれ赤入力動画像、緑入力動画像、青入力動画像のフレームの露出時間を表している。また、ｆR、ｆG、ｆBはそれぞれ赤入力動画像、緑入力動画像、青入力動画像のフレーム間隔を表している。
【０１０１】
また、ｔR0、ｔG0、ｔB0は、それぞれ赤入力動画像、緑入力動画像、青入力動画像において基準となるフレームの開始時刻を表し、本発明においてはこれらの値を互いに異なる値に設定することで、色コンポーネントごとの入力動画像のフレームの露出開始時刻のずれを表す。なお、（式１）、（式２）、（式３）では、目的動画像のフレーム間隔を露出開始時刻の最小単位として表現している。
【０１０２】
ｗR（ｘ，ｙ，ｔ）、ｗG（ｘ，ｙ，ｔ）、ｗB（ｘ，ｙ，ｔ）は、目的動画像の画素値を赤入力動画像、緑入力動画像、青入力動画像のそれぞれの画素値に関係付ける場合の、画素位置（ｘ，ｙ）とフレーム番号ｔとに依存した重み付けであり、実際の画像撮影におけるカメラのゲインや絞りの時間や位置依存性を表現している。ｗR（ｘ，ｙ，ｔ）、ｗG（ｘ，ｙ，ｔ）、ｗB（ｘ，ｙ，ｔ）の値は撮影条件を表現しており、入力動画像と共に取得可能な情報である。
【０１０３】
（式１）、（式２）、（式３）を用いて図４（ａ）の入力動画像の画素値と図４（ｃ）の目的動画像の画素値との間の関係を表す場合、例えば、色コンポーネントごとのフレームの露出開始時刻は赤色、緑色、青色の順で遅くなっておりｔR0＝０、ｔG0＝１、ｔB0＝２である。フレームの露出時間は赤色、緑色、青色とも等しくｅR＝ｅG＝ｅB＝３であり、画素値に対する重みは全ての色に共通の値ｗR（ｘ，ｙ，ｔ）＝ｗG（ｘ，ｙ，ｔ）＝ｗB（ｘ，ｙ，ｔ）＝１．０となる。フレーム間隔は赤色、緑色、青色とも等しくｆR＝ｆG＝ｆB＝３である。
【０１０４】
また（式１）、（式２）、（式３）を用いて、図４（ｂ）の入力動画像の画素値と図４（ｃ）の目的動画像の画素値との間の関係を表す場合、色コンポーネントごとのフレームの露出開始時刻のずれは図４（ａ）と同じでｔR0＝０、ｔG0＝１、ｔB0＝２であるが、フレームの露出時間は赤色、緑色、青色に共通して図４（ａ）よりも短く、ｅR＝ｅG＝ｅB＝１となり、画素値に対する重みは全ての色に共通の値ｗR（ｘ，ｙ，ｔ）＝ｗG（ｘ，ｙ，ｔ）＝ｗB（ｘ，ｙ，ｔ）＝１．０となる。フレーム間隔は赤色、緑色、青色とも等しくｆR＝ｆG＝ｆB＝３である。
【０１０５】
上記の例では時間を離散的に表現しているが（式１）、（式２）、および（式３）の加算演算を積分に置き換えて時間を連続表現して同様の定義を行ってもよい。
【０１０６】
以上の例では、入力動画像の画素値は撮像時の入射光量に比例する場合（図６（ａ））を前提として説明したが、γ補正等により画素値が入射光量に比例しない場合（図６（ｂ））や比例定数が画素によって異なる場合には、次のような補正を行うことが望ましい。
【０１０７】
すなわち、入力動画像の撮影に用いた撮像素子の入出力特性（入射光量に対する画素値の関係）を別途求めておき、求めた入出力特性の入力と出力とを逆にした逆特性を入力動画像の画素値に適用することで、入射光量に対して比例関係を持つように補正した補正値を得る。そして、得られた補正値を用いて、（式１）、（式２）、（式３）の関係を満たす目的動画像の画素値を求める。
【０１０８】
例えば、画素値が図６（ｂ）のような入出力特性を持つ撮像素子で得られた場合は、図６（ｃ）のような画素値と補正値の対応関係を用いることで補正する。得られた補正値は、図６（ａ）に示すような入出力特性を持つ撮像素子で得られた入射光量に比例する（補正の必要がない）画素値と同様に処理することができる。
【０１０９】
次に、ステップ３０２では、目的動画像の隣接するフレーム画像間の動きの時空間分布とその動き検出の信頼度の時空間分布とを、各色コンポーネントの入力動画像を用いて、動き検出部１０２にて算出する。
【０１１０】
一例として、赤入力動画像を用いて目的動画像における動きと信頼度とを求める方法を説明する。
【０１１１】
赤入力動画像の隣り合うフレーム画像間に検出される動きをｖR（ｘ，ｙ，ｔRL）、動き検出の信頼度をｃｏｎｆR（ｘ，ｙ，ｔRL）と表現する。ここで、動きとは、典型的には動きベクトルであり、動き検出の信頼度とは、値が大きいほど動き検出の結果が尤もらしく、値が小さいほど動き検出の結果に誤りがあり得ることを意味するスカラー値である。
【０１１２】
隣り合う２つのフレームの画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）（非特許文献３）で用いられる方法や、動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。
【０１１３】
また、画像全体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ  Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｔｉｎｇ  Ｍｏｔｉｏｎ  Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）（非特許文献４）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
【０１１４】
信頼度の求め方については、上記非特許文献３に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には（式４）の定義を用いてもよい。
【０１１５】
【数４】
2010239636.tif 000006
【０１１６】
（式４）は、赤入力動画像のｔRL番目のフレーム画像の画素位置（ｘ，ｙ）における信頼度ｃｏｎｆR（ｘ，ｙ，ｔRL）を定義している。（式４）において、ｖRx（ｘ，ｙ，ｔRL）とｖRy（ｘ，ｙ，ｔRL）とは、赤入力動画像のｔRL番目のフレーム画像の画素位置（ｘ，ｙ）で検出された動きベクトルｖR（ｘ，ｙ，ｔRL）のｘ成分とｙ成分とを表す。ｉ∈ｂｌｏｃｋおよびｊ∈ｂｌｏｃｋは、ブロックマッチングに用いるブロック領域の範囲を示す。
【０１１７】
（式４）では、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値を信頼度として用いている。
【０１１８】
また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を当該２乗和が取り得る最大値ＳＳＤｍａｘから引いた値を信頼度として用いることができる。
【０１１９】
以上のような手法を赤入力動画像に適用することで、赤入力動画像の隣り合うフレーム画像間の動きｖR（ｘ，ｙ，ｔRL）と信頼度ｃｏｎｆR（ｘ，ｙ，ｔRL）とを算出する。
【０１２０】
ここで、入力動画像と目的動画像とでは一般にフレーム間隔が異なることを考慮して、入力動画像について求めた動きｖR（ｘ，ｙ，ｔRL）および信頼度ｃｏｎｆR（ｘ，ｙ，ｔRL）を、目的動画像上での動きｖ（ｘ，ｙ，ｔ）および信頼度ｃｏｎｆ（ｘ，ｙ，ｔ）に変換する。
【０１２１】
一例として、図４（ｂ）に示される赤入力動画像について検出した動きおよび信頼度を、図４（ｃ）に示される目的動画像の動きおよび信頼度に変換する方法を、（式５）、（式６）、（式７）に示す。
【０１２２】
【数５】
2010239636.tif 000007
【数６】
2010239636.tif 000008
【数７】
2010239636.tif 000009
【０１２３】
（式５）、（式６）、（式７）において、目的動画像のｔ番目のフレームの露出開始時刻と赤入力動画像のｔRL番目のフレームの露出開始時刻とが同じであるとする。赤入力動画像の隣接するフレーム間で検出した動きｖR（ｘ，ｙ，ｔRL）は、目的動画像では３フレームの動きに相当する。従って、入力動画像のｔRL番目のフレーム画像の画素位置（ｘ，ｙ）で検出した動きの３分の１の大きさの動きを、目的動画像上のｔ番目のフレーム画像の同じ画素位置における動きｖ（ｘ，ｙ，ｔ）として設定する（式５）。
【０１２４】
次に、目的動画像のｔ＋１番目のフレーム画像において動きｖ（ｘ，ｙ，ｔ）の到達先となる画素位置での動きベクトルとして、同じ動きベクトルを設定する（式６）。さらに、目的動画像のｔ＋２番目のフレームにおいても同様にして同じ動きベクトルを設定する（式７）。
【０１２５】
ｃｏｎｆ（ｘ，ｙ，ｔ）は、赤入力動画像の対応する画素位置で求めた信頼度ｃｏｎｆR（ｘ，ｙ，ｔRL）をそのまま用いる。
【０１２６】
ここで、動きベクトルがサブピクセル精度で定義される場合や動きベクトルが一様でない場合は、（式６）および（式７）を用いて求める動き分布では、必ずしも全画素位置に動きベクトルが付与されない。このような場合には、空間的な近傍で定義されている動きベクトルから補間して動きベクトルを求めればよい。補間方法はバイリニアやバイキュービックなど一般的な方法を用いることができる。
【０１２７】
なお、上記の例では赤入力動画像について求めた動き分布と信頼度分布とから目的動画像の動き分布と信頼度分布とを設定したが、同様の手続きで、緑入力動画像または青入力動画像ついて求めた動き分布と信頼度分布とから目的動画像の動き分布と信頼度分布とを設定してもよい。
【０１２８】
単一の色コンポーネントの入力動画像を用いて動き分布を求める場合、あらかじめ動きのある被写体の色分布が限定できれば、その色成分を多く包含する色コンポーネント画像を用いることが望ましい。
【０１２９】
また、各色コンポーネントの入力動画像についてそれぞれ求めた動き分布と信頼度分布を平均して用いることで目的動画像の動き分布と信頼度分布とを設定してもよい。被写体に関する色分布が未知な場合や、汎用性を向上させるためには、複数の色コンポーネントを用いることが望ましい。
【０１３０】
次に、ステップ３０３では、目的動画像が満たすべき動き拘束条件Ｑmを、動き拘束部１０３ａにて設定する。動き拘束部１０３ａは、動き検出部１０２で目的動画像について求めた動き分布と信頼度分布とを用いて、（式８）に従って動き拘束条件Ｑmを設定する。
【０１３１】
【数８】
2010239636.tif 000010
【０１３２】
（式８）において、Σはｘ、ｙ、ｔのそれぞれについての加算を意味し、結果として動き拘束条件Ｑmは目的動画像に対して定義される。（式８）は、入力動画像上で検出された動きに沿って対応する目的動画像の画素における各色コンポーネントの画素値が一様である（つまり画素値が連続している）ほど、値が小さくなる動き拘束条件Ｑmを定義している。（式８）では、画素値の変化量を、動きの信頼度で重み付けをして用いる。
【０１３３】
動き拘束条件Ｑmの値が小さくあるべきことは、入力動画像上で検出された動きに沿って目的動画像の画素の画素値が連続すべきことを表している。
【０１３４】
次に、ステップ３０４では、目的動画像が満たすべき色空間拘束条件Ｑsを、色空間拘束部１０３ｂにて設定する。まず、色空間拘束条件Ｑsの一例であるＱs1およびＱs2を（式９）および（式１０）に示し、後に色空間拘束条件Ｑsの他の例であるＱs3を（式１１）に示す。
【０１３５】
【数９】
2010239636.tif 000011
【数１０】
2010239636.tif 000012
【０１３６】
（式９）、（式１０）においてθH（ｘ，ｙ，ｔ）、ψH（ｘ，ｙ，ｔ）、ｒH（ｘ，ｙ，ｔ）は、目的動画像のｔ番目のフレーム画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ，ｔ）とψH（ｘ，ｙ，ｔ）は２種類の偏角、ｒH（ｘ，ｙ，ｔ）は動径を表す。
【０１３７】
図７に、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図７では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図７に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
【０１３８】
目的動画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、個別に取り扱うことができる。
【０１３９】
（式９）は、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式９）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる色空間拘束条件Ｑs1を定義している。
【０１４０】
色空間拘束条件Ｑs1の値が小さくあるべきことは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１４１】
（式１０）は、目的動画像の球面座標系で表現された画素値の、ｘｙｔ時空間方向の２階差分値の２乗和を定義している。（式１０）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、かつ、目的動画像の時間的に隣り合うフレーム画像内で同一の位置にある画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる色空間拘束条件Ｑs2を定義している。
【０１４２】
色空間拘束条件Ｑs2の値が小さくあるべきことは、目的動画像内の時空間的に隣り合う画素の色が連続すべきことを表している。
【０１４３】
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（式９）および（式１０）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する拘束条件（（式９）および（式１０）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する拘束条件（（式９）および（式１０）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
【０１４４】
λθ（ｘ，ｙ，ｔ）、λψ（ｘ，ｙ，ｔ）、λr（ｘ，ｙ，ｔ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される拘束条件に対して、目的動画像のｔ番目のフレーム画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ，ｔ）＝λψ、（ｘ，ｙ，ｔ）＝１．０、λr（ｘ，ｙ，ｔ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
【０１４５】
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。画素値が不連続であることは、入力動画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
【０１４６】
また、画素の色彩の連続性に関する拘束に適用する重みを、画素の明るさの連続性に関する拘束に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
【０１４７】
なお、（式９）および（式１０）では、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和およびｘｙｔ時空間方向の２階差分値の２乗和を色空間拘束条件Ｑs1および色空間拘束条件Ｑs2として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を色空間拘束条件として設定してもよい。
【０１４８】
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間拘束条件を設定したが、用いる座標系は球面座標系に限るものではない。画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において色空間拘束条件を設定することで、前述と同様の効果が得られる。
【０１４９】
新たな直交座標系の座標軸は、例えば、入力動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析することで固有ベクトルの方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。
【０１５０】
【数１１】
2010239636.tif 000013
【０１５１】
（式１１）において、Ｃ1（ｘ，ｙ，ｔ）、Ｃ2（ｘ，ｙ，ｔ）、Ｃ3（ｘ，ｙ，ｔ）は、目的動画像のｔ番目のフレーム画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
【０１５２】
（式１１）は、目的動画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（式１１）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる色空間拘束条件Ｑs3を定義している。
【０１５３】
色空間拘束条件Ｑs3の値が小さくあるべきことは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
【０１５４】
λC1（ｘ，ｙ，ｔ）、λC2（ｘ，ｙ，ｔ）、λC3（ｘ，ｙ，ｔ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される拘束に対して、目的動画像のｔ番目のフレーム画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
【０１５５】
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ，ｔ）、λC2（ｘ，ｙ，ｔ）、λC3（ｘ，ｙ，ｔ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
【０１５６】
以上、３種類の色空間拘束条件Ｑs1、Ｑs2、およびＱs3の例を説明した。色空間拘束条件Ｑsとしては、色空間拘束条件Ｑs1、Ｑs2、およびＱs3のいずれを用いることもできる。
【０１５７】
例えば、（式９）、（式１０）に示される色空間拘束条件Ｑs1、Ｑs2を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて色空間拘束条件を設定し、かつ色空間拘束条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の動画像の生成が容易になるという利点がある。
【０１５８】
（式１１）に示される色空間拘束条件Ｑs3を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で拘束条件を設定するため、演算が簡素化できる利点がある。
【０１５９】
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて色空間拘束条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて色空間拘束条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
【０１６０】
ここまで、（式９）、（式１０）、および（式１１）に示す色空間拘束条件Ｑs1、Ｑs2、およびＱs3において、画像中の画素値の不連続性などが予測できる位置において、重みλを小さく設定する例を説明した。さらに、画像中の画素値の不連続性などが具体的に予測できる（差分値または微分値の具体値が推定できる）場合は、（式１２）、（式１３）、および（式１４）に示す色空間拘束条件Ｑs1d、Ｑs2d、およびＱs3dを用いてもよい。
【０１６１】
【数１２】
2010239636.tif 000014
【数１３】
2010239636.tif 000015
【数１４】
2010239636.tif 000016
【０１６２】
（式１２）、（式１３）、および（式１４）において、色空間拘束条件Ｑs1d、Ｑs2d、およびＱs3dは、（式９）、（式１０）、および（式１１）に示す色空間拘束条件Ｑs1、Ｑs2、およびＱs3に対して、座標軸θ、ψ、ｒ、Ｃ1、Ｃ2、およびＣ3に沿った差分値または微分値としてあらかじめ推定される具体値ｄθ（ｘ，ｙ，ｔ）、ｄψ（ｘ，ｙ，ｔ）、ｄr（ｘ，ｙ，ｔ）、ｄC1（ｘ，ｙ，ｔ）、ｄC2（ｘ，ｙ，ｔ）、およびｄC3（ｘ，ｙ，ｔ）を追加して構成される。
【０１６３】
なお、上記の具体値の推定方法としては、例えば、カラーで高解像度の基準動画像に対して、色コンポーネントごとに、（式１）、（式２）、（式３）の右辺の加重和演算を行うことで低解像度および低フレームレートの対照動画像を得て、基準動画像と対照動画像との間での差分値または微分値の対応関係をあらかじめ用意し、その対応関係に従って、入力動画像から目的動画像の差分値または微分値の具体値ｄθ（ｘ，ｙ，ｔ）、ｄψ（ｘ，ｙ，ｔ）、ｄr（ｘ，ｙ，ｔ）、ｄC1（ｘ，ｙ，ｔ）、ｄC2（ｘ，ｙ，ｔ）、およびｄC3（ｘ，ｙ，ｔ）を推定してもよい。
【０１６４】
色空間拘束条件Ｑs1d、Ｑs2d、およびＱs3dを用いた場合も、不連続性が予測される位置での画像の再現性を高め、生成画像の画質を向上させることが可能となる。
【０１６５】
なお、ｄθ（ｘ，ｙ，ｔ）、ｄψ（ｘ，ｙ，ｔ）、ｄr（ｘ，ｙ，ｔ）、ｄC1（ｘ，ｙ，ｔ）、ｄC2（ｘ，ｙ，ｔ）、およびｄC3（ｘ，ｙ，ｔ）が０の場合、色空間拘束条件Ｑs1d、Ｑs2d、およびＱs3dは、色空間拘束条件Ｑs1、Ｑs2、およびＱs3と等価である。
【０１６６】
次に、ステップ３０５では、ステップ３０３で求めた動き拘束条件Ｑm、ステップ３０４で求めた色空間拘束条件Ｑs、および劣化拘束部１０３ｃで設定する劣化拘束条件に基づいて、目的動画像が満たすべき総合的な拘束条件（以下、単に拘束条件）を、画像統合処理部１０３ｄにて設定する。
【０１６７】
【数１５】
2010239636.tif 000017
【０１６８】
（式１５）は、拘束条件Ｊの一例を示している。（式１５）に示される総合的な拘束条件Ｊは、目的動画像を構成する赤、緑、および青の各色コンポーネント（ＲH，ＧH，ＢHと表記）の関数として定義される。
【０１６９】
ＨR，ＨG，ＨBは、それぞれ目的動画像の各色コンポーネントＲH，ＧH，ＢHから、各色コンポーネントの入力動画像ＲL，ＧL，ＢLへの劣化変換を表す。ＨR，ＨG，ＨBは、例えば、それぞれ（式１）、（式２）、（式３）の右辺の加重和演算である。
【０１７０】
劣化拘束部１０３ｃは、赤、緑、青のそれぞれの色コンポーネントについて、目的動画像に劣化変換を施すことで劣化動画像を得る。そして、劣化動画像および入力動画像の対応フレームの対応画素位置における画素値の差の２乗和を劣化拘束条件として設定する（（式１５）の第１項、第２項、および第３項）。つまり、劣化拘束条件は、劣化動画像に含まれる各画素値を要素とするベクトルと、入力動画像に含まれる各画素値を要素とするベクトルとの差分ベクトルの大きさを表す値により設定される。
【０１７１】
（式１５）の第４項は、ステップ３０４で色空間拘束部１０３ｂにて求めた色空間拘束条件である。（式１５）の第５項は、ステップ３０３で動き拘束部１０３ａにて定めた動き拘束条件である。
【０１７２】
拘束条件Ｊは、上記に限定するものではなく、（式１５）の項を類似式からなる項と置換し、また異なる拘束を表す新たな項を追加してもよい。
【０１７３】
ステップ３０６では、画像統合処理部１０３ｄにて定めた拘束条件Ｊを維持する目的動画像の各画素値を求めることによって、目的動画像の各色コンポーネントＲH、ＧH、ＢHを生成する。
【０１７４】
ここで、拘束条件Ｊを維持するとは、拘束条件Ｊの値をできるだけ小さく（望ましくは最小に）することであり、拘束条件Ｊの各項に表される劣化拘束条件、色空間拘束条件、および動き拘束条件のそれぞれの値をできるだけ小さく（望ましくは最小に）することを含む。
【０１７５】
拘束条件Ｊを最小にする目的動画像は、例えば、拘束条件Ｊを目的動画像の各色コンポーネントＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（式１６）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
【０１７６】
【数１６】
2010239636.tif 000018
【０１７７】
最後に、ステップ３０７では、生成した目的動画像を画像統合処理部１０３ｄから出力する。
【０１７８】
以下では、入力動画像および得られる目的動画像の具体例を、図８、図９、および図１０を用いて説明する。
【０１７９】
図８は、被写体を仮に高フレームレートでカラー撮影できた場合に得られるフレーム画像の例を示す。図８のフレーム画像は本来撮影により取得できないが、説明の為に示す。図８は、生成すべき理想的な目的動画像のフレーム画像一例である。
【０１８０】
図８において、縦軸は時間に対応し、横軸は色コンポーネントに対応する。左から右へ、赤、緑、青の色コンポーネントについてそれぞれ６つのフレーム画像を、上から下へ時間の順に並べて示している。横に並ぶ３フレームの仮想的な露出期間は同じであるとする。図８において、フレームの左上から右下へと移動する被写体７１が、全ての色コンポーネントのフレーム画像に示されている。
【０１８１】
このような被写体を、実際には図８に示されるフレーム間隔よりも長いフレーム間隔で撮影することで、異なる複数の色コンポーネントについて、色コンポーネントごとにフレームの露出期間（露出開始時刻及び露出終了時刻の少なくともいずれか一方）が異なる複数の入力動画像を得る（図３のステップ３０１）。
【０１８２】
図９および図１０に、図８に示す被写体７１を撮影して得られた複数の入力動画像の、２種類の例を示す。
【０１８３】
図９は、図４（ｂ）に示すフレームの露出期間に従って被写体７１を撮影して得られるフレーム画像の例を示している。便宜上、各フレーム画像の上辺および下辺を、それぞれフレームの露出開始時刻および露出終了時刻に対応する縦軸の位置に合わせて示している。色コンポーネントごとにフレームの露出期間はずれており、各フレームの露出時間は、図８に示すフレーム間隔とほぼ等しい。図９の各フレーム画像には、被写体７１の像８１が写っている。
【０１８４】
図１０は、図４（ａ）に示すフレームの露出期間に従って被写体７１を撮影して得られるフレーム画像の例を示している。便宜上、各フレーム画像を延長する破線枠の上辺およびフレーム画像の下辺を、それぞれフレームの露出開始時刻および露出終了時刻に対応する縦軸の位置に合わせて示している。色コンポーネントごとにフレームの露出期間はずれており、各フレームの露出時間は、図８に示すフレーム間隔の３倍とほぼ等しい。また、各フレームの露出時間が長いため、異なる色コンポーネントのフレームの露出期間が重複している。図１０の各フレーム画像には、被写体７１の像９１が、被写体７１の移動方向のブレを伴って写っている。
【０１８５】
図１１は、図９または図１０に示す入力動画像のフレーム画像から、前述の手続き（図３のステップ３０２〜ステップ３０６）で生成される目的動画像のフレーム画像の例を示す。
【０１８６】
生成されたフレーム画像は、像９２に被写体７１の移動方向のブレが残っているものの、図１０に示すフレーム画像に含まれるブレと比べて僅かであり、また図９および図１０に示す各色コンポーネントの入力動画像では存在しない時刻のフレーム画像が補間されており、結果的に図８の理想のフレーム画像に近いフレーム画像になっている。
【０１８７】
このようなフレーム画像は、前述したように、被写体の動きに沿って目的動画像の画素値が連続すべきこと（画素値が一様であること）を表す動き拘束条件と、目的動画像の時空間的に隣り合う画素の色が連続すべきこと（色または色の変化が一様であること）を表す色空間拘束条件と、入力動画像のフレーム画像とそのフレーム画像に対応する期間の目的動画像の複数のフレーム画像の加重和とが近似すべきことを表す劣化拘束条件とを維持する目的動画像の画素値を求めることで生成される。
【０１８８】
動き検出の精度を高めることで、図８の理想のフレーム画像により近いフレーム画像が得られる。
【０１８９】
図１２および図１３は、単位時間あたりの画像の情報量（要求される転送速度、以下データレートと言う）が、図９および図１０に示す入力動画像のデータレートと同じになる動画像の例を示している。
【０１９０】
図１２および図１３に示す動画像は、本発明の画像生成装置の入力動画像とは異なり、色コンポーネントごとにフレームの露出期間をずらさずに、すべての色コンポーネントのフレームを同一の露出期間に撮影して得たものである。図１３に示す動画像では、フレームレートを高め、かつフレーム画像の解像度を下げることによって、図９および図１０に示す入力動画像の例と同じデータレートを達成している。
【０１９１】
図１２および図１３に例示する入力動画像は、例えば同一の被写体を異なる解像度および異なるフレームレートで撮影する周知の技術を用いて一度に取得できるほか、通常の撮影によって個別に取得することもできる。
【０１９２】
しかしながら、このような各色コンポーネントのフレームの露出期間が揃った動画像は、本発明の画像生成装置に対する入力動画像からは除外される。
【０１９３】
本発明の画像生成装置は、少なくとも２つの色コンポーネントでフレームの露出期間（露出開始時刻および露出終了時刻の少なくともいずれか一方）が異なる複数の入力動画像を用い、前述の拘束条件（とりわけ、色空間拘束条件）を設定することで、高フレームレートでかつカラーの目的動画像を生成することを特徴とする。
【０１９４】
少なくとも２つの色コンポーネントでフレームの露出期間がずれた入力動画像を用いることで入力動画像の情報量に生じる時間的なピークが平準化されるので、例えば図１２に示すような全ての色コンポーネントのフレームが同じ時刻に得られる動画像と比べて、情報量に生じる時間的なピークを緩和できる。
【０１９５】
さらに、露出時間を長くして動きブレが生じうる場合にでも、露出開始時刻（又は露出終了時刻）をずらしたことによるずれた時刻の映像情報を活用することができ、動きブレを抑え、かつフレームレートの高い目的動画像を生成することが可能である。
【０１９６】
さらに、撮影時の露出時間を目的動画像のフレーム間隔よりも長く設定することが可能になるため、光量の不足した暗い環境下において、露出時間を長くすると同時にフレームレートも落とさないように撮影することが可能となる。すなわち、フレームレートを維持し、Ｓ／Ｎ比の高い目的動画像の生成が可能になるという効果がある。
【０１９７】
なお、目的動画像の生成に色コンポーネントごとにフレームの露出期間をずらして撮影した入力動画像を用いたか否かは、色コンポーネントごとに異なる時刻に突発する画像の変化を含む被写体を撮影して得た入力動画像から目的動画像を生成し、生成された目的動画像にその変化の時間差が表されるか否かで判断することができる。
【０１９８】
また、各色コンポーネントの入力動画像は、フレームレート、フレームの露出時間、およびフレーム画像の解像度が等しいとして説明したが、本発明の画像生成装置は、色コンポーネントごとに入力動画像のフレームレート、フレームの露出時間、およびフレーム画像の解像度の少なくともいずれか一つが異なる場合にでも適用できる。
【０１９９】
すなわち、その場合は、色コンポーネントごとの入力動画像のフレームレート、フレームの露出時間、およびフレーム画像の解像度に合わせて、（式１）、（式２）、および（式３）を代用する劣化拘束条件の式を構成することにより、同様の手順で目的動画像を生成し、本発明の効果を得ることができる。
【０２００】
このとき、各色コンポーネント間の露出開始時刻（又は露出終了時刻）のずれ量と露出時間を均等に近づけることで、一般的な被写体に対して、目的動画像における時間的な画質変動を平準化する効果が期待できる。
【０２０１】
また、図１４に示すように、図１に示された画像生成システム１００から表示装置４０を除いて構成されるカメラ３００も、本発明に含まれる。さらに、図１４に示されたカメラ３００に表示装置４０を付加して構成される、動画像録画再生機能付きのカメラも、本発明に含まれる。
【０２０２】
また、図１５に示すように、図１に示された画像生成システム１００から撮像装置１０を除いて構成されるテレビなどのディスプレイ機器４００も、本発明に含まれる。そのようなディスプレイ機器４００では、あらかじめ録画してある複数色コンポーネントの動画像を入力動画像として、フレームレートを向上させた目的動画像を生成して表示することが可能になる。
【０２０３】
図１４のようにカメラを構成した場合、図１の画像生成装置に対して図１６のように撮影制御部１０４を追加し、色コンポーネントごとのフレームの露出期間（露出開始時刻および露出終了時刻の少なくともいずれか一方）のずれ（色位相差という）と露出時間とを、被写体に応じて変更するようにしてもよい。
【０２０４】
図１６において、露出決定部１０４ａは、各色コンポーネントの露出時間を決定する。色位相差決定部１０４ｂは、色コンポーネントの露出開始時刻（又は露出終了時刻）のずれ量を設定する。光量センサ１０４ｃは、被写体の光量を測定する。光量センサは撮像素子と別に設けてもよく、撮像素子そのものを光量センサとして用いてもよい。温度センサ１０４ｄは、撮像素子の温度を計測する。
【０２０５】
次に、以上のように構成されたカメラが実行する処理について説明する。
【０２０６】
図１７は、前記カメラの実行する処理のフローチャートである。
【０２０７】
ステップ１４０１では、光量センサ１０４ｃが被写体の光量を計測し、前記被写体の光量に応じて絞りを決定する。ステップ１４０２では、温度センサ１０４ｄが撮像素子の温度を計測し、前記被写体の光量ならびに前記ステップで決定した絞りおよび前記温度に基づいて、露出決定部１０４ａが撮影のためのフレームの露出時間を色コンポーネントごとに決定する。
【０２０８】
このとき、撮影画像に必要とするＳ／Ｎ比をあらかじめ設定しておく。撮影画像に含まれるノイズは撮像素子の温度に依存する成分と入射光自体に含まれる成分が存在する。温度依存性ノイズの温度依存特性は撮像素子により異なるため、あらかじめ温度とノイズの関係を求めておく。入射光自体に含まれるノイズの強度は入射光の信号強度Ｓの平方根に比例して決まる。被写体の光量と絞りから信号強度Ｓが決定でき、前記温度と入射光量からノイズ強度Ｎが決定できる。光量が増すほどＳ／Ｎ比は向上する。よって、必要とするＳ／Ｎ比に基づいて必要な露出時間を決定する。
【０２０９】
露出時間は、温度や光量やＳ／Ｎ比に対して連続的に変更してもよいし、あらかじめ定めたステップごとに階段状に変更してもよいし、あらかじめ定めた閾値を基準に２値的に変更してもよい。
【０２１０】
例えば、信号強度とノイズ強度との比を１００とする場合、ノイズ強度が１０であれば必要な信号強度を１０００になるように露出時間を決定する。なお上記では、温度と光量とに基づいて必要な露出時間を決定したが、温度は平均的な温度を仮定し、被写体の光量のみで必要な露出時間を決定するようにしてもよい。また、ステップ１４０１とステップ１４０２の実行順序は入れ替わってもよい。
【０２１１】
次に、ステップ１４０３では、色位相差決定部１０４ｂが露出開始時刻（又は露出終了時刻）のずれを決定する。このとき、前記露出時間を色コンポーネントの数（赤、緑、青ならば３）で割った値が、標準的な動画のフレームレート３０〜６０フレーム毎秒よりも短い場合は、各色コンポーネントのフレームレートは標準的な動画の値の３（色コンポーネントの数）分の１に設定し、色位相差は標準的な動画のフレーム間隔に設定する。
【０２１２】
ここで、前記露出時間を色コンポーネントの数（赤、緑、青ならば３）で割った値が、標準的な動画のフレームレート３０〜６０フレーム毎秒よりも長い場合は、各色コンポーネントのフレーム間隔は各色コンポーネントの露出時間に一致させ、色位相差は前記露出時間の３（色コンポーネントの数）分の１に設定する。
【０２１３】
次に、ステップ１４０４では、前記撮影条件に基づいて撮影を行い、撮影により得られた入力動画像を取得する。ステップ１４０５では、図３に示される手順を実行することで目的動画像を生成し、ステップ１４０６では、生成した目的動画像を出力する。
【０２１４】
なお、生成する目的動画像のフレーム間隔は撮影時の色位相差とは別により短く設定することができ、短く設定することで、撮影時の露出時間を長くして撮影時のフレームレートを低くした場合にでも、標準的な動画のフレームレートを有する目的動画像を生成することが可能となる。
【０２１５】
その場合、（式１）、（式２）、および（式３）の劣化拘束条件において目的動画像の露出時間を短くし、目的動画像のフレームレートを増すように設定を行う。
【０２１６】
同様に（式５）、（式６）、（式７）で行っている動きベクトルの算出を、さらに短いフレーム間隔について同様に行い、その動きを用いて（式８）のＱmを設定すればよい。
【０２１７】
また、図１８に例を示すように、各色コンポーネントの露出時間を変えてもよい。図１８（ａ）の例では、Ｇの露出時間およびフレーム間隔を長くし（ｅG＝４、ｆB＝４）、ＲとＢの露出時間およびフレーム間隔を同じにして（ｅR＝ｅB＝２、ｆR＝ｆB＝２）、それぞれ露出開始時刻（又は露出終了時刻）を変えた場合（ｔR0＝１、ｔG0＝０、ｔB0＝０）を示している。
【０２１８】
このような場合も上記と同様な手続きで、図１８（ｂ）のような高フレームレートの目的動画像を得ることができる。全ての色コンポーネントのフレームの露出時間を長くすると時間解像度が低下しやすいが、このように一部の色コンポーネントのみフレームの露出時間を長くすることで、長時間露出による光量確保と時間解像度とを両立させることが可能になる。
【０２１９】
また上記では、３種類の色コンポーネントについて、フレームの露出開始時刻および露出終了時刻の少なくともいずれか一方を変えた場合で説明を行ったが、２種類の色コンポーネントの間でのみ、フレームの露出開始時刻を変える（例えば赤コンポーネントと青コンポーネントは露出開始時刻（又は露出終了時刻）を同じとし、緑コンポーネントのみ変える）ことでも同様の効果が得られる。
【０２２０】
この場合、入力動画像の情報量に生じる時間的なピークを分散する効果は低下するが、目的動画像を生成する処理は簡素化される。また、色コンポーネントの種類も３種類より多くしてもよく、赤、緑、青の３種類の色コンポーネントに、新たに、光波長特性の異なる緑を追加することで４種類の色コンポーネントからなる入力動画像を用いても、本願発明の効果は得られる。特に、被写体をマルチスペクトル撮影する応用に適する。
【０２２１】
以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【０２２２】
本発明の画像生成装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。
【産業上の利用可能性】
【０２２３】
本発明は、色と露出開始時刻（又は露出終了時刻）の異なる複数の動画像から新たな動画像を生成する画像生成装置として、特に、露出開始時刻（又は露出終了時刻）の異なるＲＧＢ動画像から高フレームレートの動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
【符号の説明】
【０２２４】
１０      撮像装置
２０      画像記憶装置
３０      画像生成装置
４０      表示装置
１００      画像生成システム
１０１      画像入力部
１０１ａ    赤画像入力部
１０１ｂ    緑画像入力部
１０１ｃ    青画像入力部
１０２      動き検出部
１０２ａ    動き分布算出部
１０２ｂ    動き信頼度分布算出部
１０３      色画像統合部
１０３ａ    動き拘束部
１０３ｂ    色空間拘束部
１０３ｃ    劣化拘束部
１０３ｄ    画像統合処理部
１０４      撮影制御部
１０４ａ    露出決定部
１０４ｂ    色位相差決定部
１０４ｃ    光量センサ
１０４ｄ    温度センサ
３００      カメラ
４００      ディスプレイ機器
【図１】
2010239636.tif 000019
【図２】
2010239636.tif 000020
【図３】
2010239636.tif 000021
【図４】
2010239636.tif 000022
【図５】
2010239636.tif 000023
【図６】
2010239636.tif 000024
【図７】
2010239636.tif 000025
【図８】
2010239636.tif 000026
【図９】
2010239636.tif 000027
【図１０】
2010239636.tif 000028
【図１１】
2010239636.tif 000029
【図１２】
2010239636.tif 000030
【図１３】
2010239636.tif 000031
【図１４】
2010239636.tif 000032
【図１５】
2010239636.tif 000033
【図１６】
2010239636.tif 000034
【図１７】
2010239636.tif 000035
【図１８】
2010239636.tif 000036
【図１９】
2010239636.tif 000037
【図２０】
2010239636.tif 000038