(57)【要約】暗くて動きのある被写体について撮影された動画像及び静止画像からＳ／Ｎ比が高く動きブレが少ない新たな動画像を生成する画像生成装置は、被写体からの受光量に応じて、前記動画像及び静止画像を撮影するための撮影条件を決定する撮影条件決定部（１０５ｃ）と、前記撮影条件に従って撮影された前記動画像及び静止画像を受け付ける画像入力部（１０１）と、前記動画像以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する統合処理部（１０４ａ）とを備え、前記撮影条件決定部（１０５ｃ）は、前記動画像のフレーム間隔よりも長くかつ前記受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する。
2008047664.tif 000002
【特許請求の範囲】
【請求項１】
同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、
前記原動画像と前記静止画像とを受け付ける画像入力手段と、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、
前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短い
ことを特徴とする画像生成装置。
【請求項２】
さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、
前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、
前記撮影条件決定手段は、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項１記載の画像生成装置。
【請求項３】
前記撮影条件決定手段は、さらに、温度を測定し、
前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項２記載の画像生成装置。
【請求項４】
さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
【請求項５】
さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、
生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
【請求項６】
前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つである
ことを特徴とする請求項２記載の画像生成装置。
【請求項７】
前記画像入力手段は、前記被写体からの受光量が所定のしきい値を上回る場合、前記原動画像および前記静止画像の一方のみを受け付け、
前記画像統合手段は、前記画像入力手段によって前記原動画像のみが受け付けられる場合、前記新たな動画像を、前記原動画像の各画素と、前記各画素に対応する位置にある前記新たな動画像の画素の合計との誤差を減少させることによって生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項８】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成する画像生成方法であって、
被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定ステップと、
前記撮影条件決定ステップで決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付ける画像入力ステップと、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合ステップとを含み、
前記撮影条件決定ステップで、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記動画像のフレーム間隔よりも長くかつ前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする画像生成方法。
【請求項９】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成するためのプログラムであって、
請求項８記載の画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、動画像を生成する画像生成装置に関し、特に、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置に関する。
【背景技術】
【０００２】  デジタル撮像デバイスの進展に伴い、高空間解像度の画像を比較的低コストで撮影することが可能となってきている。また、一方で、カメラを小型化・低コスト化するべく、撮像素子の小型化も進んでいる。しかしながら、画像内で動く被写体を暗い環境下で撮影する場合、高空間解像度の画像の撮影にはＳ／Ｎ比の低下という画質低下の課題が生じる。【０００３】  これは、撮像素子を構成する画素数の増加や撮像素子自体の大きさの減少により、個々の画素の受光面積が減少し、受光量が不足することで、相対的にノイズが増加し、画質が低下することによる。受光後に電気的な信号増幅を用いてもノイズも同様に増幅されるため、Ｓ／Ｎ比は改善しない。【０００４】  また、受光量を増すために、露出時間を長くすると、被写体が動くことで動きブレが生じ、鮮明な画像は撮影できない。また、受光量を増すために、レンズ等の光学系を大きくし、集光量を増させると、カメラ全体が大型化し、コストが増加するという課題が生じる。【０００５】  暗くて動きのある画像を取得する従来の装置としては、複数回の撮影を行うものがある（例えば、特許文献１参照）。図１は、前記特許文献１に記載された従来の画像生成装置が行う処理を示すフローチャートである。【０００６】  図１において、ステップ２２０１では試撮を行い、被写体の動きの向きと大きさを求めて分割撮影回数を決定する。ステップ２２０２では複数回の撮影を行う。ステップ２２０３では動きベクトル情報に基づいて一方の画像の撮影枠をシフトさせて加算平均を行い最終的な撮影画像を生成する。
【特許文献１】特開２００３−２５９１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】  しかしながら、前記従来の構成では、画像内で個々の被写体が異なる動きをしている場合に画像枠を移動させて加算平均を行っても画像内で異なる動きをする個々の被写体については動きブレが生じるという課題がある。また、被写体が暗い場合には加算する２つの画像の露出時間を長くする必要があるが、被写体の動きが速い場合には動きブレが生じてしまい、画像全体で位置合せをして加算平均しても動きブレを除くことはできないという課題を有している。また、露出時間を短くすると各画像において被写体の撮像自体が困難となるという課題を有している。【０００８】  本発明は、前記従来の課題を解決するもので、暗い環境下で、異なる動きを持つ複数の被写体が存在する画像であってもＳ／Ｎ比が高く、動きブレの少ない画像を得る画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】  上記目的を達成するために、本発明に係る画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短いことを特徴とする。【００１０】  この構成によれば、前記新たな動画像の複数のフレームが、前記静止画像との矛盾が小さくなるように生成される。短い露出時間で撮影される前記原動画像の各フレームは、動きブレが少ないという特徴を有する一方で、長い露出時間かつ高い解像度で撮影される前記静止画像は、前記被写体に関して前記原動画像の１フレームよりも時空間的に豊富な情報を含んでおり、これらの特徴を併せ持つように前記新たな動画像を生成することができる。【００１１】  前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。【００１２】  この構成によれば、前記原動画像を、被写体からの受光量が少ないほど１画素あたり大きな面積の撮像素子を用いて撮影することによって、露出時間が短いと低光量下で目立ちやすくなるノイズが抑制される。また、前記静止画像を、被写体からの受光量が少ないほど長くなる露出時間で撮影することによって、解像度が高いと低光量下で目立ちやすくなるノイズが抑制される。これは、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。【００１３】  従って、本発明の画像生成装置によれば、前記原動画像以上のフレームレートで、前記静止画像以上の解像度を持ち、かつＳ／Ｎ比が高く動きブレを抑えた優れた特性を持った前記新たな動画像を生成することができる。【００１４】  なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【００１５】  本発明の画像生成装置によれば、特に暗い環境において画像内で動きのある被写体を撮影する場合に、Ｓ／Ｎ比が高くかつ動きブレを抑えた新たな動画像を生成できる。
【図面の簡単な説明】
【００１６】
【図１】図１は、従来の画像生成装置の構成を示すフローチャートである。
【図２】図２は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。
【図３】図３は、実施形態における画像生成装置の構成を示す機能ブロック図である。
【図４】図４は、画像生成装置の動作を示すフローチャートである。
【図５】図５は、受光量決定部の動作を示すフローチャートである。
【図６】図６（ａ）および（ｂ）は、入力画像の時系列の一例を示す図である。
【図７】図７（ａ）〜（ｃ）は、撮影装置の具体例を示す図である。
【図８】図８（ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。
【図９】図９（ａ）〜（ｃ）は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。
【図１０】図１０（ａ）および（ｂ）は、高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図である。
【図１１】図１１（ａ）〜（ｄ）は、生成する高速高解像度動画像のフレーム画像の一例を示す図である。
【図１２】図１２（ａ）〜（ｄ）は、高速高解像度動画像のフレーム画像の一例を示す図である。
【図１３】図１３（ａ）〜（ｄ）は、入力される高速低解像度動画像のフレーム画像の一例を示す図である。
【図１４】図１４は、入力される低速高解像度動画像のフレーム画像の一例を示す図である。
【図１５】図１５（ａ）〜（ｄ）は、信頼度の分布例を示す図である。
【図１６】図１６（ａ）〜（ｄ）は、生成された動画像のフレーム画像の一例を示す図である。
【図１７】図１７（ａ）〜（ｄ）は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。
【図１８】図１８は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフである。
【図１９】図１９は、カラーの動画像を統合する場合の処理手順を示すフローチャートである。
【図２０】図２０は、領域分割処理の一例を示す図である。
【図２１】図２１は、画像生成システムの具体例を示すブロック図である。
【図２２】図２２は、画像生成システムの具体例を示すブロック図である。
【符号の説明】
【００１７】    １０    撮像装置
２０    画像記憶装置
３０    画像生成装置
４０    表示装置
１００    画像生成システム
１０１    画像入力部
１０１ａ  高速画像入力部
１０１ｂ  低速画像入力部
１０２    符号化部
１０３    動き検出部
１０３ａ  動き分布算出部
１０３ｂ  動き信頼度分布算出部
１０３ｃ  センサ入力部
１０４    画像統合部
１０４ａ  統合処理部
１０４ｂ  拘束制御部
１０４ｃ  動き拘束指定部
１０４ｄ  外部モデル拘束部
１０４ｅ  拘束指定部
１０５    受光量決定部
１０５ａ  光量センサ
１０５ｂ  温度センサ
１０５ｃ  撮影条件決定部
３００    カメラ
４００    ディスプレイ機器
【発明を実施するための最良の形態】
【００１８】  本発明の一つの態様における画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短いことを特徴とする。【００１９】  前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。【００２０】  ここで、前記撮影条件決定手段は、さらに、温度を測定し、前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。【００２１】  また、前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つであるとしてもよい。【００２２】  この構成によれば、前記新たな動画像の複数のフレームが、前記静止画像との矛盾が小さくなるように生成される。これにより、短い露出時間で撮影される前記原動画像の各フレームが持つ動きブレの少なさと、長い露出時間かつ高い解像度で撮影される前記静止画像が持つ前記被写体に関する豊富な情報量とを併せ持つように前記新たな動画像を生成することができる。【００２３】  前記静止画像を、被写体からの受光量が少ないほど長くなる露出時間で撮影するか、又は前記原動画像を、被写体からの受光量が少ないほど１画素あたり大きな面積の撮像素子を用いて撮影することは、受光量が不足する場合に目立ちやすくなるノイズを効果的に抑制し、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。【００２４】  前記静止画像を、温度が高いほど長くなる露出時間で撮影するか、又は前記原動画像を、温度が高いほど１画素あたり大きな面積の撮像素子を用いて撮影することは、温度が高いほど大きくなる熱雑音に対抗して、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。【００２５】  また、画像生成装置は、さらに、生成される��たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。【００２６】  この構成によれば、時間的、空間的な連続性が維持された新たな動画像を生成できるので、そのような連続性を強く示す自然界の映像に特に適した生成を行うことができる。【００２７】  また、画像生成装置は、さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。【００２８】  これによって、動き検出の手法による補間を用いて前記新たな動画像を生成できる。【００２９】  以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて詳細に説明する。【００３０】  図２は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。【００３１】  画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。【００３２】  図３は、図２に示された画像生成システム１００における画像生成装置３０の内部構成を示す機能ブロック図である。この画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４と、受光量決定部１０５とを備える。【００３３】  画像入力部１０１は、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付けるインターフェース等であり、ここでは、高速（高速フレームレート）かつ低空間解像度で撮影した動画像（高速低解像度動画像）の入力を受け付ける（あるいは、取得する）高速画像入力部１０１ａと、高速画像入力部１０１ａと同じ対象を低速（低速フレームレート）かつ高空間解像度で撮影した動画像（低速高解像度動画像）の入力を受け付ける（あるいは、取得する）低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入���部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。【００３４】  ここで、請求の範囲における「原動画像」の一例が前記高速低解像度画像であり、「静止画像」の一例が前記低速高解像度画像の個々のフレームである。【００３５】  動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像または／およびセンサ入力部１０３ｃに入力された動き信号に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。【００３６】  画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。【００３７】  動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。【００３８】  外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。【００３９】  拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部１０４ｅに通知する。【００４０】  拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。【００４１】  統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。【００４２】  符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。【００４３】  受光量決定部１０５において、光量センサ１０５ａで得た被写体からの光量と、温度センサ１０５ｂで得た画��入力部を構成する受光素子の温度とから、撮影条件決定部１０５ｃが画像入力部の撮影条件（露出時間、フレームレート、画素サイズ）を決定する。【００４４】  なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。【００４５】  次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図４は、画像生成装置３０の実行する処理のフローチャートである。【００４６】  ステップ６００では、受光量決定部１０５では、光量センサ１０５ａで得た被写体からの光量と、温度センサ１０５ｂで得た受光素子の温度とから、撮影条件決定部１０５ｃが画像入力部の撮影条件（露出時間、フレームレート、画素サイズ）を決定する。また、前記撮影条件は後述する外部モデル拘束条件（目的とする高速高解像度動画像の画素値と、高速低解像度動画像および低速高解像度動画像の画素値との関係）を設定する際に使用する。【００４７】  図５は、受光量決定部１０５が実行するステップ６００の処理の詳細を示すフローチャートである。【００４８】  ステップ６５１では光量センサが被写体からの光量を測定する。光量センサは撮像素子と別に設けてもよく、撮像素子そのものを光量センサとして用いてもよい。ステップ６５２では温度センサが画像入力部を構成する受光素子の温度を計測する。【００４９】  ステップ６５３では、前記光量と温度に基づいて撮像素子の各画素に必要な受光量を決定する。ここで、必要とするＳ／Ｎ比は、あらかじめ設定しておく。撮影画像に含まれるノイズは撮像素子の温度に依存する成分と入射光自体に含まれる成分が存在する。ノイズの温度依存性ノイズの温度依存性は撮像素子により異なるため、あらかじめ温度とノイズの関係を求めておく。温度と光量からノイズ強度Ｎが決定でき、光量から信号強度Ｓが決定できる。光量が増すほどＳ／Ｎ比は向上する。よって、必要とするＳ／Ｎ比に基づいて必要な光量（受光量）を決定する。例えば、信号強度とノイズ強度との比を１００とする場合、ノイズ強度が１０であれば必要な信号強度を１０００に設定する。【００５０】  ステップ６５４では、低速高解像度画像が前記必要な受光量を満たすための撮影条件を求める。低速高解像度画像では露出時間を変えることで必要な受光量を得る。ステップ６５３で求めた必要な受光量をステップ６５１で得た被写体からの単位時間あたりの光量で割ることで、必要な露出時間を得ることができる。【００５１】  ステップ６５５では、高速低解像度画像が前記必要な受光量を満たすための撮影条件を求める。高速低解像度画像では画素サイズ、つまり高速低解像度画像の１画素を撮影するために用いられる撮像素子の面積を変えることで必要な受光量を得る。高速低解像度画像のフレームレートは低速高解像度画像の露出時間よりも短く設定する。高速低解像度画像の露出時間はフレーム間隔を上限として設定し、必要な受光量を設定した露出時間で割ることで、必要な画素サイズを決定する。画素サイズの変更は撮像素子を構成する各画素の光電変換後の電荷蓄積部を隣接する画素同士で電気的に結合することなどで実現できる。【００５���】  上記のフローチャートでは、温度と光量とに基づいて必要な光量を決定したが、温度は平均的な温度を仮定し、被写体の光量のみで必要な光量を決定するようにしてもよい。また、上記の例では、必要な光量に応じて、低速高解像度画像の露出時間と高速低解像度画像の画素サイズとを決定していたが、どちらか一方は平均的な値に固定し、一方のみを可変として処理を行っても本発明の効果は得られる。【００５３】  また、必要な光量を超える受光量を得るように設定してもよいが、入力画像の長時間の露出や画素サイズの拡大による時空間解像度の低下を抑え、生成画像の時空間解像度向上を効果的に行うためには、必要な受光量にあわせて受光量を設定しておくことが望ましい。なお、露出時間や画素サイズは画像全体で同じ値を設定してもよいし、フレーム毎や画像内の位置毎に変更してもよい。その場合、フレームごとや画像の位置毎に被写体からの光量を計測する。【００５４】  再び図４のフローチャートにおいて、ステップ６０１では、前記撮影条件に従って、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。【００５５】  高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図６（ａ）および図６（ｂ）に示す。図６（ａ）および図６（ｂ）は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１およびフレーム２０２は低速高解像の画像を表し、フレーム２１１〜２１５は高速低解像の画像を表している。【００５６】  図６（ａ）および図６（ｂ）において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１およびフレーム２０２に比べて画素数が少なく空間解像度が低く、画素サイズが大きい。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１およびフレーム２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図６（ａ）では、低速高解像度動画像のフレーム２０１は、図６（ｂ）の高速低解像度動画像の４フレーム間隔分の露出が行われている。【００５７】  なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、Ｓ／Ｎ比が高く、動きブレを抑えた時空間解像度の高���動画像を生成することが可能となる。【００５８】  ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図７（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図７（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図７（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。【００５９】  次に、図８（ａ）〜（ｃ）を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａに入力される高速低解像度動画像および低速画像入力部１０１ｂに入力される低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。【００６０】  ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図８（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図８（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（Ｘ，Ｙ，ｔ）の画素の値をＨＨ（Ｘ，Ｙ，ｔ）とする。ここでＸとＹは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。【００６１】  同様に、図８（ｂ）は、図８（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ＸＬ，ＹＬ，ｔ）の画素値をＨＬ（ＸＬ，ＹＬ，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれＸＬ、ＹＬと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。低解像度の画像は高解像度画像の９画素の和となり、１画素が受光する光量が増すことになる。実際に加算する画素の範囲は、ステップ６５５において決定する。【００６２】
【数１】
2008047664.tif 000003
【００６３】  同様に、図８（ｃ）は、図８（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔＬ）の画素値をＬＨ（ｘ，ｙ，ｔＬ）と表す。【００６４】  高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。低速像度の画像は高解像度画像の３フレームの和となり、１画素が受光する光量が増すことになる。実際の露出時間は、ステップ６５４において決定する。【００６５】
【数２】
2008047664.tif 000004
【００６６】  ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。【００６７】  なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、数３の関係式を用いる。数１、数２のＨＨ（ｘ，ｙ，ｔ）を数３でＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）に置き換えることで、時間的に連続した入力に対する劣化過程を表現することが出来る。【００６８】
【数３】
2008047664.tif 000005
【００６９】  数３において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当し、ｔｃｏｎｔは連続した時間、ＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）は時間的に連続な画像、Ｅｘｐ（ｔｃｏｎｔ）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。【００７０】  図６（ａ）および図６（ｂ）に示すように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、受光量を増すことができ、相対的にノイズを抑えた画像を撮影することが可能となり、Ｓ／Ｎ比が高く、動きブレを抑えた高速高解像度動画像を生成が可能となる。また、画素サイズの大きい低解像度画像としての場合でも受光量を増すことが可能となり、Ｓ／Ｎ比が高く、動きブレを抑えた高速高解像度動画像の生成が可能となる。【００７１】  以上の例では、画素値は撮像時の入射光量に比例する場合（図９（ａ））で説明したが、γ補正等により比例しない場合（図９（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図９（ｃ）のような画素値と補正値の対応関係を用いることで図９（ｂ）のようにして得られた画素値を補正し、図９（ａ）のようにして得られた画素値と同様に処理することができる。【００７２】  また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ，Ｇ，Ｂのカラー値が存在する場合にもＲ，Ｇ，Ｂの個々の値について輝度値と同様の関係が得られる。【００７３】  他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、【００７４】
【数４】
2008047664.tif 000006
【００７５】のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、【００７６】
【数５】
2008047664.tif 000007
【００７７】のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数４、数５において、ＸｍａｘとＹｍａｘとｔｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。【００７８】  このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。【００７９】  他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば【００８０】
【数６】
2008047664.tif 000008
【００８１】に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、【００８２】
【数７】
2008047664.tif 000009
【００８３】のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数６、数７のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉｍａｘまでの整数値をとるものとする。また、数７の（ｉｘ、ｉｙ）はｉ番目のエッジの向きの方向を表すベクトルを示す。【００８４】  また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、は画像中の（ｘ、ｙ、ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数８のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。【００８５】
【数８】
2008047664.tif 000010
【００８６】は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。【００８７】  ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。【００８８】  また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、【００８９】
【数９】
2008047664.tif 000011
【００９０】のＱｐｃようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。【００９１】  例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と高速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。【００９２】  ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと高速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。【００９３】  新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。【００９４】  平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと高速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。【００９５】  ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。【００９６】  次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。【００９７】  また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。【００９８】  隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）（非特許文献１）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。【００９９】  また、画像���体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ  Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｔｉｎｇ  Ｍｏｔｉｏｎ  Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）（非特許文献２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。【０１００】  信頼度の求め方については、上記（非特許文献１）に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数１０のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。【０１０１】  また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。【０１０２】
【数１０】
2008047664.tif 000012
【０１０３】  数１０において、位置（ｘ’、ｙ’、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置である。また、数１０のΣはブロックマッチングで用いるブロック領域内での加算を表す。【０１０４】  なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。【０１０５】  また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。【０１０６】  例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。【０１０７】  カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。【０１０８】  実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。【０１０９】  このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。【０１１０】  次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図１０（ａ）および図１０（ｂ）を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。【０１１１】  図１０（ａ）と図１０（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図１０（ａ）および図１０（ｂ）では、説明に必要な高解像度画素のみ図示している。【０１１２】  ここで、動き検出部１０３が動き検出を行っ��結果として、図１０（ａ）の太線５０１の低解像度画素位置が、図１０（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。【０１１３】  従って、低解像度画像の動き検出の結果を用いて、図１０（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１１の関係を得ることができる。【０１１４】  この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について【０１１５】
【数１１】
2008047664.tif 000013
【０１１６】の関係が成り立つと想定する。【０１１７】  ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図１０（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図１０（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。【０１１８】  次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。【０１１９】  拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１１で示す動き検出結果と高速高解像度動画像との関係と、上記数４、数５、数６、数７、数９などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１２に総合的な拘束条件Ｊの例を示す。【０１２０】
【数１２】
2008047664.tif 000014
【０１２１】  数１２において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ’と高速画像入力部１０１ａに実際に入力される高速低解像度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ’と、低速画像入力部１０１ｂに実際に入力される低速高解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。【０１２２】  数１２の右辺の第３項目は外部モデル拘束条件Ｑｓであり数４や数５の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１２の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１３に示す。【０１２３】
【数１３】
2008047664.tif 000015
【０１２４】  数１３では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ，ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ’，ｖ’を用いて数１４のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１３と数１４のような拘束を併用しても良い。【０１２５】
【数１４】
2008047664.tif 000016
【０１２６】  異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。【０１２７】  数１２の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１２の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１２の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。【０１２８】  ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をｃｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。【０１２９】  λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてｃｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。【０１３０】  他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（ｃｏｎｆ＿ｍａｘ）−ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。【０１３１】  次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条例Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１５の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像の画像を出力する。【０１３２】
【数１５】
2008047664.tif 000017
【０１３３】  より具体的な入力画像の組と出力画像の例を図１１から図１６を用いて説明する。【０１３４】  ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。【０１３５】  ここで、図１１（ａ）〜（ｄ）は、暗くて動きのある対象を仮に高Ｓ／Ｎ比かつ高速高解像度で撮影できた場合の画像を示す。図１１（ａ）〜（ｄ）の映像は本来撮影により取得できないが、説明の為に示す。図１１（ａ）〜（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。【０１３６】  図１２（ａ）〜（ｄ）は、このような被写体を、高速高解像度で撮影した場合の画像を示す。被写体が暗いため、相対的にノイズ（図の斜線の升目）が多い画像となる。ノイズの発生位置はランダムであり、フレームごとにも変化する。【０１３７】  このような被写体に対して、被写体からの光量と撮像素子の温度から必要な受光量を決定し、高速低解像度動画像と低速高解像度動画像の撮影条件と拘束条件を決定する（ステップ６００）。次に、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。【０１３８】  このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１３（ａ）〜（ｄ）に示す。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図１１（ａ）〜（ｄ）と同じであるが、空間解像度が図１１（ａ）〜（ｄ）よりも低い。また、画素サイズが大きく受光量が増すため、図１２（ａ）〜（ｄ）に比べノイズが抑制されている。【０１３９】  同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１４に示している。空間解像度は図１１（ａ）〜（ｄ）と同じであるが、図１１（ａ）〜（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。低速高解像度動画像では露出時間が長く、光量が増すため、図１２（ａ）〜（ｄ）に比べノイズが抑制されている。【０１４０】  次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図１１（ａ）〜（ｄ）の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図１１（ａ）〜（ｄ）の画像領域に関する結果を得ても良い。【０１４１】  図１５に信頼度の分布の例を示す。図１５（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。図１５（ｂ）および（ｃ）において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。【０１４２】  図１１（ａ）〜（ｄ）の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。【０１４３】  図１６に生成した画像の例を示す。図１６（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。受光量を増すことでノイズ成分を相対的に抑制した入力画像（図１３（ａ）〜（ｄ）、図１４）を用いていることで図１２（ａ）〜（ｄ）とは異なり、ノイズを抑制し、動きブレも抑制された高速高解像度の画像が得られている。【０１４４】  ２つの被写体が接近するフレーム図１６（ｂ）、（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図１１（ｂ）、（ｃ）の映像に近い映像が得られる。【０１４５】  対比のため、図１７（ａ）〜（ｄ）には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１７（ｂ）、（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。【０１４６】  図１７（ｂ）、（ｃ）の結果とは異なり、図１６（ｂ）、（ｃ）の結果では、動き検出が図１５（ｂ）、（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数４，数５など）やエッジの連続性（数６、数７など）や動画像の主成分の傾向（数９など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。【０１４７】  本発明のように低速高解像度画像において長時間露出を行うと、高解像度画像の撮像素子の受光部で十分な光量が蓄積でき、撮像素子自身が発生する熱雑音の影響が相対的に小さい画像を得ることができる。この画像と、高速低解像度画像（受光部の面積が高解像度画像に比べて相対的に大きくできるため、熱雑音の影響を受けにくい）で得た、輝度や動きの情報を用いて高速高解像度画像を生成することで、被写体が暗くてかつ移動している場合でもノイズの少ない画像を得やすいという特有の効果がある。【０１４８】  上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の数１６に示される動きの信頼度の総和や、【０１４９】
【数１６】
2008047664.tif 000018
【０１５０】有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。なお、数１５などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．，Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ，Ｇ．Ｗ．ａｎｄ  Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，“Ａｎ  Ｅｓｔｉｍａｔｅ  ｆｏｒ  ｔｈｅ  Ｃｏｎｄｉｔｉｏｎ  Ｎｕｍｂｅｒ  ｏｆ  ａ  Ｍａｔｒｉｘ”，ＳＩＡＭ  Ｊ．Ｎｕｍ．Ａｎａｌ．１６（１９７９），３６８−３７５．（非特許文献３）などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。【０１５１】  このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図１８のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。【０１５２】  同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の早送り再生や一次停止時などの画質を向上させることが可能となる。例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。【０１５３】  なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。【０１５４】  また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像���動画像を生成することが可能である。また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補完拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補完拡大された場合であっても、両者を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。【０１５５】  このようなカラー画像に対する処理の手順を図１９に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図４の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。【０１５６】  以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像の動画を得ることができる。【０１５７】  なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。【０１５８】  また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。【０１５９】  図２０に空間的に重複を持たせて領域分割をした例を示す。図２０では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図２０と同様に領域分割しても良い。【０１６０】  このように、重複領域を持たせることで、領域分割処理���おいて隣接する領域間での処理結果の不連続性を抑制する事ができる。【０１６１】  なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。【０１６２】  また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１７のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。【０１６３】
【数１７】
2008047664.tif 000019
【０１６４】  ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。【０１６５】  なお、上記の例では、高速低解像度画像のフレームレートと同じフレームレートかつ低速高解像度画像と同じ画素数の画像を生成する例を示したが、同様の処理を用いて、高速低解像度画像のフレームレートよりもさらに高いフレームレートの画像や、低速高解像度画像よりもさらに画素数が多い画像を生成することも可能である。【０１６６】  例えば、高速低解像度画像のフレームレートのｎ倍（例えば２倍）のフレームレートの画像を生成する場合には、数１と数２に代えて、数１８と数１９を用いて同様の処理を行えばよい。【０１６７】
【数１８】
2008047664.tif 000020
【０１６８】
【数１９】
2008047664.tif 000021
【０１６９】  ここで、ｘ、ｙ、ｔは生成される画像のｘｙ座標とフレーム番号を表し、ｔＬは低速高解像度画像のフレーム番号、ｘＬ、ｙＬ、ｔＨＬは高速低解像度画像のｘｙ座標とフレーム番号を表している。【０１７０】  数１８では、数１と同様にＨＨ画像を空間方向（ｘｙ方向）に加算し、さらには時間方向にも２フレーム加算して高速低解像度画像の画素値が得られることを示している。数１９では数２と比べてフレーム加算数が２倍になっている。【０１７１】  動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘＬ，ｙＬ，ｔＨＬ）、ｖ（ｘＬ，ｙＬ，ｔＨＬ）、及びｃｏｎｆ（ｘＬ，ｙＬ，ｔＨＬ）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。【０１７２】  ここで、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、及びｃｏｎｆ（ｘ，ｙ，ｔ）は、それぞれｕ（ｘＬ，ｙＬ，ｔＨＬ）、ｖ（ｘＬ，ｙＬ，ｔＨＬ）、及びｃｏｎｆ（ｘＬ，ｙＬ，ｔＨＬ）を時間方向にｎ倍（例えば２倍）に拡大し、空間方向にｍ倍（例えば３倍）に拡大する時空間補間拡大によって算出する。【０１７３】  特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘＬ，ｙＬ，ｔＨＬ）、ｖ（ｘＬ，ｙＬ，ｔＨＬ）を時空間補間拡大して得た値をｍ／ｎ倍して用いるとよい。これは、フレーム間隔が１／ｎ倍になるため、被写体の動きについて等速運動を仮定すると動きの大きさも１／ｎ倍になることと、１フレームの画素数がｘｙ方向それぞれｍ倍になるため、同じ大きさの動きを表現するための値がｍ倍になるためである。【０１７４】  また、低速高解像度画像の画素数の、縦横ともにｎ’倍（例えば２倍）の画素数の画像を生成する場合には、数１と数２に代えて、数２０と数２１を用いて同様の処理を行えばよい。【０１７５】
【数２０】
2008047664.tif 000022
【０１７６】
【数２１】
2008047664.tif 000023
【０１７７】  ここで、ｘ、ｙは生成される画像の画素のｘｙ座標を示し、ｘＬＨとｙＬＨは低速高解像度画像の画素のｘｙ座標を示し、ｘＬ，ｙＬは高速低解像度画像の画素のｘｙ座標を示す。数２０では数１と比べてｘｙ方向の画素の加算数がそれぞれ２倍になっている。数２１では数２と同様の時間方向の加算に加え、ｘｙ方向の加算により低速高解像度の画素値が得られることを示している。【０１７８】  動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘＬ，ｙＬ，ｔ）、ｖ（ｘＬ，ｙＬ，ｔ）、ｃｏｎｆ（ｘＬ，ｙＬ，ｔ）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。【０１７９】  ここで、ｃｏｎｆ（ｘ，ｙ，ｔ）、ｕ（ｘ，ｙ，ｔ）、及びｖ（ｘ，ｙ，ｔ）は、それぞれｃｏｎｆ（ｘＬ，ｙＬ，ｔ）、ｕ（ｘＬ，ｙＬ，ｔ）、及びｖ（ｘＬ，ｙＬ，ｔ）を空間方向にｎ’×ｍ倍に拡大する空間補間拡大によって算出する。【０１８０】  特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘＬ，ｙＬ，ｔ）、ｖ（ｘＬ，ｙＬ，ｔ）を空間補間拡大して得た値をｎ’×ｍ倍して用いるとよい。これは、１フレームの画素数がｘｙ方向それぞれｎ’×ｍ倍になるため、同じ大きさの動きを表現するための値がｎ’×ｍ倍になるためである。【０１８１】  また、上記の数１８、数１９を用いた処理と、数２０、数２１を用いた処理とを組み合わせることで、高速低解像度画像のフレームレートよりも高いフレームレートでかつ、低速高解像度画像よりも大きい画素数の画像を生成することも、容易である。【０１８２】  以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。【０１８３】  例えば、図４のフローチャートのステップ６００において、光量センサ１０５ａで得た被写体からの受光量が、動画として必要なフレームレート間隔よりも短い露出時間で低速高解像度動画像の撮影が可能となる光量を上回る場合には、図５のフローチャートのステップ６５５で低速高解像度画像のフレームレートを高め、短い露出時間で撮像した低速高解像度動画像の画像のみを入力とし、目的とする高速高解像度動画像を生成してもよい。【０１８４】  この場合、数１２の総合的な拘束条件Ｊにおける第１項｜ＨＬ−ＨＬ’｜２を０と置いて上記説明した処理を行うことによって、目的とする高速高解像度動画像を得ることができる。【０１８５】  同様に、光量センサ１０５ａで得た被写体からの受光量が、最小の画素サイズで高速低解像度動画像の撮影が可能となる光量を上回る場合には、最小の画素サイズで撮像した高速低解像度動画像のみを入力とし、目的とする高速高解像度動画像を生成してもよい。【０１８６】  この場合、数１２の総合的な拘束条件Ｊにおける第２項｜ＬＨ−ＬＨ’｜２を０と置いて上記説明した処理を行うことによって、目的とする高速高解像度画像を得ることができる。この拘束条件Ｊを用いた場合は、前記高速低解像度動画像の各画素と、前記各画素に対応する位置にある��記高速高解像度動画像の画素の合計との誤差を減少させることによって、前記高速高解像度動画像が生成される。【０１８７】  ただし、低光量下ではもちろんのこと、被写体からの受光量が十分にあって、短い露出時間で低速高解像度画像を撮影できる場合や、最小の画素サイズで高速低解像度画像を撮影できる場合でも、低速高解像度画像および高速低解像度画像の両方を用いて高速高解像度画像を生成しても構わない。その場合でも、単位時間あたりの総入力画素数を上回る単位時間あたりの総画素数を持つ高速高解像度画像を生成することは可能である。【０１８８】  従って、とりわけ撮像システムにおいて画像の入力および記録動作の処理速度が制限される場面において、本発明の画像生成装置を用いることによって、光量の多少に関わらず高解像度高フレームレートの画像を取得できるという効果が得られる。【０１８９】  なお、光量が過剰な場合や被写界深度を調整するために、一般的な撮像システム同様、機械的な絞り機構を用いて光量調節がなされた後に、図４、図５のフローチャートに示す動作を行ってもよい。【０１９０】  また、実施の形態では、統合処理部１０４ａが、拘束指定部１０４ｅによって指定される数１２の総合的な拘束条件Ｊに従って、入力された静止画像（低速高解像度画像のフレームの１つ）と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの合計との誤差（数１２の右辺の第２項）を減少させることによって、高速高解像度動画像を生成すると説明した。【０１９１】  ここで、合計の代わりに、合計と定数倍の関係にあって合計とは実質的に等価な情報である平均を用いても構わない。すなわち、静止画像と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの平均との誤差を減少させることによって、目的とする高速高解像度動画像を生成する構成も、本発明に含まれる。【０１９２】  また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。【０１９３】  また、図２に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図２１に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。【０１９４】  さらに、図２１に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。【０１９５】  また、図２に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図２２に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。【０１９６】  なお、請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、請求の範囲における「画像入力手段」、「動き検出手段」、「外部モデル拘束手段」、「画像統合手段」、「撮影条件決定手段」の一例が、それぞれ、実施の形態における画像入力部１０１、動き検出部１０３、外部モデル拘束部１０４ｄ、画像統合部１０４、受光量決定部１０５である。ただし、請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。
【産業上の利用可能性】
【０１９７】  本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
【図１】
2008047664.tif 000024
【図２】
2008047664.tif 000025
【図３】
2008047664.tif 000026
【図４】
2008047664.tif 000027
【図５】
2008047664.tif 000028
【図６】
2008047664.tif 000029
【図７】
2008047664.tif 000030
【図８】
2008047664.tif 000031
【図９】
2008047664.tif 000032
【図１０】
2008047664.tif 000033
【図１１】
2008047664.tif 000034
【図１２】
2008047664.tif 000035
【図１３】
2008047664.tif 000036
【図１４】
2008047664.tif 000037
【図１５】
2008047664.tif 000038
【図１６】
2008047664.tif 000039
【図１７】
2008047664.tif 000040
【図１８】
2008047664.tif 000041
【図１９】
2008047664.tif 000042
【図２０】
2008047664.tif 000043
【図２１】
2008047664.tif 000044
【図２２】
2008047664.tif 000045
【手続補正書】
【提出日】平成19年12月18日(2007.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、
前記原動画像と前記静止画像とを受け付ける画像入力手段と、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、
前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短い
ことを特徴とする画像生成装置。
【請求項２】
さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、
前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、
前記撮影条件決定手段は、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項１記載の画像生成装置。
【請求項３】
前記撮影条件決定手段は、さらに、温度を測定し、
前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項２記載の画像生成装置。
【請求項４】
さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
【請求項５】
さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、
生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
【請求項６】
前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つである
ことを特徴とする請求項２記載の画像生成装置。
【請求項７】
前記画像入力手段は、前記被写体からの受光量が所定のしきい値を上回る場合、前記原動画像および前記静止画像の一方のみを受け付け、
前記画像統合手段は、前記画像入力手段によって前記原動画像のみが受け付けられる場合、前記新たな動画像を、前記原動画像の各画素と、前記各画素に対応する位置にある前記新たな動画像の画素の合計との誤差を減少させることによって生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項８】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成する画像生成方法であって、
被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定ステップと、
前記撮影条件決定ステップで決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付ける画像入力ステップと、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合ステップとを含み、
前記撮影条件決定ステップで、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記動画像のフレーム間隔よりも長くかつ前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする画像生成方法。
【請求項９】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成するためのプログラムであって、
請求項８記載の画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を生成する画像生成装置に関し、特に、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置に関する。
【背景技術】
【０００２】
デジタル撮像デバイスの進展に伴い、高空間解像度の画像を比較的低コストで撮影することが可能となってきている。また、一方で、カメラを小型化・低コスト化するべく、撮像素子の小型化も進んでいる。しかしながら、画像内で動く被写体を暗い環境下で撮影する場合、高空間解像度の画像の撮影にはＳ／Ｎ比の低下という画質低下の課題が生じる。
【０００３】
これは、撮像素子を構成する画素数の増加や撮像素子自体の大きさの減少により、個々の画素の受光面積が減少し、受光量が不足することで、相対的にノイズが増加し、画質が低下することによる。受光後に電気的な信号増幅を用いてもノイズも同様に増幅されるため、Ｓ／Ｎ比は改善しない。
【０００４】
また、受光量を増すために、露出時間を長くすると、被写体が動くことで動きブレが生じ、鮮明な画像は撮影できない。また、受光量を増すために、レンズ等の光学系を大きくし、集光量を増させると、カメラ全体が大型化し、コストが増加するという課題が生じる。
【０００５】
暗くて動きのある画像を取得する従来の装置としては、複数回の撮影を行うものがある（例えば、特許文献１参照）。図１は、前記特許文献１に記載された従来の画像生成装置が行う処理を示すフローチャートである。
【０００６】
図１において、ステップ２２０１では試撮を行い、被写体の動きの向きと大きさを求めて分割撮影回数を決定する。ステップ２２０２では複数回の撮影を行う。ステップ２２０３では動きベクトル情報に基づいて一方の画像の撮影枠をシフトさせて加算平均を行い最終的な撮影画像を生成する。
【特許文献１】特開２００３−２５９１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の構成では、画像内で個々の被写体が異なる動きをしている場合に画像枠を移動させて加算平均を行っても画像内で異なる動きをする個々の被写体については動きブレが生じるという課題がある。また、被写体が暗い場合には加算する２つの画像の露出時間を長くする必要があるが、被写体の動きが速い場合には動きブレが生じてしまい、画像全体で位置合せをして加算平均しても動きブレを除くことはできないという課題を有している。また、露出時間を短くすると各画像において被写体の撮像自体が困難となるという課題を有している。
【０００８】
本発明は、前記従来の課題を解決するもので、暗い環境下で、異なる動きを持つ複数の被写体が存在する画像であってもＳ／Ｎ比が高く、動きブレの少ない画像を得る画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短いことを特徴とする。
【００１０】
この構成によれば、前記新たな動画像の複数のフレームが、前記静止画像との矛盾が小さくなるように生成される。短い露出時間で撮影される前記原動画像の各フレームは、動きブレが少ないという特徴を有する一方で、長い露出時間かつ高い解像度で撮影される前記静止画像は、前記被写体に関して前記原動画像の１フレームよりも時空間的に豊富な情報を含んでおり、これらの特徴を併せ持つように前記新たな動画像を生成することができる。
【００１１】
前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。
【００１２】
この構成によれば、前記原動画像を、被写体からの受光量が少ないほど１画素あたり大きな面積の撮像素子を用いて撮影することによって、露出時間が短いと低光量下で目立ちやすくなるノイズが抑制される。また、前記静止画像を、被写体からの受光量が少ないほど長くなる露出時間で撮影することによって、解像度が高いと低光量下で目立ちやすくなるノイズが抑制される。これは、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。
【００１３】
従って、本発明の画像生成装置によれば、前記原動画像以上のフレームレートで、前記静止画像以上の解像度を持ち、かつＳ／Ｎ比が高く動きブレを抑えた優れた特性を持った前記新たな動画像を生成することができる。
【００１４】
なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。
【発明の効果】
【００１５】
本発明の画像生成装置によれば、特に暗い環境において画像内で動きのある被写体を撮影する場合に、Ｓ／Ｎ比が高くかつ動きブレを抑えた新たな動画像を生成できる。
【発明を実施するための最良の形態】
【００１６】
本発明の一つの態様における画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短いことを特徴とする。
【００１７】
前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。
【００１８】
ここで、前記撮影条件決定手段は、さらに、温度を測定し、前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定してもよい。
【００１９】
また、前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つであるとしてもよい。
【００２０】
この構成によれば、前記新たな動画像の複数のフレームが、前記静止画像との矛盾が小さくなるように生成される。これにより、短い露出時間で撮影される前記原動画像の各フレームが持つ動きブレの少なさと、長い露出時間かつ高い解像度で撮影される前記静止画像が持つ前記被写体に関する豊富な情報量とを併せ持つように前記新たな動画像を生成することができる。
【００２１】
前記静止画像を、被写体からの受光量が少ないほど長くなる露出時間で撮影するか、又は前記原動画像を、被写体からの受光量が少ないほど１画素あたり大きな面積の撮像素子を用いて撮影することは、受光量が不足する場合に目立ちやすくなるノイズを効果的に抑制し、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。
【００２２】
前記静止画像を、温度が高いほど長くなる露出時間で撮影するか、又は前記原動画像を、温度が高いほど１画素あたり大きな面積の撮像素子を用いて撮影することは、温度が高いほど大きくなる熱雑音に対抗して、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。
【００２３】
また、画像生成装置は、さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。
【００２４】
この構成によれば、時間的、空間的な連続性が維持された新たな動画像を生成できるので、そのような連続性を強く示す自然界の映像に特に適した生成を行うことができる。
【００２５】
また、画像生成装置は、さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。
【００２６】
これによって、動き検出の手法による補間を用いて前記新たな動画像を生成できる。
【００２７】
以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて詳細に説明する。
【００２８】
図２は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。
【００２９】
画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。
【００３０】
図３は、図２に示された画像生成システム１００における画像生成装置３０の内部構成を示す機能ブロック図である。この画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４と、受光量決定部１０５とを備える。
【００３１】
画像入力部１０１は、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付けるインターフェース等であり、ここでは、高速（高速フレームレート）かつ低空間解像度で撮影した動画像（高速低解像度動画像）の入力を受け付ける（あるいは、取得する）高速画像入力部１０１ａと、高速画像入力部１０１ａと同じ対象を低速（低速フレームレート）かつ高空間解像度で撮影した動画像（低速高解像度動画像）の入力を受け付ける（あるいは、取得する）低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入力部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。
【００３２】
ここで、請求の範囲における「原動画像」の一例が前記高速低解像度画像であり、「静止画像」の一例が前記低速高解像度画像の個々のフレームである。
【００３３】
動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像または／およびセンサ入力部１０３ｃに入力された動き信号に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。
【００３４】
画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。
【００３５】
動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。
【００３６】
外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。
【００３７】
拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合を拘束指定部１０４ｅに通知する。
【００３８】
拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。
【００３９】
統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。
【００４０】
符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。
【００４１】
受光量決定部１０５において、光量センサ１０５ａで得た被写体からの光量と、温度センサ１０５ｂで得た画像入力部を構成する受光素子の温度とから、撮影条件決定部１０５ｃが画像入力部の撮影条件（露出時間、フレームレート、画素サイズ）を決定する。
【００４２】
なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。
【００４３】
次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図４は、画像生成装置３０の実行する処理のフローチャートである。
【００４４】
ステップ６００では、受光量決定部１０５では、光量センサ１０５ａで得た被写体からの光量と、温度センサ１０５ｂで得た受光素子の温度とから、撮影条件決定部１０５ｃが画像入力部の撮影条件（露出時間、フレームレート、画素サイズ）を決定する。また、前記撮影条件は後述する外部モデル拘束条件（目的とする高速高解像度動画像の画素値と、高速低解像度動画像および低速高解像度動画像の画素値との関係）を設定する際に使用する。
【００４５】
図５は、受光量決定部１０５が実行するステップ６００の処理の詳細を示すフローチャートである。
【００４６】
ステップ６５１では光量センサが被写体からの光量を測定する。光量センサは撮像素子と別に設けてもよく、撮像素子そのものを光量センサとして用いてもよい。ステップ６５２では温度センサが画像入力部を構成する受光素子の温度を計測する。
【００４７】
ステップ６５３では、前記光量と温度に基づいて撮像素子の各画素に必要な受光量を決定する。ここで、必要とするＳ／Ｎ比は、あらかじめ設定しておく。撮影画像に含まれるノイズは撮像素子の温度に依存する成分と入射光自体に含まれる成分が存在する。ノイズの温度依存性ノイズの温度依存性は撮像素子により異なるため、あらかじめ温度とノイズの関係を求めておく。温度と光量からノイズ強度Ｎが決定でき、光量から信号強度Ｓが決定できる。光量が増すほどＳ／Ｎ比は向上する。よって、必要とするＳ／Ｎ比に基づいて必要な光量（受光量）を決定する。例えば、信号強度とノイズ強度との比を１００とする場合、ノイズ強度が１０であれば必要な信号強度を１０００に設定する。
【００４８】
ステップ６５４では、低速高解像度画像が前記必要な受光量を満たすための撮影条件を求める。低速高解像度画像では露出時間を変えることで必要な受光量を得る。ステップ６５３で求めた必要な受光量をステップ６５１で得た被写体からの単位時間あたりの光量で割ることで、必要な露出時間を得ることができる。
【００４９】
ステップ６５５では、高速低解像度画像が前記必要な受光量を満たすための撮影条件を求める。高速低解像度画像では画素サイズ、つまり高速低解像度画像の１画素を撮影するために用いられる撮像素子の面積を変えることで必要な受光量を得る。高速低解像度画像のフレームレートは低速高解像度画像の露出時間よりも短く設定する。高速低解像度画像の露出時間はフレーム間隔を上限として設定し、必要な受光量を設定した露出時間で割ることで、必要な画素サイズを決定する。画素サイズの変更は撮像素子を構成する各画素の光電変換後の電荷蓄積部を隣接する画素同士で電気的に結合することなどで実現できる。
【００５０】
上記のフローチャートでは、温度と光量とに基づいて必要な光量を決定したが、温度は平均的な温度を仮定し、被写体の光量のみで必要な光量を決定するようにしてもよい。また、上記の例では、必要な光量に応じて、低速高解像度画像の露出時間と高速低解像度画像の画素サイズとを決定していたが、どちらか一方は平均的な値に固定し、一方のみを可変として処理を行っても本発明の効果は得られる。
【００５１】
また、必要な光量を超える受光量を得るように設定してもよいが、入力画像の長時間の露出や画素サイズの拡大による時空間解像度の低下を抑え、生成画像の時空間解像度向上を効果的に行うためには、必要な受光量にあわせて受光量を設定しておくことが望ましい。なお、露出時間や画素サイズは画像全体で同じ値を設定してもよいし、フレーム毎や画像内の位置毎に変更してもよい。その場合、フレームごとや画像の位置毎に被写体からの光量を計測する。
【００５２】
再び図４のフローチャートにおいて、ステップ６０１では、前記撮影条件に従って、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。
【００５３】
高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図６（ａ）および図６（ｂ）に示す。図６（ａ）および図６（ｂ）は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１およびフレーム２０２は低速高解像度の画像を表し、フレーム２１１〜２１５は高速低解像度の画像を表している。
【００５４】
図６（ａ）および図６（ｂ）において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１およびフレーム２０２に比べて画素数が少なく空間解像度が低く、画素サイズが大きい。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１およびフレーム２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図６（ａ）では、低速高解像度動画像のフレーム２０１は、図６（ｂ）の高速低解像度動画像の４フレーム間隔分の露出が行われている。
【００５５】
なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、Ｓ／Ｎ比が高く、動きブレを抑えた時空間解像度の高い動画像を生成することが可能となる。
【００５６】
ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図７（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図７（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図７（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。
【００５７】
次に、図８（ａ）〜（ｃ）を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａに入力される高速低解像度動画像および低速画像入力部１０１ｂに入力される低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。
【００５８】
ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図８（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図８（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（Ｘ，Ｙ，ｔ）の画素の値をＨＨ（Ｘ，Ｙ，ｔ）とする。ここでＸとＹは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。
【００５９】
同様に、図８（ｂ）は、図８（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ＸＬ，ＹＬ，ｔ）の画素値をＨＬ（ＸＬ，ＹＬ，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれＸＬ、ＹＬと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。低解像度の画像は高解像度画像の９画素の和となり、１画素が受光する光量が増すことになる。実際に加算する画素の範囲は、ステップ６５５において決定する。
【００６０】
【数１】
2008047664.tif 000046
【００６１】
同様に、図８（ｃ）は、図８（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔL）の画素
値をＬＨ（ｘ，ｙ，ｔL）と表す。
【００６２】
高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。低解像度の画像は高解像度画像の３フレームの和となり、１画素が受光する光量が増すことになる。実際の露出時間は、ステップ６５４において決定する。
【００６３】
【数２】
2008047664.tif 000047
【００６４】
ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。
【００６５】
なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、数３の関係式を用いる。数１、数２のＨＨ（ｘ，ｙ，ｔ）を数３でＨＨcont（ｘ，ｙ，ｔcont）に置き換えることで、時間的に連続した入力に対する劣化過程を表現することが出来る。
【００６６】
【数３】
2008047664.tif 000048
【００６７】
数３において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当し、ｔcontは連続した時間、ＨＨｃｏｎｔ（ｘ，ｙ，ｔcont）は時間的に連続な画像、Ｅｘｐ（ｔcont）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。
【００６８】
図６（ａ）および図６（ｂ）に示すように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、受光量を増すことができ、相対的にノイズを抑えた画像を撮影することが可能となり、Ｓ／Ｎ比が高く、動きブレを抑えた高速高解像度動画像を生成が可能となる。また、画素サイズの大きい低解像度画像としての場合でも受光量を増すことが可能となり、Ｓ／Ｎ比が高く、動きブレを抑えた高速高解像度動画像の生成が可能となる。
【００６９】
以上の例では、画素値は撮像時の入射光量に比例する場合（図９（ａ））で説明したが、γ補正等により比例しない場合（図９（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図９（ｃ）のような画素値と補正値の対応関係を用いることで図９（ｂ）のようにして得られた画素値を補正し、図９（ａ）のようにして得られた画素値と同様に処理することができる。
【００７０】
また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ，Ｇ，Ｂのカラー値が存在する場合にもＲ，Ｇ，Ｂの個々の値について輝度値と同様の関係が得られる。
【００７１】
他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、
【００７２】
【数４】
2008047664.tif 000049
【００７３】
のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、
【００７４】
【数５】
2008047664.tif 000050
【００７５】
のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数４、数５において、ＸmaxとＹmaxとｔmaxはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。
【００７６】
このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。
【００７７】
他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば
【００７８】
【数６】
2008047664.tif 000051
【００７９】
に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、
【００８０】
【数７】
2008047664.tif 000052
【００８１】
のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数６、数７のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉmaxまでの整数値をとるものとする。また、数７の（ｉx、ｉy）はｉ番目のエッジの向きの方向を表すベクトルを示す。
【００８２】
また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）は画像中の（ｘ、ｙ、ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数８のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。
【００８３】
【数８】
2008047664.tif 000053
【００８４】
は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。
【００８５】
ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。
【００８６】
また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、
【００８７】
【数９】
2008047664.tif 000054
【００８８】
のＱｐｃのようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。
【００８９】
例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と高速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。
【００９０】
ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと高速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。
【００９１】
新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。
【００９２】
平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと高速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。
【００９３】
ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。
【００９４】
次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。
【００９５】
また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。
【００９６】
隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｆｒａｍｅｗｏｒｋ  ａｎｄ  ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  Ｍｅａｓｕｒｅｍｅｎｔ  ｏｆ  Ｖｉｓｕａｌ  Ｍｏｔｉｏｎ”，ＩＪＣＶ，２，２８３−３１０（１９８９）(非特許文献１)で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。
【００９７】
また、画像全体の大域的動き（アフィン動きなど）検出の一般的手法や、Ｌｉｈｉ  Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ  Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｔｉｎｇ  Ｍｏｔｉｏｎ  Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）(非特許文献２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
【００９８】
信頼度の求め方については、上記（非特許文献１）に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数１０のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤmaxから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
【００９９】
また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤmaxから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
【０１００】
【数１０】
2008047664.tif 000055
【０１０１】
数１０において、位置（ｘ’、ｙ’、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置である。また、数１０のΣはブロックマッチングで用いるブロック領域内での加算を表す。
【０１０２】
なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。
【０１０３】
また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。
【０１０４】
例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。
【０１０５】
カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。
【０１０６】
実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。
【０１０７】
このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。
【０１０８】
次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図１０（ａ）および図１０（ｂ）を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。
【０１０９】
図１０（ａ）と図１０（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図１０（ａ）および図１０（ｂ）では、説明に必要な高解像度画素のみ図示している。
【０１１０】
ここで、動き検出部１０３が動き検出を行った結果として、図１０（ａ）の太線５０１の低解像度画素位置が、図１０（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。
【０１１１】
従って、低解像度画像の動き検出の結果を用いて、図１０（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１１の関係を得ることができる。
【０１１２】
この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について
【０１１３】
【数１１】
2008047664.tif 000056
【０１１４】
の関係が成り立つと想定する。
【０１１５】
ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図１０（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図１０（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。
【０１１６】
次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。
【０１１７】
拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１１で示す動き検出結果と高速高解像度動画像との関係と、上記数４、数５、数６、数７、数９などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１２に総合的な拘束条件Ｊの例を示す。
【０１１８】
【数１２】
2008047664.tif 000057
【０１１９】
数１２において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ’と高速画像入力部１０１ａに実際に入力される高速低解像度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ’と、低速画像入力部１０１ｂに実際に入力される低速高解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。
【０１２０】
数１２の右辺の第３項目は外部モデル拘束条件Ｑｓであり数４や数５の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１２の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１３に示す。
【０１２１】
【数１３】
2008047664.tif 000058
【０１２２】
数１３では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ，ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ’，ｖ’を用いて数１４のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１３と数１４のような拘束を併用しても良い。
【０１２３】
【数１４】
2008047664.tif 000059
【０１２４】
異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。
【０１２５】
数１２の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１２の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１２の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。
【０１２６】
ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をｃｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。
【０１２７】
λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてｃｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。
【０１２８】
他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（ｃｏｎｆ＿ｍａｘ）−ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。
【０１２９】
次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条件Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１５の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像度の画像を出力する。
【０１３０】
【数１５】
2008047664.tif 000060
【０１３１】
より具体的な入力画像の組と出力画像の例を図１１から図１６を用いて説明する。
【０１３２】
ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。
【０１３３】
ここで、図１１（ａ）〜（ｄ）は、暗くて動きのある対象を仮に高Ｓ／Ｎ比かつ高速高解像度で撮影できた場合の画像を示す。図１１（ａ）〜（ｄ）の映像は本来撮影により取得できないが、説明の為に示す。図１１（ａ）〜（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。
【０１３４】
図１２（ａ）〜（ｄ）は、このような被写体を、高速高解像度で撮影した場合の画像を示す。被写体が暗いため、相対的にノイズ（図の斜線の升目）が多い画像となる。ノイズの発生位置はランダムであり、フレームごとにも変化する。
【０１３５】
このような被写体に対して、被写体からの光量と撮像素子の温度から必要な受光量を決定し、高速低解像度動画像と低速高解像度動画像の撮影条件と拘束条件を決定する（ステップ６００）。次に、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。
【０１３６】
このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１３（ａ）〜（ｄ）に示す。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図１１（ａ）〜（ｄ）と同じであるが、空間解像度が図１１（ａ）〜（ｄ）よりも低い。また、画素サイズが大きく受光量が増すため、図１２（ａ）〜（ｄ）に比べノイズが抑制されている。
【０１３７】
同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１４に示している。空間解像度は図１１（ａ）〜（ｄ）と同じであるが、図１１（ａ）〜（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。低速高解像度動画像では露出時間が長く、光量が増すため、図１２（ａ）〜（ｄ）に比べノイズが抑制されている。
【０１３８】
次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図１１（ａ）〜（ｄ）の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図１１（ａ）〜（ｄ）の画像領域に関する結果を得ても良い。
【０１３９】
図１５に信頼度の分布の例を示す。図１５（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。図１５（ｂ）および（ｃ）において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。
【０１４０】
図１１（ａ）〜（ｄ）の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。
【０１４１】
図１６に生成した画像の例を示す。図１６（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の撮影時間に対応する。受光量を増すことでノイズ成分を相対的に抑制した入力画像（図１３（ａ）〜（ｄ）、図１４）を用いていることで図１２（ａ）〜（ｄ）とは異なり、ノイズを抑制し、動きブレも抑制された高速高解像度の画像が得られている。
【０１４２】
２つの被写体が接近するフレーム図１６（ｂ）、（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図１１（ｂ）、（ｃ）の映像に近い映像が得られる。
【０１４３】
対比のため、図１７（ａ）〜（ｄ）には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１７（ｂ）、（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。
【０１４４】
図１７（ｂ）、（ｃ）の結果とは異なり、図１６（ｂ）、（ｃ）の結果では、動き検出が図１５（ｂ）、（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数４、数５など）やエッジの連続性（数６、数７など）や動画像の主成分の傾向（数９など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。
【０１４５】
本発明のように低速高解像度画像において長時間露出を行うと、高解像度画像の撮像素子の受光部で十分な光量が蓄積でき、撮像素子自身が発生する熱雑音の影響が相対的に小さい画像を得ることができる。この画像と、高速低解像度画像（受光部の面積が高解像度画像に比べて相対的に大きくできるため、熱雑音の影響を受けにくい）で得た、輝度や動きの情報を用いて高速高解像度画像を生成することで、被写体が暗くてかつ移動している場合でもノイズの少ない画像を得やすいという特有の効果がある。
【０１４６】
上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像度化されている度合いを予測する値である。γの決め方としては、以下の数１６に示される動きの信頼度の総和や、
【０１４７】
【数１６】
2008047664.tif 000061
【０１４８】
有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。なお、数１５などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．，  Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ，  Ｇ．Ｗ．ａｎｄ  Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，“Ａｎ  Ｅｓｔｉｍａｔｅ  ｆｏｒ  ｔｈｅ  Ｃｏｎｄｉｔｉｏｎ  Ｎｕｍｂｅｒ  ｏｆ  ａ  Ｍａｔｒｉｘ”，ＳＩＡＭ  Ｊ．Ｎｕｍ．  Ａｎａｌ．１６（１９７９），３６８−３７５．(非特許文献３)などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。
【０１４９】
このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図１８のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。
【０１５０】
同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の早送り再生や一次停止時などの画質を向上させることが可能となる。例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。
【０１５１】
なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。
【０１５２】
また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画像を生成することが可能である。また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補間拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補間拡大された場合であっても、両者を合せることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。
【０１５３】
このようなカラー画像に対する処理の手順を図１９に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図４の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。
【０１５４】
以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像度の動画を得ることができる。
【０１５５】
なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像度の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像度の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。
【０１５６】
また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。
【０１５７】
図２０に空間的に重複を持たせて領域分割をした例を示す。図２０では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図２０と同様に領域分割しても良い。
【０１５８】
このように、重複領域を持たせることで、領域分割処理において隣接する領域間での処理結果の不連続性を抑制する事ができる。
【０１５９】
なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。
【０１６０】
また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１７のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。
【０１６１】
【数１７】
2008047664.tif 000062
【０１６２】
ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。
【０１６３】
なお、上記の例では、高速低解像度画像のフレームレートと同じフレームレートかつ低速高解像度画像と同じ画素数の画像を生成する例を示したが、同様の処理を用いて、高速低解像度画像のフレームレートよりもさらに高いフレームレートの画像や、低速高解像度画像よりもさらに画素数が多い画像を生成することも可能である。
【０１６４】
例えば、高速低解像度画像のフレームレートのｎ倍（例えば２倍）のフレームレートの画像を生成する場合には、数１と数２に代えて、数１８と数１９を用いて同様の処理を行えばよい。
【０１６５】
【数１８】
2008047664.tif 000063
【０１６６】
【数１９】
2008047664.tif 000064
【０１６７】
ここで、ｘ、ｙ、ｔは生成される画像のｘｙ座標とフレーム番号を表し、ｔLは低速高解像度画像のフレーム番号、ｘL、ｙL、ｔHLは高速低解像度画像のｘｙ座標とフレーム番号を表している。
【０１６８】
数１８では、数１と同様にＨＨ画像を空間方向（ｘｙ方向）に加算し、さらには時間方向にも２フレーム加算して高速低解像度画像の画素値が得られることを示している。数１９では数２と比べてフレーム加算数が２倍になっている。
【０１６９】
動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘL，ｙL，ｔHL）、ｖ（ｘL，ｙL，ｔHL）、及びｃｏｎｆ（ｘL，ｙL，ｔHL）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。
【０１７０】
ここで、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、及びｃｏｎｆ（ｘ，ｙ，ｔ）は、それぞれｕ（ｘL，ｙL，ｔHL）、ｖ（ｘL，ｙL，ｔHL）、及びｃｏｎｆ（ｘL，ｙL，ｔHL）を時間方向にｎ倍（例えば２倍）に拡大し、空間方向にｍ倍（例えば３倍）に拡大する時空間補間拡大によって算出する。
【０１７１】
特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘL，ｙL，ｔHL）、ｖ（ｘL，ｙL，ｔHL）を時空間補間拡大して得た値をｍ／ｎ倍して用いるとよい。これは、フレーム間隔が１／ｎ倍になるため、被写体の動きについて等速運動を仮定すると動きの大きさも１／ｎ倍になることと、１フレームの画素数がｘｙ方向それぞれｍ倍になるため、同じ大きさの動きを表現するための値がｍ倍になるためである。
【０１７２】
また、低速高解像度画像の画素数の、縦横ともにｎ’倍（例えば２倍）の画素数の画像を生成する場合には、数１と数２に代えて、数２０と数２１を用いて同様の処理を行えばよい。
【０１７３】
【数２０】
2008047664.tif 000065
【０１７４】
【数２１】
2008047664.tif 000066
【０１７５】
ここで、ｘ、ｙは生成される画像の画素のｘｙ座標を示し、ｘLHとｙLHは低速高解像度画像の画素のｘｙ座標を示し、ｘL，ｙLは高速低解像度画像の画素のｘｙ座標を示す。数２０では数１と比べてｘｙ方向の画素の加算数がそれぞれ２倍になっている。数２１では数２と同様の時間方向の加算に加え、ｘｙ方向の加算により低速高解像度の画素値が得られることを示している。
【０１７６】
動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘL，ｙL，ｔ）、ｖ（ｘL，ｙL，ｔ）、ｃｏｎｆ（ｘL，ｙL，ｔ）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。
【０１７７】
ここで、ｃｏｎｆ（ｘ，ｙ，ｔ）、ｕ（ｘ，ｙ，ｔ）、及びｖ（ｘ，ｙ，ｔ）は、それぞれｃｏｎｆ（ｘL，ｙL，ｔ）、ｕ（ｘL，ｙL，ｔ）、及びｖ（ｘL，ｙL，ｔ）を空間方向にｎ’×ｍ倍に拡大する空間補間拡大によって算出する。
【０１７８】
特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘL，ｙL，ｔ）、ｖ（ｘL，ｙL，ｔ）を空間補間拡大して得た値をｎ’×ｍ倍して用いるとよい。これは、１フレームの画素数がｘｙ方向それぞれｎ’×ｍ倍になるため、同じ大きさの動きを表現するための値がｎ’×ｍ倍になるためである。
【０１７９】
また、上記の数１８、数１９を用いた処理と、数２０、数２１を用いた処理とを組み合わせることで、高速低解像度画像のフレームレートよりも高いフレームレートでかつ、低速高解像度画像よりも大きい画素数の画像を生成することも、容易である。
【０１８０】
以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
【０１８１】
例えば、図４のフローチャートのステップ６００において、光量センサ１０５ａで得た被写体からの受光量が、動画として必要なフレームレート間隔よりも短い露出時間で低速高解像度動画像の撮影が可能となる光量を上回る場合には、図５のフローチャートのステップ６５５で低速高解像度画像のフレームレートを高め、短い露出時間で撮像した低速高解像度動画像の画像のみを入力とし、目的とする高速高解像度動画像を生成してもよい。
【０１８２】
この場合、数１２の総合的な拘束条件Ｊにおける第１項｜ＨＬ−ＨＬ’｜2を０と置いて上記説明した処理を行うことによって、目的とする高速高解像度動画像を得ることができる。
【０１８３】
同様に、光量センサ１０５ａで得た被写体からの受光量が、最小の画素サイズで高速低解像度動画像の撮影が可能となる光量を上回る場合には、最小の画素サイズで撮像した高速低解像度動画像のみを入力とし、目的とする高速高解像度動画像を生成してもよい。
【０１８４】
この場合、数１２の総合的な拘束条件Ｊにおける第２項｜ＬＨ−ＬＨ’｜2を０と置いて上記説明した処理を行うことによって、目的とする高速高解像度画像を得ることができる。この拘束条件Ｊを用いた場合は、前記高速低解像度動画像の各画素と、前記各画素に対応する位置にある前記高速高解像度動画像の画素の合計との誤差を減少させることによって、前記高速高解像度動画像が生成される。
【０１８５】
ただし、低光量下ではもちろんのこと、被写体からの受光量が十分にあって、短い露出時間で低速高解像度画像を撮影できる場合や、最小の画素サイズで高速低解像度画像を撮影できる場合でも、低速高解像度画像および高速低解像度画像の両方を用いて高速高解像度画像を生成しても構わない。その場合でも、単位時間あたりの総入力画素数を上回る単位時間あたりの総画素数を持つ高速高解像度画像を生成することは可能である。
【０１８６】
従って、とりわけ撮像システムにおいて画像の入力および記録動作の処理速度が制限される場面において、本発明の画像生成装置を用いることによって、光量の多少に関わらず高解像度高フレームレートの画像を取得できるという効果が得られる。
【０１８７】
なお、光量が過剰な場合や被写界深度を調整するために、一般的な撮像システム同様、機械的な絞り機構を用いて光量調節がなされた後に、図４、図５のフローチャートに示す動作を行ってもよい。
【０１８８】
また、実施の形態では、統合処理部１０４ａが、拘束指定部１０４ｅによって指定される数１２の総合的な拘束条件Ｊに従って、入力された静止画像（低速高解像度画像のフレームの１つ）と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの合計との誤差（数１２の右辺の第２項）を減少させることによって、高速高解像度動画像を生成すると説明した。
【０１８９】
ここで、合計の代わりに、合計と定数倍の関係にあって合計とは実質的に等価な情報である平均を用いても構わない。すなわち、静止画像と、その静止画像の露光期間における目的とする高速高解像度動画像の複数のフレームの平均との誤差を減少させることによって、目的とする高速高解像度動画像を生成する構成も、本発明に含まれる。
【０１９０】
また、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。
【０１９１】
また、図２に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図２１に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。
【０１９２】
さらに、図２１に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。
【０１９３】
また、図２に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図２２に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。
【０１９４】
なお、請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、請求の範囲における「画像入力手段」、「動き検出手段」、「外部モデル拘束手段」、「画像統合手段」、「撮影条件決定手段」の一例が、それぞれ、実施の形態における画像入力部１０１、動き検出部１０３、外部モデル拘束部１０４ｄ、画像統合部１０４、受光量決定部１０５である。ただし、請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。
【産業上の利用可能性】
【０１９５】
本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
【図面の簡単な説明】
【０１９６】
【図１】図１は、従来の画像生成装置の構成を示すフローチャートである。
【図２】図２は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。
【図３】図３は、実施形態における画像生成装置の構成を示す機能ブロック図である。
【図４】図４は、画像生成装置の動作を示すフローチャートである。
【図５】図５は、受光量決定部の動作を示すフローチャートである。
【図６】図６（ａ）および（ｂ）は、入力画像の時系列の一例を示す図である。
【図７】図７（ａ）〜（ｃ）は、撮影装置の具体例を示す図である。
【図８】図８（ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。
【図９】図９（ａ）〜（ｃ）は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。
【図１０】図１０（ａ）および（ｂ）は、高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図である。
【図１１】図１１（ａ）〜（ｄ）は、生成する高速高解像度動画像のフレーム画像の一例を示す図である。
【図１２】図１２（ａ）〜（ｄ）は、高速高解像度動画像のフレーム画像の一例を示す図である。
【図１３】図１３（ａ）〜（ｄ）は、入力される高速低解像度動画像のフレーム画像の一例を示す図である。
【図１４】図１４は、入力される低速高解像度動画像のフレーム画像の一例を示す図である。
【図１５】図１５（ａ）〜（ｄ）は、信頼度の分布例を示す図である。
【図１６】図１６（ａ）〜（ｄ）は、生成された動画像のフレーム画像の一例を示す図である。
【図１７】図１７（ａ）〜（ｄ）は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。
【図１８】図１８は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフである。
【図１９】図１９は、カラーの動画像を統合する場合の処理手順を示すフローチャートである。
【図２０】図２０は、領域分割処理の一例を示す図である。
【図２１】図２１は、画像生成システムの具体例を示すブロック図である。
【図２２】図２２は、画像生成システムの具体例を示すブロック図である。
【符号の説明】
【０１９７】
１０    撮像装置
２０    画像記憶装置
３０    画像生成装置
４０    表示装置
１００    画像生成システム
１０１    画像入力部
１０１ａ  高速画像入力部
１０１ｂ  低速画像入力部
１０２    符号化部
１０３    動き検出部
１０３ａ  動き分布算出部
１０３ｂ  動き信頼度分布算出部
１０３ｃ  センサ入力部
１０４    画像統合部
１０４ａ  統合処理部
１０４ｂ  拘束制御部
１０４ｃ  動き拘束指定部
１０４ｄ  外部モデル拘束部
１０４ｅ  拘束指定部
１０５    受光量決定部
１０５ａ  光量センサ
１０５ｂ  温度センサ
１０５ｃ  撮影条件決定部
３００    カメラ
４００    ディスプレイ機器
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008047664.tif 000067
【図２】
2008047664.tif 000068
【図３】
2008047664.tif 000069
【図４】
2008047664.tif 000070
【図５】
2008047664.tif 000071
【図６】
2008047664.tif 000072
【図７】
2008047664.tif 000073
【図８】
2008047664.tif 000074
【図９】
2008047664.tif 000075
【図１０】
2008047664.tif 000076
【図１１】
2008047664.tif 000077
【図１２】
2008047664.tif 000078
【図１３】
2008047664.tif 000079
【図１４】
2008047664.tif 000080
【図１５】
2008047664.tif 000081
【図１６】
2008047664.tif 000082
【図１７】
2008047664.tif 000083
【図１８】
2008047664.tif 000084
【図１９】
2008047664.tif 000085
【図２０】
2008047664.tif 000086
【図２１】
2008047664.tif 000087
【図２２】
2008047664.tif 000088
【手続補正書】
【提出日】平成20年5月20日(2008.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、
前記原動画像と前記静止画像とを受け付ける画像入力手段と、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、
前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短く、
前記画像生成装置は、
さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、
前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、
前記撮影条件決定手段は、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする画像生成装置。
【請求項２】
前記撮影条件決定手段は、さらに、温度を測定し、
前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項１記載の画像生成装置。
【請求項３】
さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項４】
さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、
生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項５】
前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つである
ことを特徴とする請求項１記載の画像生成装置。
【請求項６】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成する画像生成方法であって、
被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定ステップと、
前記撮影条件決定ステップで決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付ける画像入力ステップと、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合ステップとを含み、
前記撮影条件決定ステップで、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記動画像のフレーム間隔よりも長くかつ前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする画像生成方法。
【請求項７】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成するためのプログラムであって、
請求項６記載の画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明に係る画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短く、前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間として決定することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、この構成によれば、前記原動画像を、被写体からの受光量が少ないほど１画素あたり大きな面積の撮像素子を用いて撮影することによって、露出時間が短いと低光量下で目立ちやすくなるノイズが抑制される。また、前記静止画像を、被写体からの受光量が少ないほど長くなる露出時間で撮影することによって、解像度が高いと低光量下で目立ちやすくなるノイズが抑制される。これは、前記新たな動画像を高いＳ／Ｎ比で生成するために役立つ。
【手続補正書】
【提出日】平成20年9月2日(2008.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、
前記原動画像と前記静止画像とを受け付ける画像入力手段と、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、
前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短く、
前記画像生成装置は、
さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、
前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、
前記撮影条件決定手段は、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間、および、前記原動画像の動画撮影期間として決定する
ことを特徴とする画像生成装置。
【請求項２】
前記撮影条件決定手段は、さらに、温度を測定し、
前記測定された温度が高いほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記測定された温度が高いほど長くなる時間を、前記静止画像を撮影するための露出時間として決定する
ことを特徴とする請求項１記載の画像生成装置。
【請求項３】
さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項４】
さらに、前記画像入力手段が受け付けた前記原動画像から対象物の動きを検出する動き検出手段と、
生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、
前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項５】
前記静止画像は、フレームレートが前記原動画像のフレームレートよりも低く、かつ解像度が前記原動画像の解像度よりも高い他の動画像のフレームの１つである
ことを特徴とする請求項１記載の画像生成装置。
【請求項６】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成する画像生成方法であって、
被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定ステップと、
前記撮影条件決定ステップで決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付ける画像入力ステップと、
前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合ステップとを含み、
前記撮影条件決定ステップで、
前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、
前記動画像のフレーム間隔よりも長くかつ前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間、および、前記原動画像の動画撮影期間として決定する
ことを特徴とする画像生成方法。
【請求項７】
原動画像と、前記原動画像の各フレームの解像度よりも高い解像度で前記原動画像と同一の被写体を撮影した静止画像とから、前記被写体を表す新たな動画像を生成するためのプログラムであって、
請求項６記載の画像生成方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明に係る画像生成装置は、同一事象を撮影して得られた原動画像と静止画像とから、前記事象を表す新たな動画像を生成する画像生成装置であって、前記原動画像と前記静止画像とを受け付ける画像入力手段と、前記受け付けられた原動画像と静止画像とから、前記原動画像のフレームレート以上のフレームレートでかつ各フレームの解像度が前記静止画像の解像度以上である新たな動画像を、前記静止画像と、前記静止画像の露光期間における前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備え、前記原動画像の解像度は前記静止画像の解像度よりも低く、かつ前記原動画像のフレーム間隔は前記静止画像の露出時間よりも短く、前記画像生成装置は、さらに、被写体からの受光量を測定し、前記原動画像を撮影するための撮影条件及び前記静止画像を撮影するための撮影条件の少なくとも一方を、前記測定された受光量に応じて決定する撮影条件決定手段を備え、前記画像入力手段は、前記撮影条件決定手段によって決定された撮影条件に従って前記被写体を撮影することにより、前記原動画像と前記静止画像とを受け付け、前記撮影条件決定手段は、前記測定された受光量が少ないほど大きくなる面積を、前記原動画像の１画素を撮影するための撮像素子の面積として決定するか、又は、前記測定された受光量が少ないほど長くなる時間を、前記静止画像を撮影するための露出時間、および、前記原動画像の動画撮影期間として決定することを特徴とする。
【国際調査報告】
2008047664.tif 000089
2008047664.tif 000090
2008047664.tif 000091
2008047664.tif 000092