(57)【要約】  動きベクトルの計算無しで単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ多数の入力源（１００，１１８）の結合によって、画像シーケンスの空間および／または時間解像度を高めるためのシステム（図７ｂ）および方法。この向上システム（図７ｂ）はデジタルビデオ、アナログビデオ、いかなるフォーマットの静止画像を含むがこれらに限定されないいかなる光学的記録装置（１１１）で用いられることができる。本発明は単一フレーム解像度増加、多数の静止画像の組合せ、空間的または時間的向上の校正に対するオプションまたはそれらのいかなる組合せ、向上追加として高解像度スチルカメラ（１１８）を用いることによる増大されたビデオ解像度の如き特徴のための支持を含み、所望によりカメラ同期化法を用いて実行されることができる。
2005515675.tif 000002
【特許請求の範囲】
【請求項１】
空間−時間ビジュアルエンティティの時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための方法であって、
複数の空間−時間ビジュアルエンティティを提供するステップと、
前記複数の空間−時間ビジュアルエンティティからの情報を結合して前記解像度の少なくとも一つのアスペクトを調整するステップと、
を含む方法。
【請求項２】
前記複数の空間−時間ビジュアルエンティティの各々が、シーンの画像シーケンス、静止画像、ビジュアル検出器からのデータのストリーム、シーンのビデオデータ、またはそれらの組合せのうちの少なくとも一つを含む、請求項１に記載の方法。
【請求項３】
前記複数の空間−時間ビジュアルエンティティの各々がシーンの画像シーケンスを含む、請求項２に記載の方法。
【請求項４】
前記情報を結合して単一の画像シーケンスを形成する、請求項３に記載の方法。
【請求項５】
前記解像度が、複数の低解像度の画像シーケンス源からの情報を結合して、高解像度の画像シーケンスを構築することによって、時間および空間の少なくとも一つで増加する、請求項２ないし４のいずれかに記載の方法。
【請求項６】
前記低解像度の画像シーケンス源が異なる空間−時間解像度を特徴とする、請求項５に記載の方法。
【請求項７】
前記低解像度の画像シーケンス源が、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、適切なビデオフォーマットまたは静止画像のうちの少なくとも二つからのビデオデータを含む、請求項６に記載の方法。
【請求項８】
前記シーンのデータを得るために複数の画像カメラのシーケンスを提供する、請求項２ないし７のいずれかに記載の方法。
【請求項９】
前記複数の画像シーケンスの源を提供する前記ステップが、
前記複数の画像カメラのシーケンスの相対物理位置を得るステップ、
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記複数の画像シーケンスの源を提供する前記ステップが、
前記複数の画像シーケンスの時間的関係を獲得するステップ、
をさらに含む、請求項８に記載の方法。
【請求項１１】
前記時間解像度を高めるために多数の画像カメラのシーケンスを決定するステップ、
をさらに含む、請求項１ないし１０に記載の方法。
【請求項１２】
前記相対物理位置を事前校正プロセスで獲得する、請求項９に記載の方法。
【請求項１３】
前記獲得ステップが、画像カメラのシーケンスの各対間のミスアラインメントを検出するステップ、および前記ミスアラインメントに対しミスアラインメント回復を実行するステップをさらに含む、請求項９ないし１０のいずれかに記載の方法。
【請求項１４】
少なくとも一シーケンスの画像カメラが複数の合同光学系を有する、請求項８ないし１３のいずれかに記載の方法。
【請求項１５】
少なくとも二シーケンスの画像カメラが合同光学系を共用する、請求項８ないし１３のいずれかに記載の方法。
【請求項１６】
前記複数の画像源のシーケンスを提供する前記ステップが、
前記複数の画像シーケンスの相対的時間順序を得るステップ、
をさらに含む、請求項８ないし１５のいずれかに記載の方法。
【請求項１７】
前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
前記複数の画像カメラのシーケンスを同期するための時間同期ハードウェアを提供するステップ、
を含むようにした、請求項１３に記載の方法。
【請求項１８】
前記時間同期ハードウェアが前記複数の画像カメラのシーケンスのサンプリング時間の間の位相シフトを実行する、請求項１７に記載の方法。
【請求項１９】
前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
前記画像シーケンスから正確な時間的アラインメントを決定するステップ、
を含むようにした、請求項１３に記載の方法。
【請求項２０】
前記解像度の調整が時間および空間の両方で行なわれる、請求項１ないし１９のいずれかに記載の方法。
【請求項２１】
前記解像度が時間または空間の一方でより大きく増加する、請求項１ないし２０のいずれかに記載の方法。
【請求項２２】
時間の解像度の増加が一つまたはそれ以上の空間アーチファクトを低減する、請求項１ないし２１のいずれかに記載の方法。
【請求項２３】
前記解像度の調整が少なくともコントラストを調整することによって行なわれる、請求項１ないし２２のいずれかに記載の方法。
【請求項２４】
前記コントラストが、色解像度またはグレースケール解像度の少なくとも一つを調整することによって調整される、請求項２３に記載の方法。
【請求項２５】
前記色解像度または前記グレースケール解像度の少なくとも一つが向上する、請求項２４に記載の方法。
【請求項２６】
前記コントラストが、ダイナミックレンジを調整することによって調整される、請求項２３に記載の方法。
【請求項２７】
前記コントラストの調整が、１画素当たりのビット数を増加することを含む、請求項２６に記載の方法。
【請求項２８】
前記ダイナミックレンジが向上する、前記請求項２７に記載の方法。
【請求項２９】
前記解像度の調整が超解像の達成を含む、請求項１ないし２８のいずれかに記載の方法。
【請求項３０】
超解像が高解像度周波数を再構築する能力を含み、前記高解像度周波数が前記複数の空間−時間ビジュアルエンティティのいずれでも表わされない、請求項２９に記載の方法。
【請求項３１】
超解像が空間超解像を含む、請求項２９または３０に記載の方法。
【請求項３２】
超解像が時間超解像を含む、請求項２９または３０に記載の方法。
【請求項３３】
前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションエイリアシングを解消することを含む、請求項３２に記載の方法。
【請求項３４】
前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションブラーを低減することを含む、請求項３２に記載の方法。
【請求項３５】
前記超解像が空間および時間の両方で実行される、請求項２９または３０のいずれかに記載の方法。
【請求項３６】
前記複数の空間−時間ビジュアルエンティティの各々が少なくとも一つのユニットを含み、各ユニットが複数のサブユニットを含み、前記複数の空間−時間ビジュアルエンティティがサブユニットレベルのミスアラインメントを生じ、前記情報がサブユニットミスアラインメントに応じて結合される、請求項１ないし３５のいずれかに記載の方法。
【請求項３７】
前記サブユニットミスアラインメントが空間または時間ミスアラインメントの少なくとも一つを含む、請求項３６に記載の方法。
【請求項３８】
前記サブユニットミスアラインメントが空間および時間ミスアラインメントの両方を含む、請求項３７に記載の方法。
【請求項３９】
前記サブユニットミスアラインメントが予め定められる、請求項３６ないし３８のいずれかに記載の方法。
【請求項４０】
前記複数の空間−時間エンティティが複数の画像データシーケンスの源を含み、データの画像のシーケンスの各源は、空間の第一関連サンプリングレートおよび時間の第二関連サンプリングレートを持ち、解像度が複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートに従って増加する、請求項１ないし３９のいずれかに記載の方法。
【請求項４１】
前記複数の画像データシーケンスの源から前記情報を結合する前記ステップが、
前記複数の画像データのシーケンスの源をより高解像度の画像データのシーケンスに変換するために、空間および時間の少なくとも一つに従って変換を決定するステップ、
を含む、請求項４０に記載の方法。
【請求項４２】
前記高解像度の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記時間のサンプリングレートおよび空間のサンプリングレートが前記複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートの各々の最高値より高い、請求項４１に記載の方法。
【請求項４３】
前記高解像の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、画像データの残りのシーケンスの各々の対応するレートより高く、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、高い時間サンプリングレートを持つ画像データのシーケンス以外の少なくとも一つのシーケンスの画像データの対応するレートより高い、請求項４１に記載の方法。
【請求項４４】
前記変換を決定する前記ステップが、
前記複数の画像シーケンスの源の各々に対し空間座標および時間座標の少なくとも一つを決定するステップと、
前記複数の画像シーケンスの源の各々に対する空間座標および時間座標の前記少なくとも一つの間のアラインメントを決定するステップと、
を含む、請求項４１に記載の方法。
【請求項４５】
前記時間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が時間の一次元アフィン変換を含む、請求項４４に記載の方法。
【請求項４６】
前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が二次元射影変換を含む、請求項４４に記載の方法。
【請求項４７】
前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が、
画像シーケンスの各源を得るために相対物理位置を回復するステップ、
を含む、請求項４４に記載の方法。
【請求項４８】
画像シーケンスの各源がカメラから得られ、前記変換がさらに、
各カメラに少なくとも一つの校正係数を決定するステップと、
前記少なくとも一つの校正係数に従って前記空間座標を調整するステップと、
を含む、請求項４６または４７のいずれかに記載の方法。
【請求項４９】
撮像プロセスの制限から結果的に低解像度が生じ、前記低解像度からの時間および空間の解像度の低下がカーネルの畳み込みによってモデル化される、請求項１ないし４４のいずれかに記載の方法。
【請求項５０】
前記カーネルが、前記複数の画像シーケンスの源からの前記データの別個部分に対し複数の領域カーネルを含む、請求項４９に記載の方法。
【請求項５１】
前記空間の解像度の低下が点広がり関数によってモデル化される、請求項５０に記載の方法。
【請求項５２】
前記空間点広がり関数が、前記複数の画像シーケンスの源の視野に沿って変化する、請求項５１に記載の方法。
【請求項５３】
前記複数の画像シーケンスの源の各々の畳み込みカーネルが既知である、請求項４９ないし５２のいずれかに記載の方法。
【請求項５４】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、予め定められたヒューリスティックに従って近似される、請求項５１に記載の方法。
【請求項５５】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、事前校正ステップで測定される、請求項５３に記載の方法。
【請求項５６】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、実時間計算に従って近似される、請求項４９ないし５３のいずれかに記載の方法。
【請求項５７】
時間の解像度の低下が、時間点広がり関数として露光時間関数によってモデル化される、請求項４９に記載の方法。
【請求項５８】
前記複数の画像シーケンスの源の各々の時間広がり関数が既知である、請求項５７に記載の方法。
【請求項５９】
前記時間広がり関数が、前記複数の画像シーケンスの源の各々の露光時間を制御することによって決定される、請求項５７に記載の方法。
【請求項６０】
前記時間広がり関数が、前記複数の画像シーケンスの源の各々からのデータに従って近似される、請求項５７に記載の方法。
【請求項６１】
前記ビジュアル空間−時間エンティティが入力画像シーケンスであり、前記入力画像シーケンスと前記高解像度出力との間の関係が積分方程式として表わされ、前記方法が前記積分方程式を解くステップをさらに含む、請求項１ないし６０のいずれかに記載の方法。
【請求項６２】
前記積分方程式が、
2005515675.tif 000028
を含む、請求項６１に記載の方法。
【請求項６３】
前記関係が前記空間および時間変換ならびに前記時間および空間広がり関数の両方を含む、請求項６１に記載の方法。
【請求項６４】
前記ビジュアル空間−時間エンティティが複数の入力画像シーケンスを含み、前記積分方程式を解く前記ステップがさらに、請求項６１ないし６３のいずれかの方程式をシミュレートする一組の方程式を構築するステップと、前記方程式を解くステップとを含み、前記組の方程式の未知数が出力画像シーケンスを構成する、請求項１ないし６３のいずれかに記載の方法。
【請求項６５】
前記構築するステップが、入力画像シーケンスの源からの画素に対する空間−時間点広がり関数の近似化を実行することによって、前記複数の入力画像シーケンスの各々からのデータに対して実行される、請求項６４に記載の方法。
【請求項６６】
前記構築するステップが、前記複数の画像シーケンスの源の各々からのデータを単一座標系に変換し、かつ前記変換のための各源の空間−時間点広がり関数に均等または不均等近似化の一方を実行することによって、前記複数の画像シーケンスの源の各々からのデータに対して実行される、請求項６４ないし６５のいずれかに記載の方法。
【請求項６７】
均等または不均等近似化の反対が空間および時間に対して実行される、請求項６６に記載の方法。
【請求項６８】
前記複数の画像シーケンスの源からの前記情報を結合する前記ステップがさらに、
一組の線形方程式：
2005515675.tif 000029
【請求項６９】
前記方程式がさらに正則化項を含む、請求項６１ないし６８のいずれかに記載の方法。
【請求項７０】
前記正則化項が前記方程式の滑らかな解への選好を追加する、請求項６９に記載の方法。
【請求項７１】
前記選好が少なくとも主軸に沿った滑らかさとして表現される、請求項６９または７０のいずれかに記載の方法。
【請求項７２】
前記選好が滑らかさとして表現され、空間−時間対角方向に沿って実行される、請求項６９ないし７１のいずれかに記載の方法。
【請求項７３】
前記選好が低位二次導関数を持つものとして表現される、請求項６９ないし７２のいずれかに記載の方法。
【請求項７４】
前記正則化項が少なくとも一つの重みに従って加重される、請求項６９ないし７３のいずれかに記載の方法。
【請求項７５】
前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータに従って決定される、請求項７４に記載の方法。
【請求項７６】
前記方程式が反復的に解かれ、前記少なくとも一つの重みが前の反復から決定される、請求項７４に記載の方法。
【請求項７７】
前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータの一次または二次導関数または前の反復またはそれらの両方に従って決定される、請求項７４ないし７６のいずれかに記載の方法。
【請求項７８】
前記空間−時間正則化項がさらに、
2005515675.tif 000030
に従って方向性正則化項を含む、請求項６９ないし７７のいずれかに記載の方法。
【請求項７９】
画像シーケンスの時間解像度を高めることを含む、画像シーケンスの空間アーチファクトを処理するための方法。
【請求項８０】
複数のカメラから情報を得る、請求項７９に記載の方法。
【請求項８１】
各シーケンスがピクセルを含み、出力シーケンスのピクセルが入力シーケンスのピクセルより高い時間解像度を有する、請求項７９または８０のいずれかに記載の方法。
【請求項８２】
複数の画像シーケンスを捕捉した後、複数の画像シーケンスの時間解像度を高めることを含む、複数の画像シーケンスのモーションブラーを低減するための方法。
【請求項８３】
画像シーケンスの時間解像度を高めることを含む、画像シーケンスの誘発空間ブラーを低減するための方法。
【請求項８４】
増加した解像度の画像シーケンスを提供するためのカメラであって、
（ａ）初期画像シーケンスを提供するための画像カメラのシーケンスと、
（ｂ）静止画像データを提供するためのスチルカメラと、
（ｃ）増加した解像度の画像シーケンスを提供するために前記静止画像データおよび前記初期画像シーケンスを積分するための積分器と、
を含むカメラ。
【請求項８５】
前記スチルカメラが前記画像カメラのシーケンスに物理的に近接して配置される、請求項８４に記載のカメラ。
【請求項８６】
前記スチルカメラおよび前記画像カメラのシーケンスが、同一光学系を有する同一装置内に配置される、請求項８４に記載のカメラ。
【請求項８７】
前記静止画像および前記画像シーケンスが、同一画像センサアレイの異なるサンプリングパターンによって生成される、請求項８４に記載のカメラ。
【請求項８８】
前記積分器が、前記複数の画像シーケンスの各々からの信号を受け取るための計算装置と、前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記信号の時間および空間の解像度の少なくとも一つのアスペクトを結合するためのスチルカメラとを含む、請求項８４に記載のカメラ。
【請求項８９】
（ｄ）前記画像カメラのシーケンスおよび前記スチルカメラを収容するためのハウジング、
をさらに含む、請求項８４ないし８８のいずれかに記載のカメラ。
【請求項９０】
前記積分器が合同光学積分器を含む、請求項８４ないし８７のいずれかに記載のカメラ。
【請求項９１】
前記積分器がチップを含む、請求項８４ないし８７のいずれかに記載のカメラ。
【請求項９２】
前記センサが時間または空間の少なくとも一つに異なる解像度を有する、請求項８４ないし９１のいずれかに記載のカメラ。
【請求項９３】
前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点拡散機能、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項８４ないし９２のいずれかに記載のカメラ。
【請求項９４】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項８４ないし９４のいずれかに記載のカメラ。
【請求項９５】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項８４ないし９４に記載のカメラ。
【請求項９６】
画像シーケンスの増加した解像度を提供するためのカメラシステムであって、
（ａ）物理的に分離した複数のカメラと、
（ｂ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記複数のカメラの各々からの信号を受け取り、かつ前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための計算装置と、
を含むシステム。
【請求項９７】
前記複数のカメラが同様の特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
【請求項９８】
前記同様の特性が空間解像度、フレームレート、および露光時間の少なくとも一つを含む、請求項９７に記載のシステム。
【請求項９９】
前記複数のカメラが少なくとも一つの異なる特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
【請求項１００】
前記少なくとも一つの異なる特性が、空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９９に記載のシステム。
【請求項１０１】
前記複数の画像カメラのシーケンスが、異なるビデオフォーマットを持つ複数のビデオカメラを含む、請求項９６ないし１００のいずれかに記載のシステム。
【請求項１０２】
前記複数のカメラが少なくとも一シーケンスの画像カメラおよび少なくとも一つのスチルカメラを含む、請求項９６に記載のシステム。
【請求項１０３】
前記センサが時間または空間の少なくとも一つで異なる解像度を持つ、請求項９６ないし１０２のいずれかに記載のシステム。
【請求項１０４】
前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９６ないし１０３に記載のシステム。
【請求項１０５】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項９６ないし１０４に記載のシステム。
【請求項１０６】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項９６ないし１０５に記載のシステム。
【請求項１０７】
増加した解像度の画像シーケンスを提供するためのカメラシステムであって、
（ａ）視覚信号を捕捉するための複数のセンサと、
（ｂ）前記視覚信号を積分するための積分器と、
（ｃ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを増加することによって、前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを増加するために、前記積分された信号を受け取るための計算装置と、
を含むカメラシステム。
【請求項１０８】
前記積分器が合同光学セットを含む、請求項１０７に記載のシステム。
【請求項１０９】
前記合同光学セットがビームスプリッタを含む、請求項１０８に記載のシステム。
【請求項１１０】
前記センサが異なる特性を有し、前記積分器がチップを含む、請求項１０７ないし１０９のいずれかに記載のシステム。
【請求項１１１】
前記センサが、時間または空間の少なくとも一つでシフトされるデータを生成する、請求項１０７ないし１１０のいずれかに記載のシステム。
【請求項１１２】
前記センサが時間または空間の少なくとも一つで異なる解像度を有する、請求項１０７ないし１１１のいずれかに記載のシステム。
【請求項１１３】
前記センサが少なくとも一つの異なる特性を有し、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項１０７ないし１１２に記載のシステム。
【請求項１１４】
前記複数のセンサが単一センサおよび複数の検出器として構成され、前記複数の検出器が時間または空間の少なくとも一つでシフトされる、請求項１０７ないし１１３に記載のシステム。
【請求項１１５】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項１０７に記載のシステム。
【請求項１１６】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項１０７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ複数の入力源の結合によって、空間または時間解像度を高めるためのシステムおよび方法に関する。
【背景技術】
【０００２】
ビデオ画像キャプチャの分野において、空間的および時間的に連続したシーンは、色、明るさ、およびグリッド上の位置（ｘ，ｙ）をはじめ、多数の特性を各々に有する離散画素のグリッドと表現するのが最も適した情報の電子セットに変換される。以下、グリッドをラスタ画像と呼び、画素をピクセルと呼ぶ。ピクセルのラスタをフレームと呼び、それらが迅速に連続して表示されたときに、それらが動画像の錯覚を生じるように、以下でビデオストリームを一続きのフレームと定義する。該方法はデジタルビデオの基礎を形成するものであり、当業界では周知である。
【０００３】
異なるフォーマットのビデオは異なる空間解像度を持つ。例えば、ＮＴＳＣは６４０×４８０ピクセルを持ち、ＰＡＬは７６８×５７６ピクセルを持ち、その他諸々である。これらの要素は画像で視覚的に検知することができる物体のサイズまたは空間的特徴を制限する。これらの制限は、静止画像撮影の技術にも当てはまる。
【０００４】
ビデオ撮影の技術では、解像度の問題はさらに、ビットマップ画像をカメラで捕捉することのできる速度、すなわちフレームレートによっても影響を受ける。以下、それを離散ビットマップがカメラによって生成される速度と定義する。フレームレートはビデオ画像の時間解像度を制限する。異なるフォーマットのビデオは、異なる時間解像度を持つ。例えばＮＴＳＣは毎秒３０フレームを有し、ＰＡＬは毎秒２５フレームを有し、その他諸々である。
【０００５】
画像の時間および空間解像度の制限は、ビデオストリームとしてビットマップ画像の表示によって生じる錯視に知覚エラーを生じる。ビデオカメラのフレームレートより高速で発生する迅速な動的事象は不可視であるか、あるいは録画ビデオシーケンスに正しく捕捉されない。この問題は、高速で動くボールの完全な動きまたは挙動を見ることが不可能であるスポーツビデオでしばしば明白である。
【０００６】
非常に高速な動きによって生じるビデオシーケンスには、二つの典型的な視覚効果がある。そのうち、最も一般的なものは、カメラの露光時間によって引き起こされるモーションブラーである。カメラは、露光時間の長さ全体にわたってシーンからの光を取り込んでフレーム（ビットマップ画像）を生成する。この露光時間中の動きの結果、高速で動く物体は、その軌跡に沿って目立つブラーを生じ、結果的に往々にして歪むかまたは認識不能の物体形状をもたらす。物体の動きが速ければ速いほど、この効果が強くなることが分かっている。
【０００７】
当業界でモーションブラーを低減するための従来の方法は、動く物体の事前のセグメント化およびそれらの動きの推定を必要とする。そのような動き解析は、激しい形状歪みの存在下では不可能であるかもしれず、あるいはモーションエイリアシングの存在下でモーションブラーを低減するのには無益である。したがって、静的および動的シーン構成要素を分離したりそれらの動きを推定する必要なく、複数のビデオシーケンスからの情報を使用してビデオストリームの時間的解像度を高めるシステムおよび方法に対する、まだ満たされていない要求がある。
【０００８】
カメラのフレームレートによって生じる第二の視覚効果は、モーションエイリアシングと呼ばれる時間的現象である。動きに基づく（時間的）エイリアシングは、高速で動く物体によって生じる軌跡が、カメラのフレームレートより高い周波数によって特徴付けられる場合に発生する。これが発生すると、高い時間周波数が低い時間周波数に「折り返され」、動く物体の歪んだまたは誤った軌跡さえ生じる。この効果は、車輪が高い周波数で回転するが、特定の速度を越えると間違った方向に回転しているように見え、あるいは回転していないようにさえ見える、当業界で周知の「ワゴンホイール効果」として知られる現象に最もよく示される。
【０００９】
モーションエイリアシングを免れないビデオをスローモーションで再生した場合、当業界に存在するフレームレートを高めるあらゆる高度の時間的補間を使用してこれを行なったときでも、この現象は是正されない。これは、遅くかつタイミングを誤ったサンプリングおよびブラーのため、単一ビデオシーケンスに含まれる情報が、非常に高速の動的事象の欠落情報を回復するには不十分であるためである。
【００１０】
当業界の伝統的な空間超解像は画像に基づいており、しかも空間だけである。サブピクセル変位で得られた多数の低解像度画像からの情報の結合によって、画像の空間解像度を高めるための方法は存在する。しかし、これらは静的シーンを前提としており、動的シーンに見られる制限された時間解像度は扱っていない。空間解像度と時間解像度は性質が異なるが、それらはビデオの分野では相互に関係しており、これは空間と時間との間で行なわれるトレードオフの選択肢を生み出す。今までのところ、同じ組の入力シーケンスに対し異なる出力シーケンス解像度の生成を可能にし、空間的鮮鋭度を犠牲にして時間解像度の大きい増加を達成することができ、あるいはその逆のことを達成できる、当業界で利用可能な超解像システムは無い。
【００１１】
当業界で公知の画像に基づく方法は、異なる空間−時間解像度の入力の登場により、有用性がさらに低下した。伝統的な画像に基づく超解像では、高解像度画像が低解像度画像に含まれる情報を組み込むので、異なる解像度の入力画像を結合する誘因が無い。これは、異なるカメラによって提供される相補的情報を利用することができ、（非常に高い空間解像度を持つ）高品質スチルカメラによって得られた情報を、（空間解像度は低いが、時間解像度が高い）ビデオカメラによって得られた情報と結合して、高い空間および時間解像度の改善されたビデオシーケンスを生成することができる、システムおよび方法に対する当業界の要求を一層重くしている。
【発明の概要】
【００１２】
動きベクトルの計算無しで単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ多数の入力源の結合によって、空間および／または時間解像度を高めるためのシステムおよび方法に対する、まだ満たされていない要求があり、それを持つことは非常に有用であろう。
【００１３】
本発明の好適な実施形態では、シーンの多数の低解像度ビデオデータストリームが、それらの時間、空間、または時間および空間解像度を高めるために、結合される。解像度は任意選択的に、空間および時間の両方を様々な程度に高めることができ、かつ任意選択的に一方を他方より大きく高めることができる。本発明の一実施形態では、より高い品質の新しく考案されたストリームを生成するために、空間の解像度を犠牲にして時間の解像度を高めることができ、その逆も然りである。
【００１４】
本発明の好適な実施形態では、これらのカメラは相互に物理的に近接していることが好ましく、多数の低解像度ビデオデータストリームは、空間または時間の少なくとも一方において元の入力ストリームのどれよりも高いサンプリングレートを有することによって特徴付けられる、単一のより高い解像度のビデオデータストリームに結合される。低解像度データストリームは任意選択的に、かつ好ましくは、異なる空間−時間解像度を持つことができ、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、その他のビデオフォーマット、または静止画像の少なくとも二つからのデータを含むことが最も好ましい。
【００１５】
本発明の好適な実施形態では、解像度の所望の増加を達成するために、低解像度ビデオストリームの必要最小限の数を算出することができる。加えて、超解像のための空間または時間の少なくとも一方における変換を任意選択的に決定することができる。
【００１６】
本発明の好適な実施形態では、二つまたはそれ以上の低解像度ビデオストリームの各々について空間および時間座標が算出され、任意選択的に必要な場合には調整によって、超解像を達成するために、空間および時間座標の少なくとも一つの間のアラインメントが生じる。調整が時間である場合、それは任意選択的に時間の一次元アフィン変換によって行なうことができる。調整が空間である場合、それは任意選択的に、各源の相対物理位置を突きとめ、次いで相対位置に従って空間座標を調整することによって行なうことができる。例えば各カメラのような各源の相対物理位置は任意選択的に、事前校正プロセスで得られる。
【００１７】
校正係数は任意選択的に各因子毎に決定することができ、空間座標はこの係数に従って調整することができる。
【００１８】
本発明の好適な実施形態では、ビデオ源からのデータを畳み込むためのカーネルが任意選択的に設けられ、該カーネルは任意選択的に、データの別個の部分のための領域カーネルを含むことができる。
【００１９】
本発明の好適な実施形態では、離散化は任意選択的に方程式
2005515675.tif 000003
2005515675.tif 000004
【００２０】
本発明の好適な実施形態では、空間−時間正則化項はさらに方向性正則化項
2005515675.tif 000005
を含むことができる。
【００２１】
本発明の好適な実施形態では、出力ストリームにおけるピクセルのダイナミックレンジは任意選択的に、入力シーケンスのそれより大きくすることができる。
【００２２】
2005515675.tif 000006
【００２３】
ブラー効果は、各フレームの各ピクセルの色が、動的シーンＳの空間−時間領域の色の積分であると言う事実に起因する。この積分は単一ピクセルの領域全体にわたる固定離散数を有するが、実際には、ピクセルは空間−時間の領域の離散化であるので、ピクセル全体では矛盾があるかもしれない。この領域の時間的範囲は、ビデオカメラの露光時間によって決定され、この領域の空間的範囲は、レンズおよび検出器の特性によって決定されるカメラの空間点広がり関数によって決定される。
【００２４】
二台またはそれ以上のビデオカメラによって録画されたビデオシーケンスは結合されて、高い空間−時間解像度のシーケンスＳｈを構築する。そのようなシーケンスは任意選択的により小さいブラー効果、または任意選択的に空間、時間、または二つのいずれかの校正組合せにおけるより細かいサンプリングを持ち、シーンまたは高速の動的事象から、低解像度シーケンスでは捕捉することができない微細な空間的特徴を捕捉する利点を有する。
【００２５】
任意選択的に、かつ好ましくは、多数の高解像度シーケンスＳｈは、空間的および時間的に異なる空間−時間ボリュームの空間−時間サンプリングレート（離散化）により生成することができる。したがって本発明は任意選択的に、非常に高い空間解像度を持つが時間解像度が低いビデオシーケンスＳｈ、高い時間解像度を持つが空間解像度が低いＳｈ、または二つの任意の組合せを生成することができる。
【００２６】
二台またはそれ以上のビデオカメラによって録画された各々のビデオの空間−時間解像度は、カメラのブラーおよびサブサンプリングによって決定される。これらは時間的および空間的に異なる特性を有する。露光時間によって誘発される時間的ブラーは、単一フレーム時間より一般的に小さい矩形カーネルの形状を有する（Τ＜フレーム時間）一方、空間的ブラーは数ピクセルの半径を持つガウス形状を有する（σ＞１ピクセル）。本発明はしたがって、得られる時間解像度の上限が、得られる空間解像度より高い。すなわち、時間解像度の改善に事実上寄与することができるシーケンスの数が、時間解像度の改善の場合、空間解像度の改善の場合より大きい。時間的ブラーの矩形の形状の公知の欠点は、物体に偽ハロー効果を与えるリンギング効果であり、それは正則化によって制御される。
【００２７】
2005515675.tif 000007
【００２８】
以下、解像度に関連する用語「向上」は、少なくとも一つの入力における多数の空間−時間点の少なくとも一部分が、少なくとも一つの他の入力の空間−時間点と同一にならないように、少なくとも一つの入力の少なくとも一つの次元に対する解像度の増加を含む。以下、用語「超解像」は、全入力の少なくとも一つの次元に対する解像度の増加を含む。
【００２９】
以下、用語「コントラスト」は、色解像度、グレースケール解像度、およびダイナミックレンジのうちの一つまたはそれ以上を含むことができる。
【００３０】
本発明は、画像のシーケンスのどんなデータでも、かつ／またはそのようなデータのどんな源でも、例えば画像カメラのシーケンスに、作動可能であることに注目されたい。以下でさらに詳述する通り、好適であるが非限定的な例として、画像データのシーケンスとしてのビデオデータ、および／または画像カメラのシーケンスとしてのビデオカメラがある。
【００３１】
異なる空間−時間解像度を持つデータ源からの情報を結合する能力は、画像／ビデオカメラの分野における幾つかの新しい用途およびビデオカメラ用の新しい撮像センサを導く。新しいカメラは任意選択的に、同一または異なる空間−時間解像度の幾つかのセンサを組み込むことができ、そこで出力シーケンスは、個々のセンサのどれよりも高い時間および／または空間解像度を持つことができる。同様の原理は任意選択的に、異なるグループの検出器のフレームレートおよび露光時間を制御する能力、ならびに提案されるアルゴリズムの利用により、オンセンサ圧縮を通して数ビットのデータで動作可能である高品質（おそらく時間超解像による）の出力ビデオシーケンスを導くことができる、個々の撮像センサの新しい設計を生み出すために使用することができる。
【００３２】
本発明をここで、単なる例として、添付の図面を参照しながら説明する。
図１は本発明に係る例示的システムの系統図。
図２は本発明に係る例示的システムの略ブロック図。
図３は本発明に係る例示的システムの代替的略ブロック図。
図４は本発明に係る提示実施形態のフローチャート。
図５は８台の低解像度カメラを持つ本発明に係る例示的システム。
図６はカメラが同期する本発明に係る例示的システムの系統図。
図７は異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。
図８は本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【００３３】
本発明は、静止画像、一連の画像、ビデオ録画、検出器からのデータのストリーム、単一センサ上に配列された検出器のアレイからのデータのストリーム、それらの組合せ等々をはじめ、それらに限らず、空間−時間ビジュアルエンティティの空間および時間の両方の解像度を高めるために統一フレームワークを提供する。高められた解像度の空間−時間ビジュアルエンティティは、多数のサブピクセル空間およびサブフレーム時間のミスアラインメントで得られる、動的シーンの複数のビデオシーケンスからの情報を結合することによって形成される。この時空超解像は、空間的ブラー、空間アーチファクト、モーションブラー、モーションエイリアシング等々をはじめ、それらに限らず、多数の効果を低減する。
【００３４】
本発明の好適な実施形態では、シーンの多数の低解像度ビデオデータストリームが、それらの時間、空間、または時間および空間解像度を高めるために、結合される。解像度は任意選択的に、空間および時間で異なる程度に高め、任意選択的に一方を他方より大きく高め、任意選択的に一方を他方の比例的犠牲により高めることができる。本発明の一実施形態では、空間の解像度を犠牲にして時間の解像度を高めることができ、その逆も然りである。本発明の別の実施形態では、カメラは意図的に、サブフレームまたはサブピクセルのミスアラインメントまたは両方で、位置がずらされる。これらのミスアラインメントは、任意選択的に装置の台数に応じて、任意選択的に予め定めておくことができる。
【００３５】
しかし、代替的に、この多数のビデオカメラの相対時間順序は、時間解像度を高めるために提供され、かつ／または決定され、かつ／または得られる。
【００３６】
本発明の好適な実施形態では、好ましくは相互に物理的に近接する任意の多数のビデオカメラがある場合、多数の低解像度ビデオデータストリームは、空間または時間の少なくとも一方において元の入力ストリームのどれよりも高いサンプリングレートを持つことを特徴とする、単一の高解像度ビデオデータストリームに結合される。入力ストリームが源から生じる場合、適切なアラインメントおよび／または対応付け方法を使用し、源間の点毎の空間−時間変換が既知であり、以下にリストするアルゴリズムに追加することができれば、これは克服することができる。低解像度データストリームは任意選択的に異なる空間−時間解像度とすることができ、次のデータ源すなわちＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、その他のビデオフォーマット、または静止画像の少なくとも二つからのデータを含むことができる。
【００３７】
本発明の好適な実施形態では、解像度の所望の増加を達成するために、低解像度ビデオストリームの必要最小限の数を算出することができる。加えて、ビデオの相対物理位置を決定した後、超解像のためのサブピクセルおよびサブフレーム精度で空間または時間の変換が決定される。これらはサブユニットの例であり、各空間−時間ビジュアルエンティティは少なくとも一つのユニットを含み、各ユニットは多数のサブユニットを含む。したがって、多数の空間−時間ビジュアルエンティティは任意選択的に、例えば変換による情報の結合が任意選択的にサブユニットミスアラインメントに従って実行されるように、サブユニットレベルで位置をずらすことができる。サブユニットミスアラインメントは任意選択的に、空間および／または時間ミスアライメントのうちの一つまたは両方を含むことができる。また、サブユニットミスアラインメントは任意選択的に予め定めておくことができ、あるいは代替的にデータから回復することができる。サブユニット自体は任意選択的にサブピクセルデータ、および／またはサブフレームまたはフレーム間ユニットの少なくとも一つを含むことができる。
【００３８】
様々な空間−時間ビジュアルエンティティの視野に沿って任意選択的に変動することができる空間点広がり関数は任意選択的に、予め定められたヒューリスティック実時間計算に従って近似化することができる。
【００３９】
時間解像度も空間−時間ビジュアルエンティティの間で変動することができる。時間解像度は任意選択的に事前に知ることができ、露光時間を制御することによって決定することができ、出現するデータに従って近似化することなどができる。
【００４０】
本発明の好適な実施形態では、二つまたはそれ以上の低解像度ビデオストリームの各々の間で空間および時間座標変換が計算され、必要な場合任意選択的に調整によって、任意選択的に後述するワープによって、超解像を達成するために、空間および時間座標の少なくとも一つの間でミスアラインメントが生み出される。調整が時間である場合、それは任意選択的に時間の一次元アフィン変換によって行なうことができる。調整が空間である場合、それは任意選択的に、各源の相対物理位置を突きとめ、次いで相対位置に従って空間座標を調整することによって調整することができる。任意選択的にカメラが相互に近接している場合には、この調整は任意選択的に２Ｄホモグラフィとして表現することができる。任意選択的にカメラが相互に近接していない場合には、調整は３Ｄ変換として実行することが好ましい。例えばスケーリングのような校正調整は任意選択的に、出力位置（出力シーケンス座標）に対する相対位置（基準入力シーケンス座標）から決定することができ、空間座標はこの校正調整に従って調整することができる。空間ミスアラインメント回復も任意選択的に、合同光学系を持つ単一カメラを使用することにより、容易に実行する（または完全に回避する）ことができる。
【００４１】
本願と同一人が所有し、少なくとも一名の同一発明者を有し、あたかも全文がここに記載されているかのようにここに参照によって組み込む、２００１年５月１０日に出願した公開米国特許出願第２００２００９４１３５号は、実際のビデオデータから正しいアラインメントを決定することによって、空間および／または時間ミスアラインメントのミスアラインメント回復のための方法を記載している。この方法は任意選択的に、本発明と共に使用することもできる。
【００４２】
本発明の好適な実施形態では、ビデオ源からのデータを畳み込むためのカーネルが任意選択的に提供され、カーネルは任意選択的に、データの別個の部分用の領域カーネルを含むことができる。
【００４３】
本発明の好適な実施形態は任意選択的に方程式
2005515675.tif 000008
2005515675.tif 000009
【００４４】
本発明の好適な実施形態では、空間−時間正則化項はさらに方向性正則化項
2005515675.tif 000010
を含むことができる。それは、任意選択的に主軸に沿って、または任意選択的に対角線に沿って、上記方程式に対する滑らかな解の選好を追加し、低位の二次導関数を有する。
【００４５】
この正則化項は、様々なビデオエンティティからのデータの特性に応じて、任意選択的にビデオデータ（または画像のシーケンス）の一次または二次導関数に応じて、任意選択的に少なくとも一つの重みで加重することができる。この重みは任意選択的に、画像のシーケンスの多数の源から、例えばビデオデータの多数の源からのデータに応じて決定することができる。方程式を反復的に解く場合、重みは任意選択的に前の反復から決定することができる。
【００４６】
超解像は任意選択的に、コントラストの光学特性に関して行なうこともできる。そのような超解像では、色解像度、グレースケール解像度、ダイナミックレンジ等をはじめ、それらに限らず、空間−時間ビジュアルエンティティの多数の特性が改善され、あるいは整列される。例えば、コントラストは任意選択的に、ダイナミックレンジを調整することによって調整される。次に、ダイナミックレンジは任意選択的に、一画素当たりのビット数を増加することによって調整することができる。
【００４７】
方程式を反復的に解く場合、重みは前の反復から決定することができる。
【００４８】
本発明の原理および動作は、図面および随伴する説明を参照することによっていっそうよく理解することができる。
【００４９】
図面を参照すると、図１ａは、本発明に係る例示的システムの系統図であり、多数の、少なくとも二台の低解像度ビデオカメラ１００がケーブル１０６を解して例示的記録装置１１１に接続されている。装置１１１は任意選択的に、かつ好ましくは、プロセッサ１１０、メモリ１１４、および例示的長期格納媒体１１２を含み、そのうちの後者は、いかようにも限定の意図無く、テープによって示されている。該システムは、実際の空間−時間シーン１０４の事象を記録する。
【００５０】
図１ｂでは、少なくとも二台の低解像度ビデオカメラ１００のうちの一台が、カメラ１００の関連コンポーネント内にシーン１０４の表現のデータを表示するように拡大されている。シーン１０４を記録することから得られたデータは、色、明るさ、および空間−時間グリッド上の位置および時間（ｘ，ｙ，ｔ）をはじめとする多数の特性を各々有する画素（ピクセル１０２）の三次元シーケンス１０５として、ビデオカメラ１００の装置内に捕捉される。図１ｂでは、図１ａからのシーン１０４の連続空間−時間ボリュームが、空間的および時間的に異なるブロックに離散化される。すなわち、ビデオフレームピクセルの強度値によって表わされる離散統一空間−時間ブロックに切断される。これらの離散ブロックは時間的および空間的に矩形である。すなわち、それらは固定境界と、サンプリングレート（一秒当たりのフレーム数）に従ってそれらが変化する特定の瞬間とを有し、したがってシーン１０４の記録のデータの離散化と記述される。本発明は、最終結果の現実感を改善するために、これらの離散化ブロックをシーン１０４のより小さく、より正確、かつより高い周波数の離散化に整形するシステムおよび方法に関する。
【００５１】
2005515675.tif 000011
【００５２】
図３に、領域１３０の二つの新しい離散を示す。持続時間１３４を同様の持続時間にマッピングする代わりに、持続時間１３４は、明らかに非常に異なる持続時間１３８および１４２にマッピングされる。同じことが、空間のｘおよびｙサイズにも行なわれる。それらは非互換性のｘおよびｙグリッド１４４および１４６にマッピングされ、処理しなければならない可視のサブピクセルサイズのサンプル領域１４８が残る。高解像度ピクセル１３６／１４０も示される。
【００５３】
2005515675.tif 000012
【００５４】
二つの入力シーケンスＴｉ＝１の間の空間−時間座標変換の必要性は、二台またはそれ以上のカメラの異なるセッティングの結果である。二つまたはそれ以上のシーケンス間の時間ミスアラインメントは、例えばカメラが同時に起動されなかったため、それらが異なるフレームレート（例えばＰＡＬおよびＮＴＳＣ）、異なる内部および外部校正パラメータ等を持つために、それらの間に時間ずれまたはオフセットがある場合に発生する。カメラのこれらの異なる機能特性は、結果的に時間ミスアラインメントを生じることがある。シーケンス間の時間ミスアラインメントは任意選択的に、同期ハードウェアの使用によって制御することができる。そのようなハードウェアは好ましくはカメラの多数の画像のシーケンスのサンプリング時間の間の位相シフトを実行することができ、時間超解像を実行するために必要である。
【００５５】
本発明の好適な実施形態では、そのような時間ミスアラインメントは、最も好ましくはサブフレーム時間単位で、時間の一次元アフィン変換によって、すなわち計算を主として点間のベクトルに対して実行し、点自体に対してはまばらに実行し、モデル化することができる。カメラの中心が好適に近くに集まっている場合、またはシーンが平面的である場合、空間変換は任意選択的に、標準画像アラインメント技術では基本的要件であるコヒーレントな外観の必要性を、任意選択的により容易に満たすことができるコヒーレントな時間挙動の要件に置き換えることによって可能になる、シーケンス間に共通の空間情報が無い場合でも二つのシーケンスの空間および時間アラインメントを可能にする手法、カメラ間ホモグラフィによってモデル化することができる。
【００５６】
2005515675.tif 000013
【００５７】
2005515675.tif 000014
【００５８】
図４は、時空超解像に影響する方程式１の使用時のステップを示す。図４ａに示す通り、段階１で、低解像度ビデオストリームが生成される。段階１０で解かれる線形方程式１を段階３で構築し始めるために、段階２で、ピクセルの光学濃度（レンズおよびセンサの光学特性によって誘導される点広がり関数）および様々な源の露光時間が測定され、あるいは外部からインポートされる。線形方程式の構築における選択肢について図４ｂで論じ、解の選択肢については図４ｄおよび４ｅで論じる。
【００５９】
本発明の好適な実施形態では、段階２で点広がり関数によって生じる空間的ブラーの典型的な支持体は数ピクセルであり（σ＞１ピクセル）、露光時間は通常単一フレームより小さい（Ｔ＜フレーム時間）。したがって本発明は、全ての入力カメラが同一フレームレートおよび露光時間を有する非限定の例示的事例で、追加的ブラーを生じる危険を冒さないために、出力時間サンプリングレートを少なくとも１／［（入力フレームレート）＊（入力露光時間）］だけ増加しなければならない。
【００６０】
2005515675.tif 000015
【００６１】
方向性正則化（段階９）は任意選択的に、ｘ，ｙ，ｔ方向から、Ｌｉを使用して表わすこともできる幾つかの他の空間−時間対角線に延長することができ、それにより、動き推定を適用する必要なく、小中の動きの改善された処理が可能になる。正則化演算子（現在低位の二次導関数カーネルである）は、不均一に分散された低解像度データからの高解像度画像の推定を改善するために、任意選択的に変形することができる。低解像度は撮像プロセスの限界の結果生じることに注目されたい。低解像度からの時間および空間のこの解像度低下は任意選択的に、かつ好ましくは、低位の既知のカーネルによる畳み込みによってモデル化される。また、空間の空間解像度低下は任意選択的に（追加的に、または代替的に）、点広がり関数によってモデル化される。段階９の任意選択的正則化は、少なくとも、方程式の数より多くの未知の変数（未知数）が方程式系に存在するときに、実行することが好ましい。
【００６２】
段階５で、空間および時間増加係数が選択され、その後、段階６で、要求される出力の座標が選択される。
【００６３】
本発明の好適な実施形態では、異なるカメラの測光反応に差異が見られる場合には、システムは追加前処理段階７を追加することが好ましい。全ての低解像度シーケンスに対し方程式１における関係の一貫性を保証するために、この任意選択的段階は結果的に、二つまたはそれ以上の低解像度シーケンスのヒストグラム等化をもたらす。任意選択的ヒストグラム等化の後に、段階３のアルゴリズムは、出力高解像度シーケンスにおける入力カメラ間の残留局所色差を平坦化する。
【００６４】
段階８で、任意選択的な動きに基づく補間が（およびおそらく動きに基づく正則化も）実行される。この選択肢は、高速物体の動きの場合にのみ使用することが好ましい。方程式１の時間的離散（段階３）の背後にある暗黙の前提は、（各低解像度ピクセルの空間−時間近傍の）グレーレベルの補間によって、低解像度シーケンスを高解像度シーケンスから補間することができることである。物体の動きが（グレーレベルエイリアシングがあるほど）高解像度フレームレートより高速である場合、「動きに基づく」補間をアルゴリズムに使用することが好ましい（段階８）。この場合、低解像度シーケンスの隣接フレーム間の物体の動きが計算される。次いで、「新しい」入力フレームが、動き推定を使用して、低解像度フレームから補間（ワープ）される。高解像度フレームからの補間によって、「新しい」フレームが高解像度フレームのタイムスロットに生成されるので、グレーレベルエイリアシングはほとんどまたは全く無い。次いで、新しいフレームに対し方程式１が構築される。任意選択的に従来の方法と一緒に適用することができる、別の任意選択的方法は、「動きに基づく正則化」を含む。ｘ，ｙ，ｚ軸および／または空間−時間対角線に沿って平坦化するのではなく、正則化は動き推定（またはオプチカルフロー推定）を使用して適用される。したがって平坦化は、物体の動きの方向に（かつ静的物体／背景の時間軸に沿って）実行される。
【００６５】
任意選択的に、段階９で、正則化が実行される。任意選択的正則化の様々な可能性および選択肢については、図４ｃに関連して論じる。説明した通り、段階１０で、方程式が全体的に、または段階１１でブロック緩和によって解かれ、段階１２で出力ストリームが生成される。方程式の解については図４ｄでさらに詳述し、ブロック緩和のプロセスについては図４ｅで詳述する。
【００６６】
2005515675.tif 000016
【００６７】
2005515675.tif 000017
【００６８】
2005515675.tif 000018
【００６９】
2005515675.tif 000019
【００７０】
今、図４ｃに目を向けると、段階３の方程式構築の一般的方法の代わりに、段階１０で方程式を解く前に実行することができる系の任意選択的正則化が示されている。
【００７１】
本発明の好適な実施形態では、物理的に有意義な離散的空間−時間正則化の適用にいっそうの柔軟性をもたらす追加的時間次元の結果、二台またはそれ以上の低解像度ビデオカメラが任意選択的に冗長データを生成することができる。したがって、高い空間解像度（顕著な特殊機能）を持つが、動きがほとんど無い領域では、空間−時間解像度を低下することなく、任意選択的に強い時間正則化を適用することができる。同様に、高速の動的変化があるが、空間解像度の低い領域では、空間−時間解像度を低下することなく、任意選択的に強い空間正則化を使用することができ。それにより、画像に基づく超解像と画像に基づく正則化によって得られるより高い空間−時間解像度の回復がもたらされる。
【００７２】
2005515675.tif 000020
【００７３】
本発明の最も好適な実施形態では、正則化は任意選択的に、段階２０で計算された最も近い低解像度データ点からのその距離に応じて、各高解像度点に個別に行なわれる段階２０の加重Ｗｉを含むことができ、それにより、低解像度点１０２に収斂する高解像度点１２０が主として画像化方程式によって影響されることが可能になる一方、遠い点は任意選択的に正則化によってより大きく制御される。空間および時間正則化間のトレードオフおよび正則化の大域的量は、異なる大域的加重λｉによって適用することができる（段階１９）。ここで、
2005515675.tif 000021
もまた、ノイズの自動相関行列の逆数である誤差行列Ｎを介して、空間−時間座標変換の未知の誤差を利用することができ、それにより、空間−時間正則化行列が計算されるときに（段階２０）、それらの測定位置に高い不確実性を持つ低解像度シーケンスの空間−時間点には、方程式系で任意選択的により低い加重が割り当てられる。
【００７４】
2005515675.tif 000022
【００７５】
本発明の別の実施形態では、二台またはそれ以上のビデオカメラは、空間−時間ボリュームまたはその一部分だけのいずれかの解像度の所望の改善に対して、台数が不十分である。その場合、上記方程式系の解は任意選択的に、かつ好ましくは、段階２０で任意選択的に方向性空間−時間正則化項を加えることによって追加の数値安定性が提供され、それは、導関数が低位であり、空間−時間エッジにまたがって平滑化せず（すなわち高解像度画素１３６／１４０にまたがって平滑化しようとしない）、かつ前述の通り時間的ブラーの矩形の形状によって生じるリンギング効果を制御する場合に、情報が不充分な空間−時間領域の解Ｓｈに平滑性を与える。本発明はしたがって任意選択的に、次の誤差項：
2005515675.tif 000023
2005515675.tif 000024
【００７６】
上記最適化は大きい次元を持つことがあり、図４でに概説する解法で解かれる骨の折れる計算問題をもたらすことがある。
【００７７】
2005515675.tif 000025
【００７８】
本発明の代替実施形態では、方程式は任意選択的に不正確であることを想定しており、段階２０（図４ｃ）で右辺にランダム変数ノイズ（誤差）項が追加される。この任意選択的形式主義は、任意選択的に誤差項が独立かつ同一（ｉ．ｉ．ｄ．）であり、ガウス分布（Ｎ（ｏ，σ２））を有することを想定して、超解像の問題に古典的復元問題モデルの形を与える。ここで解は、事実上、正則化項のない
2005515675.tif 000026
である（段階１０、方程式３）。
【００７９】
図４ｄに目を向けると、段階１０の様々な解が示されており、それに従って最適な有効解が得られる方法を選択することが好ましい。
【００８０】
行列Ａがまばらかつ局所的である（すなわち非零エントリが幾つかの対角線に閉じ込められる）場合、系は任意選択的に、かつ最も好ましくは、全計算法ではなく、段階１２のボックス緩和法（図４ｅにより詳細に示す）、または他の高速数値法アルゴリズムを使用して解かれる。ボックス緩和技術は任意選択的に、多くの他の解法と共に使用することもできる。
【００８１】
任意選択的に、高解像度の未知のシーケンスは、方程式３を高解像度シーケンスのＭＡＰ（最大アポステリオリ）推定量（段階２３）として示すランダムプロセス（非零平均ベクトルおよび自動相関行列を持つガウスランダムベクトル）であると想定することができる。この好適な手法は、正則化の形の出力高解像度シーケンスの局所的適応形事前知識を利用する。それはおそらく出力の自動相関行列に接続され、次の通り前項を介して外部から制御可能である。
2005515675.tif 000027
【００８２】
段階１１の出力シーケンスはまた任意選択的に、ＩＢＰ（段階２１）（Ｍ．ＩｒａｎｉおよびＳ．Ｐｅｌｅｇ「Ｉｍｐｒｏｖｉｎｇ  ｒｅｓｏｌｕｔｉｎ  ｂｙ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ」ＣＶＧＩＰ：ＧＭ，５３：２３１｛２３９，１９９１年５月｝）、ＰＯＣＳ（段階２２）（Ａ．Ｊ．Ｐａｔｔｉ、  Ｍ．Ｉ．Ｓｅｚｅｎ、およびＡ．Ｍ．Ｔｅｋａｌｐ「Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ  ｖｉｄｅｏ  ｒｅｃｏｓｔｒｕｃｔｉｏｎ  ｗｉｔｈ  ａｒｂｉｔｒａｒｙ  ｓａｍｐｌｉｎｇ  ｌａｔｔｉｃｅｓ  ａｎｄ  ｎｏｎｚｅｒｏａｐｅｒｔｕｒｅ  ｔｉｍｅ」ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、第６巻１０６４頁｛１０７６，１９９７年８月｝）、および例えばＳ．ＢｏｒｍａｎおよびＲ．Ｓｔｅｖｅｎｓｏｎ「Ｓｐａｔｉａｌ  ｒｅｓｏｌｕｔｉｏｎ  ｅｎｈａｎｃｅｍｅｎｔ  ｏｆ  ｌｏｗ−ｒｅｓｏｌｕｔｉｏｎ  ｉｍａｇｅ  ｓｅｑｕｅｎｃｅｓ−ａ  ｃｏｍｐｒｅｈｅｎｓｉｖｅ  ｒｅｖｉｅｗ  ｗｉｔｈ  ｄｉｒｅｃｔｉｏｎｓ  ｆｏｒ  ｆｕｔｕｒｅ  ｒｅｓｅａｒｃｈ」Ｔｅｃｈｎｉｃａｌ  ｒｅｐｏｒｔ、ノートルダム大学、画像信号解析研究所（ＬＩＳＡ）、ノートルダム、１９９８年７月）に記載されているような他の方法によって計算することもできる。
【００８３】
段階２５で、方程式は、好ましくは反復最小二乗誤差最小化と正則化を使用することによって解かれる（正則化については段階９に関連して記述した）。好ましい反復法は「共役勾配法」であるが、「最急降下法」、「ヤコビ法」、「ガウス−サイデル法」、または他の公知の反復法（例えばＲ．Ｌ．ＬａｇｅｎｄｉｊｋおよびＪ．Ｂｉｅｍｏｎｄ「Ｉｔｅｒａｔｉｖｅ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｒｅｓｔｏｒａｔｉｏｎ  ｏｆ  Ｉｍａｇｅｓ」Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，Ｂｓｔｏｎ／Ｄｏｒｄｒｅｃｈｔ／Ｌｏｎｄｏｎ，１９９１を参照されたい）のような他の標準的方法を任意選択的に使用することができる。
【００８４】
図４ｅは、今日利用可能なプロセッサの制約内でその巨大な次元を克服するために、全計算法ではなく、方程式系を解くために使用される高速計算法である、「ボックス緩和」の方法（全体的に段階１２に示す）のフローチャートである（例えばＵ．Ｔｒｏｔｔｅｎｂｅｒ、Ｃ．ＯｏｓｔｅｒｌｅｅおよびＡ．Ｓｃｈｕｌｌｅｒ「Ｍｕｌｔｉｇｒｉｄ」Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，２０００を参照されたい）。段階２６で、高解像度シーケンスは、例えば二つのフレームのサイズ７×７×１０ピクセルの小さい空間−時間ボックスに分割される。段階２７で、これらの小ボックスの各々の周囲の重複サイズが選択される。それは例えばブラーカーネルサイズの少なくとも半分であることが好ましい。段階２８で、ボックスを解く順序が、任意選択的に次の順序：すなわちＸ−＞Ｙ−＞Ｔに従って選択され、それによって数フレーム幅の時間「スライス」が解かれる。ここで各「スライス」のブロック順序は「行単位」である。
【００８５】
段階２９で、段階３０〜３３に続く反復処理の基礎を形成する初期高解像度シーケンスが、入力から生成される。このプロセスで、好ましくは段階２５の反復法を使用することによって、または任意選択的に直接行列反転（各ボックスの未知数の数が少数であるため可能である）によって、各重複ボックスが段階３０で解かれる。ステップ３１で解に達し、段階３２で残留誤差が測定される。段階３３で、次の反復の基礎として前の解を使用して、解法が反復される。
【００８６】
これは、任意選択的に残留誤差が予め定められた値未満になるまで、または所定の反復回数だけ、または選択されたいずれかの他の制約条件に従って、計算が段階３４で終了して、超解像出力シーケンスが段階１１で得られるまで、続けることができる。
【００８７】
図５で、追加の例として、何ら限定の意図なく、ビデオカメラ１００を使用して動的シーン１０４を記録するシステムを今提示する。本発明の好適な実施形態では、空間サンプリングレートだけをｘおよびｙで√８に増加するか、または時間フレームレートだけを８倍に増加するか、または両方を任意に組合せて、例えばサンプリングレートを三つの次元の全てで２倍に増加することができる。標準空間超解像では、画像ピクセルのアスペクト比を維持し、かつ歪んで見える画像を防止するために、サンプリングレートの増加は、全ての空間次元で等しいことが最も好ましい一方、空間および時間次元の増加は異なることができる。空間−時間正則化を使用する場合、これらの因子は任意選択的に増加することができるが、時間および空間の増加間の固有のトレードオフは残る。
【００８８】
今、図６に目を向けると、本発明に係る系統図が示されており、システムは同期シーケンスを格納する容量を持つ。本発明の追加の好適な実施形態では、脱モーションブラーの品質を高め、モーションエイリアシングを解消するために、二台またはそれ以上の低解像度カメラ１００からの入力シーケンスの時間超解像は、様々なカメラのサブフレームシフトを時間的に等間隔に配置することによって最適化される。これは任意選択的に、マスタ同期入力から信号を受け取るバイナリカウンタ１１６を使用し、それによりバイナリカウンタが、マスタ入力信号のビデオライン（または水平同期信号）を計数し、かつ図示するようにこれらのカメラを起動させる「ＥＰＲＯＭ」を任意選択的に使用して、各カメラの専用信号を送信することによって、幾つかの一様に拡散した同期信号を生成することによって実現され、あるいは任意選択的に、電子工学の技術分野で周知の原理に従って電子ハードウェアおよびソフトウェアの任意の組合せを使用して実現される。
【００８９】
本発明の別の好適な実施形態では、空間解像度の改善だけを希望する極端な場合、全ての画像が厳密に同時に撮影され、したがって時間解像度が改善されず、最適空間解像度が達成されるように、二台またはそれ以上のカメラ１００を同期させることが最も好ましい。
【００９０】
図７ａは、異なる空間−時間入力を持つシステムを提示する。低空間解像度ビデオカメラ１００（高い時間解像度を持つ）に加えて、今や、シーンの静止画像（非常に低いか零の時間解像度を持つ）を捕捉する、追加の高空間解像度スチルカメラ１１８もある。そのような静止画像は任意選択的に、連続的にではなく、時々、または周期的に捕捉する。
【００９１】
図７ｂは、低解像度カメラのピクセル１０２と高解像度カメラのピクセル１０２／１０３との間のサイズの相違を示す。シーン１０４からのデータは、カメラ１１８では平坦な単一のビットマップ画像として表示される一方、ビデオカメラ１００では、このデータは時間周波数を表わす層を有する。これらの源は異なる露光時間を持つこともできる。本発明に係る方法を使用して両方のデータ源からの情報を結合することによって、空間解像度がビデオ源に比較して向上し（フレームサイズは静止画像源と同じ）、かつ時間解像度が静止画像源より高い（フレームレートはビデオ源と同じ）新しいビデオシーケンスを形成することができる。各種の源を二つ以上使用することによって、出力ビデオの空間および／または時間解像度は、源のいずれかの（空間および／または時間の）最高解像度を越えることもできる（「真の超解像」）。
【００９２】
図８Ａは、本発明の好適な実施形態に係る合同光学系を持つ単一カメラの系統図である。光は、グローバルレンズとして働き全ての検出器に影響を及ぼす入力レンズ１５０を通して、カメラ１００に入射する。レンズ１５０を通して入射した光はビームスプリッタ１５１に達し、それは光を様々なセンサ１５３の間に分配するが、それらのセンサのうちの二つが非限定例として図示されている。各センサ１５３は、必要に応じて焦点または彩色または点広がり関数に影響を及ぼすために、それ自体のレンズまたはフィルタ１５２を持つことがある。センサ１５３は任意選択的に、同期装置１５４によって時間的同期することができ、または空間的に相互にオフセットすることができ、または両方とすることができ、あるいは異なる空間解像度とすることができる。センサ１５３は光を電子情報に変換し、それはマイクロチップ／デジタルプロセッサ１５５に運ばれ、それは上の図で概説したアルゴリズムに従ってセンサからの入力を結合して、改善された出力ストリームにする。
【００９３】
図８Ａ〜Ｆの全てに示す通り、一つまたはそれ以上の対応する検出器１５３の組によって捕捉される各画像フレームの露光時間の持続時間は、露光時間２００として示される。下の軸は時間軸上の検出器１５３の動作の射影であり、右の軸は空間軸の射影である。
【００９４】
カメラ１００は任意選択的にアナログカメラ（図示せず）とすることもできることに気付かれるであろう。アナログの場合、カメラは発振器、またはメモリ無しの集積回路を装備することができる。そうするとアナログ信号は本発明の好適な実施形態に従って結合されて、超解像に影響を及ぼす。図８Ｂ〜Ｆは、検出器１５３の非限定的な例証としての構成例およびそれらの出力ストリームに対する作用を示す。これらの構成は模範的な単一カメラの実施形態の一環として提示するが、これらの同じ構成の検出器を複数のカメラの間に配置することができることを念頭に置かれたい。これらの構成はまた任意選択的に、適切な空間―時間ミスアラインメント状態の多数の検出器を有する単一画像アレイセンサ（例えば電荷結合素子（ＣＣＤ）、相補形金属酸化膜半導体（ＣＭＯＳ）、ＣＭＯＳ「アクティブピクセル」センサ（ＡＰＳ）、半導体に基づく近／中／遠赤外線センサ（ＩＲ）（例えばＩｎＳｂ、ＰｔＳｉ、Ｓｉ、Ｇｅ、ＧａＡｓ、ＩｎＰ、ＧａＰ、ＧａＳｂ、ＩｎＡｓおよびその他）、紫外線（ＵＶ）センサ、および／またはいずれかの他の適切な撮像センサ）でも実現することができる。単一検出器（ピクセル）または一組の検出器の露光時間（およびダイナミックレンジ）を制御する能力は、文献および産業界ですでに示されている（例えば、Ｏ．Ｙａｄｉｄ−Ｐｅｃｈｔ、Ｂ．Ｐａｉｎ、Ｃ．Ｓｔａｌｌｅｒ、Ｃ．Ｃｌａｒｋ、Ｅ．Ｆｏｓｓｕｍの「ＣＭＯＳ  ａｃｔｉｖｅ  ｐｉｘｅｌ  ｓｅｎｓｏｒ  ｓｔａｒ  ｔｒａｃｋｅｒ  ｗｉｔｈ  ｒｅｇｉｎａｌ  ｅｌｅｃｔｒｏｎｉｃ  ｓｈｕｔｔｅｒ（ｈｔｔｐ：／／ｗｗｗ．ｅｅ．ｂｇｕ．ａｃ．ｊｌ／〜Ｏｒｌｙ ｌａｂ／ｐｕｂｌｉｃａｔｉｏｎｓ／ＣＭＯＳ  ａｃｔｉｖｅ  ｐｉｘｅｌ  ｓｅｎｓｏｒ  ｓｔａｒ  ｔｒａｃｋｅｒ  ｗｉｔｈ  ｒｅｇｉｏｎａｌ  ｅｌｅｃｔｒｏｎｉｃｓ  ｓｈｕｔｔｅｒ．ｐｄｆ）」、ＩＥＥＥ  Ｊ．Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ第３２巻第２号２８５〜２８８頁、１９９７年２月；およびＯ．Ｙａｄｉｄ−Ｐｅｃｈｔの「Ｗｉｄｅ  ｄｙｎａｍｉｃ  ｒａｎｇｅ  ｓｅｎｓｏｒｓ（ｈｔｔｐ：／／ｗｗｗ．ｅｅ．ｂｇｕ．ａｃ．ｊｌ／〜Ｏｒｌｙ ｌａｂ／ｐｕｂｌｉｃａｔｉｏｎｓ／ＷＤＲ ｍａａｍａｒ．ｐｄｆ）」、Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ第３８巻第１０号１６５０〜１６６０頁、１０００年１０月を参照されたい）。「多重解像度」センサ付きカメラも学術文献および産業界の両方で公知である（例えば、Ｆ．Ｓａｆｆｉｈ、Ｒ．Ｈｏｒｎｓｅｙ（２００２）の「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ  ＣＭＯＳ  ｉｍａｇｅ  ｓｅｎｓｏｒ（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｙｏｒｋｕ．ｃａ／〜ｈｏｒｎｓｅｙ／ｐｄｆ／ＯＰＴＯ−Ｃａｎａｄａ０２Ｍｕｌｔｉｒｅｓ．ｐｄｆ）」、Ｔｅｃｈｎｉｃａｌ  Ｄｉｇｅｓｔ  ｏｆ  ＳＰＩＥ  Ｏｐｔｏ−Ｃａｎａｄａ  ２００２、カナダ国オンタリオ州オタワ２００２年５月９〜１０日４２５頁；Ｓ．Ｅ．Ｋｅｍｅｎｙ、Ｒ．Ｐａｎｉｃａｃｃｉ、Ｂ．Ｐａｉｎ、Ｌ．Ｍａｔｔｈｉｅｓ、およびＥ．ＲＦｏｓｓｕｍ「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ  ｉｍａｇｅ  ｓｅｎｓｏｒ」、ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ���ｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ第７巻（４）、５７５〜５８３頁、１９９７年；および２００２年１２月１１日現在のｈｔｔｐ：／／ｉｒｉｓ．ｕｓｃ．ｅｄｕ／Ｖｉｓｉｏｎ−Ｎｏｔｅｓ／ｂｉｂｌｉｏｇｒａｐｈｙ／ｃｏｍｐｕｔｅ６５．ｈｔｍｌをも参照されたい）。そのようなセンサを持つ製品に関する情報は任意選択的に、２００２年１２月１１日現在でｈｔｔｐ：／／ｗｗｗ．ａｆｒｌｈｏｒｉｚｏｎｓ．ｃｏｍ／Ｂｒｉｅｆｓ／０００９／ＭＮ０００１．ｈｔｍｌ（Ｃｏｍｐｔｅｋ  Ａｍｈｅｒｓｔ  Ｓｙｓｔｅｍｓ，Ｉｎｃ．）および２００２年１２月１１日現在でｈｔｔｐ：；；ｍｉｓｈｋｉｎ．ｊｐｌ．ｎａｓａ．ｇｏｖ／ｅｓｍｔｐａｇｅｓ／ＡＰＳ／ｓｔａｔｕｓ／ａｐｓ ｍｕｌｔｉｒｅｓ．ｈｔｍｌ（ＮＡＳＡ）に見出すことができる。これらの文献は、いかようにも限定の意図なく、単なる情報として掲げたものであることに留意されたい。
【００９５】
これらのセンサは幾つかの解像度モード間で切り替えることができ、最高解像度の場合、映像フレームレートは最低であり、最低解像度モードの場合（部分ピクセルセットだけが起動されるか、あるいは検出器はブロック群で平均される）、より高速のビデオフレームレートが可能である。
【００９６】
図８Ｂは、同一空間―時間解像度を持つ検出器１５３のシステムを示す。すなわち、露光時間２００は図示する通りｘ、ｙ、および時間次元で同一サイズであるが、これらの次元でオフセットされる。これらの検出器１５３はおそらく空間的にかつ／または時間的にずらされる。この構成は、同一の入力解像度を持つ複数のカメラを時間および／または空間超解像のために結合する、全ての用途に適している。
【００９７】
図８Ｃは、様々な空間―時間解像度センサを持つシステムを示す。
【００９８】
この構成は、異なる解像度を持つ検出器１５３からの情報を結合する用途に適している。検出器１５３の異なるサイズはｘ−ｙ平面のみならず時間的にもはっきりと見て取ることができ、ここで露光時間２００の数はそれらの周波数を示す。そして、この構成は、可変の空間―時間入力を持つ図７に示したシステムと同様の機能性を示す。
【００９９】
図８Ｄは、ｘ−ｙ平面には異なる空間解像度を持つが、時間平面には時間的重複が無い検出器１５３を持つシステムを示す。高い空間解像度および低い時間解像度を持つ検出器１５３源、および高い時間解像度および低い空間解像度を持つ検出器１５３源は任意選択的に、異なる露光時間２００を持つ単一のセンサに結合することができる。異なる検出器セットは、右側の図の異なる色ドットで示される。検出器の粗なセット（赤色）は、再び図７のビデオカメラのように、高い時間解像度および低い空間解像度を持ち、密なセット（青の検出器）は、機能的に図７に関して概説したスチルカメラと同様に、高い空間解像度および低い時間解像度を持つ。
【０１００】
図８ｅは、同一の空間―時間解像度を持ち、ｘ−ｙ平面で空間的にシフトし、重複する露光を持つ検出器１５３セットを持つシステムを示す。四色検出器１５３セットは、ｘ−ｙ平面に同一空間解像度を持つ２＊２ブロックに配設され、時間的露光は重複している。この構成は、シーンの少なくとも静的領域に「全」空間解像（密なグリッド）を達成しながら、時間超解像を可能にする。これらの重複露光は、比較的暗いシーンを効果的に捕捉して、出力のモーションブラーを低減するのに最も良く適している。
【０１０１】
図８ｆは、異なる空間−時間解像度を持つ検出器１５３セットを持ち、一部のセットがｘ−ｙ平面で空間的にシフトし、一部のセットが時間平面で重なり合う露光を持つシステムを示す。これは事実上前の二つの構成の組合せであり、赤、黄、および緑色検出器１５３は低い空間解像度であり、露光が重なり合い、青色検出器は高い空間解像度であり、露光の重なりは無く、おそらく他とは異なる露光を持つ。
【０１０２】
単一カメラは任意選択的に、より多くの利点を得るために、かつカラービデオの異なる処理のために、「不規則サンプリング」センサ（８ｄ〜８ｆ）の幾つかおよび「規則的」センサの組合せを持つこともできる。すなわち、各色帯域は任意選択的に、異なるセンサによって、または同一センサ内の異なる検出器セットによって、独立して処理することができる。例えば、Ｇ帯域は最も重要であり、したがってＲおよびＢ帯域より高い空間解像度（より密な検出器グリッドまたはより多くの検出器）を使用することが好ましいことが知られている。
【０１０３】
本発明を限定数の実施形態に関して説明したが、本発明の多くの変形、変更、および他の応用を実行することができることは理解されるであろう。
【図面の簡単な説明】
【０１０４】
【図１ａ】本発明に係る例示的システムの系統図。
【図１ｂ】本発明に係る例示的システムの系統図。
【図２】本発明に係る例示的システムの略ブロック図。
【図３ａ】本発明に係る例示的システムの代替的略ブロック図。
【図３ｂ】本発明に係る例示的システムの代替的略ブロック図。
【図４ａ】本発明に係る提示実施形態のフローチャート。
【図４ｂ】本発明に係る提示実施形態のフローチャート。
【図４ｃ】本発明に係る提示実施形態のフローチャート。
【図４ｄ】本発明に係る提示実施形態のフローチャート。
【図４ｅ】本発明に係る提示実施形態のフローチャート。
【図５】８台の低解像度カメラを持つ本発明に係る例示的システム。
【図６】カメラが同期する本発明に係る例示的システムの系統図。
【図７ａ】異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。
【図７ｂ】異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。
【図８ａ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図８ｂ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図８ｃ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図８ｄ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図８ｅ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図８ｆ】本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
【図１ａ】
2005515675.tif 000031
【図１ｂ】
2005515675.tif 000032
【図２】
2005515675.tif 000033
【図３ａ】
2005515675.tif 000034
【図３ｂ】
2005515675.tif 000035
【図４ａ】
2005515675.tif 000036
【図４ｂ】
2005515675.tif 000037
【図４ｃ】
2005515675.tif 000038
【図４ｄ】
2005515675.tif 000039
【図４ｅ】
2005515675.tif 000040
【図５】
2005515675.tif 000041
【図６】
2005515675.tif 000042
【図７ａ】
2005515675.tif 000043
【図７ｂ】
2005515675.tif 000044
【図８ａ】
2005515675.tif 000045
【図８ｂ】
2005515675.tif 000046
【図８ｃ】
2005515675.tif 000047
【図８ｄ】
2005515675.tif 000048
【図８ｅ】
2005515675.tif 000049
【図８ｆ】
2005515675.tif 000050
【国際調査報告】
2005515675.tif 000051