【手続補正書】
【提出日】平成17年10月20日(2005.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
空間−時間ビジュアルエンティティの時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための方法であって、
複数の空間−時間ビジュアルエンティティを提供するステップと、
前記複数の空間−時間ビジュアルエンティティからの情報を結合して前記解像度の少なくとも一つのアスペクトを調整するステップと、
を含む方法。
【請求項２】
前記複数の空間−時間ビジュアルエンティティの各々が、シーンの画像シーケンス、静止画像、ビジュアル検出器からのデータのストリーム、シーンのビデオデータ、またはそれらの組合せのうちの少なくとも一つを含む、請求項１に記載の方法。
【請求項３】
前記複数の空間−時間ビジュアルエンティティの各々がシーンの画像シーケンスを含む、請求項２に記載の方法。
【請求項４】
前記情報を結合して単一の画像シーケンスを形成する、請求項３に記載の方法。
【請求項５】
前記解像度が、複数の低解像度の画像シーケンス源からの情報を結合して、高解像度の画像シーケンスを構築することによって、時間および空間の少なくとも一つで増加する、請求項２ないし４のいずれかに記載の方法。
【請求項６】
前記低解像度の画像シーケンス源が異なる空間−時間解像度を特徴とする、請求項５に記載の方法。
【請求項７】
前記低解像度の画像シーケンス源が、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、適切なビデオフォーマットまたは静止画像のうちの少なくとも二つからのビデオデータを含む、請求項６に記載の方法。
【請求項８】
前記シーンのデータを得るために複数の画像カメラのシーケンスを提供する、請求項２ないし７のいずれかに記載の方法。
【請求項９】
前記複数の画像シーケンスの源を提供する前記ステップが、
前記複数の画像カメラのシーケンスの相対物理位置を獲得するステップ、
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記複数の画像シーケンスの源を提供する前記ステップが、
前記複数の画像シーケンスの時間的関係を獲得するステップ、
をさらに含む、請求項８に記載の方法。
【請求項１１】
前記時間解像度を高めるために多数の画像カメラのシーケンスを決定するステップ、
をさらに含む、請求項１ないし１０に記載の方法。
【請求項１２】
前記相対物理位置を事前校正プロセスで獲得する、請求項９に記載の方法。
【請求項１３】
前記獲得ステップが、画像カメラのシーケンスの各対間のミスアラインメントを検出するステップ、および前記ミスアラインメントに対しミスアラインメント回復を実行するステップをさらに含む、請求項９ないし１０のいずれかに記載の方法。
【請求項１４】
少なくとも一シーケンスの画像カメラが複数の合同光学系を有する、請求項８ないし１３のいずれかに記載の方法。
【請求項１５】
少なくとも二シーケンスの画像カメラが合同光学系を共用する、請求項８ないし１３のいずれかに記載の方法。
【請求項１６】
前記複数の画像源のシーケンスを提供する前記ステップが、
前記複数の画像シーケンスの相対的時間順序を得るステップ、
をさらに含む、請求項８ないし１５のいずれかに記載の方法。
【請求項１７】
前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
前記複数の画像カメラのシーケンスを同期するための時間同期ハードウェアを提供するステップ、
を含むようにした、請求項１３に記載の方法。
【請求項１８】
前記時間同期ハードウェアが前記複数の画像カメラのシーケンスのサンプリング時間の間の位相シフトを実行する、請求項１７に記載の方法。
【請求項１９】
前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
前記画像シーケンスから正確な時間的アラインメントを決定するステップ、
を含むようにした、請求項１３に記載の方法。
【請求項２０】
前記解像度の調整が時間および空間の両方で行なわれる、請求項１ないし１９のいずれかに記載の方法。
【請求項２１】
前記解像度が時間または空間の一方でより大きく増加する、請求項１ないし２０のいずれかに記載の方法。
【請求項２２】
時間の解像度の増加が一つまたはそれ以上の空間アーチファクトを低減する、請求項１ないし２１のいずれかに記載の方法。
【請求項２３】
前記解像度の調整が少なくともコントラストを調整することによって行なわれる、請求項１ないし２２のいずれかに記載の方法。
【請求項２４】
前記コントラストが、色解像度またはグレースケール解像度の少なくとも一つを調整することによって調整される、請求項２３に記載の方法。
【請求項２５】
前記色解像度または前記グレースケール解像度の少なくとも一つが向上する、請求項２４に記載の方法。
【請求項２６】
前記コントラストが、ダイナミックレンジを調整することによって調整される、請求項２３に記載の方法。
【請求項２７】
前記コントラストの調整が、１画素当たりのビット数を増加することを含む、請求項２６に記載の方法。
【請求項２８】
前記ダイナミックレンジが向上する、前記請求項２７に記載の方法。
【請求項２９】
前記解像度の調整が超解像の達成を含む、請求項１ないし２８のいずれかに記載の方法。
【請求項３０】
超解像が高解像度周波数を再構築する能力を含み、前記高解像度周波数が前記複数の空間−時間ビジュアルエンティティのいずれでも表わされない、請求項２９に記載の方法。
【請求項３１】
超解像が空間超解像を含む、請求項２９または３０に記載の方法。
【請求項３２】
超解像が時間超解像を含む、請求項２９または３０に記載の方法。
【請求項３３】
前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションエイリアシングを解消することを含む、請求項３２に記載の方法。
【請求項３４】
前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションブラーを低減することを含む、請求項３２に記載の方法。
【請求項３５】
前記超解像が空間および時間の両方で実行される、請求項２９または３０のいずれかに記載の方法。
【請求項３６】
前記複数の空間−時間ビジュアルエンティティの各々が少なくとも一つのユニットを含み、各ユニットが複数のサブユニットを含み、前記複数の空間−時間ビジュアルエンティティがサブユニットレベルのミスアラインメントを生じ、前記情報がサブユニットミスアラインメントに応じて結合される、請求項１ないし３５のいずれかに記載の方法。
【請求項３７】
前記サブユニットミスアラインメントが空間または時間ミスアラインメントの少なくとも一つを含む、請求項３６に記載の方法。
【請求項３８】
前記サブユニットミスアラインメントが空間および時間ミスアラインメントの両方を含む、請求項３７に記載の方法。
【請求項３９】
前記サブユニットミスアラインメントが予め定められる、請求項３６ないし３８のいずれかに記載の方法。
【請求項４０】
前記複数の空間−時間エンティティが複数の画像データシーケンスの源を含み、データの画像のシーケンスの各源は、空間の第一関連サンプリングレートおよび時間の第二関連サンプリングレートを持ち、解像度が複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートに従って増加する、請求項１ないし３９のいずれかに記載の方法。
【請求項４１】
前記複数の画像データシーケンスの源から前記情報を結合する前記ステップが、
前記複数の画像データのシーケンスの源をより高解像度の画像データのシーケンスに変換するために、空間および時間の少なくとも一つに従って変換を決定するステップ、
を含む、請求項４０に記載の方法。
【請求項４２】
前記高解像度の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記時間のサンプリングレートおよび空間のサンプリングレートが前記複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートの各々の最高値より高い、請求項４１に記載の方法。
【請求項４３】
前記高解像の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、画像データの残りのシーケンスの各々の対応するレートより高く、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、高い時間サンプリングレートを持つ画像データのシーケンス以外の少なくとも一つのシーケンスの画像データの対応するレートより高い、請求項４１に記載の方法。
【請求項４４】
前記変換を決定する前記ステップが、
前記複数の画像シーケンスの源の各々に対し空間座標および時間座標の少なくとも一つを決定するステップと、
前記複数の画像シーケンスの源の各々に対する空間座標および時間座標の前記少なくとも一つの間のアラインメントを決定するステップと、
を含む、請求項４１に記載の方法。
【請求項４５】
前記時間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が時間の一次元アフィン変換を含む、請求項４４に記載の方法。
【請求項４６】
前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が二次元射影変換を含む、請求項４４に記載の方法。
【請求項４７】
前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が、
画像シーケンスの各源を得るために相対物理位置を回復するステップ、
を含む、請求項４４に記載の方法。
【請求項４８】
画像シーケンスの各源がカメラから得られ、前記変換がさらに、
各カメラに少なくとも一つの校正係数を決定するステップと、
前記少なくとも一つの校正係数に従って前記空間座標を調整するステップと、
を含む、請求項４６または４７のいずれかに記載の方法。
【請求項４９】
撮像プロセスの制限から結果的に低解像度が生じ、前記低解像度からの時間および空間の解像度の低下がカーネルの畳み込みによってモデル化される、請求項１ないし４４のいずれかに記載の方法。
【請求項５０】
前記カーネルが、前記複数の画像シーケンスの源からの前記データの別個部分に対し複数の領域カーネルを含む、請求項４９に記載の方法。
【請求項５１】
前記空間の解像度の低下が点広がり関数によってモデル化される、請求項５０に記載の方法。
【請求項５２】
前記空間点広がり関数が、前記複数の画像シーケンスの源の視野に沿って変化する、請求項５１に記載の方法。
【請求項５３】
前記複数の画像シーケンスの源の各々の畳み込みカーネルが既知である、請求項４９ないし５２のいずれかに記載の方法。
【請求項５４】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、予め定められたヒューリスティックに従って近似される、請求項５１に記載の方法。
【請求項５５】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、事前校正ステップで測定される、請求項５３に記載の方法。
【請求項５６】
前記複数の画像シーケンスの源の各々の空間点広がり関数が、実時間計算に従って近似される、請求項４９ないし５３のいずれかに記載の方法。
【請求項５７】
時間の解像度の低下が、時間点広がり関数として露光時間関数によってモデル化される、請求項４９に記載の方法。
【請求項５８】
前記複数の画像シーケンスの源の各々の時間広がり関数が既知である、請求項５７に記載の方法。
【請求項５９】
前記時間広がり関数が、前記複数の画像シーケンスの源の各々の露光時間を制御することによって決定される、請求項５７に記載の方法。
【請求項６０】
前記時間広がり関数が、前記複数の画像シーケンスの源の各々からのデータに従って近似される、請求項５７に記載の方法。
【請求項６１】
前記ビジュアル空間−時間エンティティが入力画像シーケンスであり、前記入力画像シーケンスと前記高解像度出力との間の関係が積分方程式として表わされ、前記方法が前記積分方程式を解くステップをさらに含む、請求項１ないし６０のいずれかに記載の方法。
【請求項６２】
前記積分方程式が、
2005515675.tif 000001
を含む、請求項６１に記載の方法。
【請求項６３】
前記関係が前記空間および時間変換ならびに前記時間および空間広がり関数の両方を含む、請求項６１に記載の方法。
【請求項６４】
前記ビジュアル空間−時間エンティティが複数の入力画像シーケンスを含み、前記積分方程式を解く前記ステップがさらに、請求項６１ないし６３のいずれかの方程式をシミュレートする一組の方程式を構築するステップと、前記方程式を解くステップとを含み、前記組の方程式の未知数が出力画像シーケンスを構成する、請求項１ないし６３のいずれかに記載の方法。
【請求項６５】
前記構築するステップが、入力画像シーケンスの源からの画素に対する空間−時間点広がり関数の近似化を実行することによって、前記複数の入力画像シーケンスの各々からのデータに対して実行される、請求項６４に記載の方法。
【請求項６６】
前記構築するステップが、前記複数の画像シーケンスの源の各々からのデータを単一座標系に変換し、かつ前記変換のための各源の空間−時間点広がり関数に均等または不均等近似化の一方を実行することによって、前記複数の画像シーケンスの源の各々からのデータに対して実行される、請求項６４ないし６５のいずれかに記載の方法。
【請求項６７】
均等または不均等近似化の反対が空間および時間に対して実行される、請求項６６に記載の方法。
【請求項６８】
前記複数の画像シーケンスの源からの前記情報を結合する前記ステップがさらに、
一組の線形方程式：
2005515675.tif 000002
【請求項６９】
前記方程式がさらに正則化項を含む、請求項６１ないし６８のいずれかに記載の方法。
【請求項７０】
前記正則化項が前記方程式の滑らかな解への選好を追加する、請求項６９に記載の方法。
【請求項７１】
前記選好が少なくとも主軸に沿った滑らかさとして表現される、請求項６９または７０のいずれかに記載の方法。
【請求項７２】
前記選好が滑らかさとして表現され、空間−時間対角方向に沿って実行される、請求項６９ないし７１のいずれかに記載の方法。
【請求項７３】
前記選好が低位二次導関数を持つものとして表現される、請求項６９ないし７２のいずれかに記載の方法。
【請求項７４】
前記正則化項が少なくとも一つの重みに従って加重される、請求項６９ないし７３のいずれかに記載の方法。
【請求項７５】
前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータに従って決定される、請求項７４に記載の方法。
【請求項７６】
前記方程式が反復的に解かれ、前記少なくとも一つの重みが前の反復から決定される、請求項７４に記載の方法。
【請求項７７】
前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータの一次または二次導関数または前の反復またはそれらの両方に従って決定される、請求項７４ないし７６のいずれかに記載の方法。
【請求項７８】
前記空間−時間正則化項がさらに、
2005515675.tif 000003
に従って方向性正則化項を含む、請求項６９ないし７７のいずれかに記載の方法。
【請求項７９】
画像シーケンスの時間解像度を高めることを含む、画像シーケンスの空間アーチファクトを処理するための方法。
【請求項８０】
複数のカメラから情報を得る、請求項７９に記載の方法。
【請求項８１】
各シーケンスがピクセルを含み、出力シーケンスのピクセルが入力シーケンスのピクセルより高い時間解像度を有する、請求項７９または８０のいずれかに記載の方法。
【請求項８２】
複数の画像シーケンスを捕捉した後、複数の画像シーケンスの時間解像度を高めることを含む、複数の画像シーケンスのモーションブラーを低減するための方法。
【請求項８３】
画像シーケンスの時間解像度を高めることを含む、画像シーケンスの誘発空間ブラーを低減するための方法。
【請求項８４】
増加した解像度の画像シーケンスを提供するためのカメラであって、
（ａ）初期画像シーケンスを提供するための画像カメラのシーケンスと、
（ｂ）静止画像データを提供するためのスチルカメラと、
（ｃ）増加した解像度の画像シーケンスを提供するために前記静止画像データおよび前記初期画像シーケンスを積分するための積分器と、
を含むカメラ。
【請求項８５】
前記スチルカメラが前記画像カメラのシーケンスに物理的に近接して配置される、請求項８４に記載のカメラ。
【請求項８６】
前記スチルカメラおよび前記画像カメラのシーケンスが、同一光学系を有する同一装置内に配置される、請求項８４に記載のカメラ。
【請求項８７】
前記静止画像および前記画像シーケンスが、同一画像センサアレイの異なるサンプリングパターンによって生成される、請求項８４に記載のカメラ。
【請求項８８】
前記積分器が、前記複数の画像シーケンスの各々からの信号を受け取るための計算装置と、前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記信号の時間および空間の解像度の少なくとも一つのアスペクトを結合するためのスチルカメラとを含む、請求項８４に記載のカメラ。
【請求項８９】
（ｄ）前記画像カメラのシーケンスおよび前記スチルカメラを収容するためのハウジング、
をさらに含む、請求項８４ないし８８のいずれかに記載のカメラ。
【請求項９０】
前記積分器が合同光学積分器を含む、請求項８４ないし８７のいずれかに記載のカメラ。
【請求項９１】
前記積分器がチップを含む、請求項８４ないし８７のいずれかに記載のカメラ。
【請求項９２】
前記センサが時間または空間の少なくとも一つに異なる解像度を有する、請求項８４ないし９１のいずれかに記載のカメラ。
【請求項９３】
前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点拡散機能、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項８４ないし９２のいずれかに記載のカメラ。
【請求項９４】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項８４ないし９３のいずれかに記載のカメラ。
【請求項９５】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項８４ないし９４に記載のカメラ。
【請求項９６】
画像シーケンスの増加した解像度を提供するためのカメラシステムであって、
（ａ）物理的に分離した複数のカメラと、
（ｂ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記複数のカメラの各々からの信号を受け取り、かつ前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための計算装置と、
を含むシステム。
【請求項９７】
前記複数のカメラが同様の特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
【請求項９８】
前記同様の特性が空間解像度、フレームレート、および露光時間の少なくとも一つを含む、請求項９７に記載のシステム。
【請求項９９】
前記複数のカメラが少なくとも一つの異なる特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
【請求項１００】
前記少なくとも一つの異なる特性が、空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９９に記載のシステム。
【請求項１０１】
前記複数の画像カメラのシーケンスが、異なるビデオフォーマットを持つ複数のビデオカメラを含む、請求項９６ないし１００のいずれかに記載のシステム。
【請求項１０２】
前記複数のカメラが少なくとも一つのシーケンスの画像カメラおよび少なくとも一つのスチルカメラを含む、請求項９６に記載のシステム。
【請求項１０３】
前記センサが時間または空間の少なくとも一つで異なる解像度を持つ、請求項９６ないし１０２のいずれかに記載のシステム。
【請求項１０４】
前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９６ないし１０３に記載のシステム。
【請求項１０５】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項９６ないし１０４に記載のシステム。
【請求項１０６】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項９６ないし１０５に記載のシステム。
【請求項１０７】
増加した解像度の画像シーケンスを提供するためのカメラシステムであって、
（ａ）視覚信号を捕捉するための複数のセンサと、
（ｂ）前記視覚信号を積分するための積分器と、
（ｃ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを増加することによって、前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを増加するために、前記積分された信号を受け取るための計算装置と、
を含むカメラシステム。
【請求項１０８】
前記積分器が合同光学セットを含む、請求項１０７に記載のシステム。
【請求項１０９】
前記合同光学セットがビームスプリッタを含む、請求項１０８に記載のシステム。
【請求項１１０】
前記センサが異なる特性を有し、前記積分器がチップを含む、請求項１０７ないし１０９のいずれかに記載のシステム。
【請求項１１１】
前記センサが、時間または空間の少なくとも一つでシフトされるデータを生成する、請求項１０７ないし１１０のいずれかに記載のシステム。
【請求項１１２】
前記センサが時間または空間の少なくとも一つで異なる解像度を有する、請求項１０７ないし１１１のいずれかに記載のシステム。
【請求項１１３】
前記センサが少なくとも一つの異なる特性を有し、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項１０７ないし１１２に記載のシステム。
【請求項１１４】
前記複数のセンサが単一センサおよび複数の検出器として構成され、前記複数の検出器が時間または空間の少なくとも一つでシフトされる、請求項１０７ないし１１３に記載のシステム。
【請求項１１５】
前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項１０７に記載のシステム。
【請求項１１６】
シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項１０７に記載のシステム。