(57)【特許請求の範囲】
【請求項１】
あるシーンの静止画像を作成するための方法であって、
１）前記シーンのＮ個（Ｎは２以上の整数）の画像を撮像するステップであって、前記Ｎ個の画像の各々がそれぞれ異なる焦点距離で撮像され、該Ｎ個の画像の各々が、前記シーンのうちの同じ部分に対応するオーバーラップ領域を有することからなる、ステップと、
２）前記Ｎ個の画像の各々が、前記シーンを１つの共通の焦点距離で撮像したときの画像のスケールに合致するように前記各画像を変換するステップと、
３）前記変換された各々の画像を前記シーンを表す１つの画像に組み合わせるステップを含み、
前記ステップ２）が、
A.前記Ｎ個の画像を撮像時の焦点距離の短い方から順に配列するステップと（配列中、ｋ（ｋ＝１、２、・・・、Ｎ）番目に配置された画像をｋ番目の画像と呼ぶ）、
B.k＝１〜（Ｎ−１）までの各ｋについて、下記ステップａ及びｂを実施するステップを含み、
ステップａは、ｋ番目の画像と（ｋ＋１）番目の画像から決定されたアファイン変換をｋ番目の画像に適用して、第１のアファイン変換画像を生成するステップであり、
ステップｂは、ｎ＝ｋとして、下記ステップｉ）において、ｎ＝Ｎ−１となるまで、下記ステップｉ）とii）を繰り返し実施するステップであり、
ステップｉ）は、（ｎ＋１）番目と（ｎ＋２）番目の画像から決定されたアファイン変換を前記第１のアファイン変換画像に適用して、第２のアファイン変換画像を生成するステップであり、
ステップii）は、前記第２のアファイン変換画像を前記第１のアファイン変換画像とし、及び、ｎを１だけ増加させてｎ＋１として、前記ステップｉ）に戻るステップ
であり、
前記ｋ番目と（ｋ＋１）番目の画像間の前記アファイン変換は、ｋ番目の画像のｘ−ｙ座標系におけるピクセル座標（ｘ、ｙ）とそれに対応する（ｋ＋１）番目の画像のピクセル座標（x'、y'）との間のｘ方向、ｙ方向それぞれの変位を、ax＋bxx＋cxy、ay＋byx＋cyy（ax、bx、cx、ay、by、cyは係数）として表す変換であって、ｋ番目、（ｋ＋１）番目の画像の撮像時間をそれぞれｔ、（ｔ＋１）とし、時間ｔにおける撮像フレームをＩ（x,y,t）として、Ix、Iy、及びItを、それぞれ、
【数１】
0003590631.tif 000010
により求められる値とした場合に、
【数２】
0003590631.tif 000011
（但し、Σは、ｋ番目の画像内のすべてのピクセルについての和を求めることを意味する）
を前記６つの係数（ax、bx、cx、ay、by、cy）について解くことにより決定され、前記ステップ３）は、Ｎ番目の画像と、１〜（Ｎ−１）番目の画像の各々から最終的に得られた前記各々のアファイン変換画像のそれぞれ対応するピクセル座標におけるピクセル値を加算するステップを含むことからなる、方法。
【請求項２】
前記ピクセル値を加算するステップが、前記加算の前に、１〜（Ｎ−１）番目の画像の各々から最終的に得られた前記各々のアファイン変換画像のうち、撮像時の焦点距離が長い画像に対応するもののピクセル値に、撮像時の焦点距離がそれより短い画像に対応するもののピクセル値より大きな重み付けをするステップを含む、請求項１の方法。
【請求項３】
１〜（Ｎ−１）番目の画像の各々から最終的に得られた前記各々のアファイン変換画像にインターポレーションを適用することにより、該各々のアファイン変換画像において、アファイン変換によっては生成されなかったピクセル座標におけるピクセル値を生成するステップを含む、請求項１または２の方法。
【請求項４】
あるシーンの静止画像を作成する方法であって、
１）前記シーンのＮ個（Ｎは２以上の整数）の画像を撮像するステップであって、前記Ｎ個の画像の各々が互いに異なる視域を有し、かつ、各々の画像が、少なくとも１つの他の画像とオーバーラップしており、前記シーンの全視域は、前記各画像のどの視域よりも広いことからなる、ステップと、
２）前記各画像のオーバーラップ領域の画像を結合して、前記シーンの全視域に合致し、かつ、前記シーン全体を表す画像を生成するステップ
を含み、
前記ステップ２）は、
A.前記Ｎ個の画像の各々を、互いに共通のオーバーラップ領域を有する他の画像とオーバーラップ、または、隣り合うように配列するステップと、
B.k＝１〜（Ｎ−１）までの各ｋ（ｋは整数）について、下記ステップａ及びｂを実施するステップを含み、
ステップａは、ｋ番目の画像と（ｋ＋１）番目の画像のオーバーラップ領域の画像から決定されたアファイン変換をｋ番目の画像に適用して、第１のアファイン変換画像を生成するステップであり、
ステップｂは、ｎ＝ｋとして、下記ステップｉ）において、ｎ＝Ｎ−１となるまで、下記ステップｉ）とii）を繰り返し実施するステップであり、
ステップｉ）は、（ｎ＋１）番目と（ｎ＋２）番目の画像から決定されたアファイン変換を前記第１のアファイン変換画像に適用して、第２のアファイン変換画像を生成するステップであり、
ステップii）は、前記第２のアファイン変換画像を前記第１のアファイン変換画像とし、及び、ｎを１だけ増加させてｎ＋１として、前記ステップｉ）に戻るステップ
であり、
前記ｋ番目と（ｋ＋１）番目の画像のオーバーラップ領域間の前記アファイン変換は、ｋ番目の画像のｘ−ｙ座標系におけるピクセル座標（ｘ、ｙ）とそれに対応する（ｋ＋１）番目の画像のピクセル座標（x'、y'）との間のｘ方向、ｙ方向それぞれの変位を、ax＋bxx＋cxy、ay＋byx＋cyy（ax、bx、cx、ay、by、cyは係数）として表す変換であって、ｋ番目、（ｋ＋１）番目の画像の撮像時間をそれぞれｔ、（ｔ＋１）とし、時間ｔにおける撮像フレームをＩ（x,y,t）として、Ix、Iy、及びItを、それぞれ、
【数１】
0003590631.tif 000012
により求められる値とした場合に、
【数２】
0003590631.tif 000013
（但し、Σは、（ｋ＋１）番目の画像とオーバーラップする領域内にあるｋ番目の画像のすべてのピクセルについての和を求めることを意味する）
を前記６つの係数（ax、bx、cx、ay、by、cy）について解くことにより決定され、前記ステップ２）は、Ｎ番目の画像と、１〜（Ｎ−１）番目の画像の各々から最終的に得られた前記各々のアファイン変換画像のそれぞれ対応するピクセル座標におけるピクセル値を加算するステップを含むことからなる、方法。
【発明の詳細な説明】
関連出願
本願は、ワルター・アール・ベンダーとローラ・エィ・テオドシオの発明であり、ザ・マサチューセッツ・インスティチュート・オブ・テクノロジーを出願人とする米国特許願第786,698号の「異なる焦点距離又は異なる視域の像を使用した高解像度静止画像を得る方法及び装置」の一部継続であり、本明細書にはその内容を全面的に援含する。
発明の背景
本発明は一般的に、複数の画像（image）を使用した高解像静止画像を創出する（creating）方法及び装置に関する。特には、本発明はズームビデオシーケンス（sequence）等の複数の焦点距離を有した画像を使用した高解像固定焦点距離静止画像を創出する方法に関するものである。本発明はまた、静止パノラマ画像よりも狭い視域の複数の画像から静止パノラマ画像を創出する技術にも関する。本発明はさらに、被写体の一部は静止している時間内で撮影された同一被写体の複数の画像から高解像静止画像を創出する技術にも関する。
画像処理分野においては、ある被写体の静止画像を利用することがしばしば好都合である。典型的にはその画像は、記録媒体の性能や、その画像を撮影する装置の焦点距離により決定される解像度を有している。ビデオ装置は現在比較的安価であり、その構造は一般人が使用できるほどに単純化されている。ビデオ記録装置はスチールあるいは静止写真のような静止画像を提供するものより有利な特徴をいくつか備えている。始動したビデオカメラはその焦点領域内に発生する全出来事を撮影することができるが、一方普通のスチールカメラの場合には写真家のシャッター操作によって選択された被写体のみを撮影する。よって、スポーツイベントのごとき高速で移動する被写体を撮影する場合、又は結婚式や報道ドキュメンタリーのごとき予期しない事態が発生するような状況下では、ビデオを常時撮影状態にセットしておき、撮影後に望むスチール写真を選択することが往々にして便利である。しかしながら、非常に高品質なビデオ信号の解像度でもせいぜい480本程度のラインと、640程度のサンプル（sample）に制限されている。（ビデオ信号自体はスキャンラインを通じて連続的である。しかしながら、ディスプレーにおいてはスキャンラインに沿ってサンプル化されている。）多くの場合においてこの程度の解像度では高画質を与えるには不充分である。被写体が短い焦点距離で撮影されたオリジナル画像においては特に不足である。その画像は拡大されると相当に不鮮明となる。同様に、映画や８ミリ撮影のごとき他の移動式撮影技術の場合にもそれらに特有の解像度に限定される。画像の拡大は画像全体にわたり単位面積あたりの解像度を必然的に劣化させる。
例えば、ステージ上のピアノの前で聴衆に向かって演奏しているソロ演奏家のシーンをその聴衆と共に撮影することが望まれる場合がある。もし撮影装置がビデオ装置であれば、聴衆を映し出しているワイドアングル画像は標準ビデオ解像度に見合った解像度となる。画像全体にわたって解像度は同じである。よって、ソロピアニストはそのシーンの残り部分と同様な粗さとなる。たとえば、そのソロリストが全画像の1/16のスペースを使用しているとすれば、縦方向に120本のラインと、横方向に160のサンプルを使用していることになる。この場合、たとえば会場の後方にある空席等の重要度が低い部分も同一の解像度となる。図１は異なる２焦点距離における１焦平面上への、ある被写体の焦点作用を略図的に示すものである。もし焦点距離fwが比較的短ければ、画像２の全幅が焦平面４上に焦点される。
もちろん、ソロリストにズームインし、さらに長い焦点距離で撮影することでそのソロリストをより鮮明（即ち、縦方向にさらに多数のラインと横方向にさらに多数のピクセル）に映出することは可能である。図１に示すごとく、焦点距離fTはfwよりも長い。しかしながら、画像２の中央部６のみが焦平面４に焦点されている。焦平面の範囲外で焦点が合わせされているため、そのシーンの他のほとんどの部分は犠牲になっている。ソロリスト像はさらに拡大されて大きなスペースを占め、元の像は輪郭の一部は写らない。
２チャンネルのデータを結合させて画像データを増強（enhance）する技術は周知である。その第１チャンネルは高スペース解像度（即ち、単位長あたりに比較的多くの画像要素）と、比較的に低い時間的解像度（即ち、単位時間あたりに比較的少ないフレーム数）とを有するものであり、その第２チャンネルは低スペース解像度と、高時間的解像度とを有するものである。その結合の結果、スペース的及び時間的解像度はそれらの高いほうに近づき、通常必要とされる時間的及びスペース的高解像度を有した単画像シーケンス（single  image  sequence）を伝達するよりも少量の情報量でよい。この技術に関しては、1988年５月に米国のザ・マサチューセッツ・インスティチュート・オブ・テクノロジーの電気工学・コンピュータ科学部に提出されたクレーマン・ローレンス・エヌによる「２チャンネルスペース・時間エンコーダ」と表題された学士論文を参照されたい。
前述のような周知な技術は、静止画像の様々なスペース部分の解像度を最短焦点距離で撮影すること以上に増強する本発明技術には利用されない。クレーマンの論文は固定焦点距離画像とベクトル量子化を利用しており、オリジナルの高スペース的解像画像以上ではない解像度と視域（field  of  view）のスチールフレームを提供するものである。
ある被写体から最大可能量の情報を得て、その情報を信号に変換し、後にその信号から元の最大可能量の情報を復元させる技術には上記に関連する問題が発生する。可能な限りの高解像画像の提供が望まれる。
パノラマビュー（view）あるいは視域の一部から他部にかけて実質的に共通な焦点距離を維持しつつ、ある被写体のパノラマ視域を提供できることもまた望ましいことである。これを行う従来の方法は、ビデオカメラをパノラマシーンの一方から他方に移動し、実質的に前後のフレーム間で少々異なる多数のフレームを撮影することである。その隣接するフレームに関して、各フレームは右側と左側の縁部が異なるのみである。フレームを形成している画像の大部分は隣接するフレームの大部分と同一である。パノラマシーンを形成するこれらの様々な画像を保存し、ナビゲートするには大容量のデータ保存及びデータアクセスが必要である。このような従来式データ保存及びデータアクセスはコスト高となる欠点を有している。また、保存及びアクセスされたデータの大部分が実用性を有しない。パノラマスペースを撮影するのに現在使用されている画像撮影装置にはグルーブスコープ（glubuscope）又はボルピ（volpi）レンズの移動手段が含まれている。
１シーンの１位置から別位置へパン（pan）し、同時にズームできることも望ましいことである。従来技術の欠点はそのような組み合わせにおいて望ましくない結果を呈することである。
発明の目的
よって、本発明のいくつかの目的には、以下の特徴を備えた相対的に高解像度を有する静止画像を創出する方法及び装置を提供することが含まれている。
それらの特徴とは、全画像範囲で高解像情報を得る必要性がなく、高解像画像の創作に使用されるシーケンス内のどの画像よりも解像度が優れた画像を提供することができ、必要性が低い画像の大部分に関して情報収集を必要とせず、様々な焦点距離又は視域の標準的ビデオ画像のシーケンスを入力要素として取得可能であり、標準フィルム画像のシーケンスを入力要素として取得可能であり、画像のいかなる部分の解像度をも増強させ、適正にプログラムされた汎用デジタルコンピュータ及び標準型ビデオ又は映画装置を使用可能とすることである。本発明の別目的は、過剰なデータ保存及びアクセス能力を要せず、あるシーンのパノラマ視域を提供し、そのシーンの１位置から他の位置までのナビゲートを可能とする方法を提供することである。本発明のさらに別目的は、デジタル化されたいかなる形態での画像データに対してでも前記能力を提供することである。
発明の要旨
本発明の１好適実施例は静止画像を発生する（generating a still image）方法であって、複数の信号を発生させるステップを含み、各信号は複数の画像の１つを表すものであり、各画像は独自の焦点距離にて創出（produced）されており、さらに、各信号が共通の焦点距離にスケールされた（scaled:一定の割合で作られた）それぞれの画像を表すように変換するステップと、変換された信号を組合せて、一部はオリジナルシーケンスの画像よりも相対的に高解像であって、単焦点距離の最終画像へとスケールされた組合画像を表す信号を発生させるステップとを含む。
本発明の別好適実施例は静止画像を発生（創出）する装置であって、複数の画像を創出する手段を含み、それら画像の各々は独自の焦点距離で創出されており、さらに、複数の信号を発生させる手段を含み、各信号は異なる焦点距離の前記の複数画像の１つを表すものであり、さらに、各信号が共通の焦点距離にスケールされたそれぞれの画像を表すように変換する手段と、変換された信号の各々を組合わせて、単焦点距離の単画像へとスケールされた組合画像（a combination of the scaled images:寸法を一致させて組み合わせた画像）を表す信号を発生させる手段とを含む。
本発明の別好適実施例は静止画像を発生する方法であって、複数の信号を発生させるステップを含み、各信号は複数の画像の１つを表すものであり、各画像は独自の視域で創出されたものであり、さらに、各信号が共通するパノラマ視域内での１位置にトランスレートされたそれぞれの画像を表すように変換するステップと、各トランスレートされた信号を組合せて、オリジナルシーケンスの画像よりも広い視域をカバーする単パノラマ視域の最終画像を創出するトランスレートされた組合画像を表す信号を創出するステップとを含む。
本発明のさらに別好適実施例は静止画像を発生する装置であって、複数の画像を創出する手段を含み、それらの各々の画像は独自の視域で創出されたものであり、さらに、複数の信号を発生させる手段を含み、各信号は前記の独自の視域の画像の１つを表すものであり、さらに、各信号が共通のパノラマ視域内の１位置にトランスレートされたそれぞれの画像を表すように変換する手段と、各変換された信号を組合せて、単パノラマ視域の単画像へとトランスレートされた組合画像を表す信号を発生させる手段とを含む。
本発明のさらに別好適実施例は静止画像を発生（創出）する方法であって、複数の信号を発生させるステップを含み、各信号は複数の画像の１つを表すものであり、各画像は独自の視域と焦点距離とで創出されており、さらに、各信号が共通するパノラマ視域内での１位置にトランスレートされ、共通する焦点距離にスケールされたそれぞれの画像を表すように変換するステップと、各変換された信号を組合せて、一部がオリジナルシーケンスの画像よりも高い解像度であって、オリジナルシーケンスと単焦点距離の画像よりも広い視域をカバーする単パノラマ視域の最終画像にトランスレートされてスケールされた組合画像を表す信号を発生させるステップとを含む。
本発明のさらに別好適実施例は静止画像を発生する方法であって、複数の信号を発生させるステップを含み、各信号は複数の画像の１つを表すものであり、各画像は被写体の一部の画像を取得する独自の時間に創出されており、さらに、各信号がオリジナルシーケンスのどの個々の画像よりも多くの情報を含む組合最終画像を表す信号を発生させるステップを含む。
本発明の別実施例は複数の信号を発生させる手段を含んだ装置であって、各信号は複数の画像の１つを表しており、各画像は被写体の一部を取得する独自の時間に創出されている。各信号を組合せて、オリジナルシーケンスのどの個々の被写体の画像よりも多くの情報を含む組合最終画像を表す信号を創出する手段が提供されている。
本発明を図面と以下の詳細な説明においてさらに詳細に解説する。
【図面の簡単な説明】
図１は画像撮影装置の焦点距離と、その撮影されたシーン部分との関係を略図的に表している。
図2Aは１対のビデオ領域と１ビデオフレームの略図である。
図2Bは組み合わされてビデオフレームを構成する代表的なビデオ領域ペア間のインターレース（interlace）を示す略図である。
図３は実質的に同一被写体のビデオフレームのシーケンスを略図的に示したものであり、短い焦点距離から比較的長い焦点距離にまでズームした状態を表している。
図４は最短焦点距離（ワイドアングル視域）のビデオフレーム内の被写体部分の略図であり、徐々に長くなる焦点距離のフレームのシーケンスの残り部分内と組み合わされている。
図５は図３のシーケンスの各ビデオ画像（図５の左端に示されている）を同一サイズデータスペースにマップ（map）又はワープ（warp）した状態を表す略図であり、そのサイズは拡大された最低解像フレームのサイズである。
図６は比較的短い焦点距離で記録された１フレームを、連続的な拡大データスペースにワープしている状態を表す略図である。
図７はシーケンスの複数のフレーム間の大きなモーションと小さなモーションの両方を特定する方法を略図的に示している。
図８はフレームのシーケンスにおける２体の移動被写体のモーションを特定する方法を略図的に示している。
図９は同一データスペース内にワープされた後のシーケンスの各フレームの略図であり、最終画像に再構築されるようにアラインされた状態を表しており、各フレームの共通ポイントを通るベクトルが図示されている。
図10は最終画像の構築に利用されるウエイト因子（weighting  factor）と、そのウエイト因子が適用されるワープされたフレームの元の焦点距離との間の関係を示すグラフ図である。
図11は最終再構築画像と構築要素の略図である。
図12は本発明の方法の１好適実施例を説明するフローチャート図である。
図13は本発明の装置の１好適実施例の略図である。
図14Aはパノラマシーン内の異なる視域で撮影された一連の別々な画像フレームの略図である。
図14Bは図14Aの別々の画像で構成された組合パノラマ画像の略図である。
発明の好適実施例の詳細な説明
代表的なビデオ画像は領域のシーケンスにより創出される。各領域は撮影される被写体の静止画像を表している。インターレースによって連続的領域間には1/2スキャンラインの縦方向ずれが生じる。（表示システムによってはインターレースなくスキャンされており、その場合には領域間の縦方向ずれは生じない。）典型的には毎秒50あるいは60領域の割合で静止領域のシーケンスを表示することにより、画像内のモーションあるいは変動は人の視覚システムの特性によって提供される。各ペアの領域は前述したごとくにスキャンラインで満ちた画面で構成され、各ラインはそれぞれ画素（ピクセル）により構成されている。各ピクセルは、コンピュータメモリー又は他の適当なデジタル記録媒体内で特定範囲の信号値により表される。カラー画像においては、この範囲は色３要素の各々に対して典型的には０−255である。グレースケール画像に対してはこの範囲は１要素あたり典型的には０−255である。サテライト映写又はＸ線のような画像源のいくらかは０−4096ほどの大きさの範囲を有することがある。ピクセル値はフレーム内のそれらの位置に、対応形状を有した状態でメモリー内に保存される。
周知のごとく、ピクセル値あるいはデータは電磁信号として表され、コンピュータメモリーや、テープ、フロッピーのような磁気媒体に保存されたり、あるいは、データラインに沿って伝送される。典型的には、ビデオ画像を処理する全操作は個々のピクセル要素の値を表す信号に対して行われる。以下に解説するように、「画像に対して、あるいは画像を表すか、又は画像に対応するデータに対して操作が行われている」とは、対応する操作が、画像、データあるいはピクセル値を表す信号（例えば、電磁信号）に対して実際に行われていることである。しかし、説明を簡略化するため、以下においては、操作とは画像そのものに対して行われているものとする。画像処理に関与する技術者であれば、そのような信号による画像表現を理解するであろう。さらに、１好適実施例において、そのような信号の操作は適当なプログラム化された一般用途のデジタルコンピュータによって行われる。しかし、操作によっては、あるいは信号操作は目的とする特定処理のために特別に構築された装置によって実施が可能である。そのような装置の利用は通常能力を備えた当業技術者の能力範囲である。
被写体のモノクロ記録の場合には、各ピクセル要素は単独別個要素である。被写体のカラー記録の場合には、１セットのチャンネルあるいはピクセルのグループが各画像要素に対して使用される。例えば、RGBとして知られる色値スキーム（color  value  scheme）において、色は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の色量の組み合わせにより表される。これら３色の各々の色に対する分離色「チャンネル」が提供される。RGBシステムにおいて、各チャンネルはスキャンラインごとに同数のピクセルを有し、スクリーンごとに同数のスキャンラインを有する。下記に解説する他の色値システムは異なるチャンネルに対してスキャンラインごとに異なる数のサンプルを有する。典型的には、ピクセル要素は表示装置上に相互に隣接して位置しており、同時に表示されるときには（視聴者にはそのように見える）結合してオリジナル画像の色彩を提供する。ピクセルの時間シーケンス表示等の他のスキームでも利用可能である。
RGB色値スキームは特定の使用には役立つが、色値の数学的操作には必ずしも最適ではない。他のカラースキームはこれよりも有用であり、特には画像の輝度を表すチャンネルを含むものが有効である。一般的に輝度とは、識別可能な単位面積当りの、所定方向における発光強度あるいは反射光の強度として記述される。一般的に、輝度及び２つの他の要素により定義される３チャンネルカラースペースはRGBカラースペースと等価である。代表的な輝度カラースペースは、アメリカ合衆国におけるテレビ放送用の米国テレビ基準委員会により使用されているＹ（輝度）、ｉ（位相）及びｑ（クワドラチャー（quadrature））カラースペースである。他の輝度カラースペースはCIE（Commission  International  de  ｌ′Eclairage）、Ｙ、ｘ、ｙ（輝度及び２クロミナンスチャンネル）及びその変形、さらにＹ、ｕ、ｖ（輝度及び２クロミナンスチャンネル）等である。
本発明においては、たいていの処理は１チャンネル又は１コンポーネントを表す信号の処理で充分である。全てのデータ計算及び操作は、まずカラー画像のＹチャンネルに対してのみ実施される。Ｙチャンネルが選択される理由は普通、Ｙチャンネルがビデオシステムにおいて最も高い信号とノイズとの比を有しているからであり、さらに、Ｙチャンネルは、たいていの場合にクロミナンスよりも高いスペース周波数にてサンプルされるからである。Ｙチャンネルに関して必要な変換が決定された後、同一の変換が位相及びクワドラチャーでのクロミナンスチャンネルのごとき残りのチャンネルに対して適用される。これらの変換の特徴を以下にて述べる。
ビデオ画像は通常において一連のフレームと見なされているが、実際にはそのような「フレーム」は存在していない。観察者及び当該分野の技術者にフレームとして受け取られているのは、実際には１対の「領域」である。各領域は偶数のスキャンライン、又は奇数のスキャンラインにより構成されている。偶数の領域は奇数のスキャンラインから垂直方向に１本のスキャンラインの半分だけ外れている。１対の領域はインターレースされて１フレームを形成する。
１対の領域101と102は、図2Aにて略図的に示されている。領域101は画像の奇数スキャンラインのみを含み、領域102は画像の偶数スキャンラインのみを含む。ビデオ装置はこれらの領域を順次別々に記録する。よって、各領域は、領域の記録に要する時間に関わる被写体の動き、あるいはカメラの動きによる多少異なる画像を記録する。また、ビデオ装置は領域を連続的に素早くディスプレーし、その速度は典型的には毎秒50から60領域である。この速度で領域がディスプレーされるとき、観察者は組み合わされて１つになった領域であるフレーム110を「見る」こととなる。各領域（シーケンスの最初と最後を除いて）は各連続した２フレームのコンポーネントであることが理解されよう。図2Bに示されるように、領域102はフレーム110の第２領域と、フレーム112の第１領域を形成する。同様に、領域103はフレーム112の第２領域とフレーム114の第１領域を形成する。観察者の視覚システムにより組み合わされる以外は、フレームは実際には別個の信号要素としては存在しないことも理解されよう。
本発明の方法はフレームのシーケンス、特にはビデオ画像のシーケンスを使用する。本発明の実施には、フレームコンポーネントの脱インターレースが必要である。脱インターレースとは、奇数又は偶数のラインだけではなく、画像の各ラインのピクセル値を含む、典型的にはコンピュータのメモリーオンリーにおけるピクセル要素からなる実際のフレームを表す信号を構成することを意味している。本発明はまたインターレース技術を利用することなく記録されたデータに対しても適用が可能である。しかし、インターレースされたものは一般的であり、それを脱インターレースできることは必要なことである。
本発明によれば、脱インターレースはデータ信号にメジアン（median）フィルターを適用することで達成される。例えば、時間（ｔ）で脱インターレースされたフレームの７番目のスキャンラインを創出するには、４値のメジアンが使用される。即ち、時間（ｔ−１）における領域の７番ラインの各ピクセル要素に対する値と、時間（ｔ＋１）における領域の７番ラインの対応するピクセル要素に対する値と、時間（ｔ）における領域の６番ラインの対応するピクセル要素に対する値と、時間（ｔ）における領域の８番ラインの対応するピクセル要素に対する値とである。これらの４数間のメジアンは脱インターレースされたシーケンスのフレームの７番ラインにおける対応ピクセル要素の値として割り当てられる。
同じプロセスがスキャンラインの各ピクセルと、その領域の各奇数スキャンラインに対して繰り返される。偶数スキャンラインは単純に時間（ｔ）における領域から取り出される。この脱インターレースされたフレームはいかなるオリジナルシーケンスのフレームとも異なるものである。なぜならば、奇数スキャンラインを形成しているピクセル要素は前後の領域と時間（ｔ）での領域との結合により創出されているからである。
第２の脱インターレースされたフレームを創出するには、このプロセスが繰り返されるが、偶数スキャンラインは領域（時間ｔ）及び（時間ｔ＋２）からの偶数スキャンラインのメジアンを使用することで形成され、奇数スキャンラインは関係するスキャンラインの上下に存在する領域（時間ｔ＋１）からのメジアンを使用することで形成されることは相違する点である。奇数スキャンラインは時間（ｔ＋１）での領域から直接的に拾われる。
フレームが脱インターレースされた後、一連のフレームが得られる。それらはそれぞれ偶数と奇数のスキャンラインの全コンポーネントから構成されており、領域のシーケンスの観察者により感知される１フレーム内のものと同数のスキャンラインを有している。
他の脱インターレース方法もまた利用可能ではあるが、それらは本発明の範囲内である。しかし、これら他の方法は前述の脱インターレース技術程には優れた結果を提供するとは考えられない。その１つの方法は、１領域内の各ペアのライン間において、データの新ラインを合成するために各領域内のスキャンライン間のリニアインタポレーション（linear  interpolation）を行うことである。この技術は動きのない画像部分においてスペース解像度の減退を生じさせる。別の方法としては、そのときの領域の前後の領域間でインタポレーションを行うことであろう。この技術は動きのある画像部分の時間的解像度を犠牲にする。別々の領域に対してデータ操作を施し、１領域を次の領域にワープさせるためにアファイン変換（affine  transformation）を利用することも可能である。しかしながら、領域のアファイン変換はインターレースによるスペース時間エイリアシング（aliasing）により脱インターレースされたフレームにアファイン変換を施すほどには良好な結果を提供しない。
本発明の方法の１実施例に使用されるフレームのシーケンスは、典型的にはズームシーケンスであり、これは高焦点距離から低焦点距離、又はその逆のズーミングのことである。ズーム中にパン（水平モーション）又はジブ（垂直モーション）あるいはチルト（tilt）操作することも可能である。さらに、各パン、ジブあるいはチルトはズームをせずとも利用可能である。また、本発明の１実施例は、実質的に同一焦点距離、すなわち、ズームすることなく撮影された画像のシーケンスからの情報と、実質的に同一視域、すなわち、意味のあるパン、ジブあるいはチルトなく撮影された画像のシーケンスからの情報とを結合させることに関する。説明を簡略化するため、純粋なズーム実施例を詳細に説明する。
脱インターレースされた100のフレームのシーケンス200が図３において略図的に示されている。そのシーケンスは、比較的短い焦点距離でワイドなアングルのフレーム201から比較的長い焦点距離でクローズアップのフレーム300までのズームにより構成されている。フレーム201において一連の文字が略図的に表されている。フレーム300においてはフレーム201の中央に位置しているアルファベット「Ｘ」部分のみがフレームに含まれている。
シーケンス200の各フレームは同数のピクセル要素及びスキャンラインから構成されている。従って、中央の文字Ｘの横断部分がフレーム201のズームにおいて50のピクセルを使用しているものと仮定すれば、その横断部分はフレーム300でのズームにおいては300のピクセルを使用していることになる。代表的なズームにおいては、シーケンスの最初から最後のフレームにかけて4:1以上のスケールファクターである。フレーム300のズームからの横断部分の画像化は明らかにフレーム201のズームからの横断部分の画像化よりも多くの情報提供が可能である。しかし、例えば他の文字のごとき当初の被写体の他の要素を画像化するのに必要な情報はフレーム300からはまったく得られない。なぜなら、これらの要素はフレーム300には存在しないからである。よって、本発明の１つの目的はシーケンスの別々のフレームから得られる情報を組み合わせ、その被写体の大部分についての充分な情報を有した１画像に形成することである。
個々のフレームとオリジナルシーンとの間の関係は図４にて略図的に示されている。フレーム201は全オリジナルシーンを映出している。フレーム202は領域202sに見合うだけのオリジナルシーンのみを画像化しており、それはフレーム201よりも小さいものである。フレーム203は領域203sに見合うだけのオリジナルシーンのみを画像化しており、このように順番に領域300sにまで継続する。従って、オリジナルシーンの徐々に小さな部分は、全シーンがズーム201によりマッピングされているデータスペースと同一サイズであるデータスペース内にマッピングされる。（他のデータスペースを比較して最小であるため、このデータスペースを「小」データスペースと呼称する。）
本発明の目的は、各ズームフレームから取得可能な多量の情報を利用することである。各ズームフレームは拡大され、最長の焦点距離のフレーム、即ちフレーム299と同じスケールを有することとなる。図５において略図的に示されているように、拡大されたフレームは相互に重ねられる。オリジナルフレーム201はオリジナルサイズの何倍にも拡大される。各連続するフレーム202、203・・・等は徐々に減少する倍率で拡大され、最終フレーム299はまったく拡大されない。各フレームの画像を他の全フレームのシーンの同一部分と実質的に重なるように重ねることは可能である。もし各フレームの画像部分が不鮮明であれば、被写体の見える部分（フレーム299の全部及び他の全フレームの輪郭部）は最も高い解像度を有するフレームから構成される。
各フレームのスケールアップは、各フレームを表すデータ信号の変換操作と、その変換データを一連のデータスペースにマッピングする操作とを経て、究極的に最終データスペースにマッピングされたデータを表す信号を発生させる操作により達成される。この最終データスペースは、「小」データスペースよりもずっと大きく、「大」データスペースと呼称する。（実際には、各フレームは全大スペース内で構成され、最大に拡大されたフレーム201と同じデータスペースを占める。しかし、フレーム201を除く全フレームにおいては、フレームの輪郭部はゼロの値を有するピクセルにより形成されている。もし、メモリーを考慮することが重要であれば、以下に解説するように、メモリーが希薄な組合せモードを使用することも可能である。）
各拡大フレームの解像度はもちろん互いに異なっており、ある部分、例えば、フレーム201からの中央文字Ｘにおいて得られる情報の詳細は、フレーム203あるいは299から得られる被写体の同じ部分における情報の詳細よりもずっと希薄であろう。言い換えるならば、フレーム201の拡大画像はピクセル間の情報ギャップの影響を受ける。フレーム300からの画像はこの情報ギャップの影響をまったく受けない。この情報ギャップは以下に説明するごとく、データを含んだピクセル間のインタポレーションにより満たされる。
上述したように、もしフレームが同一サイズにスケールされ、各々のデータが他のデータに重ねられると、それらは良く重なり合うが、実質的に重なり合っているのみであり、必ずしも厳密な意味で重合しているわけではない。これはカメラモーションや被写体要素のモーションのためである。比較的高い解像度の静止画像を創出するためにフレームのシーケンスを利用する過程では、これらのモーションを考慮に入れることも重要である。
本発明の方法を以下にて詳細に説明する。前記スキームの特定手段を活用するには、本発明の方法は、まず各フレームを同じディメンション（大データスペース）のデータスペースにマップあるいは「ワープ」する必要がある。そのワープ処理後にシーケンスの個々のフレームは合成画を創出するためにウエイトされた時間メジアン操作によって結合される。
各フレームを大データスペースにマップあるいはワープするには、ズームのフレームシリーズが実質的に一定な焦点距離のフレームのシリーズとしてモデル化され、１あるいは２の移動被写体を記録する。その状況は相関的なものである。記録装置の焦点距離を変化するものとして処理する代わりに、被写体全体が固定焦点距離レンズの記録装置に近づくか、又は遠ざかるかのように記録データに変化が生じる。
以下にて本発明方法の基本的ステップを紹介する。最初の基本ステップの順序は説明を目的として選択されたものであり、本発明方法のステップの順序を示したものではない。本当のステップの順序は基本的概念を紹介した後に説明する。
本発明の基本的ステップはカメラモーションをリカバーするためのものである。この例では、カメラモーションはズームを原因とするが、パン、ジブ、チルト等も原因となる。本発明の方法は、水平、垂直及びスケール方向（水平／垂直面に垂直）の画像部分の速度としてカメラズーム（あるいは他の要因）による連続的フレーム間の変化をモデル化する。そのような画像部分に対するフレーム間の速度は、これら３方向の各々について決定される。その結果、どのフレームのいかなるピクセル値も、多重速度（連続的多重フレームペア間の移動を表すもの）をオリジナル画像部分を表しているデータに適用することで、異なる焦点距離の１フレーム内の対応位置にワープすることが可能である。これに関連する技術は1990年４月に発表されたニュージャージー州プリンストンにあるデイビット・サーノフ・リサーチセンターのバーゲン・ジェイ、バート・ピー、ヒンゴラニ・アール及びペレグ・エスらによる論文『３フレームからの２モーション計算』にて開示されている。以下の基本的説明の多くは実質的には前記バーゲン他の論文から借用したものである。
ある画像領域のモーションに対する単純クローズアップされた形態での予測は前記バーゲン他を利用したものである。まず、画像の部分的な小移動は、画像シーケンスであるフレームＩ（x,y,t−１）及びフレームＩ（x,y,t）間で生じると考えることができる。このフレームＩ（x,y,t）は、時間（ｔ）におけるｘ（水平）及びｙ（垂直）方向に延びている観察像であり、例えば、フレーム299にて示されている。フレームＩ（x,y,t−１）は時間（ｔ−１）における観察像であり、例えば、フレーム298である。いかなるときにもＰ（x,y）として表されるｘとｙのパターンは、すべてのピクセルのｘとｙ両方向の移動成分を有している速度領域である速度ｐ（x,y）で移動している。モーション領域ｐ（z,y）はｘとｙにおける変位で表される。
ｐ（x,y）＝（px（x,y）,py（x,y））        （１）
このpx（x,y）はｘ方向（ｘとｙの関数）の変位であり、py（x,y）はｙ方向（ｘとｙの関数）の変位である。よって、以下の式が導かれる。
Ｉ（x,y,t）＝Ｐ（ｘ−tpx,y−tpy）         （２）
Ｉ（x,y,t）＝Ｉ（ｘ−px,y−py,t−１）     （３）
前記フレームのインターバルを１時間ユニットとすることで表記を単純化することができる。最小平方誤差（least  squared  error）技法に従い、測定値と領域ｐを使用した計算値との間の平方誤差を最小とするモーション領域ｐ＝（px,py）を求めるのが有効である。
0003590631.tif 000002
１フレームから次のフレームまでの変位が小さいと仮定すれば、等式（４）はＩ（x,y,t）のトランケートテーラーシリーズ拡張（truncated  Taylor  series  expansion）を利用して単純化することが可能である。
0003590631.tif 000003
ここにおいて、
0003590631.tif 000004
従って、
0003590631.tif 000005
となる。
画像モーションは速度成分（x,y及びｔ）の各パラメータに関して等式（６）のデリバティブ（derivative）をゼロにセットし（誤差はデリバティブがゼロのときに最小だからである）、得られる等式システムを解くことで求められる。
もし、画像部分のモーションが単純変換移動（simple  translation）によりモデル化されているなら、ｐ＝（ax,ay）となり、ax及びayはピクセルのユニットにおいて定数となり、オプチカルフロー（optical  flow）等式は以下のようになる。
0003590631.tif 000006
本発明方法の代表的な適用ケースにおいては、モーションは単純移動によってはモデル化できないことが理解されよう。なぜなら、単純移動は焦点レンズのズームにおいて生じるようなスケール変化のリカバー又はモデル化を行わないからである。その代わり、画像のモーションは、アファイン変換（即ち直線を直線に、平行線を平行線に変換するが、ポイント間の距離と、ライン間のアングルを変化させる可能性のある変換）によりさらに典型的で正確にモデル化される。この場合、モーション領域ｐは、６個のパラメータであるax、bx、cx、ay、by及びcyを有しており、それらは次のように適用される。
px（x,y）＝ax＋bxx＋cxy                   （9x）
py（x,y）＝ay＋byx＋cyy                   （9y）
ax及びayは前記のごとくであり、bxはｘ方向のｘの百分率のスケールファクターであり、cxはｘの百分率ローテーションファクターであり、ｙ位置に関係するものである。byはｙの百分率ローテーションファクターであり、ｘ位置に関係し、cyはｙの百分率スケールファクターである。ズームにおける１フレームから次のフレームへのaxとayの通常範囲は数個のピクセル程度である。残余ファクターの普通範囲は0.001から0.1程度である。もし、等式（６）の誤差がこれらの６個のパラメータの各々に関して微分（defferentiate）されると、６個の未知数ax、bx、cx、ay、by及びcyを持つ６個の等式システムが得られる。即ち、
0003590631.tif 000007
である。
このシステムは係数ax、bx、cx、ay、by及びcyについて解かれなければならない。解を得ることは可能である。なぜなら、Ix、Iy、及びIt、ｘ、ｙ及びｔに関する部分デリバティブは時間（ｔ）及び時間（ｔ＋１）の画像値から決定可能だからである。Itは時間（ｔ＋１）のピクセル値を時間（ｔ）における対応ピクセル値から差し引くことで決定される。Ixは時間（ｔ）のピクセル値と時間（ｔ＋１）の対応ピクセル値を加えて、その合計をｘにおけるデリバティブフィルターに通すことで決定される。Iyはその合計をｙのデリバティブフィルターに通すことで決定される。これら３値が画像内のすべてのピクセルに対して決定されたならば、等式（10）のシステムは、係数ax、bx、cx、ay、by及びcyについて解かれる。これらの係数を知れば、１つのフレームから次のフレームまでの画像の特定アスペクトを表すピクセル値の位置の変化を決定することが可能である。
従って、フレーム201のピクセル値の位置を決定するために、画像部分をワープされていないフレーム202の画像の対応部分と合致させるためにフレーム201が１ステップ分だけワープされた後に、等式9xと9yによる変換がフレーム201の各ピクセル値に適用される。図６に示すごときポイント（x,y）、ピクセル位置（20、30）の画像部分を考察されたい。（図６はスケールされていない。）図６においてオリジナルスケールでのフレーム201は符号201で表されている。フレーム202のスケールにワープされた後、フレーム201は2012として表される。フレーム203のスケールにワープされた後には2013として表され、この要領でフレーム20199まで継続する。スケールの増加率10％（１フレームから次のフレームに対するものとしては大きい率）と５個のピクセル分の右側へのパンに対しては、フレーム201とフレーム202間の典型的な係数は以下の値を有している。
0003590631.tif 000008
フレーム201のピクセル（20、30）での値のｘ方向におけるフレーム201からフレーム2012への変位は、５＋（.1×20）＋（０×30）＝７となる。その値はｘの正の方向に７ピクセル分移動し、ｘ位置は27となる。ｙ方向の変位は、０＋（０×20）＋（.1×30）＝３となり、ｙの方向に３ピクセル分移動してｙ位置33となる。これは図６にて、フレーム201のピクセル位置（x,y）からフレーム2012の別位置（その画像の同一箇所）へ向かう曲矢印Ａで示されている。
同様に、同じピクセル値をフレーム2013にて占める位置にワープするには、フレーム202と203との間で６つの等式（10）のセットを解くことで得られる係数ax、bx、cx、ay、byとcyを使用してフレーム2012のピクセル座標に変換等式（9x）と（9y）を適用することが必要である。それらの係数は、フレーム201とフレーム202との間で得られたものとは異なるであろう。
その変換等式は１次式であり、よってリバース可能である。フレーム201のスケールからフレーム202のスケールへの変換には、係数ax、bx、cx、ay、by及びcyが使用される。フレーム202のスケールからフレーム201のスケールに変換するには、これらの係数の１次リバースが利用される。この方向の変換は、メモリーの使用を以下のように最小とする場合に、画像信号を組み合わせる別モードを実行するのに利用される。
以上説明したように、フレーム201のポイント（x,y）からのピクセル値はフレーム2012の新位置にワープされる。ポイント（ｘ＋1,y）からのピクセル値もフレーム2012の新位置にワープされる。その位置は典型的にはピクセル（x,y）の値に対応するワープ位置に隣接することはない。もしこれ以上何の操作もしなければ、フレーム2012のこれら２ポイント間のスペースはブランク又は無値状態となる。このスペースに情報を入力するには何らかのインタポレーションが必要となる。これには、１次及びバイリニア（bilinear）インタポレーションを含む種々な技法が可能である。バイリニアインタポレーションは効果的に使用される。
バーゲン、バート他により説明されているように、前記のモーション予想法はズームシーケンスの１フレームから次フレームまでの画像のずれが少なく（１ピクセル以下）、前記の簡略テーラーシリーズ近似法が適している時のみに正確である。図７において略図的に示されている多重解析（ピラミッド）構造を使用することでさらに良い結果が得られ、その技法はより一般的な大きな移動の場合にも適用可能である。
アファイン変換パラメータax、bx、cx、ay、by、cyを決定する過程において、ガウスのピラミッドＧは、例えばフレーム201と202である画像フレームペアの各フレームに対して構築される。シーケンスの各メンバーに対して、その解析度及びそのサンプル密度が平方的に減じられているオリジナル画像の修正コピーのシークエンスを利用してそのピラミッドは形成される。シーケンス200のフレームの１つがガウスピラミッドシーケンスのベースレベルを形成している点を除けば、例えばＧ201,0、Ｇ201,1、Ｇ201,2、Ｇ201,I等のガウスピラミッドシーケンスの構成要素はシーケンス200の構成要素とは全く異なっていることは特記に値する。
解像度を減少させるため、データはローパスフィルターを通過される。このローパスフィルターを通過することで画像の小さなあるいは素早い移動に関連したデータが排除される。従って、大きなモーションは解像度が最も大きく減少したレベルにて検知可能である。ローパスフィルターがデータ内の偏差の大部分を排除するので、存在する全ピクセルに対する計算をする必要性はなくなる。よって、操作対象のピクセル数を減少させるために２程度のサブサンプリング（sub−sampling）が適用される。このサブサンプリングは計算の能率を高め、操作のスピード向上に寄与する。典型的なサブサンプリングのパターンは隔行及び隔列を無視することである。
ピラミッドの各レベルＩは、ローパスフィルターの効果を発揮させるために小核（kernel）フィルターωで先行するレベルのデータを収束させることで取得され、続いてサブサンプリングを行う。Ｇt,l＝［Ｇt,l−１＊ω］↓２。ここでのＧt,lは画像Ｉ（x,y,t）に対するIthのピラミッドレベルである。上記↓２は、括弧内の量がｘとｙに対して２でサブサンプルされていることを示している。例えば、Ｇ201,1を得るにはＧ201,0をフィルターωで収束し、その結果をサブサンプリングする。
変換の分析は画像ピラミッドの低解像レベル、例えばレベル３にて開始される。480スキャンラインと640ピクセルにより定義されるオリジナル画像に対しては、レベル３の分析は良好な結果をもたらす。レベルＩのサンプル距離はオリジナル画像のサンプル距離の2I倍である。従って、対応して大きくなる画像速度が予測可能となる。追跡手順の各連続的反復にて、分析は次の段階の解像ピラミッドレベルへと移動し、オリジナルに近づいて行く。
従って、アファイン変換パラメータの決定は、例えばレベル２にて開始する。まず、ピラミッドG201とピラミッドG202の間でax、bx、cx、ay、by及びcyに対する等式（10）を解く必要がある。これは２ステップで行われる。まず、アファイン変換（p2）のシード（seed）セットが選択される。このシードは全部ゼロであっても、ズームによるスケールファクター、あるいは知られたパン又はジブによるトランスレーションのような変換の既知アスペクトに近似して選択されたものであっても構わない。これらのアファイン変換は、レベル２にてワープされた画像を得るためにW2においてＧ201,2に適用される。これは図７において歪方形Ｇ201,2wとして図示されている。たいていの場合には、このワープは次の時間インターバル（ｔ＋１）、即ちＧ202,2でのガウスメンバーを正確には提供しないであろう。よって、第２のステップでは調整用アファインパラメータΔp2のセットが画像の値Ｇ202,2とＧ201,2w間で予想される。これらは前述もごとくに予想されるものである。
まず、ローパスフィルタリング及びサブサンプリングを介さずにフレームに対して上記したようにIx、Iy及びItを解くことが必要である。Ix、Iy及びItは、さらに小さく、ローパスフィルターされたデータのサブサンプルセットが使用されることを除けば、同様に計算される。フレーム202からフレーム201に対する値を引く代わりに、ワープされたピラミッドフレームＧ201,2wからの値がピラミッドフレームＧ202,2に対する値から引かれる。このように、レベル２の部分デリバティブが決定され、その後にこのレベルの調整用アファインパラメータax、bx、cx、ay、by及びcyが決定可能となる。調整用アファインパラメータは図７においてΔp2として集合的に示されている。
調整用アファインパラメータのセットは、ガウスシーケンスピラミッド201における先行するレベルからのアファインパラメータp2と結合されてレベル１、即ちp1用のアファインパラメータを形成する。この結合は単純な加算ではない。例えば、新axタームは時間（ｔ）におけるaxターム（ピラミッドG202）や時間（ｔ−１）におけるaxターム（ピラミッドG201）、及びｘ方向における他の変化に基づくものである。以下の式はこの関係を説明している。
0003590631.tif 000009
このプロセスは、今回はレベル１で、フレーム201及び202に対する操作過程でのオリジナルレベルでアファイン変換パラメータax、bx、cx、ay、by及びcyが取得されるまで、全レベルを通して反復される。アファインパラメータは最も正確なところで収束するので、ΔP1タームはゼロとなる傾向にある。
従って、いかなるフレームのスケールからの１フレーム（例えば、フレーム226から次のフレーム227のスケール）を変換するワープファクターを決定するには、前述の操作が実施される。よって、フレームスケールの各ペアに対して、アファイン変換パラメータax、bx、cx、ay、by及びcyのセットが計算される。その後、１フレーム、例えばフレーム251を適当なサイズに変換するには、まずフレーム251と252に対する先行する分析により決定されたアファイン変換パラメータax、bx、cx、ay、by及びcyを使用し、フレーム252のスケールに変換される。次に、その変換されたフレーム2512は、フレーム252と253に対する先行する分析により決定されたアファイン変換パラメータax、bx、cx、ay、by及びcyを使用してフレーム253のスケールに変換される。これらはフレーム251と252間で決定された変換パラメータとは異なるものである。このプロセスはフレーム300のスケールにて、フレームが大データスペースに変換完了するまで反復される。
前記の方法は、もしカメラあるいは被写体間の相対的モーションがほとんど存在しないか、あるいはまったく存在しないならば良好に作用する。唯一の画像変化はズームによるものでなる。しかしながら、実際上はそのようなモーションを排除できることが望ましい。いくつかの方法が考えられる。基本的で効果的な方法は、全フレームを視覚的に検査することであり、視域を横切る人のように大きなモーションを特定することである。モーションが各フレームにおいて生じる領域をカバーするためにマスクが利用可能であり、この領域を変換時に無視することができる。最終画像のマスク位置を設定するのに望ましいピクセル値をオペレータは手動にて選択する。
別の方法は図８にて略図的に示すように、２つのモーションを追跡するバーゲンとバート他により解説されている技法を利用することである。データはモーションのペアを参照して評価される。ここでの画像Ｉ（x,y,t）はそれぞれ独立したモーションｐとｑを有する異なる画像パターンＰ及びＱの組み合わせとしてモデル化される。Ｉ、Ｐ及びＱ間の関係は以下のごとくであろう。
Ｉ（x,y,0）＝Ｐ（x,y）▲＋▼Ｑ（x,y）
及び
Ｉ（x,y,t）＝Ptp▲＋▼Qtq                 （11）
上記等式中の▲＋▼で表される計算は、加算又は掛け算のごとき２モーションを結合させるための計算を表し、Ptpは時間（ｔ）を通じてモーションｐにより変換されたパターンＰを表しており、バーゲン及びバート他は、もしモーション成分の１つ、及び結合ルール▲＋▼が知られていれば、パターンＰ及びＱの性質について予想をたてることなく、前述の１成分モーション技法を活用して他のモーションを計算することが可能であることを示している。もし、モーションｐが知られていれば、モーションｑのみを決定すればよく、その逆もある。速度ｐで移動しているパターンＰの成分は、各画像フレームをｐによりシフトし、そのシフトしたフレーム値を次のフレームから差し引くことで、画像シーケンスから排除することが可能である。得られる差シーケンスは速度ｑにて移動しているパターンのみを含む。
特殊な場合には、結合計算▲＋▼は加算である。シーケンス200の３フレームＩ（１）、Ｉ（２）及びＩ（３）の場合について考え、変数D1及びD2をそれぞれそれらペアのフレーム間で発生した差フレームに当てはめてみる。等式11は以下のようになる。
D1≡Ｉ（x,y,2）−Ip（x,y,1）
D1＝（P2p＋Q2q）−（P2p＋Qq+p）
D1＝Q2q−Qq+p
D1＝（Qq−Qp）ｑ
D2≡Ｉ（x,y,3）−Ip（x,y,2）
D2＝（P3p＋Q3q）−（P3p＋Q2q+p）
D2＝Q3q−Q2q+p
D2＝（Qq−Qp）2q                          （12）
これは１ステップにてパターンＰを変換するための302におけるＩ（１）のワープとして図８において略図的に示されている。この次の段階はパターンＰのモーションの影響を排除するための304におけるＩ（２）の減算である。その結果得られるものはD1、即ち差シーケンスの１要素である。D2は、パターンＰのモーションにより306でワープされたＩ（３）とＩ（２）間の308における差を利用して同様に形成される。
変更シーケンスは１モーションｑで移動する新パターンQq−Qpで構成されることになる。
Dn＝（Qq−Qp）nq                          （13）
従って、モーションｑは前述の１モーション予想技法を活用して２つの差画像D1とD2との間で計算可能である。このことは図７にて310で略図的に示されている。同様に、モーションｐはｑが知られているときに回復可能となる。観察された画像Ｉ（x,y,t）はｑによりシフトされ、新しい差シーケンスが形成される。
Dn＝Ｉ（x,y,n＋１）−Iq（x,y,n）          （14）
このシーケンスは速度ｐにて移動しているパターンPp−Pqである。
Dn＝（Pp−Pq）np                          （15）
よって、ｐは１モーション予想技法を活用して回復可能となる。
このシフト及び減法手順はパターンに関わりなく、又はパターンを決定することなく画像シーケンスから１つの移動パターンを排除する。実際上はｐもｑも最初は知られていない。しかしながら、最初に非常におおまかな予想値を選択したとしても、それらの両方ともが前記の技法を反復することにより回復可能である。この反復手順は１モーション技法を反復的に適用する。モーションｐを定義するパラメータのおおまかな予想値で始め、ｑの予想値を求め、312でワープステップの302と306にリターンされる。予想値ｑから改良予想値ｐが取り出され、312にてワープステップ302と306にリターンされる。この手順を繰り返す。この手順にて正確な予想値に素早く収束する。実際の画像シーケンスを使用して、３から12サイクル後には要求を満たす変換が求められる。
本発明のこの部分のステップを要約すると以下のごとくとなる。
１。パターンＰのモーションp0に対する初期予想値を決定する。
２。最新pn予想値を使用して等式（12）のごとき差画像D1及びD2を形成する。
３。シングルモーション予想をD1とD2に適用してqn＋１の予想値を得る。
４。予想値qn＋１を使用して新差画像D1及びD2を形成する。
５。シングルモーション予想を新D1とD2に適用して新pn＋２を取得する。
６。ステップ２から手順を繰り返す。
この２モーション技法に従って取り出された２セットのアファインパラメータを観察することで、移動対象体あるいはカメラモーションを特定することが可能となる。一般的に、ズームワープのみに関係するパラメータは１フレームから次フレームにスムーズに変化し、その変化も小さい。画像モーション又はカメラモーションに関係するパラメータはズームによるものとは異なる変化を示す。これらの相違する変化は検査により観察可能である。
１ペアのフレームから次ペアのフレームまでのアファインパラメータを自動的に比較し、その変化が予め設定したレベルを越えるときにはフラッグ（flag）を機能させることで。被写体又はカメラのモーションの特定作業を自動化することは理論的に可能である。１つの可能性を有する技法は、フレームの２ペアのアファインパラメータ間の差を、設定した数の先行フレームペアの標準偏差と比較することである。例えば、70のフレームのシーケンスに対しては、少なくとも最後の10フレームペアの標準偏差を決定することが一般的である。
もし、カメラと被写体要素の両方ともが移動しているとき、２以上のモーションが存在し、カメラモーションを排除するためのさらに一段上の方法が有効である。前述したアファインの２モーション予想法とマスキング技法を組み合わせると便利な結果をもたらすことが発見されている。画像内の予想密度関数の偏差ベクトルを決定することもまた有利であろう。一般的な理解には、1990年６月にアメリカ合衆国マサチューセッツ州ケープコッドにて開催されたアメリカ光学学会の『機械理解及び機械視覚総会』の議事録内にあるギロッド・ビーとクオ・デーによる「偏差ヒストグラムの直接的予想法」を参照されたい。ここにはフレーム間で移動する異なる被写体の数と、それらに対応する偏差ベクトルがどのようなものであるのかについての情報が掲載されている。局部ブロックマッチング予想（local  block  matching  estimator）がそれらの移動被写体を空間的に位置決定するのに使用されている。移動被写体の領域は計算によりマスク処理が施され、その後にアファイン予想値が計算される。
フレームペア間の偏差が小さいものであって、突き当たったり、焦点距離の急激な変動のごとき予期しないカメラ移動がまったく存在しないと仮定すれば、アファインパラメータはフレームペア間ではあまり異なるものではない。前述のごとくに、パラメータが決定された後、その係数は不要な値を排除するために簡略化される。
シーケンス200の各フレームからのＹチャンネルデータがワープされれば、決定されたアファインパラメータはフルカラー映写用の変換を提供するために、例えば位相（phase）及びクワドラチャー（quadrature）にて他のチャンネルに適用される。
ワープされた短焦点距離フレーム201のフルラスタ（full  raster）が満たされた後、１フレームから次のフレームまでのアパーチャ設定の変分のごとき音響に影響を及ぼす変化を補うため、音響スケール補正を実施することができる。中央の画像から始めて、２つの画像が隣接する箇所周辺で光度のサンプルが採られる。データにスプライン（spline）がフィットされ、大きい方の像（低めの解像度）のピクセルが小さい方の像のピクセルに変更される。その後にこの補正画像の音響スケールは次の大きさのワープされた画像との比較に用いられ、最大の画像までこの手順が繰り返される。
シーケンス200の各フレームからのフルカラーデータが同じデータスペースにワープされたら、各ピクセルに対する１フレームからのデータを他の全フレームのデータと組み合わせる必要がある。これにはいくつかの技法が可能である。最も基本的な技法は、最高の解像度を有するフレームから最終合成画像用のピクセル値を選択することである。図５において示されるように、フレーム299がワープされたフレーム299wがその合成画像の中央部を占め、このフレームはその像の中央部に関して最も高い解像度を有するであろう。フレーム298からの情報は中央部の環状方形部位を占め、この情報はこの部分に可能な最高の解像度を提供する。フレーム297からの情報はフレーム298wの環状領域周辺の多少大きな軸の環状方形部位を占め、第１フレーム201wの環状縁部がワープされた写像の最外部領域を占める。
上記手順にて好ましい結果が得られるが、明瞭なエッジ部が現れて種々のフレームから発生した領域間の境界線を際立たせる。この理由により、あるピクセルに対して、シーケンスのワープされた全フレームにウエイト関数が適用され、そのピクセルの値としてウエイト値のメジアンがとられる。図９に示すように、ピクセルの位置はベクトルＶにより示され、画像の同一位置にてワープされた全フレーム、即ち201wから299wまでを突き抜ける。ウエイト関数はベクトルＶに沿ってその画像値に適用される。典型的なウエイト関数は図10のグラフにて示されている。図から理解されようが、そのウエイト関数は上向きに凹形状であり、ズームショットからのピクセル値は最大のウエイト、おそらく100％が付与される。望む効果に応じて種々のウエイト関数が適用可能である。一般的には低い方の解像度を有するフレームよりも高い解像度を有するフレームに対してさらに重いウエイトが付与される。
多少不自然な順序ではあるが、低い方の解像度を有するフレームのシーケンスから、高い解像度を有する１静止画像を得る方法のブロック図について述べてきた。図12には、実質的に好ましい順序でその方法のステップが示されている。ビデオ領域のシーケンスは402にて採用される。従って、信号は一連の領域を表すものとして創出される。領域は一連のフレームを作成するために404で脱インターレースされる。このポイントで代用パスが採用可能である。被写体又はカメラモーションは、406にてズームモーションから分離でき、その後にアファイン変換係数ax、bx、cx、ay、by及びcyを発生させるためにオプチカルフロー分析がなされる。404において、ステップ408に分岐することが可能であり、それによりオプチカルフロー分析と、被写体又はズームモーションからのカメラモーション分離とを結合させる。この分岐は、また係数ax、bx、cx、ay、by及びcyを生じさせる。次に412において、そのアファイン変換が各フレームに対して必要な回数だけ適用され、各フレームに対して高い解像度ラスターでの対応フレームが創出される。図10に示すような時間メジアンフィルターは、414にて全フレームに適用され、最終合成を表す信号は、416にて高解像ラスターでの各ピクセル位置で時間メジアンフィルターによりフィルターされているワープされた各フレーム201w、202w等に対するそのピクセルでの値を加算することで形成される。
前述ステップの適用は、高解像画像を創出するのに使用される時間処理を実施するため、オリジナルシーケンス（図５と図６）の各フレームの高解像出力ラスターサイズの画像保存を必要とする。なぜなら、この処理はアファイン変換の適用後に発生するからである。合成静止画像を創出する有効な方法は、メモリー使用を最良化することが重要である場合、時間操作を実施している際に、オリジナル画像シーケンスに戻ることである。
これは、高解像ラスターの各位置から、オリジナル画像の小ラスターへのアファイン変換（式9x及び9y）を適用することで達成される。（このアファイン変換は、前記の式9xと9yに関して解説した方法と同様に適用されるであろう変換のリバース変換である。データスペースからの全データポイントを一連のさらに大きなデータスペースにワープし、対応するデータポイントを結合させるのではなく、その大きなデータスペースの特定ターゲット位置にワープされるであろう全データポイントは特定されて結合される。）時間計算がこのリバースアファイン変換の結果に適用される。インバースアファイン変換は時間処理中にオリジナル画像シーケンスのピクセルに配列することができるので、シーケンス内の各フレームのために高解像画像保存は必要がなくなる。従って、オリジナル画像シーケンスを保存するのに必要なメモリーのみが高解像画像を創出するのに必要となる。リバースアファイン変換を高解像ラスターからオリジナルラスターにリターンするように適用することに、一般的な追加的計算は介在しない。なぜなら、オリジナルラスターから高解像度ラスターへの対応するアファイン変換は不必要だからである。
本発明装置の好適実施例は図13において略図的に示されている。ビデオカメラのごとき入力装置500は、被写体502によって反射されているか発光されている光を採り入れて被写体502に適用する。その光は前記入力装置又は標準コンバーター504により電気信号に変換される。コンバーター504又は入力装置500から、データはメモリー装置506又はデータプロセスユニット508に通過する。メモリー装置506は領域によって、またさらにデータが変換されるどのような他の形状にも従ってデータを記録することができる。データプロセスユニットは、典型的には適正にプログラムされた汎用デジタルコンピュータである。オペレータはコンピュータキーボード等の入力装置510を介してデータプロセスユニット508にコマンドを入力する。これらのコマンドは前述の本発明方法のステップを行使するようにコンピュータに指示する。指示の内容は、例えば、その領域の脱インターレース、差シーケンスを創出することによる２以上の移動被写体の特定、アファイン変換係数の計算、全フレームを望むデータスペースにワープ、ウエイトされた時間メジアンフィルターに従いワープされたフレームからのデータを結合させ合成画像に導くこと、等々である。各ステップで変換されたデータはメモリ装置506に記録可能であり、プリンター、ビデオディスプレー装置又は他の適当な出力装置等の一般的な出力装置512にて出力可能である。あるいは、データは追加的操作を施したり、蓄積又はディスプレーを行うために遠隔他に伝達することもできる。
ズームからのシングル静止画像よりむしろ、本方法は一連のパン及びジブショットからシングルパノラマ静止画像を創出するのに使用される。このような場合には、全フレームは全パノラマシーンと同じだけのデータスペースにワープされるであろう。互いに重なる多様な焦点距離の画像の山は不要である。本発明には図14Aにて示すように、縁部が重なる一連の画像702から714が介在する。本発明のこの実施例は、利用者が多数の重なる画像から合成された比較的に大きなパノラマ領域の小さな部分を見る機会を与えられたときに適用が可能である。利用者は全パノラマ視域をナビゲートする機会が与えられる。本発明なくしては、保存された多数の重なる画像を用意し、利用者が見たい全シーンの一部と最もマッチする関係画像を呼び出す必要があるであろう。これには多量なディスク容量が必要である。本発明方法のパノラマ実施例の利用は、それら多くの画像を結合させ、メモリー容量を節約する。画像の結合は前もって行い、画像を保存することもリアルタイムで可能であり、利用者は画像の一部から他部へとナビゲートするだけである。これらの選択は設計者に利用可能なコンピュータやメモリー機能により決定されるものである。
ズームシーケンスに適用された実施例において、ワープの重要要素は各フレームからのデータをブローアップし、被写体の画像を互いに合致させることである。被写体の全画像が相互にアラインするようにデータをワープすることもズーム適用の重要な点である。この特徴は、例えば、カメラモーションあるいは被写体のモーションによるモーションを排除する。純粋にパノラマ的な適用においては、ブローアップの特徴はさほど重要なことではなく、ほどんどの場合には使用もされない。スケール要素は単一であり、スケール処理後、画像は前のものと変わらない。しかし、アラインメントは非常に重要である。もし、全パノラマ被写体の視域が、図14Bの720に示すように連続的データスペースとして提供されるなら、各フレームは全視域の小さな一部を占める。ズームの場合とは異なり、各フレーム720から714は、純粋なパノラマ的適用においては、同一焦点距離で創出される。全データスペースにおけるフレームからのデータをアラインし、各フレームの画像を別領域の同一画像と一致させるには本発明の方法を使用することが必要である。例えば、本発明は画像702からの文字「DEFG」を画像704からの同一文字とアラインさせるのに使用される。本発明の方法はショット間の間隙部において支配的に適用される。フレーム周波数に較べてパンの速度が遅い場合には、間隙部のフレーム間のオーバーラップは非常に大きい。
従って、各画像はその画像を表す信号に変換される。各信号はそれぞれの画像を表すように変換され、720のごとき全パノラマ画像を表すように設計されたデータスペース内でアラインされる。全信号は前述のように結合される。どのような被写体あるいはカメラのモーションも特定可能であり、その後に、アファイン変換係数ax、bx、cx、ay、by、cyを発生させるためにオプチカルフロー分析が行われる。次に、アファイン変換が各フレームに適用され、各フレームに対して、全視域にアラインされた対応フレームを表す信号が創出される。図10に示すごとき時間メジアンフィルターは全フレームに適用され、最終合成画像を表す信号が、全視域内の各ピクセル位置において、時間メジアンフィルターによってフィルターされた各ワープされたフレーム702、704等に対するピクセルの値を合計することで形成される。
信号が結合されると、画像702の文字「ABC」や、画像714の文字「WXY」のごとき他の画像によってオーバーラップされていない画像部分を表す信号成分は、それらが表す文字、すなわち、その画像の形状や密度を示す信号成分の特徴においては変化しない。しかし、それらは、相関しており、702や714のごとき個々の画像サイズであり、他の画像にそれを関連させている位置成分を有していないオリジナルのシングルフレームデータスペースよりも大きな、702のようなデータスペースと相関しているという意味では変換される。言い換えれば、フレーム702の画像を表している当初信号成分は、全視域に関してその画像の位置決定をする特性を持ってはいなかった。変換後、文字「ABC」を提供している形状を表すことに加えて、変換された信号は、大きなデータスペース720の特定部分としてそのフレームの位置、すなわち、最左端部をも表す。
結合されたときにオーバーラップされる画像成分を表す信号成分もまた前述のように変換される。アファイン変換用のパラメータを決定するためにオプチカルフロー分析が行われ、画像をさらに大きな全パノラマデータスペースへマップ処理する。しかし、信号が全視域内での１位置を表すことに関して変換されるだけでなく、全視域の同一部分を描写する他の画像からの信号とも結合される。オーバーラップしている画像を表すいかなる数の信号も、得られる合成信号と、対応する画像の特定ポイントに関して結合可能である。例えば、画像702、704及び706は文字「Ｄ」の写像を含む。３画像702、704、及び706を表す信号が結合されたとき、各々は最終合成信号に利用される。時間メジアンフィルターあるいは他の適当な時間フィルターの適用は、適当なウエイト要素に従って、異なる信号からの適当な信号成分を結合する。
本発明のモーション排除ステップはこれらの信号に適用され、オーバーラップ像を撮影する間に経過した時間に発生した被写体のいかなるモーションの影響も排除あるいは最少限化する。
本発明は、１側部から他側部への単純なパノラマモーションよりもさらに複雑なカメラと被写体間の相対的モーションに適用できることは当業界の通常技術者には明らかであろう。ジブ（垂直カメラ移動）も、ジブ、パン、及びチルトのいかような組合せの場合と同様に、本方法を使用して結合可能である。得られる画像は、側縁部、上縁部、下縁部のみならず、画像の様々な部分を含むオーバーラップ領域を有するであろう。
全パノラマ被写体の選択部位のさらに詳細なパノラマ処理とズーム処理とを組み合わせることも本発明の範囲内である。
本発明の技術で被写体とビデオの非隣接部分とを融合させることも可能である。
オリジナルシーケンスのどの個々の画像よりも高解像度を有し、大きな視域を有している合成画像用の異なる視域あるいは焦点距離の多重画像を結合させる本法に加えて、本発明は、被写体の画像解像度、あるいは信号対ノイズ比を増強させる方法をも提供する。この解像度増強方法（ときには「時間からの解像度」とも呼称）は、ズームシーケンスのみでも、パノラマシーケンスのみでも、あるいは、両者の組合せを使用しても利用可能である。また、実質的に固定された焦点距離や、実質的に固定された視域を使用しても利用が可能である。
画像処理は一般的にノイズを発生させる。ノイズは信号を色々と汚染する。例えば、障害は画像撮影装置と被写体との間で発生可能であり、画面を乱すことがある。従って、落葉はスチールカメラの視域からライセンスプレート上のデジットを一時的に妨害するであろう。これを「障害」ノイズと呼称する。非常に小さくて、記録媒体の解像度では判別不能であることもある。これを「サンプル」ノイズと呼称する。画像が電子信号に変換された後、信号の伝達の不完全さによるノイズも存在する。このタイプのノイズは「信号伝達」ノイズと呼称可能である。従って、オリジナル被写体の詳細が、時間のシングルモーメントを捕らえているシングル画像から回復できない場合が生じる。
一般的に、ノイズシステムにおいては、同一被写体の多重画像を撮影し、これらの画像を結合させることで解像度は増強される。もし、１体の撮影装置のみが使用される場合には、多重画像は異なる時間モーメントで撮影されなければならない。例えば、障害と信号伝達ノイズの両方は、被写体が変化せず（望む目標物に対して）、撮影装置が移動しないときには、所定の時間に同一被写体の多重画像を撮影することで最少化される。落葉のごとき障害の前例を考察することで、落葉は、サンプル画像間の時間によって決定される限られた数の画像に存在するだけである。他の画像においては、ライセンスプレート上の数が撮影されるであろう。
撮影されている被写体のモーションを排除し、多数の異なる撮影された画像の詳細の組合せのための前述技術の適用は、落葉像を排除し、障害のないライセンスプレート数の画像を提供する。同様に、信号伝達ノイズによるいかなる電子ノイズも排除される。
本発明に従って、被写体の同一部分の写像が反復的に撮影され、これらの多重画像を表す信号が処理されるので、本発明の方法の純粋なズーム実施例の適用が、障害タイプのノイズを自動的に排除することは理解されるであろう。このことは図９において示されており、多数の異なるフレームで撮影された被写体の同一要素を示している。文字「Ｘ」は各フレーム300w、299w、203w及び201wで撮影される。事実、被写体の中央に存在する文字はシーケンスの全フレームで撮影されるであろう。もし障害がフレーム203wの文字Ｘを妨害していたら、それはそのシーケンスの他のフレームから回復可能であろう。もちろん、Ｘを回復するために全てのフレームを必要とはしない。しかし、フレームの数が多ければそれだけ、本発明の方法は信号（すなわち静止Ｘ）をそれだけ正確にノイズ（すなわち、落葉や電子異常）と区別することができる。
恐らく程度は低くはなろうが、本発明の方法の純粋なパノラマ実施例は、多重オーバーラップ画像を表す多重信号の組合せにも関与し、障害ノイズや信号伝達ノイズを排除する。全被写体の異なる視域を撮影する画像のアライン処理を行う本発明の方法以外では、ノイズを排除するために様々な信号を結合させることは不可能であろう。
しかし、時間的不変被写体の多重撮影はサンプルノイズを排除しない。これは、もし被写体と撮影装置の両方が相互に完全に固定状態であれば、１画像のサンプル格子のポイント間に提供される詳細は、各画像のサンプル格子のポイント間に提供される。しかし、もし撮影装置が、望む詳細がサンプル格子とアラインするように被写体に対して移動されたら、その詳細はその画像に撮影され、その画像に対応する信号にて表されるであろう。実際には、被写体サンプルの異なるポイントの数は増加しており、そのいくらかは最初の画像でサンプル化されており、いくらかの異なるものはその後の画像でサンプル化されている。これをサンプル格子でのシフトと言う。この増強されたサンプル化は本発明の方法で可能となる。なぜなら、その実施は、全視域の異なる視域をカバーしている信号を表す信号を、どの画像の解像度よりも正確に組み合わせることが可能だからである。
従って、ある被写体がパノラマシーケンスで撮影された複数の画像に撮影されたとき、被写体と撮影装置間の相対的モーションはいくらかの画像にその詳細部の一部が撮影されることになり、他の画像には撮影されない。前述のようにパノラマ画像を表す信号を結合させると、他のどの単独画像よりも詳細で高解像度を有した結合画像がオーバーラップポイントで創出される。
同様に、被写体がズームシークエンスで撮影された複数の画像に撮影される場合は、被写体と、被写体が撮影される撮影媒体のポイント（すなわち、長焦点距離画像内の中間縁部付近、及び、短焦点距離内の中央部にさらに近いところ）との間の相対的モーションは、サンプル格子のシフトを行う。詳細のいくらかは、いくらかの画像内で撮影され、他の画像では撮影されない。前述のズーム画像を表す信号の組合せは、オーバーラップポイントでの組合画像を創出し、どの単独画像よりも多くの詳細を含む。もちろん、本発明のパノラマとズームの特徴の両方を結合して、画像の解像度をさらに増強することは可能である。
もし、画像増強が唯一の目標であったなら、さらに、パノラマあるいはズームあるいは結合シーケンスから結合画像を創出することが望まれないとすれば、本発明の方法が、名目的に同一視域の名目的に同一焦点距離にて撮影された画像シーケンスに適用可能であることは明らかである。本発明のこの実施例によれば、被写体の同一部分の多重画像は名目的に同一焦点距離と名目的に同一視域にて撮影される。多重画像から最大の利益を得るには、シーケンスを提供する様々な画像間で、視域か、あるいは焦点距離を少々変化させるのが効果的である。これによって、前述のように、サンプル格子でシフトを利用でき、オリジナル被写体のさらに多くのポイントがサンプルされる。本発明のそのような利用法は、ビデオプレーバック装置に対して増強された解像度を有した「ポーズ」特性を付与する。
当業界の通常の技術者であれば理解しようが、本発明はズーム、パン、ジブを利用して解説されてきたが、撮影装置と被写体との間の相対的チルトも利用可能であり、同一の結果をもたらす。
本発明の様々な実施例は、もしスペースと時間軸系の被写体の状態の概念が採用されているならば一般的に理解されよう。各画像は一定の時間に撮影される。一般的に、複数の撮影装置が使用されない限り、特定の時間には１画像のみが存在する。各画像はさらに、撮影装置の焦点距離、あるいは「狙い」すなわち視域によって変動する特徴的な広がりを有するスペースを占める。本発明の一般的な方法は、被写体に関して、スペース−時間軸系にて異なるポイントから多様な画像を撮影するステップを含む。望まれる画像シーケンスが取得された後に、典型的には電気信号である信号がシーケンスの各画像に対応して発生する。典型的な次のステップは、各信号を変換してそれぞれの画像を表すようにし、全画像が全被写体を包含するようにそれぞれ同一な物理的スペースに変換することである。この変換は典型的には、アファイン変換をシーケンスの画像を表す各信号に適用することで行われる。オプチカルフロー分析は、アファインパラメータを決定するのに利用可能である。変換された信号は図10のごとき時間計算を使用して結合され、多数の異なる画像のスペース時間位置の結合を表し、同一スペース軸を占めるているが、シーケンスの異なる時間軸からのものである。変換と結合ステップの過程で、カメラモーションあるいは被写体モーションの影響を、前述のモーション予想技術を使用して排除あるいは減少させることができる。多くの画像の結合によって、最終合成画像の解像度は、シーケンスの個々の画像の解像度と比較して増強されている。
異なるポイントは被写体の中央部周囲のポイントの膨張位置でもよく、各々は連続的にさらに拡張した被写体部分であり、ズームシーケンスによるごとく、後の時間モーメントでのシーンの画像部分でもよい。（収縮する位置あるいはポイントも本発明の方法に使用可能である。）
あるいは、異なるポイントは被写体のポイントのオーバーラップしたセットでもよく、一般的な視域から別の視域へ移動し、時間の１モーメントから別モーメントへと移動することもできる。
本発明の基本内の別例は、時間の異なるモーメントにおいて実質的に同一位置ポイントのシーンの一連の画像を提供することである。この派生的発明においては、撮影装置のサンプル格子を、撮影装置の視域や焦点距離を変えて、少々変化させることが特に有効である。どちらのアスペクトでも少々ジグさせることで望む結果が提供されるであろう。
もちろん、これら全３つの特徴を組み合わせることは可能であり、本発明の範囲内である。シーケンスの各画像から情報を引き出し、その情報をコヒーレント組合画像に組み入れるような画像を表す信号を発生させることは、各画像を共通スペースデータスペースにマップ処理する本発明の特徴、例えば、前述のモーション排除技術による増強アファイン変換を使用することで可能となる。各画像からの情報に共通データスペースを提供し、各々からの情報を適当な時間計算を利用して結合させることで、進展する被写体が提供する全スペース−時間可能範囲からの貴重な情報を含む画像が創出される。
これらの例は前述のごとく全画像を共通データスペースにまずスケールすることを論じてはいるが、これは説明のためであり、最終的な全シーンの各位置から、シーケンスのオリジナル画像の小さなデータスペース（ラスター）へとアファイン変換の逆変換（式9xと9y）を適用することで、オリジナル画像シーケンスに対して時間結合計算を行うこことが可能であり、時には有利である。この技術は、ズーム、パン、ジブ、チルトに拘らず、単独でも、あるいはそれらを組合せても適用が可能である。
本請求の範囲に使用されている「共通視域にアラインする」あるいは同様な表現は、画像のスケール処理を必然的に含み、それら全てを共通な焦点距離のものとする。さもなければ、異種の焦点距離の画像を共通の視域にアラインすることの意味はない。
本発明はビデオカメラによって撮影されたデータに関して解説されているが、当業界の通常の技術者であれば、本発明の方法が、どのように撮影されたものであってもデジタル画像を表すデータに対しても適用可能であることを理解するであろう。例えば、異なる焦点距離で撮影された一連の静止画像は、前述のように、特定の部位の増強した詳細を有した１画像を形成するように結合可能である。同様に、パノラマスペース内の様々な位置を描写する一連の静止画像を組み合わせることで画像の大部分が回復可能であり、共通の焦点距離で異なる視域を有した一連の静止画像内の元のパノラマ画像に存在する人工物をほとんど排除したパノラマ画像を創出する。
前記の解説はあくまで本発明の説明の為であり、本発明を限定するものではない。ビデオだけでなく、静止画像を撮影するどのような記録技術も使用可能である。記録技術がピクセル値を発生させないなら、記録媒体によって発生されたデータを、従来手法でピクセルあるいは同様にオリエントされたデータスペースに変換するのが好都合である。カメラのモーションあるいはズームモーションからのシーンを分離する多様な技術を前記の技術に加えて利用することは可能である。さらに、アファイン変換係数を計算するのにガウスピラミッドステップを使用する必要はない。その計算は、例えば、フル高解像フレームに対するもののごとき他の手段でも可能である。
本発明の範囲は、本請求の範囲及び他の合理的範囲の全等価例を暗に包含する前述の記載から理解されるべきである。
本発明の請求の範囲は以下の通りである。
【図１】
0003590631.tif 000014
【図２Ａ】
0003590631.tif 000015
【図２Ｂ】
0003590631.tif 000016
【図３】
0003590631.tif 000017
【図１４Ｂ】
0003590631.tif 000018
【図４】
0003590631.tif 000019
【図５】
0003590631.tif 000020
【図６】
0003590631.tif 000021
【図７】
0003590631.tif 000022
【図８】
0003590631.tif 000023
【図９】
0003590631.tif 000024
【図１０】
0003590631.tif 000025
【図１１】
0003590631.tif 000026
【図１３】
0003590631.tif 000027
【図１２】
0003590631.tif 000028
【図１４Ａ】
0003590631.tif 000029