(57)【特許請求の範囲】
【請求項１】
連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化方法であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含んだ反覆操作されるフィードバックループを用い、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるステップ、（ｂ）前記変位の最終概算を前記メモリに記憶するステップ、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するステップ、及び（ｄ）第２画像歪み器を用いて、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるステップを含んだ上記電子式画像安定化方法。
【請求項２】
前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのその時の画像フレームの直前の画像フレームに対応し、そして前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、請求項１に記載の電子式画像安定化方法。
【請求項３】
前記シーケンス中の前記連続した対をなす画像フレームの各々が、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で利用でき、そして、前記ステップ（ａ）が、（ｅ）前記所与の最低分解能画像フレームから開始し、前記反覆操作されるフィードバックループを各々の連続したより高い分解能画像フレームに順に用いて、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期の概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の少ない最終の概算に変えるステップを含む、請求項１に記載の電子式画像安定化方法。
【請求項４】
前記ステップ（ａ）が、（ｅ）前記シーケンス中の現在の対の画像フレームに先行する一対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として用いるステップを含む、請求項１に記載の電子式画像安定化方法。
【請求項５】
前記ステップ（ｃ）が、（ｅ）部分を対象とした線形経路を形成する出力変形パラメータを導出する所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、請求項１に記載の電子式画像安定化方法。
【請求項６】
前記ステップ（ｃ）が、（ｅ）ローパスフィルタリングが滑らかな画像差に適用される所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、請求項１に記載の電子式画像安定化方法。
【請求項７】
連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化装置であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含み、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるための、反覆操作されるフィードバックループ、（ｂ）前記変位の前記最終概算を前記メモリに記憶するための手段、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するための手段、及び（ｄ）第２画像歪み器を用い、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるための手段を含んだ上記電子式画像安定化装置。
【請求項８】
前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームを記憶するための第１画像フレームストア、及び前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームを記憶するための第２画像フレームストアをさらに含んだ、請求項７に記載の電子式画像安定化装置。
【請求項９】
前記第１画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームの直前の画像フレームに対応し、そして前記第２画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、請求項８に記載の電子式画像安定化装置。
【請求項１０】
所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で前記シーケンス中の前記連続した対をなす画像フレームの各々を与えるためのピラミッド手段、前記所与の最低分解能画像フレームを操作することから開始して、連続してより高い分解能の画像フレームの各々を順に操作して、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の小さい最終概算に変える手段を含んだ、前記反覆して操作されるフィードバックループをさらに含む、請求項７に記載の電子式画像安定化装置。
【請求項１１】
（ｅ）前記反覆して操作されるフィードバックループに、前記シーケンス中の現在の対の画像フレームに先行する１対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として与えるための手段をさらに含む、請求項７に記載の電子式画像安定化装置。
【請求項１２】
所与の画像変化モデルに従って前記メモリに記憶された変位の前記最終概算を出力変形パラメータに変換するための前記手段が、部分を対象とする線形経路を形成する出力変形パラメータを導出する手段と、画像差を平滑化するのに効果的な出力変形パラメータを導出するローパスフィルター手段を含む、請求項７に記載の電子式画像安定化装置。
【発明の詳細な説明】
本発明は、フレームからフレームに移るときの望ましくない要素を取り除くデジタル画像処理を用いた、画像シーケンスの電子安定化方法および装置に関する。
本発明の背景
画像安定化は、映画産業、テレビニュースカメラマン、揺れたり回転する台上又は動いている車に取り付けられた監視カメラからのビデオ、及び移動している車からのビデオを含んだ多くの用途において必要となっている。映画産業では、ソースビデオの連続フレーム間の望ましくないジッターを取り除かなければならない。テレビニュースカメラマンは、屋外で作られたニュース放送ではハンドヘルドカメラからのビデオを安定化しなければならない。監視カメラからのビデオは、コンピュータ分析の前または人間の監視者に表示する前に安定化されなければならない。移動車からのビデオは、画像圧縮の前、又は遠隔オペレータ（遠隔操作）への伝送もしくは自動運転用コンピュータ視覚システムへの伝送の前に安定化されなければならない。
監視においては、種々のタイプの機械的に安定化した台が用いられて、画像ではなく画像機の動きを補償している。図１では、画像機１０が機械的に安定化された台１２の上に据えられている。画像機１０のリード線１４上の出力Iin(t)がモニタ１６上に表示される。台１２は一般にジャイロスコープを用いて台の回転を感知し、モーターを使ってその回転を補償する。利用者は、電子制御信号１８と台１２にあるモーター駆動機を介して、画像機の撮る方向（パノラマやティルティング）及びズーミングを操作できる。
画像機動きセンサーを用いた電子安定化が、画像の動きではなく画像機の動きを補償するのに使用することができる。図２では、機械的に安定化された台１２の上に据えられた画像機１０は、リード線１４上に出力Iin(t)を送る。台１２の除去できない動きがセンサー２０を用いて測定される。リード線２２上の感知された変位d(t)は、変換モジュール２６により変換パラメータP(t)変換されリード２４に送られる。パラメータP(t)２４は画像歪み装置２８で使用され、モニタ１６での表示用の安定化された出力画像Iout(t) ３０を作り出す。この出力画像は画像機の動きが補償されている。
図３には、画像の動きを感知するデジタル処理を用いた電子安定化用システムが示されている。このシステムは出力Iin(t) １４を有する画像機１０を含む。適当な歪みパラメータが計算されて安定化用画像歪み装置２８に送られるまで、出力Iin(t) １４は画像フレームストア３２に記憶されて画像を保持する。（もし、１フレーム時間に発生する歪みがその前のフレーム時間で計算されたパラメータに基づいているならば、このフレームストアは必要ない。）メモリを減らすために、一組の特徴をモジュール３４によってソースビデオから抽出してもよい。前の画像が現在の画像と比較できるように、第２画像フレームストア３６が設けられて前の画像から抽出された特徴を保持する。時間ｔに抽出されたリード線３８上の特徴f(t)は、変位概算器４２において時間t-1に抽出されたリード線４０上の特徴f(t-1)と比較される。変位概算器４２はデジタル画像処理を行い、画像から画像への動きを求めてリード線４４上に変位d(t)を出力する。市販品の一つのカメラが、フレーム間で比較された特徴として３６画素のアレイを用いる。リード線４４上の感知された変位d(t)は、画像歪み装置２８で用いられて安定化された出力画像Iout(t) ３０をモニタ１６に表示するため出力する。この出力画像は、画像の動きが補償されたものとなっている。本発明者にも既知のこのようなシステムは、ズーミング、回転、視差、及び／又はレンズ歪みを補償できない。図４では、電子目標追跡システムは、相関を用いて目標を画像機の視野内に置き、画像機を調節して目標を中心に置き、少なくとも大まかには目標パターンを安定化する。このシステムは、出力画像Iin(t) １４を有する画像機１０を含む。出力画像は、相関モジュール４６において比較され、そこに記憶された参照パターンを画像１４に適合させる。参照パターンはビデオシーケンスモジュール４８にある前のフレームから選択され、メモリ５０に記憶されている。参照パターンは、場面の中の静止した対象物または動いている対象物を表すことができる。画像Iin(t)と参照パターンの間の差は、変換モジュール２６に変位情報を与える。変換モジュール２６は、この情報を変換して台１２を安定化する信号を出力する。
図５には、変化する検出する電子目標追跡システムが示されている。現在の画像Iin(t)とフレームストア６０にある前の画像In(t-1)の間の差が減算器６２により求められ、大きな変化の領域が探される。モジュール６４により与えられる位置情報x(t)は、画像機１０を再び指示して表示画像の特定の場所に、または特定のトラック上に画像を維持するのに用いられる。目標が非常に小さくてパターンの一致に基づいて検出することができないが、目標が動いていてこの動きに基づいて検出が可能なときには、パターンを基にしたアプローチが好適である。このシステムは、背景場面の動きが小さくて目標の動きが検出できることを要求する。
バード(Burt)らによる、ビジュアルモーションについてのワークショップのプロシーディング(Proceedings Of The Workshop On Visual Motion)、アービン(Irvine)、カルフォルニア、１９８９年３月２０日〜２２日、１〜１２頁に、反覆精密化を通じて正確な画像整列を行う手順が開示されている。そのような手順は、地勢形状の回復及び動いている目標の検出のような用途に用いられてきた。ズーミング、回転、視差、及び／又はレンズ歪みは改善されてきてはいるが、これらを補償できかつ電子的に画像を安定化するための方法やシステムが望まれている。改良された安定化プロセスの副産物として発生される情報を用いることによりノイズが減少され、又は変化が強調された画像シーケンスを得るために、画像安定化システムの機能を拡張することもまた望まれている。
本発明の概略
本発明は画像の電子的安定化のための装置と方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの画像フレーム、又はコンピュータディスクメモリ、ビデオテープ、若しくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームのいかなるシーケンスでもとりうる。システムの出力は修正された画像シーケンスであり、画像の動きの望ましくない要素が減じられ又は取り除かれ、又は所望の形式の新しい動きが導入されている。出力としては、概算されたフレーム間変位ベクトルやモーションフローフィールドのような入力シーケンスから導かれた情報や、ノイズが感じられ変化が強調された画像シーケンスを含むことができる。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化方法であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含んだ反覆操作されるフィードバックループを用い、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるステップ、（ｂ）前記変位の最終概算を前記メモリに記憶するステップ、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するステップ、及び、（ｄ）第２画像歪み器を用いて、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるステップを含んだ上記電子式画像安定化方法である。
本発明では、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのその時の画像フレームの直前の画像フレームに対応し、そして前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化方法である。
本発明では、前記シーケンス中の前記連続した対をなす画像フレームの各々が、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で利用でき、そして、前記ステップ（ａ）が、（ｅ）前記所与の最低分解能画像フレームから開始し、前記反覆操作されるフィードバックループを各々の連続したより高い分解能画像フレームに順に用いて、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期の概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の少ない最終の概算に変えるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ａ）が、（ｅ）前記シーケンス中の現在の対の画像フレームに先行する一対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として用いるステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）部分を対象とした線形経路を形成する出力変形パラメータを導出する所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明では、前記ステップ（ｃ）が、（ｅ）ローパスフィルタリングが滑らかな画像差に適用される所与の画像変化モデルに従って、前記メモリに記憶されている変位の前記最終概算を出力変形パラメータに変換するステップを含む、電子式画像安定化方法である。
本発明は、連続した対をなすデジタル形式画像フレームのシーケンスに対する電子式画像安定化装置であって、（ａ）第１画像歪み器、変位概算器、加算器、及びメモリを含み、各対の画像フレームによって表される画像間の変位を用いて前記連続した対をなす画像フレームの各々のうちの所定の画像フレームを繰り返し歪ませて、前記変位の最も誤差の大きい初期概算を、前記変位の最も誤差の小さい最終概算に変えるための、反覆操作されるフィードバックループ、（ｂ）前記変位の前記最終概算を前記メモリに記憶するための手段、更に改良として、（ｃ）ズーム、視差、回転、拡大、及びレンズ歪みの少なくとも一つを含む所与の画像変化モデルに従って、前記メモリに記憶された前記変位の前記最終概算を出力変形パラメータに変換するための手段、及び、（ｄ）第２画像歪み器を用い、前記出力変形パラメータに従って、画像フレームの連続した対の各々のうちのその時の画像フレームを歪ませるための手段を含んだ上記電子式画像安定化装置である。
本発明は、前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームを記憶するための第１画像フレームストア、及び前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームを記憶するための第２画像フレームストアをさらに含んだ、電子式画像安定化装置である。
本発明では、前記第１画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームの直前の画像フレームに対応し、そして前記第２画像フレームストアに記憶された前記連続した対をなす画像フレームの各々のうちの前記所定の画像フレーム以外の画像フレームが、前記シーケンス中のその対の画像フレームのうちのその時の画像フレームに対応する、電子式画像安定化装置である。
本発明は、所与の最低分解能から所与の最高分解能まで拡がる複数の分解能で前記シーケンス中の前記連続した対をなす画像フレームの各々を与えるためのピラミッド手段、前記所与の最低分解能画像フレームを操作することから開始して、連続してより高い分解能の画像フレームの各々を順に操作して、所与の最低分解能の対の画像フレームの各々により表された画像間の変位の最も誤差の大きい初期概算を、所与の最高分解能の対の画像フレームの各々により表された変位の最も誤差の小さい最終概算に変える手段を含んだ、前記反覆して操作されるフィードバックループをさらに含む、電子式画像安定化装置である。
本発明は、（ｅ）前記反覆して操作されるフィードバックループに、前記シーケンス中の現在の対の画像フレームに先行する１対の画像フレームにより表された画像間の変位の最終概算を、前記現在の対の画像フレームの変位の初期概算として与えるための手段をさらに含む、電子式画像安定化装置である。
本発明では、所与の画像変化モデルに従って前記メモリに記憶された変位の前記最終概算を出力変形パラメータに変換するための前記手段が、部分を対象とする線形経路を形成する出力変形パラメータを導出する手段と、画像差を平滑化するのに効率的な出力変形パラメータを導出するローパスフィルター手段を含む、電子式画像安定化装置である。
本発明は基準に対して画像を安定化するための方法であり、（ａ）画像と基準の間の変位の初期概算を用いて基準を歪ませ、（ｂ）歪ませた基準と画像を比較して残存変位を得て、（ｃ）残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得て、（ｄ）変位の修正された概算を用いて基準を歪ませ、（ｅ）ステップ（b）、（c）、及び（d）をＫ回繰り返し、それにより変位の最終概算d(t;K)を形成し、（ｆ）変位の最終概算d(t;K)から出力変形パラメータp(t)を形成し、そして（ｇ）出力変形パラメータp(t)を用いて画像を歪ませて出力画像を形成する、一連のステップを含む。
本発明はまた、基準に対して画像を安定化するための装置であり、基準と画像の間の変位の概算に応じて基準を歪ませるための手段、歪ませた基準と画像を比較して残存変位を得るための手段、残存変位を初期概算に加えて画像と基準間の変位の修正された概算を得るための手段、変位の修正された概算を用いて基準を歪ませるための手段、ステップ（ｂ）、（ｃ）、及び（ｄ）をＫ回繰り返してそれにより変位の最終概算d(t;K)を形成するための手段、変位の最終概算d(t;K)から出力変形パラメータp(t)を形成するための手段、及び出力変形パラメータp(t)を用いて画像Iin(t)を歪ませて出力画像を形成するための手段を含む。
【図面の簡単な説明】
異なる図面において共通の要素は、各図面において同じ数字で示されている。
図１は、機械的に台を安定化する従来システムの概略図である。
図２は、画像機動きセンサーを有する、従来の電子式安定化システムの概略図である。
図３は、デジタル処理を行う、従来の電子式安定化システムの概略図である。
図４は、電子式に目標を追跡する従来システムの概略図である。
図５は、変化検出を通じて電子式に目標を追跡する従来システムの概略図である。
図６は、本発明の電子式安定化システムの概略図である。
図７は、本発明のもう一つの電子式安定化システムの概略図である。
図８は、動きに適応したフレーム間処理のためのシステムの概略図である。
図９は、分離基準パターンＲを用いたもう一つの安定化システムの概略図である。
図１０は、２つの画像シーケンスを用いたもう一つの安定化システムの概略図である。
図１１は、目標を探索するためのシステムの概略図である。
図１２と１３は、変形パラメータを得る方法を示している。
図１４は、ガウシアン(Gaussian)及びラプラシアン(Laplacian)ピラミット(pyramids)を形成するための方法を示している。
図１５は、ＰＹＲ−１回路の概略図である。
図１６は、図６の電子式安定化システムと代わりうる例の概略図である。
詳細な説明
本発明は、電子画像化装置により作られた画像を電子式に安定化するためのシステムと方法である。入力としては、ビデオカメラ、ＩＲ又はＸ線画像機、レーダーのような画像ソースからの、又はコンピュータディスクメモリ、ビデオテープ、もしくはコンピュータグラフィックス生成器のような記憶媒体からの画像フレームIin(t)のいかなるシーケンスであってもよい。複数のソースからの画像を互いに安定化しなければならないときにも、一つの画像が安定化されて他の画像が基準を与えることで、本発明はこれらの画像を扱うことができる。本発明は、正確な画像整列を変位概算プロセスの一部として達成するために、フィードバックループと第２の画像歪みステージトを利用する。安定化システムの出力は、修正された画像シーケンスIout(t)であり、この画像シーケンスIout(t)では画像の動きの望ましくない要素は減じられ若しくは取り除かれ、又は所望の形式の新しい動きが導入されている。出力としてはまた、概算されたフレーム間変位ベクトル又はモーションフローフィールド(motion flow field)のような入力シーケンスから導かれた情報、及びノイズが減じられた又は変化が強調された画像シーケンスを含むことができる。
図６では、本発明の電子安定化システム１００は、出力Iin(t)を有する画像機１０、画像Iin(t)を記憶するための画像フレームストア３２、及び前の画像Iin(t-1)を記憶するための第２フレームストア３６を含む。フレームストア３６内の内容Ｉｉｎ(ｔ−１)は、破線の箱で示されたフィードバックループ１０４により与えられる初期変位概算ｄ(ｔ；０)を用いて前フレーム画像のための歪み器１０２において歪まされて、歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)になる。歪まされた先行画像Ｉｉｎ(ｔ−１；ｋ−１)は、変位を概算するための手段１０６において、残存変位Δ(ｔ；ｋ)の概算を得るために、元の画像Ｉｉｎ(ｔ)と比較される。この残存変位の概算は、変位概算器１０６からフィードバックループ１０４に入力される。残存変位Δ(t;k)はそれから加算器１０８で変位の先行概算に加えられメモリ１１０で保持されて精密化された変位概算d(t;k)=d(t;k-1)＋Δ(t;k)を算出する。残存変位が与えられた値より小さい間はＫ回、さもなくば、オペレータ又は他の手段により選ばれた固定回数だけこれらのステップを繰り返し、それにより変位の最終概算が形成される。端子１１２は、変位の最終概算d(t;k)を出力変形パラメータp(t)に変換するための手段１１４に接続されている。これは、ズーミング、視差、並進、回転、拡大、及びレンズ歪みを含めて、モデル化できるいかなる画像変化をも含む。手段１１４の出力は、現画像歪み器１１６に接続されている。現画像歪み器１１６は、現画像Iin(t)を歪ませて端子１１８にIout(t)を出力する。フィードバックループ１０４におけるＫ回の反覆を経た変位の精密化された概算d(t;K)もまた、出力端子１２０で利用可能となる。画像と基準間の概算又は画像変位の概算は、例えば目標パターンを含んだ画像領域のほんの一部について計算した変位量に基づくことができる。
本発明の方法においては、反覆ｋはIin(t-1)からIin(t)までの変位の先行概算d(t;k-1)から始まる。画像Iin(t-1)はd(t;k-1)だけ歪まされて歪み画像Iwarp(t-1;k-1)が形成される。変位概算プロセスは現Iin(t)と歪み画像Iwarp(t-1;k-1)に適用されて残存変位の概算Δ(t;k)を得る。残存変位Δ(t;k)はそれから変位の前の概算に加えられて変位の精密化された概算d(t;k)=d(t;k-1)＋Δ(t;k)を得る。画像歪みステップが繰り返されてより正確にIin(t)に調整されたIwarp(t-1;k)を形成する。これらのステップはＫ回繰り返されてフレームIin(t-1)からフレームIin(t)の変位の最終概算を得る。このプロセスの最初の反覆において用いられる前の概算d(t;0)は、前のフレーム時間に得られた最終概算に基づくことができる。例えば、d(t;0)=d(t-1;K)である。時間tでのサイクルは、Iin(t)のコピーをフレームストア３２からフレームストア３６へ送ることにより完了する。
この実施例では、前の即ち基準のフレームIin(t-1)は歪まされ現在のフレームIin(t)と記憶されて変位情報を与える。もしくは、同じか又は他のソースからの基準は変位情報を与えるのに用いることができて、現在のフレームを歪ませて記憶する。一般的に、時間ｔでの変位の初期d(t;0)は、時間t-1での最終概算d(t-1;K)に等しく設定される。もしフレームからフレームへの加速が小さいならば、フレーム時間毎に概算プロセスの一回の反復K=1を行って連続した精密化を達成する必要があるかもしれない。
提案された安定化方法は２つの別個の歪みステップを利用しているが、実際には、これらはしばしば歪み器入力と出力をマルチプレクシングすることにより同一の歪みハードウエアー装置で実行され得る。例えば、フレームストア３６とループ１０４からの出力は入力であり、概算器１０６への歪み器出力は出力である。代わりの入力は現在の画像と変形パラメータであり、歪み器出力は出力画像である。
画像Iin(t)とIwarp(t-1;k-1)はフィルタリングされ、さもなければ図７に示されるように変位概算の前に処理され得る。より好ましい実施例では、ラプラシアンピラミッド(Laplacian pyramid)がピラミッドプロセッサー１３０において現在の入力画像Iin(t)に対して構築され、メモリ１３２に記憶される。Iwarp(t-1;k-1)に対するラプラシアンピラミッドが、歪みステップの後にピラミッドプロセッサー１３４において各反覆ｋで再発生される。そこで、概算プロセスの連続した精密化ステップは、非常に高い分解能のピラミッドレベルで残存変位の概算を基礎づけることができる。
図８には、本発明の画像安定化システムの一部としての、動き適応フレーム間処理用システム１５０が、現在の画像Iin(t)と歪まされた画像Iwarp(t-1;k-1)を画素毎に合計して、画像ノイズの減じられた合成物
A(t)=Iin(t)＋Iwarp(t-1;k-1)
を得る（一時的なローパス）ための手段１５２を含む。システム１５０はまた、現在の画像と歪まされた画像を画素毎に引き算して（一時的なハイパス）、場面中の変化や動きを検出する（動いている目標の検出）、差画像
B(t)=Iin(t)-Iwarp(t-1;k-1)
を形成する。
安定化された出力Iout(t)に加えて、又はその代わりに、和及び差画像が安定化システムの出力として直接与えられ得る。導出された画像シーケンスは図６で画像が安定化されたのと同じ方法で歪ませることによって安定化され得る。
２つ以上の画像が、ノイズ低減（一時的ローパスフィルター）用または変化検出（一時的ハイパス）用として整列され得る。選択として、ノイズの低減された画像が、例えば鮮明にすることやノイズを取り除くことを通じて更に強められ得るか、又は変化画像が更に処理され得て、例えば変化エネルギー画像（又はピラミッド）を形成する。画像整列の方法および一時的フィルタリングの方法は既知であることに留意すべきである。従って、本発明はまた、画像安定化のステップとして整列された画像のフレーム間処理を組み込んでいる。特に、整列された入力画像の一時的ローパス及びハイパスのフィルタリング夫々を通じて、ノイズの低減された又は変化の強調された画像シーケンスの発生、及びシステムからの出力前のこれらの導出シーケンスの安定化はそうである。
図９では、システム１６０はソースシーケンスの各画像を前の画像とよりむしろ分離された基準パターンＲに整列している。基準パターンは種々のソースから得ることができる。一般的には、基準パターンＲはソースビデオの初期のフレームからの利用者コントロールの下でセレクター１６２により選択される。又は、それは単にソースビデオの前の画像の又はその一片であり得る（例えば、すべてのｎ番目のフレームが基準として選択され使用され得て、次のn-1番目のフレームを整列する。）または、それは記憶された目標パターンの組から選択され得る。フレームストア３６に記憶されたパターンＲは歪み器１０２で歪まされて、基準と現在の画像Iin(t)間のパターンＲの変位概算に応じて出力Rwarp(k-1)を出力する。システムの出力は歪まされた現在の画像Iin(t)であり、これは固定基準パターンによって一致された領域を保持し、その領域を任意の所望の経路に沿って動かす。さもなくば、一つの目標パターンを検索するよりむしろ、システムは例えば階層構造検索を用いて要素パターンの組を検索できる。
図１０には、画像機１０で発生しフレームストア３２に記憶された特定の画像I1n(t)を画像ソース１８２からの２番目の画像シーケンスI2n(t)に位置決めすることにより、例えばＩＲや可視画像機のような異なるソースからの画像を安定化するためのシステム１８０は、特別な変位概算手順を要求している。第２画像シーケンスI2n(t)はフレームストア１８４に記憶される。一つのソース内の画像が他のソースからの画像に整列される。即ち、一つのソースからの画像が基準パターンとして働いて他のソースからの画像を安定化するために用いられる。歪まされた画像Iwarp(t;k-1)は、差を概算するための手段１０６において画像I1n(t)と比較され、現在の差d(t;k)を求める。現在の差d(t;k)は、前の概算d(t;k-1)に加えられて新しい概算を歪み器１０２に与える。差の最終概算は変形パラメータを発生するための手段１１４により使用されてIin(t)を安定化するために必要な情報を歪み器１１６に与えて端子１１８に画像Iout(t)を出力する。画像I2n(t)はまた、システム出力として端子１８６で利用可能である。
種々のプロセスが、画像機の視野内の目標物の位置を検出するのに使用され得る。これらのプロセスには、相関の一致（例えば、基準パターンとの位置合わせ）、モーションフローフィールド（運動流れ場）での動作領域の検出、及び一時的変化画像における動作領域の検出が含まれる。従来のシステムは、電子的に目標を検出することを用いて画像機を操作する。これらは相関パターン一致やフレーム間変化を信頼しており、電子的な整列の後の画像モーションフローやフレーム間変化を利用していない。その結果、もし画像機が背景を追跡しており、背景画像が実質的に静止していれば、動いている目標を検出するように、そのようなシステムはフレーム間変化を使用される。
本発明の方法では、背景は電子式に整列され、目標が検出され、目標の位置が画像機および／または電子安定化プロセスを指揮して出力画像シーケンス中の背景ではなく目標を追跡し安定化する。本発明は導出された変化や動きの情報を用いて背景に対する目標の動きを検出し、目標の動きと背景の動きの両方を概算する。また、本発明は、電子的に検出された目標の位置や背景の動きの情報を用いて画像機の操作や出力画像シーケンスの安定化の両方を制御する。
図１１では、システム２００は、差Iin(t)-Iwarp(t-1)をとるためのハイパスフィルター手段２０２、及び目標の位置、即ち画像中ですばやく変化するいかなる対象物の位置を求めるための手段２０４を含む。手段２０４の出力は位置情報を出力し、これは手段１１４及び変形パラメータを発生するための第２手段２０６に送られる。手段２０６の出力は、画像機の台２０８を制御して画像機を操作するために、例えば、目標を追跡したり中心に捕らえたり、目標を電子的に安定化したり中心に捕らえたりするために用いられる。手段２０６への入力は、例えば出力画像中のすばやく動いている対象を中心に捕らえるのに用いられ得るオフセットモーションを画像に与える。もっと一般的には、目標位置情報は、画像機を操作すると共に残存動きを電子的に補償するために用いられることができる。この場合には、歪みパラメータはフレーム間変位d(t;K)と目標位置パラメータx(t)の両方に基づいている。フィルター手段２０２と位置決め手段２０４との組み合わせたものは、他の対の画像からのフィルタリングされた差を受け入れることができる。これらの画像は空間的及び一時的に整列され目標検出を改善しノイズを減らす。
画像安定化システムの機能は、入力シーケンスの動きを求めて、観測された動きを出力シーケンス中の所望の動きに置き換えることである。手段１１４で用いられて観測された変位d(t)を要求された歪みパラメータp(t)に変換できる種々の変形が存在する。ここでは、そのような３つの方法を記載する。図１２では、xin(t)をｔ番目の入力フレームの位置とする。一般には、これはｘ，ｙ，θ，大きさ（又は、以下に記載の安定化に基づいてモデルの場合のより高いオーダーのパラメータ）を含んだベクトル量である。Δxin(t)=d(t;K)を観測されたフレーム間変位とする。Xdesired(t)を、ある所望の出力経路Ｐ上のｔ番目の画像の位置とする。手段１１４は、観測された入力位置から所望の出力位置へ画像をシフトするために要求される変位.Xshift(t)を求める。変形モジュールもまた観測された入力変位に基づいた所望の経路Ｐを求める。観測されたΔxinからP(xdesired)を得るための方法を以下に記載する。
変位概算を変形するための「ローパス」方法において、位置の出力シーケンスは単に位置の入力シーケンスを平滑化することにより得られる。即ち、
Δxshift(t)=Δxin(t)-w*Δxin(t)
である。ここで、ｗは一般にIIRローパスフィルターである。異なるフィルターが動きの異なるパラメータを得るのに適用され得る。例えば、並進運動(x,y)は適当に平滑化され、大きさは全く平滑化されないが、回転運動．は大きく平滑化され得る。実際、非線形ローパスフィルターが使用され得る。例えば、変位xshift(t)をどれくらいとることが許容されているかの制限があり得る。本発明はまた、ローパスフィルターを入力位置のシーケンスに適用して所望の出力位置を求めることにより、動きを減衰する。
図１３に示されているような変位概算を変形するための、夫々の部分に関しての連続した方法において、出力経路は、一連の連結された直線の線分（又は他の滑らかなセグメント）として定められる。これらのセグメントは入力画像位置における予期された傾向に従うように選択される。シフトが所定の制限を越える時間ｔ１に達するまで、全ての出力フレームは線分（セグメント）Ａにシフトされ得る。それから、新しい線分が開始され、出力画像が出力表示器の中心に戻すのに役立つ。ｔ１での速度の概算は、例えばｔ１の前の時間の周期の間で観測された入力変位の平均に基づいている。もしくは、所望の経路は外部から特定され得る。この速度とフレームIin(t1)の位置は、次の入力フレームの位置を予測する経路Ｂを定める。出力経路Ｐは、時間t1-1での線分Ａの終わりからt2での線分Ｂへと構成された遷移線分Ｃに従うようにされる。要求されるシフトのような時間が所与の制限を越えるまで、ＰはＢに従う。方向を当然変えるかもしれない入力の動きにおける傾向に出力を従わせる間、この方法は入力シーケンスの一時的な高い周波数成分の動きを除去する。
図１１に示すように目標追跡プロセスが画像整列プロセスと共に用いられているとき、画像整列プロセスが画像を経路Ｐにシフトするのに使用されている間、検出された目標位置は出力経路Ｐを求めるのに使用され得る。場面中で目標が小さいか幾分不規則に動くときは、２プロセス・アプローチが必要とされるかもしれない。部分を対象とする画像平滑安定化（画像をスムーズにする安定化）により、背景場面の望ましくない高周波動きが出力では除去される。目標追跡が用いられて、目標を一般的に出力表示器内の中心に置くように保つ経路を定める。
目標パターンは、オペレータにより指定された背景場面の一部分、又は観測者により指定された場面もしくは動き検出モジュールにより検出された場面における動いている対象であり得る。観測者により指定されたパターンの場合には、システムは次の追跡で基準として使用されるべきパターンを記憶する。この基準は規則的な間隔、例えばnフレーム毎に自動的に更新され得る。一旦、基準パターンとの最高の一致を与える位置が場面中に見つけられたなら、その位置でのパターンが基準の代わりとして記憶される。このようにしてシステムは目標パターンにおけるゆるやかな変化に適応できる。もし目標パターンの検出された位置が目標シーケンスを安定化するのに直接使用されたならば、基準パターンが更新される度に、僅かな飛躍（出力経路Ｐにおける不連続性）が生じる傾向が出るであろう。背景の正確な整列プロセスが図１１中のシフトx(t)とP(t)を定める間、観測された目標パターン位置を用いて経路Ｐ内に線分を定めることによりこの飛躍は避けられる。本発明はまた、分離した背景と安定化における目標追跡プロセスを使用する。目標パターンを出力表示器内の所望の位置に滑らかに動かすために、目標追跡プロセスが出力動き経路の線分を決める間、背景プロセスは部分を対象とした平滑安定化を行う。
機械的安定化装置の存在により、画像機の２つ又は３つの回転軸が安定化される。電子式装置の存在により、画像機の視野内での画像の並進が補償される。ここで提案されている電子式アプローチの重要な利点は、画像機の制御を介しては補償され得ない動き要素を補償するのに使用できることである。例えば、パターンが画像機の視野を越えて動くときに、電子式歪みがレンズ歪みを補償できる。より重要には、画像機が場面内の表面に対して動くときに、電子式安定化が視差動きを補償するのに用いられ得る。安定化は、その動きの数学的モデルや上記概略述べた正確な整列方法を通じて概算されたパラメータに基づいている。例えば、画像機の撮像方法に対して傾斜しえる平らな表面の動きを、２次歪みは補償できる。
電子式安定化は、場面中に存在する面（例えば、自動車の前の道路面）または、画像機に対して相対的に規定される面（例えば、動いている車から所定の距離だけ離れた垂直面）の動きを補償するのに用いられ得る。前者の方法では、それらの表面が安定化されることと共に、動きを概算するための手段と場面中の面までの距離が与えられる。一方、後者の方法は、対象が画像機からの上記距離における「表に現れていない障壁」を越えるときに、対象を検出するための手段を与える。（検出は、動いている車両の前の面を安定化することに基づくことができる。この安定化は、残存動きモデルに基づいている。この安定化の後に、一時的ローパスフィルターが続く。このローパスフィルターにより、その面の近くに無く場面中にある全ての対象物に関して動きが不鮮明なるという結果になる。対象物は、それらが「表に現れていない障壁」を通過するときに、鮮明に現れることになる。）
安定化に基づくモデルは、道路自体の表面のような場面中の表面を安定化するのに用いられ得る。この場合には、画像機に対する表面の動きが決められなければならない。このことは、変位概算手順に基づく既知のモデルを用いて行われ得る。このような技術は、表面形状や距離を決めるための手段として過去に提案されてきている。ここでは、画像シーケンスの安定化においてこれらの技術を使用することを提案する。
画像化手段１０は、外部の発光体により照らされた視野内の対象から反射された放射を受ける構造から成り得る。さもなくば、画像化手段１０は、視界内の対象を放射で照らすための手段とそのような対象からの反射された反射波を受け取るための手段を含む構造を為し得る。（このような反射波はまた対象の距離情報を与えることができる。）さらに、画像化手段１０は、電磁気的、超音波的、及び／又は他のいかなるタイプの波長を有するエネルギースペクトルのうちの所定のどんな波長部分の放射にも応答できる。アナログ−デジタル（Ａ／Ｄ）変換器は、各連続したフレーム中の画像データをデジタルプロセッサーで処理するためにデジタル形式に変換する。
画像歪み器１０２と１１６は、好ましくは、TRW社で製造されたTMC230イメージ・マニピュレーション・シーケンサー(Imagae Manipulation Sequencer)とTMC2246イメージ・フィルター(Image Filter)から形成される。イメージ・マニピュレーション・シーケンサーは、出力画像におけるアドレスを用いてソース画像におけるアドレスを発生するために使用される。イメージ・フィルターは、特定の入力画像アドレスの近隣の入力画像素を用いて出力画素値を内挿補間する。入力画像は標準のメモリに記憶される。このメモリは分割されて補間器に必要な近隣全ての画素を同時に読み出すことができる。
変形ユニットは観測された画像変位と外部から特定された制御情報を変換する。変形モジュールは、テキサスインスツルメント社、ダラス、テスサスで製造されたTMS320C30デジタル信号処理チップのような汎用計算装置および幾つかのメモリとすることができる。変形モジュールは幾つかの異なる安定化制御モードを含むことができる。その各々は、そのメモリに記憶されたコンピュータコードにより特定される。例えば、これらは減衰動き安定化、部分を対象にした線形安定化、及び目標中心化と結合した安定化を含むことができる。どんなときに用いられるモードでも、通常はシステムへの外部入力により特定される。変形モジュールへの他の入力は、変位概算器により計算されるフレーム毎変位、及び位置決めモジュールにより計算された目標位置を含む。フレーム時間毎に、変形モジュールはまず所望の出力動き経路を決め、要求される変位を決めて入力フレームをその経路に動かす。変位パラメータはシステムの出力として歪み器に与えられる。入力は、変位概算器からのフレーム間変位情報や外部モードまたは他の制御仕様を含む。
第１の数の画素を有するわりあい高い分解能の画像が処理されて第１数より小さい第２数の画素を有する広い視界と低い分解能の画像が導出される、画像分解による画像分析が、バート(Burt)によるマルチレゾルーション・イメージ・プロセッシング・アンド・アナリシス(Multiresolution Image Processing And Analysis)、第１６巻、２０〜５１、８８１頁、および画像分解技術が示されたアンダーソン(Anderson)らによる米国特許第４，６９２，８０６号に開示されている。
ラプラシアン変形は、多くのサイズのガウシアンのような基本関数の規則的なアレイに各ソース画像を分解するのに使用される。この関数は、しばしばピラミッド変形の基本関数として、又はウェーブレット(wavelets)として参照される。画像に対する複数分解能ピラミッドにより、低い分解能で分析される粗い特性と高い分解能で分析される細かい特性が許容される。ピラミッドの各サンプル値は、対応する基本関数に関する大きさを表す。図１４には、ソース画像のガウシアン及びラプラシアンピラミッドの発生についてのフローチャートが示されている。ガウシアンG(0)はソース画像であり、ガウシアン・ロールオフ(Gaussian rolloff)を有するローパスフィルターのＦ１でフィルタリングされ、各列中の一つ置きの画素と一つ置きの列を取り除くＦ２により準サンプリングされて、第１レベルガウシアンG(1)を形成する。より低いレベルのガウシアンG(n)が同じ方法で連続して形成される。ピラミッドの各レベルでのガウシアンに対応したラプラシアンL(n)は、準サンプリングされたデータをガウシアンピラミッドの次の最低レベルに戻すこと（与えられたサンプルＦ２’間にゼロ値をとるサンプルを挿入して補間フィルターＦ１を適用すること）、及び与えられたレベルのガウシアンから引くことにより形成される。このように形成されたラプラシアンは、リデュース−エキスパンド(Reduce-Expand)（ＲＥ）ラプラシアンとして知られている。さもなくば、ラプラシアンは破線で示されているように準サンプリングや再補間することなく形成され得る。これはフィルター・サブトラクト・デシメイト(filter-subtract-decimate)（ＦＳＤ）ラプラシアンと言われる。
画像が分解してより低い分解能の画像を作るためのプロセスメモリは、一般にガウシアン・ロールオフ(Gaussian roll-off)を有し異なるバンド幅の複数のローパスフィルターを用いて実行される。また、このプロセスは、米国特許出願第０７／８０５１４９号、及びWorkshop For Machine Vision、パリ、１９８９年１０月、並びに一般には米国特許第４，７０３，５１４号に記載されていて、センサー社(Sensar, Inc.)、PO Box, Princeton, NJ 08540で販売されているＰＹＲ−１で回路を用いて効果的に行うことができる。ＰＹＲ−１ピラミッド回路は３つまでの入力信号を受け入れ、２つまでの出力信号を出力する。入力及び出力データチヤンネルは、パイプライン処理を制御するタイミング信号を組み込む。これらのタイミング信号は自動的に回路の遅延処理に調整されて、パイプラインシステムにおいて自動遅延制御を可能にする。２次元フィルターを実現するのに用いられる水平遅延線の効果的な長さは、タイミング信号により制御されるので、プログラミングされる必要はない。この回路は、連続して可変の水平及び垂直ブランキング回数を有する信号を受け入れて処理する。ビデオカメラからの画像に対して、水平及び垂直同期信号がタイミング信号を与える。これらの信号がデジタル化されてデジタルデータ信号に結合されて入力信号を作る。さもなくば、デジタルデータ信号がフレームストアにより発生され得て、タイミング信号はフレームストア又は補助装置により加えられる。この回路は２つの平行経路を有する。これらの経路は、ガウシアンローパスフィルタリングされた画像及び入力画像のラプラシアン関数（入力画像とガウシアンの差）を同時に計算するのに使用され得る。２つの平行経路はまた、逆ピラミッド変形を計算するのに用いられる。
図１５では、例示したPYR-1回路は３つまでの入力信号IN1,IN2及びIN3を受け入れることができ、２つまでの出力信号OUT1,OUT2を与えることができる。これらの信号の各々は、少なくとも８つのデータビットと２つのタイミングビットを含んだ複数ビットのデジタル信号である。この２つのタイミングビットは夫々のタイミング信号を運ぶ。一つの信号HAは、ラインのデータが有効であるとき（即ち、ピクチャインターバルがアクティブである期間中）論理ハイ状態にあり、その他のとき（即ち、水平ブランキングインターバル中）は論理ロー状態にある。もう一方の信号VAは、フィールド内のデータが有効なときは論理ハイ状態にあり、その他のとき（即ち、垂直ブランキングの間隔の間）は論理ロー状態にある。
本回路は５つの基本的な要素である、入力算術論理ユニット(ALU)１１０４、フィルター１１１０（図１で破線内で示されている。）マルチプレクサー１１２０、クリッププロセッサー１１２２、及び出力ALU１１２４を含む。入力遅延要素１０２により等しく遅延された信号IN1とIN2は、ALU１１０４により結合させられて信号INを発生してフィルター１１１０にかけられる。この信号は、信号IN1かIN2のうちの一つでもよいし、それらの和(IN1+IN2)でもよいし、それらの差(IN1-IN2)でもよい。
フィルター１１１０は２次元フィルターを通じてALU１１０４により与えられる信号を処理する。この２次元フィルターは、その２つの次元の各々において１から５までのタップを有するように構成され得る。フィルターは垂直端プロセッサー１１０６と水平端プロセッサー１１０８を含む。これらのプロセッサーにより、種々の異なるタイプの画像値が実際の画像データを取り囲むものとして意味されるようになる。これらのうちには、最初の水平もしくは垂直ライン又は最後の水平もしくはは垂直ラインの繰り返しおよび定数がある。プロセッサー１１０８は入力信号を処理し境界画素のラインを上や下の端で画像に効果的に加える。さらに、それは３ステートゲート１１１２ａ−１１１２ｄやメモリ１１１４と協力して動作して、タップ遅延ライン(tapped delay line)を働かせる。タップ遅延ラインは、４つのライン遅延画像信号を重畳プロセッサー１１１８の垂直フィルター部分に与えるのに用いられる。
メモリ１１１４は４つ又は８つのライン遅延を２次元フィルターの垂直部分に対して与える。遅延ラインは重畳プロセッサー１１１８内で垂直および水平両方に結合されてフィルター１１１０を完全する。フィルター１１１０により与えられた出力信号はクリッププロセッサー１１２２により処理される。クリッププロセッサーは精度信号のために丸めたりスケーリングしたりし、最上位ビット(MSB)位置としてのフィルタリングされたデータを、入力IN3を介して与えられる、最下位ビット(LSB)を表すフィルタリングされたデータに結合して、倍精度出力信号を発生する。
プロセッサー１１２２の出力信号やALU１１０４の出力信号はプロセッサー１１０６により処理されるときに、出力信号OUT1として選択され得る。出力信号OUT2は、クリッププロセッサー１１２２の出力信号やマルチプレクサー１１２０の出力信号やこれらの２つの信号を結合したALU１１２４の出力とすることができる。マルチプライヤー１１２０により与えられる信号は、定数値K2、入力信号IN2、又は水平端プロセッサー１１０８により与えられる遅延水平ライン信号のうちの一つであり得る。マルチプレクサー１１２０は内部補償遅延（図示されてない。）を含む。この内部補償遅延は、入力信号の各々をクリッププロセッサー１１２２により与えられた信号に整列する。回路用のタイミング信号はタイミング回路１１２８により発生される。タイミング回路１１２８は、２位相入力クロック信号CLKとCLK2から２相のメモリクロックとシステムクロック信号CKを作る。
本回路の機能は制御回路１１３０を介して制御される。制御回路１１３０は制御入力チャンネルCBUSからユーザーコマンドを受け取り、出力ポートCONTを介して信号とデータ値を回路の他の要素に送る。
本発明は画像化システムの具体化したものとしてここでは説明され記載されているが、本発明は記載されている詳細に制限されるものではない。例えば、本発明は一つのソースからの画像、又は複数のソースからの画像のシーケンスを含む。むしろ、様々な変更が特許請求の範囲と同等の範囲内で本発明の趣旨から逸脱することなく詳細に行い得る。
本発明は基準になるものを歪ませて画像内の変位の概算を求めるという観点により説明されているが、画像自身は概算器内の基準との比較のため歪まされることができた。それから、変位の最終概算は画像を歪ませて安定化された出力画像を形成するのに用いられる。図１６のシステムは、歪み器の位置が変えられて基準よりむしろ現在の画像が歪まされて変位の概算を得ていることを除いては、図６のシステムと同じである。
【図１】
0003734829.tif 000002
【図２】
0003734829.tif 000003
【図３】
0003734829.tif 000004
【図４】
0003734829.tif 000005
【図５】
0003734829.tif 000006
【図６】
0003734829.tif 000007
【図７】
0003734829.tif 000008
【図８】
0003734829.tif 000009
【図９】
0003734829.tif 000010
【図１０】
0003734829.tif 000011
【図１１】
0003734829.tif 000012
【図１２】
0003734829.tif 000013
【図１３】
0003734829.tif 000014
【図１４】
0003734829.tif 000015
【図１５】
0003734829.tif 000016
【図１６】
0003734829.tif 000017