(57)【要約】一連の像フレームのオプティカルフローを決定する方法及び装置。輝度不変性及び一貫性制約の両方を強制するやり方でオプティカルフローフィールドを計算する。
2005526318.tif 000002
【特許請求の範囲】
【請求項１】
オプティカルフローを計算する方法において、
ａ）第１像フレーム及び第２像フレームを得るステップと、
ｂ）前記第１及び第２像フレームを使用してオプティカルフローフィールドを計算するステップであって、前記計算されたオプティカルフローフィールドは、前記第１及び第２像フレーム間にオプティカルフロー一貫性制約を強制することにより導出するようなステップと、
を備える方法。
【請求項２】
前記計算ステップｂ）は、前記オプティカルフローフィールドを仮想基準フレームに対して計算する、請求項１に記載の方法。
【請求項３】
前記計算されたオプティカルフローフィールドは、次の一貫性制約に基づいて決定され、
ｐ２       ＝ｐ１＋ｕ１［ｐ１］
ｕ２［ｐ２］＝−ｕ１［ｐ１］
但し、ｐ１は、前記第１像フレームにおける座標であり、ｐ２は、前記第２像フレームにおける座標であり、ｕ１［ｐ１］は、第１フローフィールドであり、更に、ｕ２［ｐ２］は、第２フローフィールドである、請求項１に記載の方法。
【請求項４】
ｃ）前記オプティカルフローをワープすることにより前記第１像フレーム又は前記第２像フレームの座標においてフローフィールドを得るステップを更に備える、請求項１に記載の方法。
【請求項５】
オプティカルフローを計算する方法において、
ａ）第１像フレーム、第２像フレーム及び第３フレームを得るステップと、
ｂ）前記第１、第２及び第３像フレームを使用して複数のオプティカルフローフィールドを計算するステップであって、前記計算されたオプティカルフローフィールドは、前記第１、第２及び第３像フレーム間にオプティカルフロー一貫性制約を強制することにより導出するようなステップと、
を備える方法。
【請求項６】
前記計算ステップｂ）は、前記オプティカルフローフィールドを前記第２フレームに対して計算し、前記計算されたオプティカルフローフィールドは、前記第１像フレームから前記第２像フレームへ計算されたオプティカルフローフィールドが、前記第３像フレームから前記第２像フレームへ計算されたオプティカルフローフィールドと一貫したものであるようにされる、請求項５に記載の方法。
【請求項７】
オプティカルフローを計算する方法において、
ａ）Ｎ個の多数の像フレームを得るステップと、
ｂ）前記Ｎ個の多数の像フレームを使用してＮ−１個のオプティカルフローフィールドを計算するステップであって、前記計算されたオプティカルフローフィールドは、前記Ｎ個のフレームの１つと基準像フレームｒとの間にオプティカルフロー一貫性制約を強制することにより導出するようなステップと、
を備える方法。
【請求項８】
前記計算されたオプティカルフローフィールドは、前記Ｎ個のフレームの１つと基準フレームｒとの間のエラー、及び基準フレームｒ以外の前記Ｎ個のフレームのうちの２つの間のエラーを最小にするように計算される、請求項７に記載の方法。
【請求項９】
オプティカルフローを計算する装置(100)において、
第１像フレーム及び第２像フレームを得る手段(110)と、
前記第１及び第２像フレームを使用してオプティカルフローフィールドを計算する手段(130)であって、前記計算されたオプティカルフローフィールドは、前記第１及び第２像フレーム間にオプティカルフロー一貫性制約を強制することにより導出するような手段(130)と、
を備える装置。
【請求項１０】
オプティカルフローを計算する装置(100)において、
第１像フレーム、第２像フレーム及び第３フレームを得る手段(110)と、
前記第１、第２及び第３像フレームを使用して複数のオプティカルフローフィールドを計算する手段(130)であって、前記計算されたオプティカルフローフィールドは、前記第１、第２及び第３像フレーム間にオプティカルフロー一貫性制約を強制することにより導出するような手段(130)と、
を備える装置。
【発明の詳細な説明】
【関連出願に対するクロスレファレンス】
【０００１】
[0001]本出願は、参考としてここに援用する２００２年５月１７日出願の米国プロビジョナル特許出願第６０／３８１，５０６号の利益を請求する。
【発明の分野】
【０００２】
[0002]本発明の実施形態は、オプティカルフロー像（ｉｍａｇｅ）処理に係る。より詳細には、本発明は、像フレーム間に一貫性を強制してオプティカルフローを決定することに係る。
【関連技術の説明】
【０００３】
[0003]オプティカルフローは、像処理における重要なパラメータとなっている。例えば、オプティカルフローは、像処理方法において、像シーケンス内の顕著な動きを検出するか又は超解像度の像再構成を行なうのに使用できる。オプティカルフローを計算する異なる方法が存在し、異なる実施に対処するように展開される。例えば、オプティカルフローフィールドは、２つの像間のピクセル位置の動きを二次元（２Ｄ）ベクトル表示したものである。
【０００４】
[0004]オプティカルフローの計算にまつわる多数の問題が存在する。例えば、動画ビデオからの再構成に基づく超解像度は、コンピュータビジョン及びビデオ分析における積極的な研究分野となっている。像の整列は、超解像度方法の重要な要素である。不都合なことに、像を整列する標準的な方法は、超解像度の像を形成するに充分な整列精度を与えないことがある。
【０００５】
[0005]それ故、オプティカルフローを決定する方法及び装置が有用となろう。より詳細には、多数のフレームにわたり一貫したオプティカルフローフィールドを決定する方法が特に有用となろう。
【発明の概要】
【０００６】
[0006]本発明は、一対の像フレームに対して両方向一貫性を有していて、精度の改善を導くことのできるオプティカルフローフィールド計算方法を提供する。このようなオプティカルフローフィールド方法は、一貫性の原理を多数の像フレームまで拡張することができる。フローの一貫性とは、フレームＡからフレームＢへと計算されたフローが、フレームＢからフレームＡへと計算されたフローと一貫していることを意味する。
【０００７】
[0007]又、本発明は、オプティカルフローフィールドを一貫したやり方で計算する装置も提供する。更に、本発明は、本発明の新規な解決策を、多数のフレームに対するオプティカルフローフィールド計算方法へと拡張もする。
【０００８】
[0008]本発明の前記特徴を詳しく理解できるようにするために、前記で簡単に概要を述べた本発明を、添付図面に示された実施形態を参照して更に詳細に説明する。しかしながら、添付図面は、本発明の典型的な実施形態を示すに過ぎず、従って、本発明の範囲をそれに限定するものではない。本発明は、等しく有効な他の実施形態も受け入れることができる。
【詳細な説明】
【０００９】
[0016]本発明は、一貫性を強制して、精度の改善を導くことができるオプティカルフローの計算方法及び装置を提供する。オプティカルフローの一貫性とは、フレームＡからフレームＢへ計算されたオプティカルフローが、フレームＢからフレームＡへ計算されたものと一貫していることを意味する。
【００１０】
[0017] オプティカルフローを計算する１つの解決策は、像フレームＩ１とＩ２との間に輝度の不変性があるという前提に基づく。
Ｉ１（ｐ１）＝Ｉ２（ｐ２）                                    （式１）
【００１１】
[0018]但し、ｐ１及びｐ２は、各々、像フレームＩ１及びＩ２の座標である。
【００１２】
[0019]フローの精度、即ち絶対フローエラーの尺度は、オプティカルフローの計算方法に伴う基本的な問題である。実際のオプティカルフローは、一貫したものでなければならず、即ちいかなる一対の像フレーム間にも真のオプティカルフローフィールドは１つしかない。しかしながら、ほとんどのオプティカルフロー計算方法では、一貫性が保証されていない。この非一貫性（図４）は、オプティカルフローフィールドがフレームＡからフレームＢへ計算され（例えば、順方向フロー）、次いで、オプティカルフローフィールドがフレームＢからフレームＡへ計算される（例えば、逆方向フロー）ときに示される。理想的には、計算されたオプティカルフローフィールドは、２つの計算されたフローフィールドが同じフローフィールドを表わすという点で一貫したものでなければならないが、順方向フローと逆方向フローとの間にしばしば非一貫性が生じる場合がある。対応するポイントにおける順方向フローと逆方向フローとの間の差として再投影エラーフローが定義される。更に、順方向フロー及び逆方向フローを発生するために２つのフロー計算が必要であることが明らかである。
【００１３】
[0020]一般に、計算の仕方は、像フレーム間の相関スコアを計算するか、又はスレッシュホールドを越える像区分を破棄することである。ある用途では、片側オプティカルフロー方法が２つの方向に独立して適用され、２つのフローが非一貫性となるポイントが単に拒絶される。不都合なことに、これは、希薄なフローフィールド及び不正確なフロー推定を生じる。
【００１４】
[0021]次々の像フレームの対をベースとするこの希薄で且つ不正確なフロー推定の問題は、密度１００％の非常に正確なフローフィールドに依存する一般的な超解像度方法に対して著しい障害となる。本発明では、多数のフレームを同時に使用して、高密度で正確なフローを推定する。図１は、本発明を実施するための像処理システム１００のブロック図である。この像処理システム１００は、像ソース１１０と、アナログ／デジタル（Ａ／Ｄ）コンバータ１２０と、オプティカルフロージェネレータ１３０と、顕著性ジェネレータ１３６と、像向上モジュール１３８とを備えている。一実施形態では、オプティカルフロージェネレータ１３０及び顕著性ジェネレータ１３６を動き検出器として配備することができる。或いは又、オプティカルフロージェネレータ１３０及び像向上モジュール１３８を、再構成に基づく超解像度像を発生するための像向上装置として配備することができる。従って、特定の実施形態の要求に基づいて、図１の種々の要素を省略することもできるし、又は種々の他の像処理要素を追加することもできる。
【００１５】
[0022]像ソース１０は、カメラやビデオカセットレコーダ（ＶＣＲ）やビデオディスクプレーヤのような多数のアナログ像形成装置のいずれでもよい。像ソースからのアナログ像信号は、Ａ／Ｄコンバータ１２０により、像フレームに基づくデジタル信号へとデジタル化される。図１は、後でデジタル化されるアナログソースを示しているが、他の用途では、像ソースそれ自体がデジタル情報を発生することもできる。例えば、像ソースは、デジタル像情報を記憶したデジタル記憶媒体でもよいし又はデジタルカメラでもよい。この場合には、デジタル像情報がオプティカルフロージェネレータ１３０に直接印加され、従って、Ａ／Ｄコンバータ１２０をバイパスする。いずれにせよ、オプティカルフロージェネレータ１３０は、像フレームで印加されるデジタル像信号を受信し、各フレームは、複数のピクセルで構成される。
【００１６】
[0023]一実施形態では、オプティカルフロージェネレータ１３０及び顕著性ジェネレータ１３６は、像フレーム間の顕著な動きを検出するように配備される。オプティカルフロージェネレータ１３０は、オプティカルフローフィールドジェネレータ１３２と、像ワープ装置１３４と、顕著性ジェネレータ１３６とを備えている。顕著性ジェネレータ１３６により発生された顕著性測定値は、他のシステム、例えば、移動物体を検出するモニタリングシステム１４０、又は兵器を標的とするターゲットシステム１５０によって使用することができる。
【００１７】
[0024]顕著性ジェネレータ１３６は、像フレーム対像フレームのオプティカルフローデータを決定することによって顕著な動きを検出し、ピクセルごとに、ある時間にわたって移動した像距離を推定することができる。従って、一方向に移動する個人の顕著性は増加し、一方、移動する木の枝の顕著性は、２つの逆符号の距離間で変動する。オプティカルフローを決定するための本発明の計算方法を以下に説明する。このような実施形態にオプティカルフローを使用する開示が、参考としてここに援用する、本発明の譲受人に共通に譲渡された米国特許第６，３０３，９２０号に見ることができる。
【００１８】
[0025]別の実施形態では、オプティカルフロージェネレータ１３０及び像向上モジュール１３８は、再構成に基づく超解像度像を発生するように配備される。即ち、オプティカルフロージェネレータ１３０は、オプティカルフローを発生し、これは、次いで、像向上モジュール１３８により使用され、例えば、正確な像整列に関して、超解像度方法が実行されたときに、再構成に基づく超解像度像を発生することができる。
【００１９】
[0026]図２は、汎用コンピュータ２１０を使用して本発明を実施する像処理システム２００のブロック図である。この汎用コンピュータ２１０は、中央処理システム２１２と、メモリ２１４と、１つ以上の像処理モジュール、例えば、上述したオプティカルフロージェネレータ１３０、顕著性ジェネレータ１３６及び像向上モジュール１３８とを備えている。
【００２０】
[0027]更に、像処理システム２００は、種々の入力／出力装置２１８を備えている。典型的な入力／出力装置２１８は、キーボード、マウス、オーディオレコーダ、カメラ、カムコーダー、ビデオモニタ、多数の像形成装置又は記憶装置でよく、これら装置は、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含むが、これらに限定されない。
【００２１】
[0028]図１及び２を見たときに、図１の像ソース１１０及びアナログ／デジタル（Ａ／Ｄ）コンバータ１２０は、入力／出力装置２１８、中央処理システム２１２、又はその両方において実施されることを理解されたい。又、オプティカルフロージェネレータ１３０は、物理的な装置として、又はソフトウェアアプリケーションとして、或いはソフトウェア及びハードウェアの組合せとして実施できることも理解されたい。更に、オプティカルフロージェネレータ１３０により発生される種々のデータ構造、例えば、オプティカルフローフィールド、ワープされた像、累積フロー、及び顕著性尺度は、コンピュータ読み取り可能な媒体、例えば、ＲＡＭメモリ、磁気又は光学ドライブ又はディスケット等に記憶することができる。
【００２２】
[0029]より詳細には、オプティカルフローフィールドジェネレータ１３２は、２つ以上の次々の像フレームから、像フレーム対像フレームのオプティカルフローフィールドを計算する。上述したように、オプティカルフローフィールドは、輝度の不変性に基づき像対Ｉ１（ｐ１）＝Ｉ２（ｐ２）間で計算することができる（但し、ｐ１及びｐ２は、フレーム１及び２の座標である）。各繰り返しにおいて、上記式に対する線形近似を使用して、フローフィールドの増分を解く。
【数１】
2005526318.tif 000003
【００２３】
[0030]但し、Ｊ１２は、ｐ２に対するｐ１のヤコビアン部分導関数マトリクスである。この式は、Ｉ１からＩ２へのオプティカルフローフィールドを計算する片側繰り返し多格子アルゴリズムを基礎とするものである。ヤコビアンＪ１２の近似は、次の通りである。
【数２】
2005526318.tif 000004
【００２４】
[0031]前記式を使用して、Ｉ１からＩ２への及びそれとは逆の一対のフローフィールドを計算することができる。しかしながら、異なる方向における計算されたフローは、一般に、異なるものである。この差が図４に示されている。即ち、計算方法は、次のような一貫性の制約をしばしば強制しない。
ｐ２       ＝ｐ１＋ｕ１［ｐ１］
ｕ２［ｐ２］＝−ｕ１［ｐ１］                                      （式４）
【００２５】
[0032]図５は、２つのフレーム間のオプティカルフローに課せられた一貫性の制約の作用を示す。本発明によれば、像対フレーム間の前記一貫性制約を満足する単一フローフィールドを計算することにより、両方向一貫性（フレームI２からI１へ及びフレームI１からフレームI２へ）が強制される。これを行なうために、一定輝度制約と一貫性制約が合体されて、一貫輝度制約が形成される。
I（ｐ）＝Ｉ１（ｐ−αｕ［ｐ］）＝Ｉ２（ｐ＋(１−α)ｕ［ｐ］）    （式５）
【００２６】
[0033]但し、Ｉ（ｐ）は、２つのフレームＩ１（ｐ１）とＩ２（ｐ２）との間の基準フレームであり、αは、［０、１］の範囲の制御パラメータである。αに対する厳密な値の選択は、２つのフレームの統計学的データに基づいて行われる。例えば、フレームＩ１がフレームＩ２よりノイズがある場合には、αは、０から０．５の間で選択されねばならない。フレームＩ２がフレームＩ１よりノイズがある場合には、αは、０．５から１．０の間で選択されねばならない。通常、２つのフレームの統計学的データが同様である場合には、値０．５が選択されねばならない。以下の説明において表示を簡単にするために、αを省略し、それに代わってその典型値０．５を使用する。このような簡単化は、αを特定の用途に基づいて適切に選択でき且つそのように選択しなければならないという理解を妨げてはならない。より正確には、この実施形態では、基準フレームＩ（ｐ）は、仮想（αが０．５である場合には中間）フレームである。というのは、フレームは、通常、像シーケンスの一部分である真のフレームではないからである（αが０又は１にセットされない限り）。図６は、基準フレームとフレームＩ１及びＩ２との関係を示す。
【００２７】
[0034]テイラー級数展開を行い、αをその典型値０．５に置き換えた後に、次の微分式が生じる。
【数３】
2005526318.tif 000005
【００２８】
[0035]全ての座標は、仮想座標系ｐ内にあることに注意されたい。一貫輝度制約の繰り返しバージョンは、容易に導出することができる。一貫輝度及び一貫性制約オプティカルフローを計算する利点は、像対に対して１つの一貫したオプティカルフローを推定するだけでよく、且つその推定されたオプティカルフローが逆方向−順方向の一貫性を保証し、ひいては、より正確であることである。最終的に、フレームＩ１及びＩ２の座標系におけるフローフィールドが必要とされる場合には、フローフィールドを仮想フレーム座標において各々ワープすることにより得ることができる。
【００２９】
[0036]数学的には、片側オプティカルフロー方法は、一般に、次の一方向最小２乗エラーを最小にする傾向がある。
Ｅｒｒｉ＝（Ｉｉ（ｐｉ）−Ｉｊ（ｐｉ＋ｕｉ［ｐｉ］））２                （式７）
【００３０】
[0037]更に良好な方法は、合計エラーを最小にすることである。
Ｅｒｒ＝［Ｅｒｒ１＋Ｅｒｒ２］                                      （式８）
【００３１】
[0038]しかしながら、一貫性を強制するようにしてこれを行なう方法は、一貫した最小２乗エラーを最小にすることである。
Ｅｒｒｃｏｎｓ＝［Ｉ１(ｐ−αｕ［ｐ］−Ｉ２(ｐ＋(１−α)ｕ［ｐ］））］２    (式９）
【００３２】
[0039]以上、一貫性が強制されるように２つの像フレームから一貫輝度オプティカルフローを計算することについて説明した。しかしながら、本発明の原理は、２つの像フレームを越えて、３つ以上の像フレームからオプティカルフローを決定することにより利益が得られる用途へと拡張される。
【００３３】
[0040]例えば、本発明の原理は、３つの像フレームを用いてオプティカルフローを計算することに適用できる。Ｉ１、Ｉ２及びＩ３と示された３つの像フレームを使用して、ｕ１及びｕ３と示された２つのオプティカルフローフィールドを決定することができる。例えば、Ｉ２を基準フレームとして選択すると、この２フレーム方法は、一般に、２つの独立した制約Ｉ１（ｐ１）＝Ｉ（ｐ）及びＩ３（ｐ３）＝Ｉ（ｐ）に基づいて２つのオプティカルフローｕ１（ｐ）及びｕ３（ｐ）を計算する。しかし、これを行なうときに一貫性は保証されない。というのは、２つのオプティカルフローが独立して計算されるからである。
【００３４】
[0041]本発明によれば、オプティカルフロー間に一貫性を強制することは、次の制約を追加することにより行なわれる。
Ｉ３（ｐ）＝Ｉ１（ｐ）                                          （式１０）
【００３５】
[0042]その追加された制約に基づく繰り返しバージョンは、共通の座標系ｐにおいて次のように表わすことができる。
【数４】
2005526318.tif 000006
【００３６】
[0043]但し、Ｉ’ｉは、以前の繰返しからの動きを使用してＩｉをワープしたものであり、更に、δｕ１（ｐ）及びδｕ３（ｐ）は、各繰り返しにおいて計算される増分フローである。
【００３７】
[0044]オプティカルフローの計算が像の小さな窓における１つのフローに制限される場合には、各繰り返しにおける以前の式のルーカス・カナード(Lucas-Kanade)の式は、次の通りである。
【数５】
2005526318.tif 000007
【００３８】
[0045]但し、Ｉｔ３１＝−Ｉｔ１３である。
【００３９】
[0046]要約すれば、３フレームシステムにおいて最小にすべきエラーは、次の通りである。
【数６】
2005526318.tif 000008
【００４０】
[0047]一実施形態では、本発明は、４つ以上のフレームへ拡張される。説明上、ｎ個のフレームＩ１、Ｉ２、Ｉ３、・・・Ｉｎが存在し、且つ計算は、仮想座標に対して全てのオプティカルフローを計算すべきであると仮定する（図７を参照）。一実施形態では、本発明は、基準フレームｒの座標を、例えば仮想座標として選択することができる。このような選択のもとでは、基準フレームｒの座標は、共通座標系であり、ｎ−１のオプティカルフローフィールドを計算しなければならない。式１３に示すように、３つの像フレームを使用するときには、２つのオプティカルフローに対する３つのエラーの和に基づいてエラーが最小にされる。一般に、これらのエラーは、２つの形式のエラーとして分類することができる。即ち、各フレームと基準フレームとの間のエラー（示されるべきマトリクスの対角方向成分）であるＥｒｒｆ２ｒ、及び基準フレーム以外の一対のフレーム間のエラー（マトリクスの対角方向から外れた成分）であるＥｒｒｆ２ｆ。多数のオプティカルフローフィールドの計算については、次のエラーを最小にしなければならない。
【数７】
2005526318.tif 000009
【００４１】
[0048]一次のテイラー展開の後に、ヤコビンマトリクスをゼロにセットすることにより、各繰り返しにおける方程式の線形システムは、次のようになる。
【数８】
2005526318.tif 000010
【００４２】
[0049]但し、Ｉｔｉｊ＝−Ｉｔｊｉ及びＩｔｊｊは、実際には、Ｉｔｊである。ｕｒはゼロであり、線形システムには含まれない。
【００４３】
[0050]本発明の一般的な方法が図３に示されている。図示されたように、方法３００は、ステップ３０２で開始し、像フレームを得ることによりステップ３０４へ進む。２つ、３つ又はそれ以上の像フレームを使用することができる。ステップ３０６では、１つ以上のオプティカルフローフィールドが、一貫性を強制するやり方で計算される。このような計算は、（仮想）基準フレームを参照して上述した。次いで、ステップ３０８において、方法が終了となる。
【００４４】
[0051]上述したように最小にされた多フレームに基づくエラーは、各対のフレーム間の一貫性を考慮していない。これは、基準フレーム以外のフレームの対にとって困難である。というのは、対に関する一貫性を強制するには、各対のフレームに対して仮想座標系が必要になるからである。
【００４５】
[0052]しかしながら、対に関する一貫したフローｕｉ，ｉ＋１を最初に計算し、次いで、それらの一貫したフローをカスケード状にして、フレームｊから基準フレームへの初期フロー推定ｕｊを得ることができる。最終的に、初期フロー推定は、式１５に基づいて束ねることができる。
【００４６】
[0053]合成運動を有する合成データを使用する実験結果は、前記方法を使用してサブピクセル運動を決定できることを示している。オプティカルフロー計算の改善を実証するために、前記オプティカルフロー方法が、フローが未知である半合成データを使用して超解像度方法に適用された。又、本発明は、フローに基づく超解像度オプティカルフロープロセスにも適用できる。例えば、デジタルビデオカムコーダーで捕獲されたビデオシーケンスである。
【００４７】
[0054]本発明により２つのフレームＩ１とＩ２との間の一貫したフローフィールドが計算されると、これら２つのフレーム間の基準フレームＩ（ｐ）が発生されることに注意されたい。このような中間的(in-between)フレームを発生する像プロセスは、像モルフィング(morphing)又はトイーニング(tweening)と一般に称される。従って、本発明の方法は、フロー推定に加えて、モルフィング又はトイーニングに代わる手段を提供する。
【００４８】
[0055]本発明の教示による種々の実施形態を図示して詳細に説明したが、当業者であれば、これら技術を依然として組み込んだ多数の他の変形実施形態も容易に案出できよう。
【図面の簡単な説明】
【００４９】
【図１】本発明の像処理システムのブロック図である。
【図２】汎用コンピュータにより実施された本発明の像処理システムのブロック図である。
【図３】本発明のフローチャートである。
【図４】一貫性を強制しない片側フロー方法によるフレームＩ２からフレームＩ１へ及びそれとは逆の一対のフローベクトルを示す図である。
【図５】２つのフレーム間のオプティカルフローに一貫性の制約を課した場合の作用を示す図である。
【図６】基準フレームとフレームＩ１及びＩ２との関係を示す図である。
【図７】基準フレームと一連のフレームＩ１、Ｉ２、・・・Ｉｎ−１及びＩｎとの関係を示す図である。
【符号の説明】
【００５０】
１００・・・像処理システム、１１０・・・像ソース、１２０・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１３０・・・オプティカルフロージェネレータ、１３２・・・オプティカルフローフィールドジェネレータ、１３４・・・像ワープ装置、１３６・・・顕著性ジェネレータ、１３８・・・像向上モジュール、１４０・・・モニタリングシステム、１５０・・・ターゲットシステム、２００・・・像処理システム、２１０・・・汎用コンピュータ、２１２・・・中央処理システム、２１４・・・メモリ、２１８・・・入力／出力装置
【図１】
2005526318.tif 000011
【図２】
2005526318.tif 000012
【図３】
2005526318.tif 000013
【図４】
2005526318.tif 000014
【図５】
2005526318.tif 000015
【図６】
2005526318.tif 000016
【図７】
2005526318.tif 000017
【国際調査報告】
2005526318.tif 000018
2005526318.tif 000019