(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスを形成する複数ビデオフィールドにおいてディスプレイされる関心対象ビデオ画像を安定化する方法であって、
第１ビデオフィールドの選定済みエリアを、徐々に小さくなる複数レベルの画素ブロック小区画を含む入れ子型画素ブロックに細分化するステップを含み、前記ビデオ画像が前記エリアに含まれ、
各前記画素ブロック小区画内における各画素ブロックの前記第１ビデオフィールドから第２ビデオフィールドへの水平および垂直移行を決定するステップを含む
方法。
【請求項２】
更に、前記画素ブロックのうち関心対象ではない幾つかの選定済みブロックをマスクする前記ステップを含む請求項１に記載の方法。
【請求項３】
更に、前記画素ブロックのうちスケールが所定値より小さい幾つかの選定済みブロックをマスクする前記ステップを含む請求項１に記載の方法。
【請求項４】
更に、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像倍率変化を決定するステップを含む請求項１に記載の方法。
【請求項５】
倍率変化を決定する前記ステップが前記画素ブロック対の各相対移行を前記画素ブロック対の中心間のそれぞれの距離によって割り算することによって実施される請求項４に記載の方法。
【請求項６】
更に、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を決定するステップを含む請求項１に記載の方法。
【請求項７】
回転を決定する前記ステップが、前記画素ブロック対のそれぞれの中心間距離によって割り算された前記画素ブロック対の各相対移行の逆正接函数を算定することによって実施される請求項６に記載の方法。
【請求項８】
更に、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の倍率変化を決定することと、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を決定することと、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の前記倍率および回転変化に関して最小画素ブロック小区画における前記各画素の前記水平および垂直移行を補正することと、前記補正済み水平および垂直画素ブロック移行を平均することによって、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の移行を決定する前記ステップを含む請求項１に記載の方法。
【請求項９】
ビデオシーケンスを形成する複数ビデオフィールドにディスプレイされる関心対象のビデオ画像を安定化する方法であって、
前記ビデオシーケンスの前記第１ビデオフィールドのエリアを画素ブロックの行と列に分割するステップを含み、前記画像が前記エリアに含まれ、
各前記画素ブロックの前記第１ビデオフィールドから前記第２ビデオフィールドへの水平および垂直移行を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の倍率変化を計算するステップと
を含む方法。
【請求項１０】
計算する前記ステップが、画素ブロックの前記行の１つにおける前記画素ブロックの１対の間の相対水平変位を、前記画素ブロック対のそれぞれの中心間距離によって割り算することによって実施される請求項９に記載の方法。
【請求項１１】
割り算する前記ステップが、前記エリア内の画素ブロックで形成される各行における各前記画素ブロック対に関して実施される請求項１０に記載の方法。
【請求項１２】
計算する前記ステップが、画素ブロック列の１つにおける１対の前記画素ブロック間の相対垂直変位を前記画素ブロック対のそれぞれの中心間距離によって割り算することによって実施される請求項９に記載の方法。
【請求項１３】
割り算する前記ステップが、前記エリア内の各画素ブロック列における前記画素ブロックの各対に関して実施される請求項１２に記載の方法。
【請求項１４】
画素ブロックの各列における画素ブロックのそれぞれの対の間の相対垂直変位を前記画素ブロック列対のそれぞれの中心間距離によって割り算することと、画素ブロックの各行における画素ブロックのそれぞれの対の間の相対水平変位を前記画素ブロック行対のそれぞれの中心間距離によって割り算することと、前記割り算する両ステップの前記結果をまとめて平均することによって計算する前記ステップが実施される請求項９に記載の方法。
【請求項１５】
更に、平均する前記ステップ以前に割り算する前記の両ステップの前記結果を重み付けする前記ステップを含む請求項１４に記載の方法。
【請求項１６】
更に、前記重み付けステップがそれぞれの前記画素ブロック対中心間距離が比較的大きい前記割り算ステップの結果に一層大きい重みを割り当てるステップを含む請求項１５に記載の方法。
【請求項１７】
更に、前記割り算ステップの前記結果の前記平均からの標準偏差が１より大きい前記割り算結果を前記平均および重み付けステップから除外するステップを含む請求項１５に記載の方法。
【請求項１８】
ビデオシーケンスを形成する複数ビデオフィールドにディスプレイされる関心対象のビデオ画像を安定化する方法であって、
前記ビデオシーケンスの前記第１ビデオフィールドのエリアを画素ブロックの行と列に分割するステップを含み、前記画像が前記エリアに含まれ、
各前記画素ブロックの前記第１ビデオフィールドから前記第２ビデオフィールドへの水平および垂直移行を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を計算するステップと
を含む方法。
【請求項１９】
計算する前記ステップが、画素ブロック列の１つにおける１対の前記画素ブロック間の相対垂直変位を前記画素ブロック対のそれぞれの中心間距離によって割り算することによって実施される請求項１８に記載の方法。
【請求項２０】
割り算する前記ステップが、前記エリア内の各画素ブロック列における前記画素ブロックの各対に関して実施される請求項１９に記載の方法。
【請求項２１】
計算する前記ステップが、画素ブロック行の１つにおける１対の前記画素ブロック間の相対垂直変位を前記画素ブロック対のそれぞれの中心間距離によって割り算することによって実施される請求項１８に記載の方法。
【請求項２２】
割り算する前記ステップが、前記エリア内の各画素ブロック行における前記画素ブロックの各対に関して実施される請求項２１に記載の方法。
【請求項２３】
画素ブロックの各列における画素ブロックのそれぞれの対の間の相対垂直変位を前記画素ブロック行対のそれぞれの中心間距離によって割り算することと、画素ブロックの各列における画素ブロックのそれぞれの対の間の相対水平変位を前記画素ブロック列対のそれぞれの中心間距離によって割り算することと、前記割り算する両ステップの前記結果をまとめて平均することによって計算する前記ステップが実施される請求項１８に記載の方法。
【請求項２４】
更に、平均する前記ステップ以前に割り算する前記の両ステップの前記結果を重み付けする前記ステップを含む請求項２３に記載の方法。
【請求項２５】
更に、前記重み付けステップが、それぞれの前記画素ブロック対中心間距離が比較的大きい前記割り算ステップの結果に一層大きい重みを割り当てるステップを含む請求項２４に記載の方法。
【請求項２６】
更に、前記割り算ステップの前記結果の前記平均からの標準偏差が１より大きい前記割り算結果を前記平均および重み付けステップから除外するステップを含む請求項２４に記載の方法。
【請求項２７】
ビデオシーケンスを形成する複数ビデオフィールドにディスプレイされる関心対象のビデオ画像を安定化する方法であって、
前記ビデオシーケンスの前記第１ビデオフィールドのエリアを画素ブロックの行と列に分割するするステップを含み、前記画像が前記エリアに含まれ、
各前記画素ブロックの前記第１ビデオフィールドから前記第２ビデオフィールドへの水平および垂直移行を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の倍率変化を計算するために前記画素ブロックの水平および垂直変位を用いるステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を計算するために前記画素ブロックの水平および垂直変位を用いるステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの倍率および回転における変化に関して前記画素ブロックの水平および垂直変位を補正するステップと
を含む方法。
【請求項２８】
更に、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の水平変位を決定するために前記画素ブロックの補正済み水平変位を平均するステップと、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の垂直変位を決定するために前記画素ブロックの補正済み垂直変位を平均するステップとを含む請求項２７に記載の方法。
【請求項２９】
ビデオシーケンスを形成する複数ビデオフィールドにディスプレイされる関心対象のビデオ画像を安定化する方法であって、
前記ビデオシーケンスを形成する第１ビデオフィールドから第２ビデオフィールドへの前記画像の倍率変化を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の移行を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の前記倍率変化の逆を用いて前記ビデオシーケンスの第３ビデオフィールドを拡大戻しするステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の前記回転の逆を用いて前記第３ビデオフィールドを回転戻しするステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の前記移行の逆を用いて前記第３ビデオフィールドを移行戻しするステップと
を含む方法。
【請求項３０】
更に、前記第１ビデオフィールドから、前記拡大戻しされ、回転戻しされ、かつ移行戻しされた前記第３ビデオフィールドへの前記画像の倍率変化と回転と移行を決定するステップを含む請求項２９に記載の方法。
【請求項３１】
更に、前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の前記倍率変化を、前記第１ビデオフィールドから、前記拡大戻しされた第３ビデオフィールドへの前記画像の前記倍率変化に加えることにより、前記第１ビデオフィールドから前記第３ビデオフィールドへの前記画像の倍率変化を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の回転を、前記第１のビデオフィールドから、前記回転戻しされた前記第３ビデオフィールドへの前記画像の前記回転に加えることにより、前記第１ビデオフィールドから前記第３ビデオフィールドへの前記画像の回転を決定するステップと、
前記第１ビデオフィールドから前記第２ビデオフィールドへの前記画像の移行を、前記第１ビデオフィールドから、前記移行戻しされた前記第３ビデオフィールドへの前記画像の前記移行に加えることにより、前記第１ビデオフィールドから前記第３ビデオフィールドへの前記画像の移行を決定するステップと
を含む請求項３０に記載の方法。
【発明の詳細な説明】
【０００１】
【本発明の起源】
本発明は米国政府の国家公務員によって成されたものであり、従って、本発明はロイヤリティ（特許使用料）の支払いなしに米国政府の目的のために米国政府により或いは米国政府の代理者により作成又は使用され得るものとする。
【０００２】
【発明の背景】
【発明の属する分野】
本発明は、概してビデオ画像処理方法に関し、ここに示す実施形態において更に詳細には、ビデオ画像を安定化およびレジストレーション（位置決め）する方法を提供する。
【０００３】
【関連技術の説明】
現在、ビデオ画像を安定化する技法が存在する。これらの技法は、一般に、ビデオシーケンスにおける水平および垂直方向の画像移行（即ち、変位）を軽減または除去するように機能する。これらの技法は、画像の回転（ローテーション）または拡大（ディレーション）を補償することができないので、一般に、実用性において著しく限定される。その上、これらの技法は、前景における物体と背景における物体が異なる速度（レート）、及び／又は、異なる方向に移動する場合におけるパララックス（視差）効果に対して敏感である。更に、これらの技法は、一般に、最も近い画素に対してのみ画像の運動を決定することが可能であるに過ぎない。
【０００４】
ビデオ画像の安定化技法および他の画像増強技法は次に示す先行米国特許に記載されている、即ち、Ｌｅｅに付与済みのＵＳＰＮ５．７８４，１７５；Ｋｏｎｄｏ等へ付与済みのＵＳＰＮ５，４５３，８００；Ｋｉｍへ付与済みのＵＳＰＮ５．３２７．２３２；Ｚａｃｃａｒｉｎ等へ付与済みのＵＳＰＮ５，２１０，６０５；ｖａｎ  ｄｅｒ  Ｍｅｅｒ等へ付与済みのＵＳＰＮ４．９２４，３０６；Ｉｖｅｒｓｏｎ等へ付与済みのＵＳＰＮ  ５，８１５，６７９；Ｈｓｕ等へ付与済みのＵＳＰＮ  ５，７４２，７１０；Ｃｈａｎｇ等へ付与済みのＵＳＰＮ  ５，７３４，７３７；Ｌｅｅへ付与済みのＵＳＰＮ  ５，６８６．９７３；Ｃｈｅｎ．等へ付与済みのＵＳＰＮ  ５，５３５．２８８；Ｌｅｅへ付与済みのＵＳＰＮ  ５，５２８，７０３；Ｃｈｅｎ等へ付与済みのＵＳＰＮ  ５，７７８，１００；Ｓｕｇｉｙａｍａへ付与済みのＵＳＰＮ  ５．７４８．７８４；Ｃｈａｎｇ等へ付与済みのＵＳＰＮ  ５，７４８．７６１；Ｂａｒｄ等へ付与済みのＵＳＰＮ  ５．７４５，６０５；Ｂｏｕｒｄｏｎ等へ付与済みのＵＳＰＮ  ５．７３７，４４７；Ｂｕｎｃｅへ付与済みのＵＳＰＮ  ５．７３４，７５３；Ｙａｍａｕｃｈｉへ付与済みのＵＳＰＮ  ５，７２９，３０２；Ａｓｔｌｅへ付与済みのＵＳＰＮ  ５．７０３．９６６；Ｂｒａｄｙ等へ付与済みのＵＳＰＮ  ５．６８４．８９８；Ｌｅｅへ付与済みのＵＳＰＮ  ５．５８  １．３０８；Ｂａｚｚａｚへ付与済みのＵＳＰＮ  ５．５５５．０３３；Ｈａｎｎａへ付与済みのＵＳＰＮ  ５，４８８．６７５；Ｂｕｒｔ等へ付与済みのＵＳＰＮ５，４８８，６７４；Ｂｕｒｔへ付与済みのＵＳＰＮ  ５，４７３，３６４；Ｂｕｒｔ等へ付与済みのＵＳＰＮ  ５，３２５．４４９；Ｈａｎｎａへ付与済みのＵＳＰＮ  ５，２５９，０４０；Ｂｅｒｇｅｎ等へ付与済みのＵＳＰＮ  ５．０６７，０１４；Ｂｕｒｔへ付与済みのＵＳＰＮ  ４．７９７，９４２である。
【０００５】
以上の記述から、画像の回転および拡大を補償することが可能であり、かつパララックス効果の補償が可能であって以前の技法より更に精確なビデオ画像安定化およびレジストレーション（位置決定）技法を提供することが非常に望ましいことが理解できるはずである。
【０００６】
【発明の概要】
本発明の一実施形態に従った本発明の原理の実行に際して、ビデオ画像の安定化およびレジストレーションのための方法が提供される。本方法は、ビデオシーケンスにおける画像の移行、回転、および、拡大を精確に決定する際に入れ子型（ネストされた）画素ブロックを利用する。
【０００７】
本発明の一態様において、ビデオシーケンスにおける１つのビデオフィールドからもう１つのビデオフィールドへの画像変位および拡大は、キービデオフィールドを選定し、かつ当該画像を含む当該キービデオフィールド内における画素のキーエリアを選択することによって決定される。次に、このキーエリアは入れ子型画素ブロックの多重レベルに細分化される。キーフィールドから新規ビデオフィールドへのキーエリアの移行は、当該要エリアに対して最大相関性を有する当該新規ビデオフィールドにおいて１つのエリア（部位）を探索することによって近似される。キーエリアの移行近似点は、最も大きい画素ブロック小区画における各画素ブロックのキービデオフィールドから新規ビデオフィールドへの移行を決定するための起点として用いられる。次に、最大画素ブロック小区画における各画素ブロックの移行は、その次に小さい小区画におけるそれぞれの関連画素ブロックの各々の移行を決定するための起点として用いられる。このプロセスは、最も小さい画素ブロックにおける画素ブロックの各々の移行が行われるまで繰り返される。後続する一切の計算において、画素ブロックが考察対象とされることなく、最小画素ブロックの１つと新規ビデオフィールドにおける画素ブロックとの間における最大相関係数が事前決定値未満である場合には、或る特定の画素ブロックが、例えば、マスクされることもあり得る。
【０００８】
本発明の他の態様において、当該キーエリアの移行、回転、および、倍率のキービデオフィールドから新規ビデオフィールドへの変化は、最小画素ブロック小区画における画素ブロックの各々の移行を用いて決定される。倍率変化は、画素ブロック対間の相対水平および垂直変位の各々を画素対間のそれぞれ水平および垂直距離によって割り算し、かつ重み付け平均を算定することによって決定される。回転は、画素ブロック対間の相対水平および垂直変位の各々を画素対間のそれぞれ水平および垂直距離によって割り算し、かつ重み付け平均を算定することによって決定される。キーエリア（キーエリア）の移行は、倍率および回転の変化に関して最小画素ブロック小区画における各画素ブロックの移行を訂正し、次に、画素ブロック移行を平均することによって決定される。前述のプロセスにおいて、例えば、同様に算定された複数の値の平均値と著しく異なる値が算定された場合には、更なる画素ブロックがマスクされることもあり得る。
【０００９】
本発明の更に他の態様において、キーエリアにおける倍率、回転、及び、移行のキービデオフィールドから新規ビデオフィールドへの変化は、キーエリアにおける倍率、回転、及び、移行のキービデオフィールドから後続ビデオフィールドへの変化を評価するための、後続するビデオフィールドの前処理用として用いられる。次に、キーエリアにおける倍率、回転、及び、移行のキービデオフィールドから前処理済み後続ビデオフィールドへの変化は、キーエリアにおける倍率、回転、及び、移行のキービデオフィールドから新規ビデオフィールドへの変化に加えられ、それによって、キーエリアにおける倍率、回転、及び、移行のキービデオフィールドから後続ビデオフィールドへの変化が決定される。
【００１０】
本発明のこれら及びその他の特徴、利点、利益、及び、目的は、以下に示す本発明の代表的な実施形態の詳細記述および添付図面を注意深く考察することにより、当該技術分野における通常の当業者にとって明白になるはずである。
【００１１】
【好ましい実施形態の記述】
本発明の原理を具体化する方法１０が図１に代表的に示される。方法１０についての次の記述においては、当該技術分野におけるこれらの当業者によく知られている標準ビデオフォーマットが参照される。この場合、ビデオシーケンスには順次ディスプレイされる複数のビデオフレームが含まれ、各ビデオフレームは２つのインタレース（飛び越し）されたビデオフィールドを有し、インタレースされたビデオフィールドの各々は赤色と緑色と青色の輝度レベル等を持つ画素の配置構成体として表される。ただし、本発明の原理は標準ビデオフォーマットにおける使用に限定されるものでなく、また、本発明の原理から逸脱することなく他のフォーマット、及び、他のタイプのフォーマットが利用可能であることを明瞭に理解されたい。
【００１２】
本方法１０にはステップ２０、３０、４０、５０、６０、７０、８０、９０、及び、１００が含まれ、これらの各ステップには、添付図面２、３、４、５、６、７．８、９、及び、１０にそれぞれ代表的に示されるサブステップが含まれる。以下に更に詳細に述べるように、ビデオシーケンスに従って各ビデオフィールドに関して実施されるステップ５０から１００までは繰り返されることに留意されたい。
【００１３】
ステップ２０はビデオフレーム前処理ステップである。標準ビデオフォーマットビデオフレームには一方のビデオフィールドがもう一方のビデオフィールドに時間的に後続する２つのインタレース（飛越し）されたビデオフィールドが含まれるという事実のために、興味の対象とされる画像の運動の分析を開始する以前にこれらのビデオフィールドを分離することが好ましい。
【００１４】
ステップ２２において、ビデオフィールドはビデオシーケンスの各ビデオフレームから抽出される。標準ビデオフォーマットにおいては、各ビデオフレームの一方のビデオフィールドは偶数本の水平線から成り、もう一方のビデオフィールドは奇数本の水平線から成り、ビデオフィールドは時間的に６０分の１秒だけ分離されている。これらの水平線はビデオフレームに示される画像を構成する画素の行である。
【００１５】
ビデオフィールドが分離されている場合には、ビデオフレームにおける一方の各ビデオフィールドには、そのビデオフレームにおいてこれに対応するもう一方のビデオフィールドが存在しないので、交互にブランク（空き）線が存在する。従って、ステップ２４において、各ビデオフィールドにおいて失われた線を補充するために補間法が用いられる。ビデオ補間技法は、当該技術分野における当業者には良く知られているので、ここではこれ以上説明しないこととする。あらゆるこの種の補間技法は本発明の原理と調子を合わせて利用され得る。
【００１６】
ステップ２６において、ビデオフィールドを形成する各画素の赤色と緑色と青色の輝度値を平均することにより各ビデオフィールド画像はグレースケール画像に変換される。勿論、ステップ２０はグレースケール（即ち、一般用語の黒と白）ビデオシーケンスで開始可能であり、その場合にはステップ２６は不必要なはずである。
【００１７】
ステップ３０はキーエリア（キーエリア）細分化ステップである。このステップは、結果的に各画素グループ又はブロック（最小サイズの画素以外）に更に小さい複数の画素ブロックが含まれるように、多重レベル上における画素のグルーピングを生成する。これは、画素ブロックが相互に「ネストにされる（入れ子にされる）」ことを意味する。
【００１８】
ステップ３２において、キーフィールド（キーとなるフィールド）が選定される。キーフィールドはステップ２２において抽出されたビデオフィールドの１つである。ビデオシーケンスを安定化することを目的として、関心対象とされる画像がキーフィールドに含まれ、その画像の少なくとも一部分に対象、人物、等々がディスプレイされることが好ましい。例えば、ビデオシーケンスが動く車両の画像を示している場合に、車両の画像が比較的静止して見えるようにビデオシーケンスを安定化しようとすれば、比較的明瞭な集中化された車の画像を含むビデオフィールドのなかの１つとしてキーフィールドが選定されることが好ましい。キーフィールドは、ビデオシーケンスおけるビデオフィールドの任意の１つ、例えば、ビデオシーケンスの最初または中頃または終端部であっても差し支えない。
【００１９】
ステップ３４において、キーエリアがキーフィールド内に選定される。このキーエリアは画素の矩形配列体であり、かつ、背景、前景、外部画像、等々をできるだけ少なくしてビデオシーケンスを安定化させようとする関心の対象とされる特定の画像を含むことが好ましい。前述の例を用いた場合、キーエリアは殆ど車両だけの画像を含むことが好ましい。キーエリアはキーフィールド内の任意の画素グループであって差し支えない。続いて方法１０を更に説明するための一例として使用するために、キーエリアは幅が３５８個の画素で形成され、高さが２４２個の画素で形成される矩形の画素グループであるものとする。
【００２０】
ステップ３６において、キーエリアは、キーエリアが細分化され得る最小画素ブロックの整数個を含むように調節されることが好ましい。従って、キーエリアは、次第に小さくなる画素ブロックに都合よく細分化できるように調節される。前述の例を使用することとし、画素ブロックの望ましい最小サイズが１５Ｘ１５ブロックであるものと仮定すると、その次に大きい画素ブロックのサイズは３０Ｘ３０画素ブロックであり、最大画素ブロックサイズは６０Ｘ６０画素ブロックであって、キーエリアは３６０Ｘ２４０画素のサイズに調節可能である。３６０Ｘ２４０画素の配列体（アレイ）は６０Ｘ６０画素ブロックに、更に３０Ｘ３０画素ブロックに、なお、更に１５Ｘ１５画素ブロックに都合よく細分化され得ることは容易に理解されるはずである。
【００２１】
ステップ３８において、調節済みキーエリアはネストされた画素ブロックに、即ち、更に大きい方の画素ブロックに更に小さい方の画素ブロックが含まれるように細分化される。前述の例を用いると、３６０Ｘ２４０に調節されたキーエリア内には６０Ｘ６０画素ブロックであれば２４個、３０Ｘ３０画素ブロックであれば９６個（各６０Ｘ６０画素ブロック内に４個の３０Ｘ３０画素ブロック）、１５Ｘ１５画素ブロックであれば３８４個（各３０Ｘ３０画素ブロック内に４個の１５Ｘ１５画素）が含まれる。
【００２２】
この例においては、画素ブロックは正方形であるものとして、最小ブロックとして１５Ｘ１５、その次に大きいブロクとして３０Ｘ３０、最大ブロックとして６０Ｘ６０が含まれ、画素ブロックには３レベルがあるような画素ブロック小区画が選定され、各画素ブロック小区画にはその次に大きい画素ブロック小区画として４倍の個数の画素ブロックが含まれる。ただし、本発明の原理から逸脱することなしに、上記以外のサイズ、形状、レベル数、及び、画素ブロック小区画間関係の画素ブロックを使用しても差し支えないことを明瞭に理解されたい。例えば、最小画素ブロックサイズ寸が１２Ｘ１２であり、画素ブロックの形状が正方形でなくて矩形であり、ネストされた画素ブロックには４レベルあり、或るレベルはその次に大きい画素ブロック小区画として９倍の個数の画素ブロックを含み、他のレベルはその次に大きい画素ブロック小区画として１２倍の個数の画素ブロックを含んでいても差し支えない。
【００２３】
ステップ４０はデータマスキングステップであり、ここで選定された画素ブロックは本方法１０における更なる処理から除外される。データマスクは幾つかの配列体（アレイ）を作成することによって構成され、配列体の各エレメントはキーエリアの最小画素ブロックの１つに対応する。キーエリアが３６０Ｘ２４０画素を含み、最小画素ブロックが１５Ｘ１５である上記の例の場合のデータマスクは２４Ｘ１６の配列体である。本配列体のエレメントに対応する画素ブロックを更なる計算過程に含ませようとする場合には、当該エレメントは１に設定され、また、対応する画素ブロックを更なる計算過程から除外させようとする場合には、当該エレメントは０に設定される。
【００２４】
ステップ４２において、オペレータは関心の対象とされない画素ブロックを手動で除外することが可能である。キーエリアに車両の画像が含まれる前述の例を用いる場合には、例えば前景、背景、等々内の諸物体のような分析と密接な関係の無い他の物体の画像がキーエリアに含まれても差し支えない。これらの外部画像を含む画素ブロックが、データマスク配列体内の対応するエレメントを０に変えることによってマスクされる場合には計算経済および計算正確度が強化される。
【００２５】
ステップ４４において特徴のない画素ブロックがマスクされる。このマスク作用は自動的に実施されて、画素ブロックにおける変化のスケールを事前決定値より小さくする。画素ブロックにおける変化のスケールは画素ブロックにおける各個別画素の平均輝度レベルの標準偏差によって与えられる。各画素の平均輝度レベルはステップ２６において決定されたことを想起されたい。
【００２６】
ステップ５０において、ビデオシーケンスにおけるキーフィールドから新規界フィールドへのキーエリアの移行（水平および垂直移動または変位）の近似が提供される。この近似は、以下に説明するように、次第に小さくなる画素ブロックの移行に関する探索を支援する。
【００２７】
ステップ５２において、新規ビデオフィールドにおけるキーエリアとこれに対応するエリア（部位）の間の相関係数が相互相関として知られるプロセスによって計算される。画素の配列体（アレイ）の間の相関係数のこの種の計算は当該技術分野における当業者にとってはよく知られており、これによって１つの配列体が他のアレイに「マッチする」程度に関係する数が求められる。従って、当該キーエリアは新規ビデオフィールドにおける対応するエリアと相互相関性を持ち、この場合の対応するエリアは、そに形状およびサイズが当該キーエリアの場合と同じであり、当該キーエリアが当該キーフィールド内に配置されるように新規フィールド内に配置される。
【００２８】
ステップ５４において、当該キーエリアは新規ビデオフィールド内の他のエリアと相互相関性を持ち、これら他のエリアの中心はステップ５２において用いられる対応するエリアの中心に対して変位する。例えば、相関係数は、ステップ５２において用いられる対応するエリアに対して画素１０個だけ右方、画素１０個だけ左方、画素１０個だけ上、及び、画素１０個だけ下方に相当するエリア（部位）に関して算定される。当該キーエリアとこれら他のエリアの１つとの間の相関係数が当該キーエリアとステップ５２において求められる対応するエリアとの間の相関係数より大きい場合には、相関係数が増加するエリアの方向に画像が移行することを表示する。当該キーエリアとステップ５２において求められるこれに対応するエリアとの間の相関係数がこれらの他のエリアの各々の相関係数より大きいが、これらの他のエリアの１つの相関係数がこれら残りの他のエリアの相関係数より大きい場合には、画像は最大相関係数を持つ他のエリアの方向に移行するが、対応するエリアと最大相関係数を持つ他のエリアとの間に位置することを表示する。
【００２９】
ステップ５６において、探索は、ステップ５２および５４によって与えられた表示に基づいて洗練される。従って、ステップ５２及び５４において算定された相関係数は探索を洗練する基礎として用いられる。全般的に、目的は最大相関係数を持つ新規フィールドにおけるエリアを決定することにある。
【００３０】
図５に示すように、相関係数が算定され、探索が洗練され、再度相関係数が算定され、探索が再度洗練される、等々によって、相関係数がそれ以上増加しなくなるまでステップ５４及び５６が繰り返される。
【００３１】
ステップ５８において、キーエリアに対して最大相関性を持つ新規フィールド内のエリア（部位）が選定される。キーフィールドと新規フィールドとの間での移行に際して、このエリアはキーエリアに含まれる画像の実際の位置の粗近似であるものとみなされる。
【００３２】
ステップ６０は、各画素ブロックの小区画内の各画素ブロックに関して実施されるということを除けば、その大部分が最大画素ブロック小区画によって開始されるステップ５０の反復である。ステップ５０はキーエリアと新規ビデオフィールドにおける対応するエリアとの間の相関係数の計算から始まるので、ステップ６０は最大画素ブロックの１つとステップ５８において選定されたエリア内の対応する画素ブロックとの間の相関係数の計算から始まる。前述の例を用いることとすれば、キーエリアの６０Ｘ６０画素ブロックはステップ５８において選定されたエリア内の対応する６０Ｘ６０画素ブロックと第１相互相関関係を持つ。次に、キーエリアの６０Ｘ６０画素ブロックはそれぞれの中心が対応する６０Ｘ６０画素ブロックの中心に対して変位した他の６０Ｘ６０画素ブロックと相互相関関係を持つ。次に、これらの計算結果は６０Ｘ６０キーエリア画素ブロックの移行の方向を示すために用いられる。次に、探索が洗練され、６０Ｘ６０キーエリア画素ブロックに対して最大相関性を持つ６０Ｘ６０画素ブロックを発見することによって、ステップ５８において選定されたエリアへのキーエリアからの６０Ｘ６０画素ブロックの移行を決定するためにプロセスが繰り返される。次に、このプロセスは、キーフィールドから新規フィールドへの各６０Ｘ６０画素ブロックの移行が決定されるように、キーエリア内の他の６０Ｘ６０画素ブロックの各々に関して繰り返される。
【００３３】
当該画素ブロックに関連する６０Ｘ６０画素ブロックの移行を第１近似として使用することによって、各３０Ｘ３０画素ブロックの移行が決定される。次に、当該画素ブロックに関連する３０Ｘ３０画素ブロックの移行を第１近似として使用するこによって、各１５Ｘ１５画素ブロックの移行が決定される。従って、方法１０のステップ６０は、最大画素ブロック小区画から最小画素ブロック小区画へ進行し、各画素ブロックの移行を決定するための出発点としてその次に大きい関連画素ブロックの既に決定済みの移行を使用して、各小区画内の各画素ブロックの移行を決定する。ステップ６０のサブステップ６１と６６の更なる詳細について以下に説明することとする。
【００３４】
ステップ６１において、各キーフィールド画素ブロックの移行の決定は最大画素ブロック小区画によって開始される。上述の例を用いることとし、先ず３６０Ｘ２４０画素キーエリアが６０Ｘ６０画素ブロックに細分化され、更に３０Ｘ３０画素ブロックに細分化され、更に１５Ｘ１５画素ブロックに細分化されて、ステップ６０のプロセスは６０Ｘ６０画素ブロックによって開始される。勿論、上記以外の画素ブロック細分化が行われる場合には、ステップ６０のプロセスは他のサイズの画素ブロックによって開始されても差し支えない。例えば、キーエリアは最初に４０Ｘ４０画素ブロックに細分化され、この場合におけるステップ６１は６０Ｘ６０画素ブロックの代りに４０Ｘ４０画素ブロックによって開始されことになる。
【００３５】
ステップ６２において、１つの画素ブロックと新規フィールドにおいて対応する画素ブロックとの間の相関係数が算定される。最大画素ブロック小区画に関しては、新規フィールド内の対応する画素ブロックは、キーフィールドから新規フィールドへ移行されるキーエリアと同様に移行されたキーフィールドの画素ブロックである。この仕方において、ステップ５０において決定されるキーフィールドから新規フィールドへのキーエリアの移行は最大画素ブロック小区画の各画素ブロックの移行の第１近似として用いられる。前述の例を用いた場合、相関係数は、キーエリアの６０Ｘ６０画素ブロック及びキーフィールドから新規フィールドへ移行されるキーエリアの場合と同様にキーエリアの６０Ｘ６０画素ブロックに対して移行した新規フィールドの６０Ｘ６０画素ブロックに関して算定されるはずである。
【００３６】
ステップ６３においては、キーエリア内の画素ブロックに対して最大相関性を持つ新規フィールド内の画素ブロックに関して探索が実施される。このステップは、上述のステップ５４、５６、５８と同様であり、キーエリアに対して最大相関性を持つ新規フィールド内の１つのエリアが選定される。換言すれば、ステップ６３は、キーエリア全体でなくて個別画素ブロックに関して実施されるステップ５４、５６、及び、５８である。従って、キーエリアの個別画素ブロックと新規フィールドの対応する画素ブロックに対して変位した画素ブロックとの間の相関係数が算定され、キーエリアの画素ブロックに対して最大相関性を持つ新規フィールドの画素ブロックが決定されるまで、探索がこれらの計算結果に基づいて洗練され、更なる相関係数が算定される、等々が継続する。
【００３７】
ステップ６４において、各画素ブロックの移行が決定される。画素ブロック小区画の単一画素ブロックに関して実施されるステップ６２及び６３に関しては既に述べたとおりである。ただし、ステップ６４は、画素ブロック小区画内における各画素ブロックの移行が決定されることを意味する。この決定は、画素ブロック小区画内の各画素ブロックに関してステップ６２及び６３を実施することによって行われる。上述の例を用いる場合、キーエリアは２４個の６０Ｘ６０画素ブロックを含む。従って、ステップ６２及び６３は最大画素ブロック小区画に関して２４回実施され、それによって、各６０Ｘ６０画素の移行が独立して決定されることを可能にする。
【００３８】
画像の回転およびキーフィールドから新規フィールドへの倍率の変化は画素ブロックの相対位置決めを変化させることがあり得るので、キーエリアがキーフィールドから新規フィールドへ移行される場合と同様に画素ブロックがキーフィールドから新規フィールドへ移行されるものと仮定することは不可能であることに留意されたい。これは、ステップ５０において観察されるように、キーフィールドから新規フィールへのキーエリアの近似的な移行が最大画素ブロック小区画における各画素ブロックの移行を決定するための出発点としてのみ使用される理由である。
【００３９】
ステップ６５において、プロセスはその次に小さい画素ブロック小区画へ進行する。従って、最大画素ブロック小区画内における各画素ブロックの移行が決定された後で、ここにおける各画素ブロックの移行を決定するために、その次に小さい画素ブロック小区画が評価される。各画素ブロック小区画における各画素ブロックの移行を決定するために、ステップ６２から６５までが繰り返されて、最大画素ブロック小区画から最小画素ブロック小区画へ進行すことを図６に示す。
【００４０】
ステップ６２において、最大画素ブロック小区画以外の画素ブロック小区画内画素ブロックに関する相関係数が算定されるときに、新規フィールド内の対応する画素ブロックは、キーフィールドから新規フィールドへ移行されたその次に大きい画素ブロック小区画の関連画素ブロックの場合と同様に移行されたキーフィールドの画素ブロックであることに留意されたい。この仕方において、その次に大きい関連画素ブロックのキーフィールドから新規フィールドへのステップ６４において既に決定済みの移行が各画素ブロック小区画の画素ブロックの移行の第１近似として用いられる。前述の例を用いる場合、キーエリアの３０Ｘ３０画素ブロック及びキーフィールドから新規フィールドへ移行した関連６０Ｘ６０画素ブロックの場合と同様に  キーエリア内の３０Ｘ３０画素ブロックに対して移行した新規フィールドの３０Ｘ３０画素ブロックに関する相関係数が算定されるはずである。
【００４１】
各画素ブロック小区画に関してステップ６２から６５が実施された（最小画素ブロック小区画の評価が終了した後でステップ６５は実施不可能であるということを除く）後における結果は、各画素ブロック小区画における各画素ブロックの移行が決定されたことである。この段階において最小画素ブロックの移行はキーフィールドから新規フィールドへのキーエリアの移行を更に精確に決定するために使用可能であり、更にキーフィールドと新規フィールドとの間における画像の回転および拡大を決定するために使用可能であるこの結果は非常に有益である。
【００４２】
ただし、キーフィールドの画素ブロックと新規フィールドの画素ブロックとの間の相関が様々な理由により非常に低いことがあり得ることが認識される。例えば、画像前景内に物体が所在するために、キーエリアの移行済み画素ブロックである新規フィールドの特定画素ブロックが不明瞭であることもあり得る。従って、ステップ６６において、新規フィールド内の画素ブロックに対するその最大相関がステップ６３の決定に従って事前決定値以下である場合には、最小画素ブロック小区画内の画素ブロックがマスクされる。例えば、最小画素ブロック小区画内の画素ブロックに関する算定済み最大相関係数が０．７未満である場合には、前述のステップ４０に記述されたデータマスク内においては当該画素ブロックが除外されることもあり得る。マスクされた画素ブロックは、本方法１０におけるそれ以上の一切の計算において考察対象とみなされない。
【００４３】
ステップ７０はキーフィールドから新規フィールドへの画像の倍率変化が決定される倍率決定ステップである。ステップ６０は最小画素ブロック小区画内におけるキーフィールドから新規フィールドへの各画素ブロックの移行の測定を提供するので、この情報は画素ブロックが相互に広がるか又は収縮するかを決定するために使用可能であり、それによって、キーフィールドから新規フィールドへの倍率変化の計算を可能にする。
【００４４】
ステップ７２において、水平移行における差異は最小画素ブロック小区画内の各画素ブロック行対に関して算定される。上記の例を用いることとし、最小画素ブロック小区画内の３６０Ｘ２４０画素キーエリア及び１５Ｘ１５画素ブロックに関して、当該キーエリアの各列には２４個の１５Ｘ１５画素ブロックが含まれる。画素ブロック中心間の距離によって割り算された画素ブロックの各対に関する水平移行の変化はキーエリアの各列に関して算定される。この計算によって各画素ブロック対に関する倍率の水平方向の変化が求められる。
【００４５】
例えば、１つの行内の１つの画素ブロックがキーフィールドから新規フィールドまで左方向の画素１０個分移動するものとし、他方において、画素ブロック内の３００個の画素がキーフィールドから新規フィールドまで左方に向かって画素１３個分だけ移動するものとすれば、倍率の水平方向変化は１％（画素３００個分の距離に対して画素３個分の水平移行差）である。上述したように、マスクされた画素ブロックはこれらの計算から除外される。
【００４６】
ステップ７４において、最小画素ブロック小区画内の各画素ブロック列に関して垂直方向移行における差異が算定されれる。上述の例を用いた場合、最小画素ブロック小区画内の３６０Ｘ２４０画素キーエリア及び１５Ｘ１５画素ブロックに関して、当該キーエリアの各列内には１６個の１５Ｘ１５画素ブロックが含まれる。画素ブロック中心間の距離によって割り算された画素ブロックの各対に関する垂直方向の移行における差異はキーエリアの各列に関して算定される。この計算により、キーエリア行内の画素ブロック対に関する水平方向の倍率変化がステップ７２において算定されると同様の仕方において、各画素ブロック対に関する倍率の垂直方向変化が求められる。
【００４７】
ステップ７６において、キーフィールドから新規フィールドへの画像の倍率全体の変化が算定される。ステップ７２及び７４において決定される個別の水平および垂直方向倍率の重み付け平均が計算され、間隔の広い画素ブロックの方が倍率変化の一層敏感であるので、比較的密接な間隔を持つ画素ブロック対に関する倍率変化よりも間隔が更に大きい画素ブロック対に関する倍率変化の方に一層大きい重み付けが行われる。更にその上、例えば、これら変化の値が平均値と非常に異なる場合には個別の画素ブロック対倍率変更は重み付け平均操作から除外されることが可能であり、画素ブロック対倍率変化値が倍率変化の平均値から１標準偏差以上離れている場合には、当該画素ブロック対倍率変化値は重み付け平均値計算から除外されることもあり得る。この仕方においては、誤った倍率変化計算は重み付け平均に影響しない。
【００４８】
ステップ８０は画像回転決定ステップである。キーフィールドから新規フィールドへの画素ブロック対の移行変更が回転を計算するために用いられるという点において、このステップはステップ７０に幾分類似する。
【００４９】
ステップ８２において、水平移行における差は、最小画素ブロック小区画列の各々に含まれる各画素ブロック対に関して算定される。当該画素ブロック中心間距離によって割り算された各対の画素ブロックに関する水平移行における差はキーエリアの各列に関して算定される。この計算により、各列における各画素ブロック対に関する回転が求められる。例えば、列内の画素ブロックが右方向に画素１個分移動し、他方、当該列内において３００画素分だけ離れた別の画素ブロックがキーフィールドから新規フィールドへ左方向へ画素２個分移動した場合には、水平移行差は３画素であり、画素ブロック対の回転は０．５７度であるはずである（３００画素距離に亙る３画素差に相当する差は３／３００のタンジェント、又は、０．５７度の角度に相当する）。
【００５０】
ステップ８４において、垂直方向移行差は、各々の最小画素ブロック小区画行内の各画素ブロック対に関して算定される。画素ブロック中心間距離によって割り算された各対の画素ブロックに関する垂直方向移行差はキーエリアに含まれる各列に関して算定される。この計算によって、各行に含まれる各画素ブロック対に関する回転が求められる。
【００５１】
ステップ８６において、キーフィールドから新規フィールドへの画像全体の回転が算定される。ステップ８２及び８４において決定される個別画素ブロック対回転の重み付け平均が算定され、間隔の広い画素ブロックの方が回転に一層敏感であるので、間隔の広い方の画素ブロック対に関する回転は間隔が比較的狭い方の画素ブロック対に関する回転よりも大きく重み付けされる。更にその上、例えば、これらの値が平均値と非常に異なる場合には個別の画素ブロック対回転計算は重み付け平均操作から除外されることが可能であり、画素ブロック対回転計算値が回転計算値の平均値から１標準偏差以上離れている場合には、当該画素ブロック回転計算値は重み付け平均値計算から除外されることもあり得る。この仕方においては、誤った回転計算は重み付け平均に影響しない。
【００５２】
ステップ９０は画像移行決定ステップである。キーフィールドから新規フィールドへの画像移行の近似はステップ５０において決定されたことを想起されたい。ただし、上述のステップ６０、７０、及び、８０は最小画素ブロック小区画の個別移行、画像の倍率変化、及び、キーフィールドから新規フィールドへのキーエリアの回転変化の決定を提供したので、この段階においてはキーエリア移行の精確な決定が実施されることが可能である。
【００５３】
ステップ９２において、各々の最小画素ブロック小区画内の各画素ブロックに関してステップ６０において決定された移行が、ステップ７０において決定された倍率変化に関して補正される。この補正はキーフィールドから新規フィールドへの倍率変化に起因する各画素ブロックの水平および垂直移行をステップ６０において決定されたそれぞれの画素ブロックの水平および垂直方向における移行全体から減算することによって実施される。
【００５４】
ステップ９４において、各々の最小画素ブロック小区画内の各画素ブロックに関してステップ６０において決定された移行が、ステップ８０において決定された回転に関して更に補正される。この補正は、ステップ６０において決定され、かつステップ９２において補正されたそれぞれの画素ブロックの水平および垂直方向における移行全体から、キーフィールドから新規フィールドへのキーエリアの回転に起因する各画素ブロックの水平および垂直移行を減算することによって実施される。
【００５５】
ステップ９６において、ステップ９２及び９４において補正された最小画素ブロック小区画内画素ブロックの個別水平および垂直移行を平均することにより、キーエリアの中心に関して水平および垂直方向全体の移行が算定される。この段階において、マスクされた画素ブロックから移行値を除外するために、データマスクが再度使用される。その上、個別移行値が平均値と非常に異なる場合には、これらの値は平均操作から除外されることもあり得る。
【００５６】
ステップ１００は、ステップ７０、８０、９０の結果を用いてビデオシーケンスにおける後続フィールドを前処理するための前処理ステップである。この仕方において、その次のフィールドは、それが当該キーフィールドに更に密接にマッチするはずの状況に置かれる。キーフィールドから新規フィールドへの当該キーエリアの移行、回転、及び、倍率変化の決定結果はその次のフィールドの初期移行戻し、回転戻し、及び、拡大戻しを実施するために用いられる。ビデオフィールドについて記述するためにここで用いられる「その次の（後続する）」という用語は、当該ビデオフィールドが当該ビデオシーケンス内の後方位置に配置されていることを意味するとは限らず、当該ビデオフィールドが当該方法１０において「その次に」処理されることを意味するために用いられることを明瞭に理解されたい。例えば、ビデオシーケンスは後方から前方へ（時間的に後から早期に向かって）、或いは、中期からいずれかの端部に向かって、等々の方向に処理されることもあり得るので、「その次の」ビデオフィールドは、実際には、ビデオシーケンスにおいて時間的には更に早期に配置されていることもあり得る。
【００５７】
ステップ１０２において、その次のフィールドに含まれる画像が移行戻し（デトランスレート）される。即ち、当該キーエリアは、ステップ９０の決定に従って当該キーエリアが当該キーフィールドから新規フィールドへ移行される距離および方向とはそれぞれ逆に水平および垂直移行される。
【００５８】
ステップ１０４において、その次のフィールドに含まれる画像が回転戻し（デロテート）される。即ち、当該キーエリアは、ステップ８０の決定に従って当該キーエリアが当該キーフィールドから新規フィールドへ回転される角度および方向とは逆に回転する。
【００５９】
ステップ１０６において、その次のビデオフィールドに含まれる画像が拡大戻し（デマグニファイ）される。即ち、当該キーエリアは、ステップ７０の決定に従って当該キーエリアが当該キーフィールドから新規フィールドへ倍率変化するとは逆に拡大（又は縮小）される。
【００６０】
図１はステップ５０から１００までが繰り返されることを示すことに留意されたい。これらのステップはビデオシーケンスにおける各ビデオフィールドに関して実施される。従って、倍率変化、回転、及び、移行はその次のビデオフィールドに関して決定される。次に、倍率変化、回転、及び、移行に関するこれらの決定結果は、キーフィールドからその次のビデオフィールドへの当該キーエリアにおける全体としての倍率変化、回転、及び、移行を求めるためにステップ１０２、１０４、１０６においてその次のビデオフィールドへ適用される倍率変化、回転、及び、移行の前処理に加えられる。同様の仕方において、その次のビデオフィールドに関して決定された全体としての倍率変化、回転、及び、移行は、ビデオシーケンスにおけるその次のビデオフィールド等々を前処理するために用いられる。
【００６１】
これらのステップの結果として、ビデオシーケンスにおける各ビデオフィールドに関して、キーエリアの倍率変化、回転、及び、移行が決定される。次に、ビデオシーケンスは、ビデオシーケンスにおける当該キーフィールド以外の各ビデオフィールドを拡大戻し、回転戻し、及び、移行戻しすることによって、当該キーエリアに含まれる画像が、全ビデオシーケンスを通じて同一倍率および同じ方向付け（オリエンテーション）において静止して見えるように修正変更され得る。
【００６２】
勿論、当該技術分野における通常の当業者であれば、本方法１０に関する以上の説明を入念に考察することにより、以上に記述され、かつ添付図面に示された本方法に修正、追加、置換、削除、及び、その他の変更を施すことが可能であり、上記の方法は本発明の１つの単一実施形態に過ぎず、これらの変更は本発明の原理に包括済みであることを容易に理解可能なはずである。従って、前述の詳細な説明は単に説明のための一例に過ぎず、本発明の趣旨および範囲は添付特許請求の範囲によってのみ限定されることを明瞭に理解されたい。
【図面の簡単な説明】
【図１】  本発明の原理を具体化する方法を表す流れ図である。
【図２】  図１に示す方法のビデオフレーム前処理ステップ内のサブステップを表す流れ図である。
【図３】  図１に示す方法のキーエリア細分化ステップ内のサブステップを表す流れ図である。
【図４】  図１に示す方法のキーエリアをマスクするステップ内のサブステップを表す流れ図である。
【図５】  図１に示す方法の画像移行近似化ステップ内のサブステップを表す流れ図である。
【図６】  図１に示す方法の画素ブロック移行ステップ内のサブステップを表す流れ図である。
【図７】  図１に示す方法の倍率変化決定ステップ内のサブステップを表す流れ図である。
【図８】  図１に示す方法の画像回転決定ステップ内のサブステップを表す流れ図である。
【図９】  図１に示す方法の画像移行決定ステップ内のサブステップを表す流れ図である。
【図１０】  図１に示す方法の後続ビデオフィールド前処理ステップ内のサブステップを表す流れ図である。
【符号の説明】
２０  ビデオフレーム前処理ステップ
３０  キーエリア細分化ステップ
４０  キーエリアマスキングステップ
５０  画像移行近似化ステップ
６０  画素ブロック移行決定ステップ
７０  倍率変化決定ステップ
８０  画像回転決定ステップ
９０  画像移行決定ステップ
１００  後続フィールド事前処理ステップ
【図１】
0004369087.tif 000002
【図２】
0004369087.tif 000003
【図３】
0004369087.tif 000004
【図４】
0004369087.tif 000005
【図５】
0004369087.tif 000006
【図６】
0004369087.tif 000007
【図７】
0004369087.tif 000008
【図８】
0004369087.tif 000009
【図９】
0004369087.tif 000010
【図１０】
0004369087.tif 000011