"第1イメージフレームを表わす第1イメージデータを受信する段階と、前記第1イメージフレームの一部を複数のタイルtilesに分ける段階と、各タイルの特徴点featurepointsを識別する段階と、第2イメージフレームを表わす第2イメージデータを受信する段階と、前記識別された特徴点に相応する特徴点モーションベクトルmotionvectorsを得る段階と、モーションベクトルを類似したモーション特性のモーションベクトルグループにグループ化する段階と、前記第1イメージフレームの場面scene内の静止客体stationaryobjectの動きを表わすモーションベクトルを含むグループを選択する段階と、少なくとも1つの変換特徴個数スコアtransform-featurenumbersscores及び変換規模スコアtransform-extentscoresを含むスコアリング関数を用いて、モーションベクトルの第1グループの変換の中から選択することで補償変換を識別する段階と、を有することを特徴とするビデオデータ処理方法。前記タイルのそれぞれに相応するタイルモーションベクトルを得る段階を更に含むことを特徴とする請求項1に記載のビデオデータ処理方法。前記モーションベクトルをモーションベクトルグループにグループ化する段階は、ベクトルサイズ比率及びアングル差に基づくことを特徴とする請求項1に記載のビデオデータ処理方法。補償ウィンドウの過度なオーバーエクスカーションexcessiveover-excursionを防止するために、時間積分されたエクスカーションに基づいて、前記補償変換を適応的にフィルタリングする段階を更に含むことを特徴とする請求項1に記載のビデオデータ処理方法。前記場面内の大型移動客体を識別し、該大型移動客体に相応する補償変換を除く段階を更に含むことを特徴とする請求項1に記載のビデオデータ処理方法。イメージデータのフレームを受信する受信器と、第1モーション特性を有するモーションベクトルの第1グループと、第2モーション特性を有するモーションベクトルの第2グループとを保存するメモリと、前記モーションベクトルの前記第1グループ及び前記第2グループの変換から、補償されるカメラの動きを表わす補償変換を識別する変換選択器と、非線形的に正規化された時間積分されたエクスカーションtime-integratedexcursionsに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止する適応フィルターと、を備えることを特徴とするイメージ処理回路。イメージをキャプチャーするイメージセンサーと、キャプチャーされたイメージをイメージデータのフレームに変換するイメージデータ回路と、イメージ処理回路と、を備え、前記イメージ処理回路は、前記イメージデータのフレームを受信する受信器と、客体objectの動作を感知してモーションベクトルを生成するモーションベクトル感知器と、前記モーションベクトルの変換から、補償されるカメラの動きを表わす補償変換を識別する変換選択器と、補償ウィンドウのオーバーエクスカーションをフィルタリングする適応フィルターと、前記補償変換と前記適応フィルターの出力とに基づいて、キャプチャーされたイメージを調節する補償ユニットと、を含むことを特徴とするカメラ。前記モーションベクトルを特徴点グループ及びタイルグループを含む少なくとも2つのグループのうちの1つにグループ化するグループ化回路を更に含み、前記タイルグループは、ビデオフレームから分割された重ならないタイルを含むことを特徴とする請求項7に記載のカメラ。前記変換選択器は、ヒストリースコア、モーションスコア、特徴スコアfeaturescore、及び規模スコアextentscoreから選択された複数のスコアリング関数に基づいて、前記補償変換を識別することを特徴とする請求項7に記載のカメラ。前記適応フィルターは、非線形的に正規化された時間積分されたエクスカーションに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止することを特徴とする請求項7に記載のカメラ。前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保持することを特徴とする請求項7に記載のカメラ。本発明の技術的な課題は、デジタルイメージ安定化を正確にすると同時に、カメラの動き又はグローバルモーションのために起こる動きの特徴点を識別して、その特徴点のモーションベクトルを得る非常に効率的なプロセスを提供することにある。DISアルゴリズムに優れた特徴点は、適切なモーション推定アルゴリズムが適用される場合、曖昧ではないモーションベクトルから算出されるポイントである。イメージで特徴点を識別するために、イメージフレームのピクセルに適用されるハリスコーナー検出器HarrisCornerDetectorは、各ピクセルが特徴点としてどのくらい適するかを推定する。イメージの他の領域は、識別された特徴点候補の他の密度を有する。ラスタースキャンオーダー選択rasterscanorderselection及び分類sortingの開示された方法は、イメージフレームの小さな領域、即ちタイルに基づいた最終特徴点分布を提供する。最終特徴点分布で、特徴点の最大数は、タイルのイメージデータ輝度の分散σ2によって線形的に増加する。各イメージフレームは、小さな数j×kのタイルに分けられる。タイルの数j×kは、SDビデオで4×4からHDビデオで6×6又は更に大きな数の範囲を有しうる。上記範囲内の他の数4...8×4...8も可能であり有用である。タイルサイズは、少なくとも1タイルで殆どを独立してカバーして動く十分に大きな物体のようなものを選ぶことができる。その結果、物体の動きは、DIS目的にキャプチャーされうるが、小さな物体の動きが無視される。より関心のあるイメージデータを有するタイル及びより多くの特徴点のための必要性を有するタイルは、より大きな分散σ2を有すると予想される。特徴点分類アルゴリズムは、特徴点の間のプログラム可能な最小距離を探すが、これは最小限のハードウェアメモリを必要とする。階層的動き推定アルゴリズムは、フレームからフレームまでの特徴点の動きの推定に使用される。この際、その後の検索レベルのためのプログラム可能な動き範囲は、意図的に小さく、ローカルな動き以上の大きな物体又はグローバルな動きを好む。その結果、動作に要求される数は最小化されるが、一方、その結果値はDIS応用に非常に適している。選択された例えば、分類アルゴリズムによって特徴点のそれぞれに対して、そのモーションベクトルは、使用される開始ベクトルの小さな範囲内のブロックマッチングによって決定される。開始ベクトルは、現在特徴点を含むタイルとその周辺タイル例えば、上、下、左、右ののタイルモーションベクトルである。タイルモーション推定は、特徴点のモーションベクトルを得る最初の段階である。タイルモーション推定は、入力イメージの中心部分をカバーする例えば、特徴点分類アルゴリズムに使われる同じタイル重ならないタイルに基づいてなされる。タイルのそれぞれのタイルモーション推定のために、フルブロックマッチング探索fullblockmatchingsearchがダウンサンプルされたイメージで行われる。現在フレームは、標準画質ビデオstandarddefinitionvideo:SDvideoの場合、4から8に、高画質ビデオHighDefinitionVideo:HDvideoで8から16に、第2サブサンプリングファクターfs2によってサブサンプリングされる。サブサンプリングされたドメインで、フルサーチブロックマッチングがあらゆるタイルでなされ、タイルベクトルは、その後の使用のために保存される例えば、特徴点のモーションベクトルを算出するための開始ベクトルとして。1つのモーションベクトルは、あらゆるタイルで推定され、最も低い解像度でフルサーチができ、第2サブサンプリングファクターによりサブサンプリングされうる。最も小さなSADで算出されるモーションベクトル候補は、各タイルに割り当てられる。一実施形態によると、ボーダータイルbordertilesのために、可能な検索領域で検索領域の部分的に外部として検索を制限することができ、基準ブロックのために、モーションベクトルが全く生成されないこともある。解像度と関連して、タイルモーション検索は、半分-画素half-pelの正確なベクトルで発生することがある。検索領域は、単純なバイリニア補間simplebilinearinterpolationによってアップサンプルupsampledされうる。これは、VLSIの具現でロジック領域及びメモリに保存する非常に小さなローカルメモリにのみ使われる。本発明の技術的な課題は、モーションベクトル間のサイズ比率とアングル差に基づいて、特徴点のペアをグループ化する特徴点モーションベクトルグループ化プロセスを含むデジタルイメージ安定化方法を提供することにある。本発明の一態様によるビデオデータ処理方法は、第1フレームframeを表わす第1イメージデータを受信する段階と、前記第1フレームで複数の特徴点を識別する段階と、第2フレームを表わす第2イメージデータを受信する段階と、前記特徴点のそれぞれに相応するモーションベクトルを得る段階と、現在ベクトルAとして前記モーションベクトルのうちの第1モーションベクトルを選択し、現在ベクトルBとして前記モーションベクトルのうちの第2モーションベクトルを選択する段階と、前記ベクトルAと前記ベクトルBとのベクトルサイズ比率及びアングル差に基づいて、前記ベクトルAを前記ベクトルBと比較する段階と、を含む。前記ビデオデータ処理方法は、サイズ比率スレショルド値及びアングル差スレショルド値を設定する段階と、前記ベクトルAと前記ベクトルBとのベクトルサイズ比率が前記サイズ比率スレショルド値以内であり、且つ前記ベクトルAと前記ベクトルBとのアングル差が前記アングル差スレショルド値以内である場合、前記ベクトルAと前記ベクトルBとを共にグループ化する段階と、を更に含む。他の態様によると、前記ビデオデータ処理方法は、前記ベクトルAと前記ベクトルBとのベクトルサイズ比率が前記サイズ比率スレショルド値を外れるか、又は前記ベクトルAと前記ベクトルBとのアングル差が前記アングル差スレショルド値を外れる場合、前記ベクトルAと前記ベクトルBとを一緒にグループ化しない段階を更に含む。本発明の一態様によるビデオ処理回路は、第1フレームで複数の特徴点を識別し、各特徴点で前記第1フレームと第2フレームとの間のモーションベクトルを得る特徴点回路と、現在ベクトルAxa、yaとして前記モーションベクトルのうちの1つを選択し、現在ベクトルBxb、ybとして前記モーションベクトルのうちの他の1つを選択するペアリングコントローラと、前記ベクトルAと前記ベクトルBとのベクトルサイズ比率に基づいて前記ベクトルAと前記ベクトルBとを比較するサイズ比率比較器と、前記ベクトルAと前記ベクトルBとのベクトルアングル差に基づいて前記ベクトルAと前記ベクトルBとを比較するベクトルアングル比較器と、を含む。本発明の他の態様によるビデオデータ処理方法は、ビデオデータの第1フレームで各特徴点のモーションベクトルを推定する段階と、ベクトルサイズ比率及びアングル差に基づいてモーションベクトルグループに前記モーションベクトルをグループ化する段階と、前記第1フレームの場面内の静止した物体の動きを表わすモーションベクトルを含むグループを選択する段階と、を含む。前記ビデオデータ処理方法は、サブサンプルされた輝度データを使用して、前記第1フレームの一部から分割された複数のタイルのそれぞれのモーションベクトルを推定し、最も小さな絶対差の和lowestSADを有するタイルモーションベクトル候補を選択する段階と、ベクトルサイズ比率及びアングル差に基づいて前記タイルモーションベクトルを前記タイルモーションベクトルグループにグループ化する段階と、を更に含む。本発明の一態様によるカメラは、イメージをキャプチャーし、複数のイメージをイメージデータの第1フレーム及び第2フレームに変換するイメージキャプチャー回路と、ビデオ処理回路チップと、を含み、前記ビデオ処理回路チップは、前記第1フレームで複数の特徴点を識別し、各特徴点の前記第1フレームと前記第2フレームとの間のモーションベクトルを得る特徴点回路と、前記特徴点のモーションベクトルの中でモーションベクトルの各ペアを選択するペアリングコントローラと、前記モーションベクトルの各ペアのベクトルサイズ比率に基づいて前記モーションベクトルの各ペアを比較するサイズ比率比較器と、前記モーションベクトルの各ペアのアングル差に基づいて前記モーションベクトルの各ペアを比較するベクトルアングル比較器と、を含む。本発明の技術的な課題は、補償ウィンドウオーバーエクスカーションのヒストリーに基づいて、ビデオフレームの場面で静止/背景客体を表わす主要/補償変換Pnを適応的にフィルタリングするデジタルイメージ安定化方法を提供することにある。また、本発明の技術的な課題は、強補償strongcompensation:SCフィルターを用いて高効率で予測可能なジッタ除去方法を提供することにある。前記SCフィルターは、高周波数-選択的な高次線形時不変デジタルフィルターhighlyfrequency-selectivehigh-orderlineartime-invariantdigitalfilterである。前記SCフィルターを使ったジャーキー入力ビデオの効果的なフィルタリングは、キャプチャーされた入力ビデオフレーム間の補償ウィンドウの意味のある動きを意味する。所定のクロッピング比率に対して、前記補償ウィンドウの動きの量は、補償ウィンドウエクスカーションと呼ばれる。キャプチャーされた入力ビデオフレームの境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。入力ビデオの大きな移動に対する前記SCフィルターの厳格な適用は、多くの補償ウィンドウオーバーエクスカーションの広い区域で非常に安定した出力ビデオを産む。一方、より低い周波数-選択的なlowerfrequency-selective特性を有する弱補償weakcompensation:WCフィルターは、より少ない安定した出力ビデオの広い区域でより少ない補償ウィンドウオーバーエクスカーションを産む。本発明の技術的な課題は、優れたビデオ安定性の特性を保持する一方、入力ビデオの大きな動きと共に発生する過度なオーバーエクスカーションを防止するために構成される適応的補償adaptivecompensation:ACフィルターを提供することにある。本発明の一態様による線形時不変フィルターは、予測可能な特性を提供するために、SCフィルターを補完するWCフィルターを含む。WCフィルターとSCフィルターとの組み合わせは、複数のKフレームの間に補償ウィンドウエクスカーションのヒストリーに基づいて制御される。ヒストリー内の小さなエクスカーションは、現在フレームnに対するSCフィルターの大きな影響を許容する一方、ヒストリー内の大きなエクスカーションは、現在フレームnに対するWCフィルターの大きな影響を妥当なものに作る。ヒストリー内の中間値のエクスカーションは、SCフィルターとWCフィルターとの比例的な影響を配分する。本発明の他の技術的な課題は、DIS方法を行うためのデジタルイメージ安定化回路を提供することにある。本発明の一態様によるデジタルイメージ安定化回路は、ビデオカメラ内に含まれ、キャプチャーされたビデオフレームの保存の前に例えば、ビデオカメラがリアルタイムMPEGエンコーダを含む場合、MEPGエンコーディングの前に、又はMEPGエンコーディングを行う間に、リアルタイムでジッタを除去することを活性化する。他の態様として、連続したビデオフレームのカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングするDIS回路は、デジタルイメージ安定化方法を行うのに最適化されたASICに具現されたMEPGビデオエンコーダのように、一般的な目的のデジタルイメージ安定化方法を具現するためのソフトウェアによって制御されるマイクロコンピュータ又は専用ハードウェアであり得る。本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明を提供する。図1A~図1Fは、本発明の一実施形態によるデジタルイメージ安定化DigitalImageStabilization:以下、DISと称する方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。図1Aは、2つの連続した映像フレームである、場面sceneの現在フレームFt及び基準フレームFt1を示す。場面は、静止している物体object全景の丘、電柱、山、及び太陽及び動く物体左側の鳥を含む。現在フレームFt及び基準フレームFt1は、図1Eに示したように、より広い領域を有するそれぞれの連続したキャプチャーされたフレームの一部である。より広いキャプチャーされたフレームは、DIS以前にイメージセンサーによってキャプチャーされた原本rawイメージである。基準フレームFt1は、ジッタ動作によって引き起こされたカメラ軌跡のために、現在フレームFtと関連して回転及び並進される。キャプチャーされたフレーム図1E参照の面積は、ビデオカメラのイメージセンサー図示せずの物理的なハードウェア面積によって一般的に予め決定される。現在フレームFt及び基準フレームFt1の面積は、カメラのジッタ動作のためにキャプチャーされたフレームの境界boundsを超えた現在フレームFtのオーバーエクスカーションoverexcursionsの発生を避けるか、最小化するために動的に選択されうる。図1Bは、場面内のアクチュアリーステーショナリー物体actuallystationaryobjects及び動く物体と関連した現在フレームFtで選択された複数の特徴点円を示す。現在フレームFtは、複数の矩形タイルに分けられており、各タイルは、少なくとも1つの選択された特徴点を構成する。図1Bに示した選択された特徴点は、図2A、図2B、図4A及び図Bに示す方法の各段階を行うことによって、及び/又は図3の回路によって、識別されて選択されうる。現在フレーム及び基準フレームは、図1Bに示した選択された特徴点が、図2A、図2B、図4A及び図4Bに示す方法の各段階を行うことによって識別されて選択される間に、図3に示す回路のメモリ350に保存される。図1Cは、モーションベクトル矢印を有する現在フレームFtの各選択された特徴点を示す。図1Cに示した選択された特徴点のモーションベクトルは、図6及び図7に示す方法の各段階を行うことによって計算されうる。図1Dは、場面内のモーションベクトルが、グループ化グループA、グループB、グループCされたものを示す。場面内のアクチュアリーステーショナリー物体のモーションベクトルグループB、グループCは、ジッタのようなカメラの動きによって引き起こされる。図1Dに示した選択された特徴点のモーションベクトルのグループ化は、モーションベクトルがサイズ比率及び正規化されたベクトル差を用いるペアリングアルゴリズムpairingalgorithmに基づいて組み合わせ/グループ化含み/除外される図10a、図10b、図10c、及び図11に示す方法の各段階によって行われる。図1Eは、イメージセンサー図示せずによって出力されたより広くキャプチャーされたフレームのより大きな背景内の基準フレームFt1を示す。基準フレームFt1の位置は、基準フレームFt1のアフィン係数を定義するために、図1Dに示したアクチュアリーステーショナリー物体のグループB及びグループCのモーションベクトルを用いることによって決定される。基準フレームの境界を超えてキャプチャーされたフレームのイメージデータは、グループB及びグループCのモーションベクトルが計算される図6及び図7に示す方法の各段階を行う回路に使用されるように作られる。図1Fは、図1Dに示したアクチュアリーステーショナリー物体のモーションベクトルによって示されるジッタカメラモーションを除去するためのイメージセンサー図示せずによって受信される位置における基準フレームFt1を示す。基準フレームFt1のアフィン係数は、カメラのジッタモーションを補正するために基準フレームFt1を回転させ、並進させる補償回路図示せずによって適用される。<特徴点識別、分類、及び分布>図2Aは、図1A~図1Fに示したDIS方法において、特徴点識別段階と一致するように分類することを容易にするために、ボーダーborder領域とコアcore領域内の複数のタイルj×kとに分けられた図1Eに示したような現在フレームFtのキャプチャーされたフレームの図である。ボーダー領域及びコア領域の境界線は、現在フレームFtの境界が、例えば、現在フレームのオーバーエクスカーションを阻むか又は減らすために、動的に受信されたイメージデータコンテンツによって示されるジッタカメラモーションの量に基づいて選択されるか又はハードウェアや受信されたイメージデータコンテンツから独立してソフトウェアによって予め決定されうる。従って、コア領域は、図1Aに示した現在フレームFtのサイズ及び位置に対応するか、或いは対応しないこともある。それぞれのキャプチャーされたビデオフレームは、DISに適した優れた特徴点分布を提供する特徴点をアルゴリズム的に選択するために、小さな数の重ならないタイル例えば、標準画質では4×4タイル、高画質では6×6タイル、もしくはそれ以上のタイルに分けることができる。イメージの更に他の領域は、適切な特徴点の他の密度を有しうる。極端な一例として、雲ひとつない青空の場合、フレームの領域は、適切な特徴点を有することができない。他の領域で、潜在的な特徴点は、非常に密集しうる。グローバル基盤スレショルド値global-basedthresholdに基づいてあらゆる特徴点を識別して選択する場合、特徴点は、イメージの小さな領域に密集し、これは、低級なDIS結果に繋がることがある。潜在的に更に関心のあるモーションがあるために、構造物がより多いイメージの領域に、より多くの特徴点が位置する必要がある。密集領域で他の注目すべき課題は、如何にあらゆる特徴点が一塊に密集しないようにするかである。従って、本発明の技術的な課題は、DISに使われる特徴点の間で最小距離MIN_DISTを確保する効果的な方法を提供する。DISアルゴリズムの安定性のために、特徴点の全体数を制限する同じ時間の間の特徴点は、最大限広く分布する。特徴点の‘望ましい分布’は、次のように表現される。それは、広い凸状の外形を有する。特徴点は、互いに対して過度に近くないMIN_DIST。タイルに適した特徴点が殆どない場合、特徴点が最小限に選択される。他のタイルに適した特徴点がより多い場合、特徴点がより多く選択されるmax_num_features=min_featuresmax_plus_featurestile_varianceσ2/total_variance。各タイルでの最大特徴点数max_num_featuresは、タイルの輝度分散σ2によって決定される。一実施形態において、各タイルでの最大特徴点数max_num_featuresは、タイル当たりの最小プログラム可能な特徴点数min_featuresと最大プログラム可能な追加特徴点数max_plus_featuresとに、特定タイルの分散tile_variance、σ2をタイルの分散の総和total_varianceで割った値を、乗算して加えた値である。タイルが異なるサイズであれば、補正ファクターが適用可能である。従って、タイル当たりの最終的に選択された特徴点数の最大値は、最小特徴点数min_featuresとタイル分散σ2に比例した対応するタイルの加重値weightによって正規化された分散特徴点数var_featuresとの和に代替されうる。ボーダータイルは、ボーダー領域を含んでおり、より広いため、より高い加重値が付与される。このような代替例の場合、所定のタイルに対する最大特徴点数は、次の数式1のように計算される。従って、最大選択された特徴点数max_num_featuresは、全てのタイルで一定に保持されないか、現在フレームFt及び基準フレームFt1の間で一定に保持されない。一実施形態において、各タイル当たりの最大特徴点数max_num_featuresは、各タイルの輝度分散σ2及びフレームの全体分散の計算が前に要求され、この全体輝度分散で割った各タイルの輝度データの分散σ2の関数である。当該技術分野で通常の知識を有した者は、他の関数例えば、タイル分散σ2だけではなく、平均輝度値を含む関数でも可能であるということを容易に理解することができる。特徴点を識別するために、ハリスコーナー検出器HarrisCornerDetector又はこれと類似したコーナー検出器CornerDetectorが使用されうる。ハリスコーナー検出器は、イメージのあらゆるピクセルを可能性のある特徴点候補として評価する。先順位の特徴点候補は、フィーチャークオリティー推定関数featurequalityestimationfunctionが部分的な最大値を有するポイントである。特徴点選択の開示された方法はこのピクセルが特徴点としてどのくらい適するかを評価する、各識別された特徴点の結果値をグローバル基盤スレショルド値よりはローカルスレショルド値と比較することによって、ハリスコーナー検出器によって識別された特徴点の選択を最適化する。従って、開示された方法は、各ローカル領域での特徴点密度及びフレームの他の部分との対比における差を考慮する。得られた特徴点分布は、各タイルの特徴点数がタイルの輝度イメージデータの輝度分散σ2に線形的に比例して増加するビデオフレーム重ならないタイルの小さな領域に基づく。より関心のあるイメージを有するタイル及びより多くの特徴点に対する要求は、より高い輝度分散σ2を有する。図4A及び図4Bは、同じ時間に小さいローカル状態情報が必要であり、ハードウェア構築コストを減らしうる各タイルの特徴点の間の最小距離MIN_DISTを保持する方法を示すフロー図である。図2Bは、選択された特徴点黒、拒絶された特徴点白、及び選択されたが取り消された特徴点×表示された黒を示す図2Aのイメージフレームのコア領域内の何れか一つのタイルの図である。図2Bで小さな四角形に見える特徴点は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補として識別され、順次に図4A及び図4Bに示した方法と関連したラスタースキャン順に選択されるか、拒絶されるか、取り消される。各タイルに対して識別された特徴点候補のうちから最大特徴点数max_num_featuresは選択される。本発明の一実施形態によると、各識別された特徴点候補は、例えば、次のようなラスタースキャン順に選択されうる。i.識別された特徴点候補は、ハリスコーナー推定関数がプログラム可能なスレショルド値を超過し、推定がローカル最大値を有するピクセルである。ローカル最大値になるためには、問題となる位置での値が、スキャンオーダーにおいて、このピクセルの次followで、直接的であり対角に隣り合ったピクセルの値より大きいか又は同じでなければならず、スキャンオーダーにおいて、このピクセルに先行しprecede全て直接的であり対角に隣り合ったピクセルの値より大きくなければならない。ii.特徴点候補が同一である場合、各タイルのための既定の最大特徴点候補数例えば、32、48、64、又は最終的に選択されたより高い特徴点最大値を保存することができるデータ保存構造例えば、他の実施形態として具現されうる分類されたリストで保存され、プログラム可能な閉鎖lockout範囲MIN_DIST内にある更に高い推定関数値を有する特徴点候補はないと仮定する。図示する目的で、本実施形態を表わすために32の最大値が選択される。iii.後に識別された特徴点候補がデータ構造に保存された場合、閉鎖範囲MIN_DISTよりこのポイントに更に近い、即ちより小さな推定関数値を有する他の特徴点候補は、データ構造から除去される。例えば、タイル5,4の特徴点候補の既定の最大値が4max_num_features=4と仮定する。図2Aのタイル5,4は、図2Bのように4つの最終的に選択された特徴点黒:ラスタースキャン順に、SFP3、SFP4、SFP5、及びSFP7、3つの選択された後に取り消された特徴点×表示された黒:SFP1、SFP2、及びSFP6、及び2つの拒絶された選択されていない特徴点白を含む。選択されてから取り消された特徴点×表示された黒:SFP1、SFP2、及びSFP6は、図4A及び図4Bの方法を行うラスタースキャン順に特徴点として選択されたが、後に特徴点候補として識別されて選択されたより広い特徴点の排他的領域exclusionaryzone:MIN_DIST内に存在するため、選択された特徴点としては、順次に取り消された特徴点候補であり得る。或いは、選択された特徴点のリストが一杯になって選択された特徴点候補の数:SFP_count=max_num_features、先行して選択された特徴点が、選択された特徴点のリストのうち、最も小さく、後に識別されて選択された特徴点候補より小さいため、選択された特徴点としては、順次に取り消された特徴点候補であり得る。選択されてから取り消された特徴点SFP1は、図4A及び図4Bの方法によるラスタースキャン順に識別されて選択された第1特徴点であった。次いで、選択されてから取り消された特徴点SFP2は、識別されて選択されたが、SFP2が選択された後に、SFP2より大きい特徴点SFP3が識別された。SFP2が、より大きく、選択された特徴点SFP3の排他的領域MIN_DIST内にあるため、SFP2は、SFP3が選択されると直ちに取り消される。SFP3が選択された後に、特徴点候補は、SFP3の排他的領域MIN_DISTの右下のコーナーで識別され、特徴点候補がSFP3より小さく、排他的領域内にあるため、それは、直ちに拒絶選択されずにされる。次に、特徴点候補は、SFP3の排他的領域MIN_DISTのすぐ外の下で識別され、SFP4が特徴点候補として選択される後で取り消されない。そして、特徴点候補は、更にSFP3の排他的領域MIN_DISTのすぐ右下で識別され、特徴点候補としてSFP5が選択されるSFP7の排他的領域に近いが、内側にないため後で取り消されない。次いで、特徴点候補は、SFP5の排他的領域MIN_DISTのすぐ右下で識別され、特徴点候補としてSFP6が選択される更に大きな、後で選択される特徴点SFP7の排他的領域内において、後に取り消される。SFP6が選択されると、選択された特徴点のリストは、既に一杯になりタイルに対する最大特徴点数は、4、SFP1は、選択された特徴点SFP1、SFP3、SFP4、及びSFP5の中で最も小さく、SFP6がSFP1より大きいために、SFP1は取り消される。次いで、特徴点候補は、SFP6の排他的領域MIN_DIST内の下で識別され、特徴点候補としてSFP7が選択される選択された特徴点SFP7がSFP6より大きいためか、又はリストが一杯になるなどの理由でSFP6が直ちに取り消されたため。次いで、特徴点候補は、SFP7の排他的領域MIN_DIST内の下で識別された特徴点候補は、以前の特徴点候補がSFP7より小さいために拒絶される選択されず。SFP3がSFP7より非常に大きい場合、SFP7が実際に取り消されたSFP2より小さいものが可能であるが、特徴点の優れた分布が得られる。プログラム可能な閉鎖範囲MIN_DISTは、最終的に選択された特徴点が過度に密集されないようにする。各タイルのピクセル輝度分散σ2は、各タイルがダウンサンプルされるダウンスケーリングプロセスの間に決定されうる。各タイルの最大特徴点数は、タイル当たりのプログラム可能な特徴点の一定の最小数と全体の変わりうる特徴点の数とを加えたものに特定タイルのタイル分散σ2の比率を乗算し、タイル分散の和で割ったものの総和で決定される。補正ファクターは、特徴点がボーダー領域もあり得るので、縁部とエッジのタイル領域のために加えることがあり、各タイルのために、特徴点候補の最大数までは、分類プロセスラスタースキャンオーダーによって識別された各特徴点に対して、選択する段階、拒絶する段階、取り消す段階を用いて集められて保存することができる。各タイルに対して最終的に選択された特徴点候補は、単純に最大値が既定の最も高い推定関数応答を有する特徴点候補である。低いコントラストイメージデータのタイルのような最終的に使用された特徴点の結果数がプログラムされた最小数min_featuresより小さい場合に、所定のタイルで可能な特徴点候補が十分ではない場合があり得る。従って、ラスタースキャンオーダーによる特徴点候補を処理する方法は、より多くの新たな特徴点候補が追って識別されて選択される間に、最大限過度に密集されないように選択された特徴点の計算された最大の数を殆ど含みうるリストを保持する段階が提供される。特徴点を分類するラスタースキャンオーダー方法は、識別された特徴点候補のうちから優先順位を付けて選択する多様な他の方法に比べて、メモリと計算量とを減らしうる利点がある。例えば、他の実施形態において、タイルの全ての特徴点候補は、識別されてメモリの大きなリストに保存され、次いで、タイルの全ての特徴点候補が識別された直後に数学的分類アルゴリズムは、セットされた他の特徴点候補の排他領域MIN_DISTに属さない最も広い特徴点候補の既定の最大のサイズの最適のセットを探すのに適用可能である。しかし、そのような分類アルゴリズムはタイルの識別された特徴点の全体リストを保存する、より多くの物理的なメモリを必要とし、図4A及び図4Bのラスター順の分類選択する段階、拒絶する段階、取り消す段階方法より多くの全体計算を例えば、図2Bに示した結果潜在的に必要とする。特徴点候補は、後に選択されるが、後に取り消される特徴点候補によってリストから取り消されるため、図4A及び図4Bのラスタースキャン順の分類アルゴリズムは、必然的にグローバル最適条件である選択された特徴点のセットを提供しないが、代わりに制限されたローカルストレージを有するハードウェアに具現されうるアルゴリズムを提供する。図4A及び図4Bの方法が、ハリスコーナー検出器が行ったピクセルオーダー左から右に、上から下にであるラスタースキャンオーダーによって識別された特徴点候補を処理するものとして表わされても、特徴点候補の選択のあらゆる順序は、全ての特徴点が識別され、結果的に順次に分類される限り、隣接しない特徴点候補の不連続した順序のような方法で使用される。図3は、本発明の一実施形態による特徴点回路のブロック図である。特徴点回路3000は、特徴点選択器300、SFPモーションベクトル計算器700、及び共有されるRAMメモリ350を含む。特徴点選択器300は、第1ダウンサンプラー310、特徴点候補識別器330、及び特徴点候補分類器340を含む。特徴点候補識別器330は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補を識別し、識別された特徴点例えば、同時に1タイルでピクセル位置とハリスコーナー応答、ラスタースキャンオーダーとによって識別されたを特徴点候補分類器340に出力する。特徴点候補分類器340は、図1A、図2Bに示したような各タイルの識別された特徴点を、図4A及び図4Bに示す順次的な分類方法によって行うように構成される。第1ダウンサンプラー310は、次の数式2によってイメージフレームの各タイルのタイル分散σ2を計算するタイル分散計算器320の機能ブロックを含む。yは、タイル内の輝度分散であり、Nは、タイル内のピクセルの数である。図3に示した回路3000は、半導体チップ内に具現され、半導体チップは、イメージをキャプチャーするセンサーを有したカメラからイメージデータを受信するI/Oピン及びキャプチャーされたイメージをイメージデータに変換する回路素子を含む。図3の回路3000によって処理されたデータは、I/Oピンを通じてカメラの他の構成要素として出力される。後述するように、メモリは、物理的なサイズが小さくなければならず、保存容量は制限される。計算に消耗する電力を減らし、要求される演算数を減らすため、特徴点選択器300は、2、4、又は8のセレクタブルファクターselectablefactor:fs1による第1ダウンサンプラー310で水平及び垂直にサブサンプリングされて、ルーマデータlumadataでのみ作動することができる。本実施形態では、セレクタブルファクターfs1が選択される。セレクタブルファクターfs1によってダウンサンプルされたルーマデータは、特徴点候補識別器330で特徴点識別のために使われ、他の実施形態において、SFPモーションベクトル計算器700に含まれる階層的ブロックマッチング検索ユニット730による特徴点モーションベクトル推定のために使われる。より小さなダウンサンプルされたイメージが、第1ダウンサンプラー310で計算される間に、各タイルの輝度分散タイル分散:σ2が計算され、3×3ハリスコーナー行列のより小さな固有値eigen-valueのグローバル最大値が識別される。フレーム上部左側のタイルの上部左側のピクセルと同格coordinateであるタイルオフセットとタイルピクセルディメンションとの両方とも最も大きなサブサンプリングファクターfs2の積である。イメージコア領域は、全体イメージの中央に位置することが好ましい。従って、左側のボーダー領域の幅は、右側のボーダー領域の幅と同一であり、上のボーダー領域の高さは、下のボーダー領域の高さと同一である図2A参照。入力フレーム輝度データがサブサンプルされ、RAMメモリ350に保存されると、特徴点候補識別器330は、タイル順序によって順次に再び読み取りsequentiallyfeed、識別された特徴点候補を特徴点候補分類器340に伝送する。特徴点候補識別器330の特徴点識別プロセスのために、ボーダー領域に隣接するタイル内のポテンシャル特徴点の統計領域statisticsareaは、ボーダー領域に拡張され、従って、各ボーダー領域タイルのピクセルは、隣接するタイルのピクセルと共に処理される。ピクセルデータは、ラスタースキャンオーダー上から下のラインに、各ラインで左側から右側のピクセルにによって各タイルで読み取られる。各タイルを処理するために、特徴点候補識別器330は、ハリスコーナー検出器を用いて特徴点識別のための各内部タイルボーダー上の3つの追加的なピクセルが必要である。従って、このようなピクセルは、一回以上読み取られうる。識別された特徴点候補は、ハリスマトリックスのより低い固有値λ1がローカル最大値を有する各タイル内のピクセルである。ローカル最大値であることを証明するために、問題視されるピクセルのコーナー応答は、左上、上、右上、及び左に隣り合ったピクセルのコーナー応答より大きくなければならず、上、左下、下、及び右下に隣り合ったピクセルのコーナー応答と同じか、大きくなければならない。上記定義で、より大きな領域で同じ一定のコーナー応答を有した少なくとも1つのポイントは、潜在的な特徴点候補として識別される。ローカル最大値のための感知ロジックには、コーナー応答の2本のラインバッファを必要とする。ローカルコーナー応答の最大値を有するポイントは、先ずプログラム可能なコーナー応答スレショルド値と比較される。問題視されるポイントのコーナー応答が、スレショルド値より小さければ、上記ポイントは無視される。そうでない場合、特徴点後補とそのコーナー応答は、特徴点候補分類器340に伝送される。特徴点候補分類器340は、各タイルで最も高いコーナー応答を有する特徴点候補を最大特徴点数max_num_featuresまで記録すると同時に、同時に全ての特徴点が互いに対して最小プログラム可能な距離排他領域:MIN_DISTを有するかを検証する。2つのポイントの間に上記アルゴリズムに使われる距離は、次の数式3によって決定される。図4A及び図4Bに示す分類方法は、選択された特徴点と新たに入ってくる特徴点候補の分類リストの現在コンテンツのみを考慮し、直ちに決定を出す動作によって行われる。従って、図4A及び図4Bの方法が適用された特徴点候補分類器340は、本質的にグローバル最適条件を計算せず、上記出力は、入ってくる特徴点候補が提供される順序による。特徴点候補分類器340は、順に選択された特徴点を出力し、選択された特徴点は、図3に示したメモリ350の一部としてSFPリストに保存される。図4A及び図4Bは、図1A~図1Fに示したDIS方法の各段階を行うために、図1A及び図2Aのイメージフレームの各タイル内の複数の特徴点を識別して選択する方法を示すフローチャートである。上記方法は、現在フレームFtの輝度データが受信されるデータ入力段階S400から始まり、その後ダウンサンプリング段階S402が行われる。初期化段階S404は、現在タイルカウンター値current_tile及びピクセルカウンターcurrent_pixelをリセットする。次に、ハリスコーナー検出器はS406、SD408、及びS410、ラスタースキャン順に現在タイルcurrent_tileのダウンサンプルされた輝度データの各ピクセルで、現在ピクセルcurrent_pixelをインクリメントS428する。現在ピクセルのコーナー応答がローカル最大値や限界値を超過する度にSD408のYES経路、現在ピクセルは、現在特徴点候補として識別されS410、直ちに特徴点分類アルゴリズムに適用されるSD412、SD414、SD416、S417、SD430、S418、及びS420。リストが一杯にならなければ、特徴点分類アルゴリズムは、選択された特徴点のリストに既に保存された前に選択された最も低い特徴点候補より現在特徴点候補が大きい場合、現在特徴点候補を選択するS420。SD412段階でYES経路に行かない場合SD412のNO経路、現在特徴点候補としては拒絶されるS417。現在特徴点候補が選択される場合選択された特徴点カウントSFP_count=max_num_features=min_featuresmax_plus_featurestile_variance/total_varianceによって表わされるように、選択された特徴点のリストが既に一杯になっていれば、その次に、リストから最も小さな前に選択された特徴点候補を取り消しSD430、そうでなければ、選択された特徴点カウント値SFP_countをインクリメントするSD430。特徴点分類アルゴリズムは、現在特徴点候補を、現在特徴点候補が既にリストSD414にある前に選択された特徴点の排他領域MIN_DIST内になくより大きいSD416場合、選択するS420。そして、現在特徴点候補が既にリストSD414にある前に選択された特徴点のより大きな排他領域MIN_DIST内にある場合SD416、選択されることなしに拒絶されるSD416のNO経路及びSD417。一方、現在特徴点がより小さなSD416既にリストSD414にある前に選択された特徴点の排他領域MIN_DIST内にない場合、全ての小さなSD416前に選択された特徴点は取り消されるSD416のYES経路及びS418。この際、現在特徴点候補が選択されS420、選択された特徴点カウントSFP_countは、それによって更新減少するか、保持されるS418。現在特徴点候補が選択されるかS420、拒絶されるとS417、ハリスコーナー検出器は、現在タイルSD422内の現在ピクセルS410の次の値を出力するS428。次に識別された特徴点候補は、直ちに特徴点分類アルゴリズムに提供されるSD412、SD414、SD416、S417、SD430、S418、及びS420。現在タイルの最後のピクセルが処理されるとSD422、次のタイルが処理されるSD424及びS426。最後のタイルが処理されると、次のイメージフレームが処理されて上記処理が完了する。<特徴点モーションベクトル計算>現在フレームFtの各タイルの特徴点が識別されて分類された後、図1A~図1FのDIS方法の次の段階は、選択された特徴点のそれぞれのためにモーションベクトルを得る。特徴点のモーションベクトルの計算に用いられるブロックマッチングアルゴリズムBlockmatchingalgorithms:BMAは、よく知られている。ブロックマッチングでは、エラー関数例えば、SAD、MAD、MSEは、基準フレームのターゲット領域内にあるブロックの全ての可能な位置のために計算される。上記関数の最も低い結果を有した位置は、推定されたモーションベクトルの計算に用いられる。ブロックマッチングは、計算上非効率的である。計算上の消耗を減らすためのいくつかの知られた方法がある。段階的又はマルチ解像度ブロックマッチングは、グローバルムーブメントが初めにより低い解像度で計算される方法のうちの1つである。計算されたベクトルは、より高い解像度でより小さな範囲を探すのに使用され、そのために必要な計算動作の総回数を減らしうる。殆どのアプリケーションやそれぞれのビデオエンコーディングのために、正確なモーションベクトルは、フレームの全てのブロックに対して必要である。従って、後の段階で検索範囲は、一般的に比較的広い。図1A~図1Fに示したDIS方法で、1フレームから次のフレームまでの特徴点例えば、アクチュアリーステーショナリー物体の特徴点の相対的な動きを推定することのみが要求される。イメージ安定化の目的で、背景及び広い物体の動きを表現する正確なモーションベクトルが要求されるが、小さな物体は、それと関連して正確なモーションベクトルを有することが要求されない。小さな物体の不正確なベクトルは、DISアルゴリズムの後の段階でフィルタリングされる。DIS方法において重要なより大きな静止物体の特徴点がグローバルな動き又はカメラの動きのために生じる一定の動きを予想することができる。出願人は、独立して動く十分に大きな物体が少なくとも1つのタイルの殆どをカバーすることが分かり、大きな物体のモーションがタイル自体の支配的なモーションとして推定されうるが、小さな物体のモーションは、タイル自体のモーションベクトルに影響を殆ど及ぼさないことが分かった。従って、モーションベクトルを計算するプロセスは、タイルのモーションベクトルを使用しながら階層的モーション推定アルゴリズムを用いてローカルムーブメントよりタイルムーブメントを採択することによって計算を減らすように変更されうる。従って、先ず現在イメージフレームを複数のタイルj×k個に分けることである最初の段階は、図1B及び図2Aと関連して示した特徴点選択の目的のために既に行われた。DISのために十分に正確な特徴点のモーションベクトルを計算する二番目の段階は、最も低い解像度のブロックマッチングを用いてタイル毎に1つのモーションベクトルを得ることである。上記段階で、所定のタイルの差の絶対値の和sumofabsolutedifferences:SADが計算される。所定のタイルのモーションベクトルは、SADを小さくさせるベクトルである。所定のモーションベクトル候補v=vx,vyのSADは、次の数式4によって決定される。低い解像度のダウンサンプルされたイメージを用いることによって、計算は減って場面内の小さな物体の影響も減る。三番目の段階で、タイルのモーションベクトルは、ブロックマッチングアルゴリズムに各タイル内の特徴点のモーションベクトルのローカル検索のための開始ベクトルとして用いられる。少なくとも1つのタイルの殆どをカバーすることができる十分に広い物体は、隣接するタイルに拡張され、各タイル内の特徴点は、そのタイル内で発見されるモーションベクトルより隣接するタイルのモーションベクトルに更に強く関連する。従って、所定のタイルの特徴点のモーションベクトルのためのブロックマッチング検索において、隣接する全てのタイルのモーションベクトルを複数の開始ベクトルとして用いることが効果的であり得る。ここで使用されるタイルは、少なくとも最大に支持されるモーションベクトルのサイズのボーダー領域のフレームで中央に位置し、全てのタイルの全ての特徴点のためのモーション検索は、フレーム外部のピクセルを参照せずに行われる。図5は、図1A~図1Fに示したDIS方法におけるモーションベクトル計算段階を示すため、スーパーインポーズされたタイルモーションベクトルを有してダウンサンプルされた図1Aの現在フレームFtを示す図である。図5に示した更に小さな小さいピクセルと小さいデータとを有したイメージは、水平及び垂直的にサブサンプリングすることによって、前にサブサンプルされたイメージ図4AのS402及び元の現在キャプチャーされたフレームから得られうる。サブサンプリングファクターfs2例えば、4は、グローバルタイルモーション推定に使用される。4×4ダウンサンプリングは、入力サイドにオーバーラップなしにラウンディングで、16ピクセルの平均を求める。次いで、各全体のサブサンプルされたタイルを使用したブロックマッチング検索は、各タイルのモーションベクトルを決定するために行われる。所定のタイルのモーションベクトルは、SADを減らすベクトルである。関連した実施形態で、発見された最初の1つが与えられる。モーションベクトルは、近い特徴点のモーションベクトルのためのローカル検索のための開始ベクトルとして使用される。各開始ベクトルに対するモーション範囲は、プログラム可能である。タイルモーション推定のために必要な動作の数がローカルモーション推定のために必要な動作の約12に過ぎないので、サイクル当たり約8つの絶対差の和を計算することで十分である。従って、シストリックアレイsystolicarrayが必要なものではない。図6は、図1A~図1Fに示したDIS方法で用いられた1つの選択された特徴点のモーションベクトルを計算するブロックマッチング検索のための開始ベクトルとして図5のタイルモーションベクトルを用いることを示す図5のダウンサンプルされたフレーム内の1つのタイルの部分を示す図である。小さなローカルブロックマッチング検索は、タイル内のあらゆる特徴点のための開始ベクトルのセットのそれぞれの周りにあるより高い解像度ドメイン内で行われる。上記段階は、元のビデオ解像度で行われるか、2又は4のファクターfs3によってサブサンプルされうる。使用された開始ベクトルは、特徴点が属するタイルの開始ベクトルだけではなく、4つの直接隣接するタイル上のタイル、左のタイル、右のタイル、下のタイルに属するベクトルであり得る。従って、図6では、ブロックマッチング検索領域1に対応する開始ベクトルは、特徴点FPが属するタイルのモーションベクトル、ブロックマッチング検索領域2に対応する開始ベクトルは、特徴点FPが属するタイルのモーションベクトルの下の下ブロックblockDown、ブロックマッチング検索領域3に対応する開始ベクトルは、特徴点FPが属するタイルのモーションベクトルの下の右ブロックblockRight、ブロックマッチング検索領域4に対応する開始ベクトルは、特徴点FPが属するタイルのモーションベクトルの下の左ブロックblockLeft、ブロックマッチング検索領域5に対応する開始ベクトルは、特徴点FPが属するタイルのモーションベクトルの下の上ブロックblockUpである。他の実施形態によると、4つの対角で隣り合ったタイルの開始ベクトルも使用されうる。特に、タイルベクトルの最初のグループが1つの広い物体を連想させる互いに対して類似したサイズと方向とを有する場合図8A、図8B、図9、図10a、図10b、図10cと関連したモーションベクトルグループ化参照、開始ベクトルの中から選択する段階例えば、ブロックマッチングコンピュテーションの数を減らすことのための他の段階が行われる。この代わりに、ブロックマッチングは所定の優先順位を有し、2以上のブロックマッチング検索領域がオーバーラップされる所でのみ、又は互いに最も近いブロックマッチング検索領域間等で行われる。一般的に、特徴点に対するモーションベクトルの割り当ては、タイルからタイルに進行し、所定のタイルのあらゆる特徴点は、同じ開始ベクトル例えば、タイルモーションベクトルの同じ選択を使用できる。しかし、多様な実施形態において、タイルモーションベクトルの感知されたグループ内のタイルに隣接した特徴点は、グループの各メンバーで共通的に探すことができる同じ物体上の見えるポイントである可能性が大きくなるという仮定で、所定のタイルの他の部分にある特徴点は、開始ベクトルの他の選択を用いることができる。従って、ブロックマッチング検索は、初めに各タイルの境界線付近にある特徴点に対して行われ、これは、それらが自分のタイルのモーションベクトル及び/又はタイルモーションベクトルの隣接するグループのタイルモーションベクトルと殆ど又は完全に類似しているかを感知するために行われる。例えば、初めに選択された特徴点例えば、所定のタイルの境界線付近の全てのポイント又は中央ポイントから最も遠いポイントのモーションベクトルが、自分のタイルのモーションベクトルと同じか、類似していれば、残った特徴点のための選択された開始ベクトルのセットは減ることになる。使用された各開始ベクトルのために、ローカル検索のための非常に小さな範囲を使用することができる。ここで、目標は、各々且つあらゆる特徴点のための正確なベクトルを決定するだけではない。これに関心のある特徴点は、背景や広い物体に属した特徴点である。そのような特徴点のために、タイルモーションベクトルのそれぞれは、良いか関心のある特徴点のモーションベクトルに近くなければならず、従って、各選択されたタイルモーションベクトルに対する小さなローカル検索は十分でなければならない。図3を再び参照すると、特徴点回路3000のSFPモーションベクトル計算器700は、タイルベクトル計算のための第1ダウンサンプラー310より更にダウンサンプルされたルーマデータを出力するための第2ダウンサンプラー710、各タイルのモーションベクトルを計算するためのタイルベクトル計算器720、及び特徴点選択器300の特徴点候補分類器340から受信した各SFPのモーションベクトルを決定して出力する階層的ブロックマッチング検索ユニット730を含む。第2ダウンサンプラー710は、図5に示した深くダウンサンプルされた現在フレームFtを出力する。タイルベクトル計算器720は、第2ダウンサンプラー710によって出力された現在フレームFtの深くダウンサンプルされたルーマデータを用いて、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニット730は、2つの連続したフレームのフル解像度のルーマデータ又は、第1ダウンサンプラー310の出力を用いて、上述した開始ベクトルのようなタイルベクトルを用いて、特徴点選択器300の特徴点候補分類器340によって出力された各選択された特徴点のモーションベクトルを決定する。図7は、図1A~図1Fに示したDIS方法の各段階を行うために、図1A及び図2Aの現在フレームFt内の選択された特徴点SFPのモーションベクトルを計算する方法を示すフローチャートである。開始段階で、図3に示した階層的ブロックマッチング検索ユニット730は、ビデオの2つの連続したフレーム現在フレーム及び基準フレームのルーマデータを受信しS700i、選択された特徴点のピクセル位置を受信するS700ii。現在フレームFtは、図4A及び図4Bの特徴点分類方法に既に用いられたタイルのような複数のサブサンプルされたタイルに分けられるS710。現在フレームFtは、図2Aに示したようにボーダー領域に加えて複数のj×kタイルに分けられるS710-A。各タイルと関連したルーマデータは、図5に示したようにファクターfs2:例えば、SDでは、fs2=4、HDでは、fs2=8によってサブサンプルされるS710-B。次に、各タイルのモーションベクトルは、図5に示したように、深くサブサンプルされたルーマデータと共にフルサーチブロックマッチングを用いて計算され、サブサンプルされた解像度に比べて、ハーフペルhalf-pel正確度を有するS720。計算されたモーションベクトルに対応して計算された最小SAD値は、DISの他の特徴例えば、小さな物体の特徴点をフィルタリングするにおける用途のために保存することができる。開始ベクトルは、上述したように、S720段階からの計算されたタイルモーションベクトルに基づいて、現在選択されたSFPのために選択されるS730。階層的ブロックマッチングアルゴリズムは、フル解像度ルーマデータと共に行われ、現在SFPのモーションベクトルを決定するためにタイルベクトルに基づいて選択された開始ベクトルを使用するS740。S730及びS740段階は、あらゆるタイル内のあらゆるSFPのモーションベクトルが計算されるまで反復されるループSD750及びS752。<モーションベクトルのサイズ及び方向による特徴点グループ化>ビデオフレーム間のモーションは、隣接するフレーム内の識別可能な特徴点のモーションベクトルを計算することによって感知される。特徴点のモーションベクトルは、カメラ/場面のグローバルモーションと区別されるように、場面で動く物体を識別することの目的のためにグループ化される。カメラ/場面のグローバルモーションは、意図された例えば、パンニング、そして、意図されていないジッタリグローバルモーション間を区別するために分析される。ジッタカメラ軌跡がなければ、アクチュアリーステーショナリー物体例えば、岩のエッジ、山頂の各感知された特徴点は、2以上の連続したフレームのそれぞれで同じ位置で発見されることが予見され、全ての感知された特徴点のモーションベクトルは、無効nullとして測定される。しかし、揺れがあると、所定のアクチュアリーステーショナリー物体の多くの特徴点のベクトルは、異なるサイズと方向とを有する。DIS回路は、複数のモーションベクトルが同じアクチュアリーステーショナリー物体によるものであるように、特徴点の複数のモーションベクトルを正しくグループ化するために使用される。一般的に、カメラの動きは、並進translational及び回転rotationalの動きの混合であり、カメラから場面内の物体間の距離は可変される。並進カメラ運動は、背景のカメラからの距離に基づいたモーションベクトルのサイズ差に寄与し、回転カメラ運動は、モーションベクトルのサイズ及び方向の両方に寄与する。図8A及び図8Bは、単純な並進ベクトルモーションと比較して回転カメラ運動から得られる他のベクトルを示す。図8A及び図8Bで同じ静止した物理的物体の2つの選択された特徴点SFP4とSFP5が物理的にカメラから同じ距離にあり、単純な並進カメラ運動の場合、ベクトルA及びベクトルBは、それぞれSFP4及びSFP5のモーションベクトルであり、回転カメラ運動を含む場合、ベクトルA′及びベクトルB′は、それぞれSFP4及びSFP5のモーションベクトルであると仮定する。単純な並進カメラ運動でベクトルA及びベクトルBは、完全に同じモーションベクトルを有するが、ベクトルA′及びベクトルB′は、カメラから同じ距離を有するとしても、回転カメラモーションのために異なるサイズ及び方向を有する。図8Cは、同じ静止した物体の2つの特徴点がカメラから異なる距離を有する場合、単純な並進ベクトルモーションから得られる他のベクトルを示す。同じ静止した物理的物体の2つの選択された特徴点SFP4とSFP7が物理的にカメラから異なる距離にあり、単純な並進カメラ運動の場合、ベクトルA及びベクトルC′′は、それぞれSFP4及びSFP7のモーションベクトルであると仮定する。SFP7がSFP4よりカメラに近いため、SFP4及びSFP7が同じ静止した物体上のポイントであるのに、SFP4及びSFP7のモーションベクトルのサイズは異なるベクトルC′′は、ベクトルAより大きい。従って、ベクトル差のマージンは、モーションベクトルをグループ化する間に、同じ静止した物体の全ての特徴点のモーションベクトルを共にグループ化することができるベクトルサイズ及びベクトル方向アングル差の各要素に起因することを説明するために必要である。モーションベクトルグループを感知する通常の方法は、エラーマージン及び簡単なモーションベクトル差を使用してエラースレショルド値を定義することである。モーションベクトル差ΔMのサイズは、グループ化決定のための基礎として使用される測定値であり、エラーマージンThΔMは、ΔM=SQRTxa-xb2ya-yb2<ThΔMによって決定される。ここで、A=xa,ya及びB=xb,ybであり、エラーマージンThΔMは、モーションベクトル差ΔM:正数のサイズのためのエラースレショルド値である。モーションベクトル差の方法のサイズは、あらゆる静止した物体の特徴点のモーションベクトルが同じ方向を有して特徴点が同じ並進カメラ運動によって全て定義されるために、カメラモーションが単純に並進上、下、及び/又は左右のみする時に適している。図8Aと図8Cとを比べると、他の静止した特徴点のモーションベクトルは、単純な並進カメラ運動の場合にも、物体からカメラの異なる距離のために変わりうる。同じ静止した物体の特徴点のモーションベクトルのサイズ差は、一般的な通常のビデオ場面で相対的に小さく、サイズ差は、ベクトルサイズ差|A|-|B|の、あるマージンを許容することによって容認され、モーションベクトル差ΔMの方法のサイズは、この場合に適している。図9Aは、モーションベクトル差ΔMのサイズが、2つの特徴点を共にグループ化するための適した基礎である2つのモーションベクトルA、Bの場合を示す。モーションベクトル差ΔMは、単独で同じ場合のベクトルをグループ化するための適した基礎とならないこともある。図9Bは、モーションベクトル差ΔM′のサイズが、2つの特徴点を共にグループ化するための適した基礎とならない2つのモーションベクトルA′、B′の場合を示す。図9A及び9Bにおいて、ベクトル対A、B及びベクトル対A′、B′は、ベクトル差が正確に同じサイズを有するΔM=ΔM′。各ベクトル対A、B及びベクトル対A′、B′は、エラーマージンThΔMを有したベクトル差ΔM、ΔM′のそれぞれのサイズをも有しうる。ベクトル対A、Bは、ベクトル差ΔMのサイズに基づいて適切に共にグループ化されうる。しかし、ベクトル対A′、B′は、ベクトル対A′、B′が同じグループにグループ化されるためには、非常に大きなアングルの方向の差例えば、ベクトル対A、Bと比較してを有する。ベクトル差ΔMのサイズ方法自体は、2つの特徴点が非常に大きなアングルの方向の差を有するので、場合によって、2つの特徴点がエラーマージンThΔM内のベクトル差のサイズを有するモーションベクトルグループ化のために適さないこともある。カメラ曲線の回転成分は、ベクトル差のサイズ方法によって感知されない同じ方向を有し、同じか又は類似したサイズを有する静止した物体の1つ以上の特徴点を作り出す。従って、ベクトル差のサイズ方法は、誤ったジッタ補償及び/又は最適化されたビデオ圧縮、過度な計算に必要な電力や時間消費及び/又は静止しているか、動く物体の誤ったビデオ圧縮によるビデオ構造videoartifactsが引き起こされる。次いで、特徴点回路3000の階層的ブロックマッチング検索ユニット730によって出力されたSFPのモーションベクトルは、連続したビデオフレーム間の物体の感知される相対的な動きに基づいて、場面にある物体とSFPのモーションベクトルとを連結させるサイズ及び方向によってグループ化される。カメラの動きが、イメージセンサー/フォトダイオードアレイの面と殆ど垂直である軸に回転成分を有する場合、1つの物体例えば、背景のモーションベクトルの方向は同じではないこともある。ベクトルのサイズ及び方向の両方が、実際に静止していてカメラから同じ距離にあるとしても、背景の他の特徴点とは異なりうる。グループ化決定のために、モーションベクトル差ΔMのサイズ及びエラーマージンThΔMのみを用いる代わりに、回転カメラモーションによって発生するモーションベクトル差の一定の量を感知して容認するため、モーションベクトルのサイズ比率及び正規化されたベクトル差を用いる。ベクトルAは、A=xa,yaであり、ベクトルBは、B=xb,ybである。第1グループ化決定基準は、サイズ比率|b|に基づき、次の関係が成立する。|b|2=|B|/|A|2=|B|2/|A|2=xb2yb2/xa2ya2第2グループ化決定基準は、アングル差の計算のために使われた正規化されたベクトル差である|a-b|に基づき、次の関係が成立する。|a-b|2=[{xa-xb2ya-yb2}/xa2ya2]第1グループ化決定は、絶対差absolutedifferenceA-Bよりはサイズ比率|B|/|A|に基づくために、絶対エラーマージンThΔMの代わりに、サイズ比率スレショルド値rthを用いる。グループ化決定のために、サイズ比率スレショルド値の下位境界値lowerboundMrLthと上位境界値upperboundMrUthとを定義する。即ち、整理すれば次の通りである。MrLth2<|b|2<MrUth2ここで、MrLth=1-rth、MrUth=1rth、及び0<rth<1である。例えば、サイズ比率スレショルド値が30とすれば、サイズ比率スレショルド値rthは0.3、下位境界値MrLthは0.7、上位境界値MrUthは1.3であるので、0.72<|b|2<1.32の関係が成立する。ベクトルAとベクトルBとの間のアングル差は、スレショルド値θthを超過せず、第2グループ化決定基準は、|a-b|2<Math2である。ここで、Math2=SQRT1|b|2-2|b|cosθthであり、|b|=SQRT{xb2yb2/xa2ya2}である。これら2つのグループ化決定基準に基づいた決定を用いるグループ化方法は、回転するカメラの動きがある場合でも最適化された動きベクトルグループ化を行うことができる。図10は、図1A~図1Fに示したDIS方法における特徴点グループ化のために用いられるアングル差の間接的な測定のための正規化されたベクトル差の計算を示す3つのベクトル図を示し、図10aを参照すると、ベクトルAとベクトルBとの間の差ベクトルA-Bは、水平にベクトル表示A-Bを示した。便宜上、図10cは、図10a及び図10bより大きく示した。差ベクトルA-Bの絶対値ΔMA-Bは、次のように計算されうる。△MA-B=SQRTxa-xb2ya-yb2であり、ここで、A=xa,ya、B=xb,ybである。図10bを参照すると、正規化されたベクトルaは、ベクトルの絶対値|A|によって除算されたベクトルAとして定義され、従って、正規化されたベクトルaは、1のサイズmagnitudeを有する図10c参照。正規化されたベクトルbは、ベクトルの絶対値|A|によって除算されたベクトルBとして定義される。|A|及び|B|のサイズは、次の方程式によって定義される。|A|2=xa2ya2、|B|2=xb2yb2b=B/|A|であることに注目し、従って、サイズ比率は、絶対値|b|=|B|/|A|=|B/|A||である。従って、|b|は正規化されたベクトルbのサイズであり、ベクトルAのサイズ|A|により除算されたベクトルBによって正規化された例えば、b=B/|A|。従って、サイズ比率|b|=SQRT{xb2yb2/xa2ya2}である。正規化されたベクトルaのサイズ|a|は1であるために、サイズ|b|も、正規化されたベクトルbのサイズ|b|により除算された正規化されたベクトルAのサイズ|a|との間のサイズ比率と同じである。従って、サイズ|b|は、サイズ比率|b|として参照される。サイズ比率|b|は、ベクトルAとベクトルBとの間のアングル差θの関数ではない。最初のグループ化決定基準として、|b|ここで、|b|=|A|/|B|がサイズ比率スレショルド値の下限MrLth及び上限MrUth内にあるかをチェックする。従って、|b|2<MrLth2又は|b|2>MrUth2である場合、ベクトルA及びベクトルBは、同じグループにありえない。しかし、MrLth2<|b|2<MrUth2である場合、基準として、正規化されたベクトル差|a-b|の使用に基づく第2比較を行う。正規化されたベクトル差a-bの絶対値サイズ|a-b|は、次の方程式によって計算される。|a-b|2=[{xa-xb2ya-yb2}/xa2ya2]正規化されたベクトル差a-bは、図10cで示したように、絶対値サイズ|a-b|を有し、その長さ|a|、|b|、及び|a-b|は、|a-b|の反対側にあるベクトルのアングル差θを有する三角形を形成し、これは、|a-b|もθの関数としてコサイン法則を用いることによって得られるということを意味する。コサイン法則は、他の側の長さで、三角形の知られていない側の長さと知られていない側の反対側のアングルとの間の数学的関係を定義する。正規化されたベクトル差a-bのサイズ|a-b|は、次のようなコサイン法則を用いることで得られる。|a-b|=SQRT1|b|2-2|b|cosθ従って、正規化されたベクトル差a-b図10cのアングル差θの対向側の三角形側のサイズ|a-b|の限界値として表現されたアングル限界値anglethresholdは、|b|及びアングル差θの関数として計算され、アングル差θは、コサイン法則によって示される。従って、アングル差の限界値としてサイズ|a-b|の限界値サイズMathを定義することができ、ここで、Maは、選択された限界値アングルθthの関数である。従って、正規化されたベクトル差a-bの計算されたサイズ|a-b|の二乗とMathの二乗とを比較することができる。従って、|a-b|2は、ベクトルAとベクトルBとの間のアングル差が、それらが共にグループ化されるのに十分に小さいか否かを決定するためにMath2と比較される。Math2=1|b|2-2|b|cosθthと定義し、ここで、θthは、グループ化決定の目的のための予め設定されたアングル限界値である例えば、30°。そして、|b|=|B/|A||=SQRT{xb2yb2/xa2ya2}である。|a-b|2がMath2より小さい場合、同じグループにあり得るベクトルA及びベクトルBを決定する。従って、|a-b|2がMath2より小さい場合、適当な最後のグループ化決定は、同じグループにあるベクトルA及びベクトルBである。これにより、|a-b|2がMath2より小さく、単に|b|2ここで、|b|2=|B|/|A|2がMrLth2より大きく、MrUth2より小い場合、ベクトルA及びベクトルBは、同じグループとなる。従って、Math2の正確な計算は、1つの二乗根squareroot動作を必要とし例えば、|b|を計算するために、二乗根動作は、高価な計算であるか、大規模なハードウェア装置を必要とし、従って、二乗根動作の削除は重要である。出願人は、1±30例えば、0.7≦|b|≦1.3と同じ|b|のための優れたグループ化結果を提供し、30 ゚のベクトルエラーベクトル差アングル例えば、-30°≦θ≦30 ゚内のMathのための近似化を創案例えば、Math=0.5した。従って、第2グループ化基準は、|a-b|2<0.52になる。アングル差θ、サイズ比率|b|、及び正規化された差|a-b|の間の関係をプロットplotした場合、図12のグラフが得られる。図12は、アングル差θ0~90 ゚の間の関数として、正規化されたベクトル差a-bのサイズ|a-b|に対する正規化されたベクトル差a-bのサイズ比率|b|のグラフであり、これは、図11のグループ化アルゴリズムの決定段階dS1140で使用するための効用ある近似化の効用可能性availabilityofanapproximationを示す。図12の矩形領域の境界によって示すように、実験によって、一般的な映像videoは、1±30より大きなサイズ比率又は30°より大きなアングルに至るアングル差θと共に優れたグループ化結果を提供する。この経験に基づいた範囲は、図12のグラフに示したように、0~0.5の間の正規化されたベクトル差の近似化のために効率的である。近似化approximationを使用して、SQRT1|b|2-2|b|cosθは、|b|に関係なく、0.5として近似化され、計算的な負担を減らしうる。従って、この近似化を使用して、第2グループ化決定基準は、|a-b|2<0.52になる。図11は、本発明の一実施形態によるグループ化過程を示すフローチャートである。グループ化過程1100は、図1A~図1Fに示したDIS方法の図1Dのベクトルグループ化段階を実行するための選択された特徴点図1A及び図2Aのイメージフレーム参照の動作motionベクトル間のアングル差の間接的な測定のための正規化されたベクトル差を含む2つの基準を使用する。グループ化アルゴリズム1100はSD1120段階での、サイズ比率グループ化決定基準及びSD1140段階でのベクトル差グループ化決定基準を含む。外部的にグループ化アルゴリズム1100で作動するペアリングアルゴリズムS1104、S1106、S1152、dS1150、及びS1154は、既にその対にならずにグループ化アルゴリズム1100から完全に排除される他のものなどと共に対になったその特徴点動きベクトルの経路trackを保持する。ペアリングアルゴリズムは、グループ化アルゴリズム1100への入力として一対のSFP動きベクトルA及びBを提供するS1104、S1106。初期化段階iS1102で、サイズ比率マージン例えば、MrLth2及びMrUth2及びアングルマージンは、外部回路から受信されてグループ化アルゴリズム1100に提供される。グループ化アルゴリズム1100は、少なくとも次の段階S1116、dS1120、及びdS1140で、次の段階の計算のためのこれらの計算された値を使うための受信されたベクトルBS1112及びS1114段階に基づいた受信されたベクトルA及び|B|2に基づいた|A|2を計算する。従って、受信されたベクトルBが決定段階dS1120のYES分枝、又は決定段階dS1140のNO分枝によって受信されたベクトルAと一緒のグループ化から排除された場合、ペアリングアルゴリズムは、新たなベクトルBS1152段階及び新たなベクトルBに基づいた|B|2の新たな値を計算するS1114段階グループ化アルゴリズムを割当てるassign。しかし、同じベクトルAの比較は、新たなベクトルBと共に続けられるはずであるため、現在のベクトルAの|A|2の計算された値はS1112段階、同時にアップデートされる必要はない。従って、グループ化アルゴリズム1100の実行に採択されたハードウェア又はソフトウェアは、単にベクトルA及びBのうちの1つが一回で変わる限り、それらの値の1つを使う複数の比較を効率的に行うために、1つ又はそれ以上の瞬間値instancesofvalue|B|2及び|A|2を分離して保存するように行われる。グループ化アルゴリズム1100は、次にS1112及びS1114から|A|2及び|B|2を使用するサイズ比率|b|2及び|a-b|2S1116を計算する。第1サイズ比率グループ化決定基準は、決定段階dS1120に適用される。決定段階dS1120でサイズ比率の二乗|b|2はiS1102段階から、サイズ比率マージンと比較される。|A|/|B|2<MrUth2又は|A|/|B|2>MrUth2の場合決定段階dS1120のNO分枝、現在のベクトルAは、現在のベクトルBとグループにならず、現在のベクトルBとの比較は終わらず、新たなベクトルBが選択されるS1152段階。|A|/|B|2がMrLth及びMrUthの間にある場合決定段階dS1120のYES分枝、現在のベクトルAは、現在のベクトルBと共にグループ化され、第2グループ化決定基準が適用される決定段階dS1140。|b|が所定の範囲内例えば、|b|2の値に基づいたにあり、アングル差θが所定の範囲内決定段階dS1130のYES分枝にある場合、正規化された差ベクトルa-bのサイズMathは近似化される例えば、Math2=0.52として、そうでない場合決定段階dS1130のNO分枝、正規化された差ベクトルa-bのサイズMathは計算されるS1132。次に、正規化された差ベクトルa-bの近似化されたか又は計算されたMathは、決定段階dS1140の第2正規化されたベクトル差グループ化決定基準で使用される。決定段階dS1140で、Mathの二乗Math2は、|a-b|2と比較されるか及び/又はiS1102段階からアングルマージンと比較される。|a-b|2がMath2より小さい場合決定段階dS1140のYES分枝、現在のベクトルAは、現在のベクトルBと共にグループ化されるS1142。|a-b|2がMath2より小さくない場合決定段階dS1140のNO分枝、現在のベクトルAは、現在のベクトルBとグループ化されず、現在のベクトルBとの比較は終わり、新たなベクトルBが選択されるS1152段階。一旦、現在のベクトルAが全ての使用可能なグループ化候補candidatesベクトルBsと比較され決定段階dS1150のYES分枝、新たなベクトルAが選択され、比較が残ったグループになれていないグループ化候補ベクトルBsのために継続されるか、全てのベクトルがグループにならない場合、グループ化アルゴリズム1100は、新たなフレームが進行する必要があるまで待つ。図13は、図11の特徴点グループ化アルゴリズムを行うグループ化アルゴリズム回路1310を含む特徴点グループ化回路のブロック図である。特徴点グループ化回路1300は、サイズ比率限界値MrLthMrUthの基準|b|に基づいた図11の決定段階dS1120の第1グループ化決定を行うサイズ比率|b|比較器1320、及びアングル差の測定ために使われる正規化されたベクトル差の基準に基づいた図11の決定段階dS1140第2グループ化決定を行うベクトルアングル比較器1330を含む。本実施形態で具現されたベクトルアングル比較器1330は、正規化された差のサイズMath計算器/推定器1332、及び正規化された差のサイズMath比較器1334を含む。正規化された差のサイズMath計算器/推定器1332は、図11のdS1130、S1132、及びS1134段階に関して上述したように生成するか、計算する。特徴点グループ化回路1300は、図3の特徴点回路3000と共にRAMメモリ350を共有する。メモリ350のSFPリスト352部分は、特徴点候補分類器340によって出力された選択された特徴点のリストを含む。特徴点グループ化回路1300内にあるペアリングアルゴリズムコントローラ1302は、図11のS1152、S1154、dS1156、及びdS1150に関して上述したように、グループ化アルゴリズム回路1310での比較のためにSFPリスト352にDMAアクセスしてベクトルA及びベクトルBを選択する。比較によって1つ又はそれ以上のベクトルのグループ選択された特徴点のグループが生成された場合、ペアリングアルゴリズムコントローラ1302は、メモリ350のFPグループインベントリ354にグループ化されたベクトル又はそれらの記述的なdescriptiveリストを記録writeする。一実施形態によると、特徴点グループ化回路1300とメモリ350は、単一集積回路で具現され、メモリ350から取り出されたデータは、I/Oピンを通じてチップ外部回路に出力される。他の実施形態によると、特徴点グループ化回路1300、RAMメモリ350、及び特徴点回路3000は、単一集積回路で具現されうる。上記実施形態は、当該技術分野に属する当業者が容易に実施可能であり、追加的なメモリ容量が必要な場合、他のRAMメモリを集積回路の外部に付加させうることは自明である。特徴点グループ化回路1300は、|A|2計算器1312、|B|2計算器1314、及び|b|2|a-b|2計算器1316を更に含み、これは、それぞれ図11のS1112、S1114、及びS1116段階を行う。本発明の一実施形態によると、各キャプチャーされたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布を提供する特徴点をアルゴリズム的に選択するための目的で、少ない数の重ならないタイル一般的に標準画質のための4×4タイル、及び高画質のための6×6タイルに分けられる。イメージの他の部分は、適切な特徴点の他の密度を有しうる。極端な場合、例えば、雲ひとつない青空の場合、フレームの領域は、如何なる適切な特徴点を有さないこともある。他の領域で、潜在的な特徴点は、非常に密集しうる。得られた特徴点分布は、ビデオフレーム、例えば重ならないタイルのような小さな領域に基づき、各タイル内の特徴点の個数が、タイルの発光イメージデータの分散σ2によって線形的に増加する。より関心のあるイメージデータのタイルと、それによる更に多い特徴点に対する要求は、より高い分散σ2を有するように予測される。場面が低光条件でキャプチャーされる場合、それは、相対的に更に多いノイズを有し、特徴点のピクセルの個数は、タイル内のピクセルの個数より遥かに少ないため、ノイズ効果は、タイルより特徴点に更に大きく作用する。タイル内のピクセルのより大きな個数は、ノイズ消去効果を提供し、このような場合、ダウンサンプルされたタイル基盤モーションベクトルtile-basedmotionvectorは、より正確である。たとえ場面が低光条件でキャプチャーされないとしても、場面が過度にフラットである場合、タイル基盤モーションベクトルは、より正確である。タイル場面が曇り空又は青空のように非常にフラットである場合、若干の特徴点があり、フラットタイル内のこのような特徴点は、次のフレーム内の多くの場所内のマッチング点と類似したレベルを見つけることができる。しかし、タイル基盤マッチングtile-basedmatchingは、小さな特徴点探索領域にのみ依存するものではなく、タイルの全てのパターンが、タイルマッチングプロセスに貢献することができる。結果的に、タイル基盤モーションベクトルは、場面がフラットになる時に、より信頼することができる。特徴点モーションベクトルグループの最も高いスコアが所定のスレショルド値より小さい場合、特徴点基盤モーションベクトルの代わりに、タイル基盤モーションベクトルを使うように決定し、このような戦略は、高いノイズ又はフラットな場面で効果的に働く。本発明の一実施形態によると、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、より小さな物体は、それらと関連した正確なモーションベクトルを有する必要がない。より小さな客体に対するある不正確なベクトルは、DISアルゴリズムの後の段階で除去されうる。グローバルな動き又はカメラの動きのために、意味のあるsignificance大きな静的な物体の特徴点は、一貫した経路に移動することが予測される。独立して動く十分に大きな物体は、少なくとも1つのタイルの殆どをカバーすることを認知し、従って、小さな物体のモーションがタイル自体のモーションベクトルで少ない効果を有する限り、それらのモーションは、タイル自体の優勢predominateモーションとして推定されうる。最低の解像度でブロックマッチングを用いてタイル毎に1つのモーションベクトルを得る。タイル基盤モーションベクトルは、高いノイズ又はフラット場面ビデオのような特別な場合でのカメラ軌跡決定のために使われる。所定のタイルに対するモーションベクトルは、絶対差の和SADを最小にすることである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズムを使用することによって、そしてタイルのモーションベクトルを開始ベクトルとして使用し、ローカルな動き以上のタイルの動きを選ぶpreferringことによって、計算量を減らすように変更されうる。少なくとも1つのタイルの殆どをカバーする十分に大きな物体は、隣接したタイルに拡張することができるため、各タイル内のいくつかの特徴点は、それらが発見されたタイルのモーションベクトルより隣接したタイルのモーションベクトルに更に強く関連する。従って、全ての隣接したタイルのモーションベクトルを、あらゆる所定のタイルの特徴点のモーションベクトルに対するブロックマッチング探索の複合multiple開始ベクトルとして使うことが効果的である。従って、選択された特徴点のモーションベクトルを得るために用いられる開始ベクトルは、それが存在するならば、4方向の直接的な隣上側タイル、左側タイル、右側タイル、下側タイルに属するモーションベクトルと同様に特徴点が属するタイルのモーションベクトルである。使用される開始ベクトル毎に、特徴点モーションベクトルに対するローカル探索のために、非常に小さな範囲のみを使う。この目的は、それぞれの、そしてあらゆる特徴点に対する正確なベクトルを決定するものではないバッドbadモーションベクトルは、DISプロセッシングチェーンchain内で、後で分類される。むしろ、関心のある特徴点は、単に背景又は大きな客体にのみ属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの1つは、良いか又は関心のある特徴点のモーションベクトルに近くなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。小さなローカルブロックマッチング探索は、タイル内のあらゆる選択された特徴点に対する開始ベクトルの集合setのそれぞれの周辺の高解像度ドメインこれは、オリジナルビデオ解像度、或いは2又は4のfs3要素によってサブサンプルされたものであり得るで行われる。図14は、本発明の一実施形態によるデジタルイメージ安定化DIS方法を行うデジタルイメージ安定化DIS回路のブロック図である。DIS回路は、受信されたジャーキービデオを分析し、インターフレーム変換Tinを出力する感知ユニット2000、インターフレーム変換Tinのうちから選択された主要/補償変換Pnを出力する軌跡ユニット4000、及び選択された主要/補償変換Pnを用いて、ジャーキービデオを修正して安定化されたビデオを出力する補償ユニット6000を含む。感知ユニット2000は、ビデオデータの受信されたフレーム内の特徴点FPのインターフレームモーションベクトルと、重ならないタイルタイルベクトルのインターフレームモーションベクトルとを推定する。感知ユニット2000は、特徴点モーションベクトルグループ変換とタイルベクトルグループ変換Tinとを更に出力する。軌跡ユニット4000は、インターフレーム変換Tinのうちの1つを主要変換Pnとして選択し、従って、小さな移動客体と、全体フレームをカバーできる大きな移動客体のインターフレーム変換を除く。図15は、図14のDIS回路のDIS方法の各段階として、タイルベクトルグループのアフィン変換を計算する図14のDIS回路内の感知ユニット2000のブロック図である。感知ユニット2000は、特徴点回路3000、モーションベクトルMVグループ化回路1300、及びモーションベクトルMVグループアフィン変換計算器2010を含む。特徴点回路3000は、ビデオデータの各フレームを受信し、より望ましくは、各ビデオフレームを、重ならない複数のタイルの小さな数j×kで分割する。タイルの個数j×kは、SDビデオのための4×4からHDビデオのための6×6までの範囲を有し、4...8×4...8の範囲内の他の数も可能であり、有用である。タイルサイズは、独立して動く十分に大きな物体が少なくとも1つのタイルの殆どをカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、DIS目的によってキャプチャーされうる。特徴点回路3000は、受信されたビデオフレーム内の特徴点SFPsを識別して選択し、特徴点とタイルのモーションベクトルSFPMVs及びTileMVsとを出力する。特徴点回路3000は、特徴点選択器、モーションベクトル計算器、及び共有されるRAMメモリ350を含む。特徴点選択器は、ハリスコーナー特徴点候補識別器及び特徴点候補分類器を更に含む。コンピュータパワーを節約し、要求される複数の動作個数を減少させるために、特徴点回路3000は、ルーマlumaデータにのみ作動し、1つ以上のダウンサンプラー及び階層的ブロックマッチング探索ユニットを含む。特徴点回路3000は、あらゆるタイルに対する1つのモーションベクトルを推定する。タイルモーションベクトルTileMV推定は、入力イメージの中央をカバーする重ならないタイル例えば、特徴点分類アルゴリズム内に使われる同じタイルに基づいて行われる。複数のタイルのそれぞれに対して、フルブロックマッチング探索は、深くダウンサンプリングされたイメージ上で行われる。フル探索ブロックマッチングは、あらゆるタイルに対して行われ、タイルモーションベクトルTileMVは、後の使用、例えば、特徴点352に保存されたSFPMVのモーションベクトルを得るか、静的な客体感知のための階層的ブロックマッチング探索部内で開始ベクトルとしての使用のために保存される356。特徴点回路3000は、ビデオフレームのタイルと称する小さな領域タイルに基づいた分布を有する特徴点のリスト352を提供する。タイル当たりの特徴点の最大個数は、タイルの発光イメージデータの分散σ2によって線形的に増加する。DIS方法のための優れた特徴点は、適切なモーション推定アルゴリズムが適用される場合、曖昧ではないモーションベクトルを算出する点である。イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズムは、このようなピクセルが特徴点としてどのくらい適するかを測定するために、ビデオフレームのピクセルに適用される。イメージの異なる部分タイルは、識別された特徴点候補の異なる密度を有しうる。特徴点回路3000は、各タイルのモーションベクトルを計算するためのタイルベクトル計算器の機能を遂行するモーションベクトル計算器、及び各選択された特徴点SFPのモーションベクトルを決定して出力するための階層的ブロックマッチング検索ユニットを含む。タイルベクトル計算器は、現在フレームFtの深くダウンサンプリングされたルーマデータを使用して、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、最大解像度の又は2つの連続したフレームのダウンサンプリングされたルーマデータを用いて、選択された特徴点のそれぞれのモーションベクトルを決定し、タイルベクトルを開始ベクトルとして使用できる。データに関連した全ての特徴点とタイルは、次のDISブロック、具体的にモーションベクトルグループ化回路1300に伝達される。モーションベクトルグループ化回路1300は、特徴点モーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを実行する。モーションベクトルグループ化回路1300は、ペアリングアルゴリズムコントローラ1302によって選択されたベクトルの各対を比較することによって、グループ化決定を行うモーションベクトル比較器1310を含む。モーションベクトルグループ化回路1300は、連続したビデオフレーム間で客体の認知されたperceived関連動作に基づいて、特徴点モーションベクトルを場面内の客体と共に、選択された特徴点SFPsのモーションベクトルで関連するようにグループ化する。モーションベクトルグループ化回路1300は、連続したビデオフレームの間で客体の認知された関連動作に基づいて、更にタイルモーションベクトルを場面内の客体と関連するようにグループ化する。モーションベクトルグループ化回路1300は、RAMメモリ350を特徴点回路3000と共有する。メモリ350のSFPMVリスト352部分は、選択された特徴点SFPsの位置とモーションベクトルのリストとを含む。メモリ350のタイルMVリスト356部分は、重ならないタイルの位置及びモーションベクトルのリストを含む。ペアリングアルゴリズムコントローラ1302は、特徴点及びタイルモーションベクトルが他のものと以前にペアになったか、ペアにならずに残ったか、及び全体的にグループ化から除外されるかについての経過trackを保持する。ペアリングアルゴリズムは、反復的にモーションベクトルの対ベクトルAベクトルBをモーションベクトル比較器1310への入力として提供する。モーションベクトルグループ化回路1300内のペアリングアルゴリズムコントローラ1302は、SFPMVリスト352及びタイルMVリスト356にアクセスし、モーションベクトル比較器1310内の比較のためのベクトルA及びベクトルBを選択する。一連のベクトルA-ベクトルBの比較結果、1つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループとである場合、ペアリングアルゴリズムコントローラ1302は、グループ化されたモーションベクトル又はその記述的なリストをメモリ350のFPMVグループインベントリ354部分とタイルMVグループインベントリ358部分とに書き込む。モーションベクトルMVグループアフィン変換計算器2010は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもTinとして出力する。図16は、図14のDIS回路のDIS方法の各段階に関連して、タイルグループ変換と特徴グループ変換Tinとのスコアリング方法に基づいて主要静止/背景変換Pnを選択することに適合した図14のDIS回路の軌跡ユニット4000のブロック図である。軌跡ユニット4000は、タイルグループ変換スコアリング及び選択回路4100-1図17A、特徴グループ変換スコアリング及び選択回路4100-2図17A、コレクティブグループ選択回路4200図18、移動客体除外回路4400図19、及び適応的補償フィルター8000を含む。軌跡ユニット4000は、場面内の移動客体を無視する一方、不安定なunsteadyカメラによって引き起こされる主要モーションPnを識別し、選択された主要変換Pnをフィルタリングして補償変換Cnを出力する。軌跡ユニット4000は、受信されたインターフレーム変換Tinのうちから主要変換Pnを選択するように複数の連続したスコアリング関数を使用する。図17Aは、図14のDIS回路の軌跡ユニット4000のグループ変換スコアリング及び選択回路4100のブロック図である。グループ変換スコアリング及び選択回路4100は、変換スコア計算器4150、変換品質計算器4160、及び図14のDIS回路のDIS方法の各段階を行うグループ変換及び品質選択器4170を含む。グループ変換スコアリング及び選択回路4100は、タイルグループインターフレーム変換TTile,inからタイルグループ主要変換GPTilenを出力し4100-1、FPインターフレーム変換TFP,inから特徴グループ主要変換GPFPnを出力する4100-2。図17Bは、図17Aのグループ変換スコアリング及び選択回路4100内のヒストリースコア計算ユニット4110-1の一実施形態のブロック図である。図17A及び図17Bを参照すると、グループ変換スコアリング及び選択回路4100は、ヒストリースコア計算ユニット4110例えば、4110-1、モーションスコア計算ユニット4120、特徴スコア計算ユニット4130に加えて、規模スコア計算ユニット4140、変換スコアSin計算器4150、変換品質Qin計算器4160、及びグループ変換及び品質選択器4170例えば、4170-1を含む。図17Aのグループ変換スコアリング及び選択回路4100のグループ変換及び品質選択器4170は、全体の変換スコア計算器4150から受信された各インターフレーム変換Tinの全体の変換スコアSinに基づいて小さな移動客体のインターフレーム変換を排除させることで、インターフレーム変換Tinのうちの1つをグループ主要変換GPnとして選択し、グループ主要変換GPnとそれに関連した品質Qnを出力する。Tinを、感知ユニット2000から受信された全ての受信された変換候補のうちのi番目の変換と言う。ここで、nは、フレームと時間連続した性質timesequencenatureを表わす。GPnは、フレーム時間nでの選択されたグループ主要変換と言う。即ち、選択されたiに対して、GPn=Tinである。各Tinに対して、全体の変換スコアSin計算器4150は、ヒストリースコア計算ユニット4110例えば、4110-1からヒストリースコアHinを受信し、モーションスコア計算ユニット4120からモーションスコアMinを受信し、特徴スコア計算ユニット4130から特徴スコアFinを受信し、規模スコア計算ユニット4140から規模スコアEinを受信し、全体変換スコアSinを下記の式に基づいて計算する。Sin=HinMinFinEin各Tinに対して、変換品質Qin計算器4160は、特徴スコア計算ユニット4130から特徴スコアFinを受信し、規模スコア計算ユニット4140から規模スコアEinを受信し、下記の式に基づいて変換品質Qinを計算する。Qin=FinEin最も大きな値Sinを有するTinは、図17Aのグループ変換スコアリング及び選択回路4100のグループ変換及び品質選択器4170によってグループ主要変換GPnとして選択される。従って、本実施形態において、図14のDIS回路のDIS補償ユニット6000内で、最も高いスコアSinを有するインターフレーム変換候補Tinは、グループ主要変換GPnとして選択され、ジッタカメラモーションを補償するための補償変換Cnを産出するために適応的にフィルタリングされる。ヒストリースコア計算ユニット4110例えば、4110-1は、グループ主要変換GPnのヒストリーを保存し、グループ主要変換GPnの保存されたヒストリーの所定長HLに基づいて、各Tinに対するヒストリースコアHinを計算、例えば感知ユニット2000から各Tinが受信された順に計算する。所定長HLは、先行フレームの所定の個数を表わす整数である。入力されるTinは、数学的に以前に選択されたグループ主要変換GPn-1...GPn-kを保存する長さHLのそれぞれと比較される。ここで、kは、1直前フレーム:n-1を意味するからHK経時的に更に遠いフレーム:n-HKまでの範囲を有する積分フレームタイムインデックスintegralframe-timeindexである。Tinの変換は、以前に選択されたグループ主要変換GPn-1からGPn-HLを保存する長さHLでより高い相関correlationを有し、より高いヒストリースコアHinを有する。Tinと各GPn-kとの間の相関Hi,knは、範囲[0、1]内において1で正規化されたノルムnormalizednormを差し引いた値1-|Tin-GPn-k|であり、1のHi,kn値は、最も高い相関を示す。各相関Hi,kn1-|Tin-|GPn-k|の貢献は、相応するヒストリー加重値HWkによって重み付けされる。ヒストリースコアHinは、全体の相関であり、Hi,knの和に重み付けされたHWn-kである。ここで、1<k<HLであり、HLは、ヒストリー長前のフレームの個数である。従って、複数の加重値のHWn-HL~HWn-1はそれらの和が1と同じであり、ヒストリースコアHin出力が非線形的に正規化され、連続した範囲[0、1]を有するように選択される。図17Bに示したヒストリースコア計算ユニット4110のハードウェア具現例4110-1は、保存されたコンテンツを比較器4114に出力するためn-1でn-HLに対する、HLタップHLtapsを有するHLを以前に選択されたグループ主要変換GPn-1~GPn-HLに保存するためのFIFOfirst-in-first-outメモリバッファを含む。比較器4114は、電流Tinを以前に選択されたグループ主要変換GPn-1~GPn-HLに保存されたHLのそれぞれと比較し、ヒストリーウエイトHWn-1~HWn-HLによって重み付けされた各比較結果を、連続区間[0、1]で全体の相関を全体のヒストリースコアHinとして出力する全体のヒストリースコア計算器4116に出力する。モーションスコア計算ユニット4120は、各Tinを受信し、Tinのみに基づいて、そのモーションスコアMinを計算する。他の実施形態において、モーションスコア計算ユニット4120は、モーションスコアMinを計算するための目的で、感知ユニット2000から保存された情報を受信することができる。小さなモーションに対する変換は、高いモーションスコアMinを有し、グループ主要変換GPnになることがより好ましい。Tinのうちから各インターフレーム変換に対して、モーションスコア計算ユニット4120は、モーションスコアMinを計算する。Minは、小さなモーションに対応して大きな値を有し、大きなモーションに対応して小さな値を有する。モーションMinは、変換の水平、垂直、又は全体線形移動に基づく。モーションスコアMinは、線形移動に逆比例し、連続区間[0、1]を有するように非線形的に標準化されうる。特徴スコア計算ユニット4130は、各Tinを受信し、Tinのみに基づいて、その特徴スコアFinを計算する。他の実施形態において、特徴スコア計算ユニット4130は、特徴スコアFinを計算するための目的で、感知ユニット2000から保存された情報を受信することができる。Tinのうちの各インターフレーム変換に対して、特徴スコア計算ユニット4130は、特徴スコアFinを計算する。特徴スコアFinは、Tinのうちから各インターフレーム変換によって表現される特徴点グループを作るために共にグループ化された特徴点の個数と関連する。Tinのうちの各変換は、グループ別特徴点をより多く有し、より高い特徴スコアFinを有する。特徴スコアFinは、連続区間[0,1]を有するように非線形的に標準化されうる。規模スコア計算ユニット4140は、各Tinを受信し、Tinのみに基づいて、その規模スコアEinを計算する。他の実施形態において、規模スコア計算ユニット4140は、規模スコアEinを計算するための目的で、感知ユニット2000から保存された情報を受信することができる。Tinのうちから各インターフレーム変換に対して、規模スコア計算ユニット4140は、規模スコアEinを計算する。広い領域をカバーする特徴点を有するTinのうちの各変換は、カバーする領域が大きいほど、より高くスコアリングされる。規模スコアEinは、より広い領域をカバーすることに対応してより大きな値を有し、反対に、より狭い領域をカバーすることに対応してより小さな値を有する。規模スコアEinは、変換のグループの全ての特徴点を含む矩形領域の高さと幅との積に関連する。規模スコアEinは、連続区間[0,1]を有するように非線形的に標準化されうる。本発明の多様な実施形態は、除外しなければビデオ安定化に所望しない結果を引き起こす全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体特に、それが全体場面をカバーするならばに対応する変換後補を選択する。大きな客体が横切って動いて全体場面を満たす場合、変換候補Tinは、不安定なカメラに対応する主要変換Pnを含まないことが分かる。図18は、図14のDIS回路の軌跡ユニット4000のコレクティブ変換スコアリング及び選択回路4200の一実施形態のブロック図である。コレクティブ変換スコアリング及び選択回路4200は、コレクティブ判定CDnを計算するコレクティブ判定計算器4250と、図14のDIS回路のDIS方法の各段階として、コレクティブ主要変換CPnを出力するコレクティブ変換選択器4260とを含む。図18のコレクティブ判定計算器4250は、特徴グループ変換品質QFPn、タイルグループ変換品質QTilen、及び感知ユニット2000から受信された特徴グループ変換候補KFGnの個数からコレクティブ判定CDnを算出する。コレクティブ判定計算器4250の一実施形態は、特徴グループの個数KFGnから非線形的に標準化されたフラグメンテーションメジャーΘFnを計算し、ここでΘFnは、KFGnが小さい時に0であり、ΘFnは、KFGnが大きい時に1である。従って、ΘFn値が1に近いことは、ビデオ場面の全ての特徴点が多くの特徴グループに細分化されたものを表わし、反対に、ΘFn値が0に近いことは、ビデオ場面の全ての特徴点が、少ない特徴グループに分解されたものを表わす。コレクティブ判定計算器4250は、QFnとΘFnQTnとを比較することによって、コレクティブ判定CDnを出力し、QFn>ΘFnQTnである場合、コレクティブ判定CDnは、特徴グループを選択するように設定される。そして、QFn<=ΘFnQTnである場合、コレクティブ判定CDnは、タイルグループを選択するように設定される。この公式で、もし特徴グループが細分化されていないならば、ΘFn値が0に近く、特徴グループは、より選択されやすい。一方、特徴グループが細分化された場合、ΘFn値が1に近く、タイルグループ変換品質QTilenは、特徴グループ変換品質QFPnと対等の立場で比較される。コレクティブ変換選択器4260は、特徴グループ主要変換GPFPnとタイルグループ主要変換GPTilenとの間で選択を行う。コレクティブ変換選択器4260は、コレクティブ判定CDnによって制御され、出力コレクティブ主要変換CPnは、CDnが特徴グループとして設定される場合、特徴グループ主要変換GPFPnとして設定され、そうでない場合、タイルグループ主要変換GPTilenとして設定される。本実施形態において、コレクティブ変換スコアリング及び選択回路4200は、特徴グループ変換品質QFPn及びタイルグループ変換品質QTilenに基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット4130と規模スコア計算ユニット4140とからの入力を受信する図17Aの変換品質計算器4160によって計算される。特徴スコア計算ユニット4130は、その特徴基盤及びタイル基盤変換Tinの特徴スコアFinを計算する。本実施形態において、特徴スコア計算ユニット4130は、特徴スコアFinを計算する目的で、感知ユニット2000から保存された情報を受信する。Tinのうちから各インターフレーム変換に対して、特徴スコア計算ユニット4130は、特徴スコアFinを計算する。1つのグループのより多くの特徴点又は1つのグループのより多くのタイルの変換Tinは、より高い特徴スコアFinを有し、これは、特徴グループ変換品質QFPn又はタイルグループ変換品質QTilenのそれぞれがより高くなるようにする。ある実施形態において、タイル当たりの特徴点の個数は、特徴基盤変換Tinのスコア特徴スコアFinを支配することができる。他の実施形態において、タイルの個数は、タイル基盤変換Tinのスコア特徴スコアFinを支配することができる。タイル当たりの特徴点の個数、及び/又はタイルベクトルの各グループ内のタイルの個数は、感知ユニット2000から直接得られる。規模スコア計算ユニット4140は、特徴基盤及びタイル基盤変換Tinの規模スコアEinを計算する。本実施形態において、特徴スコア計算ユニット4130は、特徴スコアFinを計算するための目的で、感知ユニット2000から保存された情報を受信する。特徴点又はタイルの変換は、より広い領域に亘るほどより高くスコアリングされる。特徴点の個数とタイルベクトルの各グループ内のタイルの次元は、感知ユニット2000から直接得られる。同様に、特徴基盤モーションベクトルの各グループの水平及び垂直方向の規模は、感知ユニット2000から直接得られる。特徴グループ又はタイルグループは、より広い領域に亘るほどより高い規模スコアEinを有し、その結果、特徴グループ変換品質QFPn又はタイルグループ変換品質QTilenのそれぞれは、より高くなる。本実施形態において、規模スコア計算ユニット4140は、規模スコアEinを計算するための目的で、感知ユニット2000から保存された規模情報を受信する。コレクティブ主要変換CPnが、コレクティブ変換スコアリング及び選択回路4200によって選択された後、大型客体除外ハードウェアは、選択されたコレクティブ主要変換CPnが全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。除外が効果的な場合、単位変換UTが代替物として生成され、DISシステムの補償回路のために選択された主要変換Pnとして提供され、安定化されたビデオは、不正確な又は不必要な大型移動客体の変換をしない。本発明の一実施形態によると、移動客体除外方法は、2種の観測に基づいて活性化される。ここで、上記2種の観測は、既に存在する静的な背景Pnのヒストリーによって指示されると、静的な背景と大型移動客体の共存の時間周期time-periodofco-existenceである。移動客体除外方法は、次のようなシナリオを扱うのに非常に効果的である。場面が殆ど移動しないか又は移動する客体がない静的な背景である。大型移動客体は場面に進入し、漸次より大きな領域をカバーする。大型移動客体は、全体場面をカバーする。大型移動客体は、場面を離れ始め、背景が再び表われ始める。大型移動客体は、遂に消える。移動客体分析器は、除外シナリオIFを感知する。連続した静的なMVグループの存在は、殆ど静的な背景になった場面を示す。連続して類似した速度のMVグループのカウント増加は、場面内に入ってくる客体を示す。このような趨勢が続き、時間nで連続して類似した速度のMVグループが全体場面をカバーし、静的なMVグループが消えると、除外シナリオが検出される。除外判定EDnは、除外変換選択器に送られる。除外変換選択器は、EDnが除外シナリオを示さない場合、コレクティブ主要変換CPnを選択し、そのシナリオ内で主要変換Pnが基準変換として設定される。従って、大型移動客体が全体場面をカバーする場合にも、安定化されたビデオは不正確な大型移動客体に沿わない。図19は、図14のDIS回路の軌跡ユニット4000の移動客体除外回路4400の一実施形態のブロック図である。移動客体除外回路4400は、移動客体分析器4470及び図14のDIS回路のDIS方法内の各段階を行う除外変換選択器4480を含む。移動客体除外回路4400は、場面のヒストリーを保存するための複数のグループヒストリー回路4410、4420、4430、及び4440、及び移動客体分析器4470を含む。いつでも、1つの指定された静的なグループG0のみがあるが、0又はそれ以上の現在モーショングループGKk>0があり得る。また、次のフレームの間に、k例えば、kn1=kn1の現在モーショングループGkのうちの1つになりうる新たなモーショングループGNがあり得る。静的なグループG0は、関連したグループヒストリーGH0を有する。kの現在モーショングループGkは、関連したモーションベクトルMkだけではなく、関連したグループヒストリーGHkも有する。各現在モーショングループGKは、基本的にフレームnまで経時的に類似した速度のTinのそれぞれに対して低域通過フィルターされた|Tin|であるモーションベクトルMkを有する。各新たなモーショングループGNは、その生成時刻に初期化された関連したグループヒストリーGHNnを有する。移動客体分析器4470は、複数のグループヒストリーGH0n、GH1n、...GHJn、及びGHKnを含む場面ヒストリーとGHNnとを受信し、それらから除外判定EDnを計算する。除外変換選択器4480は、単位変換UTとコレクティブ主要変換CPnとの間の選択を行う。除外変換選択器4480は、除外判定EDnによって制御され、EDnが活性化された場合、出力主要変換Pnは、単位変換UTとして設定され、そうでない場合、コレクティブ主要変換CPnとして設定される。単位変換UTは、補償ユニット6000が補償の間に何もしないようにしうる。従って、移動客体分析器4470が大型移動客体シナリオを感知し、除外判定EDnを活性化する場合、主要変換Pnとして選択されうる大型移動客体の変換は、選択された主要変換Pnになるものから除外される。効果として、大型移動客体の変換は、感知された場合、図14の補償ユニット6000によって行われる補償から除外される。図20は、図19の移動客体除外回路4400内の詳細を示すブロック図とフローチャートを混合したものであり、図14のDIS回路のDIS方法の各段階を行う。図20は、静的なグループG0、現在モーショングループGK、及び新たに生成されたモーショングループGN1にそれぞれ対応する代表的なグループヒストリー回路4410、4430、及び4440を詳しく図示する。図19の移動客体除外回路4400の移動客体分析器4470によって、グループヒストリー回路例えば、4410から受信されたグループヒストリー例えば、H0nは、各グループと関連した2種のヒストリーデータ、選択ヒストリー例えば、SH0n及び現在ヒストリー例えば、EH0nを含む。移動客体分析器4470は、次のように除外シナリオを感知する。静的な変換G0nのグループヒストリーGH0内で示された連続した存在及び選択は、複数のフレームの間に存在した殆どの静的な背景の場面を示す。具体的なモーショングループGKのグループヒストリーGHk内の連続した存在の漸次的に増加する数字は、客体が場面内に入ってくるということを表わす。存在及びモーションの現趨勢が持続される場合、そして時間nで選択された変換PnがGKに結合するものを除き、静的な変換がG0に属しない場合、大型移動客体シナリオが感知され、活性化された除外判定EDnが主要変換選択器4160-2に送られる。EDnが大型客体除外シナリオを示す場合、主要変換Pnは、単位変換として設定され、そうでない場合、主要変換Pnは、Tinのあるスコアリングscoring関数によって選択される。グループヒストリー回路4410、4420、4430、及び4440のそれぞれは、受信されたインターフレーム変換Tinのうちの1つに関連した各グループに対するヒストリー情報の3種類の保存及び処理を行う。グループヒストリーの上記3種類は、選択ヒストリー、現在ヒストリー、及びモーションヒストリーである。静的なグループG0は、映像安定化開始時に空いているヒストリーと共に生成される。静的なグループG0のモーションヒストリーは省略され、ヌルnullと推定される。モーショングループG1、...、GK、...、GNは、DISビデオプロセッシングのコース間に動的に生成されるか、削除される。図20を参照すると、静的なグループG0、Nの現在モーショングループGK、及び新たに生成されたモーショングループGN1にそれぞれ対応するグループヒストリー回路4410、4430、及び4440は、グループヒストリーGH0、GHK、及びGHN1を提供する。モーショングループG0のグループヒストリー回路4410は、選択ヒストリーSH0及び存在ヒストリーEH0の保存のためのヒストリーメモリを含む。存在ヒストリーEH0は、インターフレーム変換Tinが以前フレーム内のモーショングループG0に結合されたか否かを示す過去フレーム値毎の1ビットである。選択ヒストリーSH0は、モーショングループG0に結合されたインターフレーム変換Tinが以前フレーム内の主要変換Pnとして選択されたか否かを示す過去フレーム値毎の1ビットである。静的に見なされるための、選択された主要変換Pnを含むあらゆるTinが静的なグループG0に属するか否かの判定判定段階dS4418は、グループG0がTinを多様なヒストリーに基づいたモーションベクトルM0より、スレショルド値thd0と比較することに依存するため、静的なグループG0のグループヒストリー回路4410は、モーションヒストリーM0を省略する。静的なグループG0は、ビデオ安定化開始時に空いているヒストリーと共に作られる。フレームnの間にTinが、|Tin|<thd0を満足する場合判定段階dS4418のYES分岐、このTinは、G0に属する。存在ヒストリーEH0は、フレームnで静的な変換の存在を示すためにアップデートされる。Pin=Tinである場合、選択ヒストリーSH0は、Tin選択を示すためにアップデートされる。そうでない場合判定段階dS4418のNO分岐、フレームの間に|Tin|<thd0を満足させないと、Tinは、存在モーショングループG1~GNのそれぞれの内のグループヒストリーと比較される。モーショングループGKのグループヒストリー回路4430は、選択ヒストリーSHK、存在ヒストリーEHK、及びモーションヒストリーMkの保存のためのヒストリーKメモリを含む。存在ヒストリーEHKは、インターフレーム変換Tinが以前フレーム内のモーショングループGKに属するか否かを示す過去フレーム値毎の1ビットである。選択ヒストリーSHKは、モーショングループGKに属するインターフレーム変換Tinが以前フレーム内の主要変換Pnとして選択されたか否かを示す以前フレーム値毎の1ビットである。モーションヒストリーMKは、グループGKの全体的なモーションのベクトルMkを示す情報を保存する。各Tinは、モーションベクトルMでもマッピングする。各モーショングループGKは、モーションベクトルMKでマッピングする。|Tin|をTinのモーションベクトルのサイズにし、|Tin-MK|を1≦K≦NNは、現在の現在モーショングループの個数で現在モーショングループGkのモーションベクトルMkからTinの偏差とする。N個存在するモーショングループのうちから最小の|Tin-MJ|を有するモーショングループGJは、Tinに対する最もマッチングされるグループGJを示す。連結join判断は、|Tin-MJ|を所定のスレショルド値thd1と比較して決定される。従って、例えば、判定段階dS4438で、1とNとの間の特定のJ及び全てのKで|Tin-MJ|≦|Tin-MK|であり、|Tin-MJ|<thd1である場合判定段階dS4438のYES分岐、Tinは、現在モーショングループGJに連結される。全てのKに対して、|Tin-MJ|<thd1であり、|Tin-MJ|<|Tin-MK|である場合判定段階dS4438のYES分岐、Tinは、GJに属する。モーションヒストリーMJは、新たに属したTinを反映するように調整される。現在ヒストリーEHJは、フレームnでモーショングループGJの存在を示すためにアップデートされる。Pn=Tinである場合、選択ヒストリーSHJは、Tin=Pnの選択を示すためにアップデートされる。一方、判定段階dS4438がTin及び全ての現在モーショングループG1~GNのために反復され、MKのうちのいずれも|Tin-MK|<thd1を満足させなかった場合判定段階dS4438のNO分岐、Tinは、新たに形成されたモーショングループGN1に属するS4449段階。このTinが、新たに形成されたモーショングループGN1に属する場合S4449段階、Tinは、新たに形成されたモーショングループGN1に属する。モーションヒストリーMN1は、このTinのモーションベクトルとして設定される。存在ヒストリーEHN1は、フレームnで新たなモーショングループGN1の存在を示すために初期化される。Pn=Tinである場合、選択ヒストリーSHN1は、Tin=Pnの選択を示すためにアップデートされる。時間の拡張された周期フレームに参加するTinのないモーショングループG0~GJのうちのは、削除される。図21は、時間nである時、キャプチャーされたビデオフレーム及び主要変換Pnから計算された補償変換Cnに相応する補償ウィンドウの図であり、垂直オーバーエクスカーションv1が減らされたことを示す。補償ウィンドウの垂直オーバーエクスカーションは、本発明の一実施形態によるDIS方法の各段階における垂直オーバーエクスカーションv1として測定される。図21を参照すると、キャプチャーされたビデオフレームの補償変換Cnに相応する補償ウィンドウは、垂直オーバーエクスカーションv0又はv1、水平オーバーエクスカーションu0又はu1、又は垂直オーバーエクスカーションv0又はv1、及び水平オーバーエクスカーションu0又はu1のいずれをも有しうる。それぞれの潜在的なオーバーエクスカーションv0、v1、u0、及びu1は、補償変換Cnの並進成分、補償変換Cnの回転成分、又は補償変換Cnの並進成分及び回転成分の組み合わせによって発生する。エクスカーションのヒストリーに基づいて、各キャプチャーされたビデオフレームに対するフィルタリングされた補償変換Cnを出力するために、主要変換Pnを適応的にフィルタリングすることによって、オーバーエクスカーションv0、v1、u0、及びu1を最小化することが望ましい。図22は、本発明による他の実施形態によるDISを行うDIS回路のブロック図である。DIS回路は、受信されたジャーキービデオを分析し、インターフレーム変換Tinを出力する感知ユニット2000、Tinのうちから主要変換Pnを識別する主要変換選択回路4100、4200、及び4400、及び主要変換Pnを補償変換Cnにフィルタリングする適応的補償フィルター8000を含む軌跡ユニット4000、及びジャーキービデオフレームを、補償変換Cnを用いて修正することによって、安定化されたビデオを出力する補償ユニット6000を含む。主要変換選択回路4100、4200、及び4400は、場面内の移動客体のインターフレーム変換Tinを無視し、不安定なカメラによって発生したグローバルモーションのインターフレーム変換Tinを識別することによって、インターフレーム変換Tinのうちから1つを主要変換Pnとして選択し、その選択を、計算された主要変換Pnとして出力する。従って、DIS回路の主要変換選択回路4100、4200、及び4400は、インターフレーム変換Tinのうちの1つを、計算された主要変換Pnとして選択して出力する。補償変換Cnは、主要変換Pnを適応的にフィルタリングすることで得られる。補償変換Cnは、相応する入力ビデオイメージとの関係で安定化されたビデオイメージ補償ウィンドウの幾何学的構造の表現である。上記表現は、位置、アングル、サイズなどを含む。補償変換に用いられるいくつかは、類似変換similaritytransform及びアフィン変換であるが、発明の概念は、上記変換に限定されず、本発明による実施形態の方法の説明のためにアフィン変換を用いる。主要変換選択回路4100、4200、及び4400は、順次にフレームの連続したシーケンスの選択された主要変換Pn-∞、...Pn-1、Pnを適応的補償フィルター8000に出力する。主要変換Pn-∞は、反復的な無限インパルス応答IIRフィルターの使用を示す。適応的補償フィルター8000は、主要変換Pn-∞、...Pn-1、Pnの配列によって表現されるジッタモーションから、意図されたカメラ軌跡を推定し、推定されたカメラ軌跡によって補償変換Cnを出力する。安定化されたビデオの視覚的効果は、適応的補償フィルター8000の品質に大きく依存する。従来の軌跡推定方法は、モーションベクトル積分とカルマンフィルターなどを含む。しかし、これらと他の従来の軌跡推定方法は、ジャーキービデオ特性の広い範囲で正しく行われない。本発明による実施形態において、適応的補償フィルター8000がジャーキーモーションをフィルタリングし、安定化されたビデオを産出するのに使用される。図23は、本発明の一実施形態による図22に示したDIS回路の軌跡ユニット4000の適応的補償フィルター8000のブロック図である。適応的補償フィルター8000は、補償ウィンドウエクスカーションのヒストリーに基づいて主要変換Pnを適応的にフィルタリングする。適応的補償フィルター8000は、フレームの連続したシーケンスの受信された主要変換Pn-∞、...Pn-1、Pnに基づいて主要変換Pnをフィルタリングし、適応的にフィルタリングされた補償変換Cnを出力する。適応的補償フィルター8000は、強補償フィルターSC8700、弱補償フィルターWC8600、コントロール信号Enを出力するための適応的フィルターコントロール回路8500、及びエクスカーション調節ミキサー8200を含む。強補償フィルター8700は、高周波数-選択的高次線形時不変デジタルフィルターhighlyfrequency-selectivehigh-orderlineartime-invariantdigitalfilterであり、非常にジャーキーした入力ビデオのフィルタリングに効果的である。一方、弱補償フィルターWC8600は、より少なめに安定した出力ビデオの広い区域で少ない補償ウィンドウオーバーエクスカーションを産出するより低い周波数-選択的性質を有する。適応的補償フィルター8000は、強補償フィルター8700と弱補償フィルター8600との効果的な組み合わせである。エクスカーション調節ミキサー8200は、生成されたコントロール信号Enに基づいて出力する強補償フィルター8700と弱補償フィルター8600とのミキシングを行い、補償ウィンドウエクスカーションのヒストリーに基づいて適応的フィルターコントローラ8500によって出力する。図24は、図22のDIS回路の軌跡ユニット4000の適応的補償フィルター8000の最初の実施形態8000-1のブロック図である。本実施形態の適応的補償フィルター8000-1は、強補償フィルター8700と弱補償フィルター8600、及び適応的フィルターコントローラ8500-1のエクスカーション計算器8510へのフィードバックループを含む。図24を参照すると、強補償フィルター8700は、視覚的によく安定化されたビデオを得て高周波数-選択的な出力Fnを有するために、約1.0Hzのカットオフ周波数を有し、急激なロールオフを有する高次線形時不変循環デジタルフィルターhigh-orderlineartime-invariantrecursivedigitalfilterである。弱補償フィルター8600は、高次又は低次線形時不変循環デジタルフィルターである。弱補償フィルター8600は、オーバーエクスカーションを減らすために、1Hzより高いカットオフ周波数例えば、1、2Hzを有し、緩やかなロールオフを有する更に低い周波数-選択的な出力Gnを有する。適応的補償フィルター8000-1のエクスカーション調節ミキサー8200-1は、スカラーコントロール信号Enによって強補償フィルター8700の出力Fnと弱補償フィルター8600の出力Gnとを結合するエクスカーション調節適応的フィルタリングを行う。強補償フィルター8700の出力Fnと弱補償フィルター8600の出力Gnは、いずれも中間に起こる補償変換であり、エクスカーション調節ミキサー8200-1の出力Cnも補償変換である。エクスカーション調節ミキサー8200-1は、CnCn=1-EnFnEnGnを出力する。ここで、Enは、[0,1]の範囲での非線形的に標準化されたスカラーコントロール信号である。は、スカラーと変換との間の乗算演算であり、変換にマッピングされる。は、2つの変換の間の加算演算であり、変換にマッピングされる。従って、本実施形態において、適応的補償フィルター8000-1は、強補償フィルター8700と弱補償フィルター8600との線形結合である。従って、適応的補償フィルター8000-1は、線形重畳linearsuperpositionの原則によって知られた安定した性質を有する効果的な高次線形時不変循環デジタルフィルターである。線形結合された補償変換Cnは、補償ウィンドウエクスカーションのヒストリーに基づいてスカラーコントロール信号Enによって制御される。ヒストリー内の小さなエクスカーションは、小さなEnを産出するので、現在フレームnに対する強補償フィルター8700の影響は大きくなる一方、ヒストリー内の大きなエクスカーションは、1に近いEnを産出するので、現在フレームnに対する弱補償フィルター8600の影響が大きくなる。ヒストリー内の中間値のエクスカーションは、強補償フィルター8700及び弱補償フィルター8600の影響に比例するように割り当てる。従って、強補償フィルター8700は、小さなエクスカーションに主たる貢献を提供し、それは、高周波数ジッタをフィルタリングするのに非常に効果的である。そして、より大きなエクスカーションで弱補償フィルター8600の貢献がより多いために、オーバーエクスカーションの発生が急減する。適応的補償フィルター8000-1は、優れたビデオ安定化された性質を保持しながら、入力ビデオの大きな動きによる過度なオーバーエクスカーションを防止する。図24を参照すると、適応的フィルターコントローラ8500-1は、エクスカーション計算器8510、4つのエクスカーションヒストリー積分器8520、及び調節因子計算器8530-1を含む。適応的フィルターコントローラ8500-1は、フィードバックループの一部である。エクスカーション計算器8510は、以前の適応的補償フィルター出力Cn-∞、...Cn-2、Cn-1から得られたEnを出力する。nは、時間連続した性質を表わし、EnとCnは、実現可能ではない遅延のないループを形成しない。従って、上記実施形態は、リアルタイムビデオ安定化に適し、予測可能な性質の概略的な線形時不変フィルターを含む。エクスカーション計算器8510は、エクスカーション調節ミキサー8200-1によって出力された補償変換Cnのフィードバックを受信する。エクスカーション計算器8510は、補償ウィンドウの4つのエッジの位置に基づいてフレーム別に左側、右側、下方、上側のエクスカーションを別途に計算するため、u0計算器、u1計算器、v0計算器、及びv1計算器を含む図21参照。適応的補償フィルター8000-1は、循環フィルターの使用を通じたエクスカーションヒストリーを含む。エクスカーション計算器8510の各側の出力は、本質的に低域通過循環フィルターであるエクスカーションヒストリー積分器によって個別的に時間に対して積分される。各低域通過循環フィルターHu0、Hu1、Hv0、及びHv1の出力は、調節因子計算器8530-1に供給される。調節因子計算器8530-1は、4つの時間に対して積分されたエクスカーション量Hu0、Huu1、Hv0、及びHv1のうちから最大値を選択し、連続区間[0,1]で非線形的に標準化されたスカラーコントロール信号Enを生成させる。調節因子計算器8530-1は、FnとGnとのミキシングを調節するために、非線形的に標準化されたスカラーコントロール信号Enを出力する。小さな値のEnは、小さなエクスカーションのヒストリーを意味し、大きな値のEnは、大きなエクスカーションのヒストリーを意味する。従って、補償変換Cnを生成させ、出力するためのスカラーコントロール信号Enの制御下のFnとGnとのミキシングは、補償ウィンドウエクスカーションのヒストリーに基づく。本実施形態は、周波数オーバーエクスカーションなしに優れた安定化を提供し、既知の周波数応答と予測可能な安定化性質とを有し、リアルタイムビデオ安定化に適切である。上記開示した発明は、実施形態として考慮されたものであるので、制限されて解釈されてはならず、請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。従って、請求項及びその均等物の最大限の解釈によって、発明の保護範囲は、法によって許容される最大の内容まで含まれなければならず、上述した詳細な説明によって制限的に解釈してはならない。"