(57)【要約】【課題】デジタルイメージ安定化装置及び方法を提供する。【解決手段】デジタルイメージ安定化方法は、理想的な特徴点を選択するための特徴点分類アルゴリズム、選択された特徴点のモーションベクトルを得るための検索アルゴリズムに基づいた計算上効率的なタイルベクトル、及びベクトルサイズ比率とアングル差とに基づいた選択された特徴点のペアをグループ化するための特徴点モーションベクトルグループ化／比較プロセスを含む。デジタルイメージ安定化方法は、タイルモーションベクトルグループ及び特徴点モーションベクトルグループの複数の変換の各々のスコアリングに基づいて、ビデオフレームのシーンで静止／背景オブジェクトを表わす主要変換を選択する段階と、静止（背景）グループのヒストリー及び複数のモーションベクトルグループの各々のヒストリーに基づいて大型移動オブジェクトを除外する段階と、を含む。【選択図】図１５
2012138906.tif 000002
【特許請求の範囲】
【請求項１】
第１イメージフレームを表わす第１イメージデータを受信する段階と、
前記第１イメージフレームの一部を複数のタイル（ｔｉｌｅｓ）に分ける段階と、
各タイルの特徴点（ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ）を識別する段階と、
第２イメージフレームを表わす第２イメージデータを受信する段階と、
前記識別された特徴点に相応する特徴点モーションベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒｓ）を得る段階と、
モーションベクトルを類似したモーション特性のモーションベクトルグループにグループ化する段階と、
前記第１イメージフレームの場面（ｓｃｅｎｅ）内の静止客体（ｓｔａｔｉｏｎａｒｙ  ｏｂｊｅｃｔ）の動きを表わすモーションベクトルを含むグループを選択する段階と、
少なくとも１つの変換特徴個数スコア（ｔｒａｎｓｆｏｒｍ−ｆｅａｔｕｒｅ  ｎｕｍｂｅｒｓ  ｓｃｏｒｅｓ）及び変換規模スコア（ｔｒａｎｓｆｏｒｍ−ｅｘｔｅｎｔ  ｓｃｏｒｅｓ）を含むスコアリング関数を用いて、モーションベクトルの第１グループの変換の中から選択することで補償変換を識別する段階と、を有することを特徴とするビデオデータ処理方法。
【請求項２】
前記タイルのそれぞれに相応するタイルモーションベクトルを得る段階を更に含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項３】
前記モーションベクトルをモーションベクトルグループにグループ化する段階は、ベクトルサイズ比率及びアングル差に基づくことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項４】
補償ウィンドウの過度なオーバーエクスカーション（ｅｘｃｅｓｓｉｖｅ  ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）を防止するために、時間積分されたエクスカーションに基づいて、前記補償変換を適応的にフィルタリングする段階を更に含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項５】
前記場面内の大型移動客体を識別し、該大型移動客体に相応する補償変換を除く段階を更に含むことを特徴とする請求項１に記載のビデオデータ処理方法。
【請求項６】
イメージデータのフレームを受信する受信器と、
第１モーション特性を有するモーションベクトルの第１グループと、第２モーション特性を有するモーションベクトルの第２グループとを保存するメモリと、
前記モーションベクトルの前記第１グループ及び前記第２グループの変換から、補償されるカメラの動きを表わす補償変換を識別する変換選択器と、
非線形的に正規化された時間積分されたエクスカーション（ｔｉｍｅ−ｉｎｔｅｇｒａｔｅｄ  ｅｘｃｕｒｓｉｏｎｓ）に基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止する適応フィルターと、を備えることを特徴とするイメージ処理回路。
【請求項７】
イメージをキャプチャーするイメージセンサーと、
キャプチャーされたイメージをイメージデータのフレームに変換するイメージデータ回路と、
イメージ処理回路と、を備え、
前記イメージ処理回路は、
前記イメージデータのフレームを受信する受信器と、
客体（ｏｂｊｅｃｔ）の動作を感知してモーションベクトルを生成するモーションベクトル感知器と、
前記モーションベクトルの変換から、補償されるカメラの動きを表わす補償変換を識別する変換選択器と、
補償ウィンドウのオーバーエクスカーションをフィルタリングする適応フィルターと、
前記補償変換と前記適応フィルターの出力とに基づいて、キャプチャーされたイメージを調節する補償ユニットと、を含むことを特徴とするカメラ。
【請求項８】
前記モーションベクトルを特徴点グループ及びタイルグループを含む少なくとも２つのグループのうちの１つにグループ化するグループ化回路を更に含み、
前記タイルグループは、ビデオフレームから分割された重ならないタイルを含むことを特徴とする請求項７に記載のカメラ。
【請求項９】
前記変換選択器は、ヒストリースコア、モーションスコア、特徴スコア（ｆｅａｔｕｒｅ  ｓｃｏｒｅ）、及び規模スコア（ｅｘｔｅｎｔ  ｓｃｏｒｅ）から選択された複数のスコアリング関数に基づいて、前記補償変換を識別することを特徴とする請求項７に記載のカメラ。
【請求項１０】
前記適応フィルターは、非線形的に正規化された時間積分されたエクスカーションに基づいて、補償ウィンドウの過度なオーバーエクスカーションを防止することを特徴とする請求項７に記載のカメラ。
【請求項１１】
前記適応フィルターは、循環フィルターの使用によってエクスカーションヒストリーを保持することを特徴とする請求項７に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルイメージ安定化（ｄｉｇｉｔａｌ  ｉｍａｇｅ  ｓｔａｂｉｌｉｚａｔｉｏｎ：ＤＩＳ）装置及び方法に係り、より詳細には、デジタルイメージ安定化のために、感知し、選択し、特徴点（ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ）をグループ化（ｇｒｏｕｐｉｎｇ）するデジタルイメージ安定化装置及び方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ、及びハンドヘルドデバイスは、カメラが、人の手によって作動される間に、写真や映像を撮影するために使われる。従って、ビデオカメラは、写真や映像を撮影する間に、手ぶれやジッタ（ｊｉｔｔｅｒ）を伴って撮影がなされうる。ジッタは、水平的要素、垂直的要素、回転的要素を含みうる。回転は、イメージキャプチャー回路の焦点面に対して垂直軸に、イメージキャプチャー回路の焦点面に対して水平軸に、又は水平軸と垂直軸とに対する傾斜軸になされうる。ジッタは、ハンドキャプチャードビデオを見る人の注意力を散漫にし（ｄｉｓｔｒａｃｔｉｎｇ）又は方向感を失わせ（ｄｉｓｏｒｉｅｎｔｉｎｇ）、従ってデジタル的にカメラの軌跡（例えば、連続したフレームで感知されるジッタ）を予測し、同じ場面（ｓｃｅｎｅ）の映像フレームのシーケンスからジッタをフィルタリングするデジタル回路を用いることが要求される。連続したフレーム間のカメラ軌跡を予測し、映像フレームの配列からカメラ軌跡によって引き起こされたジッタをフィルタリングするために使用される回路は、ビデオカメラ自体に含まれ、撮影された映像フレームの保存の前に（ビデオカメラがリアルタイムＭＰＥＧエンコーダを含む場合、ＭＰＥＧエンコーディング以前に）、リアルタイムでジッタを除くように作動する。一方、連続した映像フレーム間でカメラ軌跡を予測し、映像フレームの保存された配列からジッタをフィルタリングするために使用される回路は、デジタルイメージ安定化方法を具現したソフトウェアによって制御される一般的なマイクロコンピュータやデジタルイメージ安定化方法を行うために最適化されたＡＳＩＣに具現されたＭＰＥＧ映像エンコーダのような専用ハードウェアであり得る。
【０００３】
安定に固定又は移動するビデオカメラによって生成された映像は、キャプチャーされた映像内に主に滑らかな動作（並進（平行移動）、回転）を含む。しかし、不安定なビデオカメラは、ビデオイメージを通じて非常に頻繁なジッタ（並進的に、及び／又は回転的に）映像を発生させる。
【０００４】
物理的イメージ装置からキャプチャーされたデジタルイメージシーケンスは、度々所望していないに非常に頻繁なジッタ（ｊｉｔｔｅｒｉｎｇ）モーションを表示する。イメージシーケンスに表われたジッタ動作の全体は、キャプチャーされたシーケンスの物体（ｏｂｊｅｃｔ）に対してイメージキャプチャー装置の物理的特性に依存する。場面の深さ（ｄｅｐｔｈ）、及びマウントの重さ、慣性、均衡による映像機のマウントの不安定は、所望しない全体的なジッタモーション（ｊｉｔｔｅｒｙ  ｇｌｏｂａｌ  ｍｏｔｉｏｎ）を作り出す。
【０００５】
デジタル安定化システムは、先ず所望しない（意図しない）動作（ｍｏｔｉｏｎ）を推定した後、イメージシーケンスに修正を加える。安定化された映像の視覚的効果は、カメラ軌跡推定の品質に大きく依存する。デジタルイメージ安定化アルゴリズムは、２つの連続したフレーム間のジッタリモーションを推定するために、適切に追跡された（ｗｅｌｌ−ｔｒａｃｋｅｄ）特徴点を使用する。ＤＩＳは、不安定なビデオカメラによって引き起こされた意図していない急な動き（ｊｅｒｋｙ  ｍｏｔｉｏｎ）を含む他の不安定な映像から、空間的に安定した映像を産出するハードウェア及び／又はソフトウェア的な方法によって具現されうる。一般的なＤＩＳ技術で、カメラの動きは、場面の様々なポイントでモーションベクトルを分析することで感知される。しかし、モーションベクトルは、カメラの動きと同様に物体の動きによって生じる。
【０００６】
このポイントが経時的に（ｔｉｍｅ  ｗｉｓｅ）隣接したフレームで感知可能な特徴点としてどのくらい適するかを表わすフレームの各ピクセルのために数字的なスコア（ｎｕｍｅｒｉｃａｌ  ｓｃｏｒｅ）を提供する関数がある。関数の一例として、ハリスコーナー感知器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）がある。しかし、特徴点のサイズは、イメージの他の領域毎に類型的に非常に異なる。ＤＩＳ方法は、各ピクセルの数字的なスコアを比較した全体スレショルド値によるが、必ずしも特徴点の最適分布で発生するものではない。これにより、低いコントラストを有する領域（例えば、雲が殆どない青空又は特徴点のない）は、非常に小さい特徴点を有する。一方、非常に多くの構造物を有する領域は、特徴点が互いに非常に近いことがある。特徴点の誤った分布は、非常に近接した特徴点のモーションベクトルを計算するに当たって、計算上の負担を増加させ、正確なモーションベクトルを算出することができない。
【０００７】
ＤＩＳ方法の具現において、回路の電力消耗及びＤＩＳの遂行に必要な時間消耗を減らして、計算の負担を最小化することが要求される。またカメラ軌跡を感知及び測定し、ジッタを正確に特性化することが要求される。その結果、ジッタが正確に補償されて保存／表示される映像からジッタが正確に除去されうる。
【０００８】
数学的処理で、アフィン幾何学は、アフィン変換によって変わらずに保持される幾何学的な特性の研究である（例えば、非単数線形変換及び並進（ｎｏｎ−ｓｉｎｇｕｌａｒ  ｌｉｎｅａｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ  ａｎｄ  ｔｒａｎｓｌａｔｉｏｎｓ））。アフィン行列と呼ばれる数値係数によって定義される方程式の数学システムは、連続した各対のフレーム間又はその一部（例えば、フレーム内の物体の運動）で感知される横（又は上下）方向、回転、及びスケーラー（ｓｃａｌａｒ）（例えば、ズームイン又はズームアウト）の動きで特性化されて発展した。
【０００９】
これにより、ジッタは、場面で主要変形（ｐｒｉｎｃｉｐａｌ  ｔｒａｎｓｆｏｒｍ）又は全体変形（ｇｌｏｂａｌ  ｔｒａｎｓｆｏｒｍ）と呼ばれるあるアクチュアリーステーショナリー物体（ａｃｔｕａｌｌｙ  ｓｔａｔｉｏｎａｒｙ  ｏｂｊｅｃｔ）（例えば、岩、テーブル、駐車した車、山、及び太陽）と関連して第１アフィン変形行列によって特性化されうる。一方、フレーム内の動く物体（例えば、鳥、人、球、動く車）は、追加的なアフィンマトリックスによって特性化されうる。
【００１０】
ユーザの手ぶれ（ｊｉｔｔｅｒ）によって生じるカメラの動きを表わす主要変形（ｐｒｉｎｃｉｐｌｅ  ｉｎｔｅｒ−ｆｒａｍｅ  ｔｒａｎｓｆｏｒｍ）は、時間ｔでキャプチャーされた各フレームでアクチュアリーステーショナリー物体と関連した１つ又はそれ以上の関心のあるポイント（これを特徴点と称する）を感知し、経時的に隣接したフレーム（ｔ＋１）で同じ特徴点を探し、特徴点のそれぞれのモーションベクトルを計算することで計算されうる。特定物体と関連する複数のモーションベクトルは、物体のアフィン変形（即ち、次のアフィン方程式によって動きを感知する）の計算に使われる。
ｘ′＝ｓｘ＊ｘ＋ｒｙ＊ｙ＋ｔｘ
ｙ′＝ｒｘ＊ｘ＋ｓｙ＊ｙ＋ｔｙ
【００１１】
連続したフレーム間の特徴点のモーションベクトルは、映像圧縮分野で採用される多様な検索方法を使って計算されうる。そのような検索方法は、マクロブロック（ｍａｃｒｏｂｌｏｃｋ）の数学的比較、即ち経時的に近い２つのフレーム間の絶対差の和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）、絶対差の平均（ｍｅａｎ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ：ＭＡＤ）、又はエラー二乗平均（ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ：ＭＳＥ）による（例えば、現在フレームで特徴点を含む８×８ピクセルマクロブロックと、基準フレーム（ｔ＋１）の検索領域で特徴点位置が略中心となる複数の８×８ピクセルマクロブロックと、を比較することによって、基準フレーム（ｔ＋１）で特徴点の位置を検索する）。経時的に隣接したフレーム間（ｔ及びｔ＋１）の特徴点に対して中心部にあるマクロブロック移動の測定値と方向とを特徴点のモーションベクトルと言う。多様に選択された範囲でブロックマッチングアルゴリズム（Ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ａｌｇｏｒｉｔｈｍｓ：ＢＭＡ）を使用する関連技術のモーションベクトル推定方法は、アメリカ特許ＵＳ  Ｐａｔ．６８９５３６１、Ｙａｎｇ及びアメリカ特許ＵＳ  ７６８０１８６、Ｌｅｅを参照することができる。
【００１２】
ビデオ安定化アルゴリズムは、ユーザに意図された（ｕｓｅｒ−ｉｎｔｅｎｄｅｄ）カメラモーションを保持する間に、ジッタモーションを除去することができる。一般的に、ジッタは、カメラモーションがより遅くて線形的であるか、単調な間に、より迅速で非線形的な手ぶれ及びプラットフォームの振動（ｐｌａｔｆｏｒｍ  ｖｉｂｒａｔｉｏｎ）によって引き起こされる。グローバルモーション（カメラ軌跡）ベクトルは、マッチした特徴点対（ｍａｔｃｈｅｄ  ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｐａｉｒｓ）を用いて隣接したフレーム間で推定された補償変換Ｐ（ｎ）のアフィン変換パラメータに含まれる。
【００１３】
カメラジッタの補償のための補償変換Ｐ（ｎ）は、場面で実際に静止した客体（（ａｃｔｕａｌｌｙ  ｓｔａｔｉｏｎａｒｙ  ｏｂｊｅｃｔ）（例えば、岩、テーブル、駐車した車、山、太陽）に関連した第１アフィン変換行列に特性化されうる。殆どの場合に、手ぶれとプラットフォームの振動との結果からビデオフレームの並進、回転、及びスケーリングが発生することがある。このあらゆるものなどをモデリング（ｍｏｄｅｌｉｎｇ）するために、６つのパラメータのアフィン変換が要求される。
【００１４】
たとえ補償変換Ｐ（ｎ）が所望しないジッタモーションに対する補償を行うために正確に生成されたとしても、結果補償フレームは、キャプチャーされた入力ビデオフレームに関連した意味のある振動する（ｏｓｃｉｌｌａｔｉｎｇ）動きを有し、キャプチャーされた入力ビデオフレームで使用可能なイメージデータを超えて拡張されうる。この結果、補償ウィンドウのオーバーエクスカーション（ｏｖｅｒ−ｅｘｃｕｒｓｉｏｎ）が発生することがある。
【００１５】
ビデオに含まれたジャーキーモーション（ｊｅｒｋｙ  ｍｏｔｉｏｎ）を除去するために、補償ユニットは、各入力ビデオフレームの境界領域の一部を切り取る（ｃｒｏｐ）。除去された境界領域の量は、クロッピング比率（ｃｒｏｐｐｉｎｇ  ｒａｔｉｏ）によって計量されうる。大きなクロッピング比率は、境界の更に多い領域が除去されることを意味する。出力ビデオフレームは、入力ビデオフレームに重なった補償ウィンドウとしてモデリングされうる（例えば、図１４の場合）。補償ウィンドウは、入力ビデオフレームに対して回転、シフト、スケーリングされうる。
【００１６】
所定のクロッピング比率に対して、補償ウィンドウの動きの量は、補償ウィンドウエクスカーションと呼ばれる。入力ビデオフレーム境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。
【００１７】
もし、ジッタがなければ（例えば、所望していないカメラ軌跡がなければ）、補償変換Ｐ（ｎ）（実際に静止した客体の特徴点に基づく）は、少なくとも２つ以上のフレームのそれぞれで同じ位置になると予想されうる。もし、高周波数のジッタがあれば、減少したディグリー（ｄｅｇｒｅｅ）又は減少した周波数の補償ウィンドウオーバーエクスカーションを有する空間的に安定したビデオを作ることが要求される。
【００１８】
十分ではないビデオ安定化とオーバーエクスカーションとの間で適応的に均衡を取るフィルタリング方法の要求が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明の技術的な課題は、デジタルイメージ安定化を正確にすると同時に、カメラの動き又はグローバルモーションのために起こる動きの特徴点を識別して、その特徴点のモーションベクトルを得る非常に効率的なプロセスを提供することにある。
【課題を解決するための手段】
【００２０】
ＤＩＳアルゴリズムに優れた特徴点は、適切なモーション推定アルゴリズムが適用される場合、曖昧ではないモーションベクトルから算出されるポイントである。イメージで特徴点を識別するために、イメージフレームのピクセルに適用されるハリスコーナー検出器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）は、各ピクセルが特徴点としてどのくらい適するかを推定する。イメージの他の領域は、識別された特徴点候補の他の密度を有する。ラスタースキャンオーダー選択（ｒａｓｔｅｒ  ｓｃａｎ  ｏｒｄｅｒ  ｓｅｌｅｃｔｉｏｎ）及び分類（ｓｏｒｔｉｎｇ）の開示された方法は、イメージフレームの小さな領域、即ちタイルに基づいた最終特徴点分布を提供する。最終特徴点分布で、特徴点の最大数は、タイルのイメージデータ輝度の分散σ２によって線形的に増加する。
【００２１】
各イメージフレームは、小さな数（ｊ×ｋ）のタイルに分けられる。タイルの数ｊ×ｋは、ＳＤビデオで４×４からＨＤビデオで６×６又は更に大きな数の範囲を有しうる。上記範囲内の他の数（４…８）×（４…８）も可能であり有用である。タイルサイズは、少なくとも１タイルで殆どを独立してカバーして動く十分に大きな物体のようなものを選ぶことができる。その結果、物体の動きは、ＤＩＳ目的にキャプチャーされうるが、小さな物体の動きが無視される。
【００２２】
より関心のあるイメージデータを有するタイル及びより多くの特徴点のための必要性を有するタイルは、より大きな分散σ２を有すると予想される。特徴点分類アルゴリズムは、特徴点の間のプログラム可能な最小距離を探すが、これは最小限のハードウェアメモリを必要とする。
【００２３】
階層的動き推定アルゴリズムは、フレームからフレームまでの特徴点の動きの推定に使用される。この際、その後の検索レベルのためのプログラム可能な動き範囲は、意図的に小さく、ローカルな動き以上の大きな物体又はグローバルな動きを好む。その結果、動作に要求される数は最小化されるが、一方、その結果値はＤＩＳ応用に非常に適している。
【００２４】
選択された（例えば、分類アルゴリズムによって）特徴点のそれぞれに対して、そのモーションベクトルは、使用される開始ベクトルの小さな範囲内のブロックマッチングによって決定される。開始ベクトルは、現在特徴点を含むタイルとその周辺タイル（例えば、上、下、左、右の）のタイルモーションベクトルである。タイルモーション推定は、特徴点のモーションベクトルを得る最初の段階である。タイルモーション推定は、入力イメージの中心部分をカバーする（例えば、特徴点分類アルゴリズムに使われる同じタイル）重ならないタイルに基づいてなされる。タイルのそれぞれのタイルモーション推定のために、フルブロックマッチング探索（ｆｕｌｌ  ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ｓｅａｒｃｈ）がダウンサンプルされたイメージで行われる。
【００２５】
現在フレームは、標準画質ビデオ（ｓｔａｎｄａｒｄ  ｄｅｆｉｎｉｔｉｏｎ  ｖｉｄｅｏ：ＳＤ  ｖｉｄｅｏ）の場合、４から８に、高画質ビデオ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｖｉｄｅｏ：ＨＤ  ｖｉｄｅｏ）で８から１６に、第２サブサンプリングファクターｆｓ２によってサブサンプリングされる。サブサンプリングされたドメインで、フルサーチブロックマッチングがあらゆるタイルでなされ、タイルベクトルは、その後の使用のために保存される（例えば、特徴点のモーションベクトルを算出するための開始ベクトルとして）。１つのモーションベクトルは、あらゆるタイルで推定され、最も低い解像度でフルサーチができ、第２サブサンプリングファクターによりサブサンプリングされうる。最も小さなＳＡＤで算出されるモーションベクトル候補は、各タイルに割り当てられる。一実施形態によると、ボーダータイル（ｂｏｒｄｅｒ  ｔｉｌｅｓ）のために、可能な検索領域で検索領域の（部分的に）外部として検索を制限することができ、基準ブロックのために、モーションベクトルが全く生成されないこともある。解像度と関連して、タイルモーション検索は、半分−画素（ｈａｌｆ−ｐｅｌ）の正確なベクトルで発生することがある。検索領域は、単純なバイリニア補間（ｓｉｍｐｌｅ  ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）によってアップサンプル（ｕｐｓａｍｐｌｅｄ）されうる。これは、ＶＬＳＩの具現でロジック領域及びメモリに保存する非常に小さなローカルメモリにのみ使われる。
【００２６】
本発明の技術的な課題は、モーションベクトル間のサイズ比率とアングル差に基づいて、特徴点のペアをグループ化する特徴点モーションベクトルグループ化プロセスを含むデジタルイメージ安定化方法を提供することにある。本発明の一態様によるビデオデータ処理方法は、第１フレーム（ｆｒａｍｅ）を表わす第１イメージデータを受信する段階と、前記第１フレームで複数の特徴点を識別する段階と、第２フレームを表わす第２イメージデータを受信する段階と、前記特徴点のそれぞれに相応するモーションベクトルを得る段階と、現在ベクトルＡとして前記モーションベクトルのうちの第１モーションベクトルを選択し、現在ベクトルＢとして前記モーションベクトルのうちの第２モーションベクトルを選択する段階と、前記ベクトルＡと前記ベクトルＢとのベクトルサイズ比率及びアングル差に基づいて、前記ベクトルＡを前記ベクトルＢと比較する段階と、を含む。
【００２７】
前記ビデオデータ処理方法は、サイズ比率スレショルド値及びアングル差スレショルド値を設定する段階と、前記ベクトルＡと前記ベクトルＢとのベクトルサイズ比率が前記サイズ比率スレショルド値以内であり、且つ前記ベクトルＡと前記ベクトルＢとのアングル差が前記アングル差スレショルド値以内である場合、前記ベクトルＡと前記ベクトルＢとを共にグループ化する段階と、を更に含む。他の態様によると、前記ビデオデータ処理方法は、前記ベクトルＡと前記ベクトルＢとのベクトルサイズ比率が前記サイズ比率スレショルド値を外れるか、又は前記ベクトルＡと前記ベクトルＢとのアングル差が前記アングル差スレショルド値を外れる場合、前記ベクトルＡと前記ベクトルＢとを一緒にグループ化しない段階を更に含む。
【００２８】
本発明の一態様によるビデオ処理回路は、第１フレームで複数の特徴点を識別し、各特徴点で前記第１フレームと第２フレームとの間のモーションベクトルを得る特徴点回路と、現在ベクトルＡ（ｘａ、ｙａ）として前記モーションベクトルのうちの１つを選択し、現在ベクトルＢ（ｘｂ、ｙｂ）として前記モーションベクトルのうちの他の１つを選択するペアリングコントローラと、前記ベクトルＡと前記ベクトルＢとのベクトルサイズ比率に基づいて前記ベクトルＡと前記ベクトルＢとを比較するサイズ比率比較器と、前記ベクトルＡと前記ベクトルＢとのベクトルアングル差に基づいて前記ベクトルＡと前記ベクトルＢとを比較するベクトルアングル比較器と、を含む。
【００２９】
本発明の他の態様によるビデオデータ処理方法は、ビデオデータの第１フレームで各特徴点のモーションベクトルを推定する段階と、ベクトルサイズ比率及びアングル差に基づいてモーションベクトルグループに前記モーションベクトルをグループ化する段階と、前記第１フレームの場面内の静止した物体の動きを表わすモーションベクトルを含むグループを選択する段階と、を含む。前記ビデオデータ処理方法は、サブサンプルされた輝度データを使用して、前記第１フレームの一部から分割された複数のタイルのそれぞれのモーションベクトルを推定し、最も小さな絶対差の和（ｌｏｗｅｓｔ  ＳＡＤ）を有するタイルモーションベクトル候補を選択する段階と、ベクトルサイズ比率及びアングル差に基づいて前記タイルモーションベクトルを前記タイルモーションベクトルグループにグループ化する段階と、を更に含む。
【００３０】
本発明の一態様によるカメラは、イメージをキャプチャーし、複数のイメージをイメージデータの第１フレーム及び第２フレームに変換するイメージキャプチャー回路と、ビデオ処理回路チップと、を含み、前記ビデオ処理回路チップは、前記第１フレームで複数の特徴点を識別し、各特徴点の前記第１フレームと前記第２フレームとの間のモーションベクトルを得る特徴点回路と、前記特徴点のモーションベクトルの中でモーションベクトルの各ペアを選択するペアリングコントローラと、前記モーションベクトルの各ペアのベクトルサイズ比率に基づいて前記モーションベクトルの各ペアを比較するサイズ比率比較器と、前記モーションベクトルの各ペアのアングル差に基づいて前記モーションベクトルの各ペアを比較するベクトルアングル比較器と、を含む。
【００３１】
本発明の技術的な課題は、補償ウィンドウオーバーエクスカーションのヒストリーに基づいて、ビデオフレームの場面で静止／背景客体を表わす主要／補償変換Ｐ（ｎ）を適応的にフィルタリングするデジタルイメージ安定化方法を提供することにある。
【００３２】
また、本発明の技術的な課題は、強補償（ｓｔｒｏｎｇ  ｃｏｍｐｅｎｓａｔｉｏｎ：ＳＣ）フィルターを用いて高効率で予測可能なジッタ除去方法を提供することにある。前記ＳＣフィルターは、高周波数−選択的な高次線形時不変デジタルフィルター（ｈｉｇｈｌｙ  ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ  ｈｉｇｈ−ｏｒｄｅｒ  ｌｉｎｅａｒ  ｔｉｍｅ−ｉｎｖａｒｉａｎｔ  ｄｉｇｉｔａｌ  ｆｉｌｔｅｒ）である。前記ＳＣフィルターを使ったジャーキー入力ビデオの効果的なフィルタリングは、キャプチャーされた入力ビデオフレーム間の補償ウィンドウの意味のある動きを意味する。所定のクロッピング比率に対して、前記補償ウィンドウの動きの量は、補償ウィンドウエクスカーションと呼ばれる。キャプチャーされた入力ビデオフレームの境界を越えた補償ウィンドウの動きは、補償ウィンドウオーバーエクスカーションと呼ばれる。入力ビデオの大きな移動に対する前記ＳＣフィルターの厳格な適用は、多くの補償ウィンドウオーバーエクスカーションの広い区域で非常に安定した出力ビデオを産む。一方、より低い周波数−選択的な（ｌｏｗｅｒ  ｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ）特性を有する弱補償（ｗｅａｋ  ｃｏｍｐｅｎｓａｔｉｏｎ：ＷＣ）フィルターは、より少ない安定した出力ビデオの広い区域でより少ない補償ウィンドウオーバーエクスカーションを産む。
【００３３】
本発明の技術的な課題は、優れたビデオ安定性の特性を保持する一方、入力ビデオの大きな動きと共に発生する過度なオーバーエクスカーションを防止するために構成される適応的補償（ａｄａｐｔｉｖｅ  ｃｏｍｐｅｎｓａｔｉｏｎ：ＡＣ）フィルターを提供することにある。
【００３４】
本発明の一態様による線形時不変フィルターは、予測可能な特性を提供するために、ＳＣフィルターを補完するＷＣフィルターを含む。ＷＣフィルターとＳＣフィルターとの組み合わせは、複数のＫフレームの間に補償ウィンドウエクスカーションのヒストリーに基づいて制御される。ヒストリー内の小さなエクスカーションは、現在フレームｎに対するＳＣフィルターの大きな影響を許容する一方、ヒストリー内の大きなエクスカーションは、現在フレームｎに対するＷＣフィルターの大きな影響を妥当なものに作る。ヒストリー内の中間値のエクスカーションは、ＳＣフィルターとＷＣフィルターとの比例的な影響を配分する。
【００３５】
本発明の他の技術的な課題は、ＤＩＳ方法を行うためのデジタルイメージ安定化回路を提供することにある。本発明の一態様によるデジタルイメージ安定化回路は、ビデオカメラ内に含まれ、キャプチャーされたビデオフレームの保存の前に（例えば、ビデオカメラがリアルタイムＭＰＥＧエンコーダを含む場合、ＭＥＰＧエンコーディングの前に、又はＭＥＰＧエンコーディングを行う間に）、リアルタイムでジッタを除去することを活性化する。他の態様として、連続したビデオフレームのカメラ軌跡を推定し、ビデオフレームの保存されたシーケンスからジッタをフィルタリングするＤＩＳ回路は、デジタルイメージ安定化方法を行うのに最適化されたＡＳＩＣに具現されたＭＥＰＧビデオエンコーダのように、一般的な目的のデジタルイメージ安定化方法を具現するためのソフトウェアによって制御されるマイクロコンピュータ又は専用ハードウェアであり得る。
【００３６】
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明を提供する。
【図面の簡単な説明】
【００３７】
【図１Ａ】本発明の一実施形態によるデジタルイメージ安定化（ＤＩＳ）方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図１Ｂ】本発明の一実施形態によるデジタルイメージ安定化（ＤＩＳ）方法を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図１Ｃ】本発明の一実施形態によるＤＩＳ方法を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図１Ｄ】本発明の一実施形態によるＤＩＳ方法を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図１Ｅ】本発明の一実施形態によるＤＩＳ方法を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図１Ｆ】本発明の一実施形態によるＤＩＳ方法を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図２Ａ】図１Ａ〜図１Ｆに示したＤＩＳ方法において、ボーダー（ｂｏｒｄｅｒ）領域とコア（ｃｏｒｅ）領域内の複数のタイル（ｊ×ｋ）とに分けられた図１Ａの現在フレーム（Ｆｔ）を含む図１Ｅのキャプチャーされたフレームの図である。
【図２Ｂ】図１Ａ〜図１Ｆに示したＤＩＳ方法において、選択された特徴点、拒絶された特徴点、及び取り消された特徴点を示す図２Ａのイメージフレームのコア領域内の１つのタイルの図である。
【図３】本発明の一実施形態によるＤＩＳ処理を行う回路ブロック図である。
【図４Ａ】図１Ａ〜図１Ｆに示したＤＩＳ方法を行うため、図１Ａ及び図２Ａのイメージフレームの各タイル内の特徴点を識別して選択する方法を示すフローチャートである。
【図４Ｂ】図１Ａ〜図１Ｆに示したＤＩＳ方法を行うため、図１Ａ及び図２Ａのイメージフレームの各タイル内の特徴点を識別して選択する方法を示すフローチャートである。
【図５】図１Ａ〜図１Ｆに示したＤＩＳ方法におけるモーションベクトル計算段階を示すため、スーパーインポーズされたタイルモーションベクトルを有してダウンサンプルされた図１Ａの現在フレーム（Ｆｔ）を示す図である。
【図６】図１Ａ〜図１Ｆに示したＤＩＳ方法で用いられた１つの選択された特徴点のモーションベクトルを計算するブロックマッチング検索のための開始ベクトルとして図５のタイルモーションベクトルを用いることを示す図５のダウンサンプルされたフレーム内の１つのタイルの部分を示す図である。
【図７】図１Ａ〜図１Ｆに示したＤＩＳ方法を行うため、図１Ａ及び図２Ａのイメージフレーム内の選択された特徴点のモーションベクトルを計算する方法を示すフローチャートである。
【図８Ａ】カメラが並進的な動きのみで回転的な要素を有しない場合、カメラから同じ距離でビデオ場面内の同一の実際に静止した客体の２つの特徴点のモーションベクトルを示す図である。
【図８Ｂ】カメラが回転的な要素を有する場合、カメラから同じ距離で実際に静止した客体の２つの特徴点のモーションベクトルを示す図である。
【図８Ｃ】カメラが並進的な動きのみで回転的な要素を有しない場合、カメラから異なる距離で同一の実際に静止した客体の２つの特徴点のモーションベクトルを示す図である。
【図９Ａ】モーションベクトルの４つの方向及びサイズが全て異なるにも拘わらずベクトル差が同じサイズを有するそれぞれの対を示すため、ビデオ場面内の実際に静止した客体の特徴点の２対のモーションベクトルを示す図である。
【図９Ｂ】モーションベクトルの４つの方向及びサイズが全て異なるにも拘わらずベクトル差が同じサイズを有するそれぞれの対を示すため、ビデオ場面内の実際に静止した客体の特徴点の２対のモーションベクトルを示す図である。
【図１０】図１Ａ〜図１Ｆに示したＤＩＳ方法における特徴点グループ化のために用いられるアングル差の間接的な測定のための正規化されたベクトル差の計算を示す３つのベクトル図である。
【図１１】図１Ａ〜図１Ｆに示したＤＩＳ方法における図１Ｄのベクトルグループ化を行うため、図１Ａ及び図２Ｂのイメージフレーム内の選択された特徴点のモーションベクトル間のアングル差の間接的な測定のために図１０（ａ）〜（ｃ）の正規化されたベクトル差を用いてグループ化するアルゴリズムのフローチャートである。
【図１２】図１１のグループ化アルゴリズムを用いるための近似値の有効性を示し、アングル差θの関数として、正規化されたベクトル差（ａ−ｂ）のサイズ比率｜ｂ｜に対する正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜のグラフである。
【図１３】図１１の特徴点グループ化アルゴリズムを行うグループ化アルゴリズム回路１３１０を含む特徴点グループ化回路のブロック図である。
【図１４】本発明の一実施形態によるＤＩＳ方法を行うＤＩＳ回路のブロック図である。
【図１５】タイルベクトルグループのアフィン変換を計算する図１４のＤＩＳ回路内の感知ユニットのブロック図である。
【図１６】タイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリングに基づいて主要（静止／背景）変換Ｐ（ｎ）を選択することに適合した図１４のＤＩＳ回路の軌跡ユニットのブロック図である。
【図１７Ａ】図１４のＤＩＳ回路のＤＩＳ方法を行う本発明の一実施形態によるグループ変換スコアリング及び選択回路のブロック図である。
【図１７Ｂ】本発明の一実施形態によるヒストリースコア計算ユニットのブロック図である。
【図１８】本発明の一実施形態によるコレクティブ変換スコアリング及び選択回路のブロック図である。
【図１９】本発明の一実施形態による移動客体除外回路を示すブロック図である。
【図２０】本発明の一実施形態による処理を示すフローチャートである。
【図２１】本発明の一実施形態によるキャプチャーされたビデオフレーム及びＤＩＳ方法で計算された補償ウィンドウの図である。
【図２２】ＤＩＳを行うＤＩＳモジュールのブロック図である。
【図２３】本発明の一実施形態による適応的補償フィルターモジュールのブロック図である。
【図２４】本発明の一実施形態による適応的補償フィルターモジュールの概略的なブロック図である。
【発明を実施するための形態】
【００３８】
図１Ａ〜図１Ｆは、本発明の一実施形態によるデジタルイメージ安定化（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ：以下、ＤＩＳと称する）方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【００３９】
図１Ａは、２つの連続した映像フレームである、場面（ｓｃｅｎｅ）の現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）を示す。場面は、静止している物体（ｏｂｊｅｃｔ）（全景の丘、電柱、山、及び太陽）及び動く物体（左側の鳥）を含む。現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）は、図１Ｅに示したように、より広い領域を有するそれぞれの連続したキャプチャーされたフレームの一部である。より広いキャプチャーされたフレームは、ＤＩＳ以前にイメージセンサーによってキャプチャーされた原本（ｒａｗ）イメージである。基準フレーム（Ｆｔ＋１）は、ジッタ動作によって引き起こされたカメラ軌跡のために、現在フレーム（Ｆｔ）と関連して回転及び並進される。キャプチャーされたフレーム（図１Ｅ参照）の面積は、ビデオカメラのイメージセンサー（図示せず）の物理的なハードウェア面積によって一般的に予め決定される。現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）の面積は、カメラのジッタ動作のためにキャプチャーされたフレームの境界（ｂｏｕｎｄｓ）を超えた現在フレーム（Ｆｔ）の“オーバーエクスカーション（ｏｖｅｒ  ｅｘｃｕｒｓｉｏｎｓ）”の発生を避けるか、最小化するために動的に選択されうる。
【００４０】
図１Ｂは、場面内のアクチュアリーステーショナリー物体（ａｃｔｕａｌｌｙ  ｓｔａｔｉｏｎａｒｙ  ｏｂｊｅｃｔｓ）及び動く物体と関連した現在フレーム（Ｆｔ）で選択された複数の特徴点（円）を示す。現在フレーム（Ｆｔ）は、複数の矩形タイルに分けられており、各タイルは、少なくとも１つの選択された特徴点を構成する。図１Ｂに示した選択された特徴点は、図２Ａ、図２Ｂ、図４Ａ及び図Ｂに示す方法の各段階を行うことによって、及び／又は図３の回路によって、識別されて選択されうる。現在フレーム及び基準フレームは、図１Ｂに示した選択された特徴点が、図２Ａ、図２Ｂ、図４Ａ及び図４Ｂに示す方法の各段階を行うことによって識別されて選択される間に、図３に示す回路のメモリ３５０に保存される。
【００４１】
図１Ｃは、モーションベクトル（矢印）を有する現在フレーム（Ｆｔ）の各選択された特徴点を示す。図１Ｃに示した選択された特徴点のモーションベクトルは、図６及び図７に示す方法の各段階を行うことによって計算されうる。
【００４２】
図１Ｄは、場面内のモーションベクトルが、グループ化（グループＡ、グループＢ、グループＣ）されたものを示す。場面内のアクチュアリーステーショナリー物体のモーションベクトル（グループＢ、グループＣ）は、ジッタのようなカメラの動きによって引き起こされる。図１Ｄに示した選択された特徴点のモーションベクトルのグループ化は、モーションベクトルがサイズ比率及び正規化されたベクトル差を用いるペアリングアルゴリズム（ｐａｉｒｉｎｇ  ａｌｇｏｒｉｔｈｍ）に基づいて組み合わせ／グループ化（含み／除外）される図１０（ａ）、図１０（ｂ）、図１０（ｃ）、及び図１１に示す方法の各段階によって行われる。
【００４３】
図１Ｅは、イメージセンサー（図示せず）によって出力されたより広くキャプチャーされたフレームのより大きな背景内の基準フレーム（Ｆｔ＋１）を示す。基準フレーム（Ｆｔ＋１）の位置は、基準フレーム（Ｆｔ＋１）のアフィン係数を定義するために、図１Ｄに示したアクチュアリーステーショナリー物体のグループＢ及びグループＣのモーションベクトルを用いることによって決定される。基準フレームの境界を超えてキャプチャーされたフレームのイメージデータは、グループＢ及びグループＣのモーションベクトルが計算される図６及び図７に示す方法の各段階を行う回路に使用されるように作られる。
【００４４】
図１Ｆは、図１Ｄに示したアクチュアリーステーショナリー物体のモーションベクトルによって示されるジッタカメラモーションを除去するためのイメージセンサー（図示せず）によって受信される位置における基準フレーム（Ｆｔ＋１）を示す。基準フレーム（Ｆｔ＋１）のアフィン係数は、カメラのジッタモーションを補正するために基準フレーム（Ｆｔ＋１）を回転させ、並進させる補償回路（図示せず）によって適用される。
【００４５】
＜特徴点識別、分類、及び分布＞
図２Ａは、図１Ａ〜図１Ｆに示したＤＩＳ方法において、特徴点識別段階と一致するように分類することを容易にするために、ボーダー（ｂｏｒｄｅｒ）領域とコア（ｃｏｒｅ）領域内の複数のタイル（ｊ×ｋ）とに分けられた図１Ｅに示したような現在フレーム（Ｆｔ）のキャプチャーされたフレームの図である。ボーダー領域及びコア領域の境界線は、現在フレーム（Ｆｔ）の境界が、例えば、現在フレームのオーバーエクスカーションを阻むか又は減らすために、動的に受信されたイメージデータコンテンツによって示されるジッタカメラモーションの量に基づいて選択されるか又はハードウェアや受信されたイメージデータコンテンツから独立してソフトウェアによって予め決定されうる。従って、コア領域は、図１Ａに示した現在フレーム（Ｆｔ）のサイズ及び位置に対応するか、或いは対応しないこともある。
【００４６】
それぞれのキャプチャーされたビデオフレームは、ＤＩＳに適した優れた特徴点分布を提供する特徴点をアルゴリズム的に選択するために、小さな数の重ならないタイル（例えば、標準画質では４×４タイル、高画質では６×６タイル、もしくはそれ以上のタイル）に分けることができる。イメージの更に他の領域は、適切な特徴点の他の密度を有しうる。極端な一例として、雲ひとつない青空の場合、フレームの領域は、適切な特徴点を有することができない。他の領域で、潜在的な特徴点は、非常に密集しうる。グローバル基盤スレショルド値（ｇｌｏｂａｌ−ｂａｓｅｄ  ｔｈｒｅｓｈｏｌｄ）に基づいてあらゆる特徴点を識別して選択する場合、特徴点は、イメージの小さな領域に密集し、これは、低級なＤＩＳ結果に繋がることがある。潜在的に更に関心のあるモーションがあるために、構造物がより多いイメージの領域に、より多くの特徴点が位置する必要がある。密集領域で他の注目すべき課題は、如何にあらゆる特徴点が一塊に密集しないようにするかである。従って、本発明の技術的な課題は、ＤＩＳに使われる特徴点の間で最小距離（ＭＩＮ＿ＤＩＳＴ）を確保する効果的な方法を提供する。
【００４７】
ＤＩＳアルゴリズムの安定性のために、特徴点の全体数を制限する同じ時間の間の特徴点は、最大限広く分布する。特徴点の‘望ましい分布’は、次のように表現される。それは、広い凸状の外形を有する。特徴点は、互いに対して過度に近くない（ＭＩＮ＿ＤＩＳＴ）。タイルに適した特徴点が殆どない場合、特徴点が最小限に選択される。他のタイルに適した特徴点がより多い場合、特徴点がより多く選択される（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝ｍｉｎ＿ｆｅａｔｕｒｅｓ＋ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ＊（ｔｉｌｅ＿ｖａｒｉａｎｃｅ  σ２／ｔｏｔａｌ＿ｖａｒｉａｎｃｅ））。
【００４８】
各タイルでの最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、タイルの輝度分散（σ２）によって決定される。
【００４９】
一実施形態において、各タイルでの最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、タイル当たりの最小プログラム可能な特徴点数（ｍｉｎ＿ｆｅａｔｕｒｅｓ）と最大プログラム可能な追加特徴点数（ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ）とに、特定タイルの分散（ｔｉｌｅ＿ｖａｒｉａｎｃｅ、σ２）をタイルの分散の総和（ｔｏｔａｌ＿ｖａｒｉａｎｃｅ）で割った値を、乗算して加えた値である。タイルが異なるサイズであれば、補正ファクターが適用可能である。従って、タイル当たりの最終的に選択された特徴点数の最大値は、最小特徴点数（ｍｉｎ＿ｆｅａｔｕｒｅｓ）とタイル分散（σ２）に比例した対応するタイルの加重値（ｗｅｉｇｈｔ）によって正規化された分散特徴点数（ｖａｒ＿ｆｅａｔｕｒｅｓ）との和に代替されうる。ボーダータイルは、ボーダー領域を含んでおり、より広いため、より高い加重値が付与される。このような代替例の場合、所定のタイルに対する最大特徴点数は、次の数式１のように計算される。
【数１】
2012138906.tif 000003
【００５０】
従って、最大選択された特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、全てのタイルで一定に保持されないか、現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）の間で一定に保持されない。
【００５１】
一実施形態において、各タイル当たりの最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、各タイルの輝度分散（σ２）及びフレームの全体分散の計算が前に要求され、この全体輝度分散で割った各タイルの輝度データの分散（σ２）の関数である。当該技術分野で通常の知識を有した者は、他の関数（例えば、タイル分散（σ２）だけではなく、平均輝度値を含む関数）でも可能であるということを容易に理解することができる。
【００５２】
特徴点を識別するために、ハリスコーナー検出器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）又はこれと類似したコーナー検出器（Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）が使用されうる。ハリスコーナー検出器は、イメージのあらゆるピクセルを可能性のある特徴点候補として評価する。先順位の特徴点候補は、フィーチャークオリティー推定関数（ｆｅａｔｕｒｅ  ｑｕａｌｉｔｙ  ｅｓｔｉｍａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）が部分的な最大値を有するポイントである。特徴点選択の開示された方法は（このピクセルが特徴点としてどのくらい適するかを評価する）、各識別された特徴点の結果値をグローバル基盤スレショルド値よりはローカルスレショルド値と比較することによって、ハリスコーナー検出器によって識別された特徴点の選択を最適化する。従って、開示された方法は、各ローカル領域での特徴点密度及びフレームの他の部分との対比における差を考慮する。
【００５３】
得られた特徴点分布は、各タイルの特徴点数がタイルの輝度イメージデータの輝度分散（σ２）に線形的に比例して増加するビデオフレーム（重ならないタイル）の小さな領域に基づく。より関心のあるイメージを有するタイル及びより多くの特徴点に対する要求は、より高い輝度分散（σ２）を有する。
【００５４】
図４Ａ及び図４Ｂは、同じ時間に小さいローカル状態情報が必要であり、ハードウェア構築コストを減らしうる各タイルの特徴点の間の最小距離（ＭＩ  Ｎ＿ＤＩＳＴ）を保持する方法を示すフロー図である。
【００５５】
図２Ｂは、選択された特徴点（黒）、拒絶された特徴点（白）、及び選択されたが取り消された特徴点（×表示された黒）を示す図２Ａのイメージフレームのコア領域内の何れか一つのタイルの図である。図２Ｂで小さな四角形に見える特徴点は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補として識別され、順次に図４Ａ及び図４Ｂに示した方法と関連したラスタースキャン順に選択されるか、拒絶されるか、取り消される。
【００５６】
各タイルに対して識別された特徴点候補のうちから最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は選択される。本発明の一実施形態によると、各識別された特徴点候補は、例えば、次のようなラスタースキャン順に選択されうる。
【００５７】
ｉ．識別された特徴点候補は、ハリスコーナー推定関数がプログラム可能なスレショルド値を超過し、推定がローカル最大値を有するピクセルである。ローカル最大値になるためには、問題となる位置での値が、スキャンオーダーにおいて、このピクセルの次（ｆｏｌｌｏｗ）で、直接的であり対角に隣り合ったピクセルの値より大きいか又は同じでなければならず、スキャンオーダーにおいて、このピクセルに先行し（ｐｒｅｃｅｄｅ）全て直接的であり対角に隣り合ったピクセルの値より大きくなければならない。
【００５８】
ｉｉ．特徴点候補が同一である場合、各タイルのための既定の最大特徴点候補数（例えば、３２、４８、６４、又は最終的に選択されたより高い特徴点最大値）を保存することができるデータ保存構造（例えば、他の実施形態として具現されうる分類されたリスト）で保存され、プログラム可能な閉鎖（ｌｏｃｋｏｕｔ）範囲（ＭＩＮ＿ＤＩＳＴ）内にある更に高い推定関数値を有する特徴点候補はないと仮定する。図示する目的で、本実施形態を表わすために３２の最大値が選択される。
【００５９】
ｉｉｉ．後に識別された特徴点候補がデータ構造に保存された場合、閉鎖範囲（ＭＩＮ＿ＤＩＳＴ）よりこのポイントに更に近い、即ちより小さな推定関数値を有する他の特徴点候補は、データ構造から除去される。
【００６０】
例えば、タイル（５，４）の特徴点候補の既定の最大値が４（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝４）と仮定する。図２Ａのタイル（５，４）は、図２Ｂのように４つの最終的に選択された特徴点（黒：ラスタースキャン順に、ＳＦＰ３、ＳＦＰ４、ＳＦＰ５、及びＳＦＰ７）、３つの選択された後に取り消された特徴点（×表示された黒：ＳＦＰ１、ＳＦＰ２、及びＳＦＰ６）、及び２つの拒絶された（選択されていない）特徴点（白）を含む。選択されてから取り消された特徴点（×表示された黒：ＳＦＰ１、ＳＦＰ２、及びＳＦＰ６）は、図４Ａ及び図４Ｂの方法を行うラスタースキャン順に特徴点として選択されたが、後に特徴点候補として識別されて選択されたより広い特徴点の排他的領域（ｅｘｃｌｕｓｉｏｎａｒｙ  ｚｏｎｅ：ＭＩＮ＿ＤＩＳＴ）内に存在するため、選択された特徴点としては、順次に取り消された特徴点候補であり得る。或いは、選択された特徴点のリストが一杯になって（選択された特徴点候補の数：ＳＦＰ＿ｃｏｕｎｔ＝ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）、先行して選択された特徴点が、選択された特徴点のリストのうち、最も小さく、後に識別されて選択された特徴点候補より小さいため、選択された特徴点としては、順次に取り消された特徴点候補であり得る。
【００６１】
選択されてから取り消された特徴点ＳＦＰ１は、図４Ａ及び図４Ｂの方法によるラスタースキャン順に識別されて選択された第１特徴点であった。次いで、選択されてから取り消された特徴点ＳＦＰ２は、識別されて選択されたが、ＳＦＰ２が選択された後に、ＳＦＰ２より大きい特徴点ＳＦＰ３が識別された。ＳＦＰ２が、より大きく、選択された特徴点ＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）内にあるため、ＳＦＰ２は、ＳＦＰ３が選択されると直ちに取り消される。ＳＦＰ３が選択された後に、特徴点候補は、ＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）の右下のコーナーで識別され、特徴点候補がＳＦＰ３より小さく、排他的領域内にあるため、それは、直ちに拒絶（選択されずに）される。次に、特徴点候補は、ＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）のすぐ外の下で識別され、ＳＦＰ４が特徴点候補として選択される（後で取り消されない）。そして、特徴点候補は、更にＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）のすぐ右下で識別され、特徴点候補としてＳＦＰ５が選択される（ＳＦＰ７の排他的領域に近いが、内側にないため後で取り消されない）。次いで、特徴点候補は、ＳＦＰ５の排他的領域（ＭＩＮ＿ＤＩＳＴ）のすぐ右下で識別され、特徴点候補としてＳＦＰ６が選択される（更に大きな、後で選択される特徴点ＳＦＰ７の排他的領域内において、後に取り消される）。ＳＦＰ６が選択されると、選択された特徴点のリストは、既に“一杯になり”（タイルに対する最大特徴点数は、４）、ＳＦＰ１は、選択された特徴点ＳＦＰ１、ＳＦＰ３、ＳＦＰ４、及びＳＦＰ５の中で最も小さく、ＳＦＰ６がＳＦＰ１より大きいために、ＳＦＰ１は取り消される。次いで、特徴点候補は、ＳＦＰ６の排他的領域（ＭＩＮ＿ＤＩＳＴ）内の下で識別され、特徴点候補としてＳＦＰ７が選択される（選択された特徴点ＳＦＰ７がＳＦＰ６より大きいためか、又はリストが一杯になるなどの理由でＳＦＰ６が直ちに取り消されたため）。次いで、特徴点候補は、ＳＦＰ７の排他的領域（ＭＩＮ＿ＤＩＳＴ）内の下で識別された特徴点候補は、以前の特徴点候補がＳＦＰ７より小さいために拒絶される（選択されず）。ＳＦＰ３がＳＦＰ７より非常に大きい場合、ＳＦＰ７が実際に取り消されたＳＦＰ２より小さいものが可能であるが、特徴点の優れた分布が得られる。プログラム可能な閉鎖範囲（ＭＩＮ＿ＤＩＳＴ）は、最終的に選択された特徴点が過度に密集されないようにする。
【００６２】
各タイルのピクセル輝度分散（σ２）は、各タイルがダウンサンプルされるダウンスケーリングプロセスの間に決定されうる。各タイルの最大特徴点数は、タイル当たりのプログラム可能な特徴点の一定の最小数と全体の変わりうる特徴点の数とを加えたものに特定タイルのタイル分散（σ２）の比率を乗算し、タイル分散の和で割ったものの総和で決定される。補正ファクターは、特徴点がボーダー領域もあり得るので、縁部とエッジのタイル領域のために加えることがあり、各タイルのために、特徴点候補の最大数までは、分類プロセス（ラスタースキャンオーダーによって識別された各特徴点に対して、選択する段階、拒絶する段階、取り消す段階）を用いて集められて保存することができる。各タイルに対して最終的に選択された特徴点候補は、単純に最大値が既定の最も高い推定関数応答を有する特徴点候補である。低いコントラストイメージデータのタイルのような最終的に使用された特徴点の結果数がプログラムされた最小数（ｍｉｎ＿ｆｅａｔｕｒｅｓ）より小さい場合に、所定のタイルで可能な特徴点候補が十分ではない場合があり得る。
【００６３】
従って、ラスタースキャンオーダーによる特徴点候補を処理する方法は、より多くの新たな特徴点候補が追って識別されて選択される間に、最大限過度に密集されないように選択された特徴点の計算された最大の数を殆ど含みうるリストを保持する段階が提供される。特徴点を分類するラスタースキャンオーダー方法は、識別された特徴点候補のうちから優先順位を付けて選択する多様な他の方法に比べて、メモリと計算量とを減らしうる利点がある。例えば、他の実施形態において、タイルの全ての特徴点候補は、識別されてメモリの大きなリストに保存され、次いで、タイルの全ての特徴点候補が識別された直後に数学的分類アルゴリズムは、セットされた他の特徴点候補の排他領域（ＭＩＮ＿ＤＩＳＴ）に属さない最も広い特徴点候補の（既定の最大のサイズの）最適のセットを探すのに適用可能である。しかし、そのような分類アルゴリズムは（タイルの識別された特徴点の全体リストを保存する）、より多くの物理的なメモリを必要とし、図４Ａ及び図４Ｂのラスター順の分類（選択する段階、拒絶する段階、取り消す段階）方法より多くの全体計算を（例えば、図２Ｂに示した結果）潜在的に必要とする。特徴点候補は、後に選択されるが、後に取り消される特徴点候補によってリストから取り消されるため、図４Ａ及び図４Ｂのラスタースキャン順の分類アルゴリズムは、必然的にグローバル最適条件である選択された特徴点のセットを提供しないが、代わりに制限されたローカルストレージを有するハードウェアに具現されうるアルゴリズムを提供する。図４Ａ及び図４Ｂの方法が、ハリスコーナー検出器が行ったピクセルオーダー（左から右に、上から下に）である“ラスタースキャンオーダー”によって識別された特徴点候補を処理するものとして表わされても、特徴点候補の選択のあらゆる順序は、全ての特徴点が識別され、結果的に順次に分類される限り、隣接しない特徴点候補の不連続した順序のような方法で使用される。
【００６４】
図３は、本発明の一実施形態による特徴点回路のブロック図である。特徴点回路３０００は、特徴点選択器３００、ＳＦＰモーションベクトル計算器７００、及び共有されるＲＡＭメモリ３５０を含む。特徴点選択器３００は、第１ダウンサンプラー３１０、特徴点候補識別器３３０、及び特徴点候補分類器３４０を含む。
【００６５】
特徴点候補識別器３３０は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補を識別し、識別された特徴点（例えば、同時に１タイルでピクセル位置とハリスコーナー応答、ラスタースキャンオーダーとによって識別された）を特徴点候補分類器３４０に出力する。特徴点候補分類器３４０は、図１Ａ、図２Ｂに示したような各タイルの識別された特徴点を、図４Ａ及び図４Ｂに示す順次的な分類方法によって行うように構成される。第１ダウンサンプラー３１０は、次の数式２によってイメージフレームの各タイルのタイル分散（σ２）を計算するタイル分散計算器３２０の機能ブロックを含む。
【数２】
2012138906.tif 000004
ｙは、タイル内の輝度分散であり、Ｎは、タイル内のピクセルの数である。
【００６６】
図３に示した回路３０００は、半導体チップ内に具現され、半導体チップは、イメージをキャプチャーするセンサーを有したカメラからイメージデータを受信するＩ／Ｏピン及びキャプチャーされたイメージをイメージデータに変換する回路素子を含む。図３の回路３０００によって処理されたデータは、Ｉ／Ｏピンを通じてカメラの他の構成要素として出力される。後述するように、メモリは、物理的なサイズが小さくなければならず、保存容量は制限される。計算に消耗する電力を減らし、要求される演算数を減らすため、特徴点選択器３００は、２、４、又は８のセレクタブルファクター（ｓｅｌｅｃｔａｂｌｅ  ｆａｃｔｏｒ：ｆｓ１）による第１ダウンサンプラー３１０で水平及び垂直にサブサンプリングされて、ルーマデータ（ｌｕｍａ  ｄａｔａ）でのみ作動することができる。本実施形態では、セレクタブルファクター（ｆｓ１）が選択される。セレクタブルファクター（ｆｓ１）によってダウンサンプルされたルーマデータは、特徴点候補識別器３３０で特徴点識別のために使われ、他の実施形態において、ＳＦＰモーションベクトル計算器７００に含まれる階層的ブロックマッチング検索ユニット７３０による特徴点モーションベクトル推定のために使われる。より小さなダウンサンプルされたイメージが、第１ダウンサンプラー３１０で計算される間に、各タイルの輝度分散（タイル分散：σ２）が計算され、３×３ハリスコーナー行列のより小さな固有値（ｅｉｇｅｎ−ｖａｌｕｅ）のグローバル最大値が識別される。フレーム上部左側のタイルの上部左側のピクセルと同格（ｃｏｏｒｄｉｎａｔｅ）であるタイルオフセットとタイルピクセルディメンションとの両方とも最も大きなサブサンプリングファクター（ｆｓ２）の積である。イメージコア領域は、全体イメージの中央に位置することが好ましい。従って、左側のボーダー領域の幅は、右側のボーダー領域の幅と同一であり、上のボーダー領域の高さは、下のボーダー領域の高さと同一である（図２Ａ参照）。
【００６７】
入力フレーム輝度データがサブサンプルされ、ＲＡＭメモリ３５０に保存されると、特徴点候補識別器３３０は、タイル順序によって順次に再び読み取り（ｓｅｑｕｅｎｔｉａｌｌｙ  ｆｅｅｄ）、識別された特徴点候補を特徴点候補分類器３４０に伝送する。特徴点候補識別器３３０の特徴点識別プロセスのために、ボーダー領域に隣接するタイル内のポテンシャル特徴点の統計領域（ｓｔａｔｉｓｔｉｃｓ  ａｒｅａ）は、ボーダー領域に拡張され、従って、各ボーダー領域タイルのピクセルは、隣接するタイルのピクセルと共に処理される。ピクセルデータは、ラスタースキャンオーダー（上から下のラインに、各ラインで左側から右側のピクセルに）によって各タイルで読み取られる。
【００６８】
各タイルを処理するために、特徴点候補識別器３３０は、ハリスコーナー検出器を用いて特徴点識別のための各内部タイルボーダー上の３つの追加的なピクセルが必要である。従って、このようなピクセルは、一回以上読み取られうる。識別された特徴点候補は、ハリスマトリックスのより低い固有値λ１がローカル最大値を有する各タイル内のピクセルである。ローカル最大値であることを証明するために、問題視されるピクセルのコーナー応答は、左上、上、右上、及び左に隣り合ったピクセルのコーナー応答より大きくなければならず、上、左下、下、及び右下に隣り合ったピクセルのコーナー応答と同じか、大きくなければならない。上記定義で、より大きな領域で同じ一定のコーナー応答を有した少なくとも１つのポイントは、潜在的な特徴点候補として識別される。ローカル最大値のための感知ロジックには、コーナー応答の２本のラインバッファを必要とする。ローカルコーナー応答の最大値を有するポイントは、先ずプログラム可能なコーナー応答スレショルド値と比較される。問題視されるポイントのコーナー応答が、スレショルド値より小さければ、上記ポイントは無視される。そうでない場合、特徴点後補とそのコーナー応答は、特徴点候補分類器３４０に伝送される。
【００６９】
特徴点候補分類器３４０は、各タイルで最も高いコーナー応答を有する特徴点候補を最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）まで記録すると同時に、同時に全ての特徴点が互いに対して最小プログラム可能な距離（排他領域：ＭＩＮ＿Ｄ  ＩＳＴ）を有するかを検証する。２つのポイントの間に上記アルゴリズムに使われる距離は、次の数式３によって決定される。
【数３】
2012138906.tif 000005
【００７０】
図４Ａ及び図４Ｂに示す分類方法は、選択された特徴点と新たに入ってくる特徴点候補の分類リストの現在コンテンツのみを考慮し、直ちに決定を出す動作によって行われる。従って、図４Ａ及び図４Ｂの方法が適用された特徴点候補分類器３４０は、本質的にグローバル最適条件を計算せず、上記出力は、入ってくる特徴点候補が提供される順序による。
【００７１】
特徴点候補分類器３４０は、順に選択された特徴点を出力し、選択された特徴点は、図３に示したメモリ３５０の一部としてＳＦＰリストに保存される。
【００７２】
図４Ａ及び図４Ｂは、図１Ａ〜図１Ｆに示したＤＩＳ方法の各段階を行うために、図１Ａ及び図２Ａのイメージフレームの各タイル内の複数の特徴点を識別して選択する方法を示すフローチャートである。上記方法は、現在フレーム（Ｆｔ）の輝度データが受信されるデータ入力段階（Ｓ４００）から始まり、その後ダウンサンプリング段階（Ｓ４０２）が行われる。初期化段階（Ｓ４０４）は、現在タイルカウンター値（ｃｕｒｒｅｎｔ＿ｔｉｌｅ）及びピクセルカウンター（ｃｕｒｒｅｎｔ＿ｐｉｘｅｌ）をリセットする。
【００７３】
次に、ハリスコーナー検出器は（Ｓ４０６、ＳＤ４０８、及びＳ４１０）、ラスタースキャン順に現在タイル（ｃｕｒｒｅｎｔ＿ｔｉｌｅ）のダウンサンプルされた輝度データの各ピクセルで、現在ピクセル（ｃｕｒｒｅｎｔ＿ｐｉｘｅｌ）をインクリメント（Ｓ４２８）する。現在ピクセルのコーナー応答がローカル最大値や限界値を超過する度に（ＳＤ４０８のＹＥＳ経路）、現在ピクセルは、現在特徴点候補として識別され（Ｓ４１０）、直ちに特徴点分類アルゴリズムに適用される（ＳＤ４１２、ＳＤ４１４、ＳＤ４１６、Ｓ４１７、ＳＤ４３０、Ｓ４１８、及びＳ４２０）。
【００７４】
リストが一杯にならなければ、特徴点分類アルゴリズムは、選択された特徴点のリストに既に保存された前に選択された最も低い特徴点候補より現在特徴点候補が大きい場合、現在特徴点候補を選択する（Ｓ４２０）。ＳＤ４１２段階でＹＥＳ経路に行かない場合（ＳＤ４１２のＮＯ経路）、現在特徴点候補としては拒絶される（Ｓ４１７）。現在特徴点候補が選択される場合（選択された特徴点カウント（ＳＦＰ＿ｃｏｕｎｔ＝ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝ｍｉｎ＿ｆｅａｔｕｒｅｓ＋ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ＊（ｔｉｌｅ＿ｖａｒｉａｎｃｅ／ｔｏｔａｌ＿ｖａｒｉａｎｃｅ））によって表わされるように）、選択された特徴点のリストが既に一杯になっていれば、その次に、リストから最も小さな前に選択された特徴点候補を取り消し（ＳＤ４３０）、そうでなければ、選択された特徴点カウント値（ＳＦＰ＿ｃｏｕｎｔ）をインクリメントする（ＳＤ４３０）。
【００７５】
特徴点分類アルゴリズムは、現在特徴点候補を、現在特徴点候補が既にリスト（ＳＤ４１４）にある前に選択された特徴点の排他領域（ＭＩＮ＿ＤＩＳＴ）内になくより大きい（ＳＤ４１６）場合、選択する（Ｓ４２０）。そして、現在特徴点候補が既にリスト（ＳＤ４１４）にある前に選択された特徴点のより大きな排他領域（ＭＩＮ＿ＤＩＳＴ）内にある場合（ＳＤ４１６）、選択されることなしに拒絶される（ＳＤ４１６のＮＯ経路及びＳＤ４１７）。一方、現在特徴点がより小さな（ＳＤ４１６）既にリスト（ＳＤ４１４）にある前に選択された特徴点の排他領域（ＭＩＮ＿ＤＩＳＴ）内にない場合、全ての小さな（ＳＤ４１６）前に選択された特徴点は取り消される（ＳＤ４１６のＹＥＳ経路及びＳ４１８）。この際、現在特徴点候補が選択され（Ｓ４２０）、選択された特徴点カウント（ＳＦＰ＿ｃｏｕｎｔ）は、それによって更新（減少するか、保持）される（Ｓ４１８）。
【００７６】
現在特徴点候補が選択されるか（Ｓ４２０）、拒絶されると（Ｓ４１７）、ハリスコーナー検出器は、現在タイル（ＳＤ４２２）内の現在ピクセル（Ｓ４１０）の次の値を出力する（Ｓ４２８）。次に識別された特徴点候補は、直ちに特徴点分類アルゴリズムに提供される（ＳＤ４１２、ＳＤ４１４、ＳＤ４１６、Ｓ４１７、ＳＤ４３０、Ｓ４１８、及びＳ４２０）。現在タイルの最後のピクセルが処理されると（ＳＤ４２２）、次のタイルが処理される（ＳＤ４２４及びＳ４２６）。最後のタイルが処理されると、次のイメージフレームが処理されて上記処理が完了する。
【００７７】
＜特徴点モーションベクトル計算＞
現在フレーム（Ｆｔ）の各タイルの特徴点が識別されて分類された後、図１Ａ〜図１ＦのＤＩＳ方法の次の段階は、選択された特徴点のそれぞれのためにモーションベクトルを得る。
【００７８】
特徴点のモーションベクトルの計算に用いられるブロックマッチングアルゴリズム（Ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ａｌｇｏｒｉｔｈｍｓ：ＢＭＡ）は、よく知られている。ブロックマッチングでは、エラー関数（例えば、ＳＡＤ、ＭＡＤ、ＭＳＥ）は、基準フレームのターゲット領域内にあるブロックの全ての可能な位置のために計算される。上記関数の最も低い結果を有した位置は、推定されたモーションベクトルの計算に用いられる。ブロックマッチングは、計算上非効率的である。計算上の消耗を減らすためのいくつかの知られた方法がある。段階的又はマルチ解像度ブロックマッチングは、グローバルムーブメントが初めにより低い解像度で計算される方法のうちの１つである。計算されたベクトルは、より高い解像度でより小さな範囲を探すのに使用され、そのために必要な計算動作の総回数を減らしうる。
【００７９】
殆どのアプリケーションやそれぞれのビデオエンコーディングのために、正確なモーションベクトルは、フレームの全てのブロックに対して必要である。従って、後の段階で検索範囲は、一般的に比較的広い。図１Ａ〜図１Ｆに示したＤＩＳ方法で、１フレームから次のフレームまでの特徴点（例えば、アクチュアリーステーショナリー物体の特徴点）の相対的な動きを推定することのみが要求される。イメージ安定化の目的で、背景及び広い物体の動きを表現する正確なモーションベクトルが要求されるが、小さな物体は、それと関連して正確なモーションベクトルを有することが要求されない。小さな物体の不正確なベクトルは、ＤＩＳアルゴリズムの後の段階でフィルタリングされる。
【００８０】
ＤＩＳ方法において重要なより大きな静止物体の特徴点がグローバルな動き又はカメラの動きのために生じる一定の動きを予想することができる。出願人は、独立して動く十分に大きな物体が少なくとも１つのタイルの殆どをカバーすることが分かり、大きな物体のモーションがタイル自体の支配的なモーションとして推定されうるが、小さな物体のモーションは、タイル自体のモーションベクトルに影響を殆ど及ぼさないことが分かった。従って、モーションベクトルを計算するプロセスは、タイルのモーションベクトルを使用しながら階層的モーション推定アルゴリズムを用いてローカルムーブメントよりタイルムーブメントを採択することによって計算を減らすように変更されうる。従って、先ず現在イメージフレームを複数のタイル（ｊ×ｋ個）に分けることである（最初の段階は、図１Ｂ及び図２Ａと関連して示した特徴点選択の目的のために既に行われた）。
【００８１】
ＤＩＳのために十分に正確な特徴点のモーションベクトルを計算する二番目の段階は、最も低い解像度のブロックマッチングを用いてタイル毎に１つのモーションベクトルを得ることである。上記段階で、所定のタイルの差の絶対値の和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）が計算される。所定のタイルのモーションベクトルは、ＳＡＤを小さくさせるベクトルである。所定のモーションベクトル候補（ｖ＝（ｖｘ，ｖｙ））のＳＡＤは、次の数式４によって決定される。
【数４】
2012138906.tif 000006
【００８２】
低い解像度のダウンサンプルされたイメージを用いることによって、計算は減って場面内の小さな物体の影響も減る。
【００８３】
三番目の段階で、タイルのモーションベクトルは、ブロックマッチングアルゴリズムに各タイル内の特徴点のモーションベクトルのローカル検索のための開始ベクトルとして用いられる。少なくとも１つのタイルの殆どをカバーすることができる十分に広い物体は、隣接するタイルに拡張され、各タイル内の特徴点は、そのタイル内で発見されるモーションベクトルより隣接するタイルのモーションベクトルに更に強く関連する。従って、所定のタイルの特徴点のモーションベクトルのためのブロックマッチング検索において、隣接する全てのタイルのモーションベクトルを複数の開始ベクトルとして用いることが効果的であり得る。ここで使用されるタイルは、少なくとも最大に支持されるモーションベクトルのサイズのボーダー領域のフレームで中央に位置し、全てのタイルの全ての特徴点のためのモーション検索は、フレーム外部のピクセルを参照せずに行われる。
【００８４】
図５は、図１Ａ〜図１Ｆに示したＤＩＳ方法におけるモーションベクトル計算段階を示すため、スーパーインポーズされたタイルモーションベクトルを有してダウンサンプルされた図１Ａの現在フレーム（Ｆｔ）を示す図である。図５に示した更に小さな（小さいピクセルと小さいデータとを有した）イメージは、水平及び垂直的にサブサンプリングすることによって、前にサブサンプルされたイメージ（図４ＡのＳ４０２）及び元の現在キャプチャーされたフレームから得られうる。サブサンプリングファクターｆｓ２（例えば、４）は、グローバル（タイル）モーション推定に使用される。４×４ダウンサンプリングは、入力サイドにオーバーラップなしに（ラウンディングで）、１６ピクセルの平均を求める。次いで、各全体のサブサンプルされたタイルを使用したブロックマッチング検索は、各タイルのモーションベクトルを決定するために行われる。
【００８５】
所定のタイルのモーションベクトルは、ＳＡＤを減らすベクトルである。関連した実施形態で、発見された最初の１つが与えられる。モーションベクトルは、近い特徴点のモーションベクトルのためのローカル検索のための開始ベクトルとして使用される。各開始ベクトルに対するモーション範囲は、プログラム可能である。
【００８６】
タイルモーション推定のために必要な動作の数がローカルモーション推定のために必要な動作の約１２％に過ぎないので、サイクル当たり約８つの絶対差の和を計算することで十分である。従って、シストリックアレイ（ｓｙｓｔｏｌｉｃ  ａｒｒａｙ）が必要なものではない。
【００８７】
図６は、図１Ａ〜図１Ｆに示したＤＩＳ方法で用いられた１つの選択された特徴点のモーションベクトルを計算するブロックマッチング検索のための開始ベクトルとして図５のタイルモーションベクトルを用いることを示す図５のダウンサンプルされたフレーム内の１つのタイルの部分を示す図である。
【００８８】
小さなローカルブロックマッチング検索は、タイル内のあらゆる特徴点のための開始ベクトルのセットのそれぞれの周りにあるより高い解像度ドメイン内で行われる。上記段階は、元のビデオ解像度で行われるか、２又は４のファクター（ｆｓ３）によってサブサンプルされうる。使用された開始ベクトルは、特徴点が属するタイルの開始ベクトルだけではなく、４つの直接隣接するタイル（上のタイル、左のタイル、右のタイル、下のタイル）に属するベクトルであり得る。従って、図６では、ブロックマッチング検索領域１に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトル、ブロックマッチング検索領域２に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトルの下の下ブロック（ｂｌｏｃｋ  Ｄｏｗｎ）、ブロックマッチング検索領域３に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトルの下の右ブロック（ｂｌｏｃｋ  Ｒｉｇｈｔ）、ブロックマッチング検索領域４に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトルの下の左ブロック（ｂｌｏｃｋ  Ｌｅｆｔ）、ブロックマッチング検索領域５に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトルの下の上ブロック（ｂｌｏｃｋ  Ｕｐ）である。他の実施形態によると、４つの対角で隣り合ったタイルの開始ベクトルも使用されうる。特に、タイルベクトルの最初のグループが１つの広い物体を連想させる互いに対して類似したサイズと方向とを有する場合（図８Ａ、図８Ｂ、図９、図１０（ａ）、図１０（ｂ）、図１０（ｃ）と関連したモーションベクトルグループ化参照）、開始ベクトルの中から選択する段階（例えば、ブロックマッチングコンピュテーションの数を減らすこと）のための他の段階が行われる。この代わりに、ブロックマッチングは所定の優先順位を有し、２以上のブロックマッチング検索領域がオーバーラップされる所でのみ、又は互いに最も近いブロックマッチング検索領域間等で行われる。
【００８９】
一般的に、特徴点に対するモーションベクトルの割り当ては、タイルからタイルに進行し、所定のタイルのあらゆる特徴点は、同じ開始ベクトル（例えば、タイルモーションベクトルの同じ選択）を使用できる。しかし、多様な実施形態において、タイルモーションベクトルの感知されたグループ内のタイルに隣接した特徴点は、グループの各メンバーで共通的に探すことができる同じ物体上の見えるポイントである可能性が大きくなるという仮定で、所定のタイルの他の部分にある特徴点は、開始ベクトルの他の選択を用いることができる。従って、ブロックマッチング検索は、初めに各タイルの境界線付近にある特徴点に対して行われ、これは、それらが自分のタイルのモーションベクトル及び／又はタイルモーションベクトルの隣接するグループのタイルモーションベクトルと殆ど又は完全に類似しているかを感知するために行われる。例えば、初めに選択された特徴点（例えば、所定のタイルの境界線付近の全てのポイント又は中央ポイントから最も遠いポイント）のモーションベクトルが、自分のタイルのモーションベクトルと同じか、類似していれば、残った特徴点のための選択された開始ベクトルのセットは減ることになる。
【００９０】
使用された各開始ベクトルのために、ローカル検索のための非常に小さな範囲を使用することができる。ここで、目標は、各々且つあらゆる特徴点のための正確なベクトルを決定するだけではない。これに関心のある特徴点は、背景や広い物体に属した特徴点である。そのような特徴点のために、タイルモーションベクトルのそれぞれは、良いか関心のある特徴点のモーションベクトルに近くなければならず、従って、各選択されたタイルモーションベクトルに対する小さなローカル検索は十分でなければならない。
【００９１】
図３を再び参照すると、特徴点回路３０００のＳＦＰモーションベクトル計算器７００は、タイルベクトル計算のための第１ダウンサンプラー３１０より更にダウンサンプルされたルーマデータを出力するための第２ダウンサンプラー７１０、各タイルのモーションベクトルを計算するためのタイルベクトル計算器７２０、及び特徴点選択器３００の特徴点候補分類器３４０から受信した各ＳＦＰのモーションベクトルを決定して出力する階層的ブロックマッチング検索ユニット７３０を含む。第２ダウンサンプラー７１０は、図５に示した深くダウンサンプルされた現在フレーム（Ｆｔ）を出力する。タイルベクトル計算器７２０は、第２ダウンサンプラー７１０によって出力された現在フレーム（Ｆｔ）の深くダウンサンプルされたルーマデータを用いて、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニット７３０は、２つの連続したフレームのフル解像度のルーマデータ（又は、第１ダウンサンプラー３１０の出力）を用いて、上述した開始ベクトルのようなタイルベクトルを用いて、特徴点選択器３００の特徴点候補分類器３４０によって出力された各選択された特徴点のモーションベクトルを決定する。
【００９２】
図７は、図１Ａ〜図１Ｆに示したＤＩＳ方法の各段階を行うために、図１Ａ及び図２Ａの現在フレーム（Ｆｔ）内の選択された特徴点（ＳＦＰ）のモーションベクトルを計算する方法を示すフローチャートである。
【００９３】
開始段階で、図３に示した階層的ブロックマッチング検索ユニット７３０は、ビデオの２つの連続したフレーム（現在フレーム及び基準フレーム）のルーマデータを受信し（Ｓ７００ｉ）、選択された特徴点のピクセル位置を受信する（Ｓ７００ｉｉ）。現在フレーム（Ｆｔ）は、図４Ａ及び図４Ｂの特徴点分類方法に既に用いられたタイルのような複数のサブサンプルされたタイルに分けられる（Ｓ７１０）。現在フレーム（Ｆｔ）は、図２Ａに示したようにボーダー領域に加えて複数のｊ×ｋタイルに分けられる（Ｓ７１０−Ａ）。各タイルと関連したルーマデータは、図５に示したようにファクター（ｆｓ２：例えば、ＳＤでは、ｆｓ２＝４、ＨＤでは、ｆｓ２＝８）によってサブサンプルされる（Ｓ７１０−Ｂ）。
【００９４】
次に、各タイルのモーションベクトルは、図５に示したように、深くサブサンプルされたルーマデータと共にフルサーチブロックマッチングを用いて計算され、サブサンプルされた解像度に比べて、ハーフペル（ｈａｌｆ−ｐｅｌ）正確度を有する（Ｓ７２０）。計算されたモーションベクトルに対応して計算された最小ＳＡＤ値は、ＤＩＳの他の特徴（例えば、小さな物体の特徴点をフィルタリングする）における用途のために保存することができる。開始ベクトルは、上述したように、Ｓ７２０段階からの計算されたタイルモーションベクトルに基づいて、現在選択されたＳＦＰのために選択される（Ｓ７３０）。階層的ブロックマッチングアルゴリズムは、フル解像度ルーマデータと共に行われ、現在ＳＦＰのモーションベクトルを決定するためにタイルベクトルに基づいて選択された開始ベクトルを使用する（Ｓ７４０）。Ｓ７３０及びＳ７４０段階は、あらゆるタイル内のあらゆるＳＦＰのモーションベクトルが計算されるまで反復される（ループＳＤ７５０及びＳ７５２）。
【００９５】
＜モーションベクトルのサイズ及び方向による特徴点グループ化＞
ビデオフレーム間のモーションは、隣接するフレーム内の識別可能な特徴点のモーションベクトルを計算することによって感知される。特徴点のモーションベクトルは、カメラ／場面のグローバルモーションと区別されるように、場面で動く物体を識別することの目的のためにグループ化される。カメラ／場面のグローバルモーションは、意図された（例えば、パンニング、そして、意図されていない（ジッタリ）グローバルモーション間を区別するために分析される。
【００９６】
ジッタ（カメラ軌跡）がなければ、アクチュアリーステーショナリー物体（例えば、岩のエッジ、山頂）の各感知された特徴点は、２以上の連続したフレームのそれぞれで同じ位置で発見されることが予見され、全ての感知された特徴点のモーションベクトルは、無効（ｎｕｌｌ）として測定される。しかし、揺れがあると、所定のアクチュアリーステーショナリー物体の多くの特徴点のベクトルは、異なるサイズと方向とを有する。ＤＩＳ回路は、複数のモーションベクトルが同じアクチュアリーステーショナリー物体によるものであるように、特徴点の複数のモーションベクトルを正しくグループ化するために使用される。
【００９７】
一般的に、カメラの動きは、並進（ｔｒａｎｓｌａｔｉｏｎａｌ）及び回転（ｒｏｔａｔｉｏｎａｌ）の動きの混合であり、カメラから場面内の物体間の距離は可変される。並進カメラ運動は、背景のカメラからの距離に基づいたモーションベクトルのサイズ差に寄与し、回転カメラ運動は、モーションベクトルのサイズ及び方向の両方に寄与する。
【００９８】
図８Ａ及び図８Ｂは、単純な並進ベクトルモーションと比較して回転カメラ運動から得られる他のベクトルを示す。図８Ａ及び図８Ｂで同じ静止した物理的物体の２つの選択された特徴点ＳＦＰ４とＳＦＰ５が物理的にカメラから同じ距離にあり、単純な並進カメラ運動の場合、ベクトルＡ及びベクトルＢは、それぞれＳＦＰ４及びＳＦＰ５のモーションベクトルであり、回転カメラ運動を含む場合、ベクトルＡ′及びベクトルＢ′は、それぞれＳＦＰ４及びＳＦＰ５のモーションベクトルであると仮定する。
【００９９】
単純な並進カメラ運動でベクトルＡ及びベクトルＢは、完全に同じモーションベクトルを有するが、ベクトルＡ′及びベクトルＢ′は、カメラから同じ距離を有するとしても、回転カメラモーションのために異なるサイズ及び方向を有する。
【０１００】
図８Ｃは、同じ静止した物体の２つの特徴点がカメラから異なる距離を有する場合、単純な並進ベクトルモーションから得られる他のベクトルを示す。同じ静止した物理的物体の２つの選択された特徴点ＳＦＰ４とＳＦＰ７が物理的にカメラから異なる距離にあり、単純な並進カメラ運動の場合、ベクトルＡ及びベクトルＣ″は、それぞれＳＦＰ４及びＳＦＰ７のモーションベクトルであると仮定する。ＳＦＰ７がＳＦＰ４よりカメラに近いため、ＳＦＰ４及びＳＦＰ７が同じ静止した物体上のポイントであるのに、ＳＦＰ４及びＳＦＰ７のモーションベクトルのサイズは異なる（ベクトルＣ″は、ベクトルＡより大きい）。
【０１０１】
従って、ベクトル差のマージンは、モーションベクトルをグループ化する間に、同じ静止した物体の全ての特徴点のモーションベクトルを共にグループ化することができるベクトルサイズ及びベクトル方向（アングル）差の各要素に起因することを説明するために必要である。モーションベクトルグループを感知する通常の方法は、エラーマージン及び簡単なモーションベクトル差を使用してエラースレショルド値を定義することである。
【０１０２】
モーションベクトル差（ΔＭ）のサイズは、グループ化決定のための基礎として使用される測定値であり、エラーマージン（ＴｈΔＭ）は、ΔＭ＝ＳＱＲＴ（（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２）＜ＴｈΔＭによって決定される。ここで、Ａ＝（ｘａ，ｙａ）及びＢ＝（ｘｂ，ｙｂ）であり、エラーマージン（ＴｈΔＭ）は、モーションベクトル差（ΔＭ：正数）のサイズのためのエラースレショルド値である。
【０１０３】
モーションベクトル差の方法のサイズは、あらゆる静止した物体の特徴点のモーションベクトルが同じ方向を有して特徴点が同じ並進カメラ運動によって全て定義されるために、カメラモーションが単純に並進（上、下、及び／又は左右）のみする時に適している。図８Ａと図８Ｃとを比べると、他の静止した特徴点のモーションベクトルは、単純な並進カメラ運動の場合にも、物体からカメラの異なる距離のために変わりうる。同じ静止した物体の特徴点のモーションベクトルのサイズ差は、一般的な通常のビデオ場面で相対的に小さく、サイズ差は、ベクトルサイズ差（｜Ａ｜−｜Ｂ｜）の、あるマージンを許容することによって容認され、モーションベクトル差（ΔＭ）の方法のサイズは、この場合に適している。
【０１０４】
図９Ａは、モーションベクトル差（ΔＭ）のサイズが、２つの特徴点を共にグループ化するための適した基礎である２つのモーションベクトルＡ、Ｂの場合を示す。
【０１０５】
モーションベクトル差（ΔＭ）は、単独で同じ場合のベクトルをグループ化するための適した基礎とならないこともある。
【０１０６】
図９Ｂは、モーションベクトル差（ΔＭ′）のサイズが、２つの特徴点を共にグループ化するための適した基礎とならない２つのモーションベクトルＡ′、Ｂ′の場合を示す。
【０１０７】
図９Ａ及び９Ｂにおいて、ベクトル対Ａ、Ｂ及びベクトル対Ａ′、Ｂ′は、ベクトル差が正確に同じサイズを有する（ΔＭ＝ΔＭ′）。各ベクトル対Ａ、Ｂ及びベクトル対Ａ′、Ｂ′は、エラーマージン（ＴｈΔＭ）を有したベクトル差（ΔＭ、ΔＭ′）のそれぞれのサイズをも有しうる。ベクトル対Ａ、Ｂは、ベクトル差（ΔＭ）のサイズに基づいて適切に共にグループ化されうる。しかし、ベクトル対Ａ′、Ｂ′は、ベクトル対Ａ′、Ｂ′が同じグループにグループ化されるためには、非常に大きなアングルの（方向の）差（例えば、ベクトル対Ａ、Ｂと比較して）を有する。
【０１０８】
ベクトル差（ΔＭ）のサイズ方法自体は、２つの特徴点が非常に大きなアングルの（方向の）差を有するので、場合によって、２つの特徴点がエラーマージン（ＴｈΔＭ）内のベクトル差のサイズを有するモーションベクトルグループ化のために適さないこともある。カメラ曲線の回転成分は、ベクトル差のサイズ方法によって感知されない同じ方向を有し、同じか又は類似したサイズを有する静止した物体の１つ以上の特徴点を作り出す。従って、ベクトル差のサイズ方法は、誤ったジッタ補償及び／又は最適化されたビデオ圧縮、過度な計算に必要な電力や時間消費及び／又は静止しているか、動く物体の誤ったビデオ圧縮によるビデオ構造（ｖｉｄｅｏ  ａｒｔｉｆａｃｔｓ）が引き起こされる。
【０１０９】
次いで、特徴点回路３０００の階層的ブロックマッチング検索ユニット７３０によって出力されたＳＦＰのモーションベクトルは、連続したビデオフレーム間の物体の感知される相対的な動きに基づいて、場面にある物体とＳＦＰのモーションベクトルとを連結させるサイズ及び方向によってグループ化される。
【０１１０】
カメラの動きが、イメージセンサー／フォトダイオードアレイの面と殆ど垂直である軸に回転成分を有する場合、１つの物体（例えば、背景）のモーションベクトルの方向は同じではないこともある。ベクトルのサイズ及び方向の両方が、実際に静止していてカメラから同じ距離にあるとしても、背景の他の特徴点とは異なりうる。
【０１１１】
グループ化決定のために、モーションベクトル差（ΔＭ）のサイズ及びエラーマージン（ＴｈΔＭ）のみを用いる代わりに、回転カメラモーションによって発生するモーションベクトル差の一定の量を感知して容認するため、モーションベクトルのサイズ比率及び正規化されたベクトル差を用いる。
【０１１２】
ベクトルＡは、Ａ＝（ｘａ，ｙａ）であり、ベクトルＢは、Ｂ＝（ｘｂ，ｙｂ）である。
【０１１３】
第１グループ化決定基準は、サイズ比率（｜ｂ｜）に基づき、次の関係が成立する。
【０１１４】
｜ｂ｜２＝（｜Ｂ｜／｜Ａ｜）２＝（｜Ｂ｜２）／（｜Ａ｜２）＝（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）
第２グループ化決定基準は、アングル差の計算のために使われた正規化されたベクトル差である｜ａ−ｂ｜に基づき、次の関係が成立する。
｜ａ−ｂ｜２＝［｛（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２｝／（ｘａ２＋ｙａ２）］
【０１１５】
第１グループ化決定は、絶対差（ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）（Ａ−Ｂ）よりはサイズ比率（｜Ｂ｜／｜Ａ｜）に基づくために、絶対エラーマージン（ＴｈΔＭ）の代わりに、サイズ比率スレショルド値（ｒｔｈ）を用いる。グループ化決定のために、サイズ比率スレショルド値の下位境界値（ｌｏｗｅｒ  ｂｏｕｎｄ）（ＭｒＬｔｈ）と上位境界値（ｕｐｐｅｒｂｏｕｎｄ）（ＭｒＵｔｈ）とを定義する。即ち、整理すれば次の通りである。
ＭｒＬｔｈ２＜｜ｂ｜２＜ＭｒＵｔｈ２
ここで、ＭｒＬｔｈ＝（１−ｒｔｈ）、ＭｒＵｔｈ＝（１＋ｒｔｈ）、及び０＜ｒｔｈ＜１である。
例えば、サイズ比率スレショルド値が３０％とすれば、サイズ比率スレショルド値（ｒｔｈ）は０．３、下位境界値（ＭｒＬｔｈ）は０．７、上位境界値（ＭｒＵｔｈ）は１．３であるので、０．７２＜｜ｂ｜２＜１．３２の関係が成立する。
【０１１６】
ベクトルＡとベクトルＢとの間のアングル差は、スレショルド値θｔｈを超過せず、第２グループ化決定基準は、｜ａ−ｂ｜２＜Ｍａｔｈ２である。
ここで、Ｍａｔｈ２＝ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθｔｈ）であり、
｜ｂ｜＝ＳＱＲＴ｛（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）｝である。
【０１１７】
これら２つのグループ化決定基準に基づいた決定を用いるグループ化方法は、回転するカメラの動きがある場合でも最適化された動きベクトルグループ化を行うことができる。
【０１１８】
図１０は、図１Ａ〜図１Ｆに示したＤＩＳ方法における特徴点グループ化のために用いられるアングル差の間接的な測定のための正規化されたベクトル差の計算を示す３つのベクトル図を示し、図１０（ａ）を参照すると、ベクトルＡとベクトルＢとの間の差ベクトル（Ａ−Ｂ）は、水平にベクトル表示（Ａ−Ｂ）を示した。便宜上、図１０（ｃ）は、図１０（ａ）及び図１０（ｂ）より大きく示した。差ベクトル（Ａ−Ｂ）の絶対値（ΔＭ（Ａ−Ｂ））は、次のように計算されうる。
△Ｍ（Ａ−Ｂ）＝ＳＱＲＴ（（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２）であり、
ここで、Ａ＝（ｘａ，ｙａ）、Ｂ＝（ｘｂ，ｙｂ）である。
【０１１９】
図１０（ｂ）を参照すると、正規化されたベクトルａは、ベクトルの絶対値｜Ａ｜によって除算されたベクトルＡとして定義され、従って、正規化されたベクトルａは、１のサイズ（ｍａｇｎｉｔｕｄｅ）を有する（図１０（ｃ）参照）。正規化されたベクトルｂは、ベクトルの絶対値｜Ａ｜によって除算されたベクトルＢとして定義される。｜Ａ｜及び｜Ｂ｜のサイズは、次の方程式によって定義される。
｜Ａ｜２＝（ｘａ２＋ｙａ２）、｜Ｂ｜２＝（ｘｂ２＋ｙｂ２）
【０１２０】
ｂ＝Ｂ／｜Ａ｜であることに注目し、従って、サイズ比率は、絶対値｜ｂ｜＝｜Ｂ｜／｜Ａ｜＝｜（Ｂ／｜Ａ｜）｜である。従って、｜ｂ｜は正規化されたベクトルｂのサイズであり、ベクトルＡのサイズ｜Ａ｜により除算されたベクトルＢによって正規化された（例えば、ｂ＝Ｂ／｜Ａ｜）。従って、サイズ比率｜ｂ｜＝ＳＱＲＴ｛（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）｝である。
【０１２１】
正規化されたベクトルａのサイズ｜ａ｜は１であるために、サイズ｜ｂ｜も、正規化されたベクトルｂのサイズ｜ｂ｜により除算された正規化されたベクトルＡのサイズ｜ａ｜との間のサイズ比率と同じである。従って、サイズ｜ｂ｜は、サイズ比率｜ｂ｜として参照される。サイズ比率｜ｂ｜は、ベクトルＡとベクトルＢとの間のアングル差θの関数ではない。
【０１２２】
最初のグループ化決定基準として、｜ｂ｜（ここで、｜ｂ｜＝｜Ａ｜／｜Ｂ｜）がサイズ比率スレショルド値の下限ＭｒＬｔｈ及び上限ＭｒＵｔｈ内にあるかをチェックする。従って、｜ｂ｜２＜ＭｒＬｔｈ２又は｜ｂ｜２＞ＭｒＵｔｈ２である場合、ベクトルＡ及びベクトルＢは、同じグループにありえない。しかし、ＭｒＬｔｈ２＜｜ｂ｜２＜ＭｒＵｔｈ２である場合、基準として、正規化されたベクトル差｜ａ−ｂ｜の使用に基づく第２比較を行う。
【０１２３】
正規化されたベクトル差（ａ−ｂ）の絶対値サイズ｜（ａ−ｂ）｜は、次の方程式によって計算される。
｜ａ−ｂ｜２＝［｛（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２｝／（ｘａ２＋ｙａ２）］
【０１２４】
正規化されたベクトル差（ａ−ｂ）は、図１０（ｃ）で示したように、絶対値サイズ｜（ａ−ｂ）｜を有し、その長さ｜ａ｜、｜ｂ｜、及び｜（ａ−ｂ）｜は、｜（ａ−ｂ）｜の反対側にあるベクトルのアングル差θを有する三角形を形成し、これは、｜（ａ−ｂ）｜もθの関数としてコサイン法則を用いることによって得られるということを意味する。コサイン法則は、他の側の長さで、三角形の知られていない側の長さと知られていない側の反対側のアングルとの間の数学的関係を定義する。正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜は、次のようなコサイン法則を用いることで得られる。
｜（ａ−ｂ）｜＝ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθ）
【０１２５】
従って、正規化されたベクトル差（ａ−ｂ）（図１０（ｃ）のアングル差θの対向側の三角形側）のサイズ｜（ａ−ｂ）｜の限界値として表現されたアングル限界値（ａｎｇｌｅ  ｔｈｒｅｓｈｏｌｄ）は、｜ｂ｜及びアングル差θの関数として計算され、アングル差θは、コサイン法則によって示される。従って、アングル差の限界値としてサイズ｜（ａ−ｂ）｜の限界値サイズＭａｔｈを定義することができ、ここで、Ｍａは、選択された限界値アングルθｔｈの関数である。従って、正規化されたベクトル差（ａ−ｂ）の計算されたサイズ｜（ａ−ｂ）｜の二乗とＭａｔｈの二乗とを比較することができる。従って、｜ａ−ｂ｜２は、ベクトルＡとベクトルＢとの間のアングル差が、それらが共にグループ化されるのに十分に小さいか否かを決定するためにＭａｔｈ２と比較される。
【０１２６】
Ｍａｔｈ２＝（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθｔｈと定義し、ここで、θｔｈは、グループ化決定の目的のための予め設定されたアングル限界値である（例えば、３０°）。そして、｜ｂ｜＝｜（Ｂ／｜Ａ｜）｜＝ＳＱＲＴ｛（（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２））｝である。
【０１２７】
｜ａ−ｂ｜２がＭａｔｈ２より小さい場合、同じグループにあり得るベクトルＡ及びベクトルＢを決定する。従って、｜ａ−ｂ｜２がＭａｔｈ２より小さい場合、適当な最後のグループ化決定は、同じグループにあるベクトルＡ及びベクトルＢである。
これにより、｜ａ−ｂ｜２がＭａｔｈ２より小さく、単に｜ｂ｜２（ここで、｜ｂ｜２＝（｜Ｂ｜／｜Ａ｜）２）がＭｒＬｔｈ２より大きく、ＭｒＵｔｈ２より小い場合、ベクトルＡ及びベクトルＢは、同じグループとなる。従って、Ｍａｔｈ２の正確な計算は、１つの二乗根（ｓｑｕａｒｅ  ｒｏｏｔ）動作を必要とし（例えば、｜ｂ｜を計算するために）、二乗根動作は、高価な計算であるか、大規模なハードウェア装置を必要とし、従って、二乗根動作の削除は重要である。出願人は、１±３０％（例えば、０．７≦｜ｂ｜≦１．３）と同じ｜ｂ｜のための優れたグループ化結果を提供し、３０゜のベクトルエラー（ベクトル差）アングル（例えば、−３０°≦θ≦＋３０゜）内のＭａｔｈのための近似化を創案（例えば、Ｍａｔｈ＝０．５）した。従って、第２グループ化基準は、｜ａ−ｂ｜２＜０．５２になる。
【０１２８】
アングル差θ、サイズ比率｜ｂ｜、及び正規化された差｜ａ−ｂ｜の間の関係をプロット（ｐｌｏｔ）した場合、図１２のグラフが得られる。
【０１２９】
図１２は、アングル差θ（０〜９０゜の間）の関数として、正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜に対する正規化されたベクトル差（ａ−ｂ）のサイズ比率｜ｂ｜のグラフであり、これは、図１１のグループ化アルゴリズムの決定段階ｄＳ１１４０で使用するための効用ある近似化の効用可能性（ａｖａｉｌａｂｉｌｉｔｙ  ｏｆ  ａｎ  ａｐｐｒｏｘｉｍａｔｉｏｎ）を示す。
【０１３０】
図１２の矩形領域の境界によって示すように、実験によって、一般的な映像（ｖｉｄｅｏ）は、１±３０％より大きなサイズ比率又は３０°より大きなアングルに至るアングル差θと共に優れたグループ化結果を提供する。この経験に基づいた範囲は、図１２のグラフに示したように、０〜０．５の間の正規化されたベクトル差の近似化のために効率的である。
【０１３１】
近似化（ａｐｐｒｏｘｉｍａｔｉｏｎ）を使用して、ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθ）は、｜ｂ｜に関係なく、０．５として近似化され、計算的な負担を減らしうる。従って、この近似化を使用して、第２グループ化決定基準は、｜ａ−ｂ｜２＜０．５２になる。
【０１３２】
図１１は、本発明の一実施形態によるグループ化過程を示すフローチャートである。グループ化過程１１００は、図１Ａ〜図１Ｆに示したＤＩＳ方法の図１Ｄのベクトルグループ化段階を実行するための選択された特徴点（図１Ａ及び図２Ａのイメージフレーム参照）の動作（ｍｏｔｉｏｎ）ベクトル間のアングル差の間接的な測定のための正規化されたベクトル差を含む２つの基準を使用する。グループ化アルゴリズム１１００は（ＳＤ１１２０段階での）、サイズ比率グループ化決定基準及び（ＳＤ１１４０段階での）ベクトル差グループ化決定基準を含む。外部的にグループ化アルゴリズム１１００で作動するペアリングアルゴリズム（Ｓ１１０４、Ｓ１１０６、Ｓ１１５２、ｄＳ１１５０、及びＳ１１５４）は、既にその対にならずにグループ化アルゴリズム１１００から完全に排除される他のものなどと共に対になったその特徴点（動きベクトル）の経路（ｔｒａｃｋ）を保持する。ペアリングアルゴリズムは、グループ化アルゴリズム１１００への入力として一対のＳＦＰ動きベクトルＡ及びＢを提供する（Ｓ１１０４、Ｓ１１０６）。初期化段階ｉＳ１１０２で、サイズ比率マージン（例えば、ＭｒＬｔｈ２及びＭｒＵｔｈ２）及びアングルマージンは、外部回路から受信されてグループ化アルゴリズム１１００に提供される。
【０１３３】
グループ化アルゴリズム１１００は、少なくとも次の段階Ｓ１１１６、ｄＳ１１２０、及びｄＳ１１４０で、次の段階の計算のためのこれらの計算された値を使うための受信されたベクトルＢ（Ｓ１１１２及びＳ１１１４段階）に基づいた受信されたベクトルＡ及び｜Ｂ｜２に基づいた｜Ａ｜２を計算する。従って、受信されたベクトルＢが（決定段階ｄＳ１１２０のＹＥＳ分枝、又は決定段階ｄＳ１１４０のＮＯ分枝によって）受信されたベクトルＡと一緒のグループ化から排除された場合、ペアリングアルゴリズムは、新たなベクトルＢ（Ｓ１１５２段階）及び新たなベクトルＢに基づいた｜Ｂ｜２の新たな値を計算する（Ｓ１１１４段階）グループ化アルゴリズムを割当てる（ａｓｓｉｇｎ）。しかし、同じベクトルＡの比較は、新たなベクトルＢと共に続けられるはずであるため、現在のベクトルＡの｜Ａ｜２の計算された値は（Ｓ１１１２段階）、同時にアップデートされる必要はない。従って、グループ化アルゴリズム１１００の実行に採択されたハードウェア又はソフトウェアは、単にベクトルＡ及びＢのうちの１つが一回で変わる限り、それらの値の１つを使う複数の比較を効率的に行うために、１つ又はそれ以上の瞬間値（ｉｎｓｔａｎｃｅｓ  ｏｆ  ｖａｌｕｅ）｜Ｂ｜２及び｜Ａ｜２を分離して保存するように行われる。
【０１３４】
グループ化アルゴリズム１１００は、次に（Ｓ１１１２及びＳ１１１４から）｜Ａ｜２及び｜Ｂ｜２を使用するサイズ比率｜ｂ｜２及び｜ａ−ｂ｜２（Ｓ１１１６）を計算する。第１（サイズ比率）グループ化決定基準は、決定段階ｄＳ１１２０に適用される。決定段階ｄＳ１１２０でサイズ比率の二乗｜ｂ｜２は（ｉＳ１１０２段階から）、サイズ比率マージンと比較される。（｜Ａ｜／｜Ｂ｜）２＜ＭｒＵｔｈ２又は（｜Ａ｜／｜Ｂ｜）２＞ＭｒＵｔｈ２の場合（決定段階ｄＳ１１２０のＮＯ分枝）、現在のベクトルＡは、現在のベクトルＢとグループにならず、現在のベクトルＢとの比較は終わらず、新たなベクトルＢが選択される（Ｓ１１５２段階）。（｜Ａ｜／｜Ｂ｜）２がＭｒＬｔｈ及びＭｒＵｔｈの間にある場合（決定段階ｄＳ１１２０のＹＥＳ分枝）、現在のベクトルＡは、現在のベクトルＢと共にグループ化され、第２グループ化決定基準が適用される（決定段階ｄＳ１１４０）。｜ｂ｜が所定の範囲内（例えば、｜ｂ｜２の値に基づいた）にあり、アングル差θが所定の範囲内（決定段階ｄＳ１１３０のＹＥＳ分枝）にある場合、正規化された差ベクトル（ａ−ｂ）のサイズＭａｔｈは近似化される（例えば、Ｍａｔｈ２＝０．５２として）、そうでない場合（決定段階ｄＳ１１３０のＮＯ分枝）、正規化された差ベクトル（ａ−ｂ）のサイズＭａｔｈは計算される（Ｓ１１３２）。
【０１３５】
次に、正規化された差ベクトル（ａ−ｂ）の近似化されたか又は計算されたＭａｔｈは、決定段階ｄＳ１１４０の第２（正規化されたベクトル差）グループ化決定基準で使用される。決定段階ｄＳ１１４０で、Ｍａｔｈの二乗（Ｍａｔｈ２）は、（｜ａ−ｂ｜）２と比較されるか及び／又は（ｉＳ１１０２段階から）アングルマージンと比較される。（｜ａ−ｂ｜）２がＭａｔｈ２より小さい場合（決定段階ｄＳ１１４０のＹＥＳ分枝）、現在のベクトルＡは、現在のベクトルＢと共にグループ化される（Ｓ１１４２）。（｜ａ−ｂ｜）２がＭａｔｈ２より小さくない場合（決定段階ｄＳ１１４０のＮＯ分枝）、現在のベクトルＡは、現在のベクトルＢとグループ化されず、現在のベクトルＢとの比較は終わり、新たなベクトルＢが選択される（Ｓ１１５２段階）。
【０１３６】
一旦、現在のベクトルＡが全ての使用可能なグループ化候補（ｃａｎｄｉｄａｔｅｓ）ベクトルＢｓと比較され（決定段階ｄＳ１１５０のＹＥＳ分枝）、新たなベクトルＡが選択され、比較が残った（グループになれていない）グループ化候補ベクトルＢｓのために継続されるか、全てのベクトルがグループにならない場合、グループ化アルゴリズム１１００は、新たなフレームが進行する必要があるまで待つ。
【０１３７】
図１３は、図１１の特徴点グループ化アルゴリズムを行うグループ化アルゴリズム回路１３１０を含む特徴点グループ化回路のブロック図である。特徴点グループ化回路１３００は、サイズ比率限界値（ＭｒＬｔｈ＆ＭｒＵｔｈ）の基準（｜ｂ｜）に基づいた（図１１の決定段階ｄＳ１１２０の）第１グループ化決定を行うサイズ比率（｜ｂ｜）比較器１３２０、及び（アングル差の測定ために使われる）正規化されたベクトル差の基準に基づいた（図１１の決定段階ｄＳ１１４０）第２グループ化決定を行うベクトルアングル比較器１３３０を含む。本実施形態で具現されたベクトルアングル比較器１３３０は、正規化された差のサイズ（Ｍａｔｈ）計算器／推定器１３３２、及び正規化された差のサイズ（Ｍａｔｈ）比較器１３３４を含む。正規化された差のサイズ（Ｍａｔｈ）計算器／推定器１３３２は、図１１のｄＳ１１３０、Ｓ１１３２、及びＳ１１３４段階に関して上述したように生成するか、計算する。
【０１３８】
特徴点グループ化回路１３００は、図３の特徴点回路３０００と共にＲＡＭメモリ３５０を共有する。メモリ３５０のＳＦＰリスト３５２部分は、特徴点候補分類器３４０によって出力された選択された特徴点のリストを含む。特徴点グループ化回路１３００内にあるペアリングアルゴリズムコントローラ１３０２は、図１１のＳ１１５２、Ｓ１１５４、ｄＳ１１５６、及びｄＳ１１５０に関して上述したように、グループ化アルゴリズム回路１３１０での比較のためにＳＦＰリスト３５２にＤＭＡアクセスしてベクトルＡ及びベクトルＢを選択する。比較によって１つ又はそれ以上のベクトルのグループ（選択された特徴点のグループ）が生成された場合、ペアリングアルゴリズムコントローラ１３０２は、メモリ３５０のＦＰグループインベントリ３５４にグループ化されたベクトル又はそれらの記述的な（ｄｅｓｃｒｉｐｔｉｖｅ）リストを記録（ｗｒｉｔｅ）する。一実施形態によると、特徴点グループ化回路１３００とメモリ３５０は、単一集積回路で具現され、メモリ３５０から取り出されたデータは、Ｉ／Ｏピンを通じてチップ外部回路に出力される。他の実施形態によると、特徴点グループ化回路１３００、ＲＡＭメモリ３５０、及び特徴点回路３０００は、単一集積回路で具現されうる。上記実施形態は、当該技術分野に属する当業者が容易に実施可能であり、追加的なメモリ容量が必要な場合、他のＲＡＭメモリを集積回路の外部に付加させうることは自明である。
【０１３９】
特徴点グループ化回路１３００は、｜Ａ｜２計算器１３１２、｜Ｂ｜２計算器１３１４、及び｜ｂ｜２＆｜ａ−ｂ｜２計算器１３１６を更に含み、これは、それぞれ図１１のＳ１１１２、Ｓ１１１４、及びＳ１１１６段階を行う。
【０１４０】
本発明の一実施形態によると、各キャプチャーされたビデオフレームは、デジタルイメージ安定化に適するように優れた特徴点分布を提供する特徴点をアルゴリズム的に選択するための目的で、少ない数の重ならないタイル（一般的に標準画質のための４×４タイル、及び高画質のための６×６タイル）に分けられる。
【０１４１】
イメージの他の部分は、適切な特徴点の他の密度を有しうる。極端な場合、例えば、雲ひとつない青空の場合、フレームの領域は、如何なる適切な特徴点を有さないこともある。他の領域で、潜在的な特徴点は、非常に密集しうる。
【０１４２】
得られた特徴点分布は、ビデオフレーム、例えば重ならないタイルのような小さな領域に基づき、各タイル内の特徴点の個数が、タイルの発光イメージデータの分散σ２によって線形的に増加する。より関心のあるイメージデータのタイルと、それによる更に多い特徴点に対する要求は、より高い分散σ２を有するように予測される。
【０１４３】
場面が低光条件でキャプチャーされる場合、それは、相対的に更に多いノイズを有し、特徴点のピクセルの個数は、タイル内のピクセルの個数より遥かに少ないため、ノイズ効果は、タイルより特徴点に更に大きく作用する。タイル内のピクセルのより大きな個数は、ノイズ消去効果を提供し、このような場合、ダウンサンプルされたタイル基盤モーションベクトル（ｔｉｌｅ−ｂａｓｅｄ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）は、より正確である。
【０１４４】
たとえ場面が低光条件でキャプチャーされないとしても、場面が過度にフラットである場合、タイル基盤モーションベクトルは、より正確である。タイル場面が曇り空又は青空のように非常にフラットである場合、若干の特徴点があり、フラットタイル内のこのような特徴点は、次のフレーム内の多くの場所内のマッチング点と類似したレベルを見つけることができる。しかし、タイル基盤マッチング（ｔｉｌｅ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇ）は、小さな特徴点探索領域にのみ依存するものではなく、タイルの全てのパターンが、タイルマッチングプロセスに貢献することができる。結果的に、タイル基盤モーションベクトルは、場面がフラットになる時に、より信頼することができる。
【０１４５】
特徴点モーションベクトルグループの最も高いスコアが所定のスレショルド値より小さい場合、特徴点基盤モーションベクトルの代わりに、タイル基盤モーションベクトルを使うように決定し、このような戦略は、高いノイズ又はフラットな場面で効果的に働く。
【０１４６】
本発明の一実施形態によると、背景と大きな客体の動きとを表わす推定されたモーションベクトルを選択する一方、より小さな物体は、それらと関連した正確なモーションベクトルを有する必要がない。より小さな客体に対するある不正確なベクトルは、ＤＩＳアルゴリズムの後の段階で除去されうる。
【０１４７】
グローバルな動き又はカメラの動きのために、意味のある（ｓｉｇｎｉｆｉｃａｎｃｅ）大きな静的な物体の特徴点は、一貫した経路に移動することが予測される。独立して動く十分に大きな物体は、少なくとも１つのタイルの殆どをカバーすることを認知し、従って、小さな物体のモーションがタイル自体のモーションベクトルで少ない効果を有する限り、それらのモーションは、タイル自体の優勢（ｐｒｅｄｏｍｉｎａｔｅ）モーションとして推定されうる。
【０１４８】
最低の解像度でブロックマッチングを用いてタイル毎に１つのモーションベクトルを得る。タイル基盤モーションベクトルは、高いノイズ又はフラット場面ビデオのような特別な場合でのカメラ軌跡決定のために使われる。
【０１４９】
所定のタイルに対するモーションベクトルは、絶対差の和（ＳＡＤ）を最小にすることである。そして、各タイル内の特徴点のモーションベクトルを計算するプロセスは、階層的モーション推定アルゴリズムを使用することによって、そしてタイルのモーションベクトルを開始ベクトルとして使用し、ローカルな動き以上のタイルの動きを選ぶ（ｐｒｅｆｅｒｒｉｎｇ）ことによって、計算量を減らすように変更されうる。少なくとも１つのタイルの殆どをカバーする十分に大きな物体は、隣接したタイルに拡張することができるため、各タイル内のいくつかの特徴点は、それらが発見されたタイルのモーションベクトルより隣接したタイルのモーションベクトルに更に強く関連する。従って、全ての隣接したタイルのモーションベクトルを、あらゆる所定のタイルの特徴点のモーションベクトルに対するブロックマッチング探索の複合（ｍｕｌｔｉｐｌｅ）開始ベクトルとして使うことが効果的である。従って、選択された特徴点のモーションベクトルを得るために用いられる開始ベクトルは、それが存在するならば、４方向の直接的な隣（上側タイル、左側タイル、右側タイル、下側タイル）に属するモーションベクトルと同様に特徴点が属するタイルのモーションベクトルである。使用される開始ベクトル毎に、特徴点モーションベクトルに対するローカル探索のために、非常に小さな範囲のみを使う。この目的は、それぞれの、そしてあらゆる特徴点に対する正確なベクトルを決定するものではない（バッド（ｂａｄ）モーションベクトルは、ＤＩＳプロセッシングチェーン（ｃｈａｉｎ）内で、後で分類される）。むしろ、関心のある特徴点は、単に背景又は大きな客体にのみ属するものである。そのような特徴点に対して、タイルモーションベクトルのうちの１つは、良いか又は関心のある特徴点のモーションベクトルに近くなければならず、それにより、各選択されたタイルモーションベクトルに対する小さなローカル探索は十分である。小さなローカルブロックマッチング探索は、タイル内のあらゆる選択された特徴点に対する開始ベクトルの集合（ｓｅｔ）のそれぞれの周辺の高解像度ドメイン（これは、オリジナルビデオ解像度、或いは２又は４のｆｓ３要素によってサブサンプルされたものであり得る）で行われる。
【０１５０】
図１４は、本発明の一実施形態によるデジタルイメージ安定化（ＤＩＳ）方法を行うデジタルイメージ安定化（ＤＩＳ）回路のブロック図である。ＤＩＳ回路は、受信されたジャーキービデオを分析し、インターフレーム変換Ｔｉ（ｎ）を出力する感知ユニット２０００、インターフレーム変換Ｔｉ（ｎ）のうちから選択された主要／補償変換Ｐ（ｎ）を出力する軌跡ユニット４０００、及び選択された主要／補償変換Ｐ（ｎ）を用いて、ジャーキービデオを修正して安定化されたビデオを出力する補償ユニット６０００を含む。
【０１５１】
感知ユニット２０００は、ビデオデータの受信されたフレーム内の特徴点（ＦＰ）のインターフレームモーションベクトルと、重ならないタイル（タイルベクトル）のインターフレームモーションベクトルとを推定する。感知ユニット２０００は、特徴点モーションベクトルグループ変換とタイルベクトルグループ変換Ｔｉ（ｎ）とを更に出力する。
【０１５２】
軌跡ユニット４０００は、インターフレーム変換Ｔｉ（ｎ）のうちの１つを主要変換Ｐ（ｎ）として選択し、従って、小さな移動客体と、全体フレームをカバーできる大きな移動客体のインターフレーム変換を除く。
【０１５３】
図１５は、図１４のＤＩＳ回路のＤＩＳ方法の各段階として、タイルベクトルグループのアフィン変換を計算する図１４のＤＩＳ回路内の感知ユニット２０００のブロック図である。感知ユニット２０００は、特徴点回路３０００、モーションベクトル（ＭＶ）グループ化回路１３００、及びモーションベクトル（ＭＶ）グループアフィン変換計算器２０１０を含む。
【０１５４】
特徴点回路３０００は、ビデオデータの各フレームを受信し、より望ましくは、各ビデオフレームを、重ならない複数のタイルの小さな数ｊ×ｋで分割する。タイルの個数ｊ×ｋは、ＳＤビデオのための４×４からＨＤビデオのための６×６までの範囲を有し、（４…８）×（４…８）の範囲内の他の数も可能であり、有用である。タイルサイズは、独立して動く十分に大きな物体が少なくとも１つのタイルの殆どをカバーできるように選択され、小さな客体のモーションは無視してもよい一方、十分に大きな客体のモーションは、ＤＩＳ目的によってキャプチャーされうる。特徴点回路３０００は、受信されたビデオフレーム内の特徴点（ＳＦＰｓ）を識別して選択し、特徴点とタイルのモーションベクトル（ＳＦＰ  ＭＶｓ及びＴｉｌｅ  ＭＶｓ）とを出力する。
【０１５５】
特徴点回路３０００は、特徴点選択器、モーションベクトル計算器、及び共有されるＲＡＭメモリ３５０を含む。特徴点選択器は、ハリスコーナー特徴点候補識別器及び特徴点候補分類器を更に含む。コンピュータパワーを節約し、要求される複数の動作個数を減少させるために、特徴点回路３０００は、ルーマ（ｌｕｍａ）データにのみ作動し、１つ以上のダウンサンプラー及び階層的ブロックマッチング探索ユニットを含む。
【０１５６】
特徴点回路３０００は、あらゆるタイルに対する１つのモーションベクトルを推定する。タイルモーションベクトル（Ｔｉｌｅ  ＭＶ）推定は、入力イメージの中央をカバーする重ならないタイル（例えば、特徴点分類アルゴリズム内に使われる同じタイル）に基づいて行われる。複数のタイルのそれぞれに対して、フルブロックマッチング探索は、深くダウンサンプリングされたイメージ上で行われる。フル探索ブロックマッチングは、あらゆるタイルに対して行われ、タイルモーションベクトル（Ｔｉｌｅ  ＭＶ）は、後の使用、例えば、特徴点（３５２に保存されたＳＦＰ  ＭＶ）のモーションベクトルを得るか、静的な客体感知のための階層的ブロックマッチング探索部内で開始ベクトルとしての使用のために保存される（３５６）。
【０１５７】
特徴点回路３０００は、ビデオフレームのタイルと称する小さな領域（タイル）に基づいた分布を有する特徴点のリスト３５２を提供する。タイル当たりの特徴点の最大個数は、タイルの発光イメージデータの分散σ２によって線形的に増加する。ＤＩＳ方法のための優れた特徴点は、適切なモーション推定アルゴリズムが適用される場合、曖昧ではないモーションベクトルを算出する点である。イメージ内の特徴点を識別するために、ハリスコーナー感知アルゴリズムは、このようなピクセルが特徴点としてどのくらい適するかを測定するために、ビデオフレームのピクセルに適用される。イメージの異なる部分（タイル）は、識別された特徴点候補の異なる密度を有しうる。
【０１５８】
特徴点回路３０００は、各タイルのモーションベクトルを計算するためのタイルベクトル計算器の機能を遂行するモーションベクトル計算器、及び各選択された特徴点（ＳＦＰ）のモーションベクトルを決定して出力するための階層的ブロックマッチング検索ユニットを含む。タイルベクトル計算器は、現在フレーム（Ｆｔ）の深くダウンサンプリングされたルーマデータを使用して、各タイルのモーションベクトルを計算する。階層的ブロックマッチング検索ユニットは、最大解像度の又は２つの連続したフレームのダウンサンプリングされたルーマデータを用いて、選択された特徴点のそれぞれのモーションベクトルを決定し、タイルベクトルを開始ベクトルとして使用できる。
【０１５９】
データに関連した全ての特徴点とタイルは、次のＤＩＳブロック、具体的にモーションベクトルグループ化回路１３００に伝達される。
【０１６０】
モーションベクトルグループ化回路１３００は、特徴点モーションベクトルとタイルモーションベクトルとに対してグループ化アルゴリズムを実行する。モーションベクトルグループ化回路１３００は、ペアリングアルゴリズムコントローラ１３０２によって選択されたベクトルの各対を比較することによって、グループ化決定を行うモーションベクトル比較器１３１０を含む。
【０１６１】
モーションベクトルグループ化回路１３００は、連続したビデオフレーム間で客体の認知された（ｐｅｒｃｅｉｖｅｄ）関連動作に基づいて、特徴点モーションベクトルを場面内の客体と共に、選択された特徴点（ＳＦＰｓ）のモーションベクトルで関連するようにグループ化する。モーションベクトルグループ化回路１３００は、連続したビデオフレームの間で客体の認知された関連動作に基づいて、更にタイルモーションベクトルを場面内の客体と関連するようにグループ化する。
【０１６２】
モーションベクトルグループ化回路１３００は、ＲＡＭメモリ３５０を特徴点回路３０００と共有する。メモリ３５０のＳＦＰ  ＭＶリスト３５２部分は、選択された特徴点（ＳＦＰｓ）の位置とモーションベクトルのリストとを含む。メモリ３５０のタイルＭＶリスト３５６部分は、重ならないタイルの位置及びモーションベクトルのリストを含む。
【０１６３】
ペアリングアルゴリズムコントローラ１３０２は、特徴点及びタイル（モーションベクトル）が他のものと以前にペアになったか、ペアにならずに残ったか、及び全体的にグループ化から除外されるかについての経過（ｔｒａｃｋ）を保持する。ペアリングアルゴリズムは、反復的にモーションベクトルの対（ベクトルＡ＆ベクトルＢ）をモーションベクトル比較器１３１０への入力として提供する。
【０１６４】
モーションベクトルグループ化回路１３００内のペアリングアルゴリズムコントローラ１３０２は、ＳＦＰ  ＭＶリスト３５２及びタイルＭＶリスト３５６にアクセスし、モーションベクトル比較器１３１０内の比較のためのベクトルＡ及びベクトルＢを選択する。一連のベクトルＡ−ベクトルＢの比較結果、１つ以上のベクトルのグループ、例えば、選択された特徴点のグループとタイルのグループとである場合、ペアリングアルゴリズムコントローラ１３０２は、グループ化されたモーションベクトル又はその記述的なリストをメモリ３５０のＦＰ  ＭＶグループインベントリ３５４部分とタイルＭＶグループインベントリ３５８部分とに書き込む。
【０１６５】
モーションベクトル（ＭＶ）グループアフィン変換計算器２０１０は、特徴点モーションベクトルの各グループのインターフレーム変換を計算し、タイルモーションベクトルの各グループのインターフレーム変換を計算し、それらをいずれもＴｉ（ｎ）として出力する。
【０１６６】
図１６は、図１４のＤＩＳ回路のＤＩＳ方法の各段階に関連して、タイルグループ変換と特徴グループ変換Ｔｉ（ｎ）とのスコアリング方法に基づいて主要（静止／背景）変換Ｐ（ｎ）を選択することに適合した図１４のＤＩＳ回路の軌跡ユニット４０００のブロック図である。
【０１６７】
軌跡ユニット４０００は、タイルグループ変換スコアリング及び選択回路４１００−１（図１７Ａ）、特徴グループ変換スコアリング及び選択回路４１００−２（図１７Ａ）、コレクティブグループ選択回路４２００（図１８）、移動客体除外回路４４００（図１９）、及び適応的補償フィルター８０００を含む。
【０１６８】
軌跡ユニット４０００は、場面内の移動客体を無視する一方、不安定な（ｕｎｓｔｅａｄｙ）カメラによって引き起こされる主要モーションＰ（ｎ）を識別し、選択された主要変換Ｐ（ｎ）をフィルタリングして補償変換Ｃ（ｎ）を出力する。軌跡ユニット４０００は、受信されたインターフレーム変換Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を選択するように複数の連続したスコアリング関数を使用する。
【０１６９】
図１７Ａは、図１４のＤＩＳ回路の軌跡ユニット４０００のグループ変換スコアリング及び選択回路４１００のブロック図である。グループ変換スコアリング及び選択回路４１００は、変換スコア計算器４１５０、変換品質計算器４１６０、及び図１４のＤＩＳ回路のＤＩＳ方法の各段階を行うグループ変換及び品質選択器４１７０を含む。グループ変換スコアリング及び選択回路４１００は、タイルグループインターフレーム変換ＴＴｉｌｅ，ｉ（ｎ）からタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）を出力し（４１００−１）、ＦＰインターフレーム変換ＴＦＰ，ｉ（ｎ）から特徴グループ主要変換ＧＰＦＰ（ｎ）を出力する（４１００−２）。
【０１７０】
図１７Ｂは、図１７Ａのグループ変換スコアリング及び選択回路４１００内のヒストリースコア計算ユニット４１１０−１の一実施形態のブロック図である。
【０１７１】
図１７Ａ及び図１７Ｂを参照すると、グループ変換スコアリング及び選択回路４１００は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）、モーションスコア計算ユニット４１２０、特徴スコア計算ユニット４１３０に加えて、規模スコア計算ユニット４１４０、変換スコアＳｉ（ｎ）計算器４１５０、変換品質Ｑｉ（ｎ）計算器４１６０、及びグループ変換及び品質選択器４１７０（例えば、４１７０−１）を含む。
【０１７２】
図１７Ａのグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０は、全体の変換スコア計算器４１５０から受信された（各インターフレーム変換Ｔｉ（ｎ）の）全体の変換スコアＳｉ（ｎ）に基づいて（小さな移動客体のインターフレーム変換を排除させることで）、インターフレーム変換Ｔｉ（ｎ）のうちの１つをグループ主要変換ＧＰ（ｎ）として選択し、グループ主要変換ＧＰ（ｎ）とそれに関連した品質Ｑ（ｎ）を出力する。
【０１７３】
Ｔｉ（ｎ）を、感知ユニット２０００から受信された全ての受信された変換候補のうちのｉ番目の変換と言う。ここで、ｎは、フレームと時間連続した性質（ｔｉｍｅ  ｓｅｑｕｅｎｃｅ  ｎａｔｕｒｅ）を表わす。ＧＰ（ｎ）は、フレーム時間ｎでの選択されたグループ主要変換と言う。即ち、選択されたｉに対して、ＧＰ（ｎ）＝Ｔｉ（ｎ）である。
【０１７４】
各Ｔｉ（ｎ）に対して、全体の変換スコアＳｉ（ｎ）計算器４１５０は、ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）からヒストリースコアＨｉ（ｎ）を受信し、モーションスコア計算ユニット４１２０からモーションスコアＭｉ（ｎ）を受信し、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、全体変換スコアＳｉ（ｎ）を下記の式に基づいて計算する。
Ｓｉ（ｎ）＝Ｈｉ（ｎ）＊Ｍｉ（ｎ）＊Ｆｉ（ｎ）＊Ｅｉ（ｎ）
【０１７５】
各Ｔｉ（ｎ）に対して、変換品質Ｑｉ（ｎ）計算器４１６０は、特徴スコア計算ユニット４１３０から特徴スコアＦｉ（ｎ）を受信し、規模スコア計算ユニット４１４０から規模スコアＥｉ（ｎ）を受信し、下記の式に基づいて変換品質Ｑｉ（ｎ）を計算する。
Ｑｉ（ｎ）＝Ｆｉ（ｎ）＋Ｅｉ（ｎ）
【０１７６】
最も大きな値Ｓｉ（ｎ）を有するＴｉ（ｎ）は、図１７Ａのグループ変換スコアリング及び選択回路４１００のグループ変換及び品質選択器４１７０によってグループ主要変換ＧＰ（ｎ）として選択される。従って、本実施形態において、図１４のＤＩＳ回路のＤＩＳ補償ユニット６０００内で、最も高いスコアＳｉ（ｎ）を有するインターフレーム変換候補Ｔｉ（ｎ）は、グループ主要変換ＧＰ（ｎ）として選択され、ジッタカメラモーションを補償するための補償変換Ｃ（ｎ）を産出するために適応的にフィルタリングされる。
【０１７７】
ヒストリースコア計算ユニット４１１０（例えば、４１１０−１）は、グループ主要変換ＧＰ（ｎ）のヒストリーを保存し、グループ主要変換ＧＰ（ｎ）の保存されたヒストリーの所定長（ＨＬ）に基づいて、各Ｔｉ（ｎ）に対するヒストリースコアＨｉ（ｎ）を計算、例えば感知ユニット２０００から各Ｔｉ（ｎ）が受信された順に計算する。所定長（ＨＬ）は、先行フレームの所定の個数を表わす整数である。入力されるＴｉ（ｎ）は、数学的に以前に選択されたグループ主要変換ＧＰ（ｎ−１）…ＧＰ（ｎ−ｋ）を保存する長さ（ＨＬ）のそれぞれと比較される。ここで、ｋは、１（直前フレーム：ｎ−１を意味する）からＨＫ（経時的に更に遠いフレーム：ｎ−ＨＫ）までの範囲を有する積分フレームタイムインデックス（ｉｎｔｅｇｒａｌ  ｆｒａｍｅ−ｔｉｍｅ  ｉｎｄｅｘ）である。Ｔｉ（ｎ）の変換は、以前に選択されたグループ主要変換（ＧＰ（ｎ−１）からＧＰ（ｎ−ＨＬ））を保存する長さ（ＨＬ）でより高い相関（ｃｏｒｒｅｌａｔｉｏｎ）を有し、より高いヒストリースコアＨｉ（ｎ）を有する。
【０１７８】
Ｔｉ（ｎ）と各ＧＰ（ｎ−ｋ）との間の相関Ｈｉ，ｋ（ｎ）は、範囲［０、１］内において１で正規化されたノルム（ｎｏｒｍａｌｉｚｅｄ  ｎｏｒｍ）を差し引いた値（１−｜Ｔｉ（ｎ）−ＧＰ（ｎ−ｋ）｜）であり、１のＨｉ，ｋ（ｎ）値は、最も高い相関を示す。
【０１７９】
各相関Ｈｉ，ｋ（ｎ）（１−｜Ｔｉ（ｎ）−｜ＧＰ（ｎ−ｋ）｜））の貢献は、相応するヒストリー加重値（ＨＷ（ｋ））によって重み付けされる。
【０１８０】
ヒストリースコアＨｉ（ｎ）は、全体の相関であり、Ｈｉ，ｋ（ｎ）の和に重み付けされたＨＷ（ｎ−ｋ）である。ここで、１＜ｋ＜ＨＬであり、ＨＬは、ヒストリー長（前のフレームの個数）である。従って、
2012138906.tif 000007
【０１８１】
複数の加重値のＨＷ（ｎ−ＨＬ）〜ＨＷ（ｎ−１）はそれらの和が１と同じであり、ヒストリースコアＨｉ（ｎ）出力が非線形的に正規化され、連続した範囲（［０、１］）を有するように選択される。
【０１８２】
図１７Ｂに示したヒストリースコア計算ユニット４１１０のハードウェア具現例４１１０−１は、保存されたコンテンツを比較器４１１４に出力するため（ｎ−１でｎ−ＨＬに対する）、ＨＬタップ（ＨＬ  ｔａｐｓ）を有するＨＬを以前に選択されたグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）に保存するためのＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）メモリバッファを含む。比較器４１１４は、電流Ｔｉ（ｎ）を以前に選択されたグループ主要変換ＧＰ（ｎ−１）〜ＧＰ（ｎ−ＨＬ）に保存されたＨＬのそれぞれと比較し、ヒストリーウエイトＨＷ（ｎ−１）〜ＨＷ（ｎ−ＨＬ）によって重み付けされた各比較結果を、連続区間［０、１］で全体の相関を全体のヒストリースコアＨｉ（ｎ）として出力する全体のヒストリースコア計算器４１１６に出力する。
【０１８３】
モーションスコア計算ユニット４１２０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、そのモーションスコアＭｉ（ｎ）を計算する。他の実施形態において、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算するための目的で、感知ユニット２０００から保存された情報を受信することができる。小さなモーションに対する変換は、高いモーションスコアＭｉ（ｎ）を有し、グループ主要変換ＧＰ（ｎ）になることがより好ましい。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、モーションスコア計算ユニット４１２０は、モーションスコアＭｉ（ｎ）を計算する。
【０１８４】
Ｍｉ（ｎ）は、小さなモーションに対応して大きな値を有し、大きなモーションに対応して小さな値を有する。モーションＭｉ（ｎ）は、変換の水平、垂直、又は全体線形移動に基づく。モーションスコアＭｉ（ｎ）は、線形移動に逆比例し、連続区間［０、１］を有するように非線形的に標準化されうる。
【０１８５】
特徴スコア計算ユニット４１３０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その特徴スコアＦｉ（ｎ）を計算する。他の実施形態において、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で、感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちの各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。特徴スコアＦｉ（ｎ）は、Ｔｉ（ｎ）のうちから各インターフレーム変換によって表現される特徴点グループを作るために共にグループ化された特徴点の個数と関連する。Ｔｉ（ｎ）のうちの各変換は、グループ別特徴点をより多く有し、より高い特徴スコアＦｉ（ｎ）を有する。特徴スコアＦｉ（ｎ）は、連続区間［０，１］を有するように非線形的に標準化されうる。
【０１８６】
規模スコア計算ユニット４１４０は、各Ｔｉ（ｎ）を受信し、Ｔｉ（ｎ）のみに基づいて、その規模スコアＥｉ（ｎ）を計算する。他の実施形態において、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で、感知ユニット２０００から保存された情報を受信することができる。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算する。広い領域をカバーする特徴点を有するＴｉ（ｎ）のうちの各変換は、カバーする領域が大きいほど、より高くスコアリングされる。規模スコアＥｉ（ｎ）は、より広い領域をカバーすることに対応してより大きな値を有し、反対に、より狭い領域をカバーすることに対応してより小さな値を有する。規模スコアＥｉ（ｎ）は、変換のグループの全ての特徴点を含む矩形領域の高さと幅との積に関連する。規模スコアＥｉ（ｎ）は、連続区間［０，１］を有するように非線形的に標準化されうる。
【０１８７】
本発明の多様な実施形態は、除外しなければビデオ安定化に所望しない結果を引き起こす全体場面を横切って動く大きな客体を除くために、場面ヒストリー分析を使う。適切な場面ヒストリー分析がなければ、主要変換選択器は、大きな移動客体（特に、それが全体場面をカバーするならば）に対応する変換後補を選択する。大きな客体が横切って動いて全体場面を満たす場合、変換候補Ｔｉ（ｎ）は、不安定なカメラに対応する主要変換Ｐ（ｎ）を含まないことが分かる。
【０１８８】
図１８は、図１４のＤＩＳ回路の軌跡ユニット４０００のコレクティブ変換スコアリング及び選択回路４２００の一実施形態のブロック図である。コレクティブ変換スコアリング及び選択回路４２００は、コレクティブ判定ＣＤ（ｎ）を計算するコレクティブ判定計算器４２５０と、図１４のＤＩＳ回路のＤＩＳ方法の各段階として、コレクティブ主要変換ＣＰ（ｎ）を出力するコレクティブ変換選択器４２６０とを含む。
【０１８９】
図１８のコレクティブ判定計算器４２５０は、特徴グループ変換品質ＱＦＰ（ｎ）、タイルグループ変換品質ＱＴｉｌｅ（ｎ）、及び感知ユニット２０００から受信された特徴グループ変換候補ＫＦＧ（ｎ）の個数からコレクティブ判定ＣＤ（ｎ）を算出する。
【０１９０】
コレクティブ判定計算器４２５０の一実施形態は、特徴グループの個数ＫＦＧ（ｎ）から非線形的に標準化されたフラグメンテーションメジャーΘＦ（ｎ）を計算し、ここでΘＦ（ｎ）は、ＫＦＧ（ｎ）が小さい時に０であり、ΘＦ（ｎ）は、ＫＦＧ（ｎ）が大きい時に１である。従って、ΘＦ（ｎ）値が１に近いことは、ビデオ場面の全ての特徴点が多くの特徴グループに細分化されたものを表わし、反対に、ΘＦ（ｎ）値が０に近いことは、ビデオ場面の全ての特徴点が、少ない特徴グループに分解されたものを表わす。
【０１９１】
コレクティブ判定計算器４２５０は、ＱＦ（ｎ）とΘＦ（ｎ）＊ＱＴ（ｎ）とを比較することによって、コレクティブ判定ＣＤ（ｎ）を出力し、ＱＦ（ｎ）＞ΘＦ（ｎ）＊ＱＴ（ｎ）である場合、コレクティブ判定ＣＤ（ｎ）は、特徴グループを選択するように設定される。そして、ＱＦ（ｎ）＜＝ΘＦ（ｎ）＊ＱＴ（ｎ）である場合、コレクティブ判定ＣＤ（ｎ）は、タイルグループを選択するように設定される。この公式で、もし特徴グループが細分化されていないならば、ΘＦ（ｎ）値が０に近く、特徴グループは、より選択されやすい。一方、特徴グループが細分化された場合、ΘＦ（ｎ）値が１に近く、タイルグループ変換品質ＱＴｉｌｅ（ｎ）は、特徴グループ変換品質ＱＦＰ（ｎ）と対等の立場で比較される。
【０１９２】
コレクティブ変換選択器４２６０は、特徴グループ主要変換ＧＰＦＰ（ｎ）とタイルグループ主要変換ＧＰＴｉｌｅ（ｎ）との間で選択を行う。コレクティブ変換選択器４２６０は、コレクティブ判定ＣＤ（ｎ）によって制御され、出力コレクティブ主要変換ＣＰ（ｎ）は、ＣＤ（ｎ）が特徴グループとして設定される場合、特徴グループ主要変換ＧＰＦＰ（ｎ）として設定され、そうでない場合、タイルグループ主要変換ＧＰＴｉｌｅ（ｎ）として設定される。
【０１９３】
本実施形態において、コレクティブ変換スコアリング及び選択回路４２００は、特徴グループ変換品質ＱＦＰ（ｎ）及びタイルグループ変換品質ＱＴｉｌｅ（ｎ）に基づいて選択を行う。このようなグループ変換品質は、特徴スコア計算ユニット４１３０と規模スコア計算ユニット４１４０とからの入力を受信する図１７Ａの変換品質計算器４１６０によって計算される。
【０１９４】
特徴スコア計算ユニット４１３０は、その特徴基盤及びタイル基盤変換Ｔｉ（ｎ）の特徴スコアＦｉ（ｎ）を計算する。本実施形態において、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する目的で、感知ユニット２０００から保存された情報を受信する。Ｔｉ（ｎ）のうちから各インターフレーム変換に対して、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算する。１つのグループのより多くの特徴点又は１つのグループのより多くのタイルの変換Ｔｉ（ｎ）は、より高い特徴スコアＦｉ（ｎ）を有し、これは、特徴グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれがより高くなるようにする。ある実施形態において、タイル当たりの特徴点の個数は、特徴基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。他の実施形態において、タイルの個数は、タイル基盤変換Ｔｉ（ｎ）のスコア特徴スコアＦｉ（ｎ）を支配することができる。タイル当たりの特徴点の個数、及び／又はタイルベクトルの各グループ内のタイルの個数は、感知ユニット２０００から直接得られる。
【０１９５】
規模スコア計算ユニット４１４０は、特徴基盤及びタイル基盤変換Ｔｉ（ｎ）の規模スコアＥｉ（ｎ）を計算する。本実施形態において、特徴スコア計算ユニット４１３０は、特徴スコアＦｉ（ｎ）を計算するための目的で、感知ユニット２０００から保存された情報を受信する。特徴点又はタイルの変換は、より広い領域に亘るほどより高くスコアリングされる。特徴点の個数とタイルベクトルの各グループ内のタイルの次元は、感知ユニット２０００から直接得られる。同様に、特徴基盤モーションベクトルの各グループの水平及び垂直方向の規模は、感知ユニット２０００から直接得られる。特徴グループ又はタイルグループは、より広い領域に亘るほどより高い規模スコアＥｉ（ｎ）を有し、その結果、特徴グループ変換品質ＱＦＰ（ｎ）又はタイルグループ変換品質ＱＴｉｌｅ（ｎ）のそれぞれは、より高くなる。本実施形態において、規模スコア計算ユニット４１４０は、規模スコアＥｉ（ｎ）を計算するための目的で、感知ユニット２０００から保存された規模情報を受信する。
【０１９６】
コレクティブ主要変換ＣＰ（ｎ）が、コレクティブ変換スコアリング及び選択回路４２００によって選択された後、大型客体除外ハードウェアは、選択されたコレクティブ主要変換ＣＰ（ｎ）が全体場面で動き、全体場面をカバーする大型移動客体であるか否かを判断する。除外が効果的な場合、単位変換（ＵＴ）が代替物として生成され、ＤＩＳシステムの補償回路のために選択された主要変換Ｐ（ｎ）として提供され、安定化されたビデオは、不正確な又は不必要な大型移動客体の変換をしない。
【０１９７】
本発明の一実施形態によると、移動客体除外方法は、２種の観測に基づいて活性化される。ここで、上記２種の観測は、既に存在する静的な背景（Ｐ（ｎ）のヒストリーによって指示される）と、静的な背景と大型移動客体の共存の時間周期（ｔｉｍｅ−ｐｅｒｉｏｄ  ｏｆ  ｃｏ−ｅｘｉｓｔｅｎｃｅ）である。
【０１９８】
移動客体除外方法は、次のようなシナリオを扱うのに非常に効果的である。場面が殆ど移動しないか又は移動する客体がない静的な背景である。大型移動客体は場面に進入し、漸次より大きな領域をカバーする。大型移動客体は、全体場面をカバーする。大型移動客体は、場面を離れ始め、背景が再び表われ始める。大型移動客体は、遂に消える。
【０１９９】
移動客体分析器は、除外シナリオ（ＩＦ）を感知する。
連続した静的なＭＶグループの存在は、殆ど静的な背景になった場面を示す。
連続して類似した速度のＭＶグループのカウント増加は、場面内に入ってくる客体を示す。
このような趨勢が続き、時間ｎで連続して類似した速度のＭＶグループが全体場面をカバーし、静的なＭＶグループが消えると、除外シナリオが検出される。
【０２００】
除外判定ＥＤ（ｎ）は、除外変換選択器に送られる。除外変換選択器は、ＥＤ（ｎ）が除外シナリオを示さない場合、コレクティブ主要変換ＣＰ（ｎ）を選択し、そのシナリオ内で主要変換Ｐ（ｎ）が基準変換として設定される。従って、大型移動客体が全体場面をカバーする場合にも、安定化されたビデオは不正確な大型移動客体に沿わない。
【０２０１】
図１９は、図１４のＤＩＳ回路の軌跡ユニット４０００の移動客体除外回路４４００の一実施形態のブロック図である。移動客体除外回路４４００は、移動客体分析器４４７０及び図１４のＤＩＳ回路のＤＩＳ方法内の各段階を行う除外変換選択器４４８０を含む。
【０２０２】
移動客体除外回路４４００は、場面のヒストリーを保存するための複数のグループヒストリー回路４４１０、４４２０、４４３０、及び４４４０、及び移動客体分析器４４７０を含む。いつでも、１つの指定された静的なグループＧ０のみがあるが、０又はそれ以上の現在モーショングループＧＫ（ｋ＞０）があり得る。また、次のフレームの間に、ｋ（例えば、ｋ（ｎ＋１）＝ｋ（ｎ）＋１）の現在モーショングループＧｋのうちの１つになりうる新たなモーショングループＧＮがあり得る。
【０２０３】
静的なグループＧ０は、関連したグループヒストリーＧＨ０を有する。ｋの現在モーショングループＧｋは、関連したモーションベクトルＭｋだけではなく、関連したグループヒストリーＧＨｋも有する。各現在モーショングループＧＫは、基本的にフレームｎまで経時的に類似した速度のＴｉ（ｎ）のそれぞれに対して低域通過フィルターされた｜Ｔｉ（ｎ）｜であるモーションベクトルＭｋを有する。
【０２０４】
各新たなモーショングループＧＮは、その生成時刻に初期化された関連したグループヒストリーＧＨＮ（ｎ）を有する。移動客体分析器４４７０は、複数のグループヒストリーＧＨ０（ｎ）、ＧＨ１（ｎ）、…ＧＨＪ（ｎ））、及びＧＨＫ（ｎ）を含む場面ヒストリーとＧＨＮ（ｎ）とを受信し、それらから除外判定ＥＤ（ｎ）を計算する。
【０２０５】
除外変換選択器４４８０は、単位変換（ＵＴ）とコレクティブ主要変換ＣＰ（ｎ）との間の選択を行う。除外変換選択器４４８０は、除外判定ＥＤ（ｎ）によって制御され、ＥＤ（ｎ）が活性化された場合、出力主要変換Ｐ（ｎ）は、単位変換（ＵＴ）として設定され、そうでない場合、コレクティブ主要変換ＣＰ（ｎ）として設定される。単位変換（ＵＴ）は、補償ユニット６０００が補償の間に何もしないようにしうる。従って、移動客体分析器４４７０が“大型移動客体”シナリオを感知し、除外判定ＥＤ（ｎ）を活性化する場合、主要変換Ｐ（ｎ）として選択されうる大型移動客体の変換は、選択された主要変換Ｐ（ｎ）になるものから除外される。効果として、大型移動客体の変換は、感知された場合、図１４の補償ユニット６０００によって行われる補償から除外される。
【０２０６】
図２０は、図１９の移動客体除外回路４４００内の詳細を示すブロック図とフローチャートを混合したものであり、図１４のＤＩＳ回路のＤＩＳ方法の各段階を行う。図２０は、静的なグループＧ０、現在モーショングループＧＫ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応する代表的なグループヒストリー回路４４１０、４４３０、及び４４４０を詳しく図示する。
【０２０７】
図１９の移動客体除外回路４４００の移動客体分析器４４７０によって、グループヒストリー回路（例えば、４４１０）から受信されたグループヒストリー（例えば、Ｈ０（ｎ））は、各グループと関連した２種のヒストリーデータ、選択ヒストリー（例えば、ＳＨ０（ｎ））及び現在ヒストリー（例えば、ＥＨ０（ｎ））を含む。
【０２０８】
移動客体分析器４４７０は、次のように除外シナリオを感知する。静的な変換Ｇ０（ｎ）のグループヒストリーＧＨ０内で示された連続した存在及び選択は、複数のフレームの間に存在した殆どの静的な背景の場面を示す。具体的なモーショングループＧＫのグループヒストリーＧＨｋ内の連続した存在の漸次的に増加する数字は、客体が場面内に入ってくるということを表わす。存在及びモーションの現趨勢が持続される場合、そして時間（ｎ）で選択された変換Ｐ（ｎ）がＧＫに結合するものを除き、静的な変換がＧ０に属しない場合、大型移動客体シナリオが感知され、活性化された除外判定ＥＤ（ｎ）が主要変換選択器４１６０−２に送られる。ＥＤ（ｎ）が大型客体除外シナリオを示す場合、主要変換Ｐ（ｎ）は、単位変換として設定され、そうでない場合、主要変換Ｐ（ｎ）は、Ｔｉ（ｎ）のあるスコアリング（ｓｃｏｒｉｎｇ）関数によって選択される。
【０２０９】
グループヒストリー回路４４１０、４４２０、４４３０、及び４４４０のそれぞれは、受信されたインターフレーム変換Ｔｉ（ｎ）のうちの１つに関連した各グループに対するヒストリー情報の３種類の保存及び処理を行う。グループヒストリーの上記３種類は、選択ヒストリー、現在ヒストリー、及びモーションヒストリーである。静的なグループＧ０は、映像安定化開始時に空いているヒストリーと共に生成される。静的なグループＧ０のモーションヒストリーは省略され、ヌル（ｎｕｌｌ）と推定される。モーショングループＧ１、…、ＧＫ、…、ＧＮは、ＤＩＳビデオプロセッシングのコース間に動的に生成されるか、削除される。
【０２１０】
図２０を参照すると、静的なグループＧ０、Ｎの現在モーショングループＧＫ、及び新たに生成されたモーショングループＧＮ＋１にそれぞれ対応するグループヒストリー回路４４１０、４４３０、及び４４４０は、グループヒストリーＧＨ０、ＧＨＫ、及びＧＨＮ＋１を提供する。
【０２１１】
モーショングループＧ０のグループヒストリー回路４４１０は、選択ヒストリーＳＨ０及び存在ヒストリーＥＨ０の保存のためのヒストリーメモリを含む。存在ヒストリーＥＨ０は、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧ０に結合されたか否かを示す過去フレーム値毎の１ビットである。選択ヒストリーＳＨ０は、モーショングループＧ０に結合されたインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す過去フレーム値毎の１ビットである。
【０２１２】
静的に見なされるための、選択された主要変換Ｐ（ｎ）を含むあらゆるＴｉ（ｎ）が静的なグループＧ０に属するか否かの判定（判定段階ｄＳ４４１８）は、グループＧ０がＴｉ（ｎ）を多様なヒストリーに基づいたモーションベクトルＭ０より、スレショルド値ｔｈｄ０と比較することに依存するため、静的なグループＧ０のグループヒストリー回路４４１０は、モーションヒストリーＭ０を省略する。静的なグループＧ０は、ビデオ安定化開始時に空いているヒストリーと共に作られる。
【０２１３】
フレームｎの間にＴｉ（ｎ）が、｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足する場合（判定段階ｄＳ４４１８のＹＥＳ分岐）、このＴｉ（ｎ）は、Ｇ０に属する。
存在ヒストリーＥＨ０は、フレームｎで静的な変換の存在を示すためにアップデートされる。
Ｐｉ（ｎ）＝Ｔｉ（ｎ）である場合、選択ヒストリーＳＨ０は、Ｔｉ（ｎ）選択を示すためにアップデートされる。
【０２１４】
そうでない場合（判定段階ｄＳ４４１８のＮＯ分岐）、フレームの間に｜Ｔｉ（ｎ）｜＜ｔｈｄ０を満足させないと、Ｔｉ（ｎ）は、存在モーショングループＧ１〜ＧＮのそれぞれの内のグループヒストリーと比較される。
【０２１５】
モーショングループＧＫのグループヒストリー回路４４３０は、選択ヒストリーＳＨＫ、存在ヒストリーＥＨＫ、及びモーションヒストリーＭｋの保存のためのヒストリーＫメモリを含む。存在ヒストリーＥＨＫは、インターフレーム変換Ｔｉ（ｎ）が以前フレーム内のモーショングループＧＫに属するか否かを示す過去フレーム値毎の１ビットである。選択ヒストリーＳＨＫは、モーショングループＧＫに属するインターフレーム変換Ｔｉ（ｎ）が以前フレーム内の主要変換Ｐ（ｎ）として選択されたか否かを示す以前フレーム値毎の１ビットである。
【０２１６】
モーションヒストリーＭＫは、グループＧＫの全体的なモーションのベクトルＭｋを示す情報を保存する。各Ｔｉ（ｎ）は、モーションベクトル（Ｍ）でもマッピングする。各モーショングループＧＫは、モーションベクトルＭＫでマッピングする。｜Ｔｉ（ｎ）｜をＴｉ（ｎ）のモーションベクトルのサイズにし、｜Ｔｉ（ｎ）−ＭＫ｜を１≦Ｋ≦Ｎ（Ｎは、現在の現在モーショングループの個数）で現在モーショングループＧｋのモーションベクトルＭｋからＴｉ（ｎ）の偏差とする。Ｎ個存在するモーショングループのうちから最小の｜Ｔｉ（ｎ）−ＭＪ｜を有するモーショングループＧＪは、Ｔｉ（ｎ）に対する最もマッチングされるグループＧＪを示す。連結（ｊｏｉｎ）判断は、｜Ｔｉ（ｎ）−ＭＪ｜を所定のスレショルド値ｔｈｄ１と比較して決定される。従って、例えば、判定段階ｄＳ４４３８で、１とＮとの間の特定のＪ及び全てのＫで｜Ｔｉ（ｎ）−ＭＪ｜≦｜Ｔｉ（ｎ）−ＭＫ｜であり、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１である場合（判定段階ｄＳ４４３８のＹＥＳ分岐）、Ｔｉ（ｎ）は、現在モーショングループＧＪに連結される。
【０２１７】
全てのＫに対して、｜Ｔｉ（ｎ）−ＭＪ｜＜ｔｈｄ１であり、｜Ｔｉ（ｎ）−ＭＪ｜＜｜Ｔｉ（ｎ）−ＭＫ｜である場合（判定段階ｄＳ４４３８のＹＥＳ分岐）、Ｔｉ（ｎ）は、ＧＪに属する。
モーションヒストリーＭＪは、新たに属したＴｉ（ｎ）を反映するように調整される。
現在ヒストリーＥＨＪは、フレームｎでモーショングループＧＪの存在を示すためにアップデートされる。
Ｐ（ｎ）＝Ｔｉ（ｎ）である場合、選択ヒストリーＳＨＪは、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を示すためにアップデートされる。
【０２１８】
一方、判定段階ｄＳ４４３８がＴｉ（ｎ）及び全ての現在モーショングループＧ１〜ＧＮのために反復され、ＭＫのうちのいずれも｜Ｔｉ（ｎ）−ＭＫ｜＜ｔｈｄ１を満足させなかった場合（判定段階ｄＳ４４３８のＮＯ分岐）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する（Ｓ４４４９段階）。このＴｉ（ｎ）が、新たに形成されたモーショングループＧＮ＋１に属する場合（Ｓ４４４９段階）、Ｔｉ（ｎ）は、新たに形成されたモーショングループＧＮ＋１に属する。
モーションヒストリーＭＮ＋１は、このＴｉ（ｎ）のモーションベクトルとして設定される。
存在ヒストリーＥＨＮ＋１は、フレームｎで新たなモーショングループＧＮ＋１の存在を示すために初期化される。
Ｐ（ｎ）＝Ｔｉ（ｎ）である場合、選択ヒストリーＳＨＮ＋１は、Ｔｉ（ｎ）＝Ｐ（ｎ）の選択を示すためにアップデートされる。
【０２１９】
時間の拡張された周期（フレーム）に参加するＴｉ（ｎ）のないモーショングループ（Ｇ０〜ＧＪのうちの）は、削除される。
【０２２０】
図２１は、時間ｎである時、キャプチャーされたビデオフレーム及び主要変換Ｐ（ｎ）から計算された補償変換Ｃ（ｎ）に相応する補償ウィンドウの図であり、垂直オーバーエクスカーションｖ１が減らされたことを示す。補償ウィンドウの垂直オーバーエクスカーションは、本発明の一実施形態によるＤＩＳ方法の各段階における垂直オーバーエクスカーションｖ１として測定される。
【０２２１】
図２１を参照すると、キャプチャーされたビデオフレームの補償変換Ｃ（ｎ）に相応する補償ウィンドウは、垂直オーバーエクスカーションｖ０又はｖ１、水平オーバーエクスカーションｕ０又はｕ１、又は垂直オーバーエクスカーションｖ０又はｖ１、及び水平オーバーエクスカーションｕ０又はｕ１のいずれをも有しうる。それぞれの潜在的なオーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１は、補償変換Ｃ（ｎ）の並進成分、補償変換Ｃ（ｎ）の回転成分、又は補償変換Ｃ（ｎ）の並進成分及び回転成分の組み合わせによって発生する。
【０２２２】
エクスカーションのヒストリーに基づいて、各キャプチャーされたビデオフレームに対するフィルタリングされた補償変換Ｃ（ｎ）を出力するために、主要変換Ｐ（ｎ）を適応的にフィルタリングすることによって、オーバーエクスカーションｖ０、ｖ１、ｕ０、及びｕ１を最小化することが望ましい。
【０２２３】
図２２は、本発明による他の実施形態によるＤＩＳを行うＤＩＳ回路のブロック図である。ＤＩＳ回路は、受信されたジャーキービデオを分析し、インターフレーム変換Ｔｉ（ｎ）を出力する感知ユニット２０００、Ｔｉ（ｎ）のうちから主要変換Ｐ（ｎ）を識別する主要変換選択回路４１００、４２００、及び４４００、及び主要変換Ｐ（ｎ）を補償変換Ｃ（ｎ）にフィルタリングする適応的補償フィルター８０００を含む軌跡ユニット４０００、及びジャーキービデオフレームを、補償変換Ｃ（ｎ）を用いて修正することによって、安定化されたビデオを出力する補償ユニット６０００を含む。
【０２２４】
主要変換選択回路４１００、４２００、及び４４００は、場面内の移動客体のインターフレーム変換Ｔｉ（ｎ）を無視し、不安定なカメラによって発生したグローバルモーションのインターフレーム変換Ｔｉ（ｎ）を識別することによって、インターフレーム変換Ｔｉ（ｎ）のうちから１つを主要変換Ｐ（ｎ）として選択し、その選択を、計算された主要変換Ｐ（ｎ）として出力する。従って、ＤＩＳ回路の主要変換選択回路４１００、４２００、及び４４００は、インターフレーム変換Ｔｉ（ｎ）のうちの１つを、計算された主要変換Ｐ（ｎ）として選択して出力する。補償変換Ｃ（ｎ）は、主要変換Ｐ（ｎ）を適応的にフィルタリングすることで得られる。補償変換Ｃ（ｎ）は、相応する入力ビデオイメージとの関係で安定化されたビデオイメージ（補償ウィンドウ）の幾何学的構造の表現である。上記表現は、位置、アングル、サイズなどを含む。補償変換に用いられるいくつかは、類似変換（ｓｉｍｉｌａｒｉｔｙ  ｔｒａｎｓｆｏｒｍ）及びアフィン変換であるが、発明の概念は、上記変換に限定されず、本発明による実施形態の方法の説明のためにアフィン変換を用いる。
【０２２５】
主要変換選択回路４１００、４２００、及び４４００は、順次にフレームの連続したシーケンスの選択された主要変換Ｐ（ｎ−∞）、…Ｐ（ｎ−１）、Ｐ（ｎ）を適応的補償フィルター８０００に出力する。主要変換Ｐ（ｎ−∞）は、反復的な（無限インパルス応答ＩＩＲ）フィルターの使用を示す。適応的補償フィルター８０００は、主要変換Ｐ（ｎ−∞）、…Ｐ（ｎ−１）、Ｐ（ｎ）の配列によって表現されるジッタモーションから、意図されたカメラ軌跡を推定し、推定されたカメラ軌跡によって補償変換Ｃ（ｎ）を出力する。
【０２２６】
安定化されたビデオの視覚的効果は、適応的補償フィルター８０００の品質に大きく依存する。従来の軌跡推定方法は、モーションベクトル積分とカルマンフィルターなどを含む。しかし、これらと他の従来の軌跡推定方法は、ジャーキービデオ特性の広い範囲で正しく行われない。本発明による実施形態において、適応的補償フィルター８０００がジャーキーモーションをフィルタリングし、安定化されたビデオを産出するのに使用される。
【０２２７】
図２３は、本発明の一実施形態による図２２に示したＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００のブロック図である。適応的補償フィルター８０００は、補償ウィンドウエクスカーションのヒストリーに基づいて主要変換Ｐ（ｎ）を適応的にフィルタリングする。適応的補償フィルター８０００は、フレームの連続したシーケンスの受信された主要変換Ｐ（ｎ−∞）、…Ｐ（ｎ−１）、Ｐ（ｎ）に基づいて主要変換Ｐ（ｎ）をフィルタリングし、適応的にフィルタリングされた補償変換Ｃ（ｎ）を出力する。
【０２２８】
適応的補償フィルター８０００は、強補償フィルター（ＳＣ）８７００、弱補償フィルター（ＷＣ）８６００、コントロール信号Ｅ（ｎ）を出力するための適応的フィルターコントロール回路８５００、及びエクスカーション調節ミキサー８２００を含む。強補償フィルター８７００は、高周波数−選択的高次線形時不変デジタルフィルター（ｈｉｇｈｌｙｆｒｅｑｕｅｎｃｙ−ｓｅｌｅｃｔｉｖｅ  ｈｉｇｈ−ｏｒｄｅｒ  ｌｉｎｅａｒ  ｔｉｍｅ−ｉｎｖａｒｉａｎｔ  ｄｉｇｉｔａｌ  ｆｉｌｔｅｒ）であり、非常にジャーキーした入力ビデオのフィルタリングに効果的である。一方、弱補償フィルター（ＷＣ）８６００は、より少なめに安定した出力ビデオの広い区域で少ない補償ウィンドウオーバーエクスカーションを産出するより低い周波数−選択的性質を有する。
【０２２９】
適応的補償フィルター８０００は、強補償フィルター８７００と弱補償フィルター８６００との効果的な組み合わせである。エクスカーション調節ミキサー８２００は、生成されたコントロール信号Ｅ（ｎ）に基づいて出力する強補償フィルター８７００と弱補償フィルター８６００とのミキシングを行い、補償ウィンドウエクスカーションのヒストリーに基づいて適応的フィルターコントローラ８５００によって出力する。
【０２３０】
図２４は、図２２のＤＩＳ回路の軌跡ユニット４０００の適応的補償フィルター８０００の最初の実施形態８０００−１のブロック図である。本実施形態の適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００、及び適応的フィルターコントローラ８５００−１のエクスカーション計算器８５１０へのフィードバックループを含む。
【０２３１】
図２４を参照すると、強補償フィルター８７００は、視覚的によく安定化されたビデオを得て高周波数−選択的な出力Ｆ（ｎ）を有するために、約１．０Ｈｚのカットオフ周波数を有し、急激なロールオフを有する高次線形時不変循環デジタルフィルター（ｈｉｇｈ−ｏｒｄｅｒ  ｌｉｎｅａｒ  ｔｉｍｅ−ｉｎｖａｒｉａｎｔ  ｒｅｃｕｒｓｉｖｅ  ｄｉｇｉｔａｌ  ｆｉｌｔｅｒ）である。
【０２３２】
弱補償フィルター８６００は、高次又は低次線形時不変循環デジタルフィルターである。弱補償フィルター８６００は、オーバーエクスカーションを減らすために、１Ｈｚより高いカットオフ周波数（例えば、１、２Ｈｚ）を有し、緩やかなロールオフを有する更に低い周波数−選択的な出力Ｇ（ｎ）を有する。
【０２３３】
適応的補償フィルター８０００−１のエクスカーション調節ミキサー８２００−１は、スカラーコントロール信号Ｅ（ｎ）によって強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）とを結合するエクスカーション調節適応的フィルタリングを行う。強補償フィルター８７００の出力Ｆ（ｎ）と弱補償フィルター８６００の出力Ｇ（ｎ）は、いずれも中間に起こる補償変換であり、エクスカーション調節ミキサー８２００−１の出力Ｃ（ｎ）も補償変換である。エクスカーション調節ミキサー８２００−１は、Ｃ（ｎ）（Ｃ（ｎ）＝（１−Ｅ（ｎ））＊Ｆ（ｎ）＋Ｅ（ｎ）＊Ｇ（ｎ））を出力する。ここで、Ｅ（ｎ）は、［０，１］の範囲での非線形的に標準化されたスカラーコントロール信号である。“＊”は、スカラーと変換との間の乗算演算であり、変換にマッピングされる。“＋”は、２つの変換の間の加算演算であり、変換にマッピングされる。従って、本実施形態において、適応的補償フィルター８０００−１は、強補償フィルター８７００と弱補償フィルター８６００との線形結合である。従って、適応的補償フィルター８０００−１は、線形重畳（ｌｉｎｅａｒ  ｓｕｐｅｒｐｏｓｉｔｉｏｎ）の原則によって知られた安定した性質を有する効果的な高次線形時不変循環デジタルフィルターである。
【０２３４】
線形結合された補償変換Ｃ（ｎ）は、補償ウィンドウエクスカーションのヒストリーに基づいてスカラーコントロール信号Ｅ（ｎ）によって制御される。ヒストリー内の小さなエクスカーションは、小さなＥ（ｎ）を産出するので、現在フレームｎに対する強補償フィルター８７００の影響は大きくなる一方、ヒストリー内の大きなエクスカーションは、１に近いＥ（ｎ）を産出するので、現在フレームｎに対する弱補償フィルター８６００の影響が大きくなる。ヒストリー内の中間値のエクスカーションは、強補償フィルター８７００及び弱補償フィルター８６００の影響に比例するように割り当てる。
【０２３５】
従って、強補償フィルター８７００は、小さなエクスカーションに主たる貢献を提供し、それは、高周波数ジッタをフィルタリングするのに非常に効果的である。そして、より大きなエクスカーションで弱補償フィルター８６００の貢献がより多いために、オーバーエクスカーションの発生が急減する。
適応的補償フィルター８０００−１は、優れたビデオ安定化された性質を保持しながら、入力ビデオの大きな動きによる過度なオーバーエクスカーションを防止する。
【０２３６】
図２４を参照すると、適応的フィルターコントローラ８５００−１は、エクスカーション計算器８５１０、４つのエクスカーションヒストリー積分器８５２０、及び調節因子計算器８５３０−１を含む。適応的フィルターコントローラ８５００−１は、フィードバックループの一部である。エクスカーション計算器８５１０は、以前の適応的補償フィルター出力Ｃ（ｎ−∞）、…Ｃ（ｎ−２）、Ｃ（ｎ−１）から得られたＥ（ｎ）を出力する。ｎは、時間連続した性質を表わし、Ｅ（ｎ）とＣ（ｎ）は、実現可能ではない遅延のないループを形成しない。従って、上記実施形態は、リアルタイムビデオ安定化に適し、予測可能な性質の概略的な線形時不変フィルターを含む。
【０２３７】
エクスカーション計算器８５１０は、エクスカーション調節ミキサー８２００−１によって出力された補償変換Ｃ（ｎ）のフィードバックを受信する。エクスカーション計算器８５１０は、補償ウィンドウの４つのエッジの位置に基づいてフレーム別に左側、右側、下方、上側のエクスカーションを別途に計算するため、ｕ０計算器、ｕ１計算器、ｖ０計算器、及びｖ１計算器を含む（図２１参照）。
【０２３８】
適応的補償フィルター８０００−１は、循環フィルターの使用を通じたエクスカーションヒストリーを含む。エクスカーション計算器８５１０の各側の出力は、本質的に低域通過循環フィルターであるエクスカーションヒストリー積分器によって個別的に時間に対して積分される。各低域通過循環フィルターＨｕ０、Ｈｕ１、Ｈｖ０、及びＨｖ１の出力は、調節因子計算器８５３０−１に供給される。調節因子計算器８５３０−１は、４つの時間に対して積分されたエクスカーション量Ｈｕ０、Ｈｕｕ１、Ｈｖ０、及びＨｖ１のうちから最大値を選択し、連続区間［０，１］で非線形的に標準化されたスカラーコントロール信号Ｅ（ｎ）を生成させる。
【０２３９】
調節因子計算器８５３０−１は、Ｆ（ｎ）とＧ（ｎ）とのミキシングを調節するために、非線形的に標準化されたスカラーコントロール信号Ｅ（ｎ）を出力する。小さな値のＥ（ｎ）は、小さなエクスカーションのヒストリーを意味し、大きな値のＥ（ｎ）は、大きなエクスカーションのヒストリーを意味する。
【０２４０】
従って、補償変換Ｃ（ｎ）を生成させ、出力するためのスカラーコントロール信号Ｅ（ｎ）の制御下のＦ（ｎ）とＧ（ｎ）とのミキシングは、補償ウィンドウエクスカーションのヒストリーに基づく。本実施形態は、周波数オーバーエクスカーションなしに優れた安定化を提供し、既知の周波数応答と予測可能な安定化性質とを有し、リアルタイムビデオ安定化に適切である。
【０２４１】
上記開示した発明は、実施形態として考慮されたものであるので、制限されて解釈されてはならず、請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。従って、請求項及びその均等物の最大限の解釈によって、発明の保護範囲は、法によって許容される最大の内容まで含まれなければならず、上述した詳細な説明によって制限的に解釈してはならない。
【符号の説明】
【０２４２】
３００    特徴点選択器
３１０    第１ダウンサンプラー
３２０    タイル分散計算器
３３０    特徴点候補識別器
３４０    特徴点候補分類器
３５０    メモリ
３５２    ＳＦＰリスト
３５４    ＦＰ  ＭＶグループインベントリ
３５６    タイルＭＶリスト
３５８    タイルＭＶグループインベントリ
７００    ＳＦＰモーションベクトル計算器
７１０    第２ダウンサンプラー
７２０    タイルベクトル計算器
７３０    階層的ブロックマッチング検索ユニット
１３００    特徴点グループ化回路（図１３）、モーションベクトルグループ化回路（図１５）
１３０２    ペアリングアルゴリズムコントローラ
１３１０    グループ化アルゴリズム回路（図１３）、モーションベクトル比較器（図１５）
１３１２    ｜Ａ｜２計算器
１３１４    ｜Ｂ｜２計算器
１３１６    ｜ｂ｜２＆｜ａ−ｂ｜２計算器
１３２０    サイズ比率（｜ｂ｜）比較器
１３３０    ベクトルアングル比較器
１３３２    サイズアングル比較器／推定器
１３３４    正規化された差のサイズ（Ｍａｔｈ）計算器／測定器
２０００    感知ユニット
２０１０    モーションベクトル（ＭＶ）グループアフィン変換計算器
３０００    特徴点回路
４０００    軌跡ユニット
４１００    グループ変換スコアリング及び選択回路
４１００−１    タイルグループ変換スコアリング及び選択回路
４１００−２    特徴グループ変換スコアリング及び選択回路
４１１０    ヒストリースコア計算ユニット
４１１４    比較器
４１１６    全体ヒストリースコア計算器
４１２０    モーションスコア計算ユニット
４１３０    特徴スコア計算ユニット
４１４０    規模スコア計算ユニット
４１５０    変換スコアＳｉ（ｎ）計算器
４１６０    変換品質Ｑｉ（ｎ）計算器
４１７０    グループ変換及び品質選択器
４２００    コレクティブ変換スコアリング及び選択回路
４２５０    コレクティブ判定計算器
４２６０    コレクティブ変換選択器
４４００    移動客体除外回路
４４１０、４４２０、４４３０、４４４０    グループヒストリー回路
４４７０    移動客体分析器
４４８０    除外変換選択器
６０００    補償ユニット
８０００    適応的補償フィルター
８２００    エクスカーション調節ミキサー
８５００    適応的フィルターコントローラ
８５１０    エクスカーション計算器
８５２０    エクスカーションヒストリー積分器
８５３０−１    調節因子計算器
８６００    弱補償（ＷＣ）フィルター
８７００    強補償（ＳＣ）フィルター
【図１Ａ】
2012138906.tif 000008
【図１Ｂ】
2012138906.tif 000009
【図１Ｃ】
2012138906.tif 000010
【図１Ｄ】
2012138906.tif 000011
【図１Ｅ】
2012138906.tif 000012
【図１Ｆ】
2012138906.tif 000013
【図２Ａ】
2012138906.tif 000014
【図２Ｂ】
2012138906.tif 000015
【図３】
2012138906.tif 000016
【図４Ａ】
2012138906.tif 000017
【図４Ｂ】
2012138906.tif 000018
【図５】
2012138906.tif 000019
【図６】
2012138906.tif 000020
【図７】
2012138906.tif 000021
【図８Ａ】
2012138906.tif 000022
【図８Ｂ】
2012138906.tif 000023
【図８Ｃ】
2012138906.tif 000024
【図９Ａ】
2012138906.tif 000025
【図９Ｂ】
2012138906.tif 000026
【図１０】
2012138906.tif 000027
【図１１】
2012138906.tif 000028
【図１２】
2012138906.tif 000029
【図１３】
2012138906.tif 000030
【図１４】
2012138906.tif 000031
【図１５】
2012138906.tif 000032
【図１６】
2012138906.tif 000033
【図１７Ａ】
2012138906.tif 000034
【図１７Ｂ】
2012138906.tif 000035
【図１８】
2012138906.tif 000036
【図１９】
2012138906.tif 000037
【図２０】
2012138906.tif 000038
【図２１】
2012138906.tif 000039
【図２２】
2012138906.tif 000040
【図２３】
2012138906.tif 000041
【図２４】
2012138906.tif 000042
【外国語明細書】
2012138906000001.pdf