(57)【要約】      （修正有）【課題】デジタルイメージ安定化を正確にすると同時に、カメラ動きまたは全体動きのために起こる動きの特徴点を識別して、その特徴点のモーションベクトルを得るビデオデータプロセッシング方法を提供する。【解決手段】デジタルイメージ安定化方法は、最適の特徴点を選択するための特徴点分類アルゴリズム、選択された特徴点のモーションベクトルを誘導するための計算的に効率的なタイルベクトル基盤の階層的ブロック検索アルゴリズム、サイズ比率基準及びアングル差基準に基づいて選択された特徴点をグループ化する特徴点モーションベクトルグループ化／比較アルゴリズムからなる。【選択図】図９
2012164303.tif 000002
【特許請求の範囲】
【請求項１】
第１イメージフレーム（ｉｍａｇｅ  ｆｒａｍｅ）を表現する第１イメージデータ（ｉｍａｇｅ  ｄａｔａ）を受信する段階と、
前記第１イメージフレームの一部を複数のタイル（ｔｉｌｅ）に分離する段階と、
前記複数のタイルのそれぞれに含まれた特徴点（ｆｅａｔｕｒｅ  ｐｏｉｎｔ）を選択する段階と、
前記複数のタイルのそれぞれに対応するタイルモーションベクトル（ｔｉｌｅ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）を誘導する段階と、
前記タイルモーションベクトルに基づいて、前記選択された特徴点のそれぞれのための開始ベクトル（ｓｔａｒｔ  ｖｅｃｔｏｒ）を選択する段階と、
第２イメージフレームを表現する第２イメージデータを受信する段階と、
前記選択された開始ベクトルを用いて、前記選択された特徴点のそれぞれに対応する特徴点モーションベクトル（ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）を誘導する段階と、
を含むことを特徴とするビデオデータプロセッシング（ｐｒｏｃｅｓｓｉｎｇ）方法。
【請求項２】
前記複数のタイルのそれぞれに含まれた特徴点を選択する段階は、
前記第１イメージデータの第１ダウンサンプリングを行う段階を含む前記タイルに含まれたことを特徴とする特徴点を識別する段階を含む請求項１に記載のビデオデータプロセッシング方法。
【請求項３】
前記タイルモーションベクトルを誘導する段階は、
前記第１イメージデータの第２ダウンサンプリングを行う段階を含むことを特徴とする請求項１に記載のビデオデータプロセッシング方法。
【請求項４】
前記タイルモーションベクトルを誘導する段階は、
前記複数のタイルのそれぞれのためのフルサーチブロックマッチング（ｆｕｌｌ  ｓｅａｒｃｈ  ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）を行う段階をさらに含むことを特徴とする請求項３に記載のビデオデータプロセッシング方法。
【請求項５】
前記複数のタイルのそれぞれに含まれた前記特徴点を選択する段階は、
コーナー検出器（ｃｏｒｎｅｒ  ｄｅｔｅｃｔｏｒ）を用いて、前記第１イメージフレームの前記複数のタイルのそれぞれに含まれた特徴点を識別する段階を含むことを特徴とする請求項１に記載のビデオデータプロセッシング方法。
【請求項６】
前記複数のタイルのそれぞれに含まれた前記特徴点を選択する段階は、
前記第１イメージフレームの前記複数のタイルのそれぞれの輝度の分散（ｌｕｍｉｎａｎｃｅ  ｖａｒｉａｎｃｅ）を計算する段階をさらに含むことを特徴とする請求項５に記載のビデオデータプロセッシング方法。
【請求項７】
前記複数のタイルのそれぞれに含まれた前記特徴点を選択する段階は、
前記第１イメージフレームの全体輝度の分散（ｔｏｔａｌ  ｌｕｍｉｎａｎｃｅ  ｖａｒｉａｎｃｅ）を計算する段階と、
前記全体輝度の分散に対する前記複数のタイルのそれぞれの前記輝度の分散の比率を計算する段階と、
をさらに含むことを特徴とする請求項６に記載のビデオデータプロセッシング方法。
【請求項８】
前記複数のタイルのそれぞれに含まれた前記特徴点を選択する段階は、
前記第１イメージフレームの前記複数のタイルのそれぞれに含まれた前記特徴点のそれぞれを現在識別された特徴点候補（ｃｕｒｒｅｎｔｌｙ−ｉｄｅｎｔｉｆｉｅｄ  ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｃａｎｄｉｄａｔｅ）として識別する段階と、
前記現在識別された特徴点候補のコーナー応答（ｃｏｒｎｅｒ  ｒｅｓｐｏｎｓｅ）と先に識別された特徴点候補のコーナー応答との比較及び他の先に識別された特徴点候補に対する前記現在識別された特徴点候補の近接性（ｐｒｏｘｉｍｉｔｙ）に基づいて、前記複数のタイルの前記識別された特徴点を分類する段階と、
を含むことを特徴とする請求項１に記載のビデオデータプロセッシング方法。
【請求項９】
前記分類する段階は、
前記現在識別された特徴点候補が、前記先に識別された特徴点候補の既定の最小距離内に存在する場合、前記現在識別された特徴点候補を拒絶する段階を含むことを特徴とする請求項８に記載のビデオデータプロセッシング方法。
【請求項１０】
前記現在識別された特徴点候補が、先に識別されて保存された特徴点候補より小さい場合、前記現在識別された特徴点候補を拒絶する段階をさらに含むことを特徴とする請求項９に記載のビデオデータプロセッシング方法。
【請求項１１】
メモリに前記識別された特徴点候補のうち既定の数まで保存する段階をさらに含むことを特徴とする請求項８に記載のビデオデータプロセッシング方法。
【請求項１２】
前記現在識別された特徴点候補が、前記現在保存されて識別された特徴点候補のうち最も小さなものよりさらに広い場合、メモリに現在タイルの現在識別された特徴点候補を保存する段階と、
前記現在識別された特徴点候補がさらに広い場合、前記現在保存されて識別された特徴点候補のうち最も小さなものの保存を取り消す段階と、
を含むことを特徴とする請求項１１に記載のビデオデータプロセッシング方法。
【請求項１３】
前記分類する段階は、
１つ以上の前記現在保存された特徴点候補が、現在識別された特徴点候補の既定の最小距離内に位置する場合と、
前記現在識別された特徴点候補が、１つ以上の前記現在保存された特徴点候補よりさらに広い場合と、
前記現在保存された特徴点候補の保存を取り消す段階と、
をさらに含むことを特徴とする請求項１１に記載のビデオデータプロセッシング方法。
【請求項１４】
前記複数のタイルのそれぞれに対応する前記識別された特徴点候補の前記既定の数は、６４であるか、それ以下の正の整数であることを特徴とする請求項１１に記載のビデオデータプロセッシング方法。
【請求項１５】
前記第１イメージフレームの境界線に隣接するボーダーマージン（ｂｏｒｄｅｒ  ｍａｒｇｉｎ）に含まれたピクセルは、前記複数のタイルに含まれないことを特徴とする請求項１に記載のビデオデータプロセッシング方法。
【請求項１６】
イメージデータから第１フレーム及び第２フレームを受信するレシーバー（ｒｅｃｅｉｖｅｒ）と、
前記第１フレームの一部を複数のタイルに分離するディバイダー（ｄｅｖｉｄｅｒ）と、
前記複数のタイルのそれぞれに含まれた特徴点を識別する特徴点回路（ｆｅａｔｕｒｅｐｏｉｎｔ  ｃｉｒｃｕｉｔ）と、
前記識別された特徴点及び前記複数のタイルのそれぞれのためのモーションベクトルを誘導するモーションベクトル回路（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃｉｒｃｕｉｔ）と、
を含むことを特徴とするイメージプロセッシング回路（ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｃｉｒｃｕｉｔ）。
【請求項１７】
前記モーションベクトル回路は、
前記複数のタイルのそれぞれの前記第１フレーム及び前記第２フレームの間でモーションベクトルを誘導するタイルベクトル計算器（ｔｉｌｅ  ｖｅｃｔｏｒ  ｃａｌｃｕｌａｔｏｒ）と、
前記複数のタイルのそれぞれに含まれた選択された特徴点のモーションベクトルを誘導するために選択された開始ベクトル（ｓｔａｒｔ  ｖｅｃｔｏｒ）を用いる検索ユニット（ｓｅａｒｃｈ  ｕｎｉｔ）と、
前記複数のタイルのそれぞれに対して既定の数の特徴点を保存するメモリと、
を含むことを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項１８】
前記第１フレーム及び前記第２フレームの間で前記複数のタイルのそれぞれに含まれた特徴点のモーションベクトルを誘導するために、前記第１フレーム及び前記第２フレームの前記イメージデータをダウンサンプルするダウンサンプラー（ｄｏｗｎ−ｓａｍｐｌｅｒ）をさらに含むことを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項１９】
前記特徴点回路は、前記複数のタイルのそれぞれに含まれた特徴点を識別するコーナー検出器（ｃｏｒｎｅｒ  ｄｅｔｅｃｔｏｒ）を含むことを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項２０】
前記モーションベクトル回路は、前記タイルベクトルのうち１つから選択された特徴点のための開始ベクトルを選択することを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項２１】
前記第１フレームの第１タイルに含まれた選択された特徴点の前記選択された開始ベクトルは、前記第１タイルのタイルベクトル及び前記第１タイルに隣接する右、左、上、及び下のタイルの前記タイルベクトルを含むことを特徴とする請求項２０に記載のイメージプロセッシング回路。
【請求項２２】
前記特徴点回路は、
前記複数のタイルのそれぞれの識別された特徴点のうちから複数の選択された特徴点を選択することを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項２３】
前記メモリは、前記複数のタイルのそれぞれのために選択された特徴点を６４まで保存することを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項２４】
前記イメージデータの前記第１フレーム及び前記第２フレームは、前記イメージプロセッシング回路のＩ／Ｏピンを通じて受信されることを特徴とする請求項１６に記載のイメージプロセッシング回路。
【請求項２５】
フレームの一部を複数のタイルに分離する段階と、
前記複数のタイルのそれぞれのモーションベクトルを推定する段階と、
モーション特性（ｍｏｔｉｏｎ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）に基づいて、前記モーションベクトルをグループに分類する段階と、
前記フレームの場面内の停止した物体を表現するモーションベクトルグループを選択する段階と、
を含むことを特徴とするビデオデータプロセッシング方法。
【請求項２６】
前記複数のタイルのモーションベクトルを推定する段階は、
サブサンプリングされた輝度データ（ｌｕｍｉｎａｎｃｅ  ｄａｔａ）を用いて特徴点の検索を行う段階を含むことを特徴とする請求項２５に記載のビデオデータプロセッシング方法。
【請求項２７】
前記複数のタイルのモーションベクトルを推定する段階は、
最も低いＳＡＤ（ｓｕｍ−ｏｆ−ａｂｓｏｌｕｔｅ−ｄｉｆｆｅｒｅｎｃｅ）を有する前記タイルモーションベクトルを選択する段階を含むことを特徴とする請求項２６に記載のビデオデータプロセッシング方法。
【請求項２８】
前記フレームの場面内の停止した物体を表現するモーションベクトルグループを選択する段階は、
前記フレームの前記場面内に動く物体の動きを表現する少なくとも１つのモーションベクトルグループを拒絶する段階を含むことを特徴とする請求項２５に記載のビデオデータプロセッシング方法。
【請求項２９】
イメージをキャプチャーし、イメージデータの第１フレーム及び第２フレームを出力するイメージキャプチャー回路（ｉｍａｇｅ  ｃａｐｔｕｒｅ  ｃｉｒｃｕｉｔ）と、
イメージプロセッシング回路（ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｃｉｒｃｕｉｔ）と、を含み、
前記イメージプロセッシング回路は、
前記第１フレームの一部を複数のタイルに分離するタイリング回路（ｔｉｌｉｎｇ  ｃｉｒｃｕｉｔ）と、
前記第１フレームの前記複数のタイルのそれぞれに含まれた特徴点を識別する特徴点回路（ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｃｉｒｃｕｉｔ）と、
前記複数のタイルのそれぞれのモーションベクトルを誘導し、前記複数のタイルのそれぞれの識別された特徴点のためのモーションベクトルを誘導するモーションベクトル回路（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃｉｒｃｕｉｔ）と、
を含むことを特徴とするカメラ。
【請求項３０】
前記モーションベクトル回路は、少なくとも１つのタイルの前記モーションベクトルに基づいて、前記識別された特徴点のためのモーションベクトルを誘導することを特徴とする請求項２９に記載のカメラ。
【請求項３１】
モーション特性に基づいて、前記モーションベクトルをグループに分類し、前記フレームの場面内にある停止した物体を表現するモーションベクトルグループを選択するグループ化回路（ｇｒｏｕｐｉｎｇ  ｃｉｒｃｕｉｔ）をさらに含むことを特徴とする請求項２９に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルイメージ安定化（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ；ＤＩＳ）に係り、より詳しくは、デジタルイメージ安定化のために特徴点を検知、選択及びグループ化する方法に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ、及びハンドヘルドデバイスは、カメラが、人の手によって作動される間に、写真や映像を撮影するために使われる。したがって、ビデオカメラは、写真や映像を撮影する間に、手ぶれや、ジッタ（ｊｉｔｔｅｒ）が発生しうる。ジッタは、水平的成分、垂直的成分、回転的成分を含みうる。回転は、イメージキャプチャー回路の焦点面に対して垂直軸に、イメージキャプチャー回路の焦点面に対して水平軸に、または水平軸と垂直軸とに対する傾斜軸になされうる。ジッタは、直接持って撮影された映像が見る人をディストラクティング（ｄｉｓｔｒａｃｔｉｎｇ）させるか、ディスオリエンティング（ｄｉｓｏｒｉｅｎｔｉｎｇ）させ、したがって、デジタル的にカメラの軌跡（例えば、連続したフレームで検知されるジッタ）を予測し、同じ場面の映像フレームのシーケンス（ｓｅｑｕｅｎｃｅ）からジッタをフィルタリングするデジタル回路を使うことが要求される。連続したフレームの間のカメラ軌跡を予測し、映像フレームの配列からカメラ軌跡によって引き起こされたジッタをフィルタリングするために利用される回路は、ビデオカメラ自体を含み、撮影された映像フレームの保存に先立って（ビデオカメラがリアルタイムＭＰＥＧエンコーダ（ｒｅａｌ−ｔｉｍｅ  ＭＰＥＧｅｎｃｏｄｅｒ）を含むとすれば、ＭＰＥＧエンコーディング以前に）、リアルタイムでジッタを除くように作動することができる。一方、連続した映像フレームの間でカメラ軌跡を予測し、映像フレームが保存された配列からジッタをフィルタリングするために利用される回路は、デジタルイメージ安定化方法を具現したソフトウェアによって制御される一般的なマイクロコンピュータやデジタルイメージ安定化方法を行うために最適化されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）に具現されたＭＰＥＧ映像エンコーダのような専用ハードウェアであり得る。
【０００３】
映像（ｖｉｄｅｏ）は、キャプチャーされた映像内にステディ（ｓｔｅａｄｙ）ビデオカメラを固定または移動させれば、主に滑らかな動作（並進、回転）が含まれる。しかし、不安定なビデオカメラは、ビデオイメージを通じて非常に頻繁なジッタ（並進的に、及び／または回転的に）映像を発生させる。
【０００４】
物理的イメージ装置からキャプチャーされたデジタルイメージシーケンスは、度々所望していないに非常に頻繁なジッタ動きを表示する。イメージシーケンスに現われたジッタ動きの全体は、キャプチャーされたシーケンスの物体に対してイメージキャプチャー装置の物理学的性質に依存する。場面の深さ及びマウントの重さ、慣性、均衡による映像機のマウントの不安定さは、所望しない全体的なジッタを作り出す。
【０００５】
デジタル安定化システムは、まず所望しない（意図しない）動きを推定した後、イメージシーケンスに修正を加えることである。安定化された映像（ｓｔａｂｉｌｉｚｅｄ  ｖｉｄｅｏ）の視覚的効果は、カメラ軌跡推定の品質に非常に依存する。デジタルイメージ安定化アルゴリズムは、２つの連続したフレーム間のジッタを推定するために、よく追跡された（ｗｅｌｌ−ｔｒａｃｋｅｄ）特徴点（ｆｅａｔｕｒｅ  ｐｏｉｎｔ）を使う。デジタルイメージ安定化（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ；ＤＩＳ、以降ＤＩＳと称する）は、ジャーキーモーション（ｊｅｒｋｙ  ｍｏｔｉｏｎ）と呼ばれる不安定なビデオカメラによって引き起こされた意図していない急な動きを含む他の不安定な映像から、空間的に安定した映像を生産するハードウェア及び／またはソフトウェア的な方法によって具現されうる。一般的なＤＩＳ技術で、カメラ動きは、場面の多様な観点でのモーションベクトルを分析することで検知される。しかし、モーションベクトルは、カメラ動きと同様に物体の動きによっても生じる。
【０００６】
当該ポイントが経時的に隣接したフレームに検知可能な特徴点として如何ほど適するかを表わすフレームの各ピクセルに数値的なスコア（ｎｕｍｅｒｉｃａｌ  ｓｃｏｒｅ）を提供する関数がある。前記関数の一例として、ハリスコーナー検出器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）がある。しかし、特徴点の大きさは、イメージの異なる領域ごとに類型的に非常に異なっている。ＤＩＳ方法は、各ピクセルの数値的なスコアを比較した全体スレショルド値（ｇｌｏｂａｌ  ｔｈｒｅｓｈｏｌｄ）を使用するが、必ずしも特徴点の最適分布での結果ではない。これにより、低コントラスト領域（ｒｅｇｉｏｎｓ  ｏｆ  ｌｏｗ  ｃｏｎｔｒａｓｔ）（例えば、雲がほとんどない青空の場面や特徴点のない場面）は、非常に小さい特徴点しか有しない。一方、非常に多くの構造物を有する領域は、特徴点が互いに非常に近接している。特徴点の誤った分布は、非常に近接した特徴点のモーションベクトルを計算するに当たって、計算上の負担を増加させ、正確なモーションベクトルを算出することができない。
【０００７】
ＤＩＳ方法の具現において、回路の電力消費及びＤＩＳ遂行に必要な時間消費を減らして計算の負担を最小化することが要求される。また、カメラ軌道を検知及び測定し、ジッタを正確に特性化することが要求される。その結果、ジッタが正確に補償されて保存／表示される映像からジッタが正確に除去することができる。
【０００８】
数学において、アフィン幾何学（ａｆｆｉｎｅ  ｇｅｏｍｅｔｒｙ）は、アフィン変換によって変わらずに保持される幾何学的な特性を研究する学問である（例えば、非単数線形変換及び変形（ｎｏｎ−ｓｉｎｇｕｌａｒ  ｌｉｎｅａｒ  ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ  ａｎｄ  ｔｒａｎｓｌａｔｉｏｎｓ））。アフィン行列（Ａｆｆｉｎｅ  ｍａｔｒｉｘ）と呼ばれる数値係数によって定義される方程式の数学システムは、連続した各ペアのフレームの間、またはその一部（例えば、フレーム内の物体の運動）で検知される動きの側面（上／下）、回転、及びスカラー（ｓｃａｌａｒ）（例えば、拡大または縮小）で特性化されて発展した。
【０００９】
これにより、ジッタは、場面で主要変形（Ｐｒｉｎｃｉｐａｌ  Ｔｒａｎｓｆｏｒｍ）または全体変形（Ｇｌｏｂａｌ  Ｔｒａｎｓｆｏｒｍ）と呼ばれる実際の静止物体（例えば、岩、テーブル、駐車した車、山、及び太陽）と関連して第１アフィン変形行列によって特性化されうる。一方、フレーム内の動く物体（例えば、鳥、人、球、動く車）は、追加的なアフィンマトリックスによって特性化されうる。
【００１０】
ユーザのハンドジッタによって生じるカメラ動きを表わす主要変形（ｐｒｉｎｃｉｐｌｅ  ｉｎｔｅｒ−ｆｒａｍｅ  ｔｒａｎｓｆｏｒｍ）は、時間ｔでキャプチャーされた各フレームで実際の静止物体と関連した１つまたはそれ以上の関心のあるポイント（これを特徴点（Ｆｅａｔｕｒｅ  ｐｏｉｎｔ）と称する）を検知し、特徴点それぞれのモーションベクトルを計算することで計算することができる。特定物体と関連した複数のモーションベクトルは、物体のアフィン変形（すなわち、次のアフィン方程式によって動きを検知する）で計算する。
ｘ´＝ｓｘ＊ｘ＋ｒｙ＊ｙ＋ｔｘ
ｙ´＝ｒｘ＊ｘ＋ｓｙ＊ｙ＋ｔｙ
【００１１】
連続したフレームの間の特徴点のモーションベクトルは、映像圧縮分野で採用される多様な検索方法を使って計算することができる。そのような検索方法は、マクロブロック（ｍａｃｒｏｂｌｏｃｋ）の数学的比較、すなわち、経時的に近い２つのフレーム間の絶対差の和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ；ＳＡＤ）、絶対差の平均（ｍｅａｎ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ；ＭＡＤ）、またはエラー二乗平均（ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ；ＭＳＥ）による（例えば、現在フレームで特徴点を含む８ｘ８ピクセルマクロブロックと基準フレーム（ｔ＋１）の検索領域で特徴点位置がほぼ中心となる複数の８ｘ８ピクセルマクロブロックとを比較することによって、基準フレーム（ｔ＋１）で特徴点の位置を検索する）。経時的に隣接したフレーム間（ｔ、及びｔ＋１）の特徴点に対して中心部にあるマクロブロック移動の測定値と方向とを特徴点のモーションベクトルと言う。多様に選択された範囲でブロックマッチングアルゴリズム（Ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ａｌｇｏｒｉｔｈｍｓ；ＢＭＡ）を使う関連技術のモーションベクトル推定方法は、アメリカ特許ＵＳ  Ｐａｔ．６８９５３６１、Ｙａｎｇ及びアメリカ特許ＵＳ  ７６８０１８６、Ｌｅｅを参照することができる。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記従来技術に鑑みてなされた本発明の目的は、デジタルイメージ安定化を正確にすると同時に、カメラ動きまたは全体動きのために起こる動きの特徴点を識別して、その特徴点のモーションベクトルを得る非常に効率的なビデオデータプロセッシング方法及びそれを利用したイメージプロセッシング回路を提供することにある。
【課題を解決するための手段】
【００１３】
ＤＩＳアルゴリズムに優れた特徴点は、適したモーション推定アルゴリズムが適用される時、曖昧ではないモーションベクトルから算出されるポイントである。イメージで特徴点を識別するために、イメージフレームのピクセルに適用されるハリスコーナー検出器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）は、このピクセルが特徴点として如何ほど適するかを推定する。前記イメージの他の領域は、識別された特徴点候補の他の密度を有する。ラスタースキャンオーダー選択（ｒａｓｔｅｒ  ｓｃａｎ  ｏｒｄｅｒ  ｓｅｌｅｃｔｉｏｎ）と分類（ｓｏｒｔｉｎｇ）の類似した方法は、イメージフレームの小さな領域、すなわち、タイル（ｔｉｌｅ）に基づいた最終特徴点分布を提供する。最終特徴点分布で、特徴点の最大数は、タイルのイメージデータ輝度の分散によって線形的に増加する。
【００１４】
各イメージフレームは、小さな数（ｊ×ｋ）のタイルに分けられる。タイルの数ｊ×ｋは、ＳＤビデオで４×４からＨＤビデオで６×６、またはさらに大きな数の範囲を有しうる。また、範囲内の他の数４．８×４．８も可能であり、役に立つ。タイルサイズは、少なくとも１タイルでほとんどを独立してカバーして動く十分に大きな物体のようなものを選ぶことができる。その結果、物体の動きは、ＤＩＳ目的でキャプチャーされうるが、小さな物体の動きは無視される。
【００１５】
さらに関心のあるイメージデータを有するタイルとさらに多い特徴点のための必要性を有したタイルは、さらに大きな分散σ２を有すると予想される。特徴点分類アルゴリズムは、特徴点の間のプログラム可能な最小距離を探すが、これは、最小限のハードウェアメモリを必要とする。
【００１６】
階層型動き推定アルゴリズムは、フレームからフレームまで特徴点動きの推定に使われる。ここでは、以降の検索レベルのためのプログラム可能なモーション範囲を意図的に小さくしてあり、ローカル動き以上の大きな物体や全体動きが優先される。その結果、操作に要求される数は、最小化されるが、一方、その結果値は、ＤＩＳ応用に非常に適している。
【００１７】
選択された（例えば、分類アルゴリズムによって）フィーチャーポイントのそれぞれに対して、そのモーションベクトルは、使われる開始ベクトルの小さな範囲内のブロックマッチングによって決定される。開始ベクトルは、現在特徴点を含むタイルと、その周辺タイル（例えば、上、下、左側、右側のタイル）のタイルモーションベクトルである。タイルモーション推定は、特徴点のモーションベクトルを得る最初の段階である。タイルモーション推定は、入力イメージの中心部分をカバーする（例えば、特徴点分類アルゴリズムに使われるものと同じタイル）重ならないタイルに基づいてなされる。それぞれのタイルのために、フルブロックマッチング探索（ｆｕｌｌ  ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ｓｅａｒｃｈ）がダウンサンプルされたイメージで行われる。
【００１８】
現在フレームは、標準画質ビデオ（ｓｔａｎｄａｒｄ  ｄｅｆｉｎｉｔｉｏｎ  ｖｉｄｅｏ；ＳＤ  ｖｉｄｅｏ）の場合、４から８に、高画質ビデオ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｖｉｄｅｏ；ＨＤ  ｖｉｄｅｏ）で８から１６に、第２サブサンプリングファクターｆｓ２によってサブサンプリングされる。サブサンプリングされたドメインで、フルサーチブロックマッチング（ｆｕｌｌ−ｓｅａｒｃｈ  ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）がすべてのタイルでなされ、タイルベクトルは、今後の使用のために保存される（例えば、特徴点のモーションベクトルを算出するための開始ベクトルとして）。１つのモーションベクトルは、あらゆるタイルで推定され、最も低い解像度（ｔｈｅ  ｌｏｗｅｓｔ−ｒｅｓｏｌｕｔｉｏｎ）でフルサーチができ、第２サブサンプリングファクターによるサブサンプリングをすることができる。最も小さなＳＡＤで算出されるモーションベクトル候補は、各タイルに割り当てられる。本発明の一実施形態によれば、ボーダータイル（ｂｏｒｄｅｒ  ｔｉｌｅｓ）で、可能な検索領域で検索領域の（部分的に）外部として検索が制限されることができて、基準ブロックのために、モーションベクトルが全く生成されないこともある。解像度と関連して、タイルモーション検索は、半分−画素（ｈａｌｆ−ｐｅｌ）の正確なベクトルで発生することがある。前記検索地域は、単純なバイリニアインターポレーション（ｓｉｍｐｌｅ  ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）によってアップサンプル（ｕｐｓａｍｐｌｅｄ）されうる。これは、ＶＬＳＩ具現でロジック地域（ｌｏｇｉｃ  ａｒｅａ）とメモリに保存する非常に小さなローカルメモリ（ｌｏｃａｌ  ｍｅｍｏｒｙ）にのみ使われる。
【００１９】
１つの特徴点のためのモーションベクトルが決定されれば、データと関連したあらゆる特徴点は、次のＤＩＳブロック、特に、モーションベクトルグループ化ブロックに伝達される。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図２】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図３】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図４】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図５】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図６】本発明の実施形態によるＤＩＳ方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点とモーションベクトルとを示す図である。
【図７】図１〜６に示したＤＩＳ方法において、特徴点識別段階と一致するように分類することを容易にするために、ボーダー領域とコア領域とにある複数のタイルに分けられた図５示すような現在フレームのキャプチャーされたフレームのダイヤグラムである。
【図８】選択された特徴点（灰色）、拒絶された特徴点（白色）、及び選択されたが取り消された特徴点（×表示された灰色）を示す図７のイメージフレームのコア領域にある何れか１タイルの図である。
【図９】本発明の実施形態による特徴点回路のブロックダイヤグラムである。
【図１０】同じ時間に小さいローカル状態情報が必要であり、ハードウェア構築コストを減らしうる各タイルの特徴点の間の最小距離を保持する方法を示すフローチャートである。
【図１１】同じ時間に小さいローカル状態情報が必要であり、ハードウェア構築コストを減らしうる各タイルの特徴点の間の最小距離を保持する方法を示すフローチャートである。
【図１２】図１〜６に示したＤＩＳ方法でモーションベクトル計算段階を表わすために、順に計算されたタイルモーションベクトルを有してダウンサンプルされた図１の現在フレーム（Ｆｔ）を示す図である。
【図１３】図１〜６に示したＤＩＳ方法で利用した１つの選択された特徴点のモーションベクトルを計算するためにブロックマッチング検索のための開始ベクトルであって、図１２のタイルモーションベクトルを用いる段階を示す図１２のダウンサンプルされたフレームにある１つのタイルの部分を示す図である。
【図１４】図１〜６に示したＤＩＳ方法にある段階を行うために、図１の現在フレームにあるＳＦＰのモーションベクトルを計算する方法を示すフローチャートである。
【図１５】カメラが回転成分なしに並進動きのみをする場合、カメラから同じ距離にあるビデオ場面の同じ実際停止した物体の２つの特徴点のモーションベクトルを示すダイヤグラムである。
【図１６】カメラが回転成分を有する場合、カメラから同じ距離の実際停止した物体の２つの特徴点のモーションベクトルを示すダイヤグラムである。
【図１７】カメラが回転成分なしに並進動きのみをする場合、カメラから他の距離にある同じ実際停止した物体の２つの特徴点のモーションベクトルを示すダイヤグラムである。
【図１８】４つのベクトルの方向及びサイズが異なっても、各ペアは同じベクトル差のサイズを有することを説明するために、ビデオ場面にある実際停止した物体の特徴点のモーションベクトルの２つのペアを示すダイヤグラムである。
【図１９】４つのベクトルの方向及びサイズが異なっても、各ペアは同じベクトル差のサイズを有することを説明するために、ビデオ場面にある実際停止した物体の特徴点のモーションベクトルの２つのペアを示すダイヤグラムである。
【図２０】図２０のダイヤグラム（ａ）を参照する図１〜６に示したＤＩＳ方法の特徴点グループ化のために使われるアングル差の間接的な測定のための正規化されたベクトル差の計算を表わす３つのベクトルダイヤグラムである。
【図２１】図１〜６に示したＤＩＳ方法に含まれた図４のベクトルグループ化段階を行うために、図１及び図７のイメージフレームにある選択された特徴点のモーションベクトルの間のアングル差を間接的に測定するために、図２０の（ａ）〜（ｃ）の正規化されたベクトル差を用いるグループ化アルゴリズムのフローチャートである。
【図２２】アングル差θ（０〜９０゜の間）の関数であって、正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜対正規化されたベクトル差（ａ−ｂ）のサイズの比率｜ｂ｜のグラフであり、これは、図２１のグループ化アルゴリズムの決定段階ｄＳ１１４０で使うための効用のある近似化の効用可能性を図示するものである。
【図２３】図２１の特徴点グループ化アルゴリズムを行うグループ化アルゴリズム回路を含む特徴点グループ化アルゴリズム回路のブロックダイヤグラムである。
【発明を実施するための形態】
【００２１】
本発明の実施形態は、以下、図面を参照して、より詳細に説明する。しかし、本発明は、ここで説明する実施形態に限定されるものではない。また、本実施形態は、開示した範囲で徹底かつ完璧であるだけではなく、従来技術に本発明の概念の範囲を全体的に伝達できるように提供する。数字のような全体要素を参照する。
添付した図面は、本発明の概念に対する理解を助けるために、以下の詳細な説明とともに提供される。図面は、本発明の例示として表わし、詳細な説明とともに本発明の概念の原理を説明するためのものである。
【００２２】
図１〜６は、本発明の実施形態によるデジタルイメージ安定化（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚａｔｉｏｎ；以下、ＤＩＳと称する）方法において、各段階を説明するための現在フレーム、基準フレーム、及び選択された特徴点（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔｓ）とモーションベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒｓ）とを示す図である。
【００２３】
図１は、２つの連続した映像フレームである画面の現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）を示す。画面は、停止している物体（全景の丘、電柱、山、及び太陽）及び動く物体（左側の鳥）を含む。現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）は、図５に示したように、さらに広い領域を有したそれぞれの連続するキャプチャーされた（ｃａｐｔｕｒｅｄ）フレームの一部である。この広いキャプチャーされたフレームは、ＤＩＳ以前にイメージセンサー（ｉｍａｇｅ  ｓｅｎｓｏｒ）によってキャプチャーされた原本イメージである。基準フレーム（Ｆｔ＋１）は、ジッタ動作によって引き起こされたカメラ軌跡のために、現在フレーム（Ｆｔ）と関連して回転及び並進をする。キャプチャーされたフレーム（図５参照）の面積は、ビデオカメラのイメージセンサーのハードウェア的な面積によって一般的にあらかじめ決定される。現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）の面積は、カメラのジッタ動作のために発生するキャプチャーされたフレームのバウンド（ｂｏｕｎｄｓ）上に現在フレーム（Ｆｔ）の“オーバーエクスカーション（ｏｖｅｒｅｘｃｕｒｓｉｏｎｓ）”の発生を避けるため、もしくは最小化するために流動的に選択される。
【００２４】
図２は、画面上で実際に停止した物体及び動く物体と関連した現在フレーム（Ｆｔ）で選択された複数の特徴点（円）を示す。現在フレーム（Ｆｔ）は、複数の長方形タイルに分けられており、各タイルは、少なくとも１つの選択された特徴点を構成することができる。図２に示した選択された特徴点は、図７、図８、図１０及び図１１に示した方法の各段階を行うことによって、及び／または図９の回路によって識別されて選択することができる。本発明の実施形態による方法は、いくつかの態様で、イメージパターンに依存して１つ以上のタイルが選択された特徴点を１つも有しないこともあるが、本発明の実施形態を説明するための目的で、図２に示したように各タイルには、少なくとも１つの選択された特徴点が存在するようにしてある。現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）は、図２に示した選択された特徴点が、図７、図８、図１０及び図１１に示した方法の段階を行うことによって識別されて選択される間に、図９に示した回路のメモリ３５０に保存される。
【００２５】
図３は、モーションベクトル（矢印）を有した現在フレーム（Ｆｔ）の各選択された特徴点を示す。図３に示した選択された特徴点のモーションベクトルは、図１３及び図１４に示した方法の段階を行うことによって計算することができる。
【００２６】
図４は、画面のモーションベクトルが、グループ化（グループＡ、グループＢ、グループＣ）されたものを示す。画面上で実際に停止した物体のモーションベクトル（グループＢ、グループＣ）は、ジッタのようなカメラ動きによって引き起こされる。図４に示した選択された特徴点のモーションベクトルのグループ化は、モーションベクトルがサイズ比率及び正規化されたベクトル差を用いるペアリングアルゴリズム（ｐａｉｒｉｎｇ  ａｌｇｏｒｉｔｈｍ）に基づいて組み合わせ／グループ化（含み／除外）された図２０の（ａ）〜（ｃ）、及び図２１に示した方法の段階によって行われる。
【００２７】
図５は、イメージセンサー（図示せず）によって出力されたさらに大きなキャプチャーされたフレームのさらに大きな背景にある基準フレーム（Ｆｔ＋１）を示す。基準フレーム（Ｆｔ＋１）の位置は、基準フレーム（Ｆｔ＋１）のアフィン係数（ａｆｆｉｎｅ  ｃｏｅｆｆｉｃｉｅｎｔ）を定義するために、図４に示した実際に停止した物体のグループＢ及びグループＣのモーションベクトルを用いることによって決定される。基準フレームのバウンド上にキャプチャーされたフレームのイメージデータは、グループＢ及びグループＣのモーションベクトルが計算された図１３及び図１４に示した方法の段階を行う回路によって提供されるように作られる。
【００２８】
図６は、図４に示した実際に停止された物体のモーションベクトルによって指示されるジッタカメラモーションのためのイメージセンサー（図示せず）によって受信される位置にある基準フレーム（Ｆｔ＋１）を示す。基準フレーム（Ｆｔ＋１）のアフィン係数は、カメラのジッタモーションを補正するために基準フレーム（Ｆｔ＋１）を回転させ、並進させるための補償（ｃｏｍｐｅｎｓａｔｉｏｎ）回路によって適用される。
〔特徴点識別、分類、及び分布（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ、Ｓｏｒｔｉｎｇ  ａｎｄ  Ｄｉｓｔｒｉｂｕｔｉｏｎ）〕
【００２９】
図７は、図１〜６に示したＤＩＳ方法において、特徴点識別段階と一致するように分類することを容易にするために、ボーダー（ｂｏｒｄｅｒ）領域とコア（ｃｏｒｅ）領域とにある複数のタイル（ｊ×ｋ）に分けられた図５に示したような現在フレーム（Ｆｔ）のキャプチャーされたフレームのダイヤグラムである。ボーダー領域及びコア領域の境界線は、現在フレーム（Ｆｔ）のバウンドが、例えば、現在フレームのオーバーエクスカーションを阻むか、減らすために流動的に受信されたイメージデータコンテンツによって指示されるジッタカメラモーションの量に基づいて選択されるか、ハードウェアや受信されたイメージデータコンテンツと独立してソフトウェアによってあらかじめ決定されうる。したがって、コア領域は、図１に示した現在フレーム（Ｆｔ）のサイズ及び位置に対応することもあるが、対応しないこともある。
【００３０】
それぞれのキャプチャーされたビデオフレームは、ＤＩＳに適した優れた特徴点分布（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｄｉｓｔｒｉｂｕｔｉｏｎ）を提供する特徴点をアルゴリズム的に選択するために、小さな数字の重ならないタイル（例えば、標準画質（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）では、４×４タイル、高画質（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）では、６×６）に分けることができる。イメージの異なる領域では、好適な特徴点の異なる密度（ｄｅｎｓｉｔｙ）を有しうる。極端な例として、雲一つない青空の場合、フレームの領域は、好適な特徴点を有することができない。他の領域においては、潜在的な特徴点は、非常に密集しているかもしれない。全体基本スレショルド値（ｇｌｏｂａｌ−ｂａｓｅｄ  ｔｈｒｅｓｈｏｌｄ）に基づいてあらゆる特徴点を識別して選択する場合、特徴点は、イメージの小さな領域に密集し、その結果、貧弱ななＤＩＳ結果に繋がることがある。潜在的にさらに関心のあるモーションが存在するので、構造物がさらに多いイメージの領域においては、さらに多い特徴点が位置することが望ましい。密集領域において他の注目すべき課題は、如何にあらゆる特徴点が一塊に密集しないようにするかである。そのために、本発明の実施形態においては、ＤＩＳに使われる特徴点の間で最小距離（ＭＩＮ＿ＤＩＳＴ）を確保する効果的な方法を提供する。
【００３１】
ＤＩＳアルゴリズムの安定性のために、特徴点は、最大限広く分布させ、同時に特徴点の全体数を制限する。特徴点の‘望ましい分布’は、次のように表現される。それは、広い凸状の外形を有し、特徴点が互いに対して過度に近くなく（ＭＩＮ＿ＤＩＳＴ）、あるタイルに適した特徴点がほとんどない場合でも、少なくとも最小限の特徴点が選択され、他のあるタイルに好適な特徴点がさらに多い場合には、さらに多くの特徴点（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝ｍｉｎ＿ｆｅａｔｕｒｅｓ＋ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ＊（ｔｉｌｅ＿ｖａｒｉａｎｃｅ  σ２／ｔｏｔａｌ＿ｖａｒｉａｎｃｅ）が選択される。
【００３２】
各タイルでの最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、タイルの輝度の分散（ｔｉｌｅ＿ｖａｒｉａｎｃｅ、σ２）によって決定される。
【００３３】
本発明の実施形態において、各タイルでの最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、タイル当たり最小プログラム可能な特徴点（ｍｉｎ＿ｆｅａｔｕｒｅｓ）と最大プログラム可能な追加特徴点（ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ）とに特定タイルの輝度の分散（ｔｉｌｅ＿ｖａｒｉａｎｃｅ、σ２）をタイルの分散の総和（ｔｏｔａｌ＿ｖａｒｉａｎｃｅ）で割った値を乗算値に加えた値である。タイルが異なるサイズであれば、補正ファクター（ｃｏｒｒｅｃｔｉｏｎ  ｆａｃｔｏｒ）が適用可能である。したがって、タイル当たり最終的に選択された特徴点の最大値は、最小特徴点（ｍｉｎ＿ｆｅａｔｕｒｅｓ）及びタイルの分散（σ２）に比例する対応するタイルの加重値によって正規化された分散フィーチャー（ｖａｒ＿ｆｅａｔｕｒｅｓ）の和に代替されうる。ボーダータイル（ｂｏｒｄｅｒ  ｔｉｌｅｓ）は、ボーダー領域（ｂｏｒｄｅｒ  ｒｅｇｉｏｎｓ）を含んでおり、さらに広いために、さらに高い加重値が付与される。このような他の実施形態で、与えられたタイルに対する最大特徴点数は、次の数式１のように計算される。
【数１】
2012164303.tif 000003
【００３４】
したがって、選択された特徴点の最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は、あらゆるタイルにおいて一定に保持されず、現在フレーム（Ｆｔ）及び基準フレーム（Ｆｔ＋１）の間でも一定に保持されない。
【００３５】
本発明の一実施形態において、各タイルにおける最大特徴点数は、各タイルの輝度の分散（ｔｉｌｅ  ｖａｒｉａｎｃｅ、σ２）及びフレームの全体分散（ｔｏｔａｌ  ｖａｒｉａｎｃｅ）間の計算が、先に要求される全体輝度の分散によって分けられた各タイルにある輝度データの分散（σ２）の関数である。当該技術分野で通常の知識を有した者は、他の関数（例えば、タイルの分散（σ２）だけではなく、平均輝度値を含む関数）でも可能であるということを容易に理解することができる。
【００３６】
特徴点を識別するために、ハリスコーナー検出器（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）またはこれと類似したコーナー検出器（Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｏｒ）が利用されうる。ハリスコーナー検出器は、イメージのあらゆるピクセルを可能性のある特徴点候補として評価する。先順位の特徴点候補は、フィーチャー品質判断関数（ｆｅａｔｕｒｅ  ｑｕａｌｉｔｙ  ｅｓｔｉｍａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）が部分的な最大値を有するポイントである。特徴点選択の開示された方法は（このピクセルが特徴点として如何ほど適するかを評価する）、各識別された特徴点の結果値を全体基本スレショルド値（Ｇｌｏｂａｌ  ｂａｓｅｄ  Ｔｈｒｅｓｈｏｌｄ）ではなくローカル（Ｌｏｃａｌ）スレショルド値と比較することによって、ハリスコーナー検出器による識別された特徴点の選択を最適化する。したがって、開示された方法は、各ローカル領域での特徴点密度及びフレームの他の部分との対比においての差を考慮する。
【００３７】
得られた特徴点分布は、各タイルの特徴点数がタイルの輝度イメージデータの輝度の分散（σ２）に線形的に（ｌｉｎｅａｒｌｙ）比例して増加するビデオフレーム（重ならないタイル）の小さな領域に基づく。さらに関心のあるイメージを有したタイルとさらに多い特徴点に対する要求は、さらに高い輝度の分散（σ２）を有する。
【００３８】
図１０及び図１１は、同じ時間に小さいローカル状態情報（ｌｏｃａｌ  ｓｔａｔｅ  ｉｎｆｏｒｍａｔｉｏｎ）が必要であり、ハードウェア構築コストを減らしうる各タイルの特徴点の間の最小距離（ＭＩ  Ｎ＿ＤＩＳＴ）を保持する方法を示すフローチャートである。
【００３９】
図８は、選択された特徴点（灰色）、拒絶された特徴点（白色）、及び選択されたが、取り消された特徴点（ｘ表示された灰色）を示す図８のイメージフレームのコア領域にある何れか１タイルの図である。図８で小さな四角形に見える特徴点は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補として識別され、順次に図１０及び図１１に示した方法と関連したラスタースキャンオーダー（ｒａｓｔｅｒｓｃａｎ  ｏｒｄｅｒ）によって選択（ｓｅｌｅｃｔｅｄ）されるか、拒絶（ｒｅｊｅｃｔｅｄ）されるか、取り消（ｃａｎｃｅｌｌｅｄ）される。
【００４０】
各タイルに対して識別された特徴点候補のうちから最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）は選択される。本発明の実施形態において、各識別された特徴点候補は、例えば、次のようなラスタースキャンオーダー（ｒａｓｔｅｒ  ｓｃａｎ  ｏｒｄｅｒ）によって選択される。
【００４１】
ｉ．識別された特徴点候補は、ハリスコーナー推定関数（Ｈａｒｒｉｓ  Ｃｏｒｎｅｒ  ｅｓｔｉｍａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）がプログラム可能なスレショルド値（ｔｈｒｅｓｈｏｌｄ）を超過し、推定がローカル最大値（ｌｏｃａｌ  ｍａｘｉｍｕｍ  ）を有するピクセルである。ローカル最大値を認定するためには、問題となる位置にある値がスキャンオーダー（ｓｃａｎ  ｏｒｄｅｒ）において、このピクセルの次（ｆｏｌｌｏｗ）である直接及び斜めに隣接するピクセルの値より大きいか、同じでなければならず、スキャンオーダーにおいて、このピクセルを先立つ（ｐｒｅｃｅｄｅ）全ての直接及び斜めに隣接するピクセルの値より大きくなければならない。
【００４２】
ｉｉ．特徴点候補が同一である場合、各タイルのための既定の最大特徴点候補数（例えば、３２、４８、６４、または最終的に選択されたさらに高い特徴点最大値）を保存することができるデータ保存構造（ｄａｔａ  ｓｔｏｒａｇｅ  ｓｔｒｕｃｔｕｒｅ；例えば、分類されたリスト、他の実施例として具現されうる）で保存され、プログラム可能な閉鎖（ｌｏｃｋｏｕｔ）範囲（ＭＩＮ＿ＤＩＳＴ）内にあるさらに高い推定関数（ｅｓｔｉｍａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）値を有した特徴点候補はないと仮定される。説明の便宜上、本発明の実施形態では、最大値が３２である場合を例にあげて説明する。
【００４３】
ｉｉｉ．もし、後で識別された特徴点候補がデータストラクチャーに保存されるならば、閉鎖範囲（ＭＩＮ＿ＤＩＳＴ）よりこのポイントにさらに近い、すなわち、さらに小さな推定関数値を有した他の特徴点候補は、データ構造から除去される。
【００４４】
例えば、タイル（５，４）の特徴点候補の既定の最大値が４（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝４）と仮定する。図７のタイル（５，４）は、図８のように、４つの最終的に選択された特徴点（灰色；ラスタースキャンオーダーによる、ＳＦＰ３、ＳＦＰ４、ＳＦＰ５、及びＳＦＰ７）、３つの選択されてから取り消された特徴点（×表示された灰色；ＳＦＰ１、ＳＦＰ２、及びＳＦＰ６）及び２つの拒絶された（選択されていない）特徴点（白色）を含む。選択されてから取り消された特徴点（×表示された灰色；ＳＦＰ１、ＳＦＰ２、及びＳＦＰ６）は、図１０及び図１１の方法を行うラスタースキャンオーダーによって特徴点として選択されたが、その後、後で特徴点候補として識別され、選択されたさらに広い特徴点が排他的領域（ｅｘｃｌｕｓｉｏｎａｒｙ  ｚｏｎｅ；ＭＩＮ＿ＤＩＳＴ）内に存在するためか、または、選択された特徴点のリストが一杯になって（選択された特徴点候補の数：ＳＦＰ＿ｃｏｕｎｔ＝ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）、先に（ｐｒｅｃｅｄｅ）選択された特徴点が選択された特徴点のリストのうちで最も小さく、後で（ｆｏｌｌｏｗ）識別されて選択された特徴点候補より小さいために、選択された特徴点としては、順次取り消された特徴点候補であり得る。
【００４５】
選択されてから取り消された特徴点ＳＦＰ１は、図１０及び図１１の方法によるラスタースキャンオーダーとして識別されて選択された第１特徴点であった。次に、選択されてから取り消された特徴点ＳＦＰ２は、識別されて選択されたが、ＳＦＰ２が選択された後に、選択された特徴点ＳＦＰ３が識別され、ＳＦＰ３は、ＳＦＰ２より大きかった。ＳＦＰ２がＳＦＰ２よりもさらに大きな特徴点ＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）内にあるために、ＳＦＰ２は、ＳＦＰ３が選択されて、即時取り消された。ＳＦＰ３が選択された後に、特徴点候補（ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｃａｎｄｉｄａｔｅ）がＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）内の下部の右側コーナーで識別されたが、前記特徴点候補は、ＳＦＰ３よりさらに小さく、ＳＦＰ３の排他的領域内にあるために、それは、即時拒絶（選択されず）された。その後、特徴点候補がＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）外の近接した下部で識別され、ＳＦＰ４が特徴点候補として選択された（後で取り消されない）。そして、特徴点候補が、ＳＦＰ３の排他的領域（ＭＩＮ＿ＤＩＳＴ）外の右側の下部で、また識別され、特徴点候補としてＳＦＰ５が選択された（ＳＦＰ７の排他的領域に近いが、その領域内ではいないので、後で取り消されない）。次いで、特徴点候補が、ＳＦＰ５の排他的領域（ＭＩＮ＿ＤＩＳＴ）のすぐ右側の下部で識別され、特徴点候補としてＳＦＰ６が選択された（さらに大きな後で選択される特徴点ＳＦＰ７の排他的領域内なので、後で取り消される）。ＳＦＰ６が選択されて、当該選択された特徴点のリストは、既に“一杯になり”（前記タイルに対する最大特徴点数は、４）、ＳＦＰ１は、選択された特徴点ＳＦＰ１、ＳＦＰ３、ＳＦＰ４、及びＳＦＰ５のうちで最も小さく、ＳＦＰ６は、ＳＦＰ１より大きいために、ＳＦＰ１が取り消された。次いで、特徴点候補が、ＳＦＰ６の排他的領域（ＭＩＮ＿ＤＩＳＴ）内の下部で識別され、特徴点候補としてＳＦＰ７が選択された（選択された特徴点ＳＦＰ７がＳＦＰ６よりさらに大きいため、もしくはリストが一杯になるなどの理由でＳＦＰ６が即時取り消された）。次いで、特徴点候補は、ＳＦＰ７の排他的領域（ＭＩＮ＿ＤＩＳＴ）内の下部で識別されたが、特徴点候補は、ＳＦＰ７より小さいために拒絶された（選択されず）。ＳＦＰ３がＳＦＰ７より非常に大きい場合に、ＳＦＰ７は取り消されたＳＦＰ２より実際には小さいが、特徴点分布としては良好なものが得られる可能性がある。プログラム可能な閉鎖範囲（ＭＩＮ＿ＤＩＳＴ）は、最終的に選択された特徴点が過度に密集しないようにする。
【００４６】
各タイルのピクセル輝度の分散（σ２）は、各タイルがダウンサンプリングされるダウンスケーリングプロセス（ｄｏｗｎ  ｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓ）の間に決定されうる。各タイルの最大特徴点数（ｍａｘｉｍｕｍ  ｎｕｍｂｅｒ  ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ）は、タイル当たりプログラム可能な特徴点の一定の最小値（ａ  ｐｒｏｇｒａｍｍａｂｌｅ  ｃｏｎｓｔａｎｔ  ｍｉｎｉｍｕｍ  ｎｕｍｂｅｒ  ｏｆ  ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ  ｐｅｒｔｉｌｅ）と全体可変特徴点（ｔｏｔａｌ  ｖａｒｉａｂｌｅ  ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ）の数とを加えたものに特定タイルのタイルの分散（σ２）の比率（ｔｈｅ  ｒａｔｉｏ  ｏｆ  ｔｈｅ  ｖａｒｉａｎｃｅ  ｏｆ  ｔｈｅ  ｓｐｅｃｉｆｉｃ  ｔｉｌｅ）を乗算し、タイルの分散（ｔｉｌｅ  ｖａｒｉａｎｃｅｓ）の和で割ったものの総和で決定される。補正ファクター（ｃｏｒｒｅｃｔｉｏｎ  ｆａｃｔｏｒ）は、特徴点がボーダー領域にもあり得るので、縁部とコーナータイル領域を加わえることができる。各タイルのために、特徴点候補の最大数（ｍａｘｉｍｕｍ  ｎｕｍｂｅｒ  ｏｆ  ｆｅａｔｕｒｅ  ｃａｎｄｉｄａｔｅｓ）までは、分類プロセス（ｓｏｒｔｉｎｇ  ｐｒｏｃｅｓｓ；ラスタースキャンオーダーによって識別された各特徴点に対して、選択する段階、拒絶する段階、取り消す段階）を用いて集めて保存することができる。各タイルに対して最終的に選択された特徴点候補は、単純に最大値が既定の最も高い推定関数応答を有した特徴点候補である。低いコントラストイメージデータのタイルのような、最終的に使われた特徴点の結果的な数が、プログラムされた最小の数（ｍｉｎ＿ｆｅａｔｕｒｅｓより小さな）より小さい場合に、与えられたタイルに可能な特徴点候補が十分ではない場合があり得る。
【００４７】
したがって、ラスタースキャンオーダーによる特徴点候補をプロセッシングする方法は、さらに多くの新たな特徴点候補が追って識別されて選択される間に、最大限過度に密集しないように選択された特徴点の計算された最大の数をほとんど含みうるリストを保持する段階が提供される。特徴点を分類するラスタースキャンオーダー方法は、識別された特徴点候補のうちから優先順位を付けて選択する多様な他の方法に比べて、メモリと計算の量とを減らしうる利点がある。例えば、本発明の他の実施形態で、タイルのあらゆる特徴点候補は、識別されてメモリの大きなリストに保存し、次いで、タイルのあらゆる特徴点候補が識別された直後に数学的分類アルゴリズム（ｍａｔｈｅｍａｔｉｃａｌ  ｓｏｒｔｉｎｇ  ａｌｇｏｒｉｔｈｍ）は、セット（ｓｅｔ）のある他の特徴点候補の排他領域（ＭＩＮ＿ＤＩＳＴ）に属しない最も広い特徴点候補の（既定の最大のサイズの）最適のセットを探すのに適用可能である。しかし、そのような分類アルゴリズムは（タイルの識別された特徴点の全体リストを保存する）、さらに多い物理的なメモリを必要とし、図１０及び図１１のラスターオーダー分類（選択する段階、拒絶する段階、取り消す段階）方法よりさらに多い全体計算（ｃｏｍｐｕｔａｔｉｏｎ）を（例えば、図８に示された結果）潜在的に必要とする。特徴点候補は、後に選択されるが、後に取り消される特徴点候補によってリストから取り消されるために、図１０及び図１１のラスタースキャンオーダー分類アルゴリズムは、必須的にグローバル最適条件（ｇｌｏｂａｌ  ｏｐｔｉｍｕｍ）である選択された特徴点のセット（ｓｅｔ）を提供しないが、代わりに制限されたローカルストレージ（ｌｏｃａｌ  ｓｔｏｒａｇｅ）を有したハードウェアに具現されうるアルゴリズムを提供する。図１０及び図１１の方法が、ハリスコーナー検出器が行ったピクセルオーダー（左から右に、上から下に）である“ラスタースキャンオーダー”によって識別された特徴点候補をプロセッシングするものとして表わされるが、特徴点候補の選択のある段階は、あらゆる特徴点が識別され、結果的に順次分類される限り、隣接しない特徴点候補の不連続した段階のような方法で代替されうる。
【００４８】
図９は、本発明の実施例による特徴点回路（Ｆｅａｔｕｒｅ  ＰｏｉｎｔＣｉｒｃｕｉｔ）のブロックダイヤグラムである。特徴点回路３０００は、特徴点選択器（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  ｓｅｌｅｃｔｏｒ）３００、ＳＦＰモーションベクトル計算器（ｓｅｌｅｃｔｅｄ  ｆｅａｔｕｒｅ  ｐｏｉｎｔ  Ｍｏｔｉｏｎ−ｖｅｃｔｏｒＣａｌｃｕｌａｔｏｒ）７００、及び共有されたＲＡＭメモリ３５０を含む。特徴点選択器３００は、第１ダウンサンプラー（ｄｏｗｎ  ｓａｍｐｌｅｒ）３１０、特徴点候補識別器（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｃａｎｄｉｄａｔｅ  Ｉｄｅｎｔｉｆｉｅｒ）３３０、及び特徴点候補分類器（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｃａｎｄｉｄａｔｅ  Ｓｏｒｔｅｒ）３４０を含む。
【００４９】
特徴点候補識別器３３０は、ハリスコーナー検出器アルゴリズムを用いて特徴点候補を識別し、該識別された特徴点（例えば、同時に１タイルでピクセル位置とハリスコーナー応答、ラスタースキャンオーダーとによって識別された）を特徴点候補分類器３４０に出力する。特徴点候補分類器３４０は、図１、図８に示したような各タイルの識別された特徴点を、図１０及び図１１に示した順次的な分類方法によって行うことができる。第１ダウンサンプラー３１０は、次の数式２によって、イメージフレームの各タイルのタイルの分散（σ２）を計算するタイル分散計算器（ｔｉｌｅ−ｖａｒｉａｎｃｅ  ｃａｌｃｕｌａｔｏｒ）３２０機能ブロックを含む。
【数２】
2012164303.tif 000004
ｙは、タイル内の輝度の分散であり、Ｎは、タイル内のピクセルの数である。
【００５０】
図９に示した回路３０００は、半導体チップ内に具現され、半導体チップは、イメージをキャプチャーするセンサーを有したカメラからイメージデータを受信するＩ／Ｏピン（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  ｐｉｎｓ）及びキャプチャーされたイメージをイメージデータに変換する回路素子を含む。図９の回路３０００によってプロセッシングされたデータは、Ｉ／Ｏピンを通じてカメラの他の構成要素として出力される。後述するように、メモリは、物理的なサイズが小さくなければならず、保存容量は制限される。本発明の他の実施形態において、計算に消費する電力を減らし、要求される動作の数を減らすために、特徴点選択器３００は、２、４、または８のセレクタブルファクター（ｓｅｌｅｃｔａｂｌｅ  ｆａｃｔｏｒ；ｆｓ１）による第１ダウンサンプラー３１０で水平及び垂直にサブサンプリングされて（ｓｕｂｓａｍｐｌｅｄ）、ルーマデータ（ｌｕｍａ  ｄａｔａ）でのみ作動することができる。前記実施形態で、セレクタブルファクター（ｆｓ１）が選択される。セレクタブルファクター（ｆｓ１）によってダウンサンプリングされたルーマデータは、特徴点候補識別器３３０で特徴点識別のために使われる。他の実施形態では、ＳＦＰモーションベクトル計算器７００に含まれた階層的ブロックマッチング検索ユニット（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｂｌｏｃｋ−Ｍａｔｃｈｉｎｇ  Ｓｅａｒｃｈ  Ｕｎｉｔ）７３０による特徴点モーションベクトル推定のために使われる。ハードウェアリアルエステート（ｈａｒｄｗａｒｅ  ｒｅａｌ  ｅｓｔａｔｅ）、プロセッシング帯域幅（ｐｒｏｃｅｓｓｉｎｇ  ｂａｎｄｗｉｄｔｈ）、または電力キャパシティー（ｐｏｗｅｒ  ｃａｐａｃｉｔｙ）が可能なアプリケーションにさらに適した本発明の他の実施形態において、外部ＳＤＲＡＭのようなオフチップストレージ（ｏｆｆ−ｃｈｉｐ  ｓｔｏｒａｇｅ）は、ワンチップメモリ（ｏｎｅ−ｃｈｉｐ  ｍｅｍｏｒｙ）の保存キャパシティーを補完するのに提供されうる。
【００５１】
さらに小さなダウンサンプリングされたイメージが、第１ダウンサンプラー３１０で計算される間に、各タイルの輝度の分散（タイルの分散；σ２）が計算され、３×３ハリスコーナー行列のさらに小さな固有値（ｅｉｇｅｎ−ｖａｌｕｅ）のグローバル最大値（ｇｌｏｂａｌ  ｍａｘｉｍａ）が識別される。フレーム上部左側のタイルの上部左側のピクセルと同格（ｃｏｏｒｄｉｎａｔｅ）であるタイルオフセット（ｔｉｌｅ  ｏｆｆｓｅｔ）とピクセルディメンション（ｐｉｘｅｌ  ｄｉｍｅｎｓｉｏｎ）は、いずれも最も大きなサブサンプリングファクター（ｆｓ２）の積である。イメージコア領域（ｉｍａｇｅｃｏｒｅ  ｒｅｇｉｏｎ）は、全体イメージの中央に位置することが好ましい。したがって、左側のボーダー領域の幅は、右側のボーダー領域の幅と同一であり、上のボーダー領域の高さは、下のボーダー領域の高さと同一である（図７参照）。
【００５２】
入力フレーム輝度データ（ｉｎｐｕｔ  ｆｒａｍｅ  ｌｕｍｉｎａｎｃｅｄａｔａ）がサブサンプリングされ、ＲＡＭメモリ３５０に保存されれば、特徴点候補識別器３３０は、タイルオーダーによって順に再び読み取り、識別された特徴点候補を特徴点候補分類器３４０に伝送する。特徴点候補識別器３３０の特徴点識別プロセスのために、ボーダー領域に隣接するタイルにあるポテンシャル特徴点（ｐｏｔｅｎｔｉａｌ  ｆｅａｔｕｒｅ  ｐｏｉｎｔｓ）の統計領域（ｓｔａｔｉｓｔｉｃｓ  ａｒｅａ）は、ボーダー領域に拡張され、したがって、各ボーダー領域タイルのピクセルは、隣接するタイルのピクセルとともにプロセッシングされる。ピクセルデータは、ラスタースキャンオーダー（上から下のラインに、各ラインで左側から右側のピクセルに）によって各タイルで読み取られる。
【００５３】
各タイルをプロセッシングするために、特徴点候補識別器３３０には、ハリスコーナー検出器を用いて特徴点識別のための各内部タイルボーダーにある３つの追加的なピクセルが必要である。したがって、このようなピクセルは、一回以上読み取られうる。識別された特徴点候補は、ハリスマトリックス（Ｈａｒｒｉｓ  ｍａｔｒｉｘ）のさらに低い固有値（ｅｉｇｅｎ  ｖａｌｕｅ）λ１がローカル最大値を有する各タイルにあるピクセルである。ローカル最大値であることを証明するために、問題視されるピクセルのコーナー応答（ｃｏｒｎｅｒ  ｒｅｓｐｏｎｓｅ）は、上の左、上、上の右、及び左に隣接したピクセルのコーナー応答より大きくなければならず、上、下の左、下、及び下の右に隣接したピクセルのコーナー応答と同じか、大きくなければならない。前記定義で、さらに大きな領域で同じ一定のコーナー応答を有した少なくとも１つのポイントは、潜在的な特徴点候補（ｐｏｔｅｎｔｉａｌ  ｆｅａｔｕｒｅ  ｃａｎｄｉｄａｔｅ）として識別される。ローカル最大値のための検知ロジック（ｄｅｔｅｃｔｉｏｎ  ｌｏｇｉｃ）には、コーナー応答の２本のラインバッファ（ｌｉｎｅ  ｂｕｆｆｅｒ）を必要とする。ローカルコーナー応答の最大値（ｌｏｃａｌ  ｃｏｒｎｅｒ  ｒｅｓｐｏｎｓｅ  ｍａｘｉｍｕｍ）を有するポイントは、まずプログラム可能なコーナー応答スレショルド値と比較される。問題視されるポイントのコーナー応答が、前記スレショルド値より小さければ、前記ポイントは無視される。そうではない場合、特徴点後補とそのコーナー応答は、特徴点候補分類器３４０に伝送される。
【００５４】
特徴点候補分類器３４０は、各タイルで最も高いコーナー応答を有する特徴点候補を最大特徴点数（ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ）まで記録すると同時に、あらゆる特徴点が互いに対して最小プログラム可能な距離（排他領域；ＭＩＮ＿Ｄ  ＩＳＴ）を有するかを検証する。２つのポイントの間に前記アルゴリズムに使われる距離は、次の数式３によって決定される。
【数３】
2012164303.tif 000005
【００５５】
図１０及び図１１に示した分類方法は、選択された特徴点と新たに入ってくる特徴点候補の分類リスト（ｓｏｒｔｅｒ’ｓ  ｌｉｓｔ）の現在コンテンツのみを考慮し、即時決定を出す動作によって行われる。したがって、図１０及び図１１の方法が適用された特徴点候補分類器３４０は、本質的にグローバル最適条件（ｇｌｏｂａｌ  ｏｐｔｉｍｕｍ）を計算せず、出力は、入ってくる特徴点候補が提供されるオーダーによる。
【００５６】
特徴点候補分類器３４０は、順に選択された特徴点を出力し、前記選択された特徴点は、図９に示されたメモリ３５０の一部としてＳＦＰリストに保存される。
【００５７】
図１０及び図１１は、図１〜６に示したＤＩＳ方法の各段階を行うために、図１及び図７のイメージフレームの各タイルにある複数の特徴点を識別して選択する方法を示すフローチャートである。前記方法は、現在フレーム（Ｆｔ）の輝度データが受信されるデータ入力段階（Ｓ４００）から始まり、以後ダウンサンプリング段階（Ｓ４０２）が行われる。初期化段階（Ｓ４０４）では、タイルカウンター及びピクセルカウンターをリセットする。
【００５８】
次いで、ハリスコーナー検出器が実行され（Ｓ４０６、Ｓ４０８、及びＳ４１０）、前記動作は、現在ピクセル（ｃｕｒｒｅｎｔ＿ｐｉｘｅｌ）をインクレメントしながら（Ｓ４２８）、ラスタースキャンオーダーによって現在タイル（ｃｕｒｒｅｎｔ＿ｔｉｌｅ）のダウンサンプリングされた輝度データの各ピクセルで動作する。現在ピクセルのコーナー応答が、ローカル最大値やスレショルド値（ｔｈｒｅｓｈｏｌｄ）を超過する度に（ＳＤ４０８のＹＥＳブランチ）、現在ピクセルは、現在特徴点候補として識別され（Ｓ４１０）、即時特徴点分類アルゴリズムに適用される（ＳＤ４１２、ＳＤ４１４、ＳＤ４１６、ＳＤ４１７、ＳＤ４３０、Ｓ４１８、及びＳ４２０）。
【００５９】
リストが一杯にならなければ、特徴点分類アルゴリズムは、選択された特徴点のリストに既に保存された前に選択された最も低い特徴点候補（ｌｏｗｅｓｔ  ｐｒｅｖｉｏｕｓｌｙ−ｓｅｌｅｃｔｅｄ  ＦＰ  ｃａｎｄｉｄａｔｅ）より現在特徴点候補が大きい場合、現在特徴点候補を選択する（Ｓ４２０）。ＳＤ４１２段階のＹＥＳブランチに行かなければ（ＳＤ４１２のＮＯブランチ）、現在特徴点候補としては拒絶される（Ｓ４１７）。現在特徴点候補が選択される時（選択された特徴点カウント（ＳＦＰ＿ｃｏｕｎｔ＝ｍａｘ＿ｎｕｍ＿ｆｅａｔｕｒｅｓ＝ｍｉｎ＿ｆｅａｔｕｒｅｓ＋ｍａｘ＿ｐｌｕｓ＿ｆｅａｔｕｒｅｓ＊（ｔｉｌｅ＿ｖａｒｉａｎｃｅ／ｔｏｔａｌ＿ｖａｒｉａｎｃｅ））によって表われるように）、選択された特徴点のリストが既に一杯になっていれば、その次に、リストから最も小さな前に選択された特徴点候補を取り消し（ＳＤ４３０）、そうではなければ、選択された特徴点カウント（ＳＦＰ＿ｃｏｕｎｔ）を増加させる（ＳＤ４３０）。
【００６０】
特徴点分類アルゴリズムは、現在特徴点候補が既にリスト（ＳＤ４１４）にある前に選択された特徴点の排他領域（ＭＩＮ＿ＤＩＳＴ）内になく、さらに大きい（ＳＤ４１６）場合に、現在特徴点候補を選択する（Ｓ４２０）。そして、現在特徴点候補が既にリスト（ＳＤ４１４）にある前に選択された特徴点のさらに大きな排他領域（ＭＩＮ＿ＤＩＳＴ）内にあれば（ＳＤ４１６）、選択することなしに拒絶する（ＳＤ４１６のＮＯブランチ及びＳＤ４１７）。一方、現在特徴点がさらに小さな（ＳＤ４１６）既にリスト（ＳＤ４１４）にある前に選択された特徴点の排他領域（ＭＩＮ＿ＤＩＳＴ）内になければ、全ての小さな（ＳＤ４１６）前に選択した特徴点は取り消される（ＳＤ４１６のＹＥＳブランチ及びＳ４１８）。その際、現在特徴点候補は選択され（Ｓ４２０）、選択された特徴点カウント（ＳＦＰ＿ｃｏｕｎｔ）は、それによってアップデート（デクリメントもしくは保持）される（Ｓ４１８）。
【００６１】
現在特徴点候補が選択されるか（Ｓ４２０）、拒絶されれば（Ｓ４１７）、ハリスコーナー検出器は、現在タイル（ｃｕｒｒｅｎｔ＿ｔｉｌｅ；ＳＤ４２２）内の現在ピクセル（ｃｕｒｒｅｎｔ＿ｐｉｘｅｌ；Ｓ４１０）の次の値を出力する（Ｓ４２８）。次に識別された特徴点候補は、即時特徴点分類アルゴリズムに提供される（ＳＤ４１２、ＳＤ４１４、ＳＤ４１６、Ｓ４１７、ＳＤ４３０、Ｓ４１８、及びＳ４２０）。現在タイル（ｃｕｒｒｅｎｔ＿ｔｉｌｅ）の最後のピクセルがプロセッシングされれば（ＳＤ４２２）、次のタイル（ｎｅｘｔ  ｔｉｌｅ）がプロセッシングされる（ＳＤ４２４及びＳ４２６）。最後のタイル（ｌａｓｔ  ｔｉｌｅ）がプロセッシングされれば、次のイメージフレーム（ｎｅｘｔ  ｉｍａｇｅ  ｆｒａｍｅ）がプロセッシングされるまで前記プロセスが完了する。
〔特徴点モーションベクトル計算（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｃａｌｃｕｌａｔｉｏｎ）〕
【００６２】
現在フレーム（Ｆｔ）の各タイルの特徴点が識別されて分類された後、図１〜６のＤＩＳ方法の次の段階は、選択された特徴点のそれぞれのためにモーションベクトルを得ることである。
【００６３】
特徴点のモーションベクトルの計算に利用されるブロックマッチングアルゴリズム（Ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ａｌｇｏｒｉｔｈｍｓ；ＢＭＡ）は、よく知られている。ブロックマッチングでは、エラー関数（ｅｒｒｏｒ  ｆｕｎｃｔｉｏｎ；例えば、ＳＡＤ、ＭＡＤ、ＭＳＥ）は、基準フレームのターゲット領域（ｔａｒｇｅｔ  ａｒｅａ）内にあるブロックのあらゆる可能な位置のために計算される。前記関数の最も低い結果を有した位置は、推定されたモーションベクトルの計算に利用される。ブロックマッチングは、計算上（ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ）非効率的である。計算上の消耗を減らすためのいくつかの知られた方法がある。階層的またはマルチ解像度（ｍｕｌｔｉ−ｒｅｓｏｌｕｔｉｏｎ）ブロックマッチングは、グローバルムーブメント（ｇｌｏｂａｌ  ｍｏｖｅｍｅｎｔ）が初めにさらに低い解像度で計算される方法のうちの１つである。計算されたベクトルは、さらに高い解像度でさらに小さな範囲を探すのに利用され、そのために必要な計算動作の総回数を減らしうる。
【００６４】
ほとんどのアプリケーションやそれぞれのビデオエンコーディングのために、正確なモーションベクトルは、フレームのあらゆるブロックに対して必要である。したがって、以後の段階で検索範囲（ｓｅａｒｃｈ  ｒａｎｇｅ）は、普通比較的広い。図１〜６に示されたＤＩＳ方法で、１フレームから次のフレームまで特徴点（例えば、実際に停止した物体の特徴点）の相対的な動きを推定することのみが要求される。イメージ安定化の目的で、背景及び広い物体の動きを表現する正確なモーションベクトルが要求されるが、小さな物体は、それと関連して正確なモーションベクトルを有することが要求されない。小さな物体の不正確なベクトルは、ＤＩＳアルゴリズムの以後段階でフィルタリングされうる。
【００６５】
ＤＩＳ方法において重要なさらに大きな停止物体の特徴点がグローバルムーブメント（ｇｌｏｂａｌ  ｍｏｖｅｍｅｎｔ）またはカメラ動きのため生じる一定の（ｃｏｈｅｒｅｎｔ）動きを予想することができる。我々は、独立して動く十分に大きな物体が少なくとも１つのタイルのほとんどをカバーすることが分かり、大きな物体のモーションがタイル自体の支配的なモーションとして推定されうるが、小さな物体のモーションは、タイル自体のモーションベクトルに影響をほとんど及ぼさない。したがって、モーションベクトルを計算するプロセスは、タイルのモーションベクトルを利用しながら階層的モーション推定アルゴリズムを利用し、ローカルムーブメント（ｌｏｃａｌ  ｍｏｖｅｍｅｎｔ）よりタイルムーブメント（ｔｉｌｅ  ｍｏｖｅｍｅｎｔ）を採択することによって計算を減らすように変更されうる。したがって、最初の段階は、まず現在イメージフレームを複数のｊ×ｋのタイル（ｊ×ｋ個）に分けることである（最初の段階は、図２及び図７と関連して示した特徴点選択の目的のために既に行われた）。
【００６６】
ＤＩＳのために十分に正確な特徴点のモーションベクトルを計算する二番目の段階は、最も低いレゾリューションにあるブロックマッチングを用いてタイルごとに１つのモーションベクトルを得ることである。前記段階で、与えられたタイルの差の絶対値の和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ；以下、ＳＡＤ）が計算される。与えられたタイルのモーションベクトルは、ＳＡＤを小さくさせるベクトルである。与えられたモーションベクトル候補（ｖ＝（ｖｘ，ｖｙ））のＳＡＤは、次の数式４によって決定される。
【数４】
2012164303.tif 000006
【００６７】
低い解像度のダウンサンプルされたイメージを用いることによって、計算は減って、場面にある小さな物体の影響も減る。
【００６８】
三番目の段階で、タイルのモーションベクトルは、ブロックマッチングアルゴリズムに各タイルにある特徴点のモーションベクトルのローカル検索のための開始ベクトルとして使われる。少なくとも１つのタイルのほとんどをカバーすることができる十分に広い物体は、隣接するタイルに拡張され、各タイルにある特徴点は、そのタイル内で発見されるモーションベクトルより隣接するタイルのモーションベクトルにさらに強く関連する。したがって、与えられたタイルの特徴点のモーションベクトルのためのブロックマッチング検索において、隣接するあらゆるタイルのモーションベクトルを複数の開始ベクトルとして用いることが効果的であり得る。ここで、利用されるタイルは、少なくとも最大に支持されるモーションベクトルのサイズのボーダー領域のフレームで中央に位置し、あらゆるタイルのあらゆる特徴点のためのモーション検索は、フレーム外部のピクセルを参照せずに行われる。
【００６９】
図１２は、図１〜６に示したＤＩＳ方法でモーションベクトル計算段階を表わすために、順次計算されたタイルモーションベクトルを有してダウンサンプリングされた図１の現在フレーム（Ｆｔ）を示す図である。図１２に示したさらに小さな（小さいピクセルと小さいデータとを有した）イメージは、水平及び垂直にサブサンプリングすることによって、前にサブサンプリングしたイメージ（図１０及び図１１のＳ４０２）及び元の現在キャプチャーされたフレームから得られうる。サブサンプリングファクター（ｆｓ２、例えば、４）は、グローバル（タイル）モーション推定に利用される。４×４ダウンサンプリングは、入力サイドにオーバーラップなしに（ラウンディング（ｒｏｕｎｄｉｎｇ）で）、１６ピクセルの平均を求める。次いで、各全体のサブサンプリングされたタイルを利用したブロックマッチング検索は、各タイルのモーションベクトルを決定するために行われる。
【００７０】
与えられたタイルのモーションベクトルは、ＳＡＤを最小化するベクトルである。１個のタイルの場合は、１つが見出されて与えられる。モーションベクトルは、近い特徴点のモーションベクトルのためのローカル検索のための開始ベクトルとして利用される。各開始ベクトルに対するモーション範囲は、プログラム可能である。
【００７１】
タイルモーション推定のために必要な動作の数がローカルモーション推定のために必要な動作の約１２％に過ぎないので、サイクル当たり約８つの絶対差の和を計算することで十分である。したがって、シストリックアレイ（ｓｙｓｔｏｌｉｃ  ａｒｒａｙ）のような複雑であるか、追加的なプロセッシングコンポーネント（ｃｏｍｐｏｎｅｎｔｓ）は必要としない。
【００７２】
図１３は、図１〜６に示したＤＩＳ方法で利用された１つの選択された特徴点のモーションベクトルを計算するためにブロックマッチング検索のための開始ベクトルであって、図１２のタイルモーションベクトルを用いる段階を示す図１２のダウンサンプルされたフレームにある１つのタイルの部分を示す図である。
【００７３】
小さなローカルブロックマッチング検索は、タイルにあるあらゆる特徴点のための開始ベクトルのセットのそれぞれの周りにあるさらに高い解像度ドメイン内で行われる。前記段階は、元のビデオ解像度で行われるか、２または４のファクター（ｆｓ３）によってサブサンプルされうる。利用された開始ベクトルは、特徴点が属したタイルの開始ベクトルだけではなく、４つの直接隣接するタイル（上のタイル、左のタイル、右のタイル、下のタイル；タイルが存在する場合）に属する開始ベクトルであり得る。したがって、図１３で、ブロックマッチング検索領域（ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ  ｓｅａｒｃｈ  ａｒｅａ）１に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルのモーションベクトルである。ブロックマッチング検索領域２に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルの下（ｄｏｗｎ）のタイルのモーションベクトルであり、ブロックマッチング検索領域３に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルの右（ｒｉｇｈｔ）のタイルのモーションベクトルである。また、ブロックマッチング検索領域４に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルの左（ｌｅｆｔ）のタイルのモーションベクトルであり、ブロックマッチング検索領域５に対応する開始ベクトルは、特徴点（ＦＰ）が属するタイルの上（ｕｐ）のタイルのモーションベクトルである。他の実施形態によれば、４つの対角で隣接したタイルの開始ベクトルも利用されうる。特に、タイルベクトルの最初のグループが、１つの広い物体を連想させる互いに対して類似したサイズと方向とを有するならば（図１５、図１６、図１８、図１９、図２０（ａ）〜（ｃ）と関連したモーションベクトルグループ化参照）、開始ベクトルのうちから選択する段階（例えば、ブロックマッチング計算（ｂｌｏｃｋ  ｍａｔｃｈ  ｃｏｍｐｕｔａｔｉｏｎ）の数を減らすこと）のための他の段階が行われる。これの代わりに、ブロックマッチングは与えられた優先順位を有し、２つ以上のブロックマッチング検索領域がオーバーラップされる所でのみ、または互いに最も近いブロックマッチング検索領域の間で行われる。
【００７４】
一般的に、特徴点に対するモーションベクトルの割り当て（ａｓｓｉｇｎｍｅｎｔ）は、タイルからタイルに進行し、与えられたタイルのあらゆる特徴点は、同じ開始ベクトル（例えば、タイルモーションベクトルの同じ選択）を利用できる。しかし、多様な実施形態で、タイルモーションベクトルが検知されたグループ化にあるタイルに隣接した特徴点は、グループの各メンバーで共通して探すことができる同じ物体にある見えるポイントである可能性が大きくなるという仮定で与えられたタイルの他の部分にある特徴点は、開始ベクトルの他の選択を使用できる。したがって、ブロックマッチング検索は、初めに各タイルの境界線付近にある特徴点に対して行われ、これは、それらが自分のタイルのモーションベクトル及び／またはタイルモーションベクトルの隣接するグループ化のタイルモーションベクトルとほとんどまたは完全に類似しているかを検知するために行われる。例えば、初めに選択された特徴点（例えば、与えられたタイルの境界線付近のあらゆるポイントまたは中央ポイントから最も遠いポイント）のモーションベクトルが、自分のタイルのモーションベクトルと同じか、類似していれば、残った特徴点のための選択された開始ベクトルのセットは減らすことができる。
【００７５】
使われた各開始ベクトルのために、我々は、ローカル検索のための非常に小さな範囲を使用できる。ここで、目標は、おのおの、そして、あらゆる特徴点のための正確なベクトルを決定するだけではない。これに関心のある特徴点は、背景や広い物体に属した特徴点である。そのような特徴点のために、タイルモーションベクトルのそれぞれは、良いか関心のある特徴点のモーションベクトルに近くなければならず、したがって、各選択されたタイルモーションベクトルに対する小さなローカル検索は十分ではなければならない。
【００７６】
図９を再び参照すると、特徴点回路３０００のＳＦＰモーションベクトル計算器７００は、タイルベクトル計算のための第１ダウンサンプラー３１０よりさらにダウンサンプリングされたルーマデータを出力するための第２ダウンサンプラー（ｓｅｃｏｎｄｄｏｗｎ  ｓａｍｐｌｅｒ）７１０、各タイルのモーションベクトルを計算するためのタイルベクトル計算器（ｔｉｌｅ−ｖｅｃｔｏｒ  ｃａｌｃｕｌａｔｏｒ）７２０、及び特徴点選択器３００の特徴点候補分類器３４０から受信された各ＳＦＰのモーションベクトルを決定し、出力する階層的ブロックマッチング検索ユニット（ｈｉｅｒａｒｃｈｉｃａｌ  ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ  ｓｅａｒｃｈ  ｕｎｉｔ）７３０を含みうる。第２ダウンサンプラー７１０は、図１２に示した深くダウンサンプリングされた現在フレーム（Ｆｔ）を出力することができる。タイルベクトル計算器７２０は、第２ダウンサンプラー７１０によって出力された現在フレーム（Ｆｔ）の深くダウンサンプリングされたルーマデータを用いて、各タイルのモーションベクトルを計算することができる。階層的ブロックマッチング検索ユニット７３０は、２つの連続したフレームのフル解像度（ｆｕｌｌ−ｒｅｓｏｌｕｔｉｏｎ）ルーマデータ（または、第１ダウンサンプラー３１０の出力）を利用し、前述した開始ベクトルのようなタイルベクトルを用いて、特徴点選択器３００の特徴点候補分類器３４０によって出力された各選択された特徴点のモーションベクトルを決定するができる。
【００７７】
図１４は、図１〜６に示したＤＩＳ方法にある段階を行うために、図１の現在フレーム（Ｆｔ）にあるＳＦＰのモーションベクトルを計算する方法を示すフローチャートである。
【００７８】
開始段階で、図９に示した階層的ブロックマッチング検索ユニット７３０は、ビデオの２つの連続したフレーム（現在フレーム及び基準フレーム）のルーマデータを受信し（Ｓ７００ｉ）、選択された特徴点のピクセル位置を受信する（Ｓ７００ｉｉ）。現在フレーム（Ｆｔ）は、図１０及び図１１の特徴点分類方法に既に使われたタイルのような複数のサブサンプリングされたタイルに分けられうる（Ｓ７１０）。現在フレーム（Ｆｔ）は、図７に示したように、ボーダー領域に加えて複数のｊ×ｋタイルに分離されうる（Ｓ７１０−Ａ）。各タイルと関連したルーマデータは、図１２に示したように、ファクター（ｆｓ２；例えば、ＳＤでは、ｆｓ２＝４、ＨＤでは、ｆｓ２＝８）によってサブサンプリングされうる（Ｓ７１０−Ｂ）。
【００７９】
次いで、各タイルのモーションベクトルは、図１２に示したように、深くサブサンプリングされたルーマデータとともにフルサーチブロックマッチング（ｆｕｌｌ−ｓｅａｒｃｈ  ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）を用いて計算され、サブサンプリングされた解像度に比べて、半画素精度（ｈａｌｆ−ｐｅｌ  ｐｒｅｃｉｓｉｏｎ）を有しうる（Ｓ７２０）。計算されたモーションベクトルに対応して計算された最小ＳＡＤ値は、ＤＩＳの他の特徴（例えば、小さな物体の特徴点をフィルタリングする）における用途のために保存することができる。開始ベクトルは、前述したように、Ｓ７２０段階からの計算されたタイルモーションベクトルに基づいて、現在選択されたＳＦＰのために選択される（Ｓ７３０）。階層的ブロックマッチングアルゴリズムは、フル解像度ルーマデータとともに行われ、現在ＳＦＰのモーションベクトルを決定するために、タイルベクトルに基づいて選択された開始ベクトルを利用できる（Ｓ７４０）。Ｓ７３０及びＳ７４０段階は、あらゆるタイルにあるあらゆるＳＦＰのモーションベクトルが計算されるまで反復される（ループＳＤ７５０、及びＳ７５２）。
〔モーションベクトルのサイズと方向とによる特徴点グループ化（Ｆｅａｔｕｒｅ  Ｐｏｉｎｔ  Ｇｒｏｕｐｉｎｇ  ｂｙ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｍａｇｎｉｔｕｄｅ  ａｎｄ  Ｄｉｒｅｃｔｉｏｎ）〕
【００８０】
ビデオフレームの間のモーションは、隣接するフレームにある識別可能な特徴点のモーションベクトルを計算することによって検知できる。特徴点のモーションベクトルは、カメラ／場面のグローバルモーションと区別されるように、場面で動く物体を識別することの目的のためにグループ化されうる。カメラ／場面のグローバルモーションは、意図された（パンニング（ｐａｎｎｉｎｇ）させる）、そして、意図していない（ジッタリ）グローバルモーションの間を区別するために分析される。
【００８１】
ジッタ（カメラ軌跡）がなければ、実際に停止した物体（例えば、岩のエッジ、山頂）の各検知された特徴点は、２以上の連続したフレームのそれぞれで同じ位置で発見されることが予見され、全ての検知された特徴点のモーションベクトルは、無効（ｎｕｌｌ）と測定される。しかし、ジッタがあれば、与えられた実際に停止した物体の多くの特徴点のベクトルは、異なるサイズと方向とを有しうる。ＤＩＳ回路は、複数のモーションベクトルが同じ実際に停止した物体によるものであるように、特徴点の複数のモーションベクトルを正しくグループ化するために利用されうる。
【００８２】
普通、ジッタリカメラ動きは、並進と回転動きとの混合であり、カメラから物体の間の距離は可変である。このような点は、背景の停止した物体のピクチャーポイントのモーションベクトル差に寄与する。しかし、カメラ動きは、回転的成分（ｒｏｔａｔｉｏｎａｌ  ｃｏｍｐｏｎｅｎｔ）を有している時、カメラから同一距離にある同じ物体のモーションベクトルの方向は同じである。同じ停止した物体の特徴点のベクトルのサイズと方向いずれも変わりうる。
【００８３】
図１５及び図１６は、単純な並進ベクトルモーションと比較して、回転カメラモーションから得られる他のベクトルを示す。図１５及び図１６で同じ停止した物理的物体の２つの選択された特徴点ＳＦＰ４、ＳＦＰ５が物理的にカメラから同じ距離にあり、単純な並進カメラモーションの場合、ベクトルＡ及びベクトルＢは、それぞれＳＦＰ４及びＳＦＰ５のモーションベクトルであり、回転カメラモーションを含む場合、ベクトルＡ’及びベクトルＢ’は、それぞれＳＦＰ４及びＳＦＰ５のモーションベクトルであると仮定する。
【００８４】
単純な並進カメラモーションでベクトルＡ及びベクトルＢは、完全に同じモーションベクトルを有するが、ベクトルＡ’及びベクトルＢ’は、カメラから同じ距離を有するとしても、回転カメラモーションのために異なるサイズ及び方向を有する。
【００８５】
図１５及び図１７は、同じ停止した物体の２つの特徴点がカメラから異なる距離を有する場合、単純な並進ベクトルモーションから得られる他のベクトルを示す。同じ停止した物理的物体の２つの選択された特徴点ＳＦＰ４、ＳＦＰ７が物理的にカメラから異なる距離にあり、単純な並進カメラモーションの場合、ベクトルＡ及びベクトルＣ’’は、それぞれＳＦＰ４及びＳＦＰ７のモーションベクトルであると仮定する。ＳＦＰ７がＳＦＰ４よりカメラに近いために、ＳＦＰ４及びＳＦＰ７が同じ停止した物体にあるポイントである間に、ＳＦＰ４及びＳＦＰ７のモーションベクトルのサイズは異なる（ベクトルＣ’’は、ベクトルＡよりサイズが小さい）。
【００８６】
したがって、モーションベクトルをグループ化する間に、同じ停止した物体がともにグループ化されるように、ベクトル差のマージン（ｍａｒｇｉｎ）は、ベクトルサイズ及びベクトル方向（アングル）差を説明するために必要である。モーションベクトルグループを検知する通常の方法は、エラーマージン（ｅｒｒｏｒ  ｍａｒｇｉｎ）及び簡単なモーションベクトル差の利用し、エラースレショルド値（ｅｒｒｏｒ  ｔｈｒｅｓｈｏｌｄ）を定義することである。
【００８７】
モーションベクトル差（ΔＭ）のサイズは、グループ化判定のための基礎として利用されうる測定値であり、エラーマージン（ＴｈΔＭ）は、ΔＭ＝ＳＱＲＴ（（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２）＜ＴｈΔＭによって決定される。ここで、Ａ＝（ｘａ，ｙａ）及びＢ＝（ｘｂ，ｙｂ）であり、エラーマージン（ＴｈΔＭ）は、モーションベクトル差（ΔＭ；正数）のサイズのためのエラースレショルド値である。
【００８８】
モーションベクトル差の方法のサイズは、あらゆる停止した物体の特徴点のモーションベクトルが同じ方向を有し、特徴点が同じ並進カメラモーションによっていずれも定義されるために、カメラモーションが単純に並進（上、下、及び／または左右に）のみをする場合に適している。図１５及び図１６を比べると、他の停止した特徴点のモーションベクトルは、また単純な並進カメラモーションの場合にも、物体からカメラの異なる距離のために変わりうる。同じ停止した物体の特徴点のモーションベクトルのサイズ差は、典型的に通常のビデオ場面で相対的に小さく、サイズ差は、ベクトルサイズ差（｜Ａ｜−｜Ｂ｜）のあるマージンを許容することによって容認され、モーションベクトル差（ΔＭ）の方法のサイズは、この場合に適している。
【００８９】
図１８は、モーションベクトル差（ΔＭ  ）のサイズが、２つの特徴点をともにグループ化するための適した基礎である２つのモーションベクトルＡ、Ｂの場合を示す。
【００９０】
モーションベクトル差（ΔＭ）は、単独で同じ場合のベクトルをグループ化するための適した基礎とならないこともある。
【００９１】
図１９は、モーションベクトル差（ΔＭ’）のサイズが、２つの特徴点をともにグループ化するための適した基礎とならない２つのモーションベクトルＡ’、Ｂ’の場合を示す。
【００９２】
図１８及び１９で、ベクトルペアＡ、Ｂ及びベクトルペアＡ’、Ｂ’は、完全にベクトル差の同じサイズを有する（ΔＭ＝ΔＭ’）。各ベクトルペアＡ、Ｂ及びベクトルペアＡ’、Ｂ’は、エラーマージン（ＴｈΔＭ）を有したベクトル差（ΔＭ、ΔＭ’）のそれぞれのサイズをまた有しうる。ベクトルペアＡ、Ｂは、ベクトル差（ΔＭ）のサイズに基づいて適切にともにグループ化されうる。しかし、ベクトルペアＡ’、Ｂ’は、ベクトルペアＡ’、Ｂ’が同じグループにグループされるには、非常に大きなアングルの（方向の）差（例えば、ベクトルペアＡ、Ｂと比較して）を有する。
【００９３】
ベクトル差（ΔＭ）方法のサイズ自体は、２つの特徴点が非常に大きなアングルの（方向の）差を有するので、場合によって、２つの特徴点がエラーマージン（ＴｈΔＭ）を有したベクトル差のサイズを有したモーションベクトルグループ化のために適しないこともある。カメラ曲線の回転成分は、ベクトル差のサイズ方法によって検知知されない同じ方向を有し、同じか、類似しているサイズを有した停止した物体の１つ以上の特徴点を作り出す。したがって、ベクトル差方法のサイズは、誤ったジッタ補償（ｊｉｔｔｅｒ  ｃｏｍｐｅｎｓａｔｉｏｎ）及び／または最適化されたビデオ圧縮、過度な計算に必要な電力や時間消費及び／または停止しているか、動く物体の誤ったビデオ圧縮によるビデオアーティファクト（ｖｉｄｅｏ  ａｒｔｉｆａｃｔｓ）が引き起こされる。
【００９４】
次いで、特徴点回路３０００の階層的ブロックマッチング検索ユニット７３０によって出力されたＳＦＰのモーションベクトルは、連続したビデオフレームの間の物体の検知される相対的な動きに基づいて、場面にある物体とＳＦＰのモーションベクトルとを連結させるサイズ及び方向によってグループ化されうる。
【００９５】
カメラ動きが、イメージセンサー（ｉｍａｇｅ  ｓｅｎｓｏｒ）／フォトダイオードアレイ（ｐｈｏｔｏｄｉｏｄｅ  ａｒｒａｙ）の面とほとんど垂直である軸に、回転成分を有する時、１つの物体（例えば、背景）のモーションベクトルの方向は同じでないこともある。ベクトルのサイズ及び方向いずれもは、実際に停止していてカメラから同じ距離にあるとしても、背景の他の特徴点とは異なりうる。
【００９６】
グループ化判定のために、モーションベクトル差（ΔＭ）のサイズ及びエラーマージン（ＴｈΔＭ）のみを用いることの代わりに、我々は、回転カメラモーションによって発生するモーションベクトル差の一定の量を検知して容認するために、モーションベクトルのサイズ比率（ｒａｔｉｏ）及び正規化された（ｎｏｒｍａｌｉｚｅｄ）ベクトル差を用いる。
【００９７】
ベクトルＡは、Ａ＝（ｘａ，ｙａ）であり、ベクトルＢは、Ｂ＝（ｘｂ，ｙｂ）である。
【００９８】
第１グループ化判定基準（ｃｒｉｔｅｒｉａ）は、サイズ比率（｜ｂ｜）に基づき、｜ｂ｜２＝（｜Ｂ｜２）／（｜Ａ｜２）＝（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）の関係が成立する。
【００９９】
第２グループ化判定基準は、アングル差の計算のために使われた正規化されたベクトル差である｜ａ−ｂ｜に基づき、｜ａ−ｂ｜２＝［｛（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２｝／（ｘａ２＋ｙａ２）］の関係が成立する。
【０１００】
ベクトルＡとベクトルＢとの間のアングル差は、θｔｈ゜を超過せず、第２グループ化判定基準は、Ｍａ２＝ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓ  ｑｔｈ）及び｜ｂ｜＝ＳＱＲＴ｛（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）｝の条件である時、｜ａ−ｂ｜２＜Ｍａ２である。
【０１０１】
これら２つのグループ化判定基準に基づいた判定を使うグループ化方法は、回転するカメラ動きがある場合にさえ最適化された動きベクトルグループ化を行うことができる。
【０１０２】
図２０は、図２０のダイヤグラム（ａ）を参照する図１〜６に示したＤＩＳ方法の特徴点グループ化（ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｇｒｏｕｐｉｎｇ）のために使われるアングル差の間接的な測定のための正規化された（ｎｏｒｍａｌｉｚｅｄ）ベクトル差の計算を表わす３つのベクトルダイヤグラムを示し、ベクトルＡとベクトルＢとの間の差ベクトル（Ａ−Ｂ）は、水平にベクトル表示された（Ａ−Ｂ）に示された。便宜上、ダイヤグラム（ｃ）は、ダイヤグラム（ａ）及び（ｂ）より大きく示された。差ベクトル（Ａ−Ｂ）の絶対値（ΔＭ（Ａ−Ｂ））は、次のように計算されうる。△Ｍ（Ａ−Ｂ）＝ＳＱＲＴ（（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２）であり、この際、Ａ＝（ｘａ，ｙａ）及びＢ＝（ｘｂ，ｙｂ）である。
【０１０３】
図２０のダイヤグラム（ｂ）を参照すると、正規化されたベクトルａは、ベクトルの絶対値｜Ａ｜によって分けられたベクトルＡとして定義され、したがって、正規化されたベクトルａは、１のサイズ（ｍａｇｎｉｔｕｄｅ）を有する（図２０のダイヤグラム（ｃ）参照）。正規化されたベクトルｂは、ベクトルの絶対値｜Ａ｜によって分けられたベクトルＢとして定義される。｜Ａ｜及び｜Ｂ｜のサイズは、次の方程式によって定義される。
｜Ａ｜２＝（ｘａ２＋ｙａ２）及び｜Ｂ｜２＝（ｘｂ２＋ｙｂ２）。
【０１０４】
ｂ＝Ｂ／｜Ａ｜であることに注目し、サイズ比率（Ｍｒ）は、絶対値｜ｂ｜＝｜Ｂ｜／｜Ａ｜＝｜（Ｂ／｜Ａ｜）｜のようである。したがって、｜ｂ｜は、正規化されたベクトルｂのサイズであり、ベクトルＡのサイズ｜Ａ｜による分けるベクトル（ｄｉｖｉｄｉｎｇ  ｖｅｃｔｏｒ）Ｂによって正規化された（例えば、ｂ＝Ｂ／｜Ａ｜）。したがって、サイズ比率（Ｍｒ）＝｜ｂ｜＝ＳＱＲＴ｛（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２）｝である。
【０１０５】
正規化されたベクトルａのサイズ｜ａ｜は、１であるために、サイズ｜ｂ｜も正規化されたベクトルｂのサイズ｜ｂ｜によって分けられた正規化されたベクトルＡのサイズ｜ａ｜の間のサイズ比率と同じである。したがって、サイズ｜ｂ｜は、サイズ比率｜ｂ｜（Ｍｒ）として参照される。サイズ比率｜ｂ｜は、ベクトルＡ及びＢの間のアングル差θの関数ではない。
【０１０６】
最初のグループ化判定基準として、我々は、｜Ａ｜／｜Ｂ｜を動きベクトルＡ及びＢのサイズの比率Ｍｒと比べる。したがって、もし、（｜Ａ｜／｜Ｂ｜）２＞（｜Ｂ｜／｜Ａ｜）２であれば、適切な最後のグループ化判定は、同じグループにあり得ないベクトルＡ及びベクトルＢである。しかし、もし、（｜Ａ｜／｜Ｂ｜）２＞Ｍｒ２であれば、我々は、基準として正規化されたベクトル差｜ａ−ｂ｜を使うことに基づく第２比較を行う。
【０１０７】
正規化されたベクトル差（ａ−ｂ）の絶対値サイズ｜（ａ−ｂ）｜は、次の方程式によって計算される。
｜ａ−ｂ｜２＝［｛（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２｝／（ｘａ２＋ｙａ２）］。
【０１０８】
正規化されたベクトル差（ａ−ｂ）は、図２０のダイヤグラム（ｃ）で示したように、絶対値サイズ｜（ａ−ｂ）｜を有するが、その長さで｜ａ｜、｜ｂ｜及び｜（ａ−ｂ）｜は、｜（ａ−ｂ）｜反対側面にあるベクトルの角差θを有する三角形を形成し、これは、｜（ａ−ｂ）｜がやはりθの関数としてコサイン法則を使うことによって得られうるということを意味する。コサイン法則は、他の側面の長さで三角形の知られていない側面の長さと知られていない側面の反対側のアングルの間の数学的関係を定義する。正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜は、次のようなコサイン法則を使うことで得られうる。
｜（ａ−ｂ）｜＝ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθ）。
【０１０９】
したがって、正規化されたベクトル差（ａ−ｂ）（図２０のダイヤグラム（ｃ）のアングル差θ対向側の三角形側面）のサイズ｜（ａ−ｂ）｜のスレショルド値として表現されたアングルスレショルド値（ａｎｇｌｅ  ｔｈｒｅｓｈｏｌｄ）は、｜ｂ｜及びアングル差θの関数として計算され、アングル差θは、コサイン法則によって示されうる。したがって、アングル差のスレショルド値としてサイズ｜（ａ−ｂ）｜のスレショルド値サイズＭａを定義することができるが、この時、Ｍａは、選択されたスレショルド値アングルθｔｈの関数である。したがって、正規化されたベクトル差（ａ−ｂ）の計算されたサイズ｜（ａ−ｂ）｜の二乗とＭａの二乗とを比較することができる。｜ａ−ｂ｜２は、ベクトルＡ及びベクトルＢの間のアングル差がそれらがともに縛られるのに十分に小さいか否かを判定するためにＭａ２と比較される。
【０１１０】
我々は、Ｍａ２＝（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθｔｈと定義し、この際、θｔｈは、グループ化決定の目的のための既定のアングルスレショルド値である（例えば、３０゜）。そして、｜ｂ｜＝｜（Ｂ／｜Ａ｜）｜＝ＳＱＲＴ｛（（ｘｂ２＋ｙｂ２）／（ｘａ２＋ｙａ２））｝である。
【０１１１】
もし、｜ａ−ｂ｜２がＭａ２より小さければ、我々は、同じグループにあり得るベクトルＡ及びベクトルＢを決定する。したがって、もし、｜ａ−ｂ｜２がＭａ２より小さければ、適当な最後のグループ化判定は、同じグループにあるベクトルＡ及びベクトルＢである。
【０１１２】
もし、｜ａ−ｂ｜２がＭａ２より小さく、単に（｜Ａ｜／｜Ｂ｜）がサイズ比率（Ｍｒ）｜ｂ｜２より大きくなければ、ベクトルＡ及びベクトルＢは、同じグループにあるようになる。したがって、Ｍａ２の正確な計算は、１つの二乗根（ｓｑｕａｒｅ  ｒｏｏｔ）操作を必要とし（例えば、｜Ｂ｜を計算するために）、二乗根操作は、高価の計算（ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ  ｅｘｐｅｎｓｉｖｅ）であるか、大がかりなハードウェア装置を必要とし、二乗根操作の消去は重要でありうる。我々は、１の±３０％（例えば、０．７≦｜ｂ｜≦１．３）と同一の｜ｂ｜のための優れたグループ化結果を提供し、３０゜のベクトルエラー（ベクトル差（ｄｉｆｆｅｒｅｎｃｅ））アングル（例えば、−３０゜≦θ≦＋３０゜）内のＭａのための近似化を創案した。したがって、第２グループ化基準は、｜ａ−ｂ｜２＜０．５２になる。
【０１１３】
もし、我々が、アングル差θの間の関係をプロットすれば（θは、サイズ比率｜ｂ｜及び正規化された差｜ａ−ｂ｜）、図２２のグラフが得られる。
【０１１４】
図２２は、アングル差θ（０〜９０゜の間）の関数であって、正規化されたベクトル差（ａ−ｂ）のサイズ｜（ａ−ｂ）｜対（ｖｅｒｓｕｓ）正規化されたベクトル差（ａ−ｂ）のサイズ比率｜ｂ｜のグラフであり、これは、図２１のグループ化アルゴリズムの判定段階ｄＳ１１４０で使うための効用のある近似化の効用の可能性を示す。
【０１１５】
図２２の４角形地域の境界によって指示されることによって、実験によって、典型的な映像（ｖｉｄｅｏ）は、１の±３０％よりさらに大きなサイズ比率または３０゜よりさらに大きなアングルに至るアングル差θとともに優れたグループ化結果を提供する。この経験に基づいた範囲は、図２２のグラフに示したように、０〜０．５の間の正規化されたベクトル差の近似化のために効率的である。
【０１１６】
近似化を使って、ＳＱＲＴ（１＋｜ｂ｜２−２＊｜ｂ｜＊ｃｏｓθ）は、｜ｂ｜に関係なく、０．５として近似化され、計算の負担を減らしうる。したがって、この近似化を使って、第２グループ化判定基準は、｜ａ−ｂ｜２＜０．５２になる。
【０１１７】
図２１は、本発明の実施形態によるグループ化過程を示すフローチャートである。グループ化過程１１００は、図１〜６に示したＤＩＳ方法の図４のベクトルグループ化段階を実行するための選択された特徴点（図１及び図７のイメージフレーム参照）のモーションベクトルの間のアングル差の間接的な測定のための正規化されたベクトル差を含む２つの基準を使う。グループ化アルゴリズム１１００は（ＳＤ１１２０段階での）、サイズ比率グループ化判定基準（ｍａｇｎｉｔｕｄｅ  ｒａｔｉｏ  ｇｒｏｕｐｉｎｇ  ｄｅｃｉｓｉｏｎ  ｃｒｉｔｅｒｉａ）及び（ＳＤ１１４０段階での）ベクトル差グループ化判定基準を含む。外部的にグループ化アルゴリズム１１００に対して作動するペアリング（ｐａｉｒｉｎｇ）アルゴリズム（Ｓ１１０４、Ｓ１１０６、Ｓ１１５２、ｄＳ１１５０、及びＳ１１５４）は、ある特徴点（モーションベクトル）が既に異なる（対になっていない、グループ化アルゴリズム１１００から完全に排除される）特徴点と対になっているかを追跡することができる。ペアリングアルゴリズムは、グループ化アルゴリズム１１００への入力として一ペアのＳＦＰ動きベクトルＡ及びＢを提供する（Ｓ１１０４、Ｓ１１０６）。初期化段階ｉＳ１１０２で、サイズ比率マージン（Ｍａｒｇｉｎ）及びアングルマージンは、外部回路から受信されてグループ化アルゴリズム１１００に提供される。
【０１１８】
グループ化アルゴリズム１１００は、少なくとも今後の段階（Ｓ１１１６、ｄＳ１１２０、及びｄＳ１１４０）で今後の段階計算のためのこれら計算された値を使うための受信されたベクトルＢ（Ｓ１１１２及びＳ１１１４段階）に基づいて受信されたベクトルＡ及び｜Ｂ｜２に基づいた｜Ａ｜２を計算する。したがって、受信されたベクトルＢが（判定段階ｄＳ１１２０のＹＥＳブランチまたは判定段階ｄＳ１１４０の「いいえ」ブランチによって）受信されたベクトルＡとともにグループ化から排除される時、ペアリングアルゴリズムは、新たなベクトルＢ（Ｓ１１５２段階）及び新たなベクトルＢに基づいた｜Ｂ｜２の新たな値を計算する（Ｓ１１４段階）グループ化アルゴリズムを賦課する（ａｓｓｉｇｎ）。しかし、同じベクトルＡの比較は、新たなベクトルＢとともを除いては続けられるために、現在のベクトルＡの｜Ａ｜２の計算された値は（Ｓ１１２段階）、同時にアップデートされる必要はない。したがって、グループ化アルゴリズム１１００を実行するのに採択されたハードウェアまたはソフトウェアは、単にベクトルＡ及びＢのうち１つが一回で変わる限り、それら値の１つを使う複数の比較を効率的に行うために、１つまたはそれ以上の瞬間値（ｉｎｓｔａｎｃｅｓ  ｏｆ  ｖａｌｕｅ）｜Ｂ｜２及び｜Ａ｜２を分離して保存するように行われる。
【０１１９】
グループ化アルゴリズム１１００は、次に（Ｓ１１１２及びＳ１１１４から）｜Ａ｜２、｜Ｂ｜２を使うサイズ比率｜ｂ｜２及び｜ａ−ｂ｜２（Ｓ１１１６）を計算する。第１（サイズ比率）グループ化判定基準は、判定段階ｄＳ１１２０に適用される。判定段階ｄＳ１１２０でサイズ比率の二乗Ｍｒ２は、（｜Ａ｜／｜Ｂ｜）２及び／またはサイズ比率マージンと比較される（ｉＳ１１２０段階から）。もし、（｜Ａ｜／｜Ｂ｜）２＞Ｍｒ２であれば（判定段階ｄＳ１１２０の「はい」ブランチ）、現在のベクトルＡは、現在のベクトルＢとグループにならず、現在のベクトルＢとの比較は終わらず、新たなベクトルＢが選択される（Ｓ１１５２段階）。もし、（｜Ａ｜／｜Ｂ｜）２がＭｒ２より大きくなければ（判定段階ｄＳ１１２０のＮＯブランチ）、現在のベクトルＡは、現在のベクトルＢとグループになり、第２グループ化判定基準が適用可能である（判定段階ｄＳ１１４０）。もし、｜ｂ｜が既定の範囲内（例えば、｜ｂ｜２の値に基づいた）にあり、アングル差θは、既定の範囲内（判定段階ｄＳ１１３０の「はい」ブランチ）にあれば、正規化された差ベクトル（ａ−ｂ）のサイズＭａは近似化され（例えば、Ｍａ２＝０．５２として）、そうでなければ（判定段階ｄＳ１１３０の「いいえ」ブランチ）、正規化された差ベクトル（ａ−ｂ）のサイズＭａが計算される（Ｓ１１３２）。
【０１２０】
次に、水平化された差ベクトル（ａ−ｂ）の近似化されるか、計算されたＭａは、判定段階ｄＳ１１４０の第２（正規化されたベクトル差）グループ化判定基準で使われる。判定段階ｄＳ１１４０でＭａの二乗（Ｍａ２）は、（｜ａ−ｂ｜）２及び／またはアングルマージンと比較される（ｉＳ１１０２段階から）。もし、（｜ａ−ｂ｜）２がＭａ２より小さければ（判定段階ｄＳ１１４０のＹＥＳブランチ）、現在のベクトルＡは、現在のベクトルＢとグループになりうる（Ｓ１１４２）。もし、（｜ａ−ｂ｜）２がＭａ２より小さくなければ（判定段階ｄＳ１１４０の「いいえ」ブランチ）、現在のベクトルＡは、現在のベクトルＢとグループにならず、現在のベクトルＢとの比較は終わり、新たなベクトルＢが選択される（Ｓ１１５２段階）。
【０１２１】
一旦、現在のベクトルＡがあらゆる利用可能なグループ化支援（ｃａｎｄｉｄａｔｅｓ）ベクトルＢｓと比較され（判定段階ｄＳ１１５０のＹＥＳブランチ）、新たなベクトルＡが選択され、比較が残った（グループになっていない）グループ化支援ベクトルＢｓのために続くか、もしくは、あらゆるベクトルがグループになっていなければ、グループ化アルゴリズム１１００は、新たなフレームが進行する必要があるまで待つ。
【０１２２】
図２３は、図２１の特徴点グループ化アルゴリズムを行うグループ化アルゴリズム回路１３１０を含む特徴点グループ化アルゴリズム回路のブロックダイヤグラムである。特徴点グループ化回路１３００は、サイズ比率Ｍｒの基準（｜ｂ｜）に基づいた（図２１の判定段階ｄＳ１１２０の）第１グループ化判定を行うサイズ比率（Ｍｒ）比較器１３２０、及び（アングル差の測定ために使われる）正規化されたベクトル差の基準に基づいた（図２１の判定段階ｄＳ１１４０）第２グループ化判定を行うベクトルアングル比較器１３３０を含む。本発明の実施形態で具現されたベクトルアングル比較器１３３０は、正規化された差のサイズ（ｍａｇｎｉｔｕｄｅ  ｏｆ  ｎｏｒｍａｌｉｚｅｄ  ｄｉｆｆｅｒｅｎｃｅ）（Ｍａ）計算器／推定器１３３２、及び正規化された差のサイズ比較器１３３４を含む。正規化された差のサイズ（Ｍａ）計算器／推定器１３３２は、図２１のｄＳ１１３０、Ｓ１１３２、及びＳ１１３４段階に関して前述したように生成するか、計算する。
【０１２３】
特徴点グループ化回路１３００は、図９の特徴点回路３０００とともにＲＡＭメモリ３５０を共有する。メモリ３５０のＳＦＰリスト３５２部分は、特徴点支援分類器（ｆｅａｔｕｒｅ  ｐｏｉｎｔ  ｃａｎｄｉｄａｔｅ  ｓｏｒｔｅｒ）３４０によって出力され、選択された特徴点のリストを含む。特徴点グループ化回路１３００内にあるペアリング（ｐａｒｉｎｇ）アルゴリズムコントローラ１３０２は、図２１のＳ１１５２、Ｓ１１５４、ｄＳ１１５６、及びｄＳ１１５０に関して前述したように、グループ化アルゴリズム回路１３１０での比較のためにＳＦＰリスト３５２にＤＭＡアクセスし、ベクトルＡ及びベクトルＢを選択する。比較によって、１つまたはそれ以上のベクトルのグループ（選択された特徴点のグループ）が生成された場合、ペアリングアルゴリズムコントローラ１３０２は、メモリ３５０のＦＰグループインベントリ（ｉｎｖｅｎｔｏｒｙ）３５４にグループ化されたベクトル、またはそれらの技術的な（ｄｅｓｃｒｉｐｔｉｖｅ）リストを記録する。
【０１２４】
特徴点グループ化回路１３００は、｜Ａ｜２計算器１３１２−Ａ、｜Ｂ｜２計算器１３１４−Ａ、及びＭｒ２＝｜ｂ｜２＆｜ａ−ｂ｜２計算器１３１６をさらに含み、これらは、それぞれ図２１のＳ１１１２、Ｓ１１１４、及びＳ１１１６段階を行う。
【０１２５】
上記開示した説明事項は、実施形態として考慮されたものであるので、本発明は、これに制限されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施形態まで含むものと理解しなければならない。したがって、本発明の範囲は、法によって許容される最大の内容まで許容されなければならず、前述した詳細な説明によって制限的に解釈されてはならない。
【図１】
2012164303.tif 000007
【図２】
2012164303.tif 000008
【図３】
2012164303.tif 000009
【図４】
2012164303.tif 000010
【図５】
2012164303.tif 000011
【図６】
2012164303.tif 000012
【図７】
2012164303.tif 000013
【図８】
2012164303.tif 000014
【図９】
2012164303.tif 000015
【図１０】
2012164303.tif 000016
【図１１】
2012164303.tif 000017
【図１２】
2012164303.tif 000018
【図１３】
2012164303.tif 000019
【図１４】
2012164303.tif 000020
【図１５】
2012164303.tif 000021
【図１６】
2012164303.tif 000022
【図１７】
2012164303.tif 000023
【図１８】
2012164303.tif 000024
【図１９】
2012164303.tif 000025
【図２０】
2012164303.tif 000026
【図２１】
2012164303.tif 000027
【図２２】
2012164303.tif 000028
【図２３】
2012164303.tif 000029
【外国語明細書】
2012164303000001.pdf