(57)【要約】  本発明は、画像輪郭のスケール不変特徴を識別するシステム及び方法に関する。本方法は、閉じた平面曲線の媒介変数方程式を受信するステップと、等しい間隔を有する閉じた平面曲線上のノードを選択するステップと、曲線上のノードの連続スケールスペースを生成するステップと、各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対して曲率の円を計算するステップと、隣接スケール間の曲率差分の円を発見するステップと、各曲率差分値を比較して、最小又は最大の曲率差分を有するノードを特徴点として選択するステップと、全ての特徴点を含む記述子を用いて輪郭を表現するステップとを備える。本方法はさらに、所定のしきい値よりも互いに近い特徴点を除去するステップと、記述子を、種々の輪郭に属する前もって記録された各記述子と比較して、良好なマッチングを有する少なくとも１つの記述子を発見するステップとを備える。
2015511736.tif 000002
【特許請求の範囲】
【請求項１】
閉じた平面曲線の媒介変数方程式を受信するステップ（１０１）と、
等しい複数の間隔を有する前記閉じた平面曲線上の複数のノードを選択するステップ（１０２）と、
前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ（１０３）と、
各オクターブにおける各スケールに対する前記閉じた曲線上の各ノードに対して、そのような点における曲率の量を表現する値を計算するステップ（１０４）と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ（１０５）と、
各曲率差分値を前記同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する前記複数のノードを複数の特徴点として選択するステップ（１０６）と、
全ての前記複数の特徴点及びそれらのそれぞれの複数のパラメータを含む記述子を用いて輪郭を表現するステップ（１０７）と、
の複数のステップによって特徴付けられる画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項２】
入力画像から二値画像を生成してオブジェクトの境界上の曲線をフィッティングする画像前処理演算は、ステップ（１０１）の前に実施される、
ことを特徴とする請求項１記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項３】
ステップ（１０３）において、前記平面曲線は半分にダウンサンプリングされる、
ことを特徴とする請求項１又は２記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項４】
ステップ（１０３）において、連続スケールスペースは、各オクターブを通して前記平面曲線をガウスフィルタと畳み込むことによって生成される、
ことを特徴とする請求項１〜３記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項５】
ステップ（１０４）において、所与のノードにおける前記曲線に接する円の半径の逆数を出力する関数は、曲率を計算するために使用される、
ことを特徴とする請求項１〜４記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項６】
ステップ（１０６）において、前記現在の差分群上の２つの近傍と、前記隣接した複数の群上の３つの最も近接したノードとは、比較のために使用される、
ことを特徴とする請求項１〜５記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項７】
前記輪郭に沿って所定のしきい値よりも互いに近接した複数の特徴点を除去するステップ（１０８）、
を特徴とする請求項１〜６記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項８】
ステップ（１０８）において、前記しきい値は、シルエット輪郭長全体の所定の割合として選択される、
ことを特徴とする請求項７記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項９】
記述子を、種々の輪郭に属する前もって記録された各記述子と比較して、良好なマッチングを有する少なくとも１つの記述子を発見するステップ（１０９）、
を特徴とする請求項１〜８記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１０】
ステップ（１０７）において、前記複数の記述子は、複数の半径方向の配列として表現され、当該複数の半径方向の配列において中心からの半径方向の距離は複数の差分群のスケール値を表現し、当該中心の周囲での回転は前記輪郭曲線パラメータを表現し、そして各点における前記値は特徴オリエンテーションを表現する、
ことを特徴とする請求項１〜９記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１１】
ステップ（１０７）において、前記半径方向の配列は２次元カラー画像上でエンコードされ、前記特徴の複数のオリエンテーションを表現する前記複数の２次元ベクトルは、位置づけられた点の色を用いてエンコードされる、
ことを特徴とする請求項１０記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１２】
ステップ（１０９）において、複数の記述子対は、同一の中心の周囲での複数の半径方向の配列の全ての可能な回転において前記差分を発見することによって、比較される、
ことを特徴とする請求項１０又は１１記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１３】
ステップ（１０９）において、前記複数の記述子の複数のオリエンテーション値のうちの１つは、複数の半径方向の配列の少なくとも１つの相対的回転に対して循環的に変化される、
ことを特徴とする請求項１２記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１４】
ステップ（１０９）において、比較時に最小の差分を与える対は、最良のマッチングを与えることとなる、
ことを特徴とする請求項１〜１３記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１５】
請求項１〜１４のうちのいずれか一項記載のステップ（１０１）から（１０８）によって決定される複数の輪郭記述子を、複数の原ピクセル画像とともに格納するように構成された、少なくとも１つの特徴及び画像データベース（２）と、
特徴及び画像データベース（１）に接続されるとともに、輪郭の媒介変数方程式を受信して、当該輪郭を入力として使用して請求項１〜１４のうちのいずれか一項記載の画像輪郭のスケール不変特徴を識別する前記方法（１００）を実施するように構成された、少なくとも１つの処理ユニット（３）と、
によって特徴付けられる、画像輪郭（１）のスケール不変特徴を識別するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シルエット画像外形特徴（ｓｉｌｈｏｕｅｔｔｅ  ｉｍａｇｅ  ｃｏｎｔｏｕｒ  ｆｅａｔｕｒｅｓ）を抽出、表現、及びマッチングする画像処理及び方法の分野に関する。
【背景技術】
【０００２】
静止画像（ｓｔｉｌｌ  ｉｍａｇｅ）又はビデオフレーム（ｖｉｄｅｏ  ｆｒａｍｅ）上のオブジェクト（ｏｂｊｅｃｔ）（又は等価的に「ターゲット（ｔａｒｇｅｔ）」）を識別する複数の方法及び複数のモデルがあることが知られている。そのような複数の方法は例えば、対象としている場所の赤外線画像を取得するセンサがある赤外線探査（ｉｎｆｒａｒｅｄ  ｓｅａｒｃｈ）及び追跡（ＩＲＳＴ）システム（ｔｒａｃｋｉｎｇ  （ＩＲＳＴ）  ｓｙｓｔｅｍ）において用いられ、一般的に、これらの画像はグレースケールフォーマットに変換される。この画像は、種々の位置における赤外線強度を表現する複数のピクセルの２次元配列を備える。現在、複数の入力オブジェクトの複数の輪郭の複数の特徴を抽出してマッチングする複数のシステム及び複数の方法がある。これらのシステムは例えば既知の種類のターゲットを決定するために使用され、またこれらのシステムはひいては状況に応じてそれを解釈することが可能である。そのような方法において、効果的に異なる複数の輪郭を表現して、少ない容量においてそれらを格納するとともに探索処理の速度を向上させることを可能とすることが望まれる。
【０００３】
１つのそのような既知の方法は曲率スケールスペース（ｃｕｒｖａｔｕｒｅ  ｓｃａｌｅ  ｓｐａｃｅ、ＣＳＳ）を使用し、閉じた曲線であるオブジェクトの輪郭はＣＳＳを生成するために使用される。この目的のために、オブジェクトの外形上の曲線をフィッティング（ｆｉｔ）するためのもう１つの初期計算は一般的に、対象としているオブジェクトの二値シルエット画像に対して適用される。この既知の方法において、複数の曲率値の円は閉じた曲線上で計算されて、複数のオブジェクト記述子は輪郭のスケールスペース（Ｓｃａｌｅ  Ｓｐａｃｅ）表現から導出される。これらは複数のグラフによって表現されて、このグラフ上の複数のピーク値は複数の特徴パラメータとして用いられる。そのような表現を用いて、複数の画像上の種々の形状は識別され、マッチングされ、又は位置合わせされることが可能である。ＣＳＳ方法に関する主な問題点のうちの１つは、ＣＳＳ方法がシルエット曲線の計算の始点に依存していることである。シルエットは画像上のオブジェクトの周囲の閉じた曲線であるために、当該シルエットは定義された始点を有さず、また、このことは、複数の輪郭をマッチング又は認識する必要がある場合に、問題点を構成する。この問題点の解決方法として、複数のピーク値は現在、複数の形状のマッチングのために用いられており、当該ピーク値は複数の輪郭のノイズ及び誤った区分（セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ））の影響を受ける。輪郭が軽微な誤差を有して抽出される場合、その結果はそのようなアプローチを用いて著しく変化し得る。
【０００４】
もう１つの現在使用される方法は、ＣＳＳ技術によって取得されるグラフ上の複数のピーク値の間で順序づけを実施する。例えば、複数のピーク座標（ピークコーディネート、ｐｅａｋ  ｃｏｏｒｄｉｎａｔｅ）は、現在の実施における複数のピークの高さに関して順序づけられる。さらにもう１つの技術は、最大ピークを始点として用いており、またそのようなピークから開始する複数の輪郭を表現している。さらに、これらの方法は、ノイズ及び誤った区分、又は誤った曲線フィッティング（ｃｕｒｖｅ  ｆｉｔｔｉｎｇ）の傾向がある。
【０００５】
他方、周知のスケール不変特徴変換（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）方法は、２次元（２Ｄ）グレースケール画像のスケールスペース表現を使用し、一般的にピクセル画像上の複数のオブジェクトの代表の複数の特徴はスケールスペースを形成する複数のガウス画像の差分を計算することによって発見される。この２次元方法を用いて、複数のピクセル画像上の種々のオブジェクトは、複数の凸点（ｓａｌｉｅｎｔ  ｐｏｉｎｔｓ）のリストによって表現されることが可能であり、比較され、識別され、又はマッチングされることが可能である。複数のＣＳＳ輪郭特徴抽出方法の複数の不利な点、及びオブジェクトの輪郭のみを表現する複数の特徴点を発見するための複数のＳＩＦＴ方法の無力な点は、新しい方法を必要とする。複数の赤外線撮像システムなどのいくつかの応用において、画像上の複数のターゲット又は複数のオブジェクトは一般的に、その輪郭上にその複数の特徴を有する。さらにまた、いくつかのオブジェクトは、完全な表現を必要としないが、その輪郭のみによって識別可能である。輪郭のみの上の複数の特徴点を格納することは少ない容量しか要さず、探索及びマッチングは非常に高速となる。
【０００６】
現行の複数の方法は、それら自身上の複数のシルエット画像外形特徴（ｓｉｌｈｏｕｅｔｔｅ  ｉｍａｇｅ  ｃｏｎｔｏｕｒ  ｆｅａｔｕｒｅｓ）の抽出、表現、及びマッチングの信頼性のある効果的な方法を提供しておらず、新しい方法は本明細書において導入される。
【０００７】
従来技術の出願である英国特許文献ＧＢ２３９３０１２（引用文献１）は、２次元輪郭を探索する方法を開示する。本方法は、クエリ（ｑｕｅｒｙ）を入力するステップと、オブジェクトの輪郭の曲率スケールスペース表現から当該輪郭の記述子を導出するステップとを含み、ＣＳＳ表現の複数のピーク座標値（ｐｅａｋ  ｃｏ−ｏｒｄｉｎａｔｅ  ｖａｌｕｅ）はピークの複数の最高値に基づいて順序づけられる。
【０００８】
従来技術の出願である米国特許文献ＵＳ７４３０３０３（引用文献２）は、画像の複数のジェスチャ特徴（ｇｅｓｔｕｒｅ  ｆｅａｔｕｒｅ）を抽出及びマッチングする方法を開示する。本方法において、ジェスチャ画像の二値外形画像によって形成される閉じた曲線は、曲率スケールスペース（ＣＳＳ）画像を形成するために使用され、複数の特徴パラメータは、第１の複数のピークを抽出することによって決定される。
【０００９】
従来技術の出願である米国特許文献ＵＳ６７１１２９３（引用文献３）は、画像における複数のスケール不変特徴を識別する方法及び装置を開示する。当該方法及び装置は、複数の差分画像を生成して、初期画像をぼかしてぼかし画像（ｂｌｕｒｒｅｄ  ｉｍａｇｅ）を生成して、そして初期画像からぼかし画像を減算して差分画像を生成することによって、画像における複数のスケール不変特徴を識別する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】英国特許第２３９３０１２号公報
【特許文献２】米国特許第７４３０３０３号公報
【特許文献３】米国特許第６７１１２９３号公報
【非特許文献】
【００１１】
【非特許文献１】Ｆｒｅｅｍａｎ  Ｃｈａｉｎ  ｃｏｄｅ  １９６１
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、シルエット画像のスケール及び解像度から信頼性を有して効率的に独立した、複数のシルエット画像外形特徴を抽出し、表現し、そしてマッチングする方法を提供することにある。
【００１３】
本発明のもう１つの目的は、オリエンテーションから信頼性を有して独立した、複数のシルエット画像外形特徴を抽出し、表現し、そしてマッチングする方法を提供することにある。
【課題を解決するための手段】
【００１４】
複数の海事アプリケーションにおけるターゲットを検出する方法（１００）は基本的に、以下の方法を含む。すなわち、本方法は、
閉じた平面曲線の媒介変数方程式を受信するステップ（１０１）と、
等しい複数の間隔を有する閉じた平面曲線上の複数のノードを選択するステップ（１０２）と、
平面曲線をガウスフィルタ（Ｇａｕｓｓｉａｎ  Ｆｉｌｇｅｒ）と逐次的に畳み込むことによって曲線上の複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ（１０３）と、
各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対して、そのような点における曲がりの度合い又は曲率の量を表現する値を計算するステップ（１０４）と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ（１０５）と、
各曲率差分値を同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する複数のノードを複数の特徴点として選択するステップ（１０６）と、
全ての特徴点及びそれらのそれぞれの複数のパラメータを含む記述子を用いて輪郭を表現するステップ（１０７）と、
を含む。
【図面の簡単な説明】
【００１５】
【図１】好ましい実施形態のシステムの概略図である。
【図２】２つの代表のオクターブ、それらのそれぞれのスケールスペース、複数の曲率グラフの円、及び複数の曲率グラフの差分の図である。
【図３】本発明に係る単一の点に対して抽出される概要の記述子である。
【図４】本発明の好ましい方法のフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の目的を達成するために実現されるシステム及び方法は、添付の図面において図示される。
【００１７】
まず、ステップ（１０１）において、閉じた平面曲線の媒介変数方程式は受信されて、当該媒介変数方程式は形状の輪郭を表現して、当該輪郭は記述子を用いてマッチングされ、識別され、又は表現されることとなる。赤外線探査及び追跡（ＩＲＳＴ）システムの場合において、生の入力データは２次元グレースケールピクセル画像であり、各ピクセルは対象としている場面におけるそのような位置に対する赤外線密度を表現する。画像上のオブジェクト（又は等価的にターゲット）の輪郭を発見することを可能とするために、単純なアプローチは、カットアウトフィルタを使用して当該画像を前処理することによって、当該画像を二値画像として表現している。二値画像を生成するための既知の複数の方法及び複数のアルゴリズムが存在し、これらの方法及びアルゴリズムにおいて、オブジェクトはその影又はシルエット（白い背景上の黒い領域）によってのみ表現されるとともに、これらは複数の赤外線グレースケール画像に対して簡単に適用する。これらの現実世界の複数の問題点は通常、二値シルエットピクセル画像などの離散的な形式で複数の信号を提供する。スケール及び解像度から独立したその複数の特徴を表現することが要求される場合、連続表現が必要とされ、連続表現が要求される場合、シルエットは、スプライン（ｓｐｌｉｎｅ）又は多項式のような曲線モデルにフィッティングされる必要がある。
【００１８】
この演算は自明ではあるが、フィッティング方法及び関連する複数のパラメータの選択は非常に重要である。本発明の方法の好ましい構成において、画像輪郭（ｉｍａｇｅ  ｏｕｔｌｉｎｅ）上の複数の隣接画素の表現であるチェインコーディング（ｃｈａｉｎ  ｃｏｄｉｎｇ）［Ｆｒｅｅｍａｎ  Ｃｈａｉｎ  ｃｏｄｅ  １９６１（非特許文献１）］は、複数の二値画像における複数のシルエットを、閉じた複数のＢ−スプラインにフィッティングするために使用される。複数のチェインコードは、２つのピクセル（１又は√２単位）の間の実際の距離を示し、これらの距離はｋ次Ｂ−スプラインを所与のシルエットにフィッティングしてその輪郭を発見するときに使用される。シルエットの連続表現は必然的に必要とされる。なぜならば、閉じた曲線の複数の点の一様にサンプリングされた集合を使用することは、我々が信号の一様なスケールスペースを構成することを可能にするからである。
【００１９】
入力シルエットに属する複数のピクセルは曲線上で一様にサンプリングされず、ピクセルの数は任意であり、これはフィッティングされたスプライン曲線上でサンプリングされた好ましくは一定の数の点を必要とし、そしてスプライン関数から任意の数の点の一様にサンプリングされた点集合を取得してもよい。なお、このことはステップ（１０２）において実行される。形状の輪郭を表現する曲線は閉じた平面曲線であり、このことは当該閉じた平面曲線が対象としているシルエットの周囲のループを形成する同一の点において開始及び終了して同一平面上の複数の点を表現することを意味する。ステップ（１０２）において、曲線は、各分割位置において「複数のノード」又は複数のサンプル点（ｓａｍｐｌｅ  ｐｏｉｎｔ）を有する複数の等しい区分に分割される。分割の数は、初期画像（ｉｎｉｔｉａｌ  ｉｍａｇｅ）（シルエット画像）の解像度に依存してもよい。なぜならば、低解像度画像に対する分割（ｄｉｖｉｓｉｏｎ）を過度に行うこと（ｏｖｅｒｄｏｉｎｇ）は複数の結果を改善しないが複雑性を増加させるからである。閉じた媒介変数スプライン関数は、（直感的には０及び１の間の実数である）パラメータが与えられたそれぞれの輪郭に沿った位置を与えるであろう。また、各ノードは、このパラメータに関連する値を有するであろう。
【００２０】
複数の平面曲線上の複数のキーポイント又は複数の特徴点を検出することは、ガウシアンの差分（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎｓ、ＤｏＧ）アプローチを使用して実行され、当該アプローチは従来技術において複数の２Ｄピクセル画像に対して実行された。曲線上の複数のノードの連続スケールスペースは、ステップ（１０３）において生成される。これは前述の複数のＣＳＳ方法に類似するように思われ得るが、特徴抽出及び関連する複数の中間ステップが大きく異なる。
【００２１】
好ましい構成において、平面曲線は、少なくとも１つのオクターブを生成して、半分にダウンサンプリングされる。閉じた媒介変数曲線の場合において、ダウンサンプリングは、等しく分割された複数のサンプル点（複数のノード）の数を減少させることによって適用される。好ましい構成において、複数のノードは、曲線に沿う１つのノードを飛ばして進む（スキップする、ｓｋｉｐ）ことによって除去され、このことは全ての奇数又は偶数の複数のノードが捨てられることを意味する。各オクターブを通して、連続スケールスペースは、好ましい実施形態において、平面曲線をガウスフィルタと畳み込むことによって生成される。すると、曲線のスケールスペースは構成されるであろう。そして実際このスケールスペース全体は、各オクターブ間で、スケール間隔（Ｓｃａｌｅ  Ｇａｐ）が複数のオクターブ内のガウスフィルタリング（Ｇａｕｓｓｉａｎ  Ｆｉｌｔｅｒｉｎｇ）と好ましくは同一であるようにスケールの数が調整されるとき、連続スケールスペースを作成されることが可能である。ガウスフィルタは平面曲線に沿って適用されて、従って、標準偏差σを有する単一の生のフィルタである（曲線は実際には決められた始点及び単一のパラメータを有する１次元である）。原曲線（Ｏｒｉｇｉｎａｌ  Ｃｕｒｖｅ）は閉じた曲線であるため、始点はあらかじめ指定される必要がある。図２を参照して、第一列は各スケールに対する輪郭を表現し、最も下のものは原入力輪郭（Ｏｒｉｇｉｎａｌ  Ｉｎｐｕｔ  Ｏｕｔｌｉｎｅ）である。入力輪郭は複数のガウスフィルタと畳み込まれるため、より高い複数のスケールが取得され、第１のオクターブ（Ｆ）が生成される。第２のオクターブ（Ｓ）は、半分にダウンサンプリングされる初期輪郭を使用して再び生成され、このことは第２のオクターブ（Ｓ）の複数の輪郭においてより少しのノードしか存在しないことを意味する。第２のオクターブ（Ｓ）の複数のサブスケール（ｓｕｂ−ｓｃａｌｅ）は、ダウンサンプリングされた輪郭をさらに畳み込むことによって生成される。このスケールスペース生成は、以前のオクターブのダウンサンプリングされた輪郭を次のオクターブのための開始輪郭として使用して、必要に応じてさらなる複数のオクターブのために反復される。ダウンサンプリングの正しい配置及び複数のパラメータのフィルタリングを用いて、上述の通り、連続スケールスペースは生成される。
【００２２】
次のステップは、各オクターブにおける各スケールに対する閉じた曲線上の各ノードに対する曲率の円の計算であり（１０４）、当該ステップにおいて関数Ｋ（・）は、複数の曲率値の円を１Ｄ信号として決定するために使用される。Ｋ（・）は、所与の点（ノード）において曲線に接する円の半径の逆数を出力する関数である。この値は、そのような点における曲率の量を表すパラメータ又は値の例である。図２を参照して、第２の列は、各スケールに対する輪郭を、曲率の円（縦軸）−曲率パラメータ（横軸）グラフとして表す。この信号の形状は閉じた曲線上の始点に依存し、この理由により、全ての層（ｌａｙｅｒ）及びオクターブにおける各曲線に対して、同一の始点が使用され、なぜならばスプラインパラメータスペースにおけるその正確な位置は調整可能（例えば、それは０として選ばれる）であるからである。
【００２３】
スケールスペースの各オクターブに対して、初期曲線は、複数のガウシアン（Ｇａｕｓｓｉａｎ）と反復して畳み込まれて、左に示す複数のスケールスペース曲線の集合を生成する（図２）。各オクターブの後段で、曲線は半分にダウンサンプリングされて、処理は反復される。次いで、曲率関数Ｋ（・）を用いて、これらの曲線上の複数の曲率値は各オクターブにおける各レベルに対して計算される（図２の中央の列）。この方法によって、複数の曲率値（又は曲率の度合いを表す任意の他の量）の円のスケールスペースは取得される。
【００２４】
次いで、局所的な複数の極値が抽出されることとなる最後のスケールスペースは、ステップ（１０５）において、複数の曲率値レベルの差分を計算することによって構成される。複数の曲率グラフの隣接する円を減算することによって発見されるこの差分は、図２の第３の列上に見られるような、複数のグラフの第２の集合を形成するために使用される。２つのスケールから取得される各差分データ集合（又はグラフ）は、本明細書において群と呼ばれる。連続スケールスペースは、複数のスケールレベルが未だ、複数のオクターブ間で認められた複数の隣接レベルであることを意味する。輪郭の解像度が変化している、複数のオクターブ間における数学的変換は、自明である。
【００２５】
次のステップにおいて、各曲率差分値は、同一且つ隣接した複数の差分群に属する複数の曲率差分と比較される（１０６）。好ましい実施形態において、現在の差分群上の２つの近傍及び隣接した複数の群上の３つの最も近い（曲線パラメータ毎）ノードのみは、比較のために使用され、最小又は最大の曲率差分を有する複数のノードは、複数の特徴点として選択される。これらの特徴又は複数の特徴点の中で、所定のしきい値よりも互いに近い複数のノードは、好ましい構成において、さらなるステップ（１０８）において除去される。複数のノードが除去されることとなるか否かを決定するための複数のノード間の距離は、曲線に沿った距離であって、実際の２次元距離ではない。しきい値よりも互いに近い複数の特徴は、最後の特徴リストにおいて使用されないこととなる。このしきい値は、好ましい構成において、シルエット曲線全体の長さの１％として選択される。
【００２６】
検出される複数のキーポイントは曲線に沿ったノードの位置を示す１次元曲線パラメータを有し、スケール値は特徴ノードのスケールレベルを表し、そしてベクトルは所定の座標系に関する特徴ノードのオリエンテーションを表す。曲線パラメータは、好ましい構成において、０と１との間である。スケール値は、特徴がどの差分群に属するかを表す。好ましい構成において、第１のオクターブにおいて最初の２つのスケールを減算することによって発見される差分群は、１．００のスケール値を与えられ、第２のオクターブの最初の２つのスケールを使用して発見される差分群は、２．００のスケール値を与えられ、などである（図２の複数の差分グラフの隣に示される）。これらのスケールの間における他の複数の差分群は、それらの間で補間される複数の実数を与えられる。例えば、オクターブ毎に４つのスケール及び３つの差分群が存在する場合、第２のレベル及び第３のレベルに属する差分群は値１．２５を与えられ、第２のオクターブの最初のスケール及び第１のオクターブの最後のスケールの差分群は値１．７５が与えられる。キーポイントのオリエンテーションは、好ましい構成において、そのような点におけるスケーリングされた曲線（ｓｃａｌｅｄ  ｃｕｒｖｅ）の接線に直交する単位ベクトルの方向である。スケーリングされた曲線とは、原曲線（ｏｒｉｇｉｎａｌ  ｃｕｒｖｅ）それ自身ではなく、キーポイントのスケール値に対応するレベルにおけるガウススケールスペース内に存在する平滑化された曲線（ｓｍｏｏｔｈｅｄ  ｃｕｒｖｅ）を意味する。スケーリングされた曲線上のキーポイントの傾きを表す任意の２次元方向ベクトルは、オリエンテーションベクトルとして使用可能である。
【００２７】
キーポイントの周囲の記述子を使用すると、複数の認識タスクは、バッグオブフィーチャーズ（Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓ）に基づく方法を用いて実行可能である。しかしながら、画像のテクスチャの詳細度が低い場合（例えば、遠くからの船の赤外線（ＩＲ）画像）複数の記述子はほとんど使用できない。そのような理由により、複数のシルエットは通常これらの場合において好ましい。３つのパラメータを含むそのような複数の記述子を使用して、またステップ（１０１）から（１０７）までに従って輪郭に属する複数の特徴集合を抽出することで、異なる複数の形状に属する種々の輪郭を含むデータベースを生成することが可能であり、またそれらを比較又はマッチングすることが可能である。さらにまた、閉じた媒介変数輪郭曲線が受信される場合、その記述子をデータベースにおける全ての記述子と比較して、輪郭がどのような形状に属するかを決定することが可能である。さらなるステップ（１０９）において、記述子は、種々の輪郭に属する以前に記録された各記述子と比較されて、良好なマッチングを有する少なくとも１つの記述子が発見される。
【００２８】
曲線フィッティング方法に依存して曲線の始点は異なってもよく、従ってその方法はシルエットの回転のもとで変化する。しかしながら、この依存性は特別な表現によって操作される。ステップ（１０７）において、２次元（２Ｄ）画像は、全ての抽出されたキーポイントの全ての位置、スケール及びオリエンテーション値を使用して記述子として生成される。この（２Ｄ）画像において、中心点（Ｃ）は、複数のキーポイントの最も高い利用可能なスケール値を表現し、複数のスケール値は、当該中心点（Ｃ）が方向（Ｌ）の外部へ向けて移動すると簡単に減少する。全ての抽出された複数のキーポイントは記述子画像上の放射状の領域（ｒａｄｉａｌ  ｒｅｇｉｏｎ）に対応する。半径方向の線（ｒａｄｉａｌ  ｌｉｎｅ）から開始して、方向（Ｒ）の中心点（Ｃ）の周囲の回転は曲線パラメータを表現し、同一の位置において開始及び終了する。また、複数の特徴点は、それらのスケール値及び曲線パラメータにマッチする位置において、ドット（Ｄ）として配置される。また、特徴の複数のオリエンテーションを表現する複数の２次元ベクトルは、好ましい構成において、配置されるドット（Ｄ）の色を用いてエンコード（ｅｎｃｏｄｅｄ）される。さらに、連続的な色の輪（ｃｏｎｔｉｎｕｏｕｓ  ｃｏｌｏｒ  ｗｈｅｅｌ）に沿った特徴ノードの回転を有する色相変化であるステップ（１０９）における比較が後述のごとく簡単化されるように、複数の色が選択される。例えば、０度及び３６０度が赤色で表現されて、１２０度が純粋な緑色で表現されて、２４０度が純粋な青色で表現されて、そして中間の領域が線形的に補間される場合、連続的な色の輪が得られる。ここで、オリエンテーションベクトルを表現する複数の値は、複数の色である必要はなく、複数の値が最大値（我々の例に対しては３６０度）に到達した後の開始から反復している限り、任意の値は２次元配列を生成するために使用可能である。複数の色は、複数の記述子を人間が読めるようにするために使用され、これはまた、複数の記述子を通常の色づけされた複数の赤緑青（ＲＧＢ）画像ファイルとしてエンコードされるようにする（図３）。
【００２９】
ステップ（１０９）において、同一のサイズの複数の画像としてエンコードされた全ての特徴パラメータを用いて２つの記述子を比較する場合、それらは、複数の画像の中心（最も高いスケール数ポイント（ｈｉｇｈｅｓｔ  ｓｃａｌｅ  ｎｕｍｂｅｒ  ｐｏｉｎｔ））をマッチングさせて互いに重ねられて、複数のオリエンテーションコンポーネントが減算される。この比較は、他の画像上の各画像（ｅａｃｈ  ｉｍａｇｅ  ｏｎ  ｔｈｅ  ｏｔｈｅｒ）の全ての可能な回転に対して実行され、このことは輪郭に沿った複数の特徴点の可能な複数の位置を与えるであろう。さらに、１つの配列の複数のオリエンテーション値はまた、各位置において同一の量を有する全ての可能な値に対して変化され、異なる複数の特徴点オリエンテーションはまた考慮される。カラー画像の場合において、画像上の全ての値は同一の量だけ増加又は減少されるため、１つの画像の複数の色は、それらの相対的な複数のオリエンテーションを変更すること無く、複数の特徴点の可能な複数のオリエンテーションを与えることとなる選択される色の輪に従って変化される。比較に対する最小の差分を与える対は輪郭の最良のマッチングを与えることとなる。そのような複数の画像を生成するために必要とされる解像度が低いことを考慮すると、マッチング処理は、大きなデータベースにおいて輪郭を識別するためには十分に高速である。
【００３０】
ステップ（１０７）において、複数の記述子は中心からの半径方向の距離が抽出されるキーポイントのスケール値を表現する複数の半径方向の配列（ｒａｄｉａｌ  ａｒｒａｙ）として表現され、この中心の周囲の回転は輪郭曲線パラメータを表現し、そして各点における値は特徴オリエンテーションを表現すると言える。複数の記述子対は、全ての可能な相対的な特徴オリエンテーション値を用いて同一の中心の周囲の全ての可能な回転において比較され、これはオリエンテーション値が２つの異なる値において同一の特徴オリエンテーションを表現する方法において変化され、また１つの半径方向の配列を通して同一の量を増加され又は減少され、そして最高値又は最低値に到達すると繰り返す。これは複数の特徴の相対的な複数のオリエンテーションが循環する値と同一のままであることを確実にする。好ましい構成において、半径方向の配列は、２次元カラー画像上でエンコードされる。
【００３１】
従来技術の当業者は、媒介変数方程式が既知である輪郭の記述子を用いるこの方法（１００）を使用することは抽出されてスケール及びオリエンテーションの記述子不変量のリストと比較されることが可能であることを理解すべきである。入力輪郭は従って識別可能又はマッチング可能であり、あるいは、所与の輪郭は、方法（１００）を使用して異なる複数のオブジェクトの異なる複数の輪郭を表現する複数の記述子のデータベースにおいて探索可能である。さらに、このデータベースは、方法（１００）の複数のステップのうちのいくつか、すなわちステップ（１０１）から（１０８）までのうちのいくつかを使用して生成可能である（図３）。
【００３２】
画像輪郭（１）のスケール不変特徴を識別するシステムは基本的に以下を備える。すなわち本システムは基本的に、
複数の原ピクセル画像とともに、複数の輪郭記述子及びそれぞれの複数の輪郭を格納するように構成された、少なくとも１つの特徴及び画像データベース（２）と、
特徴及び画像データベース（１）に接続されるとともに、輪郭の媒介変数方程式を受信してこの曲線を入力として使用して画像輪郭のスケール不変特徴を識別する方法（１００）を実施するように構成された、少なくとも１つの処理ユニット（３）と、
を備える。
【００３３】
本発明の好ましい実施形態において、処理ユニット（３）は、平面輪郭の少なくとも１つの媒介変数方程式を受信するように構成される。画像処理分野の当業者は、このシステム（１）及び方法（１００）がピクセル画像の列に対して応用されて、複数の輪郭を有する複数のオブジェクトが継続的にモニターされることが可能であることを理解するべきである。本発明のシステム（１）のもう１つの実施形態において、処理ユニット（３）は、記録された又はライブビデオストリーム（ｌｉｖｅ  ｖｉｄｅｏ）のフレーム（ｆｒａｍｅ）からの少なくとも１つの画像を受信して、２次元ピクセル画像を前処理して平面閉媒介変数輪郭を取得する手段を有するように構成される。従って、処理ユニット（３）は、優先的には赤外線映像カメラであるカメラに接続可能に構成される（図１）。
【００３４】
輪郭の受信時に、処理ユニット（３）はその輪郭を使用して、ステップ（１０１）から（１０７）に従って上述のごとく記述子を抽出して、当該処理ユニット（３）は、特徴及び画像データベース（２）におけるこの輪郭、その記述子、及び（もし存在するならば）原画像（ｏｒｉｇｉｎａｌ  ｉｍａｇｅ）を格納するように構成される。さらなるステップ（１０９）が実行される場合、特徴及び画像データベース（２）におけるデータを使用することで、システム（１）は、入力輪郭を全ての記録された複数の輪郭と比較して良好なマッチングを有する少なくとも１つの結果を発見することが可能である。従来技術において周知であるように、複数の結果は、識別される輪郭及び／又は画像を示す任意のインタフェース装置に出力可能である。このシステム（１）は、複数の２Ｄ画像の複数の輪郭特徴を使用して当該複数の２Ｄ画像上の複数のオブジェクト又は形状を識別することを目的とする任意の装置に応用可能である。インタフェース装置は、任意のモニター、ディスプレイ、又はプリンターであることが可能であり、あるいは、複数の結果は任意の他の処理システムの入力として使用可能である。
【００３５】
結論として、オリエンテーション、スケール、及び解像度から独立した複数のシルエット画像外形特徴を抽出、表現、及びマッチングするための信頼性があり且つ効率的な方法は本発明のシステム（１）及び方法（１００）を用いて取得される。
【００３６】
これらの基本的な概念の範囲内において、本発明の「画像輪郭のスケール不変特徴を識別するシステム及び方法」（１），（１００）の幅広い種々の実施形態を展開することが可能である。本発明は、明細書で説明される例に限定されることはできず、本質的に特許請求の範囲に従う。
【００３７】
図面において示される複数の構成要素は個々に符号が振られ、ここで、複数の符号は以下を参照する。
【符号の説明】
【００３８】
１．複数の画像輪郭の複数のスケール不変特徴を識別するシステム
２．特徴及び画像データベース
３．処理ユニット
Ｃ．中心点
Ｄ．ドット
Ｆ．第１のオクターブ
Ｌ．スケールレベル方向
Ｓ．第２のオクターブ
Ｒ．曲線パラメータ方向
１００．複数の画像輪郭の複数のスケール不変特徴を識別する方法
【図１】
2015511736.tif 000003
【図２】
2015511736.tif 000004
【図３】
2015511736.tif 000005
【図４】
2015511736.tif 000006
【手続補正書】
【提出日】平成26年9月1日(2014.9.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
閉じた平面曲線の媒介変数方程式を受信するステップ（１０１）と、
等しい複数の間隔を有する前記閉じた平面曲線上の複数のノードを選択するステップ（１０２）と、
前記平面曲線をガウスフィルタと逐次的に畳み込むことによって前記曲線上の前記複数のノードの連続スケールスペースを生成して、各オクターブの後段で前記平面曲線をダウンサンプリングするステップ（１０３）と、
各オクターブにおける各スケールに対する前記閉じた曲線上の各ノードに対して、そのような点における曲率の量を表現する値を計算するステップ（１０４）と、
複数の隣接スケール間の複数の曲率差分を発見して複数の曲率差分群を形成するステップ（１０５）と、
各曲率差分値を前記同一且つ隣接した複数の群に属する複数の曲率差分と比較して、最小又は最大の曲率差分を有する前記複数のノードを複数の特徴点として選択するステップ（１０６）と、
複数の半径方向の配列として記述子を用いて輪郭を表現して、中心からの半径方向の距離は複数の差分群のスケール値を表現し、当該中心の周囲での回転は輪郭曲線パラメータを表現し、そして各点における前記値は特徴オリエンテーションを表現し、前記半径方向の配列は２次元カラー画像上でエンコードされ、前記特徴の複数のオリエンテーションを表現する複数の２次元ベクトルは、位置づけられた点の色を用いてエンコードされるステップ（１０７）と、
の複数のステップによって特徴付けられる画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項２】
入力画像から二値画像を生成してオブジェクトの境界上の曲線をフィッティングする画像前処理演算は、ステップ（１０１）の前に実施される、
ことを特徴とする請求項１記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項３】
ステップ（１０３）において、前記平面曲線は半分にダウンサンプリングされる、
ことを特徴とする請求項１又は２記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項４】
ステップ（１０３）において、連続スケールスペースは、各オクターブを通して前記平面曲線をガウスフィルタと畳み込むことによって生成される、
ことを特徴とする請求項１〜３記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項５】
ステップ（１０４）において、所与のノードにおける前記曲線に接する円の半径の逆数を出力する関数は、曲率を計算するために使用される、
ことを特徴とする請求項１〜４記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項６】
ステップ（１０６）において、前記現在の差分群上の２つの近傍と、前記隣接した複数の群上の３つの最も近接したノードとは、比較のために使用される、
ことを特徴とする請求項１〜５記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項７】
前記輪郭に沿って所定のしきい値よりも互いに近接した複数の特徴点を除去するステップ（１０８）、
を特徴とする請求項１〜６記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項８】
ステップ（１０８）において、前記しきい値は、シルエット輪郭長全体の所定の割合として選択される、
ことを特徴とする請求項７記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項９】
記述子を、種々の輪郭に属する前もって記録された各記述子と比較して、良好なマッチングを有する少なくとも１つの記述子を発見するステップ（１０９）、
を特徴とする請求項１〜８記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１０】
ステップ（１０９）において、複数の記述子対は、同一の中心の周囲での複数の半径方向の配列の全ての可能な回転において前記差分を発見することによって、比較される、
ことを特徴とする請求項１記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１１】
ステップ（１０９）において、前記複数の記述子の複数のオリエンテーション値のうちの１つは、複数の半径方向の配列の少なくとも１つの相対的回転に対して循環的に変化される、
ことを特徴とする請求項１０記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１２】
ステップ（１０９）において、比較時に最小の差分を与える対は、最良のマッチングを与えることとなる、
ことを特徴とする請求項１〜１１記載の画像輪郭のスケール不変特徴を識別する方法（１００）。
【請求項１３】
請求項１〜１２のうちのいずれか一項記載のステップ（１０１）から（１０８）によって決定される複数の輪郭記述子及びそれぞれの複数の輪郭を、複数の原ピクセル画像とともに格納するように構成された、少なくとも１つの特徴及び画像データベース（２）と、
特徴及び画像データベース（１）に接続されるとともに、輪郭の媒介変数方程式を受信して、当該輪郭を入力として使用して請求項１〜１２のうちのいずれか一項記載の画像輪郭のスケール不変特徴を識別する前記方法（１００）を実施するように構成された、少なくとも１つの処理ユニット（３）と、
によって特徴付けられる、画像輪郭（１）のスケール不変特徴を識別するシステム。
【国際調査報告】
2015511736.tif 000007
2015511736.tif 000008