(57)【要約】【課題】画像内に含まれる物体形状を照合する際に、膨大な演算量を必要とすることなく対応する特徴量を適切に検出することによって画像の照合を行う。【解決手段】画像照合システムとして、照合対象である二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、導出した１ないし複数の特徴位置差異の値に基づいて、二つの特徴点群の比較処理に用いる特徴点の対応付けを実施して照合処理を行う補整照合手段とを設ける。【選択図】図１
2014112347.tif 000002
【特許請求の範囲】
【請求項１】
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段と、
を含み成ることを特徴とする画像照合システム。
【請求項２】
照合対象である二つの特徴点群について空間配置を含む２種類以上の特徴量を取得もしくは個々の前記特徴点群から識別すると共に、前記特徴点群の一方又は両方を優先する空間配置に関する特徴量以外の低優先特徴量が採り得る範囲全体に連続且つ離散的に変換した照合候補群を生成処理する低優先特徴量仮補整手段を更に含み、
前記特徴点配置差異検出手段は、前記照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
前記特徴位置差異推定手段は、前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、全ての前記照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出し、
前記補整照合手段は、前記導出した１ないし複数の特徴位置差異の値に基づいて、特徴点の対応付けを実施して照合処理を行う
ことを特徴とする請求項１に記載の画像照合システム。
【請求項３】
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
前記照合候補毎の特徴位置差異の値を比較することにより、全ての前記照合候補群に亘って 高い度数を有していた１ないし複数の照合候補を抽出すると共に、該抽出した１ないし複数の照合候補について導出済みの特徴位置差異の値を参照して、抽出された照合候補と対比相手にする特徴点群とに含まれた所定類似度を満たした特徴点のみを収集することによって、推定類似ペア群を導出し、
前記補整照合手段は、前記推定類似ペア群を含めて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする請求項２に記載の画像照合システム。
【請求項４】
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
更に、前記照合候補毎の特徴位置差異の値を踏まえた尤もらしい前記低優先特徴量毎の差異の値を前記照合候補毎に対応させて導出し、
前記補整照合手段は、前記導出した特徴位置差異の値および低優先特徴量毎の差異の値に基づいて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする請求項３に記載の画像照合システム。
【請求項５】
前記優先する空間配置に関する特徴量として、空間座標系での特徴点の座標位置を用いることを特徴とする請求項２ないし４の何れか一項に記載の画像照合システム。
【請求項６】
前記低優先特徴量として、特徴点の周辺の輪郭によって定義される方位、および複数の特徴点の座標位置によって定義される縮尺のうち、いずれか又は両方、或いはいずれか又は両方を利用することによって定義される物理量を用いる
ことを特徴とする請求項２ないし５の何れか一項に記載の画像照合システム。
【請求項７】
前記特徴位置差異推定手段は、特徴点配置位置の顕著な差異を示す値として、前記特徴点配置差異検出手段によって算出された差異の値の度数を用いることを特徴とする請求項１ないし６の何れか一項に記載の画像照合システム。
【請求項８】
前記特徴位置差異推定手段は、特徴点配置位置の顕著な差異を示す値として、前記特徴点配置差異検出手段によって算出された差異の値の度数に重み付けを加えた値を用いることを特徴とする請求項１ないし６の何れか一項に記載の画像照合システム。
【請求項９】
前記特徴位置差異推定手段は、顕著な差異として、度数分布の最上位度数分布域を使用することを特徴とする請求項７又は８に記載の画像照合システム。
【請求項１０】
前記特徴位置差異推定手段は、顕著な差異として、度数分布の上位から所定数の度数分布域、度数分布の下位を除く閾値、顕著な差異の最小数／最大数の値の何れか又は組合せを使用することを特徴とする請求項７又は８に記載の画像照合システム。
【請求項１１】
前記補整照合手段は、前記二つの特徴点群の比較処理として、少なくとも、導出された１ないし複数の特徴位置差異の値を、個々に用いて特徴点の対応付けを図った二つの特徴点群を用いることを特徴とする請求項１ないし１０の何れか一項に記載の画像照合システム。
【請求項１２】
前記特徴位置差異推定手段は、分布の区分範囲の範囲値を異ならせた複数の度数分布で表現したデータ構造を用いて、前記差異の度数分布を生成すると共に、複数の異なる区分範囲で表した前記データ構造から前記顕著な差異を示す１ないし複数の値を導出することを特徴とする請求項１ないし１１の何れか一項に記載の画像照合システム。
【請求項１３】
前記特徴点群の空間配置は、前記物体または形状に関する輪郭に沿う輪郭座標、または、ユークリッド座標系、または、極座標系、または、輪郭線上における接線或いは法線のなす方位、或いはそれらのうち一つまたは複数の組み合わせによって定義されることを特徴とする請求項１ないし１２の何れか一項に記載の画像照合システム。
【請求項１４】
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別処理して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出処理し、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状を照合処理する
ことを特徴とする情報処理システムによる画像照合方法。
【請求項１５】
情報処理システムを、
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段、
として動作させることを特徴とする画像照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報に含まれる物体または形状の認識や検索などを行うためのシステムに関し、特に、物体または形状の照合を、対応する特徴量を適切に検出して実施するシステムに関する。
【背景技術】
【０００２】
近年、デジタルカメラを始めとするデジタル映像機器の急速な普及に伴い、撮影された画像や映像のなかに、どのような物体が含まれているのかを認識する一般物体認識（ｇｅｎｅｒｉｃ  ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ）への期待が高まっている。一般物体認識は、制約の無い実世界シーンの画像の中に含まれる物体を一般的な名称（ｃａｔｅｇｏｒｙ  ｎａｍｅｓ）で認識する技術である。一般物体認識は、画像認識研究の最も困難な課題の一つとされている。一般物体認識技術は様々な用途に応用できる。例えば、データベース内等に分類されずに格納されている画像データの適切な分類や、必要な画像データの検索、さらには動画像の中からの所望のシーンの抽出や、所望のシーンだけを切り取っての再編集等、に応用できる。
【０００３】
画像から物体を認識する技術として、例えば顔認識や指紋認識等、様々な認識技術がこれまでに開発されてきた。しかし、これらはすべて、特定の制約下で撮影された画像を認識する技術であり、特定用途に限定されていた。ある一つの対象に特化した認識技術は、別の用途に利用しようとした際に、途端に認識率が下がる等の問題が指摘されており、一般的な物体のパターン認識を行う技術開発が期待されている。
【０００４】
一般物体の認識を行う為には、認識対象となる画像の特徴量を抽出し、抽出した特徴量と比較対象とする画像の特徴量とを比較処理して、画像の照合処理を行う。この比較処理には、特徴点と特徴点との対応を取る必要がある。すなわち、照合する二つの画像内のどの特徴量とどの特徴量を比較するかを決める必要がある。
【０００５】
昨今、特徴量の対応を取るために、大別すると、特徴点を用いる二つの方法が採用されている。第一の方法は、二つの特徴点群の考えうる全ての組み合わせを比較照合して、最適な特徴点の組み合わせを照合結果から選択する方法である。第二の方法は、基準となる特徴点を前もって与えた拘束条件によって抽出し、その基準となる特徴点の位置に基づいて全体を座標変換することで全ての特徴点の対応を取る方法である。
【０００６】
まず、特徴量の対応を取る第一の方法を、非特許文献１の例を用いて説明する。本文献では、形状特徴を表現するために、形状輪郭上における曲率がゼロとなる変曲点の位置を特徴点として用いる。さらに、本手法での特徴点である変曲点の対応を取るために、動的計画法を用いることによって、変曲点の順番が前後しないという緩い拘束条件下で、すべての組み合わせでの照合処理を実施する。本手法によれば、変曲点の位置が特徴を表現する形状に関して、精度よく対応点を求めることが可能である。しかしながら、輪郭が途中で切れている場合や、変曲点の数が異なる場合には、照合を行う組み合わせの数が爆発的に増大する。この組み合わせの数は、一切制約を与えない場合、特徴点の数に対して指数関数的に演算量が増大する。したがって、適切な拘束条件を与えることで、照合を行う組み合わせを前もって減らす必要がある。
【０００７】
次に、特徴量の対応を取る第二の方法を、非特許文献２の例を用いて説明する。本文献では、形状特徴を表現するために、形状輪郭を段階的に平滑化し、それぞれの段階での輪郭の変曲点を特徴点として抽出することで、平滑化の段階を縦軸に、輪郭の位置を横軸に取るＣＳＳ（Ｃｕｒｖａｔｕｒｅ  Ｓｃａｌｅ  Ｓｐａｃｅ）という特徴空間を採用している。ＣＳＳを用いて照合を行う際には、輪郭位置を示す横軸の基準点を合わせることで、特徴点である変曲点の対応を取る必要がある。このため、本手法では、平滑化の段階を示す縦軸の値が最も大きな変曲点を基準とする拘束条件を定めている。これにより、基準点が定められ変曲点の数が異なる場合であっても、ＣＳＳ上において最も近い変曲点を、対応点として探し出すことが可能である。しかしながら、基準となる点が誤って選択された場合（縦軸の値が類似する複数の変曲点がある場合）には適切な対応点を見出すことができない。また、輪郭が途中で切れている場合には、別の拘束条件が必要となる。
【０００８】
以上のように、特徴量の対応を取るためには、基本的にはあらゆる組み合わせの対応を比較する必要が求められる。他方で、この組み合わせの数を減じるため拘束条件を与えるという方法は、適切な組み合わせを拘束条件が誤って取り除いてしまうリスクを生じさせる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】上田 修功  鈴木 智  多重スケールの凹凸構造を用いた変形図形のマッチングアルゴリズム  電子情報通信学会論文誌 D ＶＯＬ．Ｊ７３−Ｄ２  Ｎｏ．７  ｐｐ．９９２−１０００
【非特許文献２】Ｆａｒｚｉｎ  Ｍｏｋｈｔａｒｉａｎ，  Ｓａｄｅｇｈ  Ａｂｂａｓｉ，ａｎｄ  Ｊｏｓｅｆ Ｋｉｔｔｌｅｒ. Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ｒｏｂｕｓｔ Ｒｅｔｒｉｅｖａｌ ｂｙ Ｓｈａｐｅ Ｃｏｎｔｅｎｔ ｔｈｒｏｕｇｈ Ｃｕｒｖａｔｕｒｅ Ｓｃａｌｅ Ｓｐａｃｅ. Ｉｎ Ｐｒｏｃ. Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｉｍａｇｅ Ｄａｔａｂａｓｅｓ ａｎｄ ＭｕｌｔｉＭｅｄｉａ Ｓｅａｒｃｈ, ｐａｇｅｓ ３５―４２, Ａｍｓｔｅｒｄａｍ, Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ, １９９６.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般物体の認識を行う為には、認識対象となる画像の特徴量を抽出し、抽出した特徴量と比較対象とする画像の特徴量とを比較処理して、画像の照合処理を行う。この比較処理には、特徴点と特徴点の対応を取る必要がある。すなわち、照合する二つの画像内のどの特徴量とどの特徴量を比較するかを決める必要がある。  
しかしながら、特徴量の対応を取るためには、基本的にはあらゆる組み合わせの対応を比較する必要がある。この結果、照合処理に膨大な計算を必要とする場合がある。一方、計算時間を短縮するために、この組み合わせの数を減じるための拘束条件を与えるという方法は、適切な組み合わせを拘束条件が誤って取り除いてしまうリスクを生じさせる。
【００１１】
本発明の目的は、画像内に含まれる物体又は形状を特徴量を用いて照合する際に、膨大な演算量を必要とすることなく、対比する特徴量を適切に導出して、照合処理を可能とする画像照合システム、その方法、およびプログラムを提供することにある。
【００１２】
また、本発明の目的は、特徴量を用いた一般物体認識を、低演算量で可能とする画像照合システム、その方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る画像照合システムは、照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段と、を含み成ることを特徴とする。
【００１４】
本発明に係る情報処理システムによる画像照合方法は、照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別処理して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出処理し、前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状を照合処理することを特徴とする。
【００１５】
本発明に係る画像照合プログラムは、情報処理システムを、照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段、として動作させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像内に含まれる物体又は形状を特徴量を用いて照合する際に、膨大な演算量を必要とすることなく、対比する特徴量を適切に導出して、照合処理を可能とする画像照合システム、その方法、およびプログラムを提供できる。
【００１７】
また、本発明は、特徴量を用いた一般物体認識を、低演算量で可能とする画像認識システムを提供できる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態における画像照合システムの構成図である。
【図２】第１の実施形態で照合する入力画像の一例を示す説明図である。
【図３】入力画像の輪郭の一例を示す説明図である。
【図４】入力画像の多重解像度輪郭の一例を示す説明図である。
【図５】図４に示した多重解像度輪郭に対して抽出した特徴点群例を示す説明図である。
【図６】入力画像のCSSの一例を示す説明図である。
【図７】照合に付する特徴点群の一例を示す説明図である。
【図８】照合に付する特徴点群のＣＳＳの一例を示す説明図である。
【図９】照合に付する特徴点群相互が有した度数分布のデータ構造を可視的に示した説明図である。
【図１０】照合に付する特徴点群相互が有した度数分布のデータ構造を可視的に示した別の説明図である。
【図１１】第１の実施形態における画像照合システムの動作の一例を示すフローチャートである。
【図１２】第２の実施形態における画像照合システムの構成図である。
【図１３】第２の実施形態で照合する入力画像の一例を示す説明図である。
【図１４】図１３に示した入力画像に対して抽出した特徴点群例を示す説明図である。
【図１５】低優先特徴量差異仮補整部１１１によって仮補整された照合候補形状例を示す説明図である。
【図１６】照合候補を含む特徴点群相互が有した度数分布のデータ構造を可視的に示した説明図である。
【図１７】第２の実施形態における画像照合システムの動作の一例を示すフローチャートである。
【図１８】第３の実施形態における画像照合システムの構成図である。
【図１９】第３の実施形態における画像照合システムの動作の一例を示すフローチャートである。
【図２０】照合する２画像に含まれ得る推定類似特徴点群の取得概念を示した説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る実施形態について説明する。
【００２０】
情報処理システムで画像内に含まれる一般物体の認識処理は、認識対象となる画像から得た特徴量と比較対象とする特徴量と比較処理して、画像の照合及び認識を行う。この比較処理には、特徴点と特徴点の対応を取る必要がある。しかし、特徴量の対応を取るために、あらゆる組み合わせの対応を比較することは、計算量（計算時間）が膨大になる問題がある。一方、計算量を減じるため拘束条件を与えることも、一般物体認識であることや、適切な組み合わせを誤って取り除いてしまうことなどを考えると好ましくない。
【００２１】
こうした現状を踏まえて、発明者は以下のように画像照合を行うシステムを提案する。
本システムの処理動作は、四つのステップで示すことができる。  
第一のステップでは、照合する二つの特徴点群を識別する。照合対象である二つの画像または物体形状からそれぞれ特徴量を抽出すればよい。また、一方の特徴点群として予め記憶した照合データベースを用いてもよい。  
第二のステップでは、第一のステップにおいて識別した両特徴点群に対して、一方の特徴量群に含まれる個々の特徴点と他方の特徴点群に含まれる個々の特徴点との空間差異を全て算出する。  
第三のステップでは、第二のステップにおいて算出した差異の値について度数分布を求め、この度数分布を参照して、二つの特徴点群が有していた顕著な差異の値を導出する。
【００２２】
第四のステップでは、第三のステップにおいて導出した差異の値を推定値として使用して対応する特徴量を決定し、照合処理を実施する。
【００２３】
以上の四つのステップを実施することにより、膨大な計算量を必要とすることなく、良好な精度で照合処理を行うことが可能となる。また、この照合結果を用いた一般物体認識や、特定対象認証を行える。
【００２４】
本照合処理は、演算処理量を特徴量の二乗のオーダーに抑えると共に、良好な確度を得られる。
【００２５】
特徴点を抽出する処理では、特徴量の抽出に、画像または画像内に含まれる物体または形状の輪郭 或いは 輝度の変化するエッジに由来する曲率または曲率の変化点 または 曲率が特定の値を取る点を用いることができる。  
また、特徴点群の空間配置は、物体または形状に関する輪郭に沿う輪郭座標、または、ユークリッド座標系、または、極座標系、または、輪郭線上における接線或いは法線のなす方位、或いはそれらのうち一つまたは複数の組み合わせによって定義できる。  
例えば、照合に用いる特徴点は、物体または形状に関する輪郭上のユークリッド曲率がゼロになる点を用いればよい。また、特徴点群として多重解像度輪郭上のユークリッド曲率がゼロになる点を用いてもよい。
【００２６】
以下、上記それぞれのステップを行なう画像照合システムについて、実施形態を用いて説明する。
【００２７】
本発明の第１の実施形態を図１から図１１を参照して説明する。
【００２８】
［第１の実施形態］  
本実施形態を採用することにより、画像内に含まれる一般物体を照合する際に、膨大な演算量を必要としない画像照合システムを提供できる。
【００２９】
［構成の説明］  
図１は、第１の実施形態の画像照合システムの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
【００３０】
画像照合システムは、情報処理の全体を管理する制御部１０と、メモリ２０と、照合対象とする複数の画像データを取得する画像情報取得部１０１、取得した画像データから特徴点を抽出する特徴点抽出部１０２、受け付けた二つの特徴点群間の個々の特徴点の空間パラメータに関する差異を検出する特徴点配置差異検出部１０３、検出した多くの特徴点空間について差異の度数分布を求めて、特徴位置の配置上の顕著な差異の値を導出する特徴位置差異推定部１０４と、照合する二つの特徴点群について導出した顕著な差異の値を利用して特徴点の対応を取りつつ特徴量を比較照合する補整照合部１０５、照合した結果を出力する照合結果出力部１０６、取得した画像データなどを記憶する画像情報記憶部２０１、照合する二つの特徴点群（抽出された特徴点群）を記憶する特徴点情報記憶部２０２を含み構成されている。
【００３１】
制御部１０は、画像識別処理に関連する情報処理の全体動作を管理する。
【００３２】
画像情報取得部１０１は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部２０１に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、以下の処理を補助するために、フィルタリング処理などの前処理を施したうえで取得してもよい。本実施形態では、二つの画像を受け付けて同一若しくは類似するか照合する。画像情報取得部１０１によって取得される画像情報の例を図２（ａ）及び（ｂ）に例示する。
【００３３】
特徴点抽出部１０２は、画像情報取得部１０１によって取得された二つの画像の特徴点群をそれぞれ抽出処理して、特徴点情報記憶部２０２に記録する。二つの画像から抽出する特徴点の種類はどのような種類であっても構わないが、同一の特徴点の種類で抽出処理することが望ましい。ここで抽出された二つの特徴点群を照合部が受け付けて、照合処理に付する。
【００３４】
ここでは、形状輪郭を段階的に平滑化し、それぞれの段階での輪郭の変曲点を抽出するＣＳＳ（Ｃｕｒｖａｔｕｒｅ  Ｓｃａｌｅ  Ｓｐａｃｅ）を利用して特徴点を抽出する一手法を説明する。ＣＳＳを使って特徴点を抽出する手法は三つのステップからなる。  
特徴点を抽出するための第一のステップでは、画像情報記憶部２０１から画像情報取得部１０１によって取得された画像情報を読み出して、その画像情報の輪郭情報のみを抽出処理する。本ステップによって抽出される輪郭情報の一例を図３（ａ）及び（ｂ）に示す。本ステップは、画像情報取得部１０１によって取得された画像情報から、例えば、色相・彩度・明度などが急激に変化する点を、ラプラシアン・ガウシアンフィルタなどを用いて抽出処理する。抽出されたそれぞれの輪郭（輪郭点）は、直交座標系を用いて （x,y） などとして表現される。輪郭抽出の方法は、当然、上記のものに限らない。  
第二のステップでは、第一のステップによって抽出された輪郭に対して、例えば、複数解像度のガウシアンフィルタによる畳み込みなどを利用して、多重解像度輪郭情報を生成処理する。本処理は、上記ガウシアンフィルタには限らず、上記の効果の何れかまたは両方が実現する方法であればどのような手法を採用することも可能である。例えば、ガウシアンフィルタ以外のフィルタを用いて、解像度の異なるフィルタによる畳み込みを採用することも可能であるし、フーリエ変換を行って特定の周波数のみを抽出したうえで、逆フーリエ変換を行うことも可能である。また、フーリエ記述子を採用することも可能である。ガウシアンフィルタによる畳み込みを利用して生成した多重解像度輪郭情報の一例を図４に示す。図４に一部を抜粋して示したように、多重解像度輪郭情報は、多数の階層を有するデータ構造を有する。  
第三のステップでは、第二のステップによって生成されたそれぞれの解像度の輪郭に対して、特徴点を抽出処理する。ここで用いる特徴点は、輪郭の特徴となる量であれば いかなる量を用いても構わないが、輪郭を大まかなセグメントとして分解できる大まかな特徴と、分解されたそれぞれのセグメントを詳細に記述できる詳細な特徴との二種類の特徴点、または、その二種類の特徴を兼ね備えた一種類の特徴点を用いることが望ましい。例えば、輪郭の詳細な特徴点として、下記の式（１）に示すユークリッド曲率を用い、大まかな特徴点として、ユークリッド曲率がゼロになる点（変曲点）を用いる。ユークリッド曲率は、下記の式（１）においてK(t)で示される量であり、輪郭上における任意の一点を始点として輪郭を一周するように取る輪郭座標 t 、および、輪郭を直交座標系（x,y座標系）で表現した際の、x,y の tについての一階微分値、二階微分値によって定義される。
【数１】
2014112347.tif 000003
【００３５】
特徴点としてユークリッド曲率情報だけでは十分でない場合は、輪郭点の位置関係情報や、法線の方位角や、孤長などを特徴点として加えることを行っても構わない。特徴点を抽出した画像の一例として、図４で示した多重解像度輪郭に変曲点情報を特徴点として付加した例を図５に示す。加えて、以上の手法によって抽出された特徴点群を、ＣＳＳ特徴空間にプロットした例を図６に示す。図６に示しているＣＳＳは、横軸を特徴点の分布する輪郭座標上の位置t、縦軸を解像度σとした分布図である。本図では、多重解像度輪郭の各解像度が有している特徴点群について 対応する輪郭座標位置に積層されたように描写される。換言すれば、積層度合いが高く見える輪郭座標は、各スケール（各解像度）に共通的に存在する特徴量が抽出されたことを示している。すなわち、山のように見える部分の輪郭座標域が多重解像度画像の有していた特徴域と云える。また、各特徴域相互の比較により、顕著な特徴域（より大きな山に見える部分や山の勾配が安定している部分）を識別できる。図６（ａ）に示した図では、３つの顕著な特徴域があり、最大の顕著な特徴域は概ね座標0.7〜0.9にある。また、この特徴域の両端部分は、多重解像度画像の有していた特徴点の集合である。換言すれば、この端部分の輪郭座標は多重解像度画像の有している顕著な特徴が現れる空間配置（座標域）を示している。このように、積層度合いを利用することで、異なる解像度に分布した対応する特徴点の輪郭座標位置がより明確に発見及び識別できる。
【００３６】
特徴点抽出部１０２は、以上の特徴点抽出処理を、照合する二つの画像それぞれに実施して、照合する１つ若しくは２つの特徴点群を抽出する。
【００３７】
特徴点配置差異検出部１０３は、特徴点情報記憶部２０２から二つの特徴点群を読み出して識別し、全ての特徴点の組合せ（特徴点ペア）を求める。次に、特徴点配置差異検出部１０３は、全ての特徴点の組合せについて個々に空間上の差異を算出する。  
例えば、図７（ａ）及び（ｂ）に示した二つの画像（これらを画像Ａ、画像Ｂとする）の特徴点群（PA1,PA2,・・・,PAi・・・、PB1,PB2,・・・,PBj,・・・）に含まれる特定の特徴点（例えばPA1）について、他方の画像から検出された全ての特徴点群（PB1,PB2,・・・,PBj,・・・）との組合せを全て求め、その組合せ全ての空間上の差異を算出処理する。加えて、残りの特徴点群（PA2,・・・）についても他方の特徴点群（PB1,PB2,・・・,PBj,・・・）との組合せを求めて、空間上の差異を全て算出処理する。なお、図８（ａ）及び（ｂ）は、画像Ａ及び画像Ｂから描写されたそれぞれのＣＳＳである。
【００３８】
空間配置に関するパラメータを輪郭座標で定義すると、特徴点空間配置差異は、以下の式（２）が示す輪郭座標差異dtijによって定義できる。式（２）におけるｔ（Ｐ）とは、任意の特徴点Ｐに関する輪郭座標を示す。以下の式に基づいて全ての特徴点ペアに対して輪郭座標差異を算出する。 
【数２】
2014112347.tif 000004
【００３９】
特徴点空間配置差異は、上記輪郭座標差異に限らず、空間に由来する如何なるパラメータを用いても構わない。例えば、x,y座標に関するxとyの空間差異を、二次元ベクトルで表現することも可能である。また、輪郭上の点であれば、輪郭の方位（接線方向、或いは法線方向）を利用することも可能である。
【００４０】
輪郭座標の代わりに輪郭の方位を用いる場合は、特徴点空間配置差異は、例えば以下の式（３）で導出することが可能である。 
【数３】
2014112347.tif 000005
【００４１】
ただし、θ（Ｐ）は、特徴点Ｐに関する輪郭の方位（接線方向）を示し、dθijは、点PAi(i=1,2,・・・)と点PBj(j=1,2,・・・)におけるそれぞれの輪郭の方位の差異を示す。
このように、輪郭の方位を空間配置に関するパラメータとして定義することによって、輪郭が途中で切れており輪郭座標の全長が変化してしまうような場合にも、安定して対応する特徴点を導出可能にできる。輪郭の方位を用いる場合は、上記輪郭座標の扱いを、原点の方位との差に変換することで、輪郭座標の変わりに用いれる。
【００４２】
特徴位置差異推定部１０４は、算出した全ての特徴点の組合せの各差異について度数分布を求める。特徴位置差異推定部１０４は、求めた差異の度数分布に基づいて、比較する二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異の値を１つ若しくは複数の値を導出する。この顕著な差異は、度数分布のデータ構造から求めればどのような手法を採用することも可能である。他方で、演算処理量の観点から少ない演算量で顕著な差異を求めることが望ましい。なお、度数分布データは、どのようなデータ構造を採用しても構わない。
【００４３】
以下で、幾つかの顕著な差異の導出手法を説明する。
【００４４】
まず、度数分布のデータ構造化処理を例示する。度数分布は、例えば、上述した式（２）で算出した各dtij（輪郭座標差異）を用いて、輪郭座標（ｔ）を適切な数で分割して空間的な度数分布のデータ構造を得る。  
度数分布をデータ構造化は、式（４）で表現される関数で行える。  
【数４】
2014112347.tif 000006
【００４５】
特徴位置差異推定部１０４は、上記式（４）に示す関数を用いることにより、図９に可視的に示した度数分布を識別できる。
【００４６】
ここで、dtmin，dtmaxは、輪郭座標を適切な数で分割した際（図示した図９では１０分割）の横軸の一つの区分の値の下端と上端を示す。すなわち、横軸が、特徴点配置差異検出部１０３よって検出された差異集合の値を表し、縦軸が、検出された差異が、該当区分範囲内に含まれる数を示す。輪郭座標を分割する適切な数は、演算量を考慮して定めればよく、特徴点ペアの数量から求めても良いし、所定値を採用してもよい。
【００４７】
図示したこの例のように、特徴点配置差異検出部１０３によって検出された差異が一次元データであれば、横軸を特徴点配置差異検出部１０３において定義した空間パラメータを用いればよい。また、縦軸の大きさを、各区分範囲に属した差異dtijの最大加算値（範囲に含まれた特徴点ペア数）を用いればよい。ここで、差異が多次元であれば、横軸を多次元として表現することも可能である。この場合、度数分布のデータ構造として、多次元マトリクスを用いればよい。
【００４８】
また、度数分布の縦軸は、各差異dtijが、区分範囲内に含まれる特徴点ペア数で定義するだけでなく、重みを付けて演算することも可能である。すなわち、式（５）のように表現することも可能である。 
【数５】
2014112347.tif 000007
【００４９】
ここでのwijは、各特徴点PAi(i=1,2,・・・)と差異を求めた各特徴点PBj(j=1,2,・・・)とが対応する特徴点である確からしさを表現する係数を用いる。また、複数の係数を合わせて用いても良い。例えば、wijは、特徴点を変曲点とすると、その変曲点の極性（凹凸の凹であるか凸であるか）や、隣接する特徴点との距離や周辺の輪郭の曲率などの類似度合いを表せば重み付け係数として定義できる。また、多重解像度情報であれば、ある解像度での特徴点数の逆数またはそれに相当する量を利用することも可能である。これは、多重解像度情報では、ある解像度における特徴点が少ない階層のほうが、特徴点が多い解像度の階層よりも、対応する確からしさが大きいことに着目している。
【００５０】
上述した度数分布についての確度向上には、区分範囲を狭くすることで対応できる。他方、区分範囲を狭くすることにより、演算量が増加する。  
そこで、分布の区分範囲の範囲値を異ならせた複数の度数分布で表現したデータ構造を用いて演算量の削減を図れば良い。
【００５１】
例えば、度数分布のデータ構造を、図１０に可視的に示すように、二つの度数分布で表現することで分解能を上げずに確度の向上が図れる。このデータ構造では、横軸の区分範囲の値を範囲値の半分ずつスライドさせた二つの差異の度数分布に関するデータである。この二つの度数分布を一セットのデータ構造として使用する。この二つの度数分布を用いることで、分割点付近に誤差が集中していたとしても、確からしさを適切に評価できる。このことで、各区分範囲を狭くした（分割数を多くした）データ構造と同等の確度を担保する。  
無論、横軸の分割数や分割点が適切であれば、一つの誤差空間のみで表現しても良いし、より信頼度を高めるために度数分布数をより複数設定して、より多くの度数分布を一体的に用いることも可能である。
【００５２】
次に、度数分布のデータ構造から、二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異の値を導出する処理動作を幾つか例示する。  
特徴位置差異推定部１０４は、顕著な差異として、度数分布のデータ構造から、確からしさが最大の横軸の値（最大度数を示した分布範囲）を、照合対象である２つの特徴点群の配置差異の推定値として検出する。ここでの推定値の値は、顕著な差異として、度数分布の最上位度数分布域を使用できる。より具体的には、度数分布の横軸の値（図９の例では0.45、図１０の例では0.525（(0.65-0.4)/2+0.4））をそのまま用いてもよいし、検出された横軸の値に集積されたそれぞれの差異の値の平均値を用いてもよい。この平均値は、重み付けられた平均値であってもよい。
【００５３】
また、顕著な差異として、度数分布の最上位度数分布域と共に、その最上位度数分布域に対して所定比率を有する分布域を加えても良い。このように、複数の顕著な差異を求めるようにすれば、特徴位置差異推定部１０４は、複数のピークを有する度数分布にも対応できる。同様に、度数分布の下位を除く閾値を用いたり、上位から所定数を用いたり、顕著な差異として抽出する最小数や最大数の設定値を参照したり、これらを適宜組み合わせて用いれば良い。
【００５４】
このように、特徴位置差異推定部１０４は、算出した特徴点ペアの各差異について度数分布を求めて、度数分布に基づいて二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する。
【００５５】
補整照合部１０５は、特徴位置差異推定部１０４から特徴点配置位置の顕著な差異を示す１ないし複数の値を受け付けて、その値を各特徴点に反映させて、二つの特徴点群の比較に用いる特徴点の対応付けを実施する。この顕著な差異の値を反映することによって、照合することに適正な特徴点群を導出できる。すなわち、適切であろう補整特徴点群を得られる。その後、補整照合部１０５は、照合対象とする二つの物体に対して、対応付けた特徴点のそれぞれを比較処理し、物体の照合を実施する。
【００５６】
ここでの対応付け処理の方法は、推定された１ないし複数の値を用いて一方の画像の各特徴点の座標位置を変換した後、他方の画像の最も近い特徴点を対応点とする方法を用いれる。また、両特徴点群を共に顕著な差異の値の半値ずつ寄せる処理を行っても良い。これは、特徴量の種類に応じて確度の向上につながる。顕著な差異の値が複数ある場合に、補整照合部１０５は、導出された複数の特徴位置差異の値を、個々に用いて特徴点の対応付けを図れば良い。
【００５７】
また、この複数の顕著な差異の値から尤度がより高い値を選定しても良い。  
例えば、照合する二つの特徴点群に関する２つのＣＳＳを比較して得た値を用いることができる。一例では、多重解像度情報を特徴点群として用いた際に、補整照合部１０５は、特徴位置差異推定部１０４から導出された複数の特徴位置差異の値内に、照合する二つの特徴点群のＣＳＳに現れる同等な顕著な特徴域の差異の値があれば、その値を優先させて特徴点の対応付けを図る処理を実施してもよい。この処理によって、分布度数から導出された複数の値から、より確からしい値を抽出できる。例えば、図８（ａ）及び（ｂ）に示したＣＳＳを提示できるデータ構造から、同程度の高さや幅を有する特徴域相互の（図８（ａ）の0.7から0.9）と図８（ｂ）の0.2から0.4）座標空間上の差異の値を算出して、特徴位置差異推定部１０４から導出された複数の値と比較する。所定の閾値内であれば、より確からしい値として以後の比較処理に用いる。なお、特徴域の値として用いる値は、特徴域の中心値や、特徴域を成す各特徴点の値の平均値、頂上を成す値（最上位階層の値）を用いることができる。
【００５８】
また、特徴域を成すＣＳＳ上での片端ごとに含まれている値（図８（ａ）の0.7や0.9の値）を用いることによって、より確度が得られうる。この値は、特徴域を成す特徴点群の積層度合いが高い値（安定的な値）を抽出すればよい。換言すれば、特徴域の方端を成している特徴点群が平均的に有する値を抽出すればよい。例えば、中心値より高いか低いかで分別した後に、安定的な値の平均を採用すればよい。この値は、多重構造を有する特徴点群に存在する安定した特徴を抽出している。
【００５９】
照合対象（比較対象）は、ユーザに指定された二つの画像について比較でき、また、一般的な画像認識用データベースを参照して得ることもでき、照合対象は特に限定しない。データベースと比較照合すれば、入力画像について画像照合に後に識別対象の種別を認識することも可能である。
【００６０】
照合結果出力部１０６は、補整照合部１０５によって行われた照合結果を記録装置やモニタに出力する。照合結果は、予め準備された分類を用いて識別対象が属する分類を表示したり、タグ化して画像に埋め込んだり、類似画像間で紐付けたりすることが可能である。
【００６１】
［動作の説明］  
次に、第１の実施形態の画像照合システムの動作例について説明する。図１１は、本実施形態の動作の例を示すフローチャートである。
【００６２】
まず、画像情報取得部１０１は、ユーザが指定した二つの比較対象画像データを取得して画像情報記憶部２０１に記録する（Ｓ１００１）。画像情報の取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。また、比較対象をデータベースから得る際には、一つの画像情報のみを取得する。
【００６３】
次に、特徴点抽出部１０２は、画像情報取得手段１０１によって取得された比較する二つの画像における特徴点をそれぞれ抽出処理する（Ｓ１００２）。
【００６４】
次に、特徴点配置差異検出部１０３は、特徴点抽出部１０２によって検出された特徴点群に含まれていた それぞれの特徴点の全ての組合せ（特徴点ペア）について、空間に関するパラメータの差異をそれぞれ検出する（Ｓ１００３）。
【００６５】
次に、特徴位置差異推定部１０４は、検出した多くの配置差異から差異の度数分布（図９や図１０に例示したような空間的なヒストグラム）のデータを生成する。特徴位置差異推定部１０４は、生成した度数分布のデータを参照して、尤もらしい差異の値を、１若しくは複数選択して抽出する（Ｓ１００４）。尤もらしい差異の値を１つとする際には、度数分布の最大域の値（ヒストグラムの該当横軸値）を用いればよい。尤もらしい差異の値を複数とする際には、度数分布に現れている特徴から複数の値を抽出すればよい。
【００６６】
次に、補整照合部１０５は、抽出された１ないし複数の差異の値を使用して比較する特徴点群の一方若しくは両方を補整し、補整した特徴点群（導出された適するだろう対応点）を用いて、ユーザから指定された画像情報の照合を実施する（Ｓ１００５）。照合結果は、物体照合結果出力部１０６によって適宜出力すればよい。
【００６７】
このように画像照合システムを動作させることによって、画像から一般物体認識等を可能にする低演算量の照合を行える。また、照合処理の所望する精度を達し得る。
【００６８】
次に、本発明を実施するための第２の実施形態について、図面を参照して詳細に説明する。
【００６９】
［第２の実施形態］  
本実施形態では、第１の実施形態とは異なり、参照できる特徴量の種類が複数ある場合を想定している。こうした場合、第２の実施形態では、特徴量の種類に優先順位をつけ、最も優先されるべき特徴量の誤差を他の種類の特徴量を照合処理に組み込むことによって最小とする補整照合を実施する。このため、第２の実施形態は、照合部内に、低優先特徴量差異仮補整部１１１を更に設けた点が、第１の実施形態とは異なる。このほか、いくつかの要素は第１の実施形態とは異なる機能を有す。  
本実施形態を採用することにより、画像内に含まれる一般物体を照合する際、参照できる特徴量の種類が複数ある場合に、膨大な演算量を必要としない確度を高めた画像照合システムを提供できる。
【００７０】
［構成の説明］  
図１２は、第２の実施形態の画像照合システムの構成を示すブロック図である。なお、第１の実施形態と同様な構成については、説明を簡略化又は省略する。
【００７１】
本実施形態は、参照できる特徴量の種類が複数ある場合に、特徴量の種類に優先順位をつけて扱う。この場合、最も優先されるべき特徴量は空間差異を表すパラメータであればいかなるものであっても構わない。例えば、参照すべき特徴量が幾何的なパラメータであった場合には、最も優先されるべき特徴量として、輪郭上のサンプル点の座標位置（以後、位置と記載）を用いることができる。何故なら、その他の幾何パラメータである輪郭の法線方向の方位（以後、方位と記載）や、画像の縮尺に関しては、位置が異なっていても適合する場合があるが、位置が異なる場合は、方位や縮尺は容易に適合しないからである。このため、本実施形態では、輪郭点の位置を高優先特徴量として採用し、低優先特徴量の例として方位・縮尺を用いて説明を行う。
【００７２】
画像情報取得部１０１は、第１の実施形態と同様に、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部２０１に記憶する。画像情報取得部１０１によって取得される画像情報の例を図１３（ａ）及び（ｂ）に例示する。ここで、画像（ａ）はデータベースに蓄積されている教師データであり、画像（ｂ）は照合対象データとする。
【００７３】
特徴点抽出部１０２は、第１の実施形態と同様に、画像情報取得部１０１によって取得された二つの画像の特徴点群をそれぞれ抽出処理して、特徴点情報記憶部２０２に記録する。図１４（ａ）、（ｂ）は、画像（ａ）、画像（ｂ）について抽出処理された多重解像度輪郭の特徴点群を示している。また、それぞれの特徴点群から複数の特徴量を求めて特徴点情報記憶部２０２に記録する。なお、教師データを蓄積するデータベースに、予め教師データに関する各特徴点位置や種特徴量を記憶するようにして、その値を取得する形態としてもよい。  
上記特徴量の種類は、空間差異が現れた１種類の特徴量を含めばどのような種類の組み合わせであっても構わない。ここでは、例として、物体輪郭上の特徴点の位置（以後、位置と記載）と、輪郭の法線方向の方位（以後、方位と記載）と、特徴点の間隔によって定義される縮尺（以後、縮尺と記載）の、三種類の特徴量を用いるものとする。無論、更に多くの種類の特徴量を用いることも可能である。
【００７４】
照合部に設けられた低優先特徴量差異仮補整部１１１は、特徴点情報記憶部２０２から一方の特徴点群を読み出して、低優先特徴量の採り得る範囲全体に対して、仮補整処理を実施して照合候補群を生成する。なお、比較する両方の特徴点群に仮補整処理を実施する形態としてもよい。  
仮補整処理では、連続且つ離散的に特徴点群もしくは輪郭を変換した照合候補群を生成処理する。  
本実施形態のように教師データを用いる場合、教師データが他方の照会用画像の特徴点群に含まれている可能性を考慮して、教師データの特徴点群について低優先度の特徴量パラメータを種類毎に補整変更することで、照合候補を多数生成する。他方の照会用画像が教師データの特徴点群に含まれている可能性を考慮する際には、照会用画像の特徴点群について低優先度の特徴量パラメータを種類毎に補整変更してもよいし、後述するように縮尺変更で対応してもよい。
【００７５】
ここでは、例として、方位と縮尺が低優先特徴量として選択されているので、方位と縮尺について採り得る範囲内で仮補整する。この仮補整は、考えうるすべての方位と縮尺に対し、離散的に連続性を持った照合候補群を生成することが望ましい。  
例えば、方位は０（ｒａｄ）から２π（ｒａｄ）のいずれかの差異を取るので、方位の差異ｄθは、近似的に、０（ｒａｄ）から２π（ｒａｄ）までをＮ分割した以下の式（６）のいずれかのｉによって表現される値となる。  
【数６】
2014112347.tif 000008
【００７６】
同様に、画像（ａ）と比較しての画像（ｂ）の縮尺は、画像（ｂ）が画像（ａ）を含み成ることを仮定すると、画像（ｂ）は、画像（ａ）の０倍から１倍のいずれかの縮尺を取ることになる。すなわち、画像（ａ）と比較して画像（ｂ）の縮尺をｐ倍であると仮定する場合、ｐは、近似的に、０から１までをM分割した以下の式（７）のいずれかのｊによって表現される値となる。  
【数７】
2014112347.tif 000009
【００７７】
もちろん、画像（ｂ）が画像（ａ）の一部のみを含み成ることも想定される。この場合には、画像（ｂ）は、画像（ａ）の０倍から１倍のいずれかではなく、画像（ａ）が画像（ｂ）の０倍から１倍のいずれかである場合として、同様にして考慮することが可能である。  
したがって、低優先特徴量差異仮補整部１１１は、仮補整する特徴点群を全ての（ｉ，ｊ）のペアを満たすようにＮ×Ｍ通りの仮補整を実行する。
【００７８】
ある（ｉ，ｊ）ペアに対する輪郭点位置（ｘ，ｙ）の仮補整値（ｘ’，ｙ’）は、以下の式（８）によって取得できる。
【数８】
2014112347.tif 000010
【００７９】
低優先特徴量差異仮補整部１１１によって仮補整された形状の例を、図１５に示す。図１５は、それぞれの１枠中に、それぞれ仮補整された図１３（ａ）、（ｂ）で示した画像に当たる照合候補データを示している。各々の枠は、縦並びに角度、横並びに縮尺を異ならせた補整パラメータをそれぞれの画像データに加えている。この例は、仮補整処理による連続且つ離散的に変換された照合候補群を、方位を１２分割（上述のi=12）して縦に並べ、縮尺を６分割（上述のj=6）して横に並べて可視的に示している。  
なお、仮補整は上記したように照合画像の一方のみに実施するのみでも構わない。
【００８０】
次に、特徴点配置差異検出部１０３は、上記のように照合画像の両方を仮補整した場合、低優先特徴量差異仮補整部１１１によって同一の変更パラメータで仮補整された特徴点群（ｉ，ｊペアに関するそれぞれの画像を現す特徴点群：図１５に例示した１枠内に描かれた形状に対応した特徴点群ペア）に関して、全ての特徴点の組合せ（特徴点ペア）を求める。また、仮補整されたｉ，ｊペア全てに同様の処理を繰り返す。換言すれば、仮補整した照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せを求める。また、照合画像の一方のみを仮補整した場合も同様に、低優先特徴量差異仮補整部１１１によって仮補整された照合候補各々に含まれる特徴点と 対比相手にする特徴点群（照合画像の残りの一方）に含まれる特徴点と の全ての組合せを求める。  
本処理を実施する際、それぞれの特徴点ペアに対して順番付け或いは重み付けを実施することで、この後の処理を低減することができる。例えば、特徴点ペアに対して、それぞれの特徴点の持つ特徴量の類似性が、最も近いものから遠いものまでに１番から順にならべ、あらかじめ定めた閾値以内の順番の特徴点ペアのみを用いることで、類似性が低い特徴点に関して、処理を省くことが可能である。  
次に、特徴点配置差異検出部１０３は、照合候補毎の全ての特徴点の組合せについて、高優先特徴量に関する個々に空間上の差異を算出する。即ち、一方又は両方が仮補整されている相互の対比画像データに関して、全ての特徴点の組合せ個々の空間配置に関する差異を仮補整候補毎に検出する。
【００８１】
次に、特徴位置差異推定部１０４は、特徴点配置差異検出部１０３で検出した高優先特徴量の差異に関して、第１の実施形態と同様に度数分布を求めて高優先特徴量の尤もらしい差異を推定処理する。上記例では、高優先特徴量として輪郭座標の位置を採用するので、それぞれの（ｉ，ｊ）ペア毎に画像（ａ）と画像（ｂ）の位置ずれ量を推定する。このため、それぞれの（ｉ，ｊ）ペア毎に度数分布を求めると共に、全ての照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出する。
【００８２】
上記第１の実施形態では、２次元の度数分布データを生成した例を示している。他方で、使用する高優先特徴量に即して、３次元の度数分布を用いてもよい。３次元度数分布を用いた特徴量差異の推定処理を以下に例示する。図１６に示した例では、度数を濃淡として、横軸をｘ軸方向の位置ずれとし、縦軸をｙ軸方向の位置ずれとする３次元の度数分布図を記載している。高優先特徴量として、仮補整した両画像データの特徴点群が各解像度階層で有しているＸ-Ｙ座標軸上の配置位置を空間差異として用いる。  
なお、３次元度数分布を用いる際にも、差異の値の度数に重み付けを加えたり、照合処理に採用する個々の度数分布での域数や下限閾値を設定したり、全体として採用する最小数や最大数の値を設定可能とすることが望ましい。  
また、区分範囲の範囲値を異ならせた複数の３次元度数分布で表現したデータ構造を用いて、複数の異なる区分範囲で表したデータ構造から個々の差異の値を導出してもよい。
例示している画像（ｂ）には、画像（ａ）が含まれているものの同一解像度の輪郭を比較した際には全体として異なる輪郭として認識される。他方で、両画像間の多数の特徴点間の関係を度数分布で取得することにより、部分一致箇所に関連する特徴点間の関係が度数分布に少なからずとも強調的に現われる。この為、二つの特徴点群が有している顕著な差異とする値の候補として導出できる。
【００８３】
次に、補整照合部１０５は、導出された１ないし複数の値に基づいて、特徴点の対応付けを実施した後に、照合処理を行う。特徴点の対応付けは、仮補整された照合候補を踏まえて、第１の実施形態と同様に行えばよい。
【００８４】
[動作の説明]  
図１７は、第２の実施形態の画像照合システムの動作例を示すフローチャートである。
【００８５】
まず、画像情報取得部１０１は、ユーザが指定した二つの比較対象画像データを取得して画像情報記憶部２０１に記録する（Ｓ１００１）。
【００８６】
次に、特徴点抽出部１０２は、画像情報取得手段１０１によって取得された比較する二つの画像における特徴点をそれぞれ抽出処理する（Ｓ１００２）。この際に、空間配置を含む２種類以上の特徴量を取得可能に準備する。
【００８７】
次に、低優先特徴量差異仮補整部１１１は、特徴点情報記憶部２０２から特徴点群と特徴量を読み出して、一方又は両方の特徴点群について低優先特徴量に対する仮補整処理により照合候補群を生成する（Ｓ１１０１）。
【００８８】
次に、特徴点配置差異検出部１０３は、照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せ（特徴点ペア）を求め、高優先特徴量（空間に関するパラメータ）の差異をそれぞれ検出する（Ｓ１００３）。
【００８９】
次に、特徴位置差異推定部１０４は、照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求め、全ての照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出する（Ｓ１００４）。
【００９０】
次に、補整照合部１０５は、抽出された１ないし複数の差異の値を使用して比較する特徴点群を補整し、照合処理を実施する（Ｓ１００５）。照合結果は、物体照合結果出力部１０６によって適宜出力すればよい。
【００９１】
このように画像照合システムを動作させることによって、画像から一般物体認識等を可能にする低演算量の照合を行える。加えて複数の特徴量を踏まえた照合する特徴点ペアを導出でき、照合処理の所望する精度を達し得る。例えば、照合処理過程で画像間の一致／不一致と共に一方の画像が他方に含まれていることを判別し得ることとなる。
【００９２】
次に、本発明を実施するための第３の実施形態について、図面を参照して詳細に説明する。
【００９３】
［第３の実施形態］  
本実施形態では、第２の実施形態と同様に、参照できる特徴量の種類が複数ある場合を想定している。第３の実施形態では、補整照合に関して、優先順位を有する複数の特徴量を用いて、優先された特徴量に関して特徴点群の補整誤差を低減する。また、加えて、優先された特徴量以外の特徴量に関して特徴点群の補整値を推定して、より良い補整値を導出する。このために、第３の実施形態は、照合部内に、低優先度特徴量差異仮補整部１１１を有すると共に、特徴位置差異推定部１０４の処理動作を変更した点が第２の実施形態とは異なる。このほか、いくつかの要素は第１及び第２の実施形態とは異なる機能を有す。  
本実施形態を採用することにより、画像内に含まれる一般物体を照合する際、参照できる特徴量の種類が複数ある場合に、膨大な演算量を必要としない確度をより高めた画像照合システムを提供できる。
【００９４】
［構成の説明］  
図１８は、第３の実施形態の画像照合システムの構成を示すブロック図である。本実施形態の画像照合システムは、特徴位置差異推定手段として、高優先度特徴量差異推定部１１２と、対応点推定部１１３と、低優先度特徴量差異推定部１１４を新たに設ける。なお、第２の実施形態と同様な構成について説明を簡略化又は省略する。
【００９５】
本実施形態は、第２の実施形態と同様に、参照できる特徴量の種類が複数ある場合に、特徴量の種類に優先順位をつけて扱う。本実施形態では、第２の実施形態と同様に、輪郭点の位置を高優先特徴量として採用し、低優先特徴量の例として方位・縮尺を用いて説明を行う。
【００９６】
画像情報取得部１０１及び特徴点抽出部１０２は、第２の実施形態と同様に動作する。本実施形態でも例として図１３及び図１４に示した画像情報及び多重輪郭特徴を説明に用いる。
【００９７】
低優先特徴量差異仮補整部１１１は、第２の実施形態と同様に、照合対象の一方又は両方について、低優先特徴量の採り得る範囲全体に対して、仮補整処理を実施して照合候補群を生成する。  
特徴点配置差異検出部１０３も第２の実施形態と同様に、仮補整された照合候補群ごとに、全ての特徴点の組合せ（特徴点ペア）を求め、照合候補毎に照合対象の空間上の差異を算出する。  
本実施形態でも例として図１５に示した連続且つ離散的な照合候補群を説明に用いる。
【００９８】
次に、高優先特徴量差異推定部１１２は、特徴点配置差異検出部１０３で検出した高優先特徴量にあたる空間上の差異に関して、高優先特徴量の尤もらしい差異の値を照合候補毎に推定する。このため、高優先特徴量差異推定部１１２は、照合候補毎に第１の実施形態と同様の度数分布を求める処理を実施して、高優先特徴量の尤もらしい差異を示す値を照合候補毎に導出する。ここでは、高優先特徴量として輪郭の座標位置を採用するので、それぞれの（ｉ，ｊ）ペアに対し、画像（ａ）と画像（ｂ）の位置ずれ量を推定する。このため、それぞれの（ｉ，ｊ）ペア毎に度数分布を求めると共に、個々の照合候補に関して度数が高い差異の値を導出する。
【００９９】
画像（ａ）と画像（ｂ）の位置ずれ量（高優先特徴量差異の値）の推定処理例を、二つのステップで説明する。  
第一のステップでは、高優先特徴量差異推定部１１２は各度数分布のデータを生成する。即ち、低優先特徴量に関して仮補整が実施された後の画像（ａ）と画像（ｂ）の座標位置ずれに対し、画像（ａ）と画像（ｂ）の任意の特徴点ペアから、全ての（ｉ，ｊ）ペアについて個々に度数分布を生成する。度数分布は、第１の実施形態における特徴位置差異推定部１０４と同様の処理により、対比する全ての特徴点間の差異を求めて生成すればよい。  
第二のステップでは、各々の高優先特徴量差異の値を推定する。個々の度数分布データにおいて、度数が最大となる位置ずれ（ｄｘ0，ｄｙ0）を選択し、次に選択した（ｄｘ0，ｄｙ0）に対応する全ての特徴点ペアｋに関する位置ずれ（ｄｘ（ｋ），ｄｙ（ｋ））を識別して、その平均値となる（ｄｘ＊，ｄｙ＊）を各々の高優先特徴量差異の値として算出する。本処理は、具体的には、以下の（９）式によって実施できる。  
【数９】
2014112347.tif 000011
【０１００】
次に、対応点推定部１１３は、高優先度特徴量差異推定部１１２で求められた夫々の度数分布の高優先特徴量差異の値を比較して最大の値を有していた（ｉ，ｊ）ペアの照合候補を選択する。なお、この選択では、上位の値を有していた任意数の照合候補を選択してもよい。この選択によって、対応点推定部１１３は、全ての照合候補群に亘って 高い度数を有していた１ないし複数の照合候補を抽出する。  
次に対応点推定部１１３は、抽出した照合候補の特徴位置差異（ｄｘ0，ｄｙ0）に対応する全ての特徴点ペアｋのうち、特徴点間の類似度が、前もって定められた閾値以上になる推定対応点をすべて選択することで推定類似ペア群を導出する。なお、複数の照合候補を抽出した際には、照合候補毎に推定類似ペア群を導出することが望ましい。  
この特徴点の類似度は、利用した低優先特徴量と高優先特徴量のうち何れか、または幾つかの特徴量の組み合わせを用いて類似性を判別すればよい。また、その他、特徴点の特徴量によって定義できる類似性を用いてもよい。例えば、座標の概ね一致や輪郭上での方位の概ね一致、ＣＳＳ上での安定度などを参照すればよい。  
１ないし複数の推定類似ペア群は、補整照合部１０５で照合処理に用いられる。
【０１０１】
低優先特徴量差異推定部１１４は、照合候補毎に求められている尤もらしい特徴位置差異の値を利用して、低優先特徴量毎に尤もらしい差異の値を推定する。例えば、低優先特徴量差異推定部１１４は、高優先特徴量差異推定部１１２における第二のステップと同等の方法で、低優先特徴量の差異を推定すればよい。具体的例とすれば、以下の（１０）式及び（１１）式によって、方位の差異と縮尺の差異を、それぞれ導出できる。  
【数１０】
2014112347.tif 000012
【数１１】
2014112347.tif 000013
【０１０２】
なお、低優先特徴量差異推定部１１４にかかる処理動作は必ずしも実施する必要はない。他方で、本処理を実施することで、低優先度特徴量差異補整部１１１で照合候補を離散的に取得した間部分の低特徴量を補整し得る。
【０１０３】
補整照合部１０５は、導出した特徴位置差異の値および低優先特徴量毎の差異の値に基づいて、特徴点の対応付けを実施して照合処理を実施する。また、補整照合部１０５は、１ないし複数の推定類似ペア群を含めて、照合処理を実施する。この推定類似ペア群を用いることによって、図１３に示したような類似部分を有する比較画像の照合処理過程で画像間の一致／不一致と共に一方の画像が他方に含まれていることを低演算量で判別し得ることとなる。
【０１０４】
[動作の説明]  
図１９は、第３の実施形態の画像照合システムの動作例を示すフローチャートである。本実施形態の動作は第２の実施形態のＳ１００３までの動作と同様である。
【０１０５】
まず、画像情報取得部１０１及び特徴点抽出部１０２は、ユーザが指定した二つの比較対象画像データを取得して（Ｓ１００１）、特徴点と特徴量をそれぞれ準備する（Ｓ１００２）。
【０１０６】
次に、低優先特徴量差異仮補整部１１１及び特徴点配置差異検出部１０３は、照合候補群を生成し（Ｓ１１０１）、照合候補毎に、特徴点ペアを求めて高優先特徴量の差異をそれぞれ検出する（Ｓ１００３）。
【０１０７】
次に、高優先特徴量差異推定部１１２は、照合候補毎に、検出した多くの配置差異から差異の度数分布のデータを生成する。次に、高優先特徴量差異推定部１１２は、照合候補毎に、高優先特徴量の尤もらしい差異を示す値を照合候補毎に導出する（Ｓ１１０２）。
【０１０８】
次に、対応点推定部１１３は、高優先度特徴量差異推定部１１２で求められた夫々の度数分布の高優先特徴量差異の値を比較して、尤もらしい差異とした値の照合候補を選択し、尤もらしい差異とした値に対応する全ての特徴点ペアｋのうち、特徴点間の類似度が前もって定められた閾値以上になる特徴点群を推定類似ペア群として全て選択する（Ｓ１１０３）。
【０１０９】
次に、低優先特徴量差異推定部１１４は、照合候補毎に求められている尤もらしい特徴位置差異の値を利用して、それぞれの低優先特徴量の差異量を推定する（Ｓ１１０４）。なお、低優先特徴量に関する差異の値も必要に応じて複数選定してもよい。
【０１１０】
次に、補整照合部１０５は、抽出された各優先度の１ないし複数の差異の値の何れか又は優先度を踏まえた組み合わせを使用して比較する特徴点群を補整し、照合処理を実施する（Ｓ１００５）。この照合処理の際に、１ないし複数の推定類似ペア群を含めて、照合処理を実施する。照合結果は、物体照合結果出力部１０６によって適宜出力すればよい。
【０１１１】
このように画像照合システムを動作させることによって、画像から一般物体認識等を可能にする低演算量の照合を行える。加えて複数の特徴量を踏まえた照合する特徴点ペアの導出でき、照合処理の所望する精度を達し得る。例えば、照合処理過程で画像間の一致／不一致と共に一方の画像が他方に含まれていることを判別し得ることとなる。
【０１１２】
ここで、推定類似ペア群の生成にかかる処理の概念を説明する。  
図２０に示すように、推定類似ペア群を生成するにあたり、照合する２つの画像の一方又は両方の特徴を低優先特徴量で補整し、補整した２画像を度数分布を用いて高優先特徴量で補整する。この両補整により元２画像に含まれていた形状特徴の同等箇所が識別可能になる。この同等箇所を特徴量種別を踏まえた類似性を総合的に識別することで、情報処理システムが画像間に存在した類似部分のみを特徴点群として抽出可能となる。即ち、照合処理に高い利用性を具備した推定類似ペア群を取得できる。
【０１１３】
なお、画像照合システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアで実現する形態では各部の全て又は一部をＬＳＩ上に構築すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭに画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ）等のハードウェアを動作させることによって、各部を各種手段として機能させる。また、このプログラムは、記録媒体に固定的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【０１１４】
画像照合システムは、コンピュータやサーバ単体に構築できる。また、クラウドシステムやモバイル端末として構築してもよい。また、クラウドシステムと情報処理端末とをネットワークを介して組み合わせて、クラウド上で補整照合を行う画像照合システムを構築してもよい。
【０１１５】
上記実施形態を別の表現で説明すれば、画像照合システムとして動作させる情報処理システムを、画像照合プログラムに基づき、画像情報取得手段、特徴点抽出手段、特徴点配置差異検出手段、特徴位置差異推定手段、補整照合手段、照合結果出力手段など、として動作させることで実現できる。また、画像照合プログラムは、情報処理システムを、低優先特徴量差異仮補整手段として動作させると共に、特徴位置差異推定手段を、高優先特徴量差異推定手段、対応点推定手段、及び低優先特徴量差異推定手段として動作させてもよい。なお、特徴点抽出手段は、輪郭情報抽出手段、多重解像度情報生成手段、特徴抽出手段で構築できる。
【０１１６】
以上説明したように、本発明によれば、画像内に含まれる物体又は形状を特徴量を用いて照合する際に、膨大な演算量を必要とすることなく、対比する特徴量を適切に導出して、照合処理を提供できる。
【０１１７】
また、本発明は、特徴量を用いた一般物体認識を、低演算量で可能とする画像認識システムを提供できる。
【０１１８】
また、本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替えなどの、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【０１１９】
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。  
［付記１］
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段と、
を含み成ることを特徴とする画像照合システム。
【０１２０】
［付記２］
照合対象である二つの特徴点群について空間配置を含む２種類以上の特徴量を取得もしくは個々の前記特徴点群から識別すると共に、前記特徴点群の一方又は両方を優先する空間配置に関する特徴量以外の低優先特徴量が採り得る範囲全体に連続且つ離散的に変換した照合候補群を生成処理する低優先特徴量仮補整手段を更に含み、
前記特徴点配置差異検出手段は、前記照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
前記特徴位置差異推定手段は、前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、全ての前記照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出し、
前記補整照合手段は、前記導出した１ないし複数の特徴位置差異の値に基づいて、特徴点の対応付けを実施して照合処理を行う
ことを特徴とする上記付記記載の画像照合システム。
【０１２１】
［付記３］
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
前記照合候補毎の特徴位置差異の値を比較することにより、全ての前記照合候補群に亘って 高い度数を有していた１ないし複数の照合候補を抽出すると共に、該抽出した１ないし複数の照合候補について導出済みの特徴位置差異の値を参照して、抽出された照合候補と対比相手にする特徴点群とに含まれた所定類似度を満たした特徴点のみを収集することによって、推定類似ペア群を導出し、
前記補整照合手段は、前記推定類似ペア群を含めて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする上記付記記載の画像照合システム。
【０１２２】
［付記４］
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
更に、前記照合候補毎の特徴位置差異の値を踏まえた尤もらしい前記低優先特徴量毎の差異の値を前記照合候補毎に対応させて導出し、
前記補整照合手段は、前記導出した特徴位置差異の値および低優先特徴量毎の差異の値に基づいて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする上記付記記載の画像照合システム。
【０１２３】
［付記５］
前記特徴位置差異推定手段は、特徴点配置位置の顕著な差異を示す値として、前記特徴点配置差異検出手段によって算出された差異の値の度数を用いることを特徴とする上記付記記載の画像照合システム。
【０１２４】
［付記６］
前記特徴位置差異推定手段は、特徴点配置位置の顕著な差異を示す値として、前記特徴点配置差異検出手段によって算出された差異の値の度数に重み付けを加えた値を用いることを特徴とする上記付記記載の画像照合システム。
【０１２５】
［付記７］
前記特徴位置差異推定手段は、顕著な差異として、度数分布の最上位度数分布域を使用することを特徴とする上記付記記載の画像照合システム。
【０１２６】
［付記８］
前記特徴位置差異推定手段は、顕著な差異として、度数分布の最上位度数分布域と共に、該最上位度数分布域に対して所定比率の大きさを有する分布域とを使用することを特徴とする上記付記記載の画像照合システム。
【０１２７】
［付記９］
前記特徴位置差異推定手段は、顕著な差異として、度数分布の上位から所定数の度数分布域、度数分布の下位を除く閾値、顕著な差異の最小数／最大数の値の何れか又は組合せを使用することを特徴とする上記付記記載の画像照合システム。
【０１２８】
［付記１０］
前記補整照合手段は、前記二つの特徴点群の比較処理として、導出された１ないし複数の特徴位置差異の値を、個々に用いて特徴点の対応付けを図った二つの特徴点群を用いることを特徴とする上記付記記載の画像照合システム。
【０１２９】
［付記１１］
前記特徴位置差異推定手段は、分布の区分範囲の範囲値を異ならせた複数の度数分布で表現したデータ構造を用いて、前記差異の度数分布を生成すると共に、複数の異なる区分範囲で表した前記データ構造から前記顕著な差異を示す１ないし複数の値を導出することを特徴とする上記付記記載の画像照合システム。
【０１３０】
［付記１２］
前記特徴点群は、多重解像度情報として解像度ごとに階層化された特徴点の集合であり、
前記補整照合手段は、前記二つの特徴点群の比較として、照合する二つの多重解像度情報から各々導出した空間配置上の同等な顕著な特徴域を比較して得た値を参照して、受け付けた１ないし複数の顕著な差異を示す値内から尤度がより高い値を選定して特徴点の対応付けを図った二つの特徴点群を用いる
ことを特徴とする上記付記記載の画像照合システム。
【０１３１】
［付記１３］
前記特徴点群は、多重解像度情報として解像度ごとに階層化された特徴点の集合であり、
前記補整照合手段は、前記二つの特徴点群の比較として、導出された１ないし複数の特徴位置差異の値内に、照合する二つの多重解像度情報の各ＣＳＳに現れる同等な顕著な特徴域の片端又は両端を成している特徴点群が平均的に有する空間配置上の差異の値があれば、該値を優先的に用いて特徴点の対応付けを図った二つの特徴点群を用いる
ことを特徴とする上記付記記載の画像照合システム。
【０１３２】
［付記１４］
照合に用いる特徴点群は、前記物体または形状に関する輪郭上のユークリッド曲率がゼロになる点を用いることを特徴とする上記付記記載の画像照合システム。
【０１３３】
［付記１５］
照合処理に用いる特徴点群は、前記物体または形状に関する多重解像度輪郭上のユークリッド曲率がゼロになる点を用いることを特徴とする上記付記記載の画像照合システム。
【０１３４】
［付記１６］
前記特徴点群の空間配置は、前記物体または形状に関する輪郭に沿う輪郭座標、または、ユークリッド座標系、または、極座標系、または、輪郭線上における接線或いは法線のなす方位、或いはそれらのうち一つまたは複数の組み合わせによって定義されることを特徴とする上記付記記載の画像照合システム。
【０１３５】
［付記１７］
クラウド環境上に、照合手段となる、前記特徴点配置差異検出手段、前記特徴位置差異推定手段、若しくは前記補整照合手段の少なくとも一つが構築されていることを特徴とする上記付記記載の画像照合システム。
【０１３６】
［付記１８］
上記付記記載の補整した特徴点群による照合処理を行う画像識別システム。
【０１３７】
［付記１９］
クラウド環境上に、照合手段となる、前記特徴点配置差異検出手段、前記特徴位置差異推定手段、若しくは前記補整照合手段の少なくとも一つが構築されていることを特徴とする上記付記記載の画像識別システム。
【０１３８】
［付記２０］
情報処理システムに、上記付記記載の補整した特徴点群による照合処理を実施して画像照合を行うことを特徴とする画像照合方法。
【０１３９】
［付記２１］
情報処理システムに、上記付記記載の補整した特徴点群による照合処理を実施して画像識別処理を行うことを特徴とする画像識別方法。
【０１４０】
［付記２２］
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別処理して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出処理し、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状を照合処理する
ことを特徴とする情報処理システムによる画像照合方法。
【０１４１】
［付記２３］
前記情報処理システムは、
照合対象である二つの特徴点群について空間配置を含む２種類以上の特徴量を取得もしくは個々の前記特徴点群から識別すると共に、前記特徴点群の一方又は両方を優先する空間配置に関する特徴量以外の低優先特徴量が採り得る範囲全体に連続且つ離散的に変換した照合候補群を生成処理し、
前記照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、全ての前記照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出し、
前記導出した１ないし複数の特徴位置差異の値に基づいて、特徴点の対応付けを実施して照合処理を行う
ことを特徴とする上記付記記載の画像照合システム。
【０１４２】
［付記２４］
前記情報処理システムは、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
前記照合候補毎の特徴位置差異の値を比較することにより、全ての前記照合候補群に亘って 高い度数を有していた１ないし複数の照合候補を抽出すると共に、該抽出した１ないし複数の照合候補について導出済みの特徴位置差異の値を参照して、抽出された照合候補と対比相手にする特徴点群とに含まれた所定類似度を満たした特徴点のみを収集することによって、推定類似ペア群を導出し、
前記推定類似ペア群を含めて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする上記付記記載の画像照合システム。
【０１４３】
［付記２５］
前記情報処理システムは、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
更に、前記照合候補毎の特徴位置差異の値を踏まえた尤もらしい前記低優先特徴量毎の差異の値を前記照合候補毎に対応させて導出し、
前記補整照合手段は、前記導出した特徴位置差異の値および低優先特徴量毎の差異の値に基づいて、特徴点の対応付けを実施して照合処理を実施する
ことを特徴とする上記付記記載の画像照合システム。
【０１４４】
［付記２６］
情報処理システムに、上記付記記載の補整した特徴点群による照合処理を実行させる画像照合プログラム。
【０１４５】
［付記２７］
情報処理システムに、上記付記記載の補整した特徴点群による照合処理を実行させると共に、画像照合を行わせる画像識別プログラム。
【０１４６】
［付記２８］
情報処理システムを、
照合対象である二つの画像または画像内に含まれる物体または形状に関する二つの特徴点群の空間配置をそれぞれ識別して、一方の特徴点群に含まれる特徴点と他方の特徴点群に含まれる特徴点との全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出する特徴点配置差異検出手段と、
算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、該差異の度数分布に基づいて前記二つの特徴点群が空間配置上で有している特徴点配置位置の顕著な差異を示す１ないし複数の値を導出する特徴位置差異推定手段と、
前記導出した１ないし複数の特徴位置差異の値に基づいて、前記二つの特徴点群の比較処理に用いる特徴点の対応付けを実施すると共に、前記二つの画像または画像内に含まれる物体または形状の照合処理を行う補整照合手段、
として動作させることを特徴とする画像照合プログラム。
【０１４７】
［付記２９］
前記情報処理システムを、
照合対象である二つの特徴点群について空間配置を含む２種類以上の特徴量を取得もしくは個々の前記特徴点群から識別すると共に、前記特徴点群の一方又は両方を優先する空間配置に関する特徴量以外の低優先特徴量が採り得る範囲全体に連続且つ離散的に変換した照合候補群を生成処理する低優先特徴量仮補整手段として更に動作させ、
前記特徴点配置差異検出手段は、前記照合候補各々に含まれる特徴点と 対比相手にする特徴点群に含まれる特徴点と の全ての組合せを求めると共に、それぞれの組合せの特徴点の空間配置に関する差異をそれぞれ算出し、
前記特徴位置差異推定手段は、前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、全ての前記照合候補群に亘って 度数が高い差異であった１ないし複数の値を導出し、
前記補整照合手段は、前記導出した１ないし複数の特徴位置差異の値に基づいて、特徴点の対応付けを実施して照合処理を行う
ように動作させることを特徴とする上記付記記載の画像照合システム。
【０１４８】
［付記３０］
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
前記照合候補毎の特徴位置差異の値を比較することにより、全ての前記照合候補群に亘って 高い度数を有していた１ないし複数の照合候補を抽出すると共に、該抽出した１ないし複数の照合候補について導出済みの特徴位置差異の値を参照して、抽出された照合候補と対比相手にする特徴点群とに含まれた所定類似度を満たした特徴点のみを収集することによって、推定類似ペア群を導出し、
前記補整照合手段は、前記推定類似ペア群を含めて、特徴点の対応付けを実施して照合処理を実施する
ように動作させることを特徴とする上記付記記載の画像照合システム。
【０１４９】
［付記３１］
前記特徴位置差異推定手段は、
前記照合候補毎に、算出した全ての特徴点の組合せの各差異について度数分布を求めると共に、それぞれの度数分布から尤もらしい差異であった特徴位置差異の値を前記照合候補毎に対応させて導出し、
更に、前記照合候補毎の特徴位置差異の値を踏まえた尤もらしい前記低優先特徴量毎の差異の値を前記照合候補毎に対応させて導出し、
前記補整照合手段は、前記導出した特徴位置差異の値および低優先特徴量毎の差異の値に基づいて、特徴点の対応付けを実施して照合処理を実施する
ように動作させることを特徴とする上記付記記載の画像照合システム。
【産業上の利用可能性】
【０１５０】
本発明によれば、画像内に含まれる一般物体を照合し、認識する際に、膨大な演算量を必要とすることなく、対応する特徴量を適切に検出することによってこれらを行うことができるので、画像の検索や、画像の分類といった用途に適用可能である。
【符号の説明】
【０１５１】
１０    制御部（制御手段）
２０    メモリ（記憶手段）
１０１  画像情報取得部（画像情報取得手段）
１０２  特徴点抽出部（特徴点抽出手段）
１０３  特徴点配置差異検出部（特徴点配置差異検出手段）
１０４  特徴位置差異推定部（特徴位置差異推定手段）
１０５  補整照合部（補整照合手段）
１０６  照合結果出力部（照合結果出力手段）
１１１  低優先特徴量差異仮補整部（低優先特徴量差異仮補整手段）
１１２  高優先特徴量差異推定部（高優先特徴量差異推定手段）
１１３  対応点推定部（対応点推定手段）
１１４  低優先特徴量差異推定部（低優先特徴量差異推定手段）
２０１  画像情報記憶部
２０２  特徴点情報記憶部
【図１】
2014112347.tif 000014
【図２】
2014112347.tif 000015
【図３】
2014112347.tif 000016
【図４】
2014112347.tif 000017
【図５】
2014112347.tif 000018
【図６】
2014112347.tif 000019
【図７】
2014112347.tif 000020
【図８】
2014112347.tif 000021
【図９】
2014112347.tif 000022
【図１０】
2014112347.tif 000023
【図１１】
2014112347.tif 000024
【図１２】
2014112347.tif 000025
【図１３】
2014112347.tif 000026
【図１４】
2014112347.tif 000027
【図１５】
2014112347.tif 000028
【図１６】
2014112347.tif 000029
【図１７】
2014112347.tif 000030
【図１８】
2014112347.tif 000031
【図１９】
2014112347.tif 000032
【図２０】
2014112347.tif 000033