(57)【特許請求の範囲】
【請求項１】
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う装置であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部は、ｎ個の基準ペアを取得する構成となっており、
前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
前記変換係数算出部は、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされており、
前記変換加算部は、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされており、
前記照合判定部は、前記合計投票数を用いて前記照合を判定する構成とされている
ことを特徴とする画像照合装置。
【請求項２】
さらに、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えており、
前記対象ペア取得部は、前記幾何変換係数の算出において使用されていない前記基準ペアを、対象ペアとして取得する構成となっており、
前記座標変換部は、前記対象ペアを構成する第１及び第２局所特徴量のうちの一方を、前記変換係数算出部により得た幾何変換係数を用いて幾何変換する構成とされており、
前記距離計算部は、前記座標変換部により幾何変換された局所特徴量と、前記対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされており、
前記適合数加算部は、前記距離計算部で算出された距離が既定条件に合致する場合に、前記座標変換部で用いた前記幾何変換係数についての適合数に投票する構成とされており、
前記適合数判定部は、前記適合数加算部で得られた前記適合数に基づいて、投票対象である前記幾何変換係数が既定条件に合致するかどうかを判定する構成とされており、
前記変換加算部は、前記適合数判定部において既定条件に合致しないと判定された前記幾何変換係数については、前記合計投票数を求めるための投票を行わない構成とされている
請求項１に記載の画像照合装置。
【請求項３】
さらに未処理ペア確認部を備えており、
前記未処理ペア確認部は、前記幾何変換係数の算出において使用されておらず、かつ、前記対象ペアとして未だ取得されていない前記基準ペアがあるか否か判定し、ある場合には、前記対象ペア取得部により対象ペアとして取得させる構成となっている
請求項２に記載の画像照合装置。
【請求項４】
前記ｎの数は、前記幾何変換係数を求めるために必要な前記基準ペアの個数に基づいて決定されている
請求項１〜３のいずれか１項に記載の画像照合装置。
【請求項５】
さらに、適合数閾値減少部を備えており、
前記適合数判定部における前記既定条件とは、前記適合数が既定の閾値を越えるかどうかであり、
前記適合数閾値減少部は、前記変換係数算出部で算出された各々の前記幾何変換係数への前記合計投票数がいずれも前記既定の閾値を越えない場合に、前記適合数判定部での前記既定の閾値を減少させる構成となっている
請求項２に記載の画像照合装置。
【請求項６】
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う方法であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部が、ｎ個の基準ペアを取得するステップを備えており、
ここで、前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
さらに、前記方法は、
前記変換係数算出部が、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出するステップと、
前記変換加算部が、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求めるステップと、
前記照合判定部が、前記合計投票数を用いて前記照合を判定するステップとを備える
ことを特徴とする画像照合方法。
【請求項７】
請求項６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合装置及び画像照合方法に関するものである。
【背景技術】
【０００２】
下記特許文献１に示されるように、局所特徴量を用いた画像照合手法が知られている。なお、画像照合は画像認識と呼ばれることがある。この文献の手法では、画像を複数の部分に分割し、各部分に対応して局所特徴量を抽出し、この局所特徴量を用いて類似画像検索を行うことができる。これらの局所特徴量は、画像の特徴を精度良く表すために、通常、多次元のベクトルデータとされている。
【０００３】
ところで、下記特許文献１にも示されているように、局所特徴量を用いた類似画像検索では、計算量が膨大となる傾向がある。
【０００４】
そこで、局所特徴量を高速に検索するために、ビジュアルキーワードあるいはＢｏＦ（Bag of Features）という手法が提案されている。この手法では、複数の局所特徴量を予めクラスタリングすることにより、クラスタを代表する局所特徴量（つまりビジュアルキーワード）を算出する。さらに、各クラスタにＩＤを付す。これにより、各局所特徴量を、それが属するクラスタのＩＤに紐付けることができる。
【０００５】
すると、ある画像に対応する複数の局所特徴量の集合は、クラスタＩＤのヒストグラム（集合ということもできる）により置き換えることができる。このクラスタＩＤのヒストグラムを、ＢｏＦ表現あるいは単にＢｏＦと呼ぶ。一枚の画像に対応して、一つのＢｏＦ表現を得ることができる。生成されたＢｏＦ表現は、一般に転置ファイルによって検索できる。なお、ＢｏＦ表現を「特徴ベクトル」と称することがあるが、本明細書では、画像の特徴量を示す特徴ベクトルとの混同を避けるため、ＢｏＦ表現という用語を用いる。
【０００６】
このように、ＢｏＦ表現を用いることにより、局所特徴量を量子化して、データ量を減らすことができる。しかも、ＢｏＦ表現の検索には転置ファイルを利用できるので、局所特徴量自体を用いるよりも高速な類似画像検索（つまり画像認識）が可能となる。
【０００７】
ところで、ＢｏＦ表現を用いた画像照合においては、検索で得られた候補画像（学習画像）と認識対象画像との間における類似性あるいは同一性の確信度を検証することが提案されている。この確信度検証手法の一例を以下に説明する。
【０００８】
前提として、候補画像と認識対象画像とにおいては、いずれにも、複数の局所特徴量が含まれている。これらの局所特徴量は、同じビジュアルキーワードに紐づいている場合、類似性が高いと推定することができる。例えば、候補画像Ａの局所特徴量ａｉと認識対象画像Ｂの局所特徴量ｂｊとが同じビジュアルキーワードｖｋに紐づいている場合、これらの特徴量ａｉとｂｊとは類似性が高いと考えることができる。つまり、これらの特徴量ａｉとｂｊとは、特徴量の類似性（距離）により対応付けられた特徴点ペアと把握できる。そこで、この類似性による対応関係を用いて各特徴点の座標位置の照合を行う。
【０００９】
この照合においては、前記のように、特徴量の類似性（距離）により対応付けられた特徴点ペア（前記の例であればａｉとｂｊ）を２組選択する。ついで、画像の座標系において、一方の画像（例えば画像Ａ）上の点から他方の画像（たとえば画像Ｂ）上の点に座標変換するためのアフィン変換の係数を求める。求めたアフィン変換係数を用いて、一方の画像（例えば画像Ａ）における、その他の点を座標変換する。変換して得られた点と、画像Ｂ上における対応点との距離を比較し、既定位置内であれば一致数（適合数）をカウントアップする。得られた一致数の合計を一致確信度とする。この一致確信度と既定値とを比較し、一致確信度が既定値よりも高い場合、照合成功とすることができる。
【００１０】
しかしながら、候補画像と認識対象画像とが、いずれも同一オブジェクトについてのものであっても、一致確信度が低い場合があり、この場合には、本来照合成功とされるべき画像が不成功とされてしまう。一方、一致確信度の閾値を単に下げてしまうと、照合されるべきでない画像を照合成功としてしまう確率が高くなる。
【００１１】
なお、下記特許文献２では、ランダムに選択された特徴点ペアから算出されたアフィン変換への投票により、オブジェクトのモデル姿勢を推定する技術が示されている。しかしながら、これは、正しいアフィン変換パラメータをクラスタリングにより推定しようとする手法に過ぎず、アフィン変換への投票数を照合閾値とするものではない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１１−１２８７７３号公報（０００３〜０００５段落、００６９段落）
【特許文献２】特開２００６−６５３９９号公報（図１９〜図２２）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、画像照合精度の向上が可能な技術を提供することである。
【課題を解決するための手段】
【００１４】
本発明は、以下のいずれかの項目に記載の構成とされている。
【００１５】
（項目１）
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う装置であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部は、ｎ個の基準ペアを取得する構成となっており、
前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
前記変換係数算出部は、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされており、
前記変換加算部は、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされており、
前記照合判定部は、前記合計投票数を用いて前記照合を判定する構成とされている
ことを特徴とする画像照合装置。
【００１６】
（項目２）
さらに、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えており、
前記対象ペア取得部は、前記幾何変換係数の算出において使用されていない前記基準ペアを、対象ペアとして取得する構成となっており、
前記座標変換部は、前記対象ペアを構成する第１及び第２局所特徴量のうちの一方を、前記変換係数算出部により得た幾何変換係数を用いて幾何変換する構成とされており、
前記距離計算部は、前記座標変換部により幾何変換された局所特徴量と、前記対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされており、
前記適合数加算部は、前記距離計算部で算出された距離が既定条件に合致する場合に、前記座標変換部で用いた前記幾何変換係数についての適合数に投票する構成とされており、
前記適合数判定部は、前記適合数加算部で得られた前記適合数に基づいて、投票対象である前記幾何変換係数が既定条件に合致するかどうかを判定する構成とされており、
前記変換加算部は、前記適合数判定部において既定条件に合致しないと判定された前記幾何変換係数については、前記合計投票数を求めるための投票を行わない構成とされている
項目１に記載の画像照合装置。
【００１７】
（項目３）
さらに未処理ペア確認部を備えており、
前記未処理ペア確認部は、前記幾何変換係数の算出において使用されておらず、かつ、前記対象ペアとして未だ取得されていない前記基準ペアがあるか否か判定し、ある場合には、前記対象ペア取得部により対象ペアとして取得させる構成となっている
項目２に記載の画像照合装置。
【００１８】
（項目４）
前記ｎの数は、前記幾何変換係数を求めるために必要な前記基準ペアの個数に基づいて決定されている
項目１〜３のいずれか１項に記載の画像照合装置。
【００１９】
（項目５）
さらに、適合数閾値減少部を備えており、
前記適合数判定部における前記既定条件とは、前記適合数が既定の閾値を越えるかどうかであり、
前記適合数閾値減少部は、前記変換係数算出部で算出された各々の前記幾何変換係数への前記合計投票数がいずれも前記既定の閾値を越えない場合に、前記適合数判定部での前記既定の閾値を減少させる構成となっている
項目２に記載の画像照合装置。
【００２０】
（項目６）
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う方法であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部が、ｎ個の基準ペアを取得するステップを備えており、
ここで、前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
さらに、前記方法は、
前記変換係数算出部が、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出するステップと、
前記変換加算部が、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求めるステップと、
前記照合判定部が、前記合計投票数を用いて前記照合を判定するステップとを備える
ことを特徴とする画像照合方法。
【００２１】
（項目７）
項目６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【００２２】
このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。
【発明の効果】
【００２３】
本発明によれば、画像照合精度の向上が可能な技術を提供することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る画像照合装置の全体的な構成を示す概略的なブロック図である。
【図２】本実施形態の画像照合装置において用いる学習部の構成を示すブロック図である。
【図３】本実施形態の画像照合装置において用いる認識部の構成を示すブロック図である。
【図４】本実施形態の画像照合装置において用いる照合処理部の構成を示すブロック図である。
【図５】本実施形態の画像照合方法における全体的な手順を説明するためのフローチャートである。
【図６】本実施形態の画像照合方法を説明するための説明図である。
【図７】本実施形態の画像照合方法における具体的な照合手順を説明するためのフローチャートである。
【図８】本実施形態の画像照合方法におけるビジュアルキーワードと局所特徴量との関係を説明するための説明図である。
【図９】本実施形態の画像照合方法において用いる変換ＩＤとカウント数とを含むテーブルの一例を示す説明図である。
【発明を実施するための形態】
【００２５】
（本実施形態の構成）
本実施形態の照合装置は、学習部１と、認識部２と、ビジュアルキーワードＤＢ３と、ＢｏＦＤＢ４とを備えている（図１参照）。
【００２６】
（学習部の構成）
学習部１は、局所特徴量抽出部１１と、ＢｏＦ生成部１２と、ＢｏＦ登録部１３とを備えている（図２参照）。
【００２７】
局所特徴量抽出部１１は、入力データとしての学習画像Ａから、局所特徴量を抽出するように構成されている。局所特徴量とは、画像の局部的な特徴を表すためのデータであり、ベクトルデータとして表現されることが多い。局所特徴量の抽出方法としては、例えばＳＩＦＴアルゴリズムのような既存の手法を用いることができる。本実施形態において使用できる局所特徴量の種類及びその抽出方法に特に制約はない。局所特徴量については、既によく知られている（例えば前記した特許文献２の「背景技術」を参照）ので、これについての詳しい説明は省略する。なお、画像上（つまりピクセル空間上）において局所特徴量が抽出される部分（局所）のことを、この明細書において特徴点と呼ぶことがある。
【００２８】
ＢｏＦ生成部１２は、局所特徴量抽出部１１により抽出された各局所特徴量に対応するビジュアルキーワードを、ビジュアルキーワードＤＢ３を参照することによって特定する。これにより、ビジュアルキーワード毎の、局所特徴量のヒストグラムを生成することができる。このヒストグラムは、いわゆるＢｏＦ表現として用いられるものである。
【００２９】
ＢｏＦ登録部１３は、生成されたＢｏＦ表現を、ＢｏＦＤＢ４に格納する構成となっている。
【００３０】
（認識部の構成）
認識部２は、局所特徴量抽出部２１と、ＢｏＦ生成部２２と、ＢｏＦ検索部２３と、照合処理部２４と、出力部２５とを備えている（図３参照）。
【００３１】
局所特徴量抽出部２１は、認識対象画像Ｂから局所特徴量を抽出する構成となっている。局所特徴量抽出部２１の構成は、学習部１における局所特徴量抽出部１１と同様とすることが可能なので、これについての詳しい説明は省略する。あるいは、局所特徴量抽出部１１を構成する一つのプログラムモジュールを、局所特徴量２１に兼用することも可能である。
【００３２】
ＢｏＦ生成部２２は、局所特徴量２１において抽出された局所特徴量を用いて、ＢｏＦ表現を生成するものである。ＢｏＦ生成部２２は、学習部１におけるＢｏＦ生成部１２と同様とすることが可能なので、これについての詳しい説明は省略する。あるいは、ＢｏＦ生成部１２を構成する一つのプログラムモジュールを、ＢｏＦ生成部２２に兼用することも可能である。
【００３３】
ＢｏＦ検索部２３は、ＢｏＦ生成部２２で生成されたＢｏＦ表現（つまり認識対象画像に対応するＢｏＦ表現）を用いて、ＢｏＦＤＢ４を検索し、類似するＢｏＦ表現（つまり何らかの学習画像に対応するＢｏＦ表現）を取得する構成となっている。これは、ＢｏＦ表現を用いて、認識対象画像にもっとも近い学習画像データを特定することを意味する。
【００３４】
照合処理部２４は、ＢｏＦ検索部２３で得られたＢｏＦ表現に対応する画像データの照合処理を行うものである。つまり照合処理部２４は、第１画像（例えば学習画像）と第２画像（例えば認識対象画像）との同一性あるいは類似性に基づいて、画像どうしの照合を行う構成となっている。照合処理部２４の詳しい構成は後述する。
【００３５】
出力部２５は、認識（つまり照合）処理の結果を、適宜の出力先（例えば記憶媒体や表示装置や他の処理器）に出力する構成となっている。
【００３６】
（ビジュアルキーワードＤＢの構成）
ビジュアルキーワードＤＢ３は、ＢｏＦ作成のためのビジュアルキーワードを予め格納しておくためのＤＢである。ビジュアルキーワードとは、画像の局所特徴量との類似性（距離）を計算するための何らかのベクトルデータであることが多いが、データの種類や構造は特に制約されない。ビジュアルキーワードの生成や格納方法については、従来と同様とすることができるので、詳しい説明は省略する。
【００３７】
（ＢｏＦＤＢの構成）
ＢｏＦＤＢ４は、学習データに対応するＢｏＦ表現を格納するためのＤＢである。ＤＢの構造は特に制約されない。ＢｏＦＤＢ４についても、従来のＢｏＦ表現用のＤＢと同様とすることができるので、詳しい説明は省略する。
【００３８】
（照合処理部の構成）
以下、照合処理部２４の構成例を、図４をさらに参照しながら説明する。照合処理部２４は、この実施形態では、基準ペア生成部２４１と、基準ペア取得部２４２と、変換係数算出部２４３と、適合数処理部２４４と、変換加算部２４５と、変換最大カウント抽出部２４６と、照合判定部２４７とを備えている。ただし、これらの要素をすべて備えることは必須ではなく、用途に応じて不要な機能要素を省略することができる。
【００３９】
基準ペア生成部２４１は、基準ペアを生成する構成となっている。基準ペアとは、第１画像（例えば学習画像Ａ）から抽出された局所特徴量（この明細書では「第１局所特徴量」という）と、第２画像（例えば認識対象画像Ｂ）から抽出された局所特徴量（この明細書では「第２局所特徴量という」）とで構成される「組」である。この基準ペアを構成する第１局所特徴量と第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられている。本実施形態の基準ペア生成部２４１は、同じビジュアルキーワードが付された第１局所特徴量と第２局所特徴量との組を基準ペアとする。第１画像の局所特徴量と第２画像の局所特徴量とが、同じビジュアルキーワードに紐づいている場合、それらの特徴量間での、特徴量空間上での距離は比較的に近いと考えることができる。したがって、ビジュアルキーワードを用いた基準ペアの生成は、特徴量空間での距離に基づいて対応付けられたペア関係の生成であるということができる。また、本実施形態の基準ペア生成部２４１は、複数の基準ペアを生成し、それらを基準ペア集合として保持しておく。
【００４０】
基準ペア取得部２４２は、基準ペア集合から、必要な個数の（つまりｎ個の）基準ペアを取得する構成となっている。前記ｎの数は、後述する変換係数算出部２４３において幾何変換係数を求めるために必要な基準ペアの個数に基づいて決定される。
【００４１】
変換係数算出部２４３は、取得されたｎ個の基準ペアに属する第１局所特徴量及び第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされている。ここで、幾何変換とは、例えば２次元アフィン変換であり、その場合、幾何変換係数とは、２次元アフィン変換係数である。ただし、幾何変換として、他の種類のものを用いることは可能である。なお、本実施形態の説明では、２次元アフィン変換のことを単にアフィン変換と称することがある。２次元アフィン変換の場合、前記した基準ペアの個数ｎは２個となる。また、本実施形態の説明では、特に断らない限り、ｎ＝２とする例を前提として説明する。ただし、必要となる基準ペアの個数は、幾何変換の種類によって異なる。
【００４２】
適合数処理部２４４は、変換係数算出部２４３で算出された変換係数の信頼性を示す適合数を処理する構成となっている。適合数処理部２４４の具体的構成例は後述する。
【００４３】
変換加算部２４５は、算出された幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされている。
【００４４】
照合判定部２４７は、合計投票数を用いて、画像間の照合を判定する構成とされている。
【００４５】
前記の構成により、本実施形態の画像照合装置は、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えたものとなっている。
【００４６】
（適合数処理部の構成）
適合数処理部２４４は、この実施形態では、対象ペア取得部２４４１と、座標変換部２４４２と、距離計算部２４４３と、適合数加算部２４４４と、未処理ペア確認部２４４５と、適合数判定部２４４６と、適合数閾値減少部２４４７とを備えている。ただし、適合数処理部２４４においては、用途や必要性に応じて、いずれかの構成要素を省略することができる。
【００４７】
対象ペア取得部２４４１は、幾何変換係数の算出において使用されていない基準ペアを、対象ペアとして取得する構成となっている。
【００４８】
座標変換部２４４２は、対象ペアを構成する第１及び第２局所特徴量のうちの一方を、変換係数算出部２４３により得た幾何変換係数を用いて幾何変換する構成とされている。
【００４９】
距離計算部２４４３は、座標変換部２４４２により幾何変換された局所特徴量と、対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされている。
【００５０】
適合数加算部２４４４は、距離計算部２４４３で算出された距離が既定条件に合致する場合に、座標変換部２４４２で用いた幾何変換係数についての適合数に投票する構成とされている。ここで既定条件とは、例えば既定の閾値を越えることである。
【００５１】
未処理ペア確認部２４４５は、基準ペア生成部２４１で生成された基準ペア集合において、座標変換部２４４２での変換係数の算出に使用されておらず、しかも、対象ペアとしても使用されていない基準ペアが存在するかどうかを確認する構成となっている。例えば、未処理ペア確認部２４４５は、データの使用状況を、そのデータに付したフラグにより判断することができる。
【００５２】
適合数判定部２４４６は、適合数加算部２４４４で得られた適合数に基づいて、投票対象である幾何変換係数が既定条件に合致するかどうかを判定する構成とされている。ここで既定条件とは、例えば既定の閾値を越えるかどうかである。
【００５３】
ここで、前記した変換加算部２４５は、適合数判定部２４４６において既定条件に合致しないと判定された幾何変換係数については、合計投票数を求めるための投票を行わない構成とされている。
【００５４】
適合数閾値減少部２４４７は、変換係数算出部２４３で算出された各々の幾何変換係数への合計投票数がいずれも既定の閾値を越えない場合に、適合数判定部２４４６での既定の閾値を減少させる構成となっている。
【００５５】
前記の構成により、本実施形態の画像照合装置は、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えたものとなっている。
【００５６】
画像照合装置についてのさらに詳しい構成は、本実施形態の動作として後述する。
【００５７】
（本実施形態の動作）
以下、本実施形態に係る画像照合装置を用いた画像照合方法を説明する。まず、図５を主に参照しながら、学習及び認識の全体的動作を説明する。
【００５８】
（学習動作）
（図５のステップＳＡ−１）
学習部１の局所特徴量抽出部１１は、複数の学習画像から、局所特徴量を抽出する。図６（ａ）に、学習画像の一例を示し、図６（ｂ）に、抽出された特徴点を画像空間上に配置した一例を示す。図６（ａ）では、局所特徴として特定された箇所の一例に丸を付した。なお、図６は、あくまで概念的な説明に過ぎず、正確なものではない。
【００５９】
（図５のステップＳＡ−２）
ついで、ＢｏＦ生成部１２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
【００６０】
（図５のステップＳＡ−３）
ついで、ＢｏＦ登録部１３は、ＢｏＦ生成部１２で生成されたＢｏＦ表現を、ＢｏＦＤＢ４に格納する。
【００６１】
以上の学習動作は、一般的なＢｏＦ表現の生成と同様なのでこれ以上詳しい説明は省略する。
【００６２】
（認識動作）
（図５のステップＳＢ−１）
認識部２の局所特徴量抽出部２１は、認識対象である画像から、局所特徴量を抽出する。図６（ｃ）に、認識対象画像の一例を示し、図６（ｄ）に、そこから抽出された特徴点を画像空間上に配置した一例を示す。図６（ｃ）では、局所特徴として特定された箇所の一例に丸を付した。
【００６３】
（図５のステップＳＢ−２）
ついで、認識部２のＢｏＦ生成部２２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
【００６４】
（図５のステップＳＢ−３）
ついで、ＢｏＦ検索部２３は、ＢｏＦ生成部２２で生成されたＢｏＦ表現（つまり認識対象画像の特徴量を量子化して得られたもの）に類似するＢｏＦ表現（つまり学習画像の特徴量を量子化して得られたもの）を、ＢｏＦＤＢ４から検索する。ここで、一般的には、最も類似度が高く、かつ、既定の類似度を超えるＢｏＦ表現を検索する。しかしながら、他の基準を用いて、類似度の高いＢｏＦ表現を特定することも可能である。なお、ＢｏＦ表現どうしの類似度は、例えば、ＢｏＦ表現をベクトル量と見なし、ベクトル量間の距離を計算することによって得ることができる。このようなＢｏＦ表現を用いた画像検索手法自体は、従来の技術と同様でよいので、これについての詳しい説明は省略する。
【００６５】
（図５のステップＳＢ−４）
ついで、照合処理部２４により、照合処理を行う。この照合処理においては、検索されたＢｏＦ表現の最大確信度を算出し、この最大確信度が基準を満たすかどうかにより、照合の成否を決定する。照合成功の場合、検索されたＢｏＦ表現、あるいはそれに紐づいた画像データに関する情報を出力部２５により出力することができる。照合処理については図７を参照して詳しく説明する。
【００６６】
（照合処理）
（図７のステップＳＣ−１）
まず、照合処理部２４の基準ペア生成部２４１により、複数の基準ペアを含むペア集合を生成する。本実施形態における基準ペアの生成について、図８をさらに参照して説明する。画像（認識対象画像及び学習画像）における局所特徴量（図８において×印で示す）を特徴量空間に配置したとする。そして、特徴量間の距離に基づいて、図８に示すクラスタ＃１〜＃４が生成できたとする。この場合、クラスタに対応して、それぞれ別のビジュアルキーワードを割り振ることができる。すると、同じビジュアルキーワードに紐づいている特徴量は、特徴量空間における距離が概ね近いものとなる。したがって、同じビジュアルキーワードに紐づく特徴量のうち、第１画像（学習画像）に由来するものと第２画像（認識対象画像）に由来するものとを特定すれば、基準ペアを容易に生成することができる。もちろん、このようにビジュアルキーワードを基準とすることに代えて、特徴量間の距離を直接計算することによって、基準ペアを生成することは可能である。このように特定された二組の基準ペアを、図６の図（ａ）と図（ｃ）との間を結ぶ線によって模式的に示している。この例では、第１画像（学習画像）における二つの局所特徴量（第１局所特徴量）と、第２画像（認識対象画像）における二つの局所特徴量（第２局所特徴量）とが対応しており、これによって、二組の基準ペアが生成されている。多数の局所特徴点をピクセル空間上に示したものが図６（ｂ）及び（ｄ）である。ここでも、基準ペアの関係を、特徴点間を結ぶ実線で示している。
【００６７】
（図７のステップＳＣ−２）
後述のステップＳＣ−１２での判断がＹｅｓであった場合、適合数閾値減少部２４４７が適合数閾値を減少させる。これについては後述する。初回の動作においてはこのステップは飛ばしてよい。
【００６８】
（図７のステップＳＣ−３）
ついで、基準ペア取得部２４２が、ペア集合の中から、二組の基準ペアを取得する。この二組の基準ペアを、この明細書では、第１基準ペア及び第２基準ペアと呼ぶことがある。
【００６９】
（図７のステップＳＣ−４）
ついで、変換係数算出部２４３が、座標変換係数を算出する。本例では、座標変換として、二次元アフィン変換を用いる例を説明している。図６を参照すると、二組の基準ペアに属する二つの第１局所特徴量（図６（ｄ）参照）の座標から、同じ二組の基準ペアに属する二つの第２局所特徴量の座標への変換するための変換係数を算出する。二次元アフィン変換であれば、二組の基準ペア（一般的には四つの一次式により表現できる）により、回転（１自由度）と伸縮（１自由度）と移動（２自由度）という四つのパラメータを算出できる。これらのパラメータで構成される組が変換係数の具体例に対応する。本実施形態では、画像の座標系を前提とするので、これら四つのパラメータを取得できれば、以降の処理において十分である。なお、すでに述べたように、変換係数の算出のために必要なペア数は、座標変換の種類により決まる。
【００７０】
（図７のステップＳＣ−５）
ついで、適合数処理部２４４の対象ペア取得部２４４１は、ペア集合に属する基準ペアのうち、座標変換として使用されていない基準ペアを取得する。このように取得された基準ペアを対象ペアと称する。
【００７１】
（図７のステップＳＣ−６）
ついで、座標変換部２４４２は、対象ペア取得部２４４１で取得された対象ペアを構成する第１及び第２局所特徴量のうちの一方の座標（第一座標と称する。図６（ｄ）において符号ｐ１を付した。）に対して、変換係数算出部２４３で算出された変換係数を適用することによって幾何変換を行う。また、座標変換後の座標をここでは第三座標と称することとする。
【００７２】
（図７のステップＳＣ−７）
ついで、距離計算部２４４３は、座標変換部２４４２により幾何変換された局所特徴量の座標（第三座標）と、対象ペアを構成する第１及び第２局所特徴量のうちの他方の座標（第二座標）との距離を算出する（図６（ｅ）参照）。ここで、第三座標（図６において符号ｐ３）及び第二座標（図６において符号ｐ２）は画像上（つまりピクセル空間上）のものなので、両者間の距離は画像上での距離となる。
【００７３】
（図７のステップＳＣ−８）
ついで、適合数加算部２４４４は、距離計算部２４４３で算出された距離が既定条件に合致する場合に、座標変換部２４４２で用いた幾何変換係数についての適合数に投票する。ここで既定条件とは、例えば距離が既定の閾値以内にあることであるが、例えば何らかのパラメータを用いて条件を動的に生成することも可能である。投票により適合数が増加する。通常、投票される数値は１なので、初回の動作では、適合数が０から１に遷移する。なお、適合数に投票される数値を何らかの条件で変動させることも可能である。
【００７４】
（図７のステップＳＣ−９）
ついで、未処理ペア確認部２４４５は、ペア集合中に、「基準ペアとされておらず、しかも対象ペアとされていないペア」があるかどうかを判断する。この判定は、例えば、基準ペアあるいは対象ペアとされたデータにフラグを付するなどの適宜な手段によって実行できる。そのような未処理ペアがあれば、手順はステップＳＣ−５に戻り、前記の処理を繰り返す。未処理ペアがなければ、手順は次のステップＳＣ−１０に進む。これにより、適合数への投票の手順を繰り返すことができる。
【００７５】
（図７のステップＳＣ−１０）
適合数判定部２４４６は、適合数加算部２４４４での加算により得られた適合数に基づいて、「投票対象である幾何変換係数が既定条件に合致するかどうか」を判定する。ここで既定条件とは、例えば、既定の閾値以上であることである。しかしながら、既定条件として、何らかのパラメータを用いて動的に算出される条件を用いることも可能である。ステップＳＣ−１０での判定結果がＮｏ（つまり閾値以上）であれば、ステップＳＣ−１２に進む。判定結果がＹｅｓ（つまり閾値未満）であれば、ステップＳＣ−１１に進む。
【００７６】
この処理により、変換加算部２４５は、適合数判定部２４４６において既定条件に合致しないと判定された幾何変換係数については、合計投票数を求めるための投票（後述のステップＳＣ−１３〜１４）を行わない構成となる。
【００７７】
（図７のステップＳＣ−１１）
適合数閾値減少部２４４７は、適合数の閾値が下限に達していない場合、ステップＳＣ−２に戻り、適合数の閾値を減少させる。その後は、前記と同様の手順が繰り返される。適合数閾値が下限に達している場合、照合判定部２４７は、照合失敗と判定する。ここで適合数閾値の減少幅は、処理の迅速さと照合精度とを考慮して、例えば実験的に決定することができる。
【００７８】
この手順により、照合のための適合数閾値を徐々に減少させることができる。閾値を最初から低く設定すると、不正確な照合の頻度が増えるという問題を生じるが、本実施形態では、照合失敗の場合に、徐々に閾値を減少させるので、照合の信頼性を向上させることができる。すなわち、本実施形態では、認識率と誤認識率とのバランスを適切に設定できるという利点がある。
【００７９】
（図７のステップＳＣ−１２）
このステップにおいて、変換加算部２４５は、変換テーブルに、前記した手順により算出された変換係数と類似する変換があるか否かを確認する。ここで、変換が類似するかどうかの判定手法は、特に制約されないが、例えば以下のいずれかのように行うことができる。もちろん他の手法も可能である。
（１）変換係数ごとに差分値の閾値を設定しておき、変換係数ごとの差分値が閾値以内であれば類似すると判定する手法；
（２）変換係数の空間を想定し、その空間内での距離が閾値以内であれば類似すると判定する手法。
【００８０】
変換テーブルの一例を図９に示す。このテーブルにおいて、変換ＩＤは、座標変換係数（この例ではアフィン変換係数）ごとに付されるＩＤである。
【００８１】
（図７のステップＳＣ−１３〜１４）
類似する変換があれば、変換加算部２４５は、類似の変換に投票することによって、その変換への投票数をカウントアップする。図９の例では、変換ＩＤごとのカウント数ｘｉ（ここでｉは０〜ｎまでの整数）に対して加算する。つまり、カウント数ｘｉ+１として、カウント数を更新する。ただし加算の幅を適宜調整することは可能である。
【００８２】
類似する変換がない場合、変換加算部２４５は、当該の変換係数を変換テーブルに追加し、新たなＩＤを付す（ステップＳＣ−１４）。
【００８３】
（図７のステップＳＣ−１５）
ついで、基準ペア取得部２４２は、ペア集合に、基準ペアとして未使用のペアがあるかどうかを判定する。あれば手順はステップＳＣ−３に戻り、以降の手順を繰り返す。なければステップＳＣ−１６に進む。
【００８４】
（図７のステップＳＣ−１６）
ついで、変換最大カウント抽出部２４６は、各変換係数に対する投票数のうちで最大のもの（変換最大カウント）を算出する。変換最大カウントは、ステップＳＣ−１３でカウントアップされたカウント数を変換テーブルに記録しておけば簡単に得ることができる。
【００８５】
（図７のステップＳＣ−１７〜ＳＣ−１８）
ついで、照合判定部２４７は、変換最大カウントが既定条件（例えば閾値以上であること）を満たせば、認識対象画像に対する照合の成功（あるいは認識の成功）と判定することができる。
【００８６】
本実施形態では、照合が成功した場合、変換最大カウントに対応する座標変換係数を算出しておく（ステップＳＣ−１８）。これを用いて、例えば認識対象画像の座標変換を行ない、その結果をユーザに提示することができる。ただし、このような座標変換は必須ではなく、省略可能である。
【００８７】
変換最大カウントが既定条件を満たさない場合、ステップＳＣ−１１に移り、以降の処理を繰り返す。
【００８８】
本実施形態においては、適正な変換係数を直接的に推定するのではなく、類似の変換係数に対して投票し、その投票数が既定条件を満たすことにより照合成功としているので、当初に得られた変換係数が誤っていたとしても、適正な照合を行うことができるという利点がある。この点は次のようにも説明できる。すなわち、一般的に、学習画像の撮影条件と認識対象画像の撮影条件との相違（例えば撮影方向とかレンズパラメータの相違）が大きい場合には、画像間の対比によって変換係数を直接に算出しても、正確な推定を行うことは難しい。これに対して、本実施形態では、前記のようにして得られた個々の変換係数を投票することによって照合を行うので、照合精度が向上すると考えられる。
【００８９】
また、本実施形態では、適合数処理部２４４を用いて、適合数を基準とした変換係数の信頼性を検証しているので、照合の信頼性を向上させることができる。ただし、本実施形態において、適合数処理部２４４を用いることは必須ではなく、ステップＳＣ−５〜ＳＣ−１０を省略することも可能である。
【００９０】
また、本実施形態では、適合数処理部２４４を用いて、変換係数についてのある程度の信頼性を確認しているので、ステップＳＣ−１５において、全ての基準ペアについて変換カウントを算出する必要はない。例えば、一つの変換係数に対する投票数が閾値を越えたとき（ステップＳＣ−１７参照）に、照合成功とすることもできる。このようにすれば、照合精度を維持しつつ、照合処理を迅速に完了することができるという利点がある。
【００９１】
なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
【００９２】
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
【００９３】
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
【符号の説明】
【００９４】
１  学習部
１１  局所特徴量抽出部
１２  ＢｏＦ生成部
１３  ＢｏＦ登録部
２  認識部
２１  局所特徴量抽出部
２２  ＢｏＦ生成部
２３  ＢｏＦ検索部
２４  照合処理部
２４１  基準ペア生成部
２４２  基準ペア取得部
２４３  変換係数算出部
２４４  適合数処理部
２４４１  対象ペア取得部
２４４２  座標変換部
２４４３  距離計算部
２４４４  適合数加算部
２４４５  未処理ペア確認部
２４４６  適合数判定部
２４４７  適合数閾値減少部
２４５  変換加算部
２４６  変換最大カウント抽出部
２４７  照合判定部
２５  出力部
３  ビジュアルキーワードＤＢ
４  ＢｏＦＤＢ
Ａ  学習画像（候補画像）
Ｂ  認識対象画像
【図１】
0005646664.tif 000002
【図２】
0005646664.tif 000003
【図３】
0005646664.tif 000004
【図４】
0005646664.tif 000005
【図５】
0005646664.tif 000006
【図６】
0005646664.tif 000007
【図７】
0005646664.tif 000008
【図８】
0005646664.tif 000009
【図９】
0005646664.tif 000010