(57)【要約】【課題】  入力画像の対象物を識別する上で最適な特徴点を効率的に選択し、選択された特徴点の局所特徴量を安定して抽出できる局所特徴量抽出装置を提供する。【解決手段】  本発明の局所特徴量抽出装置は、入力画像から複数の特徴点を検出する特徴点検出部と、該特徴点の特徴点情報を算出する特徴点情報算出部とを備える特徴点検出手段と、前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する特徴点決定部を備える特徴点処理手段と、前記特徴点決定部で決定された特徴点に基づき、局所特徴量を算出する局所特徴量抽出手段とを有することを特徴とする。【選択図】      図１
2020027365.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から複数の特徴点を検出する特徴点検出部と、該特徴点の特徴点情報を算出する特徴点情報算出部とを備える特徴点検出手段と、
前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する特徴点決定部を備える特徴点処理手段と、
前記特徴点決定部で決定された特徴点に基づき、局所特徴量を算出する局所特徴量抽出手段と
を有することを特徴とする局所特徴量抽出装置。
【請求項２】
前記特徴点決定部は、複数の特徴点の中から１又は複数の特徴点を選択して削除する特徴点削除部と、新たに１又は複数の特徴点を追加する特徴点追加部との少なくともいずれか１つ備えることを特徴とする請求項１に記載の局所特徴量抽出装置。
【請求項３】
前記特徴点処理手段は、前記入力画像を複数の小領域画像に分割し、前記特徴点検出部において検出された複数の特徴点を、該特徴点の特徴点情報を基に分類する小領域分割部をさらに備え、
前記特徴点決定部は、前記小領域画像ごとの前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する
ことを特徴とする請求項２に記載の局所特徴量抽出装置。
【請求項４】
前記入力画像を複数の小領域画像に分割する入力画像分割手段をさらに有し、
前記特徴点検出手段は、前記入力画像の代わりに前記小領域画像を用いて特徴点の検出処理を実行する
ことを特徴とする請求項２に記載の局所特徴量抽出装置。
【請求項５】
前記特徴点削除部は、特徴点の特徴点情報と、第１の特徴点の目標個数とに基づき、複数の特徴点の中から１又は複数の特徴点を選択して削除することを特徴とする請求項２〜４のいずれかに記載の局所特徴量抽出装置。
【請求項６】
前記特徴点削除部は、第１の特徴点の検出済み個数と、第１の特徴点の目標個数とを比較し、前記第１の特徴点の検出済み個数が前記第１の特徴点の目標個数を超えている場合には、前記特徴点情報の信頼度が最も低い特徴点から超えた数分選択し、選択された特徴点を削除することを特徴とする請求項５に記載の局所特徴量抽出装置。
【請求項７】
前記特徴点追加部は、第２の特徴点の目標個数に基づき、１又は複数の特徴点を新たに追加することを特徴とする請求項２〜６のいずれかに記載の局所特徴量抽出装置。
【請求項８】
前記特徴点追加部は、第２の特徴点の検出済み個数と、前記第２の特徴点の目標個数とを比較し、前記第２の特徴点の検出済み個数が前記第２の特徴点の目標個数未満の場合には、前記入力画像又は小領域画像の領域に一様に分布するように、前記第２の特徴点の目標個数に達する数の特徴点を追加することを特徴とする請求項７に記載の局所特徴量抽出装置。
【請求項９】
前記特徴点情報は、特徴点の座標と、特徴点のオリエンテーションと、特徴点のスケールと、特徴点の信頼度と、特徴点の分類ラベルとを含むことを特徴とする請求項１〜８のいずれかに記載の局所特徴量抽出装置。
【請求項１０】
前記特徴点の信頼度は、前記特徴点の座標から特徴点の近傍領域の輝度の重心への方向ベクトルの大きさと、前記特徴点の近傍領域のコントラストとの少なくともいずれか一つを基にして算出されることを特徴とする請求項９に記載の局所特徴量抽出装置。
【請求項１１】
前記特徴点の分類ラベルは、特徴点が検出された画像を示す情報であることを特徴とする請求項９又は１０に記載の局所特徴量抽出装置。
【請求項１２】
前記特徴点の分類ラベルは、少なくとも特徴点が属する、前記入力画像と、１又は複数の前記小領域画像と、１又は複数の教師画像とを識別することが可能な情報であることを特徴とする請求項１１に記載の局所特徴量抽出装置。
【請求項１３】
請求項１〜１２のいずれかに記載の局所特徴量抽出装置と、
教師画像の画像情報を基に算出された特徴点情報及び局所特徴量を保持する局所特徴量記憶部と、
前記局所特徴量抽出装置で算出された特徴点情報及び局所特徴量と、前記局所特徴量記憶部に記憶される前記教師画像の画像情報を基に算出された特徴点情報及び局所特徴量とに基づき、前記入力画像の対象物と前記教師画像との比較を行う比較部と、該比較部が比較した結果に基づき、前記入力画像の対象物の状態を判定する判断部とを備える状態判定手段と
を有することを特徴とする状態判定装置。
【請求項１４】
前記比較部は、前記局所特徴量抽出装置が算出した局所特徴量と、局所特徴量記憶部に保持されている局所特徴量とを用いて対応点マッチングを行い、前記教師画像ごとに対応点ペアの局所特徴量の相違度の平均値を計算し、
前記判断部は、前記教師画像ごとの前記相違度の平均値を用いて、前記入力画像の対象物の状態を判定する
ことを特徴とする請求項１３に記載の状態判定装置。
【請求項１５】
前記状態判定手段は、前記局所特徴量抽出装置が算出した特徴点情報及び局所特徴量と、前記局所特徴量記憶部に保持されている局所特徴量情報とをそれぞれ符号化する局所特徴量符号化部をさらに備え、
前記比較部は、前記局所特徴量抽出装置が算出した特徴点情報及び局所特徴量を前記局所特徴量符号化部で符号化した入力画像局所特徴量符号と、前記局所特徴量記憶部に保持されている局所特徴量を前記局所特徴量符号化部で符号化した教師画像局所特徴量符号とを比較し、
前記判断部は、前記比較部の結果に基づいて、前記入力画像の対象物の状態を判定する
ことを特徴とする請求項１４に記載の状態判定装置。
【請求項１６】
前記局所特徴量符号化部は、前記局所特徴量記憶部に保持されている局所特徴量をクラスタリングし、該局所特徴量を算出元の前記教師画像ごとに該クラスタリングにおいて算出されたクラスに分類し、該クラスごとの出現頻度を教師画像局所特徴量符号として出力し、局所特徴量抽出装置が算出した局所特徴量を該クラスタリングにおいて算出された該クラスに分類し、該クラスごとの出現頻度を入力画像特徴量符号として出力する
ことを特徴とする請求項１５に記載の状態判定装置。
【請求項１７】
請求項１〜１２のいずれかに記載の局所特徴量抽出装置と、
教師画像の特徴点情報及び局所特徴量を符号化した教師画像局所特徴量符号と、該教師画像局所特徴量符号を識別する分類ラベルと、該教師画像局所特徴量符号の符号化情報を保持する局所特徴量符号記憶部と、
前記局所特徴量抽出装置が算出した特徴点情報及び局所特徴量を入力画像局所特徴量符号として符号化する局所特徴量符号化部と、前記入力画像局所特徴量符号と、前記教師画像局所特徴量符号とに基づき、前記入力画像の対象物と前記教師画像との比較を行う比較部と、該比較部が比較した結果に基づき、前記入力画像の対象物の状態を判定する判断部とを備える状態判定手段と
を有することを特徴とする状態判定装置。
【請求項１８】
前記比較部は、前記教師画像局所特徴量符号の分類ラベルごとに、前記入力画像局所特徴量符号と前記教師画像局所特徴量符号との相違度を計算することを特徴とする請求項１７に記載の状態判定装置。
【請求項１９】
前記局所特徴量符号化部は、前記局所特徴量抽出装置が算出した局所特徴量を、前記教師画像局所特徴量符号の符号化情報を基に複数のクラスに分類し、該クラスごとの出現頻度を前記入力画像局所特徴量符号として出力することを特徴とする請求項１７又は１８に記載の状態判定装置。
【請求項２０】
コンピュータを、
入力画像から複数の特徴点を検出する特徴点検出部と、該特徴点の特徴点情報を算出する特徴点情報算出部とを備える特徴点検出手段と、
前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する特徴点決定部を備える特徴点処理手段と、
前記特徴点決定部で決定された特徴点に基づき、局所特徴量を算出する局所特徴量抽出手段と
して機能させることを特徴とする局所特徴量抽出プログラム。
【請求項２１】
請求項１〜１２のいずれかに記載の局所特徴量抽出装置を備える状態判定装置に搭載されるコンピュータを、
教師画像の画像情報を基に算出された特徴点情報及び局所特徴量を保持する局所特徴量記憶部と、
前記局所特徴量抽出装置で算出された特徴点情報及び局所特徴量と、前記局所特徴量記憶部に記憶される前記教師画像の画像情報を基に算出された特徴点情報及び局所特徴量とに基づき、前記入力画像の対象物と前記教師画像との比較を行う比較部と、該比較部が比較した結果に基づき、前記入力画像の対象物の状態を判定する判断部とを備える状態判定手段と
して機能させることを特徴とする状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムに関する。
【背景技術】
【０００２】
従来、画像内の被写体（対象物）を、精度良く識別可能とするために、画像内の特徴点を複数検出し、各特徴点周辺の局所領域の特徴量（局所特徴量）を抽出する方式（構成）が提案されている（例えば、特許文献１参照）。
【０００３】
図１８は、従来の局所特徴量抽出装置の一般的な構成の一例を示す図である。
【０００４】
図１８において、局所特徴量抽出装置３００は、入力画像から複数の特徴点を検出する特徴点検出部３０１と、検出された特徴点ごとに当該特徴点の信頼度を算出する特徴点信頼度算出部３０２と、検出された特徴点の中から、特徴点信頼度算出部３０２で算出された特徴点ごとの信頼度に基づき、局所特徴量を抽出するための特徴点を選択する特徴点選択部３０３と、選択された特徴点の局所特徴量を抽出する局所特徴量抽出部３０４とを有する。以下、各部の詳細を述べる。
【０００５】
まず、特徴点検出部３０１は、入力画像（又は入力画像に所定の処理を施した画像）から複数の特徴点を検出し、検出した特徴点に関する情報である特徴点情報を算出する。特徴点検出及び特徴点情報算出の際には、例えば、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）検出器などを用いる。
【０００６】
次に、特徴点信頼度算出部３０２は、特徴点検出部３０１で検出された特徴点ごとに、特徴点の近傍の輝度勾配に基づいて当該特徴点の信頼度を算出する。より具体的には、特徴点信頼度算出部３０２は、特徴点のオリエンテーション（方向）を算出し、そのオリエンテーションを算出する際にそのオリエンテーションの信頼度を算出し、このオリエンテーション信頼度を当該特徴点の信頼度とする。
【０００７】
次に、特徴点選択部３０３は、特徴点検出部３０１で検出された特徴点の中から、特徴点信頼度算出部３０２で算出された特徴点ごとの信頼度に基づき、局所特徴量を抽出する特徴点を選択する。より具体的には、特徴点選択部３０３はオリエンテーション信頼度が所定値以上の特徴点を選別する。これにより、特徴点付近の大域的な輝度勾配が大きく、オリエンテーションの安定した特徴点のみを選択できる。特徴点選択部３０３は、選択した特徴点ごとに、特徴点に関する情報である特徴点情報を局所特徴量抽出部３０４へ出力する。
【０００８】
次に、局所特徴量抽出部３０４は、特徴点選択部３０３から受け取った特徴点の特徴点情報に基づいて、特徴点ごとに局所特徴量を抽出する。抽出する局所特徴量としては、例えばＢＲＩＥＦ（Ｂｉｎａｒｙ  Ｒｏｂｕｓｔ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｅｌｅｍｅｎｔａｒｙ  Ｆｅａｔｕｒｅｓ）特徴量を用いることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１７−１３００８９号公報
【非特許文献】
【００１０】
【非特許文献１】Ｅｒｉｃ  Ｎｏｗａｋ，ｅｔ  ａｌ．，  “Ｓａｍｐｌｉｎｇ  ｓｔｒａｔｅｇｉｅｓ  ｆｏｒ  ｂａｇ−ｏｆ−ｆｅａｔｕｒｅｓ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ“，Ｐｒｏｃ．Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００６  ＩＶ，４９０−５０３，２００６
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、上記構成の局所特徴量抽出装置は、入力画像に対して、必ずしも最適な数の特徴点を抽出しているとは限らなかった。
【００１２】
例えば、入力画像の被写体を識別する上で必要以上の数の特徴点を選択し、局所特徴量を計算してしまうと、演算処理能力に制限がある装置ではフリーズしてしまう懸念がある。また、局所特徴量抽出装置が特徴点ごとに算出した局所特徴量をネットワークに送信するシステムでは、特徴点が必要以上に多くなると、送信パケットの容量が大きくなってしまい、ネットワーク（例えば、無線マルチホップネットワーク）の輻輳を招いてしまう。
【００１３】
一方、入力画像の対象物を識別する上で特徴点の数が少ないと、精度良く識別することができなくなってしまう。
【００１４】
上記特許文献１に記載の装置では、画像中の特徴点の位置に関わらず、特徴点を削除してしまうという問題点があった。ＳＩＦＴやＦＡＳＴなどといった特徴点検出器を用いて特徴点検出を行った場合、画像中のコーナーやエッジの集合部分の付近に多くの特徴点が検出される。言い換えれば、画像中の画素値の分布の変化が大きい領域は、検出される特徴点の個数が多くなり、変化が小さい領域は、検出される特徴点の個数が少なくなる。このような画像中の特徴点の分布が一様ではない特徴点群を類似画像検索などの画像処理に適用する場合、「識別性能」が悪化することが報告されている（非特許文献１参照）。
【００１５】
そのため、入力画像の対象物を識別する上で最適な特徴点を効率的に選択し、選択された特徴点の局所特徴量を安定して抽出できる局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムが望まれている。
【課題を解決するための手段】
【００１６】
第１の本発明の局所特徴量抽出装置は、（１）入力画像から複数の特徴点を検出する特徴点検出部と、該特徴点の特徴点情報を算出する特徴点情報算出部とを備える特徴点検出手段と、（２）前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する特徴点決定部を備える特徴点処理手段と、（３）前記特徴点決定部で決定された特徴点に基づき、局所特徴量を算出する局所特徴量抽出手段とを有することを特徴とする。
【００１７】
第２の本発明の状態判定装置は、（１）第１の本発明の局所特徴量抽出装置と、（２）教師画像の画像情報を基に算出された特徴点情報及び局所特徴量を保持する局所特徴量記憶部と、（３）前記局所特徴量抽出装置で算出された特徴点情報及び局所特徴量と、前記局所特徴量記憶部に記憶される前記教師画像の画像情報を基に算出された特徴点情報及び局所特徴量とに基づき、前記入力画像の対象物と前記教師画像との比較を行う比較部と、該比較部が比較した結果に基づき、前記入力画像の対象物の状態を判定する判断部とを備える状態判定手段とを有することを特徴とする。
【００１８】
第３の本発明の局所特徴量抽出プログラムは、コンピュータを、（１）入力画像から複数の特徴点を検出する特徴点検出部と、該特徴点の特徴点情報を算出する特徴点情報算出部とを備える特徴点検出手段と、（２）前記特徴点情報に基づき、局所特徴量を算出する特徴点を決定する特徴点決定部を備える特徴点処理手段と、（３）前記特徴点決定部で決定された特徴点に基づき、局所特徴量を算出する局所特徴量抽出手段として機能させることを特徴とする。
【００１９】
第４の本発明の状態判定プログラムは、（１）第１の本発明の局所特徴量抽出装置を備える状態判定装置に搭載されるコンピュータを、（２）教師画像の画像情報を基に算出された特徴点情報及び局所特徴量を保持する局所特徴量記憶部と、（３）前記局所特徴量抽出装置で算出された特徴点情報及び局所特徴量と、前記局所特徴量記憶部に記憶される前記教師画像の画像情報を基に算出された特徴点情報及び局所特徴量とに基づき、前記入力画像の対象物と前記教師画像との比較を行う比較部と、該比較部が比較した結果に基づき、前記入力画像の対象物の状態を判定する判断部とを備える状態判定手段として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、入力画像の対象物を識別する上で最適な特徴点を効率的に選択し、選択された特徴点の局所特徴量を安定して抽出できる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る局所特徴量抽出装置の構成を示すブロック図である。
【図２】第１の実施形態に係る特徴点決定部の構成を示すブロック図である。
【図３】第１の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。
【図４】第１の実施形態に係る特徴点削除部の動作を示すフローチャートである。
【図５】第１の実施形態に係る特徴点追加部の動作を示すフローチャートである。
【図６】第１の実施形態に係る特徴点の削除処理及び追加処理の具体例を示す図である。
【図７】第２の実施形態に係る特徴点処理部の構成を示すブロック図である。
【図８】第２の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。
【図９】第２の実施形態に係る複数の小領域画像に特徴点の削除処理及び追加処理を行う一例を示す図である。
【図１０】第２の実施形態に係る特徴点分類処理の一例を示す図である。
【図１１】第３の実施形態に係る特徴点処理部の構成を示すブロック図である。
【図１２】第３の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。
【図１３】第４の実施形態に係る状態判定装置の構成について示すブロック図である。
【図１４】第４の実施形態に係る状態判定装置の動作を示すフローチャートである。
【図１５】第５の実施形態に係る状態判定装置の構成について示すブロック図である。
【図１６】第５の実施形態に係る状態判定装置の動作を示すフローチャートである。
【図１７】変形実施形態に係る状態判定装置の構成について示すブロック図である。
【図１８】従来の局所特徴量抽出装置の一般的な構成の一例を示す図である。
【発明を実施するための形態】
【００２２】
（Ａ）第１の実施形態
以下、本発明に係る局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムの第１の実施形態を、図面を参照しながら詳述する。
【００２３】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る局所特徴量抽出装置の構成を示すブロック図である。局所特徴量抽出装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い（後述する第２〜第５の実施形態も同様）。
【００２４】
局所特徴量抽出装置１０は、入力画像が入力される入力端子Ｉ１と、特徴点検出器１１と、特徴点処理部１２と、局所特徴量抽出部１３と、入力画像特徴点情報と入力画像局所特徴量を出力する出力端子Ｏ１とを有する。
【００２５】
特徴点検出器１１は、特徴点検出部１１１及び特徴点情報算出部１１２を備え、特徴点検出に係る処理を行う。
【００２６】
特徴点検出部１１１は、入力画像から複数の特徴点を検出するが、例えば、ＦＡＳＴやＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）等の手法を用いる。
【００２７】
特徴点情報算出部１１２は、特徴点検出部１１１で検出された特徴点ごとに、特徴点情報を算出する。特徴点情報は、例えば、「特徴点の座標」と、「特徴点のオリエンテーション」と、「特徴点のスケール」と、「特徴点の信頼度」と、「特徴点の分類ラベル」である。
【００２８】
上記特徴点の信頼度は、例えば、特徴点の座標から特徴点の近傍領域の輝度の重心への方向ベクトルの大きさと、前記特徴点の近傍領域のコントラストとの少なくともいずれか一つを基にして算出される。
【００２９】
上記特徴点の分類ラベルは、各特徴点が属する画像を識別するものである。第１の実施形態では、特徴点の分類ラベルは入力画像のみとなる。入力画像を分割する後述の実施形態では、特徴点の分類ラベルは、分割した各小領域画像となる。また、教師画像を用いる後述の実施形態では、特徴点の分類ラベルは、各教師画像となる。いずれにしても特徴点の分類ラベルは、各特徴点が存在する媒体（入力画像、小領域画像、教師画像）を識別するものである。
【００３０】
特徴点処理部１２は、特徴点決定部１２１を備え、検出した特徴点に係る所定の処理を行う。
【００３１】
特徴点決定部１２１は、図２（Ａ）及び（Ｂ）に示すように、少なくとも特徴点削除部１２２又は特徴点追加部１２３を備える。また、特徴点決定部１２１は、図２（Ｃ）及び（Ｄ）に示すように、特徴点削除部１２２と特徴点追加部１２３とを両方備えていても良く、各部の適用順も限定されるものではない。
【００３２】
特徴点削除部１２２は、検出した特徴点の個数と所定の特徴点の目標個数（削除処理後の目標個数）とを比較し、検出した特徴点の個数が目標個数を越えていた場合には、特徴点の信頼度の低い順から順次削除する。
【００３３】
特徴点追加部１２３は、検出した特徴点の個数と所定の特徴点の目標個数（追加処理後の目標個数）とを比較し、検出した特徴点の個数が追加処理後の目標個数未満の場合には、画像中の特徴点の分布が一様になるように特徴点を追加する。
【００３４】
局所特徴量抽出部１３は、特徴点処理部１２から入力された特徴点の特徴点情報に基づいて、特徴点ごとに局所特徴量を抽出する。抽出する局所特徴量としては、種々様々な特徴量を用いることができるが、例えば、ＢＲＩＥＦ特徴量や、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量などを用いてもよい。
【００３５】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る局所特徴量抽出装置１０の動作を、図面を参照しながら詳細に説明する。
【００３６】
（Ａ−２−１）局所特徴量抽出装置の全体的な動作
図３は、第１の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。
【００３７】
特徴点検出部１１１は、入力画像から複数の特徴点を検出する（Ｓ１０１）。
【００３８】
次に、特徴点情報算出部１１２は、先述のステップＳ１０１で検出された特徴点ごとに、特徴点情報を算出する（Ｓ１０２）。
【００３９】
次に、特徴点処理部１２（特徴点決定部１２１）は、特徴点情報に基づいて、少なくとも特徴点の削除処理又は追加処理のいずれか１つを行う（Ｓ１０３）。特徴点の削除処理及び追加処理の詳細な処理は後述する。
【００４０】
そして、局所特徴量抽出部１３は、特徴点処理部１２から入力された特徴点情報に基づいて局所特徴量抽出処理を行う（Ｓ１０４）。
【００４１】
（Ａ−２−２）ステップＳ１０３における特徴点の削除処理の詳細
図４は、第１の実施形態に係る特徴点削除部の動作を示すフローチャートである。
【００４２】
特徴点削除部１２２は、特徴点検出器１１から特徴点情報が入力されると（Ｓ１０３−Ｄ１）、検出済みの特徴点の個数Ｎｃ１と削除処理後の特徴点の目標個数Ｎｄとを比較する（Ｓ１０３−Ｄ２）。なお、削除処理後の特徴点の目標個数Ｎｄは、例えば、局所特徴量抽出装置１０の演算処理能力に基づいて、管理者によって事前に定められる。
【００４３】
特徴点削除部１２２は、先述のステップＳ１０３−Ｄ２の処理により、検出済みの特徴点の個数Ｎｃ１が削除処理後の特徴点の目標個数Ｎｄを超えている場合（Ｎｃ１＞Ｎｄ）にはＮｃ１−Ｎｄ個の特徴点を選択し、選択された特徴点を削除する（Ｓ１０３−Ｄ３）。特徴点を選択する際には、例えば、特徴点情報の「特徴点の信頼度」が低い特徴点から順に選択する。
【００４４】
一方、特徴点削除部１２２は、先述のステップＳ１０３−Ｄ２の処理により、検出済みの特徴点の個数Ｎｃ１が削除処理後の特徴点の目標個数Ｎｄ以下の場合（Ｎｃ１≦Ｎｄ）には、次の処理を行う。
【００４５】
特徴点削除部１２２は、ステップＳ１０３−Ｄ３の処理が行われた場合には、削除されなかった残りの特徴点の特徴点情報を出力し、ステップＳ１０３−Ｄ３の処理が行われなかった場合には、入力された特徴点情報をそのまま出力する。
【００４６】
図６（Ａ）では、目標個数Ｎｄが１０個の場合に特徴点が削除される例が示されている。
【００４７】
（Ａ−２−３）ステップＳ１０３における特徴点の追加処理の詳細
図５は、第１の実施形態に係る特徴点追加部の動作を示すフローチャートである。
【００４８】
特徴点追加部１２３は、特徴点検出器１１から特徴点情報（特徴点削除処理が行われた場合には、処理後の特徴点情報）が入力されると（Ｓ１０３−Ａ１）、検出済みの特徴点の個数Ｎｃ2と追加処理後の特徴点の目標個数Ｎaとを比較する（Ｓ１０３−Ａ２）。なお、追加処理後の特徴点の目標個数Ｎaは、例えば、局所特徴量抽出装置１０の演算処理能力に基づいて、管理者によって事前に定められる。また、追加処理後の特徴点の目標個数Ｎaは、削除処理後の特徴点の目標個数Ｎｄ以上の値を設定するものとする。
【００４９】
特徴点追加部１２３は、先述のステップＳ１０３−Ａ２の処理により、検出済みの特徴点の個数Ｎｃ2が追加処理後の特徴点の目標個数Ｎa未満の場合（Ｎｃ2＜Ｎa）には、入力画像の領域に一様に分布するように、Ｎa−Ｎｃ2個の特徴点を追加する（Ｓ１０３−Ａ３）。特徴点を追加する際には、例えば、Ｄｅｎｓｅ  Ｓａｍｐｌｉｎｇを適用して追加する。Ｄｅｎｓｅ  Ｓａｍｐｌｉｎｇを適用する際は、追加候補の特徴点がグリッド状に並ぶように座標を定め、追加する特徴点のスケールとオリエンテーションとを、追加候補の各特徴点においてそれぞれ一定の値とする。
【００５０】
一方、特徴点追加部１２３は、先述のステップＳ１０３−Ａ２の処理により、検出済みの特徴点の個数Ｎｃ2が追加処理後の特徴点の目標個数Ｎa以上の場合（Ｎｃ2≧Ｎa）には、次の処理を行う。
【００５１】
特徴点追加部１２３は、ステップＳ１０３−Ａ３の処理が行われた場合には、追加分を含む特徴点の特徴点情報を出力し、ステップＳ１０３−Ａ３の処理が行われなかった場合には、入力された特徴点情報をそのまま出力する。
【００５２】
図６（Ｂ）では、目標個数Ｎaが１０個の場合に特徴点が追加される例が示されている。
【００５３】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、以下の効果を奏する。
【００５４】
局所特徴量抽出装置１０が、特徴点の削除処理により信頼度の低い特徴点が削除すれば、局所特徴量を抽出する特徴点の信頼度が高まる。
【００５５】
さらに、局所特徴量抽出装置１０が、特徴点の追加処理を行えば、画像平面中の特徴点の分布が一様に近づき、各種の画像処理に適用した場合にも識別性能の低下を抑えることができる。
【００５６】
（Ｂ）第２の実施形態
以下、本発明に係る局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムの第２の実施形態を、図面を参照しながら詳述する。
【００５７】
（Ｂ−１）第２の実施形態の構成
第２の実施形態の局所特徴量抽出装置１０の構成についても、第１の実施形態と同様に図１及び図２を用いて示すことができる。
【００５８】
以下では、第２の実施形態の局所特徴量抽出装置１０の構成について、第１の実施形態との差異を中心に説明する。第２の実施形態の局所特徴量抽出装置１０は、第１の実施形態の特徴点処理部１２の代わりに特徴点処理部１２Ａ（図７）が適用される点が異なる。
【００５９】
図７は、第２の実施形態に係る特徴点処理部の構成を示すブロック図である。第２の実施形態に係る特徴点処理部１２Ａは、特徴点決定部１２１に加えて、小領域分割部１２４を備える。
【００６０】
小領域分割部１２４は、入力画像を複数の小領域画像に分割する処理（画像分割処理）と、特徴点情報を小領域画像ごとに分類する処理（特徴点分類処理）とを行う。画像分割処理及び特徴点分類処理の詳細は動作の項で述べる。
【００６１】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る局所特徴量抽出装置１０の動作を、図面を参照しながら詳細に説明する。
【００６２】
図８は、第２の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。図８の処理の内、図３と同一符号が付された処理（ステップＳ１０１、ステップＳ１０２、ステップＳ１０４）は、基本的に同様であるので、詳しい説明を省略する。以下では異なる点（ステップＳ２０１、ステップ２０２、ステップＳ１０３Ａ）を中心に説明を行う。
【００６３】
小領域分割部１２４は、先述のステップ１０２の処理に続いて、入力画像を複数の小領域画像に分割する画像分割処理を行う（Ｓ２０１）。例えば、小領域分割部１２４は、入力画像を複数の矩形の小領域画像に分割（複数の小領域画像がすべて同一形状かつ同一解像度）する。
【００６４】
次に、小領域分割部１２４は、入力画像を分割した各小領域画像に対して、特徴点分類処理を行う。特徴点分類処理は、特徴点検出器１１で検出した特徴点が、画像分割処理において作成した複数の小領域画像のうちどの小領域画像上に存在するかを判定し、該特徴点の特徴点情報の分類ラベルへ、該特徴点が存在する小領域画像のラベルを記録する。
【００６５】
ステップＳ１０３Ａの処理は、第１の実施形態のステップＳ１０３の処理と基本的に同様であるが、一部異なる。即ち、第１の実施形態では、入力画像を対象として特徴点の削除及び追加処理を行っていたが、第２の実施形態では、各小領域画像を対象として特徴点の削除及び追加処理を行う。具体的に特徴点決定部１２１では、小領域分割部１２４で分類された特徴点の分類ごと（小領域画像ごと）に、特徴点の個数を判定し、削除処理及び追加処理を実行する。
【００６６】
図９では、複数の小領域画像に特徴点の削除処理及び追加処理が行われる例が示されている。また、図１０では、特徴点分類処理の一例が示されている。
【００６７】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態の効果に加えて以下の効果を奏する。
【００６８】
第２の実施形態の局所特徴量抽出装置１０は、小領域画像ごとに特徴点を分類し、削除処理及び追加処理を行うことで、第１の実施形態と比較して、画像平面上の特徴点の分布がさらに一様に近づくという効果が得られる。
【００６９】
また、小領域分割部以降の処理は、それぞれ独立して実行することが可能であり、並列処理を行うことで処理速度の向上が期待できる。
【００７０】
（Ｃ）第３の実施形態
以下、本発明に係る局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムの第３の実施形態を、図面を参照しながら詳述する。
【００７１】
（Ｃ−１）第３の実施形態の構成
図１１は、第３の実施形態に係る局所特徴量抽出装置の構成について示すブロック図である。
【００７２】
第３の実施形態の局所特徴量抽出装置１０は、図１の局所特徴量抽出装置１０の構成に加えて、入力画像分割部１４を有する。
【００７３】
入力画像分割部１４の機能は、先述の小領域分割部１２４と同様に入力画像を複数の小領域画像に分割する画像分割処理を行う。分割された各小領域画像は特徴点検出器１１に出力される。
【００７４】
（Ｃ−２）第３の実施形態の動作
次に、第３の実施形態に係る局所特徴量抽出装置１０の動作を、図面を参照しながら詳細に説明する。
【００７５】
図１２は、第３の実施形態に係る局所特徴量抽出装置の動作を示すフローチャートである。図１２の処理の内、図３、図８と同一符号が付された処理（ステップＳ２０１、ステップＳ１０３Ａ、ステップＳ１０４）処理は、基本的に同様であるので、詳しい説明を省略する。以下では異なる点（ステップＳ１０１Ａ、ステップ１０２Ａ）を中心に説明を行う。
【００７６】
ステップＳ２０１の処理により分割された各小領域画像が特徴点検出器１１に入力されると以下のステップＳ１０１Ａの処理が行われる。
【００７７】
ステップＳ１０１Ａの処理は、第１の実施形態のステップＳ１０１の処理と基本的に同様であるが、一部異なる。即ち、第１の実施形態では、入力画像を対象として特徴点の検出処理を行っていたが、第３の実施形態では、各小領域画像を対象として特徴点の検出処理を行う。
【００７８】
次のステップＳ１０２Ａの処理も上記同様に、ステップＳ１０１Ａの処理で検出した小領域画像ごとに特徴点情報を算出する。
【００７９】
続いて、先述のステップＳ１０３Ａ及びステップＳ１０４の処理が行われる。
【００８０】
（Ｃ−３）第３の実施形態の効果
以上のように、第３の実施形態によれば、第１の実施形態の効果に加えて以下の効果を奏する。
【００８１】
第３の実施形態の局所特徴量抽出装置１０は、小領域画像ごとに特徴点を分類し、削除処理及び追加処理を行うことで、第１の実施形態と比較して、画像平面上の特徴点の分布がさらに一様に近づくという効果が得られる。
【００８２】
また、小領域分割部以降の処理は、それぞれ独立して実行することが可能であり、並列処理を行うことで処理速度の向上が期待できる。
【００８３】
（Ｄ）第４の実施形態
以下、本発明に係る局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムの第４の実施形態を、図面を参照しながら詳述する。
【００８４】
（Ｄ−１）第４の実施形態の構成
図１３は、第４の実施形態に係る状態判定装置の構成について示すブロック図である。状態判定装置は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしても良い（後述する第５の実施形態も同様）。
【００８５】
状態判定装置１は、入力画像が入力される入力端子Ｉ２と、局所特徴量抽出装置１０と、状態判定部２０と、局所特徴量記憶部３０と、判定結果を出力する出力端子Ｏ２を有する。
【００８６】
局所特徴量抽出装置１０は、第１〜第３の実施形態の局所特徴量抽出装置１０のいずれかが適用される。
【００８７】
状態判定部２０は、比較部２１及び判断部２２を備え、入力画像（小領域画像）の対象物の状態を判定する。
【００８８】
比較部２１は、局所特徴量抽出装置が算出した局所特徴量と、局所特徴量記憶部に保持されている局所特徴量とを用いて対応点マッチングを行い、教師画像ごとの局所特徴量の相違度を計算する。比較部２１は、教師画像ごとの局所特徴量の相違度を判断部２２に出力する。
【００８９】
判断部２２は、局所特徴量の相違度に基づき、判定結果を出力する。判断手法（判定手法）は、種々様々な手法を用いることができるが、例えば、局所特徴量の相違度が所定の閾値を超えていた場合には、入力画像（入力画像の対象物）が教師画像（複数存在しても良い）と類似していると判断する。
【００９０】
局所特徴量記憶部３０は、教師画像から算出された教師画像特徴点情報と教師画像局所特徴量とを記憶するものである。
【００９１】
（Ｄ−２）第４の実施形態の動作
次に、第４の実施形態に係る状態判定装置１の動作を、図面を参照しながら詳細に説明する。
【００９２】
図１４（Ａ）は、第４の実施形態に係る状態判定装置の全体動作を示すフローチャートである。また、図１４（Ｂ）は、第４の実施形態に係る状態判定部２０の動作を示すフローチャートである。
【００９３】
状態判定装置１（局所特徴量抽出装置１０）は、入力画像が入力されると、局所特徴量抽出処理を行う（Ｓ３０１）。局所特徴量抽出処理は先述の図３、図８、図１２で説明したいずれかの処理である。局所特徴量抽出装置１０は、算出した入力画像特徴点情報及び入力画像局所特徴量を状態判定部２０へ出力する。
【００９４】
状態判定部２０は、入力画像特徴点情報及び入力画像局所特徴量と、局所特徴量記憶部３０に記憶される教師画像特徴点情報及び教師画像局所特徴量とを基に、以下の状態判定処理を行う（Ｓ３０２）。
【００９５】
比較部２１は、対応点マッチングを用いて入力画像と教師画像との相違度を教師画像ごとに求め、相違度と教師画像（教師画像を識別する教師画像の分類ラベル）のペアのリストを比較結果として出力する（Ｓ３０２−１）。例えば、比較部２１は、教師画像の分類ラベルごとに局所特徴量の相違度の平均値（中央値等他の統計値でも良い）を計算し、教師画像の分類ラベルと、該教師画像の分類ラベルに対応する該相違度を出力する。
【００９６】
判断部２２は、比較部２１の出力に基づいて判定結果を出力する（Ｓ３０２−２）。例えば、判断部２２は、相違度が一定値以上の教師画像を入力画像の類似画像と判断しても良い。
【００９７】
（Ｄ−３）第４の実施形態の効果
以上のように、第４の実施形態によれば、以下の効果を奏する。
【００９８】
状態判定装置１は、局所特徴量抽出装置１０によって、局所特徴量抽出に用いる特徴点の画像中の分布が一様に近づいているため、入力画像に類似する画像を教師画像中から検索する処理などの識別精度が向上することが期待される。
【００９９】
また、状態判定装置１は、第２及び第３の実施形態に係る局所特徴量抽出装置１０を適用することで、入力画像を分割した小領域画像ごとに、物体を認識することが可能となる。
【０１００】
（Ｅ）第５の実施形態
以下、本発明に係る局所特徴量抽出装置、局所特徴量抽出プログラム、状態判定装置、及び状態判定プログラムの第５の実施形態を、図面を参照しながら詳述する。
【０１０１】
（Ｅ−１）第５の実施形態の構成
図１５は、第５の実施形態に係る状態判定装置の構成について示すブロック図である。
【０１０２】
第５の実施形態の状態判定装置１は、第４の実施形態の状態判定装置１（図１３）と構成が一部異なる。即ち、第５の実施形態の状態判定装置１は、状態判定部２０の代わりに状態判定部２０Ａが適用される点が異なる。以下では、異なる点である状態判定部２０Ａを中心に説明を行う。
【０１０３】
状態判定部２０Ａは、比較部２１Ａ、判断部２２Ａ、及び局所特徴量符号化部２３を備え、入力画像（小領域画像）と教師画像とを比較判定する。
【０１０４】
局所特徴量符号化部２３は、入力された教師画像特徴点情報と教師画像局所特徴量とをクラスタリングすることで教師画像局所特徴量符号を作成する。さらに、局所特徴量符号化部２３は、該クラスタリングによってできたクラスタへ、入力された入力画像特徴点情報と入力画像局所特徴量とを分類し、入力画像局所特徴量符号を作成する。局所特徴量符号化部２３は、作成した教師画像局所特徴量符号及び入力画像局所特徴量符号を比較部２１Ａへ出力する。
【０１０５】
比較部２１Ａは、入力画像局所特徴量符号と、教師画像ごとの教師画像局所特徴量符号の相違度を計算する。比較部２１Ａは、教師画像ごとの局所特徴量符号の相違度を判断部２２Ａに出力する。
【０１０６】
判断部２２Ａは、局所特徴量符号の相違度に基づき、判定結果を出力する。
【０１０７】
（Ｅ−２）第５の実施形態の動作
次に、第５の実施形態に係る状態判定装置１の動作を、図面を参照しながら詳細に説明する。
【０１０８】
ステップＳ３０１の処理は、第４の実施形態（図１６）と同様であるので、説明を省略する。
【０１０９】
先述のステップＳ３０１の処理に続き、状態判定部２０Ａは、入力画像特徴点情報及び入力画像局所特徴量と、局所特徴量記憶部３０に記憶される教師画像特徴点情報及び教師画像局所特徴量とを基に、以下の状態判定処理を行う（Ｓ３０２Ａ）。
【０１１０】
局所特徴量符号化部２３は、入力された教師画像特徴点情報と教師画像局所特徴量とをクラスタリングすることで教師画像局所特徴量符号を作成する（Ｓ３０２Ａ−１）。即ち、教師画像局所特徴量符号は、教師画像局所特徴量を量子化したものである。
【０１１１】
さらに、局所特徴量符号化部２３は、該クラスタリングによってできたクラスタへ、入力された入力画像特徴点情報と入力画像局所特徴量をと分類し、入力画像局所特徴量符号を作成する。即ち、入力画像局所特徴量符号とは、教師画像局所特徴量符号と同じ基準で入力画像局所特徴量を量子化したものである。
【０１１２】
局所特徴量符号化部２３は、作成した入力画像局所特徴量符号と教師画像局所特徴量符号とを比較部２１Ａに出力する。
【０１１３】
比較部２１Ａは、入力画像局所特徴量符号と教師画像局所特徴量符号との相違度を教師画像（教師画像ラベル）ごとに求め、相違度と教師画像ラベルのペアのリストを比較結果として出力する（Ｓ３０２Ａ−２）。
【０１１４】
判断部２２は、比較部２１の出力に基づいて判定結果を出力する（Ｓ３０２Ａ−３）。
【０１１５】
（Ｅ−３）第５の実施形態の効果
以上のように、第５の実施形態によれば、以下の効果を奏する。
【０１１６】
状態判定装置１は、局所特徴量抽出装置１０によって、局所特徴量抽出に用いる特徴点の画像中の分布が一様に近づいているため、入力画像に類似する画像を教師画像中から検索する処理などの識別精度が向上することが期待される。
【０１１７】
また、状態判定装置１は、局所特徴量符号化部２３において、各局所特徴量から各局所特徴量符号を算出することで、情報量を削減することが可能である。さらに、状態判定装置１は、算出した各局所特徴量符号を用いて比較判定を行うので全体的な計算量を削減することが可能となる。
【０１１８】
そして、状態判定装置１は、第２及び第３の実施形態に係る局所特徴量抽出装置１０を適用することで、入力画像を分割した小領域画像ごとに、物体を認識することが可能となる。
【０１１９】
（Ｆ）他の実施形態
上述した第１〜第５の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【０１２０】
（Ｆ−１）上述した第１の実施形態では、特徴点の追加処理（ステップＳ１０３の処理）において、Ｄｅｎｓｅ  Ｓａｍｐｌｉｎｇを適用する際に、追加候補の特徴点がグリッド状に並ぶように座標を定め、追加候補の特徴点のスケールとオリエンテーションを、追加候補の各特徴点においてそれぞれ一定の値とするように説明したが、特徴点追加部１２３は、追加候補の各特徴点の座標をランダムに定めるようにしてもよい。また、追加候補の特徴点のスケールとオリエンテーションとを、追加候補の各特徴点においてそれぞれランダムに定めるようにしてもよい。
【０１２１】
（Ｆ−２）上述した第２及び第３の実施形態において、局所特徴量抽出部１３で局所特徴量を抽出する際に、使用する画像は入力画像とした例を示したが、画像分割処理で得られた複数の小領域画像の、少なくとも１つを使用してもよい。
【０１２２】
（Ｆ−３）上述した第５の実施形態において、状態判定部２０Ａ内の局所特徴量符号化部２３で局所特徴量符号を算出する際に、入力画像局所特徴量符号と教師画像局所特徴量符号を算出する例を示したが、教師画像局所特徴量符号及びクラスタリング情報はあらかじめ計算しておき、局所特徴量符号化部２３は入力画像局所特徴量符号のみを算出するようにしてもよい。
【０１２３】
図１７は、変形実施形態に係る状態判定装置の構成について示すブロック図である。変形実施形態の状態判定装置１は、第５の実施形態の状態判定装置１（図１）の構成が一部異なる。即ち、第５の実施形態の状態判定装置１は、状態判定部２０Ａの代わりに状態判定部２０Ｂが適用され、局所特徴量記憶部３０の代わりに局所特徴量符号記憶部４０が適用される点が異なる。
【０１２４】
局所特徴量符号記憶部４０は、教師画像局所特徴量符号と、教師画像局所特徴量符号の分類ラベルと、クラスタリング情報を記憶する。
【０１２５】
また、局所特徴量符号化部２３の入力は、入力画像特徴点情報と、入力画像局所特徴量と、クラスタリング情報とする。局所特徴量符号化部２３Ａは、クラスタリング情報を基に入力画像特徴点情報と入力画像局所特徴量を分類し、入力画像局所特徴量符号を作成する。比較部２１は、入力画像局所特徴量符号を局所特徴量符号化部２３から受け取り、教師画像局所特徴量符号を局所特徴量符号記憶部４０から受け取り、処理を実行する。
【０１２６】
（Ｆ−４）上述した第５の実施形態において、局所特徴量符号化部２３で符号化する際に用いるクラスタリング情報は、例えば決定木であってもよい。決定木に入力画像局所特徴量を入力し、該入力画像局所特徴量が到達した決定木の末端ノードを記録する処理を、全入力画像局所特徴量に対して行う。末端ノードごとの到達頻度をヒストグラムで表現し、出力したものが入力画像局所特徴量符号である。
【０１２７】
（Ｆ−５）上述した第４、及び第５の実施形態において、状態判定部２０（状態判定部２０Ａ）は入力画像ごとに処理を実行し、出力される処理結果も入力画像ごとの結果である例を示したが、小領域画像ごとに処理を実行してもよいし、出力される処理結果も小領域画像ごとの結果としてもよい。
【符号の説明】
【０１２８】
１…状態判定装置、１０…局所特徴量抽出装置、１１…特徴点検出器、１２、１２Ａ…特徴点処理部、１３…局所特徴量抽出部、１４…入力画像分割部、２０、２０Ａ、２０Ｂ…状態判定部、２１、２１Ａ…比較部、２２、２２Ａ…判断部、２３、２３Ａ…局所特徴量符号化部、３０…局所特徴量記憶部、４０…局所特徴量符号記憶部、１１１…特徴点検出部、１１２…特徴点情報算出部、１２１…特徴点決定部、１２２…特徴点削除部、１２３…特徴点追加部、１２４…小領域分割部。
【図１】
2020027365.tif 000003
【図２】
2020027365.tif 000004
【図３】
2020027365.tif 000005
【図４】
2020027365.tif 000006
【図５】
2020027365.tif 000007
【図６】
2020027365.tif 000008
【図７】
2020027365.tif 000009
【図８】
2020027365.tif 000010
【図９】
2020027365.tif 000011
【図１０】
2020027365.tif 000012
【図１１】
2020027365.tif 000013
【図１２】
2020027365.tif 000014
【図１３】
2020027365.tif 000015
【図１４】
2020027365.tif 000016
【図１５】
2020027365.tif 000017
【図１６】
2020027365.tif 000018
【図１７】
2020027365.tif 000019
【図１８】
2020027365.tif 000020