(57)【要約】  位置不変な局所特徴量を抽出できる特徴量抽出装置、方法及びプログラム、並びにそれを搭載した場所推定装置、方法及びプログラムを提供する。場所推定装置（１０）は、特徴量抽出部（１１）が抽出する位置不変特徴量を用いて場所推定処理を行う。特徴量抽出部（１１）は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段（２１）、抽出された局所特徴量について連続する入力画像間でマッチングをとる特徴量マッチング手段（２２）、マッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段（２３）、対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段（２４）とを有する。位置不変特徴量抽出手段（２４）は、対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、位置不変特徴量として抽出する。
2014073204.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から位置不変特徴量を抽出する特徴量抽出手段と、
各登録場所と位置不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング手段と、
マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出手段と、
前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定手段とを有し、
前記特徴量抽出手段は、
連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出する
場所推定装置。
【請求項２】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
すべての前記対応特徴量について繰り返し実行する
請求項１記載の場所推定装置。
【請求項３】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
請求項１記載の場所推定装置。
【請求項４】
前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である
請求項１記載の場所推定装置。
【請求項５】
前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻tにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
請求項１記載の場所推定装置。
【請求項６】
前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
請求項１記載の場所推定装置。
【請求項７】
前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
請求項１記載の場所推定装置。
【請求項８】
連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出する
特徴量抽出装置。
【請求項９】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
すべての前記対応特徴量について繰り返し実行する
請求項８記載の特徴量抽出装置。
【請求項１０】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
請求項８記載の特徴量抽出装置。
【請求項１１】
前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である、
請求項８記載の特徴量抽出装置。
【請求項１２】
前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻tにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
請求項８記載の特徴量抽出装置。
【請求項１３】
前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
請求項８記載の特徴量抽出装置。
【請求項１４】
前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
請求項８記載の特徴量抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から局所特徴量を抽出する特徴量抽出装置、方法及びプログラム、並びにこれを使用した場所推定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
環境中の自己位置（場所）の推定・特定は、人間や機械にとっては必須の能力である。今自分はどこにいるかということを知ることは、ロボットやコンピュータビジョンにとっては、常に重要である。特に、可動式のロボットにとって、今自分がどこにいるかを把握することは、ナビゲーションシステムには基本的要求となっている。【０００３】
このような場所同定には、周辺環境の特徴量をいかに正確に抽出するかが大きなポイントとなる。従来、環境から局所特徴量を抽出する手法としては、アフィン不変の特徴量（ＭＳＥＲ，  Ｈａｒｒｉｓ−Ａｆｆｉｎｅ，  Ｈｅｓｓｉａｎ−Ａｆｆｉｎｅ，  Ｓａｌｉｅｎｔ  Ｒｅｇｉｏｎなど）や、大きさ変化に不変な特徴量（ＳＩＦＴ：Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ，  ＳＵＲＦ：Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓなど）がある。また、連続画像において、上述の手法で各画像から抽出した局所特徴量の中から、撮影位置の変化にロバストなものだけをさらに抽出した特徴量としてＰＩＲＦ（Ｐｏｓｉｔｉｏｎ−Ｉｎｖａｒｉａｎｔ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）がある（特許文献１乃至３、非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０５３８２３号公報
【特許文献２】特開２０１１−２１５７１６号公報
【特許文献３】特願２０１０−１１５３０７号
【非特許文献】
【０００５】
【非特許文献１】Ｎ．Ｔｏｎｇｐｒａｓｉｔ，Ａ．Ｋａｗｅｗｏｎｇ，Ｏ．Ｈａｓｅｇａｗａ，“Ｐｉｒｆ−ｎａｖ  ２：ｓｐｅｅｄｅｄｕｐ  ｏｎｌｉｎｅ  ａｎｄ  ｉｎｃｒｃｍｅｎｔａｌ  ａｐｐｅａｒｎｎｃｅ−ｂａｓｅｄ  ｓｌａｍ  ｉｎ  ｈｉｇｈｌｙ  ｄｙｎａｍｉｃ  ｅｎｖｉｒｏｎｍｅｎｔ” ，ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＷＡＣＶ），２０１１．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＰＩＲＦには、以下の問題点がある。ＰＩＲＦでは、連続する数フレームの画像に出現する局所特徴量（以下、単に特徴量ないし特徴点ともいう）を不変特徴量として抽出していたが、この際、空間内で位置が変化しない局所特徴量であっても、位置が変化している局所特徴量であっても、時間方向に連続して出現さえしていれば不変特徴量とみなされ抽出対象となる。すなわち、位置不変な局所特徴量と、位置が変化する動的な局所特徴量と、が分離されず、不変特徴量として等価に扱われていた。【０００７】
そのため、ＰＩＲＦにより抽出した不変特徴量を用いた場所推定においては、例えば移動中の人物など、本来であれば場所推定の用にふさわしくない動的な物体の局所特徴量も用いられることとなり、推定精度や演算速度に悪影響を与えていた。【０００８】
本発明は、このような問題点を解決するためになされたものであり、位置不変な局所特徴量を抽出できる特徴量抽出装置、方法及びプログラム、並びにそれを搭載した場所推定装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る場所推定装置は、入力画像から位置不変特徴量を抽出する特徴量抽出手段と、各登録場所と位置不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング手段と、マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出手段と、前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定手段とを有し、前記特徴量抽出手段は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。【００１０】
本発明に係る場所推定方法は、入力画像から不変特徴量を抽出する特徴量抽出工程と、各登録場所と不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング工程と、マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出工程と、前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定工程とを有し、前記特徴量抽出工程は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、前記局所特徴量抽出工程にて抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング工程と、前記特徴量マッチング工程にて連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択工程と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出工程とを有し、前記位置不変特徴量抽出工程は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。【００１１】
本発明に係る特徴量抽出装置は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、前記位置不変特徴量抽出手段は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。【００１２】
本発明に係る特徴量抽出方法は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、前記局所特徴量抽出工程にて抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング工程と、前記特徴量マッチング工程にて連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択工程と、前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出工程とを有し、前記位置不変特徴量抽出工程は、前記対応特徴量のうち、位置の変化が所定のしきい値以下である対応特徴量を、前記位置不変特徴量として抽出するものである。【００１３】
本発明に係るプログラムは、上記場所推定方法ないし特徴量抽出方法を、コンピュータに実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、位置不変な局所特徴量を、堅牢な特徴量として抽出可能な特徴量抽出装置、方法及びプログラム、並びにそれを使用した場所推定装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態にかかる場所推定装置を示すブロック図である。
【図２】本発明の実施の形態にかかる場所推定方法を示すフローチャートである。
【図３】位置不変特徴量の抽出処理を示すフローチャートである。
【図４】位置不変特徴量の抽出処理を示すリストである。
【図５】一方向アプローチのＩＣＧＭを示す図である。
【図６】両方向アプローチのＩＣＧＭを示す図である。
【図７】一方向アプローチ、両方向アプローチの比較を示す図である。
【図８】一方向アプローチ、両方向アプローチの比較を示す図である。
【図９】ＩＣＧＭによる特徴量の抽出実験結果を示す図である。
【図１０】渋谷駅における場所認識実験を示す図である。
【図１１】一方向アプローチ、両方向アプローチの比較を示す図である。
【図１２】Ｍｉｎａｍｉｄａｉ屋外実験を示す図である。
【図１３】Ｍｉｎａｍｉｄａｉ屋外実験結果を示す図である。
【図１４】Ｍｉｎａｍｉｄａｉ屋外実験結果を示す図である。
【図１５】対応特徴量の抽出処理を示す図である。
【図１６】対応特徴量の抽出処理を示す図である。
【図１７】位置不変特徴量の抽出処理を示す図である。
【図１８】位置不変特徴量の抽出処理を示すリストである。
【図１９】位置不変特徴量の抽出処理を示すリストである。
【発明を実施するための形態】
【００１６】
本実施の形態では、環境中において長期間にわたって位置が変化しない特徴量、すなわち位置不変特徴量を抽出し、これを場所推定に利用する手法を開示する。環境中には、静的な局所特徴量、すなわち長期間にわたっても位置が変化しない特徴量が含まれる。例えば、鉄道の駅には、多くの歩行者が存在するが、これらの歩行者の特徴量は、一般に短時間で位置が変化するので、静的な特徴量とは見なされない。一方、壁や看板のような要素に関する特徴量は、長期間にわたって位置が変化しない。場所推定には、このような位置不変特徴量を用いることが好適である。
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、移動型のロボット装置などに搭載される、場所を推定する場所推定装置に適用したものである。
【００１８】
＜本発明の実施の形態１＞
図１は、本発明の実施の形態にかかる場所推定装置を示すブロック図である。場所推定装置１０は、連続して撮影された連続画像からなる入力画像から位置不変特徴量を抽出する特徴量抽出部１１、共通辞書１２、マッチング部１３、類似度算出部１４及び場所認定部１５を有する。また、特徴量抽出部１１は、局所特徴量抽出部２１、特徴量マッチング部２２、対応特徴量選択部２３、及び位置不変特徴量抽出部２４を有する。
【００１９】
局所特徴量抽出部２１は、入力画像それぞれから、局所特徴量を抽出する。特徴量マッチング部２２は、局所特徴量抽出部２１により抽出された局所特徴量について、連続する入力画像間でマッチングをとる。対応特徴量選択部２３は、特徴量マッチング部により連続する画像間でマッチングが取れた特徴量を対応特徴量として抽出する。ここで、本実施の形態においては、特徴量マッチング部２２、対応特徴量選択部２３は、連続する２枚の画像を使用して、対応特徴量を求めるものとする。対応特徴量の抽出手法には、例えばＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、ＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）がある。
【００２０】
位置不変特徴量抽出部２４は、本発明の特徴的な処理を実施する処理部であり、対応特徴量選択部２３が抽出した対応特徴量のうち、位置が変化していない特徴量（位置不変特徴量）のみを抽出する。以降、この位置不変特徴量の抽出手法をＩＣＧＭ（Ｉｎｃｒｅｍｅｎｔａｌ  Ｃｅｎｔｅｒ  ｏｆ  Ｇｒａｖｉｔｙ  Ｍａｔｃｈｉｎｇ）と称する。
【００２１】
マッチング部１３は、場所と、その場所の位置不変特徴量とが対応づけられて登録されているデータベースを参照し、入力画像と、登録済みの場所とのマッチングを行い、マッチングスコアを算出する。類似度算出部１４は、マッチングスコアが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する。場所認定部１５は、類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する。
【００２２】
次に、本実施の形態にかかる場所推定装置１０を用いた場所推定方法について説明する。図２は、本実施の形態にかかる場所推定方法を示すフローチャートである。
【００２３】
（位置不変特徴量の抽出）
先ず、特徴量抽出部１１が、入力画像Ｉｔから位置不変特徴量を抽出する処理について説明する。
【００２４】
局所特徴量抽出部２１には、連続して撮影された２枚の画像Ｉｔ及びＩｔ−１が入力画像として入力される。ここで、ＩＣＧＭで要求される連続画像とは、例えば所定のフレームレートで（１秒毎に２フレームなど）、連続的に撮影された画像をいう。一般に、ビデオからキャプチャされた画像は連続的であるから、ＩＣＧＭにおける入力画像は、ビデオ画像を使用することが好適である。
【００２５】
先ず、局所特徴量抽出部２１は、既存の局所特徴量抽出方法を使用して局所特徴量を抽出する(ステップＳ１)。局所特徴量抽出部２１は、例えば、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）等の特徴量抽出手法を使用することができる。または、ＳＩＦＴやＳＵＲＦに限らず、他の局所特徴量を使用することができることは勿論である。特に、スケール、回転の変動、又はノイズ等に対してロバストな他の局所特徴量を用いることが好ましい。これらの局所特徴量を用いることで、既存の特徴量が有する性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる。
【００２６】
本実施の形態においては、ＳＵＲＦを使用するものとする。ＳＩＦＴは、局所特徴量として２０００乃至３０００以上の特徴量を抽出する。これに対し、ＳＵＲＦは、２００乃至３００の局所特徴量を抽出するため、演算量が少なくてすむ。
【００２７】
特徴量マッチング部２２は、現在時刻ｔで取得した画像Ｉｔと、その直前の時刻ｔ−１で取得した画像Ｉｔ−１とを使用し、これらの連続する画像間の局所特徴量のマッチングを行う。ここで、マッチングは、例えばＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）において用いられている種々の公知の手法で実施できる。例えば、それぞれの画像から抽出された特徴量を使用してマッチングスコアを計算し、そのマッチングスコアが所定の閾値以上であれば、両局所特徴量は、マッチしたものとみなす。
【００２８】
対応特徴量選択部２３は、特徴量マッチング部２２により連続する画像間でマッチしたものと判定された特徴量を対応特徴量として選択する。そして、現在時刻ｔの画像Ｉｔにおける局所特徴量のセットｐ＝（ｐ０，ｐ１，・・・ｐｎ）、時刻ｔ−１の画像Ｉｔ−１における局所特徴量のセットｐ’＝（ｐ’０，ｐ’１，・・・ｐ’ｎ）を生成する。
【００２９】
次に、位置不変特徴量抽出部２４が、対応特徴量のセットｐ，ｐ’を使用して、現在時刻ｔの画像Ｉｔにおける位置不変特徴量を抽出する（ステップＳ２）。この位置不変特徴量の抽出処理のアルゴリズムを、図３のフローチャート及び図４のリストに示す。以下、図３のフローチャートを用いて当該アルゴリズムについて説明する。
【００３０】
ステップ１：２つの連続画像から、対応する局所特徴量の組を２つ選択する。すなわち、画像Ｉｔの対応特徴量のセットｐから、２つの局所特徴量ｐ０，ｐ１を選択する。また、画像Ｉｔ−１の対応特徴量のセットｐ’から、局所特徴量ｐ’０，ｐ’１を選択する。ここで、ｐ０とｐ’０、及びｐ１とｐ’１は、それぞれ特徴量マッチング部２２によって互いにマッチすると判定されたペアである。
【００３１】
ステップ２：それぞれの画像において、選択された２点に基づくベクトルを計算する。すなわち、画像Ｉｔにおいては、ベクトルＣＧＶ０＝ｐ０−ｐ１、画像Ｉｔ−１においては、ベクトルＣＧＶ１＝ｐ’０−ｐ’１を求める。
【００３２】
ステップ３：ベクトルＣＧＶ０とＣＧＶ１とを比較し、類似していないならばステップ１に戻る。一方、類似しているならば、局所特徴量ｐ０，ｐ１を位置不変特徴量と認定する。すなわち、両ベクトルの差分が所定のしきい値以下、｜｜ＣＧＶ０−ＣＧＶ１｜｜＜＝Ｔｈｒであるならば、両ベクトルは類似しているから、局所特徴量ｐｉ，ｐｊ、及びｐｉ’，ｐｊ’は位置不変であることになる。もし、｜｜ＣＧＶ０−ＣＧＶ１｜｜＞Ｔｈｒであるならば、ステップ１に戻る。ここで、両ベクトルが類似しているということは、局所特徴量ｐ０，ｐ１、及びｐ’０，ｐ’１の幾何学的な位置関係が両画像間においてほとんど変化していないこと、すなわち特徴点ｐ０，ｐ１の位置が不変とみなしうることを示している。
【００３３】
ステップ４：画像Ｉｔから抽出した位置不変特徴量ｐ０，ｐ１を、ｐから削除するとともに、変数ＰＲに格納する。同様に、画像Ｉｔ−１の特徴量ｐ’０，ｐ’１を、ｐ’から削除するとともに、変数Ｐ’Ｒに格納する。また、それぞれの画像において、選択した２点の重心ＣＧ０，ＣＧ１を式（１）により計算する。
ＣＧ０＝（ｐ０＋ｐ１）／２，ＣＧ１＝（ｐ’０＋ｐ’１）／２  ・・・（１）
【００３４】
ステップ５：以下、画像Ｉｔ，画像Ｉｔ−１の残る対応特徴量についても、順次、位置不変かどうかのテストを行っていく。まず、画像Ｉｔ，画像Ｉｔ−１から、対応する局所特徴量の組ｐ２，ｐ’２を選択する。この選択は、例えばインデックス順に行うことができる。つぎに、それぞれの画像において、ステップ４で計算した重心ＣＧ０，ＣＧ１と、選択した局所特徴量ｐ２，ｐ’２と、に基づくベクトルを計算する。すなわち、画像Ｉｔにおいては、ベクトルＣＧＶ０＝ＣＧ０−ｐ２を求め、画像Ｉｔ−１においては、ベクトルＣＧＶ１＝ＣＧ１−ｐ’２を求める。
【００３５】
ステップ６：これらのベクトルを比較し、類似しているならば、選択した局所特徴量を位置不変特徴量と認定する。すなわち、両ベクトルの差分がしきい値Ｔｈｒ以下、｜｜ＣＧＶ０−ＣＧＶ１｜｜≦Ｔｈｒであるならば、両ベクトルは類似しているから、局所特徴量ｐ２，ｐ’２は位置不変であることになる。ここで、両ベクトルが類似しているということは、重心ＣＧ０と局所特徴量ｐ２、重心ＣＧ１と局所特徴量ｐ’２の幾何学的な位置関係が両画像間においてほとんど変化していないこと、すなわち特徴点ｐ２の位置が不変とみなしうることを示している。
【００３６】
ステップ７：画像Ｉｔから抽出した位置不変特徴量ｐ２を、ｐから削除するとともに、変数ＰＲに格納する。同様に、画像Ｉｔ−１の特徴量ｐ’２を、ｐ’から削除するとともに、変数Ｐ’Ｒに格納する。また、それぞれの画像において、先の重心ＣＧ０とｐ２との重心、及び先の重心ＣＧ１とｐ’２との重心を、それぞれ計算し、これらを新たな重心ＣＧ０，ＣＧ１とする。
【００３７】
ステップ８：一方、｜｜ＣＧＶ０−ＣＧＶ１｜｜＞Ｔｈｒであるならば、ｐ２，ｐ’２は位置不変でないことになる。よって、ｐ２，ｐ’２ｐは抽出対象から外されるべきである。したがって、ｐ２をｐから削除するとともに、ｐ’２をｐ’から削除する。
【００３８】
ステップ９：ｐ，ｐ’に含まれるすべての局所特徴量についてテストが終了したら、すなわちｐ，ｐ’が空襲号となったならば、処理を終了する。このとき、ＰＲに含まれる局所特徴量が、位置不変特徴量である。以上で、位置不変特徴量の抽出処理は終了である。
【００３９】
（位置不変特徴量を用いた場所推定）
位置不変特徴量が抽出されたならば、つづいて、マッチング部１３が、共通辞書１２を参照してマッチングスコアｓｍを求める(ステップＳ３)。共通辞書１２は、環境内における連続する場所（プレイス）Ｌｍ、Ｌｍ＋１、Ｌｍ＋２・・それぞれについて、各プレイスの特徴量のセットであるモデルｍ、ｍ＋１、ｍ＋２・・を保持している。画像Ｉｔと、場所Ｌｍのモデルｍとのマッチングスコアｓｍは、式（２）により求められる。
ｓｍ＝ｎｍ×ｎｕｍ＿ａｐｐｅａｒ  ・・・（２）
【００４０】
ここで、ｓｍは、プレイスＬｍの特徴量セットであるモデルｍと、画像Ｉｔの位置不変特徴量のセットＰＲとのマッチングスコアを示す。ｎｕｍ＿ａｐｐｅａｒは、共通辞書１２で一致した位置不変特徴量の数を示す。例えば、３つの位置不変特徴量が一致したならば、ｎｕｍ＿ａｐｐｅａｒ＝３である。ｎｍは、モデルｍとマッチングした位置不変特徴量の数を示す。例えば、ｎｍ＝２であれば、ｓｍ＝２×３＝６となる。
【００４１】
次に、類似度算出部１４は、隣接するプレイスを考慮して、第２状態スコア（第１の推定値）ｂｍを求める(ステップＳ４)。プレイスＬｍで表れた特徴は、同様に隣接プレイスＬｍ−２、Ｌｍ−１、Ｌｍ＋１、Ｌｍ＋２で表れる可能性が高い。すなわち、これら隣接プレイスのマッチングスコアは、Ｌｍのマッチングスコアｓｍと略同じか若干低い程度と予測される。すなわち、例えばｓｍが高いスコアであっても、ｓｍ−１やｓｍ＋１が０であるような場合は、マッチングスコアｓｍの値がおかしい、すなわち、正しく場所推定できていないことになる。ここで、本実施の形態においては、ガウシアン関数ｐｔ（ｍ，ｉ）で重みづけをした第２状態スコアｂｍを下記の式（３）により求める。
【数１】
2014073204.tif 000003
【００４２】
ここで、ｗは、考慮する隣接プレイスの個数を示す。例えば、フレームレートが一定である場合、スピードが早ければ、このｗの値を例えば１とし、スピードが遅ければｗの値を２とするなどすることができる。
【００４３】
ここで、この第２状態スコアｂｍに基づき、画像Ｉｔがモデルｍと一致する、すなわち、既知の場所（ｋｎｏｗｎ  ｐｌａｃｅ）であると判定することも可能であるが、本実施の形態においては、この第２状態スコアｂｍを正規化することで、認定率を更に向上させる。
【００４４】
正規化スコア（第２推定値）ｂ＿ｎｏｒｍｍは、式（４）より求めることができる(ステップＳ５)。
【数２】
2014073204.tif 000004
【００４５】
ここで、ｎは場所推定装置の移動速度に応じた値であり、ＩＣＧＭで得られる位置不変特徴量の最大抽出数とすることができる。類似度算出部１４は、この正規化スコアｂ＿ｎｏｒｍｍを求め、場所認定部１５は、この値が所定の閾値より大きければ、画像Ｉｔをモデルｍと一致する、すなわち、既知の場所（プレイス）として認定する(ステップＳ６、７)。ここで、画像Ｉｔが、モデルｍと一致した場合、オリジナルのモデルｍに含まれていなかった位置不変特徴量をモデルｍに追加することで、モデルｍの特徴量をアップデートすることができる。このとき、各プレイスの特徴量が特許文献３のようにインデックスで保存されていれば、インデックスを増やすのみでよく、メモリ容量の増加を抑制することができる。また、モデルｍの特徴量は、例えばファーストインファーストアウト方式を取れば、メモリ容量を増加させることがない。
【００４６】
一方、正規化スコアｂ＿ｎｏｒｍｍが所定の閾値に満たない場合、場所認定部１５は、画像Ｉｔを新しい場所（プレイス）を示すものとして認定し(ステップＳ８)、例えば画像Ｉｔが撮影された場所と、画像Ｉｔから抽出された位置不変特徴量を共通辞書１２に登録する。
【００４７】
本実施の形態においては、特徴量抽出部１１が、堅牢な特徴量として、時間方向に連続して、かつ略同じ位置に存在する特徴量を抽出する。これにより、時間経過とともに移動する特徴量を分離できるため、場所認識に有効な特徴量を効果的に抽出することができる。
【００４８】
また、本実施の形態においては、特徴量抽出部１１が位置不変特徴量を抽出する際、堅牢な特徴量の重心を逐次更新し、この重心を用いて他の特徴量の堅牢性の判定を行う。重心は、特徴量の位置関係の情報を内包しているため、これを用いることにより位置情報を含めた堅牢性をテストすることができる。また、重心は計算が簡便であり、高速な処理が可能である。特に、本実施の形態では、特徴点の堅牢性テストの際に用いられる重心は、その時点までに堅牢と判定された全ての特徴点の重心となっている。すなわち、膨大な他の特徴量の位置情報をすべて参照する必要がなく、ただ１つの重心との関係を評価すれば、特徴点の位置の安定性を評価できるため、データ量及び演算量を圧縮することができる。
【００４９】
＜本発明の実施の形態２＞
（位置不変特徴量の抽出−一方向アプローチと両方向アプローチ）
実施の形態１では、位置不変特徴量を抽出する手法（ＩＣＧＭ）として、時刻ｔにおける画像Ｉｔと、時刻ｔ−１における画像Ｉｔ−１とを使用する方法について説明した。これを一方向アプローチと称する。実施の形態２では、より効果的に位置不変特徴量を抽出できる手法について説明する。以下、これを両方向アプローチと称する。
【００５０】
図５は、画像Ｉｔと画像Ｉｔ−１とから位置不変特徴量を抽出する、一方向アプローチのＩＣＧＭを示している。一方向アプローチとはつまり、現在の画像と、過去の画像との比較により、位置不変特徴量を抽出するアプローチである。こうして抽出された位置不変特徴量は、画像Ｉｔのみから抽出される特徴量（ＳＩＦＴ，ＳＵＲＦなどにより）よりは優に堅牢である。しかし、一方向アプローチでは、位置不変特徴量の大幅な損失が発生することがある。損失が発生し得る具体的なケースについては後述する。
【００５１】
図６に、両方向アプローチのＩＣＧＭの概念を示す。両方向アプローチでは、まず、現在の画像Ｉｔと、過去の画像Ｉｔ−１とを比較して位置不変特徴量Ａを抽出し、ついで、現在の画像Ｉｔと、将来の画像Ｉｔ＋１とを比較して位置不変特徴量Ｂを抽出する。しかる後、両者の論理和Ｃ＝Ａ∪Ｂを、画像Ｉｔの位置不変特徴量とする。
【００５２】
発明者は、既知の一眼カメラ等を使って画像を取得するような場合において、両方向アプローチのほうがより効果的に位置不変特徴量を抽出できることを発見した。具体的には、カメラの速度、動き等が、抽出できる位置不変特徴量に影響を与え得る。発明者は、既知の一眼カメラを使用した際に起こり得る２つの状況に関して考察を行った。カメラが一定速度で回転する場合と、一定の速度で無限遠物体に近づくか遠ざかる場合である。そして、これらの２つの典型的な状況のいずれにおいても、両方向アプローチが、一方向アプローチよりも優れていることがわかった。
【００５３】
まず、一定速度でカメラが回転する場合について考える。カメラの角速度をω、カメラの視野角をγで表す。このとき、カメラの視野が完全に別のシーンに切り替わるまでの時間をＴＤｉｓａｐｐｅａｒ＝γ／ωとする。また、一方向化アプローチによって特徴量抽出を行うのに必要な時間（ｔ−１からｔまで）をＴＤｕｒａｔｉｏｎとする。なお、位置不変特徴量は、視野内に均一に分布しているものとする。
【００５４】
このとき、一方向アプローチによる、位置不変特徴量の数Ｐαの抽出率は式（５）のように与えられる。
【数３】
2014073204.tif 000005
【００５５】
一方、両方向アプローチによる、位置不変な特徴量の数Ｐβの抽出率は式（６）のように与えられる：
【数４】
2014073204.tif 000006
【００５６】
これらの２つのアプローチを比較するため、パラメータλαを式（７）のように定義する。
λα＝ＴＤｕｒａｔｉｏｎ／ＴＤｉｓａｐｐｅａｒ  ・・・（７）
【００５７】
これより、Ｐα＝１−λαとなる。これを図７に表す。図７によれば、両方向アプローチは、一方向アプローチよりも位置不変な特徴量を多く抽出できることがわかる。具体的には、λα≦１／２であれば、両方向アプローチでは位置不変特徴量を漏れなく抽出できる。
【００５８】
また、カメラが一定の速度で無限遠物体に近づくか遠ざかる場合について考える。ここでも、ＴＤｕｒａｔｉｏｎを上述したものと同じ意味で用いる。垂直及び水平方向の視野角を、η及びθとする。なお、位置不変特徴量は視野内に均一に分布しているものとする。
【００５９】
ここで、カメラが無限遠の物体から速度νで遠ざかるとき、時刻ｔにおいて、カメラと物体との距離がｄであるとすると、カメラの視界ｓは式（８）のように与えられる。
ｓ＝４・ｔａｎ（η）ｔａｎ（θ）・ｄ２  ・・・（８）
【００６０】
特徴量の抽出を実行するよりも時間ＴＤｕｒａｔｉｏｎだけ昔、すなわち時刻ｔ−ＴＤｕｒａｔｉｏｎにおいて、カメラと物体との距離ｄ’は、ｄ’＝ｄ−ＴＤｕｒａｔｉｏｎ・νで表される。よって、時刻ｔ−ＴＤｕｒａｔｉｏｎにおける視界ｓ’は式（９）のようになる。
ｓ’＝４・ｔａｎ（η）ｔａｎ（θ）・（ｄ−ＴＤｕｒａｔｉｏｎ・ν）２  ・・・（９）
【００６１】
よって、このとき
【数５】
2014073204.tif 000007
【００６２】
同様に、λβを定義する。
λβ＝ＴＤｕｒａｔｉｏｎ・ν／ｄ  ・・・（１１）
【００６３】
カメラが対象から遠ざかる場合、一方向アプローチでは、位置不変特徴量の抽出処理を、現在及び過去の情報を使用して行うため、現在の情報の一部が捨象される。すなわち、Ｐα＝（１−λβ）２である。一方、両方向アプローチでは、現在、過去及び未来の情報を使用して処理を行う。将来におけるカメラの視野は現在よりも大きいので、現在の視界に含まれる情報の損失はゼロになる。すなわち、常にＰβ＝１である。
【００６４】
カメラが無限遠の対象に接近する場合は、現在、及び現在の視界よりも大きな過去の視界の情報を用いて処理を行うため、情報の損失は常にゼロである。すなわち、Ｐα＝１、Ｐβ＝１である。図８に、一方向アプローチ及び両方向アプローチの比較を示す。
【００６５】
このように、両方向アプローチは、一方向アプローチと比較して、より効果的に、動的な環境から位置不変特徴量を抽出することができる。これらの２つのアプローチの主な違いは以下のとおりである。一方向アプローチは、現在より以前から環境中に存在していた特徴量のみを、位置不変特徴量として抽出する。一方、両方向アプローチは、現在から将来にわたって環境中に存在する特徴量をも、位置不変特徴量として抽出する。換言すれば、両方向アプローチは、過去と現在、現在と将来の２つの情報セットを利用するため、一方向アプローチが有していた様々な問題を解決することができるのである。
【００６６】
なお、上述のパラメータλα及びλβを上昇させると、抽出される特徴量はより堅牢になる。しかしながら、このとき、抽出される特徴量の数は減少してしまう。パラメータλα及びλβを上昇させつつ、抽出される堅牢な特徴量の数も十分確保したいという場合、両方向アプローチは有効である。
【００６７】
本実施の形態では、両方向アプローチが、カメラの動きに関する典型的な２つの状況のいずれにおいても効果的であることを説明した。一般的なカメラの動きは、これらの単純な状況の組み合わせに分解することができるので、一般的に、両方向アプローチは、一方向アプローチよりも効果的に堅牢な特徴量を抽出できるといえる。
【００６８】
一方向アプローチ及び両方向アプローチのＩＣＧＭは、ＰＩＲＦに対して有利である。ＰＩＲＦもまた、連続する画像から堅牢な特徴量を抽出するために使用される手法である。図３及び図４のアルゴリズムにおいて、Ｔｈｒ→∞とすると、一方向アプローチのＩＣＧＭにおいて抽出される特徴量は、ＰＩＲＦにより抽出される特徴量に近づく。しかしながら、ＰＩＲＦでは、ウィンドウサイズ＝２である場合、すなわち２枚の画像を使用する場合、十分に堅牢な特徴量を抽出することができない。もしＰＩＲＦでさらに堅牢な特徴量を抽出したければ、ウィンドウサイズをより大きくする必要があるが、そうすると抽出される特徴量の数は非常に少なくなってしまうという問題があった。一方、ＩＣＧＭでは、Ｔｈｒを小さく設定するほど、ＰＩＲＦ（ウィンドウサイズ＝２）よりも堅牢な特徴量を抽出することが可能である。さらに、両方向アプローチを使用すれば、抽出される特徴量の数を増大させることができる。こうしたＩＣＧＭの特徴は、例えば後述のＳＬＡＭなどの処理を行う際に有効に作用する。
【００６９】
＜本発明の実施の形態３＞
次に、実施の形態３として、実施の形態１及び実施の形態２として示した特徴量抽出手法、及び場所認識手法を、実際の環境に適用した実験例を開示する。併せて、本発明の効果について説明する。
【００７０】
（Ａ）ＩＣＧＭによる特徴量の抽出実験
この実験は、ＩＣＧＭにより抽出される特徴量の精度を確認するための実験である。複数の画像から、ＩＣＧＭ及びＳＵＲＦを使用して特徴量を抽出し、これらの特徴量の複数の画像間でマッチングが取れているかを比較する。
【００７１】
この実験に使用するデータセット（図９（ａ）に示す２つの画像）は、いずれも室内環境から取り込まれた（室内で撮影された）ものである。また、この環境には、いくつかの移動する物体が含まれている。この画像では、楕円で囲まれた右側のスプレーボトルが前後の画像で移動している。さらに、２つの画像では、カメラの撮影範囲も、水平方向に移動している。
【００７２】
図９（ｂ）は、ＳＵＲＦにより、２つの画像から特徴点を抽出し、対応する特徴点同士をマッチングした状況を示している。この画像では、対応する特徴点同士を輝線で結んでいる。マッチングが正しければ、全ての輝線は水平であるはずだが、この画像では多くの輝線が傾いていることが分かる。すなわち、この例では、マッチングに多くの誤りが含まれている。加えて、移動した物体についても、マッチングが行われている。
【００７３】
図９（ｃ）は、ＩＣＧＭにより、２つの画像から位置不変特徴量を抽出し、対応する特徴点同士をマッチングした状況を示している。この画像では、ほとんどの輝線が水平であり、正しくマッチングが行われていることが分かる。また、移動した物体はマッチング対象とされず、無視されている。
【００７４】
ここで、ＳＵＲＦでマッチングが行われた特徴量の数は９７５であり、ＩＣＧＭでマッチングされた特徴量の数は３７４であった。この実験は、ＩＣＧＭが、カメラが移動するような動的な環境においても安定的かつ効果的に、堅牢すなわち位置不変な特徴量を抽出できることを示している。
【００７５】
（Ｂ）渋谷駅における場所認識実験
以下の実験は、ＩＣＧＭを、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）に適用したものである。特許文献３及び非特許文献１の同様の実験においては、ＰＩＲＦにより抽出された特徴量が使用されたが、本実験ではＩＣＧＭにより抽出された特徴量を使用する。
【００７６】
この実験は、厳密にＳＬＡＭではないが、ｌＣＧＭの場所認識の精度をテストするために好適である。この実験に使用するデータセットは、手持ちカメラを使用し、毎秒０．５フレームのレートで撮影された画像である（解像度は４８０＊３２０にリサイズした）。撮影時の渋谷駅は多くの人で混雑している状況であった。学習データの取得のため撮影を行ったルートは約８０メートルであり、学習時間は５分であった（図１０）。
【００７７】
まず、学習データを学習データベースに格納し、ＩＣＧＭとＰＩＲＦとを使用して、学習データから特徴量を抽出し、共通辞書１２の構築を行った。ついで、テスト用画像から同様に特徴量を抽出した。最後に、両者の特徴量を用いて場所を推定する実験を行った。なお、図１１は、ＩＣＧＭを使用する場合において、両方向アプローチ又は一方向アプローチを使用する場合の比較を示している。両方向アプローチの方が、一方向アプローチよりも多くの位置不変特徴量を得ることができることがわかる。
【００７８】
実験の結果、ＰＩＲＦを用いた場合の場所認識の精度は８２．６５パーセントであった。一方、ＩＣＧＭを用いた場合は９８．５６％であった。
【００７９】
（ｃ）Ｍｉｎａｍｉｄａｉ屋外実験（ＳＬＡＭ）
この実験に使用するデータセットは、手持ちカメラを使用し、毎秒０．５フレームのレートで撮影された画像である（解像度は４８０＊３２０にリサイズした）。この実験では、撮影時の環境は混雑してはいなかったものの、いくつかの動的な物体（車、人間）が存在していた（図１２）。学習データの取得のため撮影したルートは約１７０メートルであり、学習時間は９．５分であった。
【００８０】
図１３に、実験結果を示す。実線は、場所の学習が行われたルートを示す。点は、場所の認識が成功した座標を示す。ルートの１周目において学習された場所が、２周目においては的確に認識されていることが分かる。
【００８１】
図１４に、この実験の精度を示す。ＩＣＧＭを用いた場所認識（Ｐｒｏｐｏｓｅｄ  ｍｅｔｈｏｄ）の精度は、ＰＩＲＦ−ｎａｖ２．０（特許文献３及び非特許文献１に記載の手法）及び公知のＦＡＢ−ＭＡＰよりも優れている。なお、Ｐｒｏｐｏｓｅｄ  ｍｅｔｈｏｄ（ｒｅａｌ−ｔｉｍｅ）とは、場所推定フェーズで一方向アプローチを用い、Ｐｒｏｐｏｓｅｄ  ｍｅｔｈｏｄ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）は、場所推定フェーズで両方向アプローチを用いたものである。Ｐｒｏｐｏｓｅｄ  ｍｅｔｈｏｄ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）の方が、Ｐｒｏｐｏｓｅｄ  ｍｅｔｈｏｄ（ｒｅａｌ−ｔｉｍｅ）よりも、抽出される特徴量の数が多いため、精度が向上している。なお、ＦＡＢ−ＭＡＰが最も高速なのは、これがバッチ処理手法であるためである。
【００８２】
なお、画像Ｉｔの特徴量を抽出する際、両方向アプローチを用いる場合には、画像Ｉｔ＋１も必要となる。換言すれば、将来の事象の情報（画像）が必要になる。すなわち、画像Ｉｔ＋１を取得してから画像Ｉｔの特徴量を抽出する必要があるため、時刻ｔにおけるリアルタイムでの特徴量抽出は出来ず、若干のタイムラグを要する。よって、ロボットなどのリアルタイムシステムにおいて、リアルタイム性が求められる場所認識フェーズで、両方向アプローチを用いることは出来ない。この場合、一方向アプローチを用いる必要がある。しかしながら、リアルタイムシステムにおいても、リアルタイム性が求められない辞書作成フェーズでは、両方向アプローチを使用することは可能である。また、例えば歩行者ナビゲーションなどの用途においては、厳格なリアルタイム性はあまり必要とされないので、辞書作成および場所認識の両フェーズにおいて両方向アプローチを使用することにより、システムの性能を向上させることが可能である。
【００８３】
＜本発明の実施の形態４＞
上述したように、本発明においては、画像から場所同定ができ、辞書のオンライン更新が可能である。そこで、例えば、携帯の動画撮影機能と組み合わせると、以下のような応用が可能である。
【００８４】
デパートやショッピングモールなどで迷子になった時、携帯で周りの景色をさっと一振り撮影し、サーバに送る。サーバはその画像を解析し、それがどこに位置するのか、また付加的に、周りにどのような施設やショップがあるか、などを返答することができる。
【００８５】
屋内ではＧＰＳは使えない。これに対し、本実施の形態においては、ユーザから送られてくる検索動画が、同時に辞書や地図の更新のためのデータとしても使える。このため、常時、辞書と地図の更新ができる。なお、従来のカーナビ等では、基本的に地図データの更新ができないか、更新するにはかなりの手間と費用がかかる。
【００８６】
携帯電話網にはサービス地域を分担して管理する基地局があるので、それぞれの基地局が、担当する範囲の地図を持ち、それを更新すればよい。つまり、巨大な辞書は不要で、メモリと演算速度が大幅に節約することができる。今後、眼鏡のようなウエアラブルビジョン（カメラ）が登場する可能性は高く、そうした眼鏡では常時場所を同定し、有用な情報を提示することもできる。
【００８７】
＜本発明の実施の形態５＞
実施の形態５では、画像の歪みや、回転（ｒｏｔａｔｉｏｎ）、剪断変形（ｓｈｅａｒｉｎｇ）、平行移動（ｔｒａｎｓｌａｔｉｏｎ）、拡大縮小（ｓｃａｌｉｎｇ）等に対しても頑健な位置不変特徴量を抽出し、より精度の高い場所推定を実現する手法を提案する。
【００８８】
（画像の歪み補正）
カメラのレンズ特性が、画像の歪みを引き起こすことがある。画像からより精度の高い対応特徴量、及び位置不変特徴量を抽出するためには、画像にこのような歪みのないことが好ましい。
【００８９】
画像の歪み補正を実施する手法として、例えばＯｐｅｎＣＶが公知である。ＯｐｅｎＣＶによれば、内部パラメータ（ｆｘ，ｆｙ，ｃｘ，ｃｙ）、ｒａｄｉａｌ  ｄｉｓｔｏｒｔｉｏｎ（放射状の歪み）を示す係数（ｋ１，ｋ２）、ｔａｎｇｅｎｔｉａｌ  ｄｉｓｔｏｒｔｉｏｎ（円周方向の歪み）を示す係数（ｐ１，ｐ２）をカメラのキャリブレーションを行うことにより取得し、取得した内部パラメータ及び歪み係数を使用して歪み補正を実施することができる。なお、上述の内部パラメータ及び歪み係数は、カメラ固有の値である。
【００９０】
局所特徴量抽出部２１は、画像から局所特徴量を抽出する前に、上述の歪み補正処理を実施することが好適である。これにより、対応特徴量選択部２３、位置不変特徴量抽出部２４は、より良い精度で対応特徴量、位置不変特徴量を抽出することが可能となる。
【００９１】
（順序制約）
上述の実施の形態では、対応特徴量選択部２３が対応特徴量のセットを抽出する処理について説明した。ところで、対応特徴量のセットには、真に対応するものでないのに、誤って対応特徴量と判定された特徴量の組も含まれ得る。発明者は、このように誤ってマッチするものと判断された特徴量の組を排除するための追加的手法として、順序制約を開発した。
【００９２】
図１５において、特徴量のセットＷ＝（ａ，ｂ，ｃ，ｄ，ｅ）及びＷ’＝（ａ’，ｂ’，ｃ’，ｄ’，ｅ’）は、２つの画像から抽出された、対応する特徴量のセットを示している。ここで、ａとａ’、ｂとｂ’、ｃとｃ’、ｅとｅ’は、それぞれ正しくマッチングされた特徴量の組であるものとする。一方、ｄとｄ’は、誤ってマッチングされた特徴量の組であるものとする。
【００９３】
ある点ｉ，ｉ’が誤ってマッチングされた特徴点であるかどうかを判別するため、まず対応特徴量選択部２３は、点ｉの相対距離ベクトルＤｉ，Ｄｉ’を求める。例えば、図１５の点ａにかかる相対距離ベクトルは、Ｄａ＝（ｂ，ｃ，ｄ，ｅ）と定義される。ここで、ｂ，ｃ，ｄ，ｅは、点ａに最も近い点から最も遠い点に至る順にソートされている。同様に点ａ’にかかる相対距離ベクトルは、Ｄａ’＝（d’,ｂ’，ｃ’，ｅ’）と定義される。
【００９４】
つぎに、対応特徴量選択部２３は、点ｉ，ｉ’のＤｉ，Ｄｉ’を使用して、指標ｏｆｆｓｅｔを求める。図１６に、ｏｆｆｓｅｔの算出手法を示す。Ｄｉのｓ番目の要素がＷｂであり、そのＷｂとマッチングしているＷ’ｂがＤi’のｋ番目の要素となっているとき、ｏｆｆｓｅｔｓを｜ｋ−ｓ｜と定義する。
【００９５】
さらに、対応特徴量選択部２３は、ｏｆｆｓｅｔを使用して、指標ｄｉｆｆ（Ｄｉ，Ｄｉ’）を求る。式（１２）に、ｄｉｆｆ（Ｄｉ，Ｄｉ’）の定義を示す。
【数６】
2014073204.tif 000008
【００９６】
ｄｉｆｆ（Ｄｉ，Ｄｉ’）は、その値が大きいほど、誤ったマッチングである確率が高いことを示す指標である。すなわち、ｄｉｆｆ（Ｄｉ，Ｄｉ’）は、マッチングされた特徴量の組が、正しいか、誤りであるかを区別する為に使用できる。例えば、図１５の例では、ｄｉｆｆ（Ｄａ，Ｄａ’）＝０．２５、ｄｉｆｆ（Ｄｄ，Ｄｄ’）＝１１／１６と算出された。これは、特徴量ｄ，ｄ’の組は、誤ったマッチングである可能性が比較的高いことを意味している。
【００９７】
ところで、ｄｉｆｆ（Ｄｉ，Ｄｉ’）は、アフィン不変な量でなく、またノイズ比率に敏感でない。そこで、ｄｉｆｆ（Ｄｉ，Ｄｉ’）を正規化したｄｉｆｆｎｏｒｍａｌを考える。ｄｉｆｆｎｏｒｍａｌは、平均μｄｉｆｆ、標準偏差σｄｉｆｆを用いて式（１３）のように計算できる。
【数７】
2014073204.tif 000009
【００９８】
対応特徴量選択部２３は、ある特徴量のセットｉ，ｉ’について、ｄｉｆｆｎｏｒｍａｌを計算する。そして、ｄｉｆｆｎｏｒｍａｌ＞ＴＯＣである場合、特徴量ｉ，ｉ’の組を、対応特徴量のセットから排除すべきもの、すなわち誤ってマッチングされたものと決定する。ここで、ＴＯＣは任意のしきい値である。
【００９９】
図１５の例では、適切に設定されたしきい値ＴＯＣに基づき、ｄとｄ’が排除されよう。その結果、より信頼性の高い対応特徴量のセットである、ＷＯＣ＝（ａ，ｂ，ｃ，ｅ）、Ｗ’ＯＣ＝（ａ’，ｂ’，ｃ’，ｅ’）が得られる。
【０１００】
このように、順序制約によれば、誤ってマッチングされた対応特徴量を排除でき、より高精度な対応特徴量のセットを構築できる。
【０１０１】
（面積制約）
上述の実施の形態では、位置不変特徴量抽出部２４が、位置不変特徴量を抽出する処理について説明したが、発明者は、より高精度な位置不変特徴量の計算を行う為の手法として、面積制約を開発した。
【０１０２】
はじめに、面積制約の概念について説明する。回転（ｒｏｔａｔｉｏｎ）、剪断変形（ｓｈｅａｒｉｎｇ）、平行移動（ｔｒａｎｓｌａｔｉｏｎ）、拡大縮小（ｓｃａｌｉｎｇ）を含む図形の変形を、アフィン変換という。図１７にアフィン変換の例を示す。この例では、２つの画像の間で、回転と縮小が行われている。ここで、Ｗ（ａ，ｂ，ｃ，ｄ）とＷ’（ａ’，ｂ’，ｃ’，ｄ’）とは、２つの画像にかかる対応特徴量のセットである。またｏ，ｏ’は、Ｗ及びＷ’に含まれている１以上の点の、重心を示す。
【０１０３】
これらの２つの画像を比較するに、Ｗに含まれる特徴点ａ，ｂ，ｃ，ｄ、およびＷ’に含まれる特徴点ａ’，ｂ’，ｃ’，ｄ’の座標は、それぞれ大きく異なる。一方、これらの特徴点を頂点として形成される複数の図形の面積Ｓの比例関係は変化していない。すなわち、Ｓａｏｂ／Ｓａｂｃｄ＝Ｓａ’ｏ’ｂ’／Ｓａ’ｂ’ｃ’ｄ’であり、Ｓａｏｂ／Ｓａｂｃ＝Ｓａ’ｏ’ｂ’／Ｓａ’ｂ’ｃ’であり、またＳａｏｂ／Ｓａｏｃ＝Ｓａ’ｏ’ｂ’／Ｓａ’ｏ’ｃ’である。この面積比のように、アフィン変換に対して不変である量をアフィン不変量といい、このような性質をアフィン不変という。
【０１０４】
２つの画像から抽出された対応特徴量のセットから、このようなアフィン不変な面積の比例関係を有する図形が発見された場合、それらの２つの図形はアフィン変換されたもの、すなわち視点を変えて同一の対象物をとらえたものということができる。したがって、それらの図形を構成する特徴点は、位置不変特徴量とみなしうる。
【０１０５】
上述の実施の形態に示した手法では、例えば対象物を異なる角度からとらえた２つの画像から、位置不変特徴量を精度よく抽出することができない場合があった。一方、面積制約によれば、このような２枚の画像からも、より良い精度で位置不変特徴量を抽出することができる。
【０１０６】
なお、現実の世界は必ずしも平坦ではないため、現実の世界を写した画像も厳密にはアフィン不変ではない。しかし、画像中の主要な要素の大部分は、ほぼ平坦と考えることができるから、面積制約は有効であるといえよう。
【０１０７】
かかる知見に基づき、位置不変特徴量抽出部２４が位置不変特徴量を抽出するための具体的な手順を以下に示す。なお、以下の処理は、上述の順序制約に従って抽出された、対応特徴量のセットに対して行われるものとする。
【０１０８】
まず、位置不変特徴量抽出部２４は、Ｗに含まれる特徴点により形成される総面積ＳΣを、式（１４）により計算する。
【数８】
2014073204.tif 000010
【０１０９】
また、位置不変特徴量抽出部２４は、Ｗに含まれる特徴点の重心ｏを、式（１５）により計算する。
【数９】
2014073204.tif 000011
【０１１０】
つづいて、位置不変特徴量抽出部２４は、ある特徴点ｉを使用して形成される図形の面積比の偏差を、式（１６）により計算する。なお、ｏは重心、ｊはｉ以外の任意の特徴点を示す。
【数１０】
2014073204.tif 000012
【０１１１】
ここで、
【数１１】
2014073204.tif 000013
（以下、Ｄｅｖと表記する）について、Ｄｅｖ＝０であれば、特徴点ｉを使用して形成される図形は完全にアフィン変換されている。また、Ｄｅｖ＜ＴＡＣであれば、特徴点ｉを使用して形成される図形はアフィン変換されているものとみなすことができる。なお、ＴＡＣは任意の閾値であり、ＴＡＣによりアフィン不変の頑強さを調整することができる。
【０１１２】
ところで、面積制約により精度良い位置不変特徴量を得るためには、信頼できる重心ｏ，ｏ’を得ることが重要である。
【０１１３】
図１８に示すアルゴリズム２は、対応特徴量のセットから、アフィン変換されていない特徴点を除外する処理である。これにより、位置不変特徴量抽出部２４は、位置不変特徴量を抽出することができる。そして、重心ｏ，ｏ’の信頼性は、計算の過程で徐々に向上してゆく。このアルゴリズム２にかかる処理は以下のとおりである。
【０１１４】
Ｉｎｐｕｔ：
まず、対応特徴量のセットＷ，Ｗ’を入力する。ここで、Ｗ，Ｗ’は、いずれも上述の順序制約により抽出されたものであることが好ましい。
【０１１５】
Ｓｔｅｐ１：
まず、特徴量のセットＷｔｍｐ、Ｗ’ｔｍｐの初期値を、Ｗ，Ｗ’とする。このＷｔｍｐ、Ｗ’ｔｍｐのそれぞれについて、重心ｏ，ｏ’、総面積ＳΣ、Ｓ’Σを式（１４）、（１５）により計算する。また、Ｗｔｍｐのサイズ、すなわちＷｔｍｐに含まれる特徴量の数を、ＳｉｚｅＰｒｅｖｉｏｕｓとして保存する。
【０１１６】
Ｓｔｅｐ２：
Ｗｔｍｐ、Ｗ’ｔｍｐに含まれる対応特徴量ｉ，ｉ’の組に着目し、
【数１２】
2014073204.tif 000014
（以下、ＡｖｅＤｅｖと表記する）を式（１７）により計算する。ここでＡｖｅＤｅｖ＞ＴＡＣであれば、対応特徴量ｉ，ｉ’の組はアフィン変換されていないものと認定される。よって、Ｗｔｍｐ、Ｗ’ｔｍｐからｉ，ｉ’をそれぞれ除去する。
【数１３】
2014073204.tif 000015
かかるＡｖｅＤｅｖの判定処理を、Ｗｔｍｐ、Ｗ’ｔｍｐに含まれる対応特徴量すべてについて実施する。
【０１１７】
終了判定：
かかる処理ののち、Ｗｔｍｐのサイズと、Ｓｔｅｐ１で保存したＳｉｚｅＰｒｅｖｉｏｕｓとを比較する。ここで、両者のサイズが同じであれば、除去すべき対応特徴量はすべて除去されたものとして、処理を終了する。一方、両者のサイズが異なる場合は、対応特徴量の除去はまだ進行中であるから、Ｓｔｅｐ１に戻り処理を続行する。
【０１１８】
図１９に示すアルゴリズム３は、アルゴリズム２の計算結果を補正する為の処理である。位置不変特徴量抽出部２４は、アルゴリズム３により、アルゴリズム２の処理終了時点の重心ｏ，ｏ’を用いて、アルゴリズム２によって除外された特徴量を再検査する。これにより、アルゴリズム２の計算の初期段階、すなわち重心ｏ，ｏ’の信頼性が未だ低かった時点において、アルゴリズム２によって誤って除外された特徴量であって、本来は位置不変特徴量とすべき特徴量を、漏れなく救済することができる。アルゴリズム３にかかる処理は以下のとおりである。
【０１１９】
Ｉｎｐｕｔ：
まず、対応特徴量のセットＷ，Ｗ’およびＷｔｍｐ、Ｗ’ｔｍｐを入力する。ここで、Ｗ，Ｗ’は、アルゴリズム２に入力されたものと同じ対応特徴量のセットである。またＷｔｍｐ、Ｗ’ｔｍｐは、アルゴリズム２の出力である。
【０１２０】
Ｓｔｅｐ１：
まず、Ｗｔｍｐ、Ｗ’ｔｍｐのそれぞれについて、重心ｏ，ｏ’、総面積ＳΣ、Ｓ’Σを式（１４）、（１５）により計算する。また、Ｗｔｍｐのサイズ、すなわちＷｔｍｐに含まれる特徴量の数を、ＳｉｚｅＰｒｅｖｉｏｕｓとして保存する。
【０１２１】
Ｓｔｅｐ２：
Ｗ、Ｗ’に含まれる対応特徴量ｉ，ｉ’の組に着目し、ｉ，ｉ’がＷｔｍｐ、Ｗ’ｔｍｐに含まれていない場合は、ＡｖｅＤｅｖを式（１７）により計算する。ここでＡｖｅＤｅｖ＜ＴＡＣであれば、対応特徴量ｉ，ｉ’の組は、信頼できる重心ｏ，ｏ’により、アフィン変換されたものと判定されたことになる。よって、ｉ，ｉ’をＷｔｍｐ、Ｗ’ｔｍｐにそれぞれ繰り入れる。かかる判定処理を、Ｗ、Ｗ’に含まれる対応特徴量すべてについて実施する。
【０１２２】
終了判定：
かかる処理ののち、Ｗｔｍｐのサイズと、Ｓｔｅｐ１で保存したＳｉｚｅＰｒｅｖｉｏｕｓとを比較する。ここで、両者のサイズが同じであれば、救済すべき位置不変特徴量はすべて救済されたものとして、処理を終了する。このとき、Ｗｔｍｐ、Ｗ’ｔｍｐの内容をＷＡＣ、Ｗ’ＡＣとして出力する。一方、両者のサイズが異なる場合は、位置不変特徴量の救済はまだ進行中であるから、Ｓｔｅｐ１に戻り処理を続行する。
【０１２３】
（場所推定）
上述の一連の処理により、精度の高い位置不変特徴量のセットＷＡＣが得られる。これを用いることによって、より精度の高い場所推定が可能となる。
【０１２４】
現在の場所ｚｃと、比較対象の場所ｚｔとの類似度ｓｃｇ（ｚｔ，ｚｃ）は、式（１８）により算出できる。
【数１４】
2014073204.tif 000016
【０１２５】
ここで、ＳＡｆｆｉｎｅは式（１９）により算出できる。
【数１５】
2014073204.tif 000017
【０１２６】
ここで、Ｎｐａｉｒは、対応特徴量選択部２３が２つの場所の画像から取得した対応特徴量のセットのサイズである。ここでいう対応特徴量のセットは、上述の距離制約による補正を実施する前のセットであるものとする。すなわちＳＡｆｆｉｎｅは、距離制約、面積制約による一連の処理の前後における特徴量の一致度を示している。なお、０≦ＳＡｆｆｉｎｅ≦１である。
【０１２７】
ＳＤｉｓｐｅｒｓｉｏｎは式（２０）により算出できる。
【数１６】
2014073204.tif 000018
【０１２８】
ここで、Ｄ（’）は式（２１）により算出できる。
【数１７】
2014073204.tif 000019
【０１２９】
ＳＤｉｓｐｅｒｓｉｏｎは、アフィン不変な特徴量を含む２つの画像について、類似度をさらに精密に評価する為の指標である。ＳＤｉｓｐｅｒｓｉｏｎは、対応特徴量のセットに含まれるすべての特徴点と重心ｏとの距離の平均が、２つの画像間で大きく異なるほど、類似度を小さくする効果を有する。これにより、たとえば、２つの画像中に、同一の対象物ではあるものの、大きさの異なる像が含まれる場合（すなわち対象物を異なる位置から撮影したような場合）に、その２つの画像の撮影場所は同一ではないと判定し得るようになる。なお、０＜ＳＤｉｓｐｅｒｓｉｏｎ＜１である。
【０１３０】
ところで、従来より提案されている類似度の評価手法として、以下の式（２２）がある。ここで、Ｎｚｔ及びＮｚｃは、場所ｚｔ及び場所ｚｃにおいて取得される局所特徴量の総数を示す。
【数１８】
2014073204.tif 000020
【０１３１】
これに対し、発明者が提案する類似度の計算手法を、式（２３）に示す。
【数１９】
2014073204.tif 000021
【０１３２】
この手法によれば、距離制約、面積制約といった幾何学的な制約によって抽出された、よりノイズの少ない位置不変特徴量セットを利用して類似度を計算するので、より精度の高い類似度計算を行うことが可能である。
【０１３３】
（実験結果）
最後に、実施の形態５として示した特徴量抽出手法、及び場所認識手法を、実際の環境に適用した実験例を開示する。
【０１３４】
実施の形態３において実施したＭｉｎａｍｉｄａｉ屋外実験と同様の実験を、実施の形態５にかかる手法（距離制約、面積制約による位置不変特徴量算出手法。以下、ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）という）を用いて実施した。
【０１３５】
ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）を用いた場所認識の結果は、Ｒａｃａｌｌ＝９７．５％、Ｐｒｅｃｉｓｉｏｎ＝９８．５％、Ｔｏｔａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｔｉｍｅ＝１９４．３ｓｅｃ．であった。すなわち、ａｆｆｉｎｅ−ＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）は、上述の実施の形態のＩＣＧＭ（ｒｅａｌ−ｔｉｍｅ）やＩＣＧＭ（ｎｏｎ−ｒｅａｌ−ｔｉｍｅ）よりも、精度及び処理時間の双方において優れている。
【０１３６】
＜本発明のその他の実施の形態＞
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１３７】
例えば、上述の実施の形態では、特徴点は２次元であるという前提のもと本発明を説明した。しかしながら、特徴点は、環境から取得可能であれば、３次元以上の任意の次元であってよい。例えば、Ｋｉｎｅｃｔ（登録商標）を使用すれば、２次元の画像情報に加え奥行情報を取得できるため、３次元の特徴点を抽出可能である。なお、特徴点の次元数に係わらず、図Ｘ及び図Ｙに示すアルゴリズムにより、位置不変特徴量の抽出が可能である。すなわち、特徴点にトポロジが定義できるのであれば、このアルゴリズムは適用できる。例えば、遺伝子配列の類似度判定等に応用が可能である。
【０１３８】
また、カメラ画像からカメラの運動の軌跡を検出するビジュアル・オドメトリ手法と、本発明とを組み合わせれば、カメラ画像のみを用いたナビゲーションが可能である。本発明によれば、既知の現在位置（場所）検出手法であるＧＰＳ等によらず、カメラ画像から現在位置（場所）を推定することができるからである。例えば、室内やＧＰＳ受信困難な場所を移動するロボットや、カメラ付きスマートフォンにおけるナビゲーションに応用が可能である。
【０１３９】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１４０】
この出願は、２０１２年１１月６日に出願された日本出願特願２０１２−２４４５４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１４１】
１０  場所推定装置
１１  特徴量抽出部
１２  共通辞書
１３  マッチング部
１４  類似度算出部
１５  場所認定部
２１  局所特徴量抽出部
２２  特徴量マッチング部
２３  対応特徴量選択部
２４  位置不変特徴量抽出部
【図１】
2014073204.tif 000022
【図２】
2014073204.tif 000023
【図３】
2014073204.tif 000024
【図４】
2014073204.tif 000025
【図５】
2014073204.tif 000026
【図６】
2014073204.tif 000027
【図７】
2014073204.tif 000028
【図８】
2014073204.tif 000029
【図９】
2014073204.tif 000030
【図１０】
2014073204.tif 000031
【図１１】
2014073204.tif 000032
【図１２】
2014073204.tif 000033
【図１３】
2014073204.tif 000034
【図１４】
2014073204.tif 000035
【図１５】
2014073204.tif 000036
【図１６】
2014073204.tif 000037
【図１７】
2014073204.tif 000038
【図１８】
2014073204.tif 000039
【図１９】
2014073204.tif 000040
【手続補正書】
【提出日】平成26年2月18日(2014.2.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像から位置不変特徴量を抽出する特徴量抽出手段と、
各登録場所と位置不変特徴量が対応づけられて保存されているデータベースを参照し、入力画像と登録場所とのマッチングを求めるマッチング手段と、
マッチングが所定の閾値以上である場合に、選ばれた登録場所の近傍の登録場所を含めて類似度を算出する類似度算出手段と、
前記類似度が所定の閾値以上である場合に、当該入力画像が登録場所であると認定する場所認定手段とを有し、
前記特徴量抽出手段は、
連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
前記位置不変特徴量抽出手段は、前記対応特徴量のうち、前記入力画像内に存在する他の前記対応特徴量に対する相対位置の変化が所定のしきい値以下である前記対応特徴量を、前記位置不変特徴量として抽出する
場所推定装置。
【請求項２】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
すべての前記対応特徴量について繰り返し実行する
請求項１記載の場所推定装置。
【請求項３】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
請求項１記載の場所推定装置。
【請求項４】
前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である
請求項１記載の場所推定装置。
【請求項５】
前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻ｔにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
請求項１記載の場所推定装置。
【請求項６】
前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
請求項１記載の場所推定装置。
【請求項７】
前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
請求項１記載の場所推定装置。
【請求項８】
連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により連続する画像間でマッチングが取れた特徴量を対応特徴量として選択する対応特徴量選択手段と、
前記対応特徴量に基づき位置不変特徴量を求める位置不変特徴量抽出手段とを有し、
前記位置不変特徴量抽出手段は、前記対応特徴量のうち、前記入力画像内に存在する他の前記対応特徴量に対する相対位置の変化が所定のしきい値以下である前記対応特徴量を、前記位置不変特徴量として抽出する
特徴量抽出装置。
【請求項９】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれにおいて、既に抽出された前記位置不変特徴量の重心と、前記対応特徴量の１つとにより形成されるベクトルを定義し、
連続画像からなる入力画像それぞれにおいて形成された前記ベクトルの差分が、所定のしきい値以下であった場合、前記対応特徴量の１つを、前記位置不変特徴量として新たに抽出し、
前記重心を、前記重心と前記新たな位置不変特徴量との重心で更新する処理を、
すべての前記対応特徴量について繰り返し実行する
請求項８記載の特徴量抽出装置。
【請求項１０】
前記位置不変特徴量抽出手段は、連続画像からなる入力画像それぞれに存在し、互いに対応する前記対応特徴量の組を２組ランダムに選択し、
連続画像からなる入力画像それぞれにおいて、２つの対応特徴量により形成されるベクトルを定義し、
前記ベクトルの差分が、所定のしきい値以下であった場合、これらの前記対応特徴量を、前記位置不変特徴量として最初に抽出する
請求項８記載の特徴量抽出装置。
【請求項１１】
前記局所特徴量は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）又はＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔｎｅｓｓ  Ｆｅａｔｕｒｅｓ）の少なくともいずれか一方の特徴量である、
請求項８記載の特徴量抽出装置。
【請求項１２】
前記位置不変特徴量抽出手段は、時刻ｔに撮影された画像と、前記ｔより前である時刻ｔ−１に撮影された画像と、から抽出される第１の位置不変特徴量と、前記時刻ｔにかかる画像と、前記ｔより後である時刻ｔ＋１に撮影された画像と、から抽出される第２の位置不変特徴量と、の論理和を、前記位置不変特徴量として出力する
請求項８記載の特徴量抽出装置。
【請求項１３】
前記対応特徴量選択手段は、所定の前記対応特徴量と、他の前記対応特徴量と、の相対距離に基づいて、前記特徴量マッチング手段による前記マッチングの誤りを検査し、誤って前記マッチングされた前記対応特徴量を除去する
請求項８記載の特徴量抽出装置。
【請求項１４】
前記位置不変特徴量抽出手段は、前記対応特徴量に関係するアフィン不変量を検出することにより、前記位置不変特徴量を抽出する
請求項８記載の特徴量抽出装置。
【国際調査報告】
2014073204.tif 000041
2014073204.tif 000042