(57)【要約】【課題】クエリ画像の撮影角度に対して耐性があり、かつ小規模なシステム構成で高速検索を可能にする画像検索方法およびシステムを提供する。【解決手段】街並みのパノラマ画像から基準画像を抽出する基準画像抽出部２０２と、基準画像と被写体を見込む角度が異なる異角度画像を生成する異角度画像生成部２０３と、基準画像および異角度画像の特徴点から局所特徴量を抽出する局所特徴量抽出部２０４と、基準画像およびその異角度画像の各特徴点を比較し、局所特徴量の類似度が高い対応点関係を抽出する対応点関係抽出部２０５と、基準画像の特徴点を前記対応点関係にある特徴点に絞り込んでデータベース２０７に記憶するフィルタリング部２０６とを含み、クエリ画像の各特徴点から抽出された局所特徴量と各基準画像の前記絞り込まれた各特徴点から抽出された局所特徴量とを比較し、クエリ画像に類似した基準画像を検索結果とする。【選択図】図１
2011039974.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像に類似した画像を街並み画像の集合から検索する画像検索システムにおいて、
多数の街並み画像を記憶する手段と、
前記街並み画像から基準画像を抽出する手段と、
前記基準画像と被写体の少なくとも一部が重なり、当該被写体を見込む角度が異なる異角度画像を生成する手段と、
前記基準画像および異角度画像の各特徴点から局所特徴量を抽出する手段と、
前記基準画像およびその異角度画像の各特徴点を比較し、局所特徴量の類似度が高い対応点関係を抽出する手段と、
基準画像の特徴点を前記対応点関係にある特徴点に絞り込むフィルタリング手段と、
基準画像の前記絞り込まれた特徴点を記憶するデータベースと、
クエリ画像の各特徴点から抽出された局所特徴量と各基準画像の前記絞り込まれた各特徴点から抽出された局所特徴量とを比較し、クエリ画像に類似した基準画像を検索結果とする手段とを具備したことを特徴とする画像検索システム。
【請求項２】
前記データベースは、多数の街並み画像をその位置情報と紐付けて記憶し、
前記クエリ画像をユーザ端末から受信する手段と、
前記クエリ画像に類似した基準画像に対応した位置情報を前記ユーザ端末へ応答する手段とを具備したことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
ユーザ端末の現在位置を推定する手段と、
前記推定結果に基づいて検索対象の基準画像を予め絞り込む手段とを具備したことを特徴とする請求項２に記載の画像検索システム。
【請求項４】
前記異角度画像を生成する手段は、基準画像ごとに前記被写体を見込む角度が異なる複数の異角度画像を生成し、
前記対応点関係を抽出する手段は、異角度画像ごとに基準画像との対応点関係を抽出することを特徴とする請求項１ないし３のいずれかに記載の画像検索システム。
【請求項５】
前記フィルタリング手段は、基準画像の特徴点を、全ての異角度画像の特徴点と対応点関係にある特徴点に絞り込むことを特徴とする請求項４に記載の画像検索システム。
【請求項６】
前記フィルタリング手段は、基準画像の特徴点を、一部の異角度画像の特徴点と対応点関係にある特徴点に絞り込むことを特徴とする請求項４に記載の画像検索システム。
【請求項７】
前記基準画像が街並みのパノラマ画像から抽出されることを特徴とする請求項１ないし６のいずれかに記載の画像検索システム。
【請求項８】
クエリ画像に類似した画像を街並み画像の集合から検索する画像検索方法において、
予め記憶されている多数の街並み画像から基準画像を抽出する手順と、
前記基準画像と被写体の少なくとも一部が重なり、当該被写体を見込む角度が異なる異角度画像を生成する手順と、
前記基準画像および異角度画像の各特徴点から局所特徴量を抽出する手順と、
前記基準画像およびその異角度画像の各特徴点を比較し、局所特徴量の類似度が高い対応点関係を抽出する手順と、
基準画像の特徴点を前記対応点関係にある特徴点に絞り込む手順と、
基準画像の前記絞り込まれた特徴点をデータベースに記憶する手順と、
クエリ画像の各特徴点から抽出された局所特徴量と各基準画像の前記絞り込まれた各特徴点から抽出された局所特徴量とを比較し、クエリ画像に類似した基準画像を検索結果とする手順とを含むことを特徴とする画像検索方法。
【請求項９】
前記データベースでは、多数の街並み画像がその位置情報と紐付けられており、
前記クエリ画像をユーザ端末から受信する手順と、
前記クエリ画像に類似した基準画像に対応した位置情報を前記ユーザ端末へ応答する手順とをさらに含むことを特徴とする請求項８に記載の画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、街並みを撮影したクエリ画像に類似した画像を、予め撮影・記憶されている街並み画像の集合から検索する画像検索方法およびシステムに係り、特に、クエリ画像の撮影角度に対して耐性があり、かつ小規模なシステム構成で高速検索を可能にする画像検索方法およびシステムに関する。
【背景技術】
【０００２】
GPSデータを取得できる携帯電話を用いてユーザをリアルタイムで道案内をするナビゲーションシステムが普及している。しかしながら、高層ビル街のようにGPS信号を受信しにくいエリアでは位置取得精度が不安定で誤差が生じ易いため、このようなエリアでも正確な位置情報を取得できるシステムに対する要望がある。
【０００３】
このような環境で精度の高い位置情報を取得する手法として、位置情報が付加されている過去に撮影された街並み画像と、現在のユーザ付近の撮影画像（クエリ画像）とを画像マッチングさせることで位置情報を推定する手法が考えられる。
【０００４】
特許文献１には、過去に撮影された街並み画像および撮影画像から画像内の局所特徴量を抽出し、各画像の局所特徴量を比較することで撮影画像に最も類似した街並み画像を検索し、この街並み画像に付加されている位置情報をユーザの現在位置と推定する技術が開示されている。
【０００５】
非特許文献１には、クエリ画像および検索対象画像の双方から予め局所特徴量としてSIFT(Scale Invariant Feature Transform)を抽出し、各画像の局所特徴量間のユークリッド距離Lに基づいて最近傍探索を実行し、距離の近い局所特徴量同士が対応関係とされ、最終的に対応関係の多い検索対象画像を検索結果とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願2009-049158号
【非特許文献】
【０００７】
【非特許文献１】David G. Lowe，"Distinctive image features from scale-invariant keypoints" International Journal of Computer Vision, 60, 2 (2004), pp.91-110.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
検索対象の街並み画像は、データベースの容量を考慮すれば連続した動画像とすることは実用的ではなく、街並みを移動体に装着した全方位カメラで一定間隔ごとに撮影した静止画像の集合となる。したがって、ある被写体（例えば、建物）に対する見かけの撮影データを全て取得することはできず、離散的になる。このような街並画像データベースに対して、ユーザが街並みを撮影した画像（クエリ画像）と精度よく照合させるためには、撮影角度の変化に耐性の高い特徴点が必要となる。
【０００９】
一方、クエリ画像の撮影角度に対して耐性の高い検索を実現するためには、街並み画像から多数の特徴点を抽出すれば良い。しかしながら、多数の特徴点から得られる局所特徴量を全て記憶するとデータベースが大容量化するのみならず、画像検索時にも、クエリ画像から抽出された局所特徴量を多数の局所特徴量と比較しなければならないので検索時間が長くなってしまう。
【００１０】
本発明の目的は、上記の技術課題を全て解決し、クエリ画像の撮影角度に対して耐性があり、かつ小規模なシステム構成で高速検索を可能にする画像検索方法およびシステムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、クエリ画像に類似した画像を街並み画像の集合から検索する画像検索システムにおいて、以下のような手段を講じた点に特徴がある。
【００１２】
(1)多数の街並み画像を記憶する手段と、街並み画像から基準画像を抽出する手段と、基準画像と被写体の少なくとも一部が重なり、当該被写体を見込む角度が異なる異角度画像を生成する手段と、基準画像および異角度画像の各特徴点から局所特徴量を抽出する手段と、基準画像およびその異角度画像の各特徴点を比較し、局所特徴量の類似度が高い対応点関係を抽出する手段と、基準画像の特徴点を前記対応点関係にある特徴点に絞り込むフィルタリング手段と、基準画像の前記絞り込まれた特徴点を記憶するデータベースと、クエリ画像の各特徴点から抽出された局所特徴量と各基準画像の前記絞り込まれた各特徴点から抽出された局所特徴量とを比較し、クエリ画像に類似した基準画像を検索結果とする手段とを具備したことを特徴とする。
【００１３】
(2)前記データベースは、多数の街並み画像をその位置情報と紐付けて記憶し、クエリ画像をユーザ端末から受信する手段と、クエリ画像に類似した基準画像の位置情報を前記ユーザ端末へ応答する手段とを具備したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、以下のような効果が達成される。
【００１５】
(1)検索対象となる基準画像の特徴点が、クエリ画像の撮影角度に対して耐性のある特徴点のみに絞り込まれるので、クエリ画像の撮影角度（幾何変換）に対する耐性を損なうことなく、小規模なシステム構成で高速検索が可能になる。
【００１６】
(2)基準画像をその位置情報と紐付けて記憶し、ユーザ端末により撮影された街並みの画像をクエリ画像として、これに類似する基準画像を検索し、その位置情報をユーザ端末に応答するようにしたので、ユーザ端末に対して、その現在位置を正確かつ短時間で案内できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像検索装置が適用される位置案内システムの主要部の構成を示したブロック図である。
【図２】パノラマ画像と基準画像との関係を示した図である。
【図３】対応点関係の仮登録方法を模式的に示した図である。
【図４】対応点関係の本登録方法を模式的に示した図である。
【図５】位置案内部の構成を示した機能ブロック図である。
【図６】本発明の一実施形態の動作を示したフローチャートである。
【図７】対応点関係の仮登録手順を示したフローチャートである。
【図８】対応点関係の本登録手順を示したフローチャートである。
【図９】基準画像の特徴点を幾何変換に対する耐性の高い特徴点に絞り込む手順を模式的に示した図である。
【図１０】本発明の第２実施形態に係る位置案内部の構成を示した機能ブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の画像検索装置が適用される位置案内システムの主要部の構成を示したブロック図である。
【実施例１】
【００１９】
位置案内システムは、車両等の移動体に搭載されて街並みを全方位カメラで撮影する撮影装置１と、街並みのパノラマ画像から基準画像を選択して局所特徴量を抽出し、登録する局所特徴量登録部２と、ユーザ端末４で撮影された街並みの画像（静止画像）をクエリ画像として基準画像の中から類似画像を選択し、最尤の類似画像の位置情報をユーザ端末４へ位置案内の情報として応答する位置案内部３とを主要な構成としている。
【００２０】
撮影装置１において、全方位カメラ１０１は多数の撮像部を備えて全方位の静止画像を撮影する。位置検出部１０２は、撮影タイミングの現在位置（撮影位置）を例えばGPS信号により測位する。方位検知部１０３は、全方位カメラ１０１の向きを検知し、これに基づいて各撮影画像の向きを検知する。撮影された各静止画は、その撮影位置および方位と紐付けられて記憶部１０４に次々と記憶される。
【００２１】
局所特徴量登録部２において、パノラマ画像生成部２０１は、全方位カメラ１０１で撮影された多数の静止画像に基づいてパノラマ画像を生成する。基準画像抽出部２０２は、前記パノラマ画像から基準画像Iwを抽出する。この基準画像Iwは、例えば図２に示したように、パノラマ画像を等分割して得られる各静止画像であり、分割数と前記全方位カメラ１０１に実装されている撮像部数とは必ずしも一致しない。
【００２２】
異角度画像生成部２０３は、各基準画像Iwの被写体を左右方向に所定の角度θだけ移動した位置で撮影した異角度画像Iw±θを生成する。したがって、基準画像Iwとその異角度画像Iw±θとは被写体の少なくとも一部が重なり、当該被写体を見込む角度が互いに異なっている。本実施形態では、街並みの画像が全方位画像として構成されており、各撮影地点から視点方向の異なる複数の向きの画像を取得できるので、被写体側を基準にすれば、各被写体には複数の異なる角度から撮影された画像が存在し、これらを異角度画像Iw±θとできる。なお、このような異角度画像Iw±θは、パノラマ画像から基準画像Iwを切り取り、これを撮影角度がずれるように射影変換することによっても得られる。
【００２３】
局所特徴量抽出部２０４は、各基準画像Iwおよびその異角度画像Iw±θの各特徴点から局所特徴量を抽出する。本実施形態では、SIFTを利用して特徴点から得られる局所特徴量の対応付けが行われる。すなわち、局所領域の特定には、非特許文献１に開示されているDifference of Gaussian (DoG)によるスケールスペース内の極値に基づく特徴点抽出が用いられる。この特徴点抽出の結果、特徴点の位置およびその局所領域の範囲が算出され、この局所領域の特徴記述子として、輝度勾配の方向ヒストグラムが用いられる。
【００２４】
このような方向ヒストグラムは、特徴領域の各ピクセルの輝度勾配を算出し、それに重みを付けてヒストグラムを生成し、最も多いbin領域の方向を基準にして、その方向に特徴領域の回転（オリエンテーション）を行い、再度輝度方向の方向ヒストグラムを作成し、さらに前記ヒストグラムをブロックに分割し、各ブロック内で方向ヒストグラムを算出し、これを正規化してベクトル化することにより得られる。本実施形態では、ブロック内の輝度方向を８方向、対象領域内を１６分割しているため、一つの特徴記述子は８＊１６＝１２８次元となる。
【００２５】
これら特徴記述子の特徴として、局所領域の特徴を生成するのでオクルージョンに耐性があり、特徴点に対してスケールを決定するので画像サイズに不変であり、また輝度勾配に基づき画像平面内でオリエンテーションを行うので、画像平面に対する回転に不変であることなどが挙げられる。さらに、エッジ成分を利用しているので輝度変化に耐性がある。このような特徴点検出が画像の全てのピクセルに対して行われるが、ある特徴点が極値を取った場合でも特徴点として不適な場合は特徴領域から除外される。
【００２６】
本実施形態では、各基準画像Iw(i)の局所特徴量fw(i,j)が次式(1)で表される。ただし、添字iは基準画像識別子、添字jは特徴点識別子、pw(i,j)は同次座標で表した特徴点の位置、ow(i,j)は特徴点のオリエンテーション、σw(i,j)は特徴点が発見されたスケール、dw(i,j)は特徴記述子である。
【００２７】
fw(i,j)＝｛pw(i,j)，ow(i,j),σw(i,j)，dw(i,j)｝ ・・・(1)
【００２８】
同様に、各異角度画像Iw±θの局所特徴量fw±θ(k,l)は次式(2)で表される。ただし、添字kは異角度画像識別子、添字jは特徴点識別子である。
【００２９】
fw±θ(k,l)＝｛pw±θ(k,l)，ow±θ(k,l),σw±θ(k,l)，dw±θ(k,l)｝ ・・・(2)
【００３０】
対応点関係抽出部２０５は、仮登録部２０５ａおよび本登録部２０５ｂを含み、各基準画像Iwとその異角度画像Iw±θとの局所特徴量を比較し、類似度が上位の特徴点ペアを対応点関係とする。
【００３１】
前記仮登録部２０５ａは、基準画像Iwの各局所特徴量について、各異角度画像Iw±θの各局所特徴量を対象に最近傍探索を行い、局所特徴量間の距離に基づいて類似度を算出する。本実施形態では、各局所特徴量間の類似度が、次式(3)で与えられる各特徴記述子dw(i,j)，dw(k,j)間のユークリッド距離Lで代表される。
【００３２】
L＝|dw(i,j)−dw±θ(k,l)|  ・・・(3)
【００３３】
そして、基準画像Iwの特徴点ごとに、前記ユークリッド距離Lが最も近い距離L1となる特徴点および２番目に近い距離L2となる特徴点を各異角度画像Iw±θから探索し、更に各距離L1，L2が所定の第１条件を満足する場合のみ、前記距離L1を与える特徴点ペアを対応点関係として仮登録する。
【００３４】
図３は、対応点関係の仮登録方法を模式的に示した図である。図示の例では、基準画像Iwと一方の異角度画像Iw+θとのペアに着目しており、基準画像Iwの局所特徴量fw(1)と異角度画像Iw+θの局所特徴量fw+θ(1)とのユークリッド距離がL1、局所特徴量fw+θ(2)とのユークリッド距離がL2である。そして、距離L1が所定の基準距離Lref1以下であり、かつ距離比L1/L2が所定の基準比Rref1（例えば、０．８）以下なので、ユークリッド距離L1を与える特徴点ペアが対応点関係として仮登録されている。
【００３５】
これに対して、基準画像Iwの局所特徴量fw(2)と異角度画像Iw+θの局所特徴量fw+θ(3)とのユークリッド距離がL1、局所特徴量fw+θ(4)とのユークリッド距離がL2であるが、距離L1が所定の基準距離Lref1よりも大きいか、あるいは距離比L1/L2が基準比Rref1（例えば、０．８）よりも大きいので、距離L1を与える特徴点ペアであっても対応点関係として仮登録されていない。
【００３６】
前記本登録部２０５ｂ、仮登録された全ての対応点関係の異角度画像Iw+θ側の特徴点について、基準画像Iwの各特徴点から得られる局所特徴量を対象に最近傍探索を同様に行い、ユークリッド距離L1，L2が前記仮登録条件と同等の本登録条件を満足する基準画像Iwの特徴点が前記対応点関係の基準画像Iw側の対応点と一致していれば、当該対応点関係を本登録する。
【００３７】
図４は、対応点関係の本登録方法を模式的に示した図である。図示の例では、基準画像Iwの局所特徴量fw(1)と異角度画像Iw+θの局所特徴量fw+θ(1)、および基準画像Iwの局所特徴量fw(2)と異角度画像Iw+θの局所特徴量fw+θ(2)とが共に対応点関係として仮登録されている。そして、各対応点関係の異角度画像Iw+θ側の対応点から得られる局所特徴量fw+θ(1)，fw+θ(2)と基準画像Iwの全ての局所特徴量fw(i)との最近傍探索が行われた結果、局所特徴量fw+θ(1)と対応点関係の条件を満足する基準画像Iwの特徴点が前記仮登録における対応点関係の基準画像Iw側の対応点と一致しているので、当該対応点関係は本登録されている。
【００３８】
これに対して、局所特徴量fw+θ(2)と対応点関係にある基準画像Iwの特徴点は前記仮登録における対応点関係の基準画像Iw側の対応点と一致していないので、当該対応点関係は本登録されていない。
【００３９】
図１へ戻り、フィルタリング部２０６は、基準画像Iwの全特徴点の中から、一方の異角度画像Iw+θおよび他方の異角度画像Iw-θの双方の特徴点と対応点関係となれなかった特徴点を破棄し、双方の異角度画像Iw±θの特徴点と対応点関係となれた特徴点のみを基準画像Iwの特徴点（以下、フィルタリング後の特徴点と表現する場合もある）としてデータベース２０７に蓄積する。これにより、街並み画像のデータベース２０７では、撮影角度の違いが原因で対応点関係となれない特徴点の記憶容量が不要になるので、データベース２０７の小型化可能になり、さらにはクエリ画像と各基準画像を比較する際の局所特徴量を減じることができるので、検索速度を向上させることが可能になる。
【００４０】
位置案内部３は、ユーザ端末４で撮影された街並み画像を受信して各特徴点から局所特徴量を抽出し、これを基準画像の前記フィルタリング後の各特徴点から得られる局所特徴量と比較して対応点関係を求め、対応点関係が最多の基準画像Iwの位置情報を位置案内の情報としてユーザ端末４へ返信する。ユーザ端末４は、返信された位置情報を自身の現在位置と認識する。
【００４１】
図５は、前記位置案内部３の主要部の構成を示した機能ブロック図であり、位置案内要求受信部３０１は、街並み画像Iqの添付された位置案内要求をユーザ端末４から受信する。局所特徴量抽出部３０２は、前記街並み画像Iqから局所特徴量fq(x)を抽出する。但し、添字xは街並み画像Iqの特徴点識別子である。
【００４２】
対応点関係抽出部３０３は仮登録部３０３ａおよび本登録部３０３ｂを含み、前記対応点関係抽出部２０５と同様に、街並み画像Iqの各局所特徴量fq(x)と各基準画像Iw(k)の各局所特徴量fw(k,l)とを比較して対応点関係を抽出する。類似画像決定部３０４は、対応点関係が多い１ないしNベストの基準画像Iw(k)を類似画像に決定する。位置情報応答部３０５は、前記１ないしNベストの基準画像Iw(k)の位置情報を位置案内情報としてユーザ端末へ応答しても良いし、あるいは前記１ないしNベストの基準画像Iw(k)と街並み画像Iqとの対応点関係から当該街並み画像Iqの撮影位置を推定し、この推定結果を位置案内情報としてユーザ端末へ応答しても良い。
【００４３】
図６，７，８は、本実施形態の動作を示したフローチャートであり、特に、対応点関係抽出部２０５およびフィルタリング部２０６の動作を示している。ここでは、図９(a)に示したように、基準画像Iwおよびその２つの異角度画像Iw±θが既に生成されており、さらに基準画像Iwおよび各異角度画像Iw±θについて、●印で示した特徴点から局所特徴量の抽出が完了しているものとして説明する。
【００４４】
図６のステップＳ１では、基準画像Iwの一つが今回の参照対象として選択され、ステップＳ２では、異角度画像Iw±θの一方（ここでは、異角度画像Iw+θ）が今回の参照対象として選択される。ステップＳ３では、前記仮登録部２０５ａにおいて、基準画像Iwの各特徴点から得られる局所特徴量と異角度画像Iw+θの各特徴点から得られる局所特徴量とが比較され、局所特徴量が一致または類似する特徴点ペアを対応点関係として仮登録する仮登録処理が実行される。
【００４５】
図７は、前記仮登録処理の手順を示したフローチャートであり、ステップＳ１０１では、今回の基準画像Iw(i)から抽出された局所特徴量fw(i,j)の一つが選択される。ステップＳ１０２では、今回の異角度画像Iw+θ(k)の各局所特徴量fwt(k,l)と基準画像Iwの今回の局所特徴量fw(i,j)との類似度が、各特徴量間の距離（ユークリッド距離）Lとして算出される。ステップＳ１０３では、局所特徴量のユークリッド距離Lが近い上位２つ（L1，L2）の特徴点が抽出される。ステップＳ１０４では、距離L1が基準距離Lef1以下であり、かつ距離比(L1/L2)が基準比tref1以下であるか否かが判定される。これらの仮登録条件がいずれも満足されれば、両者の類似度が高いと判定されるのでステップＳ１０５へ進み、距離L1を与える特徴点ペアが対応点関係として仮登録される。
【００４６】
ステップＳ１０６では、今回の基準画像Iw(i)の全ての局所特徴量fw(i,j)に関して上記の処理が完了したか否かが判定される。完了していなければステップ１０１へ戻り、基準画像Iw(i)の局所特徴量fw(i,j)を切り換えながら上記の各処理が繰り返される。これにより、今回の基準画像Iwと今回の異角度画像Iw+θとの対応点関係の仮登録が完了する。
【００４７】
図６のメインフローへ戻り、ステップＳ４では、前記本登録部２０５ａにおいて、前記ステップＳ３とは逆の視線で、対応点関係にある異角度画像Iw+θ側の特徴点と基準画像Iwの全ての特徴点との間で局所特徴量に関して最近傍探索が行われる。そして、局所特徴量の類似度が最も高い基準画像Iwの特徴点が、前記対応点関係にある基準画像Iw側の特徴点と一致すれば、当該仮登録の対応点関係が本登録される。
【００４８】
図８は、上記本登録処理の手順を示したフローチャートであり、ステップＳ２０１では、仮登録されている対応点関係の一つが選択される。ステップＳ２０２では、対応点関係にある異角度画像Iw+θ側の特徴点と基準画像Iwの全ての特徴点とを対象に局所特徴量間のユークリッド距離Lが算出される。ステップＳ２０３では、距離Lが近い上位２つ（L1，L2）の特徴点ペアが抽出される。
【００４９】
ステップＳ２０４では、距離L1が基準距離Lef1以下であり、かつ距離比(L1/L2)が基準比tref1以下であるか否かが判定される。これらの本登録条件がいずれも満足されればステップＳ２０５へ進む。ステップＳ２０５では、前記距離L1を与える基準画像Iwの特徴点が前記対応点関係の基準画像Iw側の対応点と一致しているか否かが判定される。一致していればステップＳ２０６へ進み、前記仮登録されている今回の対応点関係が本登録される。
【００５０】
ステップＳ２０７では、仮登録されている全ての対応点関係に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ２０１へ戻り、残りの対応点関係に関して上記の各処理が繰り返される。これにより、今回の基準画像Iwと異角度画像Iw+θとの対応点関係の本登録が完了する。図９(b)は、対応点関係の登録結果を示した図である。
【００５１】
図６のメインフローへ戻り、ステップＳ５では、全ての異角度画像Iw±θに関して上記の処理が完了したか否かが判定される。ここでは、他方の異角度画像Iw-θについて処理が完了していないのでステップＳ２へ戻り、他方の異角度画像Iw-θを対象に上記の各処理が繰り返される。
【００５２】
その後、今回の基準画像Iwに関して、一方側の異角度画像Iw+θとの対応点抽出および他方側の異角度画像Iw-θとの対応点抽出が完了するとステップＳ６へ進み、前記フィルタリング部２０６において、図９(c)に示したように、今回の基準画像Iwから最初に抽出された特徴点の中から、一方の異角度画像Iw+θおよび他方の異角度画像Iw-θの双方と対応点関係となれた特徴点を残して他の特徴点が破棄される。その結果、図９(d)に示したように、基準画像Iwの特徴点が少数に絞り込まれることになる。
【００５３】
ステップＳ７では、前記少数に絞り込まれた特徴点およびその局所特徴特徴量がデータベース２０７に登録される。ステップＳ８では、上記の処理が全ての基準画像Iwに関して完了したか否かが判定される。完了していなければステップＳ１へ戻り、基準画像Iwを切換ながら上記の各処理が繰り返される。
【実施例２】
【００５４】
図１０は、本発明の第２実施形態に係る位置案内部３の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００５５】
本実施形態では、ユーザ端末４から位置案内要求を受信した際に、ユーザ端末４の大まかな現在位置を推定する位置推定部３０１ａ、および現在位置の推定結果に基づいて検索対象の基準画像Iwを当該現在位置の周囲に限定する検索範囲限定部３０６を設け、位置案内のための検索範囲を予め絞り込むようにした点に特徴がある。
【００５６】
前記位置推定部３０１ａは、例えばユーザ端末４に実装されたGPSシステムにおいて受信された、正確な測位には不十分な個数（例えば、２個）のGPS衛星から送信されたGPS信号基づいて、あるいは要求メッセージを受信した基地局の所在地等に基づいて、ユーザ端末４の現在位置を推定する。
【００５７】
本実施形態によれば、検索対象の基準画像Iwが予め絞り込まれるので、検索時間の短縮および検索システムの処理負荷を軽減できるようになり、さらには検索精度を高められるようになる。
【００５８】
なお、上記の各実施形態では、基準画像Iwの左右に隣接する２つの画像を異角度画像Iw±θとするものとして説明したが、本発明はこれのみに限定されるものではなく、角度の異なる３つ以上の画像を異角度画像とし、基準画像Iwから最初に抽出された特徴点のうち、全ての異角度画像Iw±θの特徴点と対応点関係となれた特徴点のみを前記フィルタリング後の特徴点として登録するようにしても良い。
【００５９】
さらに、上記の実施形態では、基準画像Iwから最初に抽出された特徴点のうち、全ての異角度画像Iw±θの特徴点と対応点となれた特徴点のみを前記フィルタリング後の特徴点として登録するものとして説明したが、本発明はこれのみに限定されるものではなく、少なくとも一部の異角度画像Iw±θのいずれかの特徴点と対応点関係となれた特徴点を前記フィルタリング後の特徴点として登録するようにしても良い。
【符号の説明】
【００６０】
１…撮影装置，２…局所特徴量登録部，３…位置案内部，４…ユーザ端末，１０１…全方位カメラ，１０２…位置検出部，１０３…方位検知部，２０１…パノラマ画像生成部，２０２…基準画像抽出部，２０３…異角度画像生成部，２０４…局所特徴量抽出部，２０５…対応点関係抽出部，２０６…フィルタリング部，２０７…データベース
【図２】
2011039974.tif 000003
【図３】
2011039974.tif 000004
【図４】
2011039974.tif 000005
【図５】
2011039974.tif 000006
【図６】
2011039974.tif 000007
【図７】
2011039974.tif 000008
【図８】
2011039974.tif 000009
【図１０】
2011039974.tif 000010
【図１】
2011039974.tif 000011
【図９】
2011039974.tif 000012