(57)【要約】【課題】他の撮像方向からの景観を含む画像を検索して、位置情報を取得することができるようにする。【解決手段】無線通信カメラ１００は、景観画像データについて前記景観画像データの撮像方位及び地形的特徴情報と関連付けて複数格納した画像格納部３６より、特定の景観画像データの選択を検出すると、この選択が検出された前記景観画像データについて、関連付けられた地形的特徴情報に基づいて、類似する景観画像データを検索する。そして、選択が検出された景観画像データと検索結果として取得された景観画像データの少なくとも一つの撮像方位及び地形的特徴情報を位置検索サーバ３００へ送信する。位置検索送信サーバ３００は、受信した撮像方位及び地形的特徴情報から前記景観画像データに含まれる地形の３次元形状を推測し、推測された地形の前記３次元形状に基づいて、この地形が存在する地点の位置情報を取得して、無線通信カメラ１００へ送信する。【選択図】図１
2010237998.tif 000002
【特許請求の範囲】
【請求項１】
景観画像データを、前記景観画像データの撮像方位及び地形的特徴情報と関連付けて複数格納する格納手段と、
前記格納手段に格納された複数の景観画像データから特定の景観画像データの選択を検出する選択検出手段と、
前記選択検出手段によって選択が検出された前記景観画像データについて、これ関連付けられた地形的特徴情報に基づいて、類似する景観画像データを検索する第１の検索手段と、
前記選択検出手段によって選択が検出された景観画像データと前記第１の検索手段による検索結果として取得された景観画像データの少なくとも一つの撮像方位及び地形的特徴情報を送信する第１の送信手段と、
を備える通信端末と、
前記第１の送信手段によって送信された撮像方位及び地形的特徴情報を受信する受信手段と、
前記受信手段によって受信された地形的特徴情報及び撮像方位に基づいて、前記景観画像データに含まれる地形の３次元形状を推測する推測手段と、
前記推測手段によって推測された地形の前記３次元形状に基づいて、この地形が存在する地点の位置情報を取得する第２の検索手段と、
前記第２の検索手段によって取得した位置情報を前記通信端末に送信する第２の送信手段と、を備えることを特徴とする位置検索システム。
【請求項２】
前記通信端末は、
景観を撮像して景観画像データを取得する撮像手段と、
前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、
前記撮像手段が撮像して取得した景観画像データに関する地形的特徴情報を取得する特徴情報取得手段と、
前記撮像手段が取得した景観画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した地形的特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする、請求項１に記載の位置検索システム。
【請求項３】
前記特徴情報取得手段は、撮像された前記景観画像データから、人工物、建造物又は近景を除いた画像領域について、地形的特徴情報を抽出することを特徴とする、請求項２に記載の位置検索システム。
【請求項４】
景観画像データについて前記景観画像データの撮像方位及び地形的特徴情報と関連付けて複数格納したメモリより、特定の景観画像データの選択を検出する選択検出ステップと、
前記選択検出ステップにて選択が検出された前記景観画像データについて、これ関連付けられた地形的特徴情報に基づいて、類似する景観画像データを検索する第１の検索ステップと、
前記選択検出ステップにて選択が検出された景観画像データと前記第１の検索ステップにて検索結果として取得された景観画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記景観画像データに含まれる地形の３次元形状を推測する推測ステップと、
前記推測ステップにて推測された地形の前記３次元形状に基づいて、この地形が存在する地点の位置情報を取得する第２の検索ステップと、
前記第２の検索ステップにおける検索結果として前記景観画像データの位置情報を取得する位置情報取得ステップと、
を含むことを特徴とする位置検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置検索システム、及び位置検索方法に関し、例えば、目標とする地理上の位置を含む景観の３次元形状及び所望の方向からの２次元投影画像を用いて類似画像を検索し、これにより位置情報を取得する、位置検索システム及び位置検索方法に関する。
【背景技術】
【０００２】
従来から、入力された文字に基づいて目的地を検索する目的地検索方法（特許文献１）、及び、現在地の住所等の地域情報が不明であっても、ＧＰＳ受信機が受信した電波に基づいて当該地域の地域情報を知ることができるＧＰＳ位置検出装置が存在している。
【０００３】
また、撮影した画像データと共に、その属性情報等として撮影場所の位置情報、例えば、ＧＰＳ信号から特定した緯度経度情報等を関連付けて記録しておき、当該位置情報に応じて、撮影した画像を該当する地図上に表示する画像処理装置等が提案されている（特許文献２及び３）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−７０２５６
【特許文献２】特開平０６−６８１６９
【特許文献３】特開平０９−１３９９０６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＧＰＳ信号はユーザの現在位置を特定するための検索キーとすることはできるが、遠方の物体、又は景観の位置情報を得るためには当該物体、又は景観の位置までユーザが移動する必要がある。また、与えられた画像から画像に撮影された被写体や景観等の地理上の位置を特定することが必要になる場合がある。このような場合、位置情報が属性情報として記録されていない画像については、従来の方法ではその撮影位置を特定することは困難であった。具体的には、画像の照合により地理上の位置を検索する場合、用いる画像は、所定の視点や方向から見た２次元の情報しか有していないため、同一の場所であっても視点の方向によって異なる景観になる場合がある。さらに、従来の画像検索では、画像に特徴となる被写体や景観が一部しか写っていない、あるいは背後に隠れて撮影されていない部分がある等、同じ被写体や景観であっても視点や撮影範囲が異なると違って見える場合もあり、うまく検索できない場合があった。また、複数の視点方向から撮影した画像を検索キーとして用いようとすると、検索キーに用いる画像のデータ量が膨大となるという問題があった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、他の撮像方向からの景観を含む画像を検索して、位置情報を取得することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため請求項１記載の発明に係る画像検索システムにあっては、景観画像データを、前記景観画像データの撮像方位及び地形的特徴情報と関連付けて複数格納する格納手段と、前記格納手段に格納された複数の景観画像データから特定の景観画像データの選択を検出する選択検出手段と、前記選択検出手段によって選択が検出された前記景観画像データについて、これ関連付けられた地形的特徴情報に基づいて、類似する景観画像データを検索する第１の検索手段と、前記選択検出手段によって選択が検出された景観画像データと前記第１の検索手段による検索結果として取得された景観画像データの少なくとも一つの撮像方位及び地形的特徴情報を送信する第１の送信手段と、を備える通信端末と、前記第１の送信手段によって送信された撮像方位及び地形的特徴情報を受信する受信手段と、前記受信手段によって受信された地形的特徴情報及び撮像方位に基づいて、前記景観画像データに含まれる地形の３次元形状を推測する推測手段と、前記推測手段によって推測された地形の前記３次元形状に基づいて、この地形が存在する地点の位置情報を取得する第２の検索手段と、前記第２の検索手段によって取得した位置情報を前記通信端末に送信する第２の送信手段と、を備えることを特徴とする。
【０００８】
また、請求項２記載の発明に係る画像検索システムにあっては、前記通信端末は、景観を撮像して景観画像データを取得する撮像手段と、前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、前記撮像手段が撮像して取得した景観画像データに関する地形的特徴情報を取得する特徴情報取得手段と、前記撮像手段が取得した景観画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した地形的特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする。
【０００９】
また、請求項３記載の発明に係る画像検索システムにあっては、前記特徴情報取得手段は、前記撮像された景観画像データから、人工物、建造物又は近景を除いた画像領域について、地形的特徴情報を抽出することを特徴とする。
【００１０】
また、請求項４記載の発明に係る画像検索方法にあっては、景観画像データについて前記景観画像データの撮像方位及び地形的特徴情報と関連付けて複数格納したメモリより、特定の景観画像データの選択を検出する選択検出ステップと、前記選択検出ステップにて選択が検出された前記景観画像データについて、これ関連付けられた地形的特徴情報に基づいて、類似する景観画像データを検索する第１の検索ステップと、前記選択検出ステップにて選択が検出された景観画像データと前記第１の検索ステップにて検索結果として取得された景観画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記景観画像データに含まれる地形の３次元形状を推測する推測ステップと、前記推測ステップにて推測された地形の前記３次元形状に基づいて、この地形が存在する地点の位置情報を取得する第２の検索ステップと、前記第２の検索ステップにおける検索結果として前記景観画像の位置情報を取得する位置情報取得ステップと、を含むことを特徴とする。
【００１１】
本発明に係る画像検索システム及び画像検索方法は、他の画像検索システム及び画像検索方法等の既存技術と組み合わせることができ、そのように組み合わせた技術もまた、本発明の技術範囲に含まれる。同様に、本発明の技法を取り入れた画像検索システム及び画像検索方法等も本発明の技術範囲に含まれる。また、本発明の技法は、本発明に係る画像検索及び位置情報取得の方法のいずれかのステップを任意の記憶媒体に記憶して提供し得る。具体的には、磁気記憶媒体、電気的記憶媒体、光学ディスク等のコンピュータ可読媒体に記憶されたコンピュータ・プログラムの形態も、本発明の技術範囲に含まれる。さらに、本発明の技法は、画像検索及び位置情報取得の諸段階を、ＦＰＧＡ（プログラム可能ゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、これらと同等のハードウェアロジック素子、プログラム可能な集積回路、又はこれらの組み合わせが記憶し得るプログラムの形態、すなわちプログラム製品として提供し得る。具体的には、データ入出力、データバス、メモリバス、システムバス等を備えるカスタムＬＳＩ（大規模集積回路）の形態として、本発明に係る画像検索装置又は画像検索システムを提供でき、そのように集積回路に記憶されたプログラム製品の形態も、本発明の技術範囲に含まれる。
【発明の効果】
【００１２】
本発明によれば、同一の場所の景観を被写体としていても異なる視点から撮影された画像等、類似性を判定する情報が不足又は困難な二次元画像であっても、いったん疑似３次元画像データを生成し、この疑似３次元画像データに基づいて、任意の視点からの２次元画像を生成して、画像検索を実施し、位置情報を取得することができる。このため、本発明によると、こうして生成した２次元画像とネットワーク資源上に記憶された画像との類似性を評価して、画像を検索して位置情報を取得することができる。さらに、本発明によると、人工物を含む景観を被写体とした画像で、撮影した視点や範囲が異なっていても、人工物を取り除いた２次元画像を生成して、人工物を除いた状態で画像の類似性を判定し、画像を検索して位置情報を取得することができる。
【００１３】
従って、本発明に係る画像検索システム及び画像検索方法においては、例えば、画像に特徴となる被写体や景観が一部しか写っていない、あるいは背後に隠れて撮影されていない部分がある等、同じ被写体や景観であっても視点や撮影範囲が異なると違って見える場合もあり、検索することが困難な画像であっても、任意の視点からの２次元画像を生成して、当該生成した２次元画像を検索キーとすることにより、検索できる画像の範囲を広げ、検索精度を向上することができる。
【００１４】
また、本発明に係る画像検索システム及び画像検索方法においては、画像から部分的に視点を任意とする部分画像等を生成し、これを検索キーとして、自然景観等の位置情報を取得することができる。これにより、本発明に係る画像検索システム及び画像検索方法は、図面検索、観光地検索、住宅検索、人物検索等、一般の写真や画像以外の検索用等にも利用することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態に係る位置検索システム１０を例示する図である。
【図２】無線通信カメラ１００のハードウェア構成を例示する図である。
【図３】位置検索サーバ３００の機能の構成を例示する図である。
【図４】位置検索サーバ３００のハードウェア構成を例示する図である。
【図５】図２の無線通信カメラ１００において、画像データを管理するためのテーブルの一例を示す図である。
【図６】無線通信カメラ１００の動作の諸段階を説明するフロー図である。
【図７】無線通信カメラ１００と位置検索サーバ３００とで協働して実行する位置検索処理の諸段階を説明するフロー図である。
【図８】３次元形状モデルに基づいて２次元景観画像をレンダリング描画する例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、本実施の形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。従って、本実施の形態の記載をもって、本発明の内容を限定するものではない。本願明細書に用いる用語「撮影」及び「撮像」は、デジタルカメラ又はスキャナ等を用いてコンピュータ読み取り可能画像データを取り込むことを指す。
【００１７】
［位置検索システムの実施の形態］
図１は、本発明の実施の形態に係る位置検索システム１０を例示する図である。図１に示す位置検索システム１０は、無線通信カメラ１００、位置検索サーバ３００、サービス・プロバイダ４１０、無線中継局４３０、ネットワーク６００を含む。ネットワーク６００は、インターネット等の広域ネットワークでもよく、ローカル・エリア・ネットワーク（ＬＡＮ）でもよい。
【００１８】
無線通信カメラ１００は、典型的には無線通信機能を備えるデジタルカメラである。しかしながら、これに限定せず、デジタルカメラの機能を備える携帯端末装置等を用いてもよい。無線通信カメラ１００は、無線中継局４３０を介してサービス・プロバイダ４１０に接続し、ネットワーク６００に接続されている位置検索サーバ３００等のネットワーク資源を利用できる。無線通信カメラ１００が備える格納手段、選択手段、検索手段及び送信手段等の構成要素については後述する。
【００１９】
無線通信カメラ１００が備える無線通信機能は、無線通信カメラ１００内の一部の回路として組み込まれるか、又は無線通信カード等の形態で提供される周辺機器として提供される。このような無線通信カメラ１００は、撮影したデジタル写真を適宜符号化し、所定のコンピュータ等に送信することが可能である。例えば、無線通信カメラ１００は、撮影したデジタル写真を、無線中継局４３０、サービス・プロバイダ４１０、及びネットワーク６００を介して、位置検索サーバ３００等に送信できる。また、無線通信カメラ１００は、これらの無線通信の形態を含む情報通信網を介して、デジタル写真を含む情報を受信することが可能である。すなわち、無線通信カメラ１００は、位置検索サーバ３００に対して位置検索等の要求を送信し、当該要求に対応する検索結果等が位置検索サーバ３００から送信されると、この検索結果等を受信することが可能である。
【００２０】
位置検索サーバ３００は、ネットワーク６００を介して接続されている無線通信カメラ１００等の端末装置からの位置検索等の要求を受信し、受信した検索条件に基づいて緯度経度情報からなる検索結果を当該端末装置に送信する。本発明に係る位置検索サーバ３００は、３次元画像モデルを作成し、さらに３次元画像モデルから位置検索を実施する。  
【００２１】
サービス・プロバイダ４１０は、典型的には、インターネットに接続するためのサービスを提供する事業体であるインターネット・サービス・プロバイダ等である。無線中継局４３０は、典型的にはサービス・プロバイダ４１０によるネットワーク接続サービス等を、無線通信カメラ１００に対して無線接続して提供するために用いられる。無線中継局４３０は、サービス・プロバイダ４１０の回線設備等と一体化していてもよい。
【００２２】
このようにすることで、本発明に係る位置検索システム１０においては、無線通信カメラ１００は位置検索サーバ３００に対して位置検索の要求を送信し、位置検索サーバ３００は当該要求に基づいて、３次元画像を推測して検索結果としての緯度経度情報を無線通信カメラ１００に送信する。無線通信カメラ１００は、位置検索サーバ３００からの検索結果を受信することが可能である。
【００２３】
［無線通信カメラのハードウェア構成］
図２は、無線通信カメラ１００のハードウェア構成を例示する図である。
【００２４】
撮像部２０は、レンズ２２、絞り２４及びシャッタ２６を備え、被写体光を結像する動作を実施する。Ａ／Ｄ変換部２８は、典型的には撮像素子と一体化して、結像した被写体光を受光し、デジタル信号に変換する動作を実施する。信号処理部３０は、変換されたデジタル信号に対して画像補間処理等を実施する。
【００２５】
キー入力部３２は、シャッタ２６の動作を指示するためのシャッタ・キー、無線通信カメラ１００の電源を投入又は切断するための電源キー、無線通信カメラ１００の動作モードを撮影モードと再生モードとの間で切り替えるためのモード切り替えキー等を適宜備える。
【００２６】
表示部３４は、撮像モードにおいて撮像部２０からＡ／Ｄ変換部２８に到達している被写体像、再生モードにおいて画像格納部３６等に記憶され選択された画像データを間引いた画像データ、及び適宜動作情報又は画像データに関連する情報等を表示するために用いられる。
【００２７】
画像格納部３６は、無線通信カメラ１００により撮影された画像データを含む任意の画像データを格納するために用いられる。例えば、画像格納部３６は、位置検索サーバ３００から受信した画像データを記憶することができる。
【００２８】
通信部３８は、典型的にはアンテナを内蔵し、無線通信カメラ１００が無線中継局４３０を介して、位置検索システム１０に含まれる位置検索サーバ３００と無線接続するために用いられる。通信部３８により、無線通信カメラ１００が撮影したデジタル写真等の画像データは、位置検索サーバ３００等に送信することが可能になる。また、無線通信カメラ１００は、通信部３８を介して位置検索サーバ３００に位置検索等の要求を送信し、かつ位置検索サーバ３００からの検索結果を受信することが可能である。
【００２９】
画像処理部４０は、典型的には次のような動作を実施する。
（画像処理部４０の動作−１）撮影モードにおいて、巡回的に撮像される画像データを間引いて表示部３４に出力する処理；
（画像処理部４０の動作−２）キー入力部３２のシャッタ・キーの操作検出により、その時点で撮像、Ａ／Ｄ変換及び信号処理された画像データを圧縮符号化する処理；及び、
（画像処理部４０の動作−３）再生モードにおいて、キー入力部での所定の動作検出により、画像格納部３６に格納された画像データを表示部３４に出力する処理。
【００３０】
制御部４２は、典型的には次のような動作を実施する。
（制御部４２の動作−１）無線通信カメラ１００全体の制御に係る動作；
（制御部４２の動作−２）画像格納部３６、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に記録した画像データと、方向検知部５０が検知した方位、傾斜角度、座標とＳＩＦＴ特徴量、及びこの画像データにおける当該ＳＩＦＴ特徴量が存在する位置座標の組を、図５を用いて後述する管理テーブルに記憶させる動作；
（制御部４２の動作−３）画像格納部３６に格納される複数の画像データに対して、所定の画像領域を除く画像領域を抽出した抽出画像データを生成する動作；
（制御部４２の動作−４）生成した抽出画像データが有する地形的特徴量同士を比較することにより類似度を算出する動作；
（制御部４２の動作−５）類似度に基づいて類似すると判定した画像データについて、当該画像データに関連付けられた方位、傾斜角度、座標と地形的特徴量の組を位置検索サーバ３００に送信する動作；及び、
（制御部４２の動作−６）位置検索サーバ３００から受信した検索結果を表示部３４に表示する動作。制御部４２の動作−５の判定で、「類似すると判定した画像データ」とは「一致すると判定した画像データ又は同一の画像データ」を含んでもよい。
【００３１】
プログラムメモリ４４は、制御部４２が実行する制御プログラムを記憶する。
【００３２】
データメモリ４６は、制御部４２の動作に伴い一時的に記憶が必要な数値等を記憶するためのワークメモリとして用いられる。これに限定せず、データメモリ４６は、任意の画像データの記憶のために用いることができる。
【００３３】
地形的特徴量算出部４８は、画像記録時に、画像内の座標ごとの特徴量を算出して地形的特徴量とし、上位所定数の組をリストアップする動作を実施する。ここで、当該特徴量としては、例えばＳＩＦＴ特徴量を用いることができる。
【００３４】
ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトルとして記述される特徴量（例えば、永橋、藤吉、金出「領域分割に基づくSIFT特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年１月を参照；当該文献は次のサイトからオンライン入手可能である；＜URL：http://www.vision.cs.chubu.ac.jp/04/pdf/PIA08.pdf＞）である。例えば、ある画像に対して顕著点（特徴的な点、又は人目につきやすい点）を複数検出し、そのような点の周辺の画素値を用いて特徴量が抽出される。
【００３５】
ＳＩＦＴ特徴量の算出においては、まず、目標となる画像を、特徴点を検出する領域に分割する。当該分割は、混合正規分布を用いる領域分割（永橋ら、2007年）等により行われる。次いで、ＳＩＦＴ特徴量の算出において、注目画素の代表輝度勾配方向が決定される。例えば、画像Ｌ（ｘ，ｙ）の輝度勾配方向をθ（ｘ，ｙ）、大きさをｍ（ｘ，ｙ）で表すと、これらは次式から求められる。
【数１】
2010237998.tif 000003
【数２】
2010237998.tif 000004
式中、
【数３】
2010237998.tif 000005
【数４】
2010237998.tif 000006
である。輝度勾配の大きさｍ及び輝度勾配の方向θを用いて、次式のようにヒストグラムｗ（ｘ，ｙ）を求めることができる。
【数５】
2010237998.tif 000007
式中、Ｇ（ｘ，ｙ，σ）はガウス分布である。また，θは全方向を３６分割したものを用いる。このヒストグラムの最大値の方向を、当該画像中の座標（ｘ，ｙ）における代表輝度勾配方向とすることができる。
【００３６】
次いで、この代表輝度勾配方向を基準とした周囲の輝度勾配ヒストグラムを作成する。例えば、正規分布から得られる領域を４×４画素領域に分割し、それぞれの位置で８方向の輝度勾配ヒストグラムを作成する。４×４画素の領域にそれぞれ８方向ヒストグラムを作成する場合、１２８次元ベクトルの特徴量が得られる。このようにして得られた１２８次元ベクトルの特徴量が、ある画素領域に対するＳＩＦＴ特徴量である。
【００３７】
従って、ＳＩＦＴ特徴量は、画像データにおける座標（ｘ，ｙ）と方向θとが関連付けられた情報を含む。方向θの情報としては、方位角等の角度情報を含んでもよく、例えば各θの余弦の値に変換した数値等を含んでもよい。このようなＳＩＦＴ特徴量は、抽出された画像データに含まれうる、山岳の稜線、尾根、谷、海河川湖沼の岸線等を含む地形上の特徴情報を、画像における座標（ｘ，ｙ）と方向θの組として関連付けている。
【００３８】
方向検知部５０は、一般的には、方位センサ及び傾斜センサを備える。方向検知部５０は、撮影モードにおいて記録が指示された際に、無線通信カメラ１００から見た被写体が存在する方位、及び無線通信カメラ１００の傾斜角度を検知する。
【００３９】
拡張Ｉ／Ｆ（インタフェース）５６は、着脱可能なメモリカード等を無線通信カメラ１００に接続するために用いられる。拡張Ｉ／Ｆ５６に接続可能なハードウェアは、このような記憶媒体に限定しない。例えば、無線通信カメラ１００は、アンテナを内蔵する通信部３８に替えて、拡張Ｉ／Ｆ５６を介して無線通信カード等の無線通信手段を接続し、位置検索サーバ３００等と無線接続することができる。
【００４０】
バス５８は、上述のそれぞれの構成要素の間でデータ又は制御のための情報等をやりとりするために用いられる。
【００４１】
図２に示したハードウェア構成は、無線通信カメラ１００に用いることができ、撮像部２０は撮像手段として、方向検知部５０は方位取得手段として、画像格納部３６又はデータメモリ４６は格納手段として、地形的特徴量算出部４８は画像データの特徴量を取得するための特徴情報取得手段として、通信部３８は特徴情報及び撮像方位を送信する送信手段として、制御部４２は選択手段、格納手段に格納されている画像データを検索する検索手段、及び格納制御手段として、それぞれ機能することができる。
【００４２】
［位置検索サーバの機能ブロック図］
図３は、本発明の一実施の形態に係る、位置検索サーバ３００の機能の構成を例示する図である。一実施の形態において、位置検索サーバ３００は、検索要求受信手段２１０、画像領域抽出手段２１５、疑似３次元形状推測手段２２０、２次元画像生成手段２３０、類似画像抽出手段２４０、類似度算出手段２５０、類似画像出力手段２６０、制御手段２７０、記憶手段２８０、通信Ｉ／Ｆ（インタフェース）２９０を備える。
【００４３】
検索要求受信手段２１０は、位置検索サーバ３００が検索要求を受信するために用いられる。この検索要求は、検索キーとして用いる画像を生成するための少なくとも二つの入力画像、当該入力画像と関連付けられた撮像方向及び特徴情報の組を含む。入力画像としては、例えば、図１に示した無線通信カメラ１００により撮像されたデジタル写真が用いられる。
【００４４】
画像領域抽出手段２１５は、撮影又は選択された画像データから、所定の画像領域を除く画像領域を抽出する。当該所定の画像領域は、人工物、建造物、又は近景等を含む。すなわち、画像領域抽出手段２１５の動作により、これらの画像領域を除いた、自然景観又は遠景の地形等の、比較的広域の景観を含む画像領域が抽出される。例えば、山岳の稜線、尾根、谷、海河川湖沼の岸線等を含む画像領域が抽出される。このような画像領域は、比較的広範囲にわたる地形上の特徴情報を含む画像データでありうる。
【００４５】
疑似３次元形状推測手段２２０は、少なくとも２つの入力画像から、所定の３次元モデリングの技法を用いて、３次元の地形形状を推測する。
【００４６】
緯度経度情報取得手段２３０は、擬似３次元形状データ作成手段２２０によって推測された３次元の地形形状から類似する地形がある地点の緯度経度を取得する。
【００４７】
制御手段２４０は、上述の各手段の動作を制御する。
【００４８】
記憶手段２５０は、上述の各手段の動作における一時的な記憶手段又は制御手段２４０を動作させるためのプログラム等のための記憶手段として用いられる。
【００４９】
通信接続手段２６０は、無線通信カメラ１００等からの検索要求を受信して検索要求受信手段２１０に送り、緯度経度情報取得出力手段２３０からの検索結果を受け取って無線通信カメラ１００等に送信するために用いられる。
【００５０】
図３に示した機能の構成は、位置検索サーバ３００又は位置検索サーバ機能として用いることができる。すなわち、検索要求受信手段２１０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段として、制御手段２７０は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、通信接続手段２９０は検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、それぞれ機能しうる。
【００５１】
［位置検索サーバのハードウェア構成］
図４は、位置検索サーバ３００のハードウェア構成を例示する図である。図４においては、コンピュータを典型とする情報処理装置として、位置検索サーバ３００の全般的なハードウェア構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【００５２】
位置検索サーバ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０３、バスライン３０５、通信Ｉ／Ｆ３４０、メインメモリ３５０、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）３６０、パラレルポート３８０、ＵＳＢポート３９０、グラフィック・コントローラ３２０、ＶＲＡＭ３２４、音声プロセッサ３３０、Ｉ／Ｏコントローラ３７０、ならびにキーボード及びマウス・アダプタ１３０等の入力手段を備える。Ｉ／Ｏコントローラ３７０には、フレキシブル・ディスク（ＦＤ）ドライブ３７２、ハードディスク３７４、光ディスク・ドライブ３７６、半導体メモリ３７８等の記憶手段を接続することができる。
【００５３】
通信Ｉ／Ｆ３４０は、位置検索サーバ３００をネットワーク６００に接続するために用いられる。すなわち、通信Ｉ／Ｆ３４０を用いて、位置検索サーバ３００は、図１に示した位置検索システム１０に含まれる無線通信カメラ１００と通信可能に接続しうる。
【００５４】
音声プロセッサ３３０には、マイクロホン３３６、増幅回路３３２、及びスピーカ３３４が接続される。また、グラフィック・コントローラ３２０には、表示装置３２２が接続されている。
【００５５】
ＢＩＯＳ３６０は、位置検索サーバ３００の起動時にＣＰＵ３０３が実行するブートプログラムや、位置検索サーバ３００のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ３７２は、フレキシブル・ディスク３７１からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供する。
【００５６】
図４には、位置検索サーバ３００の内部にハードディスク３７４が含まれる例を示したが、バスライン３０５又はＩ／Ｏコントローラ３７０に適宜外部機器接続用インタフェース（図示せず）を接続し、位置検索サーバ３００の外部にハードディスクを接続又は増設することも可能である。
【００５７】
光ディスク・ドライブ３７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｋ）−ＲＯＭドライブ等を使用することができる。この際は各ドライブに対応した光ディスク３７７を使用する必要がある。光ディスク・ドライブ３７６は光ディスク３７７からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供することもできる。
【００５８】
位置検索サーバ３００に提供されるコンピュータ・プログラムは、フレキシブル・ディスク３７１、光ディスク３７７、又はメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ３７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ３４０を介してダウンロードされることによって、位置検索サーバ３００にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【００５９】
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク３７１、光ディスク３７７、又はメモリカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク又は光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを位置検索サーバ３００に提供してもよい。
【００６０】
以上の例は、位置検索サーバ３００について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。
【００６１】
図４に示したハードウェアの構成要素は、位置検索サーバ３００の構成要素として用いることができる。すなわち、通信Ｉ／Ｆ３４０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段、及び検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、ＣＰＵ３０３は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、それぞれ機能しうる。
【００６２】
本装置は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、又は表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、又は（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。
【００６３】
［位置検索サーバ３００のデータ構造］
図５は、本実施の形態において、画像データを管理するための画像データ管理テーブルの一例を示す図である。図５に示す画像データ管理テーブルは、格納アドレス４５２、ファイル名４５４、特徴情報４６０及び関連画像データの格納アドレス４６８のそれぞれをフィールドとして含むデータ構造を有する。さらに、特徴情報４６０は、方向データ４６２及び地形的特徴量情報４６４を含む。本実施の形態では、この画像管理テーブルを図２に示す無線通信カメラ１００の画像格納部３６に格納するものとするが、本発明はこれに限定されず、例えば、図４に示した位置検索サーバ３００のハードディスク３７４など、画像データの管理のために適当であれば、いかなる記憶媒体に格納してもよい。
【００６４】
格納アドレス４５２は、画像格納部３６における個々の画像データを格納するために用いられるメモリ・アドレスである。画像データを、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に格納する場合でも、同様に格納アドレス４５２を個別の画像データに割り当てて、管理テーブルを設けることができる。
【００６５】
ファイル名４５４は、個々の画像データに付けられるファイル名である。例えば、新たに撮影が実施されて画像データが生成されるごとに、制御部４２の動作により、自動的に当該画像データのファイル名が指定される。
【００６６】
方向データ４６２は、画像記録時の方位、及び傾斜角度からなる。これらの情報は、無線通信カメラ１００等による撮影時に、撮影された画像データごとに方向検知部５０が検知した情報である。従って、方向データ４６２は、一つの画像データのファイル名と対応して記憶される。
【００６７】
地形的特徴量情報４６４は、画像データが含む地形的特徴量を記憶するために用いられる。この地形的特徴量としては、撮影又は選択された画像データに対して算出されたＳＩＦＴ特徴量を用いることができる。以下、地形的特徴量をＳＩＦＴ特徴量として説明する。図５に例示する地形的特徴量情報４６４は、ＳＩＦＴ特徴量が存在する座標、及びＳＩＦＴ特徴量からなる。この地形的特徴量情報４６４は、地形的特徴量算出部４８の動作により、一つの画像データに対して解析され、当該画像データが含むＳＩＦＴ特徴量が存在する座標（換言すれば、特徴点の座標）、及びＳＩＦＴ特徴量の組として算出される情報である。例えば、地形的特徴量情報４６４は、座標（ｘ，ｙ）と、代表輝度勾配方向を余弦の値に変換した値とからなる。一つの画像データには複数の地形的特徴量情報４６４が含まれうる。図５には、格納アドレス４５２が「００１Ａ」であり、ファイル名４５４が「ＣＩＭＧ００１．ｊｐｇ」である一つの画像データが、地形的特徴量情報４６４として、（ｘ１１，ｙ１１，ｃｏｓｔ１１）、（ｘ１２，ｙ１２，ｃｏｓｔ１１）、…、（ｘ１ｎ，ｙ１ｎ，ｃｏｓｔ１ｎ）からなるｎ個の情報を含むことを例示している。他の格納アドレス４５２又はファイル名４５４を有する画像データについても同様であり、それぞれの画像データは、独立して複数の地形的特徴量情報４６４を含みうる。
【００６８】
関連画像データの格納アドレス４６８は、本発明に係る類似位置検索により、類似画像として検索された他の画像への関連付けのために用いられる。本発明に係る類似位置検索により検索される画像データは、特定の緯度経度情報により参照される地点における地形を含みうる。従って、関連画像データの格納アドレス４６８は、類似位置検索によって検索された参照地点の位置情報との関連付けを含むことができる。
【００６９】
図５に示す画像データ管理テーブルのデータ構造は、無線通信カメラ１００等だけでなく、図４に示した位置検索サーバ３００のハードウェア構成において、例えばハードディスク３７４に画像データを記憶するためのデータ構造として用いることもできる。従って、位置検索サーバ３００は、画像データ管理テーブルのデータ構造を用いて、特定のファイル名を有する画像データと当該画像データの地形的特徴量情報４６４とを関連付けて記憶し、さらに関連画像データの格納アドレス４６８を記憶することができる。
【００７０】
［位置検索の動作フロー］
図６及び図７は、本発明に係る位置検索システム１０が実行する位置検索の動作を説明するフロー図である。図６は、無線通信カメラ１００が実行する位置検索の動作の諸段階を例示するフロー図であり、図７は、無線通信カメラ１００と通信をして、位置検索サーバ３００が位置検索のために実行する動作の諸段階を説明するフロー図である。無線通信カメラ１００は、以下の動作を制御部４２の制御の下に実行し、位置検索サーバは、以下の動作をＣＰＵ３０３の制御に下に実行する。
【００７１】
本発明に係る位置検索システム１０の動作フローにおいては、ステップＳ１２０からステップＳ２００までの動作の諸段階において、画像ごとに地形的特徴量が算出される。
【００７２】
図６に示す類似位置検索の諸段階において、無線通信カメラ１００は撮影モード又は再生モードのいずれかで動作するものとする。
【００７３】
ステップＳ１２０では、無線通信カメラ１００は、画像を撮影して入力するよう動作するモードであるかどうかを判定する。判定の結果が真であればステップＳ１３０に進み、偽であればステップＳ１９０に進む。すなわち、無線通信カメラ１００が撮影モードであればステップＳ１３０に進み、再生モードであればステップＳ１９０に進む。
【００７４】
ステップＳ１３０では、無線通信カメラ１００は、撮像部に対して巡回的に画像取得を実施する。例えば、ユーザは、無線通信カメラ１００を用いてデジタル写真を撮像する操作を実施する。
【００７５】
ステップＳ１４０では、無線通信カメラ１００は、記録指示を検出したかどうかを判定する。判定の結果が真であればステップＳ１５０に進み、偽であればステップＳ１３０に戻る。例えば、デジタル写真が撮像され、画像格納部３６に新規な画像データが適宜圧縮符号化されて記録されることにより、当該判定は真となりうる。
【００７６】
ステップＳ１５０では、無線通信カメラ１００は、方位、傾斜角度を検出する。例えば、方向検知部５０により検出される撮影方向及び傾斜角度が読み取られる。
【００７７】
ステップＳ１６０では、無線通信カメラ１００は、撮像されている画像データを解析し、地形的特徴量と座標値、すなわち位置座標とを取得する。具体的には、当該地形的特徴量は、撮像されている画像から算出されるＳＩＦＴ特徴量である。これにより、撮像された画像データに対して地形的特徴量及び座標値、すなわち位置座標が算出され、当該画像データの特徴量として記憶される。
【００７８】
尚、地形的特徴量は、図３の画像領域抽出手段２１５により、撮影又は選択された各画像から、人工物、建造物、近景等の領域を画像認識処理により取り除き、残った人工物等を含まない自然景観や地形等を含む画像領域について算出される。
【００７９】
ステップＳ１７０では、無線通信カメラ１００は、取得した方位、傾斜角度、地形的特徴量及び座標の組を、圧縮符号化された画像データと関連付けて、画像格納部３６の管理テーブルに書き込む。この管理テーブルは、例えば、図５に示した画像データ管理テーブルのデータ構造が用いられる。管理テーブルが参照しうる画像データは、画像格納部３６、データメモリ４６、又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード（図示せず）等に記憶されうる。
【００８０】
ステップＳ１８０では、無線通信カメラ１００は、管理テーブルを参照し、算出した地形的特徴量と所定範囲内で近い地形的特徴量と関連付けられた画像データを検索する。これにより、新規に撮像された画像データと類似した特徴量を有する他の画像データが、無線通信カメラ１００内から検索される。
【００８１】
一方、ステップＳ１９０では、無線通信カメラ１００は、選択された画像データと関連付けられている地形的特徴量を管理テーブルから読み出す。この動作は、すでに撮像されて無線通信カメラ１００内に記憶されている画像データが選択され、選択された画像データの特徴量が参照されることを指す。従って、無線通信カメラ１００は、新規な撮像が実施されない場合であっても、すでに撮像された画像データを用いて、位置検索を実施することができる。
【００８２】
ステップＳ２００では、無線通信カメラ１００は、管理テーブルを参照し、読み出した地形的特徴量と所定範囲内で近い地形的特徴量と関連付けられた画像データを検索する。この動作は、新規に画像データを撮像した場合におけるステップＳ１８０の動作と対応する。
【００８３】
ステップＳ２２０では、無線通信カメラ１００は、類似する画像データがあるかどうかを判定する。判定の結果が真であればステップＳ２３０に進み、偽であればステップＳ２９０に進む。この動作は、すでに撮像されて無線通信カメラ１００内に記憶されている画像データに対して実施される。
【００８４】
ステップＳ２３０では、無線通信カメラ１００は、関連画像データとして管理テーブルの格納アドレスに互いの格納アドレスを記憶する。すなわち、地形的特徴量が所定の範囲内にあり相互に類似する複数の画像が、関連画像データとして扱われる。互いの格納アドレスの記憶には、例えば、関連画像データの格納アドレス４６８が用いられる。
【００８５】
ステップＳ２４０では、無線通信カメラ１００は、前述の関連画像データを一覧表示する。
【００８６】
ステップＳ２５０では、無線通信カメラ１００は、一覧表示している関連画像データに対して、選択を検出したかどうかを判定する。判定の結果が真であればステップＳ２６０に進み、偽であればステップＳ２４０に戻る。
【００８７】
ステップＳ２６０では、無線通信カメラ１００は、選択された関連画像データごとに方位、傾斜角度をそれぞれ読み出す。
【００８８】
ステップＳ１１０では、無線通信カメラ１００は、読み出された方位、傾斜角度を用いて立体形状が推測できるかどうかを判定する。判定の結果が真であれば、後続の図７に示すフロー図の「Ｂ」に進み、偽であればステップＳ２９０に進む。
【００８９】
ステップＳ２９０では、無線通信カメラ１００は、検索不可能と判断し、読み出した画像（撮影記録した画像）と撮影すべき方向と大きさ（画角に対する検索対象被写体の大きさ）のメッセージを表示する。すなわち、この動作は、ステップＳ２２０において類似画像データが存在しないと判定されるか、又はステップＳ２７０において類似画像データを用いて立体形状が推測可能ではないと判定された場合に実施される。ステップＳ２９０の後は、無線通信カメラ１００は位置検索の動作を終了する。
【００９０】
このように動作することで、無線通信カメラ１００は、ステップＳ２７０の判定が真であれば、少なくとも二つの類似画像データ及びこれらと関連付けられた方位、傾斜角度及び地形的特徴量と位置座標の組の情報を、用意することができる。
【００９１】
図７を参照して、本発明の一実施の形態に係る、無線通信カメラ１００と位置検索サーバ３００とが協働して実行する位置検索処理の諸段階について説明する。図７に示すステップＳ３１０からステップＳ３７０は無線通信カメラ１００の動作であり、ステップＳ４１０からステップＳ４７０は位置検索サーバ３００の動作である。
【００９２】
ステップＳ３１０は、図６に示したステップＳ２７０の判定が真である場合の動作に続いて実施される。ステップＳ３１０では、無線通信カメラ１００は、方位、傾斜角度及び地形的特徴量と位置座標の組の情報を、位置検索サーバ３００に送信する。当該送信は、例えば、検索要求として、送信される。
【００９３】
ステップＳ３２０では、無線通信カメラ１００は、セッション維持状態で待機する。すなわち、位置検索サーバ３００と通信可能な状態を維持し、検索要求に対する位置検索サーバ３００からの応答を待機する。
【００９４】
一方、位置検索サーバは、無線通信カメラ１００からの検索要求に基づいて、本発明に係る類似位置検索のための動作を実施する。
【００９５】
ステップＳ４１０では、位置検索サーバ３００は、ログイン認証処理を実施する。これにより、特定の無線通信カメラ１００による検索要求が、位置検索サーバ３００に受け付けられ、位置検索の一つのセッションが開始される。
【００９６】
ステップＳ４２０では、位置検索サーバ３００は、検索キーとして、方位、傾斜角度及び、地形的特徴量と位置座標の組を受信する。
【００９７】
ステップＳ４３０では、位置検索サーバ３００は、受信した方位、傾斜角度から撮影方向を算出する。
【００９８】
ステップＳ４４０では、位置検索サーバ３００は、算出した撮影方向と地形的特徴量と位置座標とから立体形状を推測する処理を実施する。これにより３次元モデリングが実施され、検索要求に基づく３次元画像データが生成される。当該ステップＳ４４０の動作には、例えば、後述する図８に示す多視点画像からの３次元形状データ生成を用いることができる。
【００９９】
ステップＳ４５０では、位置検索サーバ３００は、推測された立体形状（地形形状）において、その中心地点の緯度経度情報を取得する。取得した緯度経度情報は、検索結果として、無線通信カメラ１００に送信される。
【０１００】
ステップＳ４７０では、位置検索サーバ３００は、ログアウト処理を実施する。これにより、検索要求に基づく位置検索の一つのセッションが終了する。セッション終了後は、位置検索サーバ３００は、再び無線通信カメラ１００等の端末装置からの要求を受信待機しうる。
【０１０１】
再び無線通信カメラ１００の動作の諸段階に戻り、ステップＳ３３０では、無線通信カメラ１００は、緯度経度情報を受信する。
【０１０２】
ステップＳ３４０では、無線通信カメラ１００は、検索結果として緯度経度情報を受信したかどうかを判定する。判定の結果が真であればステップＳ３６０に進み、偽であればステップＳ３７０に進む。
【０１０３】
ステップＳ３６０では、無線通信カメラ１００は、画像を緯度経度情報と共に表示する。これにより、ユーザは、無線通信カメラ１００の表示部３４等に表示される画像と、検索結果としての緯度経度情報とを視認することが可能になる。
【０１０４】
一方、検索結果に画像が含まれていなかった場合は、ステップＳ３７０において、無線通信カメラ１００は、画像が見つからなかったことを表示する。
【０１０５】
ステップＳ３６０又はステップＳ３７０の後は、無線通信カメラ１００は、位置検索の動作を終了する。当該終了は、撮影状態又は待機状態等への復帰でもよい。
【０１０６】
これらのステップＳ１１０からステップＳ４７０までの動作により、無線通信カメラ１００は位置検索サーバ３００と接続して、位置検索サーバ３００による３次元画像データ及び２次元画像データの生成、すなわち立体形状推測処理を利用して、類似画像を検索することにより地図情報を取得することができる。
【０１０７】
また、これらのステップＳ１１０からステップＳ４７０までの動作は、１回の類似画像の検索として実施されるだけでなく、無線通信カメラ１００から追加の画像データが加えられることにより、当該追加の画像データを用いて、位置検索サーバ３００は検索結果を絞り込んでもよい。
【０１０８】
＜実施例＞
［２次元景観画像をレンダリング描画する実施例］
図８は、３次元形状モデルに基づいて２次元景観画像をレンダリング描画する例を示す図である。具体的には、位置検索システム１０において、図７にステップＳ４４０として示した位置検索サーバ３００による立体形状推測処理の動作例である。
【０１０９】
図８（ａ）（ｂ）（ｃ）は、上方視による、縮尺率の異なる３次元の地形図を例示している。図８（ａ）の地形図の一部を拡大表示したものが図８（ｂ）の地形図であり、さらにその一部を拡大表示したものが図８（ｃ）の地形図である。
【０１１０】
それぞれの地形図は、平面の地図として自然物又は人工物の位置を表す座標の情報を、緯度経度等の形態で含む。さらに、地形図は、地図に含まれる任意の地点の高度の情報を、等高線又は高度と関連付けられた彩色等として含む。従って、本発明に係る位置検索サーバ３００又は無線通信カメラ１０２は、３次元形状モデルを生成するための動作を実施することにより、図８（ａ）（ｂ）（ｃ）に例示する３次元の地形図を用いて、位置情報検索のための３次元形状モデルを生成することが可能である。
【０１１１】
図８（ｄ）は、参照地点７１２を含む３次元形状モデルを用いて生成した、２３６°（ほぼ西南）の方位からの、適宜レンダリング描画処理された２次元画像データである。図８（ｅ）は、参照地点７１２を含む３次元形状モデルを用いて生成した、２８０°（ほぼ西）の方位からの、適宜レンダリング描画処理された２次元画像データである。図８（ｆ）は、参照地点７１２を含む３次元形状モデルを用いて生成した、１５°（ほぼ北）の方位からの、適宜レンダリング描画処理された２次元画像データである。図８（ｇ）は、参照地点７１２を含む３次元形状モデルを用いて生成した、４９°（ほぼ北東）の方位からの、適宜レンダリング描画処理された２次元画像データである。
【０１１２】
このようにして、本発明に係る位置検索サーバ３００又は無線通信カメラ１０２は、３次元の地図情報を用い、選択された参照地点７１２を含む３次元形状モデルを生成し、これに基づく２次元景観画像をレンダリング描画することが可能である。
【０１１３】
以上、本発明の実施の形態を用いて説明したが、本発明は上記実施の形態に限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。たとえば、上述の図９の例では入力画像として、異なる視点からの画像を２枚用いた場合について説明したが、本発明はこれに限定されず、入力画像として用いる、異なる視点からの画像の数は２枚以上で、かつ、実装上可能であれば、制限を設けない。同様に、入力画像として、全体画像とともに部分画像を用いて、３次元形状モデルを生成するようにしてもよい。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、略同一の被写体の任意の数の全体画像又は部分画像を画像格納部３６等に記憶し、表示部３４に適宜表示し、これら画像及びＳＩＦＴ特徴量等の付随情報を位置検索サーバ３００に送信し、類似画像の検索を要求する。前述の図９に示した例と同様に、位置検索サーバ３００は、当該要求に応答して、これら任意の数の全体画像又は部分画像の入力画像から３次元形状モデル８７０、及び投影図を生成するようにしてもよい。
【０１１４】
尚、本発明の位置検索システムは、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる位置検索プログラムによって動作させることができる。位置検索プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【符号の説明】
【０１１５】
１０、位置検索システム
２０  撮像部
３０  信号処理部
３６  画像格納部
３８  通信部
４２  制御部
４８  地形的特徴量算出部
１００、無線通信カメラ
１２０  携帯端末装置
２１０  検索要求受信手段
２１５  画像領域抽出手段
２２０  疑似３次元形状推測手段
２３０  緯度経度情報取得手段
２４０  制御手段
２５０  記憶手段
２６０  通信接続手段
３００  位置検索サーバ
６００  ネットワーク
【図１】
2010237998.tif 000008
【図２】
2010237998.tif 000009
【図３】
2010237998.tif 000010
【図４】
2010237998.tif 000011
【図５】
2010237998.tif 000012
【図６】
2010237998.tif 000013
【図７】
2010237998.tif 000014
【図８】
2010237998.tif 000015