(57)【要約】【課題】外乱の影響や、撮影画像のずれなどの影響を受けることなく、撮影画像の類似性を評価することができ、画像撮影端末の位置情報を高精度に求めることができる画像検索システムを提供する。【解決手段】画像検索システムは、撮影画像を利用して現在位置の候補を提示するため、風景を撮影した撮影画像を取得する画像撮影端末１０と、画像撮影端末１０により撮影された撮影画像とデータベース３０上に保持している撮影画像との類似性の判断を行い、類似性が認められたデータベース３０上に保持している撮影画像を候補画像として特定し、特定した候補画像に対応付けてデータベース３０上に保持している位置情報を画像撮影端末１０へ返信するサーバ２０とを備える。【選択図】図１
2008310446.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を利用して現在位置の候補を提示する画像検索システムであって、
風景を撮影した撮影画像を取得する画像撮影端末と、
前記画像撮影端末により撮影された撮影画像とデータベース上に保持している撮影画像との類似性の判断を行い、類似性が認められた前記データベース上に保持している撮影画像を候補画像として特定し、特定した候補画像に対応付けて前記データベース上に保持している位置情報を前記画像撮影端末へ返信する候補画像決定部とを備えることを特徴とする画像検索システム。
【請求項２】
前記候補画像決定部は、
前記画像撮影端末により撮影された撮影画像から複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算する第１の画像評価部と、
前記データベース上に保持している撮影画像から複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算する第２の画像評価部と、
前記第１の画像評価部により算出された比較対象オブジェクト間の距離と前記第２の画像評価部により算出された比較対象オブジェクト間の距離とを基に、前記画像撮影端末により撮影された撮影画像と前記データベース上に保持している撮影画像との類似性の判断を行う比較処理部とを含むことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記画像撮影端末は、プレビュー画像上に比較対象オブジェクトが存在している場合、該当比較対象オブジェクトの周囲にガイドラインを描画することを特徴とする請求項２又は３に記載の画像検索システム。
【請求項４】
前記比較処理部は、前記画像撮影端末により撮影された撮影画像に類似する候補画像が複数ある場合に、前記画像撮影端末に対して、プレビュー画像上の比較対象オブジェクト数を増加させるよう促す通知を行い、
前記画像撮影端末は、前記通知を受けた場合に、通知内容をユーザに提示することを特徴とする請求項３に記載の画像検索システム。
【請求項５】
前記データベースは、保持している撮影画像内に存在している複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算した結果を、当該撮影画像と対応付けて予め保持することを特徴とする請求項２〜４のいずれかに記載の画像検索システム。
【請求項６】
前記データベースは、比較対象オブジェクト毎に位置情報を保持することを特徴とする請求項２〜５のいずれかに記載の画像検索システム。
【請求項７】
前記候補画像決定部は、前記画像撮影端末により撮影された撮影画像と前記データベース上に保持している撮影画像との類似性が高い場合には、前記データベース上に保持している撮影画像を前記画像撮影端末により撮影された撮影画像に置き換えることを特徴とする請求項１〜６のいずれかに記載の画像検索システム。
【請求項８】
前記候補画像決定部は、前記データベースに新たな比較対象オブジェクトを追加することを特徴とする請求項１〜７のいずれかに記載の画像検索システム。
【請求項９】
前記候補画像決定部は、前記画像撮影端末により撮影された撮影画像とデータベース上に保持している撮影画像との類似性の判断を行い、類似性が認められた場合には、前記画像撮影端末の傾きを算出して前記画像撮影端末へ返信することを特徴とする請求項１〜８のいずれかに記載の画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話機等の画像撮影端末の位置を特定する位置特定方法、撮影した風景画像とデータベース上に保持している画像との類似性の比較精度を向上させる画像比較方法、及びこれらの方法を実現する際に使用する画像検索システムに関するものである。
【背景技術】
【０００２】
携帯電話機等の携帯端末は、従来はＧＰＳ（Global Positioning System）技術を利用して、現在位置の特定や経路案内を実施している。この方法は、ＧＰＳ衛星からの電波を利用しているため、信号の届かない場所では機能しない。また、携帯端末が通信する基地局を利用して、その電波の強さ等から位置を特定する方法も知られているが、十分な精度が得られないという問題点があった。
【０００３】
そのため、携帯端末で撮影した風景画像と、サーバ上に保持している地図情報を３Ｄ（３次元）化したデータとを比較して位置を特定することにより、ＧＰＳ衛星からの電波が届かない場所でも、位置を特定するための技術が公開されている（例えば、特許文献１参照）。
【特許文献１】特開２００３−１１１１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の構成では、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響により、同じ位置を撮影した場合でも、画像の変化が大きく、３Ｄデータとの類似性を比較する際に悪影響となる要因が多いため、位置を判定できないことや、誤判定の可能性が大きいという問題点があった。
【０００５】
また、建物の増改築、撤去又は新築などによって、比較用の３Ｄデータが役に立たなくなることを防ぐためのメンテナンスが不可欠であるという問題点も存在している。
【０００６】
本発明の目的は、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受けることなく、撮影画像の類似性を評価することができ、画像撮影端末の位置情報を高精度に求めることができる画像検索システムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る画像検索システムは、撮影画像を利用して現在位置の候補を提示する画像検索システムであって、風景を撮影した撮影画像を取得する画像撮影端末と、前記画像撮影端末により撮影された撮影画像とデータベース上に保持している撮影画像との類似性の判断を行い、類似性が認められた前記データベース上に保持している撮影画像を候補画像として特定し、特定した候補画像に対応付けて前記データベース上に保持している位置情報を前記画像撮影端末へ返信する候補画像決定部とを備える。
【０００８】
この画像検索システムにおいては、撮影画像とその位置情報のみでデータベースを作成し、撮影画像から位置情報を特定することができるので、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受けることなく、画像の類似性を評価することができるため、画像撮影端末の位置情報を高精度に求めることができる。
【０００９】
前記候補画像決定部は、前記画像撮影端末により撮影された撮影画像から複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算する第１の画像評価部と、前記データベース上に保持している撮影画像から複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算する第２の画像評価部と、前記第１の画像評価部により算出された比較対象オブジェクト間の距離と前記第２の画像評価部により算出された比較対象オブジェクト間の距離とを基に、前記画像撮影端末により撮影された撮影画像と前記データベース上に保持している撮影画像との類似性の判断を行う比較処理部とを含むことが好ましい。
【００１０】
この場合、比較対象オブジェクト間の距離のみを用いて画像の類似性を評価することにより、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受けることなく、画像の類似性を評価することができる。
【００１１】
前記画像撮影端末は、プレビュー画像上に比較対象オブジェクトが存在している場合、該当比較対象オブジェクトの周囲にガイドラインを描画することが好ましい。
【００１２】
この場合、ユーザは複数の比較対象オブジェクトをスムーズに撮影画像に収めることが可能となり、画像の類似性の評価に使用される比較対象オブジェクト数が増加するため、より精度よく類似性を評価することができる。
【００１３】
前記比較処理部は、前記画像撮影端末により撮影された撮影画像に類似する候補画像が複数ある場合に、前記画像撮影端末に対して、プレビュー画像上の比較対象オブジェクト数を増加させるよう促す通知を行い、前記画像撮影端末は、前記通知を受けた場合に、通知内容をユーザに提示することが好ましい。
【００１４】
この場合、撮影画像がデータベース中の画像と一致しなかったときや、複数の画像と一致したときに、新規の比較対象オブジェクトを撮影画像に含めるようにユーザに要求することにより、新たな比較対象オブジェクトにより類似性を評価することができるため、撮影画像がデータベース中の画像と一致する頻度を増やすことができる。
【００１５】
前記データベースは、保持している撮影画像内に存在している複数の比較対象オブジェクトを抽出して比較対象オブジェクト間の距離を計算した結果を、当該撮影画像と対応付けて予め保持することが好ましい。
【００１６】
この場合、データベース中の撮影画像の比較対象オブジェクトを予め抽出しておくことにより、撮影画像の類似性の評価を行う毎に比較対象オブジェクトを抽出する処理を削減することができる。
【００１７】
前記データベースは、比較対象オブジェクト毎に位置情報を保持することが好ましい。
【００１８】
この場合、データベース上のデータを比較対象オブジェクト単位とすることにより、異なる画像に含まれている比較対象オブジェクト間の比較も可能となるため、撮影画像中の比較対象オブジェクトとデータベース中の比較対象オブジェクトとの類似性を比較する際に、一致する確率を高めることができ、位置情報を特定できる頻度を増やすことができる。
【００１９】
前記候補画像決定部は、前記画像撮影端末により撮影された撮影画像と前記データベース上に保持している撮影画像との類似性が高い場合には、前記データベース上に保持している撮影画像を前記画像撮影端末により撮影された撮影画像に置き換えることが好ましい。
【００２０】
この場合、実際に建物の増改築などにより地図に変化が発生したにも関わらず、データベース中の比較対象オブジェクトが更新されていない場合に、最新の画像を用いて、データベース上に保持している撮影画像を正しい風景を表す画像に置き換えることができ、その後の画像の類似性の評価の精度を高めることができる。
【００２１】
前記候補画像決定部は、前記データベースに新たな比較対象オブジェクトを追加することが好ましい。
【００２２】
この場合、新たな比較対象オブジェクトの情報を追加することにより、比較対象オブジェクトが増加するため、類似性を評価する精度を高めることができる。
【００２３】
前記候補画像決定部は、前記画像撮影端末により撮影された撮影画像とデータベース上に保持している撮影画像との類似性の判断を行い、類似性が認められた場合には、前記画像撮影端末の傾きを算出して前記画像撮影端末へ返信することが好ましい。
【００２４】
この場合、画像撮影端末にて傾き情報を利用することが可能となるため、ユーザに傾きを提示したり、画像撮影端末内部にて傾き情報を利用したりすることが可能となる。
【発明の効果】
【００２５】
本発明の画像検索システムによれば、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受けることなく、画像の類似性を評価することができるため、画像撮影端末の位置情報を高精度に求めることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の各実施の形態による画像検索システムについて図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態による画像検索システムの構成を示すブロック図である。図１に示す画像検索システムでは、画像撮影端末１０は、撮影した風景の画像データ４０をサーバ２０へ送信し、サーバ２０は、受信した画像データ４０と、画像データと当該画像データの撮影位置を表す撮影位置情報とをペアで記録したデータベース３０内の各画像データとのマッチング処理を行うことにより、画像データ４０に類似する画像データの検索を行う。サーバ２０は、マッチした画像データとペアで管理される撮影位置情報５０を画像撮影端末１０へ送信し、画像撮影端末１０は、撮影位置情報５０をＬＣＤ（液晶表示装置）６０に描画することにより、撮影位置情報をユーザに提示し、ユーザは現在位置を特定することができる。
【００２７】
図２に、画像データと画像データの撮影位置情報とをペアで管理するデータベース３０内のデータ構成の一例を示す。ここで、撮影位置情報とは、例えば、地図上の座標と撮影方向である。
【００２８】
図３に、図１に示す画像撮影端末１０とサーバ２０との機能ブロック図を示す。なお、図３では、データベース２６として、図１に示すデータベース３０をサーバ２０の内部に有する例を図示しているが、データベースは、図１に示すようにサーバと別体であってもよいし、サーバの内部に備えてもよい。以下の他の実施の形態でも同様である。
【００２９】
図３を用いて、図１に示す画像検索システムによる現在位置特定処理の全体の流れを説明する。画像撮影端末１０のカメラ画取り込み部１２は、カメラ１１により撮影された風景の撮影画像を画像データとして取り込む。カメラ画送信部１３は、取り込まれた画像データをサーバ２０へ送信する。
【００３０】
ここで、画像データは、特に断らない限り、静止画を指すが、動画像は静止画の連続であるため、動画像であってもよく、特に静止画に限定するものではない。また、画像データは、圧縮してもよく、この場合の画像データの圧縮方式は、どのような圧縮方式でもよく、圧縮部や展開部は本発明とは関わらないため、その説明を省略する。
【００３１】
サーバ２０の画像受信部２１は、画像データを受信し、一時的に画像データを画像データ一時記録部２２に保存する。サーバ２０の比較処理部２４は、画像受信部２１にて画像データが受信されたことを監視し、画像データが受信された場合には、第１の画像評価部２３に対して画像データ一時記録部２２から画像データを取り出すように指示を出す。第１の画像評価部２３は、画像データ中の比較対象オブジェクト（以下、「オブジェクト」と略す）の解析を行う。また、第１の画像評価部２３、比較処理部２４、第２の画像評価部２５から候補画像決定部２９が構成される。
【００３２】
本実施の形態では、オブジェクトの一例として看板を用いて説明するが、オブジェクトは、特に看板に限定されるものではなく、風景上に存在する不動のものであれば、種々のものを用いることができ、画像検索システムの利用者は、オブジェクトを表すオブジェクト情報をオブジェクトデータベース２８に登録することができる。
【００３３】
第１の画像評価部２３は、画像データ一時記録部２２に記憶されている受信画像とオブジェクトデータベース２８に記憶されているオブジェクト情報とから、比較処理部２４に渡すオブジェクト情報を求める。求めるオブジェクト情報は、画像撮影端末１０により撮影された画像データの左下位置を原点とするオブジェクトの位置（水平方向、垂直方向及び奥行き方向の位置）を表す情報である。
【００３４】
ここで求めるオブジェクト情報（オブジェクトの位置）は、画像撮影端末１０のカメラ解像度に影響されないよう、ピクセル単位で求めた位置を実スケールに変換したものである。これは、サーバ２０側のデータベース２６に保持される、様々な解像度で撮影された画像と、画像撮影端末１０により撮影された撮影画像とを比較する必要があるからである。
【００３５】
実スケールの単位としては、メートル、インチ、度・分（主に緯度、経度をあらわすときに使用する単位）等様々あるが、いずれを用いてもよい。以後の説明では、メートルを例に説明する。また、第１の画像評価部２３におけるオブジェクトの位置は、三次元空間上の任意の一点を原点とした場合の相対的な位置でよいため、オブジェクト位置の原点位置も、必ずしも画像データの左下位置に限定されるものではなく、画像データのどの点を原点としてもよい。
【００３６】
図４に、図３に示すオブジェクトデータベース２８のデータ構造の一例を示す。オブジェクトデータベース２８は、オブジェクトごとに、オブジェクト種別、オブジェクト画像データ、及び、オブジェクトサイズを保持する。ここで、オブジェクトの種別とは、オブジェクトを識別するための識別子であり、ユニークなものであれば、数字や記号など種々のものを用いることができる。また、本実施の形態では、簡略化のため、オブジェクトのサイズとして、水平方向（Ｗ）のサイズと垂直方向（Ｈ）のサイズとを用いて説明をしているが、その他に奥行きや、より複雑な形状を表現するために、他の種々のパラメータを追加してもよい。さらに、オブジェクトの形は、四角形であることに限定するものではなく、形が複雑である場合には、そのオブジェクトを含む四角形をオブジェクトのサイズとしてもよい。
【００３７】
まず、第１の画像評価部２３は、画像データ一時記録部２２に保持される画像データとオブジェクトデータベース２８のオブジェクト画像データを比較し、ピクセル単位のオブジェクト位置（水平方向及び垂直方向の位置）、及び、オブジェクト大きさ（水平方向及び垂直方向の位置）を求める。図５に、一例として、画像データＩＤから、図４に示す三つのオブジェクトＡ、オブジェクトＢ及びオブジェクトＣを抽出し、これらの位置及び大きさを求めた例を示す。
【００３８】
なお、比較の手法は、既存の画像認識技術を用いることができるため、本実施の形態では、具体的な画像認識技術の説明については省略するが、既存の画像認識技術の例として、カメラで撮影する画像には通常遠近補正がかかっているので、例えば、岩村雅一、他３名、「変形を許容する高速なテンプレートマッチングによる情景画像中文字認識」、画像の認識・理解シンポジウム(MIRU2006)論文集、IS2-42、pp.906-911、(2006-7)で開示された手法のように、遠近補正がかかった画像でも適用可能な手法を用いることが望ましい。これらの画像認識技術を用いて画像データとオブジェクト画像データとを比較し、ピクセル単位のオブジェクトの位置及び大きさを取得する。
【００３９】
次に、ピクセル単位で求めたオブジェクト位置（水平方向、垂直方向）を実スケール（メートル）に変換する方法を述べる。算出式を以下に示す。
【００４０】
Ｘ＝ｘ×（Ｗ／ｗ）  …（１）
Ｙ＝ｙ×（Ｈ／ｈ）  …（２）
上記式（１）及び（２）において、Ｘ、Ｙは、実スケールの水平方向及び垂直方向のオブジェクト位置、ｘ、ｙは、ピクセル単位の水平方向及び垂直方向のオブジェクト位置、Ｗ、Ｈは、オブジェクトデータベース２８内の水平方向及び垂直方向のオブジェクトサイズ、ｗ、ｈは、ピクセル単位の水平方向及び垂直方向のオブジェクトサイズである。
【００４１】
続いて、オブジェクト位置における奥行きを求める方法を述べる。算出式を以下に示す。
【００４２】
Ｚ＝Ｚｃｃｄ×（Ｗ／ｗ’）  …（３）
上記式（３）において、Ｚは、実スケールの奥行き方向のオブジェクト位置、Ｚｃｃｄは、カメラ１１の焦点距離、Ｗは、オブジェクトデータベース２８内の水平方向のオブジェクトサイズである。ｗ’は、以下式により算出される値である。
【００４３】
ｗ’＝ｗ×（Ｗｃｃｄ／ｗｐ）  …（４）
上記式（４）において、Ｗｃｃｄは、カメラ１１内の撮影素子（ＣＣＤ）サイズ（単位：メートル）、ｗｐは、画像データＩＤの水平方向の大きさ（単位：ピクセル）である。
【００４４】
以上の処理を経て、画像データＩＤの左下位置を原点とする実スケールのオブジェクトの水平方向、垂直方向及び奥行き方向の各位置（Ｘ，Ｙ，Ｚ）が求まる。図６に、図５に示すオブジェクトＡ、オブジェクトＢ及びオブジェクトＣの実スケールのオブジェクト位置の例を示す。
【００４５】
また、比較処理部２４は、第２の画像評価部２５にオブジェクトの抽出を要求する。第２の画像評価部２５は、第１の画像評価部２３と同様のアルゴリズムで、データベース２６内の画像データからオブジェクトの抽出を行い、比較処理部２４へオブジェクト情報を返す。比較処理部２４は、第１の画像評価部２３と第２の画像評価部２５とより抽出されたそれぞれのオブジェクト情報を用いて、画像データのマッチング処理を行う。
【００４６】
図７に、比較処理部２４におけるマッチング処理を説明するためのフローチャートを示す。なお、以降の説明では、第１の画像評価部２３にて評価した画像データを撮影画像とし、第２の画像評価部２５にて評価した画像データを地図画像とする。
【００４７】
マッチング処理が開始すると（Ｓ１０）、比較処理部２４は、はじめに撮影画像中のオブジェクト（１）を１つ選択する（Ｓ１１）。次に、比較処理部２４は、撮影画像中からもう一つ別のオブジェクト（２）を選択し（Ｓ１２）、データベース２６の中から地図画像（３）を順に選択する（Ｓ１３）。
【００４８】
次に、比較処理部２４は、第２の画像評価部２５を用いて、選択した地図画像（３）からオブジェクト（４）の選択を行い（Ｓ１４）、オブジェクト（１）の種別とオブジェクト（４）の種別との比較を行う（Ｓ１５）。種別が同一の場合、比較処理部２４は、地図画像（３）から別のオブジェクト（５）を抽出し（Ｓ１６）、オブジェクト（２）の種別とオブジェクト（５）の種別との比較を行う（Ｓ１７）。種別が同一の場合、比較処理部２４は、オブジェクト（１）とオブジェクト（２）との距離Ｌ１と、オブジェクト（４）とオブジェクト（５）との距離Ｌ２とを算出する。距離Ｌ１の算出式を以下に示す。
【００４９】
Ｌ１＝√｛（Ｘ２−Ｘ１）２＋（Ｙ２−Ｙ１）２＋（Ｚ２−Ｚ１）２｝  …（５）
上記式（５）において、（Ｘ１，Ｙ１，Ｚ１）は、オブジェクト（１）の位置、（Ｘ２，Ｙ２，Ｚ２）は、オブジェクト（２）の位置である。距離Ｌ２の算出式も、上記と同様である。
【００５０】
次に、比較処理部２４は、距離Ｌ１と距離Ｌ２との比較を行い（Ｓ１８）、距離が同一の場合、撮影画像と選択中の地図画像（３）には相関関係がある（類似している）と判断し、地図画像単位で管理する評価値を増加させる（Ｓ１９）。ここで、地図画像単位で管理される評価値は、比較処理開始時に初期化しておく。
【００５１】
なお、距離の比較方法は、必ずしも同一である場合に限定するものではなく、地図上誤差と考えられるわずかな距離の違いについては、同一とみなしてもよい。わずかな距離の例として、オブジェクトの実際の幅と撮影画像上のオブジェクトの幅のピクセル数とから、１ピクセルあたりの実際の距離を求めることにより、１ピクセルあたりの実際の距離を誤差としてもよい。
【００５２】
その後、比較処理部２４は、別の地図画像と比較を行うため、別の地図画像（３）の選択が可能か確認する（Ｓ２２）。比較処理部２４は、別の地図画像（３）が存在するのであれば、選択処理（Ｓ１３）へ戻り、存在しない場合は、撮影画像から別のオブジェクト（２）を選択可能か確認する（Ｓ２３）。比較処理部２４は、別のオブジェクト（２）が存在するのであれば、選択処理（Ｓ１２）へ戻り、存在しない場合は撮影画像から別のオブジェクト（１）を選択可能か確認する（Ｓ２４）。比較処理部２４は、別のオブジェクト（１）が存在するのであれば、選択処理（Ｓ１１）へ戻り、存在しないのであれば、マッチング処理を終了する（Ｓ２５）。
【００５３】
また、オブジェクト（２）の種別とオブジェクト（５）の種別との比較処理（Ｓ１７）と、オブジェクト間の距離の比較処理（Ｓ１８）とにおいて、結果が異なる場合、比較処理部２４は、地図画像（３）から別のオブジェクト（５）を選択可能か確認する（Ｓ２０）。比較処理部２４は、別のオブジェクト（５）が選択可能であれば、再度オブジェクト（５）の選択を行い（Ｓ１６）、不可であれば、地図画像（３）から別のオブジェクト（４）の選択が可能か確認する（Ｓ２１）。比較処理部２４は、オブジェクト（４）を選択可能であれば、再度オブジェクト（４）の抽出を行い（Ｓ１４）、存在しないのであれば、別の地図画像（３）の選択の確認処理（Ｓ２２）へ戻る。また、オブジェクト（１）の種別とオブジェクト（４）の種別の比較処理（Ｓ１５）にて、種別が異なる場合、比較処理部２４は、オブジェクト（４）の選択の確認処理（Ｓ２１）へ戻る。
【００５４】
なお、図７のフローチャートにて撮影画像からのオブジェクトの選択処理及び地図画像からのオブジェクトの選択処理において、オブジェクトの数が足りずに選択が失敗する場合があるが、一般的な異常処理であるため、説明を省略する。
【００５５】
上記のマッチング処理が終了した後、比較処理部２４は、地図画像データ毎に集計した評価値を比較し、最も評価値の大きい地図画像データが撮影画像に近似の地点を撮影したと考えられる地図画像データであると特定し、地図画像データとペアで管理される撮影位置情報を元に、画像撮影端末１０の位置を特定する。
【００５６】
次に、画像撮影端末１０の位置特定の算出式を以下に示す。なお、画像撮影端末１０のカメラ１１の部分の左下の位置のことを、特に断りがない限り、画像撮影端末１０の位置と表現する。
【００５７】
【数１】
2008310446.tif 000003
【００５８】
まず、式（６）にて、データベース２６内の画像の左下を原点とする座標系上における画像撮影端末１０の位置（ＥｙｅＸ，ＥｙｅＹ，ＥｙｅＺ）を求める。式（６）において、（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）は、画像データＩＤの左下位置を原点としたときのオブジェクトの位置、（ＡＸ１，ＡＹ１，ＡＺ１）、（ＡＸ２，ＡＹ２，ＡＺ２）、（ＡＸ３，ＡＹ３，ＡＺ３）は、データベース２６内の画像の左下を原点としたときのオブジェクトの位置である。また、（ＳＸ，ＳＹ，ＳＺ）は、画像撮影端末１０の水平方向の傾き、（ＵＸ，ＵＹ，ＵＺ）は、画像撮影端末１０の垂直方向の傾き、（ＤＸ，ＤＹ，ＤＺ）は、画像撮影端末１０の視線方向の傾きである。また、Ｗｐ、Ｈｐは、実スケールの画像データＩＤの水平方向及び垂直方向の大きさであり、以下式により算出する。
【００５９】
Ｗｐ＝ｗｐ×（Ｗ／ｗ）  …（７）
Ｈｐ＝ｈｐ×（Ｈ／ｈ）  …（８）
上記式（７）及び（８）において、Ｗ、ｗ、Ｈ、ｈは、式（１）及び（２）と同様である。ｗｐ、ｈｐは、画像データＩＤの水平方向及び垂直方向の大きさ（単位：ピクセル）である。
【００６０】
次に、比較処理部２４は、下記式を用いて、画像撮影端末１０の絶対位置を求める。なお、式（９）及び（１０）では、絶対位置の例として緯度、経度の算出式を示した。
【００６１】
緯度＝Ａ０＿Ｚ＋｛（ＥｙｅＺ×ｃｏｓα）／１１１１１１｝  …（９）
経度＝Ａ０＿Ｘ＋｛（ＥｙｅＸ×ｃｏｓα）／１１１１１１｝  …（１０）
式（９）及び（１０）において、Ａ０＿Ｘ、Ａ０＿Ｚは、データベース２６内の画像の左下絶対位置の経度及び緯度であり、αは、データベース２６内の画像を撮影した際の撮影端末の向き（北方向から時計周りに何度ずれているかを示す値であり、高度方向のずれは無視）であり、「１１１１１１」は、定数であり、緯度／経度１°あたりのメートル量である。
【００６２】
比較処理部２４は、上記の画像撮影端末１０の位置を情報送信部２７へ送り、情報送信部２７は、画像撮影端末１０の情報受信部１４に位置情報を通知する。画像撮影端末１０の表示処理部１５は、情報受信部１４から位置情報を受け取り、ＬＣＤ６０を用いて位置情報を表示する。
【００６３】
また、比較処理部２４は、画像撮影端末１０により撮影された撮影画像とデータベース２６上に保持している撮影画像との類似性の判断を行い、類似性が認められた場合には、位置情報の場合と同様の方法を利用して、画像撮影端末１０の傾きを算出し、この傾きを表す傾き情報を、情報送信部２７を用いて画像撮影端末１０へ送信する。この場合、傾き検出用のセンサーを備えなくとも、画像撮影端末１０のＬＣＤ６０に傾きを示す情報を表示することや、その他の制御用に傾き情報を使用することができる。
【００６４】
また、サーバ２０の比較処理部２４にて、撮影画像のオブジェクト数が足りないために地図画像データ毎に管理する評価値が全て初期値であった場合には、データベース２６内にマッチする地図画像データが見つからなかったことを示すため、サーバ２０は、画像撮影端末１０へオブジェクトの要求通知を行う。
【００６５】
要求をうけた画像撮影端末１０は、オブジェクト位置（水平方向、垂直方向）、オブジェクト大きさ（水平方向、垂直方向）に基づき、オブジェクト抽出結果をユーザに通知する。図８は、画像撮影端末１０にオブジェクトの追加要求を行う場合におけるオブジェクト抽出結果の通知画面の一例である。図８の例では、オブジェクトＯ１、Ｏ２に対してそれぞれ、ガイドラインの一例として、枠線Ｆ１、Ｆ２を表示し、さらに、オブジェクトがあと何個必要かを示すメッセージＭ１を表示している。なお、ガイドラインは、上記の破線に特に限定されず、実線、一転鎖線、二点鎖線等を用いてもよく、種々の変更が可能である。
【００６６】
メッセージＭ１で示した必要オブジェクト数は、比較処理部２４に依存する値である。例として、候補画像が一つもない場合にはオブジェクトを１個要求し、後述するように候補画像が複数存在し、候補画像中に未評価のオブジェクトが二つある場合には、二つ要求するなどの値の決定方法がある。ただし、値の決定方法は、これらの例に限定するものではなく、１つずつ要求する方法であったり、地図上の統計情報を利用する方法であったりしても構わない。また、ここで示した方法以外であっても、ユーザにオブジェクト抽出結果が分かる方法ならばなんでもよい。
【００６７】
これにより、候補画像を特定できない場合であっても、ユーザは、撮影画像中のオブジェクトを増やすなどの対策をとることが可能になり、再度、撮影画像のマッチング処理を行う時に、比較処理部２４におけるオブジェクトの比較パターンを増やし、地図画像データとマッチする可能性を高めることができる。
【００６８】
さらに、サーバ２０の比較処理部２４にて、撮影画像のオブジェクト数が足りないために、地図画像データ毎に管理する評価値が同一の地図画像データが、複数存在した場合には、やはり同様にサーバ２０から画像撮影端末１０へオブジェクト数を増やす通知を行うことにより、オブジェクトによる比較数を増やし、より撮影画像に近い地図画像データを見つけることができる。
【００６９】
また、比較処理部２４は、撮影画像と地図画像との評価値が最も近いものを同一地点とみなし、該当地図画像を該当撮影画像で置き換える機能を持つ。このとき、比較処理部２４は、データベース２６が保持している図２に示した情報を直接書き換えてもよいし、サーバ２０から画像撮影端末１０に通知を行って図９に示すような確認表示Ｍ２を行い、ユーザの指示によりデータベース２６の書き換えを行わせてもよい。
【００７０】
さらに、撮影画像と同一評価値となる地図画像が複数存在した場合には、やはり同様にサーバ２０から画像撮影端末１０へ候補地の通知を行い、図１０に示すように、置き換え候補地をユーザに提示するメッセージＭ３を表示し、ユーザに書き換え地点を選択させる。上記地図画像を撮影画像で置き換えることにより、地図画像を常に最新に保つことが可能となる。
【００７１】
上記のように、本実施の形態では、撮影画像とその位置情報のみでデータベース２６を作成し、撮影画像から位置情報を特定することができるので、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受けることなく、画像の類似性を評価することができるため、画像撮影端末の位置情報を高精度に求めることができる。
【００７２】
（第２の実施の形態）
次に、サーバにて、地図画像データ毎にオブジェクトを前もって抽出して保持する実施の形態を、第２の実施の形態として説明する。第２の実施の形態では、画像検索システムの管理者は、データベースに地図画像データを登録する際に、サーバにてオブジェクトの抽出を実行し、地図画像データ単位でオブジェクトの抽出結果を予め登録する。
【００７３】
図１１に、本発明の第２の実施の形態による画像検索システムの、データベース２６に地図画像データとオブジェクトを登録するための機能を追加したサーバ２０ａのブロック図を示す。なお、サーバ２０ａと通信する画像撮影端末１０は、第１の実施の形態と同様であるので、図示及び詳細な説明を省略する。
【００７４】
画像入力部３２は、画像検索システムの管理者による地図画像データ、撮影位置情報及び撮影方向の入力を受付け、地図画像データ、撮影位置情報及び撮影方向を画像登録部３１へ送信する。画像登録部３１は、比較処理部２４に地図画像の評価を依頼する。比較処理部２４は、第１の画像評価部２３に地図画像の解析を依頼する。第１の画像評価部２３は、オブジェクトデータベース２８を利用してオブジェクトの抽出を行う。オブジェクトの抽出方法は、第１の実施の形態にて説明した方法と同一である。なお、地図画像を評価する画像評価部は、第１の画像評価部２３に限定するものではなく、第２の画像評価部２５を用いて地図画像データを解析してオブジェクト及びその属性情報の抽出を行ってもよい。
【００７５】
第１の画像評価部２３は、オブジェクトの抽出を終えると、比較処理部２４を経由して画像登録部３１にオブジェクト情報を通知し、画像登録部３１は、地図画像データ、撮影位置情報及び撮影方向とともにオブジェクト情報をデータベース２６に登録する。
【００７６】
図１２に、データベース２６にて管理するデータ構造の一例を示す。図１２に示すように、データベース２６は、地図画像データ毎に、撮影位置情報（緯度及び経度）並びに撮影方向を記憶するとともに、当該地図画像に含まれるオブジェクトの種別並びに位置（緯度、経度及び高度）を記憶している。
【００７７】
このように、本実施の形態では、データベース２６内の地図画像データ毎にオブジェクトは抽出済みであるため、第２の画像評価部２５は、地図画像データを解析してオブジェクトを抽出する必要はない。従って、比較処理部２４は、地図画像データに含まれるオブジェクト情報をデータベース２６から直接読み出すことができる。その他の処理については、第１の実施の形態と同様となる。
【００７８】
なお、画像撮影端末１０により撮影された撮影画像の位置情報を特定後、その撮影画像から抽出したオブジェクトの属性情報を撮影位置情報とともに、データベース２６に地図画像データとして登録してもよい。
【００７９】
また、データベース２６は、保持している地図画像内に存在している複数のオブジェクトを抽出してオブジェクト間の距離を計算した結果を、当該地図画像と対応付けて予め保持するようにしてもよい。この場合、データベース２６中の地図画像のオブジェクトを予め抽出しておくことにより、撮影画像との類似性の評価を行う毎にオブジェクトを抽出する処理を削減することができる。
【００８０】
（第３の実施の形態）
次に、サーバにて、地図上の位置情報とともにオブジェクト単位でデータを保持しておく実施の形態を、第３の実施の形態として説明する。第３の実施の形態では、画像検索システムの管理者は、データベースに地図画像データを登録する際に、サーバにてオブジェクトの抽出と位置情報の特定とを実行し、オブジェクト単位でその位置情報とともにその属性情報を予め登録する。
【００８１】
本実施の形態による画像検索システムの機能ブロック図は、図１１と同様であるため、重複する図示を省略するため、図１１を用いて説明するとともに、同一処理を行う箇所については説明を省略する。
【００８２】
本実施の形態と第２の実施の形態とで異なる点は、第１の画像評価部２３は、オブジェクトの抽出とともにオブジェクト毎の位置情報の算出を行い、画像登録部３１に通知する点と、オブジェクト情報とその位置情報とを通知された画像登録部３１は、オブジェクト情報と位置情報とをデータベース２６に登録する点である。なお、詳細については後述する。
【００８３】
図１３に、データベース２６にて管理するデータ構造の一例を示す。本実施の形態では、データベース２６内のデータは、地図用オブジェクトデータであり、実体はオブジェクト単位の属性情報と位置情報とである。従って、第２の画像評価部２５は、地図画像データを解析してオブジェクトを抽出する必要はなく、比較処理部２４は、地図画像データに含まれるオブジェクト情報をデータベース２６から直接読み出すことができる。
【００８４】
図１４は、本実施の形態による画像検索システムの比較処理部２４におけるマッチング処理を説明するためのフローチャートを示す。
【００８５】
マッチング処理が開始すると（Ｓ３０）、比較処理部２４は、はじめに撮影画像の中から第１のオブジェクト（１）を１つ選択し（Ｓ３１）、さらに、撮影画像中からもう一つ別の第２のオブジェクト（２）を選択する（Ｓ３２）。比較処理部２４は、さらにデータベース２６の中から第３のオブジェクト（３）を一つ選択し（Ｓ３３）、オブジェクト（１）の種別とオブジェクト（３）の種別との比較を行う（Ｓ３４）。
【００８６】
種別が同一の場合、比較処理部２４は、データベース２６の中から第３のオブジェクト（３）とは異なる第４のオブジェクト（４）を抽出し（Ｓ３５）、オブジェクト（２）の種別とオブジェクト（４）の種別との比較を行う（Ｓ３６）。種別が同一の場合、比較処理部２４は、オブジェクト（１）とオブジェクト（２）との距離Ｌ１と、オブジェクト（３）とオブジェクト（４）との距離Ｌ２を算出する。距離の算出式は、第１の実施の形態と同様である。
【００８７】
次に、比較処理部２４は、距離Ｌ１と距離Ｌ２との比較を行い（Ｓ３７）、距離が同一の場合、撮影画像中のオブジェクト（１）、（２）と、選択中のオブジェクト（３）、（４）には相関関係があると判断し、データベース２６中のオブジェクト単位で管理される評価値を増加させる（Ｓ３８）。なお、データベース２６中のオブジェクト単位で管理される評価値は、比較処理開始時に初期化しておく。
【００８８】
その後、比較処理部２４は、データベース２６中の別のオブジェクトとも比較を行うため、別の第４のオブジェクト（４）を選択可能か確認する（Ｓ３９）。比較処理部２４は、別のオブジェクト（４）が存在するのであれば、選択処理（Ｓ３５）へ戻り、存在しない場合は、データベース２６中から別のオブジェクト（３）を選択可能か確認する（Ｓ４０）。比較処理部２４は、別のオブジェクト（３）が存在するのであれば、選択処理（Ｓ３３）へ戻り、存在しない場合は、撮影画像から別のオブジェクト（２）を選択可能か確認する（Ｓ４１）。比較処理部２４は、別のオブジェクト（２）が存在するのであれば、選択処理（Ｓ３２）へ戻り、存在しない場合は撮影画像から別のオブジェクト（１）を選択可能か確認する（Ｓ４２）。比較処理部２４は、別のオブジェクト（１）が存在するのであれば、選択処理（Ｓ３１）へ戻り、存在しないのであれば、マッチング処理を終了する（Ｓ４３）。
【００８９】
また、オブジェクト（２）の種別とオブジェクト（４）の種別との比較処理（Ｓ３６）と、オブジェクト間の距離の比較処理（Ｓ３７）とにて、結果が異なる場合、比較処理部２４は、データベース２６から別のオブジェクト（４）を選択可能か確認する（Ｓ３９）。比較処理部２４は、別のオブジェクト（４）を選択可能であれば、再度オブジェクト（４）の選択を行い（Ｓ３５）、不可であれば、データベース２６から別のオブジェクト（３）の選択を行えるか確認する（Ｓ４０）。比較処理部２４は、オブジェクト（３）を選択可能であれば、再度オブジェクト（４）の抽出を行い（Ｓ３３）、存在しないのであれば、撮影画像からのオブジェクト（２）の選択の確認処理を行う（Ｓ４１）。また、比較処理部２４は、オブジェクト（１）の種別とオブジェクト（３）の種別との比較処理（Ｓ３４）にて、種別が異なる場合、オブジェクト（３）の選択の確認処理を行う（Ｓ４０）。
【００９０】
なお、図１４のフローチャートにて撮影画像からのオブジェクトの選択処理及びデータベースからのオブジェクトの選択処理において、オブジェクトの数が足りずに選択が失敗する場合があるが、一般的な異常処理であるため、説明を省略する。また、画像撮影端末１０により撮影された撮影画像の位置情報を特定後、その撮影画像から抽出したオブジェクトの属性情報を撮影位置情報とともに、データベース２６に地図用オブジェクトデータとして登録してもよい。
【００９１】
上記のマッチング処理が終了した後、比較処理部２４は、データベース２６中のオブジェクト毎に集計した評価値を比較し、最も評価値の大きいオブジェクトと、そのオブジェクトとの距離を算出したオブジェクト（撮影画像中のオブジェクトと一致したデータベース２６中の別のオブジェクト）とが、ともに撮影画像にも含まれていると特定し、オブジェクトとペアで管理される位置情報を用いて、撮影画像における撮影位置を特定する。
【００９２】
次に、画像撮影端末１０の位置特定の算出式を以下に示す。
【００９３】
【数２】
2008310446.tif 000004
【００９４】
ここで、式（１１）で算出される画像撮影端末１０の位置（ＥｙｅＸ，ＥｙｅＹ，ＥｙｅＺ）は、データベース２６内の座標系における位置である。また、式（１１）において、（ＡＸ１，ＡＹ１，ＡＺ１）、（ＡＸ２，ＡＹ２，ＡＺ２）、（ＡＸ３，ＡＹ３，ＡＺ３）は、データベース２６内のオブジェクト位置である。また、行列Ｆにおいて、ｆｖ＝１．０／ｔａｎ（π×ｆｏｖｙ／１８０．０）であり、Ｆは、遠近補正用の行列であり、、画像撮影端末１０のカメラ固有パラメータ、ｆｏｖｙ（垂直方向の視野角）、ａｓｐｅｃｔ（水平方向の視野角）、ｆ，ｎ（焦点距離）により求まる固定値である。式（１１）における他の記号は、式（６）と同様である。
【００９５】
上記のアルゴリズムにより画像撮影端末１０の撮影位置を特定した後、画像撮影端末１０へ撮影位置を送信する手順については、第１の実施の形態に記載の手順と同じである。
【００９６】
次に、図１１のデータベース２６に対して、画像撮影端末１０で撮影された画像上のオブジェクト、または画像入力部３２より登録される地図画像データ上のオブジェクト（以下、登録対象オブジェクトと記す）を追加又は削除して登録対象オブジェクトを更新する方法について示す。なお、オブジェクトを登録するための処理要求は、第１の実施の形態に示したとおり、画像撮影端末１０からの処理要求であってもよいし、未登録のオブジェクトを画像撮影端末１０からの処理要求がなくとも、サーバ２０ａにて自動で登録してもよい。
【００９７】
登録対象オブジェクトの追加方法としては、第１の画像評価部２３によるオブジェクト抽出後、比較処理部２４及び第２の画像評価部２５は、抽出されたオブジェクトとデータベース２６中のオブジェクトと比較を行い、第１の画像評価部２３により抽出されたオブジェクトがデータベース２６に存在しない場合、登録対象オブジェクトとしてデータベース２６に追加する。また、データベース２６中にオブジェクトと位置情報とが存在するが、撮影画像上にオブジェクトが存在しない場合、データベース２６中の該当オブジェクトを削除する。また、撮影画像上のオブジェクトと同一位置に存在するデータベース２６中のオブジェクトの種別が異なる場合、撮影画像上のオブジェクトに関する情報によりデータベース２６中の該当オブジェクトに関する情報を上書きする。
【００９８】
次に、登録対象オブジェクトをデータベース２６に登録する手順の詳細を示す。登録対象オブジェクトの位置を、撮影画像の左下位置を原点とする座標系における値からデータベース２６内の座標系における値に変換するための式を以下に示す。
【００９９】
【数３】
2008310446.tif 000005
【０１００】
ここで、式（１３）において、（ＡＸ’，ＡＹ’，ＡＺ’）は、変換後の登録対象オブジェクトの位置（データベース２６内の座標系における値）である。また、（Ｘ，Ｙ，Ｚ）は、変換前の登録対象オブジェクトの位置（撮影画像の左下位置を原点とする座標系における値）である。他の記号は、式（１１）と同様である。上記の手順により、データベース２６にオブジェクトとともにオブジェクトの位置情報を登録することができる。
【０１０１】
上記のように、本実施の形態では、データベース２６上のデータをオブジェクト単位で保持しているので、異なる画像に含まれているオブジェクト間の比較も可能となるため、撮影画像中のオブジェクトとデータベース２６中のオブジェクトとの類似性を比較する際に、一致する確率を高めることができ、位置情報を特定できる頻度を増やすことができる。
【０１０２】
（第４の実施の形態）
次に、図３における第１の画像評価部２３及びオブジェクトデータベース２８と同等の第３の画像評価部及びオブジェクトデータベースを画像撮影端末側に持たせ、撮影中のプレビュー画像上に、オブジェクト抽出結果を表示する（例えば、オブジェクトのまわりに枠線を表示する）実施の形態を、第４の実施の形態として説明する。本実施の形態では、オブジェクト抽出結果が撮影時にユーザに分かるため、サーバ２０上での画像データのマッチング処理（図７のフローチャート）にてオブジェクトの数が足りずに選択が失敗する場合を極力減らすことが可能になる。
【０１０３】
図１５に、第４の実施の形態による画像検索システムの画像撮影端末及びサーバの機能ブロック図を示す。なお、本実施の形態のサーバにおける処理は、第１の実施の形態と同様であるので、詳細な説明を省略し、図１５を用いて、本画像検索システムによる現在位置特定処理の全体の流れのうち画像撮影端末によるオブジェクト抽出処理を主に説明する。
【０１０４】
画像撮影端末１０ａのカメラ画取り込み部１２は、カメラ１１により撮影中の風景を画像データとして取り込み、撮影画像記録部１６に保存する。第３の画像評価部１８は、撮影画像記録部１６及びオブジェクトデータベース１７に記憶されているオブジェクト情報から表示処理部１５に渡すオブジェクト情報を求める。撮影画像記録部１６の画像データ及びオブジェクトデータベース１７からピクセル単位のオブジェクト位置（水平方向、垂直方向）及びオブジェクト大きさ（水平方向、垂直方向）を求める方法は、第１の実施の形態と同様である。
【０１０５】
第３の画像評価部１８が求めるオブジェクト情報は、画像撮影端末１０ａの左下位置を原点とするオブジェクトの位置（水平方向、垂直方向）である。ここでは、求めたオブジェクト情報は、画像撮影端末１０ａ内で用いるだけなので、オブジェクトの位置を実スケールで求める必要はなく、ピクセル単位でよい。また、ＬＣＤ６０に枠線等を表示するのが目的なので、オブジェクトの位置（奥行き方向）も不要である。
【０１０６】
表示処理部１５は、オブジェクト情報に基づき、オブジェクトの周りへの枠線をＬＣＤ６０に表示を行うなどして、オブジェクト抽出結果をユーザに知らせる。例えば、図８のように、表示処理部１５は、第３の画像評価部１８にて求めたオブジェクト位置（水平方向、垂直方向）、オブジェクト大きさ（水平方向、垂直方向）に基づき、オブジェクト抽出結果をユーザに通知する。通知の方法は、第１の実施の形態と同様である。
【０１０７】
ユーザは、オブジェクト抽出結果をＬＣＤ６０にて確認しながら、プレビュー画像内のオブジェクト数が増えるように画像撮影端末１０ａを上下左右に移動するなどして撮影範囲を決める。
【０１０８】
図１６は、ユーザが図８の状態から画像撮影端末１０ａを右に移動させることにより、オブジェクトＯ３が新たに認識され、画像内オブジェクト数が必要オブジェクト数に達した場合の例である。メッセージＭ４にて、撮影してよい旨をユーザに通知している。ユーザは、メッセージＭ４を見て撮影ボタンを押下する。または、画像内オブジェクト数が必要オブジェクト数に達した時点で自動的に撮影ボタンが押されるようにしてもよい。
【０１０９】
撮影ボタンが押下されると、カメラ画取り込み部１２は、カメラ１１により撮影中の風景を画像データとして取り込んで撮影画像記録部１６に保存し、撮影画像記録部１６は、カメラ画送信部１３を通じて画像データをサーバ２０へ送信する。サーバ２０への送信後の処理は、第１実施の形態と同様である。
【０１１０】
本実施の形態によれば、オブジェクト抽出結果がプレビュー時にユーザに分かるため、サーバ２０上での画像データのマッチング処理（図７のフローチャート）にてオブジェクトの数が足りずに選択が失敗する場合を極力減らすことが可能になる。これにより、ユーザに何度もカメラ画像の取り直しさせるといった事態も防げるため、位置特定にかかる時間もその分短縮できる。また、サーバ２０への画像送信の回数を減らせるため、画像送信にかかる通信費を抑制することも可能になる。
【産業上の利用可能性】
【０１１１】
本発明によると、建物の増改築、撤去又は新築や、人物や植物等の動きのあるもの又は自動車の映りこみなどの外乱の影響や、撮影画像のずれなどの影響を受け難いため、精度よく画像の類似性を評価する方法して有用である。また、精度よく画像の類似性を評価可能なことを利用することにより、画像の類似性を比較評価して画像撮影端末の位置情報を得る用途にも適用できるため、画像撮影端末にＧＰＳ等の位置特定手段を設ける必要はなく、その産業上の利用価値は極めて高い。
【図面の簡単な説明】
【０１１２】
【図１】本発明の第１の実施の形態による画像検索システムの構成を示すブロック図である。
【図２】画像データと画像データの撮影位置情報とをペアで管理するデータベース内のデータ構成の一例を示す図である。
【図３】図１に示す画像撮影端末とサーバとの機能ブロック図である。
【図４】図３に示すオブジェクトデータベースのデータ構造の一例を示す図である。
【図５】図４に示す三つのオブジェクトを抽出し、これらの位置及び大きさを求めた例を示す図である。
【図６】図５に示す実スケールのオブジェクト位置の例を示す図である。
【図７】図３に示す比較処理部におけるマッチング処理を説明するためのフローチャートである。
【図８】図３に示す画像撮影端末にオブジェクトの追加要求を行う場合におけるオブジェクト抽出結果の通知画面の一例を示す図である。
【図９】地図画像の入れ替えを行う場合における確認画面の一例を示す図である。
【図１０】地図画像を選択して撮影画像と入れ替える場合の問い合わせ画面の一例を示す図である。
【図１１】本発明の第２の実施の形態による画像検索システムのサーバの機能ブロック図である。
【図１２】地図画像毎に抽出済みのオブジェクトの属性情報を管理する場合にデータベースにて管理するデータ構造の一例を示す図である。
【図１３】オブジェクト毎に属性情報を管理する場合にデータベースにて管理するデータ構造の一例を示す図である。
【図１４】本発明の第３の実施の形態による画像検索システムの比較処理部におけるマッチング処理を説明するためのフローチャートである。
【図１５】本発明の第４の実施の形態による画像検索システムの画像撮影端末及びサーバの機能ブロック図である。
【図１６】画像内オブジェクト数が必要オブジェクト数に達した場合におけるオブジェクト抽出結果の通知画面の一例を示す図である。
【符号の説明】
【０１１３】
１０、１０ａ  画像撮影端末
１１  カメラ
１２  画取り込み部
１３  カメラ画送信部
１４  情報受信部
１５  表示処理部
１６  撮影画像記録部
１７  オブジェクトデータベース
１８  第３の画像評価部
２０、２０ａ  サーバ
２１  画像受信部
２２  画像データ一時記録部
２３  第１の画像評価部
２４  比較処理部
２５  第２の画像評価部
２６、３０  データベース
２７  情報送信部
２８  オブジェクトデータベース
２９  候補画像決定部
３１  画像登録部
３２  画像入力部
６０  ＬＣＤ
【図１】
2008310446.tif 000006
【図２】
2008310446.tif 000007
【図３】
2008310446.tif 000008
【図４】
2008310446.tif 000009
【図５】
2008310446.tif 000010
【図６】
2008310446.tif 000011
【図７】
2008310446.tif 000012
【図８】
2008310446.tif 000013
【図９】
2008310446.tif 000014
【図１０】
2008310446.tif 000015
【図１１】
2008310446.tif 000016
【図１２】
2008310446.tif 000017
【図１３】
2008310446.tif 000018
【図１４】
2008310446.tif 000019
【図１５】
2008310446.tif 000020
【図１６】
2008310446.tif 000021