(57)【要約】【課題】撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上させること。【解決手段】入力部は、撮影部が撮影した撮影画像の画像データを入力する。画像特徴量算出部は、画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する。画像特徴量比較部は、検索対象である特定画像の特徴を示す特定画像特徴量と撮影画像特徴量に基づいて、撮影画像において特定画像と特徴の一致又は類似する類似画像を検出する。登録部は、類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する。画像特徴量比較部は、は、記憶部に登録した再登録情報に基づいて、類似画像を検出する。【選択図】図３
2013210974.tif 000002
【特許請求の範囲】
【請求項１】
撮影部が撮影した撮影画像の画像データを入力する入力部と、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、
を備え、
前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出することを特徴とする検索画像登録装置。
【請求項２】
前記登録部は、
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録することを特徴とする請求項１に記載の検索画像登録装置。
【請求項３】
前記登録部は、
前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、
前記変換規則に基づいて、再登録情報を登録することを特徴とする請求項１又は２に記載の検索画像登録装置。
【請求項４】
前記登録部は、
前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、
前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録することを特徴とする請求項１から３のうちいずれか一項に記載の検索画像登録装置。
【請求項５】
前記請求項１から４のいずれか一項に記載の検索画像登録装置と、
前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備えることを特徴とする検索画像表示システム。
【請求項６】
検索画像登録装置における検索画像登録方法であって、
撮影部が撮影した撮影画像の画像データを入力する入力過程と、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較過程と、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較過程と、
を有することを特徴とする検索画像登録方法。
【請求項７】
コンピュータに、
撮影部が撮影した撮影画像の画像データを入力する入力手段、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、
検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較手段、
前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、
記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較手段、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラムに関する。
【背景技術】
【０００２】
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
【０００３】
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４９４０７号公報
【特許文献２】特開２００７−４１７６２号公報
【非特許文献１】Calonder M., Lepetit V., Strecha C., Fua P.: ‘’BRIEF: Binary Robust Independent Elementary Features.’’ 11th European Conference on Computer Vision (ECCV),Heraklion, Crete. LNCS Springer, September 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実際に撮影する画面は、正面から撮影されたものであるとは限らない。例えば、ビルの広告が特定画像となっているような場合には、ビルを下から見上げて撮影した画像となり、撮影画像に歪みが生じている。また、撮影画像が夕日を浴びて赤くなっている画像であったり、暗くぼやけた画像になっていたりする場合がある。このような場合、予め生成された特定画像と実際に撮影された画像とを比較して、撮影画像に対応する特定画像を検索する際に、予め生成された特定画像と実際に撮影された画像との間に差異が生じ、認識率が低下してしまう。
【０００６】
また、実際の画像データをプリンタなどで印刷したものをカメラで撮影するような場合がある。このような場合には、照明環境の違いによっても撮影画像の色は大きく変わってしまう。
【０００７】
上述の課題を鑑み、本発明は、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図るようにした表示画像検索装置、表示画像検索システムおよび表示画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を鑑み、本発明に係る検索画像登録装置は、撮影部が撮影した撮影画像の画像データを入力する入力部と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する比較部と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録部と、を備え、前記比較部は、記憶部に登録した再登録情報に基づいて、類似画像を検出する。
なお、再登録情報としては、実施形態に記載されている、例えば、変換情報算出部２７によって算出される位置変換のための変換行列Ａや、この変換行列Ａに基づき再登録画像内の特定画像領域の位置に特定画像が置き換えられた特徴量抽出画像、あるいは、変換情報算出部２７’によって算出される色補正変換のための変換行列Ａや、この変換行列Ａに基づき色補正が施された特徴量抽出画像、又は、特徴量抽出画像から取得される特徴量等を含む。
【０００９】
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像に関する情報を再登録情報として登録する。
【００１０】
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて、前記類似画像と前記特定画像の色情報の変換規則を取得し、前記変換規則に基づいて、再登録情報を登録する。
【００１１】
上述の検索画像登録装置において、前記登録部は、前記特定画像特徴量と前記撮影画像特徴量に基づいて前記類似画像と前記特定画像の変換規則を取得し、前記特定画像を前記変換規則に基づいて変換した画像を新たな特定画像とし、前記新たな特定画像の特徴量を示す特定画像特徴量を再登録情報として登録する。
【００１２】
上述の課題を鑑み、本発明に係る表検索画像表示システムは、上述のいずれか１つの検索画像登録装置と、前記検索画像登録装置とネットワークを介して接続され、前記撮影部を備える表示装置と、を備える。
【００１３】
上述の課題を鑑み、本発明に係る検索画像登録方法は、撮影部が撮影した撮影画像の画像データを入力する入力過程と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出過程と、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較過程と、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録過程と、記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較過程と、を有する。
【００１４】
本発明に係るプログラムは、コンピュータに、撮影部が撮影した撮影画像の画像データを入力する入力手段、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、検索対象である特定画像の特徴を示す特定画像特徴量と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致又は類似する類似画像を検出する第１の比較手段、前記類似画像に関連する再登録情報を取得し、取得した再登録情報を記憶部に登録する登録手段、記憶部に登録した再登録情報に基づいて、類似画像を検出する第２の比較手段、を実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係る表示画像検索システムの構成の一例を示すブロック図である。
【図２】撮影画像の一例を示す図である。
【図３】本発明の第１実施形態に係る表示画像検索装置２の構成の一例を示すブロック図である。
【図４】本発明の第１実施形態に係る特定画像位置テーブルの一例を示す図である。
【図５】特定画像データの一例を示す図である。
【図６】撮影画像特徴量の一例を示す図である。
【図７】本発明の第１実施形態に係る特定画像特徴量テーブルの一例を示す図である。
【図８】本発明の第１実施形態に係る特定画像付加情報テーブルの一例を示す図である。
【図９】本発明の第１実施形態に係る位置変換について説明するための参考図である。
【図１０】本発明の第１実施形態に係る特徴量抽出画像の一例を示す参考図である。
【図１１】本発明の第１実施形態に係る撮影画像の一例を示す参考図である。
【図１２】本発明の第１実施形態に係る特徴量抽出画像の他の例を示す参考図である。
【図１３】本発明の第１実施形態に係る撮影画像の他の例を示す参考図である。
【図１４】本発明の第１実施形態に係る表示画像検索方法の一例を示すフローチャートである。
【図１５】本発明の第１実施形態に係る撮影された特定画像の検索画像登録方法の一例を示すフローチャートである。
【図１６】本発明の第２実施形態に係る表示画像検索装置２’の構成の一例を示すブロック図である。
【図１７】本発明の第２実施形態に係る色補正変換について説明するための参考図である。
【図１８】本発明の第２実施形態に係る撮影された特定画像の検索画像登録方法の一例を示すフローチャートである。
【図１９】登録される特定画像の説明に用いる図である。
【図２０】撮影画像と特定画像との比較の説明に用いる図である。
【図２１】コンテンツ等を提供する際に表示装置に表示される画像の一例を説明する図である。
【図２２】本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
【発明を実施するための形態】
【００１７】
＜第１実施形態＞
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図１は、本実施形態における画像検索表示システムの機能ブロック図である。
図１に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
【００１８】
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
【００１９】
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力されたユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
【００２０】
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
【００２１】
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
【００２２】
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。
この端末制御部１１は、表示画像検索装置２から、後述する、特定画像付加情報と表示位置情報と特定画像データを受信する。端末制御部１１は、表示位置情報が示す変換行列Ａに基づいて、特定画像データを変換する。端末制御部１１は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部１５に表示させる。端末制御部１１は、特定画像データの画像に対して、特定画像付加情報を付与してもよい。端末制御部１１は、特定画像データの画像を重畳した撮影画像データを、表示部１５に出力する。
【００２３】
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力された情報に基づく画像を表示する。
【００２４】
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力された情報をネットワークＮＷを介して表示画像検索装置２に送信する。
【００２５】
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
【００２６】
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
【００２７】
ここで、表示装置１の撮影部１２が取得した撮影画像データＤ（ｎ）の一例について、図２を参照して説明する。図２は、撮影画像の一例を示す図である。
図２に示す通り、撮影画像データＤ（ｎ）は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルＢ１の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースは、上辺と下辺が湾曲している。
【００２８】
次に、図３を参照して、本実施形態に係る表示画像検索装置２の一例について説明する。図３は、本実施形態に係る表示画像検索装置２の一例を示すブロック図である。
図３に示す通り、本実施形態係る表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、変換情報算出部２７と、登録部２８と、第３記憶部２９と、第４記憶部３１と、特定画像付加情報取得部３２と、を備える。
【００２９】
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、例えば、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。また、通信部２１は、特定画像付加情報取得部３２から入力された特定画像表示データＳ（ｎ）を、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
なお、通信部２１は、ネットワークＮＷを介して表示装置１と接続するためのインターフェース機能に限られず、カメラ等の機器とケーブルを介して接続し、カメラ等の機器から撮影画像データを読み取る構成であってもよい。
【００３０】
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図４に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
【００３１】
図５を参照して、この特定画像の一例について説明する。図５は、本実施形態において、第１記憶部２２に保存される特定画像の一例を示す図である。
図５に示すように、第１記憶部２２には、特定画像ＩＤ１、２、３が割り当てられた特定画像データ１００、２００、３００が保存されている。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図５（ａ）に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、画面の中央にネコの画像を含む画像である。
また、図５（ｂ）に示す通り、特定画像データ２００は、特定画像ＩＤ２が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。
さらに、図５（ｃ）に示す通り、特定画像データ３００は、特定画像ＩＤ３が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。
【００３２】
図４に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
【００３３】
図３に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、画像特徴量が一定の閾値以上の数値を有する点（例えば、画素）を特徴点という。また、特徴点の撮像画像内における位置は、（Ｘ，Ｙ）座標値で示される（図９（ｂ）参照）。画像特徴量算出部２３は、各特徴点について、撮影画像特徴量および（Ｘ，Ｙ）座標値を対応付けた特徴点情報を生成する。画像特徴量算出部２３は、撮像画像内のすべての特徴点についての特徴点情報を含む、撮影画像特徴量情報を生成する。
【００３４】
この撮影画像特徴量の一例を図６に示す。図６に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴点の集合であり、その特徴点の分布は類似している。
【００３５】
図３に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力される。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力された撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
【００３６】
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画面特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
【００３７】
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図７に示す通り、特定画像ＩＤと、特定画像のインデックスと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特定画像における特徴点の特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの画像内において特定の特徴量を示す特徴点の位置を示す情報である。特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す特徴点の特徴量を示す情報である。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。この特徴量は、例えば、様々な観点によって抽出されてもよく、複数の種類の特徴量を抽出する場合には、特徴量は、ベクトルとなる。図示においては、簡略化のため、特徴点についての１つの種類の特徴量を示す。
【００３８】
図３に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって生成された撮影画像特徴量情報の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像（類似特定画像とも称する）を検出する。
【００３９】
具体的に説明すると、この画像特徴量比較部２６は、例えば、特定画像ＩＤ毎に特徴量を読み出し、読み出した特徴量と撮影画像特徴量情報の撮影画像特徴量とが一致するか否かを判定する。ここで、一致とは、特徴量の値が閾値Ｔ１以内の場合をいう。なお、１つの特徴点に対して複数種類（例えば、色の成分、明るさの２種類）の特徴量がある場合には、画像特徴量比較部２６は、同じ種類同士の特徴量を比較する。画像特徴量比較部２６は、比較した特徴量の値が閾値Ｔ１以内となる特徴量の種類の数を計数し、計数した数が閾値以上になる場合に、類似すると判定してもよい。
画像特徴量比較部２６は、一致すると判定した特徴点の数を計数する。例えば、画像特徴量比較部２６は、計数した特徴点の数を特定画像ＩＤの特徴点の総数で除算し、除算した値を、特徴量類似度とする。なお、画像特徴量比較部２６は、他の手法を用いて、特徴量類似度を算出してもよい。画像特徴量比較部２６は、特徴量類似度と特定画像ＩＤを対応付けて記憶する。
画像特徴量比較部２６は、上記の処理を、全ての特定画像ＩＤに対して行う。画像特徴量比較部２６は、最大となる特徴量類似度に対応する特定画像ＩＤを抽出し、抽出した特定画像ＩＤの特定画像を、類似特定画像として検出する。
画像特徴量比較部２６は、検出した類似特定画像の特定画像ＩＤと、その特定画像ＩＤに対応する特定画像特徴量情報と、撮影画像特徴量情報とを、変換情報算出部２７へ出力する。
【００４０】
変換情報算出部２７は、画像特徴量比較部２６から入力された特定画像特徴量情報および撮影画像特徴量情報に基づいて、特定画像と、その特定画像に類似する撮影画像内の画像（類似画像とも称する）と、の位置の対応関係を示す変換行列Ａを算出する。
例えば、図９（ａ）に示す通り、オリジナルの特定画像の画像内における位置を（ｘ，ｙ）座標値で示す。また、図９（ｂ）に示す通り、撮影画像内における位置を（Ｘ，Ｙ）座標値で示す。
【００４１】
変換情報算出部２７は、特定画像特徴量情報から特徴点を抽出し、その特徴点と一致する特徴点を、撮影画像特徴量情報から抽出する。ここで、一致とは、特徴量の値が閾値以内の場合をいうが、この閾値は閾値Ｔ１と異なっていても良いし、同じであっても良い。変換情報算出部２７は、特定画像特徴量情報から抽出した特徴点について、特徴点縦座標および特徴点横座標をそれぞれ、次式（１）の（ｘ，ｙ）へ代入する。変換情報算出部２７は、撮影画像特徴量情報から抽出した特徴点について、抽出した特徴点について、（Ｘ，Ｙ）座標値を、次式（１）の（Ｘ，Ｙ）へ代入する。なお、撮影画像特徴量情報から抽出した特徴点が複数ある場合には、それらの（Ｘ，Ｙ）座標値の平均値を、次式（１）の（Ｘ，Ｙ）へ代入してもよい。
【００４２】
【数１】
2013210974.tif 000003
【００４３】
変換情報算出部２７は、代入の結果、変換行列Ａの各成分を未知数とする数式を生成する。変換情報算出部２７は、上記の処理を予め定めれら回数だけ繰り返し、その回数の数の数式を生成する。変換情報算出部２７は、生成した数式を、連立させて解くことにより、変換行列Ａを算出する。
変換行列Ａは、オリジナルの特定画像を撮影内の位置に位置変換させるための変換規則である。ただし、変換規則は行列でなくてもよいし、変換規則は特定画像の部分毎にあってもよい。例えば、変換情報算出部２７は、ｘ座標値毎又はｙ座標値毎の変換行列Ａを算出してもよい。なお、この変換行列Ａに従って、特定画像が撮影画像内に位置変換された場合、撮影画像内における特定画像が位置する領域を、以下、特定画像領域という。つまり、変換情報算出部２７は、撮影画像内に写る特定画像領域の位置を示す情報を算出する。言い換えると、変換情報算出部２７は、特定画像の特徴量と撮影画像の特徴量に基づいて、撮影画像において特定画像と特徴の一致又は類似する特定領域を決定する。なお、撮影画像内における特定画像領域の画像が、類似画像である。
【００４４】
変換情報算出部２７は、変換行列Ａと類似特定画像の特定画像ＩＤとを、登録部２８および特定画像付加情報取得部３２へ出力する。
【００４５】
登録部２８は、特定画像の特徴量を特定画像特徴量テーブル２５０に登録する登録処理と、再登録画像の特徴量を特定画像特徴量テーブル２５０に登録する再登録処理とを実行する。
この登録部２８は、“オリジナルの特定画像”の特徴量が入力された場合、この“オリジナルの特定画像”の特徴量と特定画像ＩＤとを対応付けて、特定画像特徴量テーブル２５０に書き込む。つまり、“オリジナルの特定画像”の特徴量を特定画像特徴量テーブル２５０に登録する登録処理を実行する（これを登録処理という）。
また、登録部２８は、変換行列Ａと類似特定画像の特定画像ＩＤが入力された場合、後述する特徴量抽出画像の特徴量と特定画像ＩＤとを対応付けて、特定画像特徴量テーブル２５０に書き込む。つまり、特徴量抽出画像の特徴量を特定画像特徴量テーブル２５０に登録する登録処理を実行する（これを再登録処理という）。
【００４６】
具体的に再登録処理では、登録部２８は、第３記憶部２９の特定画像データ記憶領域２９０から、変換情報算出部２７から入力された特定画像ＩＤの画像データを読み出す。登録部２８は、変換情報算出部２７から入力された変換行列Ａに基づいて、読み出した画像データの各座標を変換する。例えば、登録部２８は、画像データの座標値に対して、行列Ａを左から演算する。これにより、登録部２８は、特定画像が撮影画像内に位置変換された場合の画像（特徴量抽出画像）を取得する。
この特徴量抽出画像は、例えば、図１０に示すように、撮影画像データＤ（ｎ）の画像に含まれる特定画像領域が特定画像に置き換えられるとともに、特定画像領域以外の画素値がＮＵＬＬとなっている情報である。
【００４７】
登録部２８は、取得した特徴量抽出画像を、新たな特定画像（再登録画像）とする。登録部２８は、新たな特定画像ＩＤを払い出し、払いだした特定画像ＩＤと再登録画像の画像データとを対応付けて、第３記憶部２９の特定画像データ記憶領域２９０へ記憶させる。
登録部２８は、特徴量抽出画像に基づいて、特定画像特徴量情報を算出する。登録部２８は、算出した特定画像特徴量情報を、払いだした特定画像ＩＤと対応づけて、第２記憶部２５の特定画像特徴量テーブル２５０へ記憶させる。ここで、登録部２８は、払いだした特定画像ＩＤと対応づけて、変換行列Ａを記憶させてもよい。
【００４８】
なお、登録部２８は、特徴量抽出画像（例えば、図１０の画像）を平行移動又は拡大した後の画像（例えば、図１２の画像）を、特徴量抽出画像としてもよい。また、登録部２８は、位置を平行移動又は拡大させる行列（又は乗数）を、変換行列Ａに対して左から乗算し、乗算後の行列Ａ’を変換行列Ａとしてもよい。この場合、登録部２８は、まず、行列Ａ’に基づいて、類似特定画像の画像データの各座標を変換することで、特徴量抽出画像を取得する。登録部２８は、この特徴量抽出画像に基づいて、上記の処理（再登録画像の取得、特定画像特徴量情報の算出）を行う。このように、登録部２８は、例えば特定画像と同じ大きさの再登録画像を登録できるので、再登録画像が特定画像よりも縮小してしまう場合と比較して、鮮明な画像を再登録画像として登録できる。これにより、画像検索表示システムでは、再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
また、登録部２８は、撮影画像内の画像（類似画像）を、特徴量抽出画像としてもよい。
【００４９】
図３に戻って、第３記憶部２９は、オリジナルの特定画像や特徴量抽出画像の画像データを記憶する領域である特定画像データ記憶領域２９０を備える。この特定画像データ記憶領域２９０には、例えば、特定画像ＩＤと、オリジナルの特定画像データが記憶される。ここで、オリジナルの特定画像データには、再登録画像の画像データが含まれている。つまり、オリジナルの特定画像データは、特定画像データが表わされたポスターや大型ディスプレイが設置されている場所で、例えば、表示装置１の撮影部１２により実際に撮影された画像に、相当する画像（形状や歪みが一致する画像）である。
【００５０】
第４記憶部３１は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル３１０を記憶する。
この特定画像付加情報テーブル３１０は、図８に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツＵＲＬと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
【００５１】
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（  Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ  ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部３１に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
【００５２】
特定画像付加情報取得部３２は、特定画像データ記憶領域２９０から、変換情報算出部２７から入力された特定画像ＩＤに対応する特定画像データを読み出す。特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０から、変換情報算出部２７から入力された特定画像ＩＤに対応する特定画像付加情報を読み出す。また、特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０から、通信部２１から入力された撮影位置情報と撮影日時情報に対応する特定画像付加情報を読み出す。
特定画像付加情報取得部３２は、変換情報算出部２７から入力された変換行列Ａを表示位置情報とし、表示位置情報と、読み出した特定画像データと、特定画像付加情報とを、通信部２１に出力する。
通信部２１は、特定画像付加情報取得部３２から入力された特定画像データと特定画像付加情報と表示位置情報を表示装置１に送信する。
【００５３】
次に、図１４を参照して、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明する。
図１４は、本実施形態に係る画像検索表示システムにおける処理方法の一例について説明するためのフローチャートである。
図１４に示す通り、大きく分けて、準備期間に実施される登録処理および再登録処理と、サービス期間中に実施される検索処理とがある。
【００５４】
はじめに、準備期間に実施される登録処理および再登録処理について説明する。
（ステップＳＴ１０１）
準備期間において、表示画像検索装置２は、オリジナルの特定画像についての登録処理を実行する。この表示画像検索装置２の登録部２８は、入力された特定画像の画像データを第３記憶部２９の特定画像データ記憶領域２９０に格納する。また、表示画像検索装置２は、オリジナルの特定画像から特徴量を算出し、特定画像特徴量テーブル２５０に書き込む。さらに、表示画像検索装置２は、入力された特定画像に関連する情報を特定画像付加情報テーブル３１０に格納する。具体的に説明すると、表示画像検索装置２は、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とをそれぞれ対応付けて、特定画像付加情報テーブル３１０に書き込む。
（ステップＳＴ１０２）
次いで、表示画像検索装置２は、撮影された特定画像についての再登録処理を実行する。この表示画像検索装置２は、入力された特定画像を撮影した撮影画像データＤ（ｎ）から特徴量を算出する。
【００５５】
次に、サービス期間中に実施される検索処理について説明する。
（ステップＳＴ１０３）
例えば、表示装置１の撮影部１２がリアルタイム再生画像データを取得して、端末制御部１１が表示部１５にリアルタイム再生画像データに基づく画像を表示している。ここでは、例えば、図２に示したような風景が表示部１５に表示される。
この状態において、ユーザが操作部１８のシャッターボタンを押下すると、撮影部１２が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部１２は、特定画像を含む風景を撮影し、撮影画像データＤ（ｎ）を取得して、端末制御部１１に出力する。
（ステップＳＴ１０４）
そして、表示装置１は、撮影画像データＤ（ｎ）を表示画像検索装置２に送信する。
【００５６】
（ステップＳＴ１０５）
表示画像検索装置２は、表示装置１から撮影画像データＤ（ｎ）を受信する。
（ステップＳＴ１０６）
そして、表示画像検索装置２は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す撮影画像特徴量を算出する。なお、表示画像検索装置２は、特定画像位置テーブル２２０を参照して、表示装置１から受信した撮影位置情報Ｐ（ｎ）に基づき、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報Ｐ（ｎ）が示す位置を含む特定画像データを検索する。例えば、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）に対応する特定画像データとして、特定画像ＩＤ１〜１０の特定画像データを検索によって得る。
【００５７】
（ステップＳＴ１０７）
次いで、表示画像検索装置２は、特定画像特徴量テーブル２５０を参照して、検索によって得られた特定画像データの特徴量と、画像特徴量算出部２３によって算出された撮影画像データＤ（ｎ）の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の撮影画像特徴量に対応する特定画像を検出する。
なお、本実施形態では、準備期間において、オリジナルの特定画像についての登録処理と、撮影画像についての再登録処理が実行されているため、特定画像特徴量テーブル２５０には、再登録画像（特徴量抽出画像）の特徴量も登録されている。つまり、表示画像検索装置２は、撮影画像データＤ（ｎ）から、一致するあるいは類似する特定画像、又は、一致するあるいは類似する特徴量抽出画像に対応する特定画像を検出する。
（ステップＳＴ１０８）
そして、表示画像検索装置２は、特定画像特徴量テーブル２５０を参照して、撮影画像データＤ（ｎ）内に含まれる特定画像を検出し、その特定画像とオリジナルの特定画像との位置の対応関係を示す変換行列Ａを算出する。つまり、表示画像検索装置２は、検出した特定画像の撮影画像内における位置を算出することにもなる。
（ステップＳＴ１０９）
次いで、表示画像検索装置２は、変換行列Ａを示す表示位置情報を表示装置１に送信する。
（ステップＳＴ１１０）
表示装置１は、撮影画像内における表示位置情報を表示画像検索装置２から受信する。
【００５８】
（ステップＳＴ１１１）
また、表示画像検索装置２の特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、撮影画像データＤ（ｎ）に含まれる特定画像に対応する特定画像付加情報を検索によって得る。この特定画像付加情報取得部３２は、検索によって得られた特定画像付加情報を、通信部２１に出力する。通信部２１は、特定画像付加情報を表示装置１に送信する。
（ステップＳＴ１１２）
表示装置１は、表示画像検索装置２から特定画像付加情報を受信する。
（ステップＳＴ１１３）
そして、表示装置１は、特定画像の位置とコンテンツを組み合わせて表示する。例えば、表示装置１は、表示画像検索装置２から受信した表示位置情報が示す変換行列Ａに基づいて、特定画像データを変換する。端末制御部１１は、撮影画像データ内に、変換後の特定画像データの画像を重畳して表示部１５に表示させる。
【００５９】
＜撮影画像に基づく再登録処理の処理フローの例（１）＞
次に、図１５を参照して、本実施形態に係る表示画像検索装置２による再登録処理の処理フローの一例について説明する。図１５は、本実施形態に係る表示画像検索装置２による再登録処理の処理フローの一例を示すフローチャートである。
（ステップＳＴ２０１）
例えば、表示画像検索装置２は、表示装置１から、撮影部１２によって撮影された撮影画像データＤ（ｎ）を入力される。なお、ここでは、サービス期間中に実際に特定画像が撮影される環境を想定して、この撮影画像データＤ（ｎ）の撮影を行うことが好ましい。例えば、図２のような画像が撮影されることが想定されるならば、実際に、図２のような画像を撮影する。あるいは特定画像であるポスターを掲げるのがサービス期間の直前であり、準備期間に図２のような実際の画像を用意することが困難である場合には、紙に印刷した上で想定の角度付近から撮影するなどして近似的に図２のような画像を作成してもよい。
【００６０】
また、表示画像検索装置２は、他のカメラ（図示せず）で撮影された撮影画像データをインターフェースとして機能する通信部２１を介して取り込ませる。ここで、撮影画像データの取り込みは、カメラと表示画像検索装置２の通信部２１とをケーブルで接続し、カメラの撮影画像データを第３記憶部２９の特定画像データ記憶領域２９０に転送してもよい。また、カメラの撮影画像データが記憶されているメモリカード等の記憶媒体を表示画像検索装置２に装着して、カメラの撮影画像データを第３記憶部２９の特定画像データ記憶領域２９０に転送してもよい。さらに、カメラとしてネットワーク接続機能を有する端末を用い、カメラの撮影画像データを、ネットワークを介して表示画像検索装置２の通信部２１に転送するようにしてもよい。
【００６１】
（ステップＳＴ２０２）
撮影部１２あるいは他のカメラで実際に撮影された撮影画像データが第３記憶部２９の特定画像データ記憶領域２９０に取り込まれたら、例えば、オペレータが、表示画像検索装置２に搭載される所定の操作入力部（図示せず）を操作して、これらの画像の中から、再登録画像として登録するための撮影画像を指定する。指定された撮影画像のデータは、第３記憶部２９の特定画像データ記憶領域２９０から画像特徴量算出部２３に出力される。なお、本発明はこれに限られず、オペレータの指示によらず、順次、第３記憶部２９の特定画像データ記憶領域２９０から画像特徴量算出部２３に出力されるものであってもよい。
ここでは、撮影部１２によって撮影された撮影画像データＤ（ｎ）が入力された例について説明する。
【００６２】
（ステップＳＴ２０３）
画像特徴量算出部２３は、撮影画像データＤ（ｎ）の特徴量を算出する。
（ステップＳＴ２０４）
次いで、画像特徴量比較部２６は、ステップＳＴ２０３で算出された特徴量に基づき、特定画像特徴量テーブル２５０を参照して、撮影画像データＤ（ｎ）内に特定画像が含まれているか否かを判定する。つまり、画像特徴量比較部２６は、撮影画像データの中から、特定画像特徴量テーブル２５０に登録されている特定画像を検索する。
【００６３】
（ステップＳＴ２０５）
画像特徴量算出部２３によって算出された特徴量と一致あるいは類似する特定画像が特定画像特徴量テーブル２５０に登録されている場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていると判定する。
撮影画像データＤ（ｎ）の中に特定画像が含まれていると判定された場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中に含まれる特定画像の特定画像ＩＤを取得する。なお、複数の類似する特定画像を取得した場合、画像特徴量比較部２６は、類似度を算出する等により、一致するあるいは最も類似する特定画像の特定画像ＩＤを取得する。
例えば、ステップＳＴ２０２において、図２に示すような撮影画像が指定されたとする。この画像中には、ビルの大型ディスプレイの部分に、図５（ａ）に示すような特定画像が含まれている。図５（ａ）に示したように、この特定画像の特定画像ＩＤは、（ＩＤ＝ＩＤ：２）である。よって、この場合、ステップＳＴ２０５では、特定画像ＩＤ（ＩＤ＝ＩＤ：２）が取得されることになる。
【００６４】
（ステップＳＴ２０６）
また、変換情報算出部２７は、検索により取得した特定画像の特徴点の座標値（ｘ，ｙ）と、類似画像の特徴点の座標値（Ｘ，Ｙ）とに基づき、式（１）の変換行列Ａを算出する。
（ステップＳＴ２０７）
そして、登録部２８は、変換情報算出部２７から入力された変換行列Ａに基づき、オリジナルの特定画像を、撮影画像の位置に変換した特徴量抽出画像（図１０参照）を生成する。
【００６５】
（ステップＳＴ２０８）
次いで、登録部２８は、特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
（ステップＳＴ２０９）
そして、登録部２８は、新たな特定画像ＩＤを割り当てて、ステップＳＴ２０８において算出した特徴量抽出画像の特徴量を示す情報とを、それぞれ対応付けて、特定画像特徴量テーブル２５０に書き込む。
また、登録部２８は、特徴量抽出画像の特徴量とともに、変換行列Ａを特定画像特徴量テーブル２５０に書き込んでもよい。このとき、特定画像特徴量テーブル２５０は、例えば、再登録画像１の画像データと、元の特定画像からの変換行列をＡと、を対応付けて記憶する。類似特定画像として再登録画像１が検出され、変換情報算出部２７が変換行列Ｂを算出した場合、登録部２８は、元の特定画像の画像データの座標値に対して、行列（Ｂ・Ａ）を左から演算する（式（８）参照）ことで、特徴量抽出画像を取得してもよい。つまり、登録部２８は、記憶された変換行列をＡを用いることで、再登録画像１からではなく、元の特定画像から特徴量抽出画像を取得できる。これにより、画像検索表示システムでは、例えば、再登録画像１が鮮明な画像でない場合でも、元の特定画像から特徴量抽出画像を取得できる。つまり、画像検索表示システムでは、再登録の後、さらに再登録を行う場合でも、鮮明な画像に基づいて特徴量を比較でき、また、鮮明な特定画像を撮影画像に重畳できる。
【００６６】
（ステップＳＴ２１０）
なお、画像特徴量算出部２３によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル２５０に登録されていない場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部２６は、この判定結果を画像特徴量算出部２３に出力する。この画像特徴量算出部２３は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部２３は、特徴量を算出していない次の撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されているか否かを判定する。この撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されている場合、画像特徴量算出部２３は、登録を終了しないと判定し、ステップＳＴ２１１に移行する。
（ステップＳＴ２１１）
そして、画像特徴量算出部２３は、次の撮影画像データＤ（ｎ＋１）を特定画像データ記憶領域２９０から読み出し、ステップＳＴ２０３に移行して、撮影画像データＤ（ｎ＋１）の特徴量を算出する。
【００６７】
このように、本実施形態では、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル２５０に登録している。これにより、画像を撮影する角度が異なっているような場合でも、認識率が低下することを防止できる。
【００６８】
また、上述の実施形態では、既に登録されているオリジナルの特定画像を位置変換して、特定画像特徴量テーブル２５０に登録している。これは、既に登録されているオリジナルな特定画像は、理想的な撮影状態であるのに対して、実際に撮影される画像は、ピントが合っていなかったり、手振りが発生したりしているからである。これにより、図１１に示すような、撮影画像がボヤケているような場合でも、登録される特定画像は、ピントの合った理想的なものとなる。
【００６９】
以上のように、本実施形態の画像検索表示システムでは、特定画像ＩＤに対応する特定画像特徴量と、画像特徴量算出部２３によって算出された撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特定画像を検出している。画像検索表示システムでは、実際に撮影した画像を基に生成された特定画像特徴量を特定画像特徴量テーブル２５０に再登録することで、画像特徴量比較部２６での認識率を向上させるようにしている。
【００７０】
つまり、表示装置１によりユーザが撮影する画像は、図２に示すように、斜め上方向に見上げて撮影した歪んだ画像であったり、図１３に示すように、全体的に暗い画面になっていたりする場合がある。また、夕日を浴びて赤くなっていたり、周囲の照明が映り込んで、色が変わっている場合がある。さらに、ユーザが撮影画像を印刷してカメラで再度撮影する際に、色を変換する場合が考えられる。このように、画像を撮影する角度が異なっていたり、明るさや色が異なっていたりすると、撮影画像から抽出された撮影画像特徴量と、特定画像特徴量テーブル２５０に保存されている特定画像特徴量とが異なり、認識率が低下する。
【００７１】
そこで、画像検索表示システムでは、実際に撮影されるであろう角度や照明条件を考慮し、想定される角度や照明条件で予め実際に画像を撮影しておき、この実際に撮影した画像を基に特定画像特徴量を求め、特定画像特徴量テーブル２５０に再登録する。これにより、画像検索表示システムでは、撮影された画像に対応する画像を検索する際に、撮影画像と特定画像とのマッチングの精度を向上させ、認識率の向上を図ることができる
【００７２】
＜第２実施形態＞
以下、本発明の第２実施形態による画像検索表示システムの一例について説明する。本実施形態に係る画像検索表示システムは、色補正を実行する。
本実施形態に係る画像検索表示システムでは、位置の変換と共に、色も再登録画像と同様になるように変換することで、実際の環境と同じ色で、解像度の高い特徴量抽出画像を生成することができるようにしている。
【００７３】
次に、図１６を参照して、本実施形態に係る表示画像検索装置２’の一例について説明する。図１６は、本実施形態に係る表示画像検索装置２’の一例を示すブロック図である。
図１６に示す通り、本実施形態係る表示画像検索装置２’は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、変換情報算出部２７’と、登録部２８と、第３記憶部２９と、第４記憶部３１と、特定画像付加情報取得部３２と、を備える。
図１６に示すように、本実施形態に係る表示画像検索装置２’は、第１実施形態に係る表示画像検索装置２に含まれる変換情報算出部２７に代えて、変換情報算出部２７’を備える。他の構成については、図３に示した第１実施形態と同様であり、同一の符号を付して、それらの詳細な説明を省略する。
【００７４】
変換情報算出部２７’は、第１実施形態に係る変換情報算出部２７が持つ機能に加えて、以下の機能を持つ。  
この変換情報算出部２７’は、特定画像と、その類似画像と、の色の対応関係を示す変換行列Ａを算出する。ここで、変換情報算出部２７’は、変換行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。ここで、行列Ａｓは、位置の対応関係を示す変換行列（第１の実施形態）であり、行列Ａｃは、色の対応関係を示す変換行列である。なお、（Ａｃ・Ａｓ）は、行列Ａｓで変換された座標各々の色情報に対して、Ａｃを演算することを表す。、
【００７５】
具体的に説明すると、変換情報算出部２７’は、オリジナルの特定画像とその類似画像とから、色補正のためのサンプル点を抽出する。本実施形態において、変換情報算出部２７’は、図１７（ａ）に示すように、特定画像上において定義されるサンプル点ｐ１，ｐ２、ｐ３・・・に基づき、撮影画像データＤ（ｎ）の中から、図１７（ｂ）に示すように、サンプル点ｐ１，ｐ２、ｐ３・・・に対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・を求める。なお、サンプル点Ｐ１の（Ｘ，Ｙ）座標値は、（ｘ，ｙ）座標値に左から行列Ａｓを演算することで得られる。
【００７６】
また、変換情報算出部２７’は、特定画像におけるサンプル点ｐ１，ｐ２、ｐ３・・・の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・の色変換を実施する。具体的説明すると、変換情報算出部２７’は、これら色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・を、それぞれ対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）、（Ｒ３，Ｇ３，Ｂ３）・・・に変換するような行列Ａｃを算出する。
以下、変換情報算出部２７’による行列Ａｃの算出方法の一例について説明する。
例えば、特定画像におけるサンプル点ｐ１，ｐ２の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）を、以下のように示すものとする。
【００７７】
【数２】
2013210974.tif 000004
【００７８】
また、例えば、撮影画像データＤ（ｎ）に含まれる特定画像におけるサンプル点Ｐ１，Ｐ２の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）を、以下のように示すものとする。
【００７９】
【数３】
2013210974.tif 000005
【００８０】
変換情報算出部２７’は、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とをそれぞれ近づけるようにする色補正変換係数Ｆを算出する。
なお、以下の式（４）によって、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とが関連づけられる。
【００８１】
【数４】
2013210974.tif 000006
【００８２】
変換情報算出部２７’は、以下に示す式（５）を最小化する行列Ｅを算出することにより、以下に示す式（６）の行列Ｃと、式（７）の行列Ｄとに対して、以下に示す式（８）の擬似逆行列を用いて、式（９）の行列Ａｃの最適解を算出する。変換情報算出部２７’は、行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。
【００８３】
【数５】
2013210974.tif 000007
【００８４】
【数６】
2013210974.tif 000008
【００８５】
【数７】
2013210974.tif 000009
【００８６】
【数８】
2013210974.tif 000010
【００８７】
【数９】
2013210974.tif 000011
【００８８】
図１８は、本実施形態に係る表示画像検索装置２’の処理を示すフローチャートである。
図１８において、ステップＳＴ２０１からステップＳＴ２０７までの処理は、図１５におけるステップＳＴ２０１からステップＳＴ２０７までの処理と同様で有り、その説明を省略する。
【００８９】
（ステップＳＴ４０７）
変換情報算出部２７’は、色補正のためのサンプル点を抽出する。変換情報算出部２７’は、行列Ａｓを算出する（第１実施形態の変換行列Ａ）。変換情報算出部２７’は、算出した行列Ａｓに基づいて、検出された特定画像において予め決められているサンプル点ｐ１，ｐ２、ｐ３・・・に対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・を抽出する。
（ステップＳＴ４０８）
そして、変換情報算出部２７’は、サンプル点ｐ１，ｐ２、ｐ３・・・の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・を、それぞれ対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）、（Ｒ３，Ｇ３，Ｂ３）・・・に変換するような行列Ａｃを算出する。変換情報算出部２７’は、行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。
【００９０】
（ステップＳＴ４０９）
次いで、登録部２８は、変換情報算出部２７’から入力された変換行列Ａに基づき、撮影画像データＤ（ｎ）に含まれる特定画像をオリジナルの特定画像に置き換えるとともに、置き換えたオリジナルの特定画像の色を撮影画像データＤ（ｎ）に含まれる特定画像の色に類似する色に補正された特徴量抽出画像を生成する。
【００９１】
（ステップＳＴ４１０）
次いで、登録部２８は、ステップＳＴ４０９で生成された特徴量抽出画像に基づき、この特徴量抽出画像の特徴量を算出する。
（ステップＳＴ４１１）
そして、登録部２８は、新たな特定画像ＩＤを割り当てて、ステップＳＴ４１０において算出した特徴量抽出画像の特徴量を示す情報と、それぞれ対応付けて、特定画像特徴量テーブル２５０に書き込む。
ここで、登録部２８は、第１の実施形態と同様に、特徴量抽出画像の特徴量とともに、変換行列Ａを特定画像特徴量テーブル２５０に書き込んでもよい。
【００９２】
（ステップＳＴ４１２）
なお、画像特徴量算出部２３によって算出された特徴量と類似する特定画像が特定画像特徴量テーブル２５０に登録されていない場合、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の中にこの特定画像が含まれていないと判定する。そして、画像特徴量比較部２６は、この判定結果を画像特徴量算出部２３に出力する。この画像特徴量算出部２３は、登録処理を終了するか否かを判定する。例えば、画像特徴量算出部２３は、特徴量を算出していない次の撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されているか否かを判定する。この撮影画像データＤ（ｎ＋１）が特定画像データ記憶領域２９０に格納されている場合、画像特徴量算出部２３は、登録を終了しないと判定し、ステップＳＴ４１１に移行する。
（ステップＳＴ４１３）
そして、画像特徴量算出部２３は、次の撮影画像データＤ（ｎ＋１）を特定画像データ記憶領域２９０から読み出し、ステップＳＴ２０３に移行して、撮影画像データＤ（ｎ＋１）の特徴量を算出する。
【００９３】
なお、実際に撮影された画像を基に、特定画像特徴量テーブル２５０に特定画像特徴量を再登録する際に、関連情報を登録しておくようにしてもよい。例えば、所定時間毎に、実際に撮影された画像を基に、特定画像特徴量テーブル２５０に特定画像特徴量を再登録しておき、撮影された時間を関連情報として登録しておく。このようにすると、表示装置１から送られてきた撮影画像特徴量と特定画像特徴量テーブル２５０の特定画像特徴量とを比較する際に、時間情報を基にして、特定画像の候補を選択することができ、精度の向上を図ることができると共に、処理時間の短縮を図れる。
【００９４】
また、上述の例では、実際に撮影された画像を基に、特定画像の位置変換と色補正とを行っているが、さらに、円柱状の物体に特定画像が設けられた場合を考慮して、曲率変換をするようにしてもよい。
【００９５】
上述のように、本実施形態では、特定画像特徴量テーブル２５０には、各種の環境下で実際に撮影された画像に基づいて、各種の特定画像が登録される。本実施形態では、表示装置１で撮影された画像の特徴量がどの特定画像に類似しているかを判定することで、撮影画像中の特定画像の位置を求めることができる。
【００９６】
例えば、特定画像特徴量テーブル２５０に、図１９に示すように、Ａの文字の画像に対する特定画像として、インデックス（特定画像ＩＤ）“００１”、“００２”、“００３”のような画像に対応する特定画像特徴量が登録され、Ｂの文字の画像に対する特定画像として、インデックス“００４”、“００５”のような画像に対応する特定画像特徴量が登録されているとする。インデックス“００２”および“００３”のような画像は、インデックス“００１”の画像に対して、見る方向を変えて撮影したものである。インデックス“００５”の画像は、インデックス“００４”の画像に対して、見る方向を変えて撮影したものである。このように、本実施形態においては、特定画像特徴量テーブル２５０には、方向や、色、明るさ等、様々な環境下で撮影された画像に基づく特定画像特徴量が登録されている。
【００９７】
ここで、表示装置１で図２０に示すような画像が撮影され、このような撮影画像が表示画像検索装置２’に送られてきたとする。この場合、表示画像検索装置２’の画像特徴量比較部２６で、特定画像特徴量テーブル２５０の特定画像特徴量と、撮影画像特徴量とを比較する。一致と見なされた特徴点の数が閾値以上（例えば１０以上）で画像の内部に特定画像を検出したと認定する場合、Ａの文字の画像から２つの画像が検出されることになる。インデックス“００１”よりはインデックス“００２”の方が一致する特徴点が大きいので、この場合は、インデックス“００２”が検出されたと見なすことにする。
Ｂの文字の画像の場合は、一致した特徴点数が同じものが検出された、この場合はどちらか一方が検出されたと見なす。ここでは、インデックス“００４”が検出されたものとする。
【００９８】
本実施形態では、このように、見る角度が異なる多数の特定画像が特定画像特徴量テーブル２５０に登録されているため、撮影画像特徴量がどの特定画像特徴量と最も類似しているかを判定することで、撮影画像のどの部分に特定画像があるかを判定できる。
【００９９】
つまり、撮影画像での特定画像の位置は、ステップＳＴ１０７で示したような変換を行えば求めることができる。さらに、特定画像が再登録された生成された画像の場合には、特定画像を生成したときの変換と組み合わせて、以下のようにして、撮影画像での特定画像の位置を求めることができる。
【０１００】
【数１０】
2013210974.tif 000012
【０１０１】
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図２２は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図２２（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図２２（ａ）に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置１の端末制御部１１は、ＡＲモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部１３により検出された撮影位置情報と、撮影時に計時部１４により計時された撮影日時情報を、表示画像検索装置２に送信する。
【０１０２】
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図２１は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図２１（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図２１（ａ）に示すようなポスターを含む風景を被写体として撮影する。表示装置１は、撮影した撮影画像データＤ（ｎ）を表示画像検索装置２へ送信した結果、特定画像付加情報と表示位置情報と特定画像データを受信する。
表示装置１は、受信した情報に基づいて、図２１（ｂ）に示すように、特定画像領域Ｒ１３に特定画像データの画像（コンテンツ）を重畳して表示する。このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビＣＭの動画等である。
【０１０３】
コンテンツ関連情報を閲覧することを指示する操作（例えば、タップ）がユーザから操作部１８に入力すると、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部１５に表示する。例えば、コンテンツＵＲＬやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置１の端末制御部１１は、通信部１６を介して、コンテンツＵＲＬにアクセスしてコンテンツ関連情報をダウンロードし、図２１（ｃ）に示すように、コンテンツ関連情報を表示部１５に表示する。このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
【０１０４】
このように、表示装置１は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ＡＲを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ＡＲを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るＡＲモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ＡＲモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このＡＲモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が特定画像領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮影画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部１５に表示することができる。
【０１０５】
また、表示画像検索装置２は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
【０１０６】
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
【０１０７】
また、特定画像付加情報テーブル３１０において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定ＩＤに対応付けておき、特定画像付加情報取得部３２が、入力された撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
【０１０８】
次に、図２２を参照して、コンテンツを提供するサービスの一例について説明する。図２２は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図２２（ａ）に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのＵＲＬを、コンテンツやコンテンツ関連情報として提供することができる。
また、図２２（ｂ）に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル３１０において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル２２０に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
【０１０９】
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
【０１１０】
また、上述のフローチャートに示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１、３に示す表示装置１および表示画像検索装置２（あるいは、図１６に示す表示画像検索装置２’）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１１２】
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・変換情報算出部、２８・・・登録部、２９・・・第３記憶部、３１・・・第４記憶部、３２・・・特定画像付加情報取得部
【図１】
2013210974.tif 000013
【図２】
2013210974.tif 000014
【図３】
2013210974.tif 000015
【図４】
2013210974.tif 000016
【図５】
2013210974.tif 000017
【図６】
2013210974.tif 000018
【図７】
2013210974.tif 000019
【図８】
2013210974.tif 000020
【図９】
2013210974.tif 000021
【図１０】
2013210974.tif 000022
【図１１】
2013210974.tif 000023
【図１２】
2013210974.tif 000024
【図１３】
2013210974.tif 000025
【図１４】
2013210974.tif 000026
【図１５】
2013210974.tif 000027
【図１６】
2013210974.tif 000028
【図１７】
2013210974.tif 000029
【図１８】
2013210974.tif 000030
【図１９】
2013210974.tif 000031
【図２０】
2013210974.tif 000032
【図２１】
2013210974.tif 000033
【図２２】
2013210974.tif 000034