(57)【要約】【課題】大容量のファイルをダウンロードすることなく、撮影した位置に関連付けられた情報として動きのある画像を表示することができる【解決手段】撮影画像の画像データに基づき、撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部２３と、特定画像の特徴を示す特定画像特徴量情報と撮影画像特徴量に基づいて、撮影画像において特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得する画像特徴量比較部２６と、特定領域に含まれる動作画像の動きを制御する動作情報と特定領域情報とを表示部１５へ出力する特定画像動作設定部３１と、を備える。【選択図】  図４
2013214158.tif 000002
【特許請求の範囲】
【請求項１】
撮影部が撮影した撮影画像の画像データを入力する入力部と、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得する画像特徴量比較部と、
前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する特定画像動作設定部と、
を備えることを特徴とする表示画像検索装置。
【請求項２】
前記特定領域内において前記動作画像に対応する動作画像領域を示す動作画像領域情報および前記動作情報を記憶する記憶部をさらに備え、
前記特定画像動作設定部は、
前記動作画像が移動して表示される場合に、当該動作画像領域の少なくとも一部に背景画像を合成するための合成情報とを前記表示部に出力することを特徴とする請求項１に記載の表示画像検索装置。
【請求項３】
前記特定画像動作設定部は、
前記背景画像の色を示す背景画像色情報と前記撮影画像の色を示す撮影画像色情報に基づいて、前記撮影画像に対応する色に前記背景画像の色を補正するための補正情報を、前記表示部へ出力することを特徴とする請求項２に記載の表示画像検索装置。
【請求項４】
前記特定画像動作設定部は、
前記動作画像の動きを指示する動作指示情報に基づき、前記動作画像の動きを制御する制御情報を前記表示部に出力することを特徴とする請求項１から３のうちいずれか一項に記載の表示画像検索装置。
【請求項５】
上記請求項１から４のいずれか一項に記載の表示画像検索装置と、
前記表示画像検索装置とネットワークを介して接続され、前記撮影部と、前記表示部とを備える表示装置と、を備え、
前記表示装置は、
前記表示画像検索装置から出力される情報を受信する通信部と、
前記表示画像検索装置から受信した前記特定領域情報に基づき前記撮影画像から前記特定領域に含まれる前記動作画像を取得し、前記動作情報に基づき前記動作画像の動きを制御する制御部をさらに備えることを特徴とする表示制御システム。
【請求項６】
撮影部が撮影した撮影画像に動作する画像を表示させる表示制御方法であって、
前記撮影画像の画像データを入力し、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出し、
検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得し、
前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する
ことを特徴とする表示制御方法。
【請求項７】
コンピュータを、
撮影部が撮影した撮影画像の画像データを入力する入力手段、
前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、
検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得する画像特徴量比較手段、
前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する特定画像動作設定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した撮影画像に応じたコンテンツを検索し、検索により得たコンテンツを表示部に表示させる表示画像検索装置、表示制御システム、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
【０００３】
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連付けられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４９４０７号公報
【特許文献２】特開２００７−４１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、ＡＲ技術を利用することで、撮影した位置に関連付けられた情報を撮影した画像とともに、撮影した位置に関連付けられた情報を表示させることができる。撮影した位置に関連付けられた情報として動画情報が表示できると、ユーザが撮影した画像に重畳される動画を見ながら、数々の仮想体験を味わうことができ、ユーザの楽しみも向上する。
【０００６】
しかしながら、撮影した位置に関連付けられた情報として動画を表示させるためには、動画ファイルをダウンロードする必要がある。動画ファイルはデータ容量が大きく、モバイルデバイスで動画ファイルをダウンロードすると、ネットワークのトラフィックに対する負担が大きい。また、動画をダウンロードするには多くの時間を必要とし、モバイルデバイス上で動画が動き出すまでに、時間がかかってしまう。
【０００７】
また、撮影した位置に関連付けられた情報を撮影した画像とともに、撮影した位置に関連付けられた情報を表示させる場合に、動画ファイルをダウンロードして撮影した画像に重畳表示するようにすると、照明環境などの影響により、撮影された画像とダウンロードした画像とで色が異なってしまうことが多い。
【０００８】
上述の課題を鑑み、本発明は、大容量のファイルをダウンロードすることなく、撮影した位置に関連付けられた情報として動きのある画像を表示することができる表示画像検索装置、表示制御システム、表示制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明に係る表示画像検索装置は、撮影部が撮影した撮影画像の画像データを入力する入力部と、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得する画像特徴量比較部と、前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する特定画像動作設定部と、を備える。
【００１０】
上述の表示画像検索装置において、前記特定領域内において前記動作画像に対応する動作画像領域を示す動作画像領域情報および前記動作情報を記憶する記憶部をさらに備え、前記特定画像動作設定部は、前記動作画像が移動して表示される場合に、当該動作画像領域の少なくとも一部に背景画像を合成するための合成情報とを前記表示部に出力する。
【００１１】
上述の表示画像検索装置において、前記特定画像動作設定部は、前記背景画像の色を示す背景画像色情報と前記撮影画像の色を示す撮影画像色情報に基づいて、前記撮影画像に対応する色に前記背景画像の色を補正するための補正情報を、前記表示部へ出力する。
【００１２】
上述の表示画像検索装置において、前記特定画像動作設定部は、前記動作画像の動きを指示する動作指示情報に基づき、前記動作画像の動きを制御する制御情報を前記表示部に出力する。
【００１３】
本発明に係る表示制御システムは、上記のうち一の表示画像検索装置と、前記表示画像検索装置とネットワークを介して接続され、前記撮影部と、前記表示部とを備える表示装置と、を備え、前記表示装置は、前記表示画像検索装置から出力される情報を受信する通信部と、前記表示画像検索装置から受信した前記特定領域情報に基づき前記撮影画像から前記特定領域に含まれる前記動作画像を取得し、前記動作情報に基づき前記動作画像の動きを制御する制御部をさらに備える。
【００１４】
本発明に係る表示制御方法は、撮影部が撮影した撮影画像に動作する画像を表示させる表示制御方法であって、前記撮影画像の画像データを入力し、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出し、検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得し、前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する。
【００１５】
本発明に係るプログラムは、コンピュータを、撮影部が撮影した撮影画像の画像データを入力する入力手段、前記画像データに基づき、当該撮影画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出手段、検索対象である特定画像の特徴を示す特定画像特徴量情報と前記撮影画像特徴量に基づいて、前記撮影画像において前記特定画像と特徴の一致または類似する特定領域を示す特定領域情報を取得する画像特徴量比較手段、前記特定領域に含まれる動作画像の動きを制御する動作情報と前記特定領域情報とを表示部へ出力する特定画像動作設定手段、として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、撮影画像の中から登録画像を認識した後に、動画をダウンロードすることなく、撮影画像の一部が動き出したかのような視覚効果を与えることができる。また登録画像の認識後、動画を重畳させるのではなく、動作部分を切り出して動作させることによって、撮影する際の照明環境などの影響で、登録画像と撮影画像の中に写る登録画像領域の色が異なってしまっても撮影画像の一部が動き出したかのような視覚効果を与えることができる。
【００１７】
また、本発明によれば、撮影画像の一部を切り出して動作させているため、動作範囲は表示部が表示可能な範囲全体に及び、より広い範囲で動作を制御することができる。また、動作画像が描かれていた領域に合成される画像を記憶することによって動作画像が描かれていた領域が欠落してしまうことを防ぎ、また動作画像が描かれていた領域に合成される画像に、他の領域と同じ色変換を施すことによってより、自然に撮影画像の一部が動き出したかのような視覚効果を与えることができる。
【図面の簡単な説明】
【００１８】
【図１】撮影画像の一例を示す図である。
【図２】表示の一例を示す図である。
【図３】表示の他の例を示す図である。
【図４】画像検索表示システムの機能ブロック図である。
【図５】特定画像位置テーブルの一例を示す図である。
【図６】特定画像データの一例を示す図である。
【図７】撮影画像特徴量の一例を示す図である。
【図８】特定画像特徴量テーブルの一例を示す図である。
【図９】位置変換を説明するための参考図である。
【図１０】特定画像付加情報テーブルの一例を示す図である。
【図１１】特定画像動作情報の一例を示す図である。
【図１２】動作画像テーブルの一例を示す図である。
【図１３】登録装置の構成の一例を示す図である。
【図１４】登録装置の動作の一例を示すフローチャートである。
【図１５】特定画像に基づき動作画像を作成する場合の一例を説明するための参考図である。
【図１６】登録装置の動作の他の例を示すフローチャートである。
【図１７】動作画像と背景画像から特定画像を作成する場合の一例を説明するための参考図である。
【図１８】表示制御方法の一例を示すシーケンス図である。
【図１９】センサを備えた表示装置の説明図である。
【図２０】動作の記述の他の例を示す図である。
【図２１】表示制御方法の他の例を示すシーケンス図である。
【図２２】色補正を説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施形態による画像検索表示システムについて、図面を参照して詳細に説明する。
図１は、撮影画像の一例を示す図である。図１は、表示装置１が撮像した画像である。この画像には、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
ビルＢ１の大型ディスプレイには、ネコの画像Ｏ１が表示されている。なお、ビルＢ１の大型ディスプレイは、撮影画像上、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースについても撮影画像上、上辺と下辺が湾曲している。
【００２０】
図２は、表示の一例を示す図である。図２の表示は、表示装置１が図１の撮影画像に基づき表示をしたものである。
この図において、ネコの画像Ｏ２は、図１のネコの画像Ｏ１（動作画像）が動き出し、移動したものである。なお、移動には、動作画像が前に飛び出すような移動、または、後ろに引っ込むような移動（例えば、ビルＢ１の大型ディスプレイの表示面の法線方向へ移動）も含まれる。このように、画像検索表示システムでは、特定画像（図６（ａ）のネコの画像）を予め記憶し、表示装置１は、その特定画像に特徴が一致又は類似する動作画像（ネコの画像Ｏ１）の動きを制御する。
また、この図において、領域Ｒ１は、図１のネコの画像Ｏ１が表示されていた領域（動作画像領域）を表す。この領域Ｒ１には、画像（図２では、画像ｂｋ１の一部）が合成されている。このように、画像検索表示システムでは、特定画像の背景画像（図１５（ｃ）参照）を予め記憶し、表示装置１は、動作画像領域に背景画像を合成する。
【００２１】
図３は、表示の他の例を示す図である。図３の表示は、表示装置１が図１の撮影画像に基づき表示をしたものである。
この図において、ネコの画像Ｏ３は、図２のネコの画像Ｏ２がさらに移動するとともに、拡大・縮小、および回転をしたものである。また、回転には、画面の法線を回転軸とするものや、画面内の軸を回転軸とするものが含まれている。このように、動作画像の動きには、例えば、移動、拡大・縮小、および回転が含まれる。
この図において、領域Ｒ２は、図２のネコの画像Ｏ２が表示されていた領域を表す。例えば、ネコの画像Ｏ３は、領域Ｒ２からネコの画像Ｏ３の位置へ移動し、そこから回転や拡大といった動きをしたものである。
【００２２】
図４は、画像検索表示システムの機能ブロック図である。
図４に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
【００２３】
＜表示装置１について＞
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
【００２４】
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力されたユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
【００２５】
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
【００２６】
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
【００２７】
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
【００２８】
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。ここで、端末制御部１１は、画像の一部（図１では、ネコの画像Ｏ１）を切り出し、切り出した画像（動作画像）の動きを制御する（図２、３参照）。また、端末制御部１１は、切り出した画像の背景に画像を合成する（図２、３参照）。
具体的には、端末制御部１１は、表示画像検索装置２から動作画像領域情報、動作画像、動作情報、および合成情報を取得する。端末制御部１１は、取得した動作画像領域情報が示す動作画像領域に、合成情報が示す背景画像を合成する。端末制御部１１は、動作情報に基づいて、動作画像の動きを制御する。なお、端末制御部１１は、ユーザ操作に基づいて、動作画像の動きを制御してもよい。また、端末制御部１１は、撮影画像の動作画像領域から画像を切り出すことで、動作画像を生成してもよい。
【００２９】
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力された情報に基づく画像を表示する。
【００３０】
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力された情報をネットワークＮＷを介して表示画像検索装置２に送信する。
【００３１】
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
【００３２】
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
【００３３】
＜表示画像検索装置２について＞
表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、画像識別部２７と、第３記憶部２８と、第４記憶部２９と、特定画像付加情報取得部３０と、特定画像動作設定部３１と、第５記憶部３２とを備える。
【００３４】
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３および特定画像動作設定部３１に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３０に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３０に、それぞれ出力する。また、通信部２１は、特定画像動作設定部３１から入力された動作データを、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
【００３５】
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図５に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
【００３６】
例えば、第１記憶部２２は、図６に示すような、特定画像ＩＤ１、２、３の特定画像データ１００、２００、３００を格納している。
図６（ａ）に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、ネコの画像である。
また、図６（ｂ）に示す通り、特定画像データ２００は、特定画像ＩＤ２が割り当てられており、イヌの画像である。
さらに、図６（ｃ）に示す通り、特定画像データ３００は、特定画像ＩＤ３が割り当てられており、ロケットの画像である。
図６（ａ）〜（ｃ）の特定画像データは、それぞれ、特徴点やその特徴点の特徴量が異なる。
【００３７】
図５に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
【００３８】
図４に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、画像特徴量が一定の閾値以上の数値を有する点（例えば、画素）を特徴点という。また、特徴点の撮像画像内における位置は、（Ｘ，Ｙ）座標値で示される（図９（ｂ）参照）。画像特徴量算出部２３は、各特徴点について、撮影画像特徴量および（Ｘ，Ｙ）座標値を対応付けた特徴点情報を生成する。画像特徴量算出部２３は、撮像画像内のすべての特徴点についての特徴点情報を含む、撮影画像特徴量情報を生成する。
【００３９】
この撮影画像特徴量の一例を図７に示す。図７に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴点の集合である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴点の集合であり、その特徴点の分布は類似している。また、撮影画像特徴量群Ｃ２の特徴点は、特に、図６（ａ）の特定画像データの特徴点と類似している。
【００４０】
図４に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力される。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力された撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
【００４１】
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画像特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応付けられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
【００４２】
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図８に示す通り、特定画像ＩＤと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特定画像における特徴点の特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの画像内において特定の特徴量を示す特徴点の位置を示す情報である。特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す特徴点の特徴量を示す情報である。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。この特徴量は、例えば、様々な観点によって抽出されてもよく、複数の種類の特徴量を抽出する場合には、特徴量は、ベクトルとなる。図示においては、簡略化のため、特徴点についての１つの種類の特徴量を示す。
【００４３】
図４に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって生成された撮影画像特徴量情報の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像（類似特定画像とも称する）を検出する。
【００４４】
具体的に説明すると、この画像特徴量比較部２６は、例えば、特定画像ＩＤ毎に特徴量を読み出し、読み出した特徴量と撮影画像特徴量情報の撮影画像特徴量とが一致するか否かを判定する。ここで、一致とは、特徴量の値が閾値Ｔ１以内の場合をいう。なお、１つの特徴点に対して複数種類（例えば、色の成分、明るさの２種類）の特徴量がある場合には、画像特徴量比較部２６は、同じ種類同士の特徴量を比較する。画像特徴量比較部２６は、比較した特徴量の値が閾値Ｔ１以内となる特徴量の種類の数を計数し、計数した数が閾値以上になる場合に、類似すると判定してもよい。
画像特徴量比較部２６は、一致すると判定した特徴点の数を計数する。例えば、画像特徴量比較部２６は、計数した特徴点の数を特定画像ＩＤの特徴点の総数で除算し、除算した値を、特徴量類似度とする。なお、画像特徴量比較部２６は、他の手法を用いて、特徴量類似度を算出してもよい。画像特徴量比較部２６は、特徴量類似度と特定画像ＩＤを対応付けて記憶する。
画像特徴量比較部２６は、上記の処理を、全ての特定画像ＩＤに対して行う。画像特徴量比較部２６は、最大となる特徴量類似度に対応する特定画像ＩＤを抽出し、抽出した特定画像ＩＤの特定画像を、類似特定画像として検出する。
画像特徴量比較部２６は、検出した類似特定画像の特定画像ＩＤと、その特定画像ＩＤに対応する特定画像特徴量情報と、撮影画像特徴量情報とを、画像識別部２７へ出力する。
【００４５】
画像識別部２７は、画像特徴量比較部２６から入力された特定画像特徴量情報および撮影画像特徴量情報に基づいて、特定画像と、その特定画像に類似する撮影画像内の画像（類似画像とも称する）と、の位置の対応関係を示す変換行列Ａを算出する。
例えば、図９（ａ）に示す通り、オリジナルの特定画像の画像内における位置を（ｘ，ｙ）座標値で示す。また、図９（ｂ）に示す通り、撮影画像内における位置を（Ｘ，Ｙ）座標値で示す。
【００４６】
画像識別部２７は、特定画像特徴量情報から特徴点を抽出し、その特徴点と一致する特徴点を、撮影画像特徴量情報から抽出する。ここで、一致とは、特徴量の値が閾値以内の場合をいうが、この閾値は閾値Ｔ１と異なっていてもよいし、同じであってもよい。画像識別部２７は、特定画像特徴量情報から抽出した特徴点について、特徴点縦座標および特徴点横座標をそれぞれ、次式（１）の（ｘ，ｙ）へ代入する。画像識別部２７は、撮影画像特徴量情報から抽出した特徴点について、抽出した特徴点について、（Ｘ，Ｙ）座標値を、次式（１）の（Ｘ，Ｙ）へ代入する。なお、撮影画像特徴量情報から抽出した特徴点が複数ある場合には、それらの（Ｘ，Ｙ）座標値の平均値を、次式（１）の（Ｘ，Ｙ）へ代入してもよい。
【００４７】
【数１】
2013214158.tif 000003
【００４８】
画像識別部２７は、代入の結果、行列Ａｘｙの各成分を未知数とする数式を生成する。画像識別部２７は、上記の処理を予め定めれら回数だけ繰り返し、その回数の数の数式を生成する。画像識別部２７は、生成した数式を、連立させて解くことにより、行列Ａｘｙを算出する。
【００４９】
画像識別部２７は、動作情報（図１１参照）を参照して、動作画像にｚ方向の移動量があるか否かを判定する。ここで、ｚ方向は、特徴点縦座標および特徴点横座標に直交する座標である。動作画像にｚ方向の移動量がないと判定した場合には、画像識別部２７は、行列Ａｘｙを変換行列Ａとする。一方、動作画像にｚ方向の移動量があると判定した場合には、画像識別部２７は、行列Ａｘｙｚを算出し、算出した行列Ａｘｙｚを変換行列Ａとする。
【００５０】
ここで、行列Ａｘｙｚについて説明をする。
動作画像の動作は、図１１に示したように、特定画像の座標値に対応する（ｘ、ｙ、ｚ）の三次元で設定している。これは、例えば、動作画像が、その表示面（印刷面を含む）から飛び出すような三次元的な動作を記述できるようにするためである。しかしながら、上式は、ｚ方向への飛び出しや引っ込みを、撮影画像で表現するための情報が不足する。そこで、画像識別部２７は、（ｘ，ｙ）座標値にｚ座標値を加えた（ｘ，ｙ，ｚ）座標値を、撮影画像内の座標値へ変換する行列Ａｘｙｚ（式（６））を算出する。
この行列Ａｘｙｚは、式（２）とおき、式（３）の条件から求められる。なお、Ｌは正の値である。
【００５１】
【数２】
2013214158.tif 000004
【００５２】
【数３】
2013214158.tif 000005
具体的に、方程式に書き下すと、式（４）となる。ここで、Ａ１１、Ａ１２、Ａ２１、Ａ２２は、式（１）の行列Ａｘｙの成分である。
【００５３】
【数４】
2013214158.tif 000006
【００５４】
画像識別部２７は、Ｌ２の２次方程式である式（４）を解き、Ｌ２の解（単にＬ２と称する）を算出する。画像識別部２７は、算出したＬ２を式（５）を用いて、ｉｚおよびｊｚを算出する。
【００５５】
【数５】
2013214158.tif 000007
【００５６】
画像識別部２７は、算出したｉｚおよびｊｚと行列Ａｘｙの各成分とに基づいて、式（６）を生成する。
【００５７】
【数６】
2013214158.tif 000008
【００５８】
画像識別部２７が算出した変換行列Ａは、オリジナルの特定画像を撮影内の位置に位置変換させるための変換規則である。ただし、変換規則は行列でなくてもよいし、変換規則は特定画像の部分毎にあってもよい。例えば、画像識別部２７は、ｘ座標値毎又はｙ座標値毎の変換行列Ａを算出してもよい。なお、この変換行列Ａに従って、特定画像が撮影画像内に位置変換された場合、撮影画像内における特定画像が位置する領域を、以下、動作画像領域という。つまり、画像識別部２７は、撮影画像内に写る動作画像領域の位置を示す情報を算出する。言い換えると、画像識別部２７は、特定画像の特徴量と撮影画像の特徴量に基づいて、撮影画像において特定画像と特徴の一致又は類似する動作画像領域を決定する。なお、撮影画像内における動作画像領域の画像が、動作画像となる。ただし、本発明はこれに限らず、動作画像領域の画像を別の画像としてもよく、例えば、特定画像を変換行列Ａにより変換した画像であってもよい。
【００５９】
画像識別部２７は、変換行列Ａと類似特定画像の特定画像ＩＤとを、特定画像付加情報取得部３０へ出力する。
第３記憶部２８は、オリジナルの特定画像や特徴量抽出画像の画像データを記憶する領域である特定画像データ記憶領域２８０を備える。
【００６０】
第４記憶部２９は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル２９０を記憶する。
この特定画像付加情報テーブル２９０は、図１０に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。
【００６１】
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（  Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ  ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部２９に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
【００６２】
特定画像付加情報取得部３０は、特定画像付加情報テーブル３１０から、画像識別部２７から入力された特定画像ＩＤに対応する特定画像付加情報を読み出す。また、特定画像付加情報取得部３０は、特定画像付加情報テーブル３１０から、通信部２１から入力された撮影位置情報と撮影日時情報に対応する特定画像付加情報を読み出す。特定画像付加情報取得部３０は、特定画像ＩＤ、特定画像付加情報、および変換行列Ａを、特定画像動作設定部３１へ出力する。
特定画像動作設定部３１は、特定画像付加情報取得部３０および通信部２１から入力された情報に基づいて、次の（１）〜（４）の処理を行う。
【００６３】
（１）動作画像領域の算出
特定画像動作設定部３１は、動作画像テーブル３２０（図１２）から、特定画像付加情報取得部３０から入力された特定画像ＩＤに対応する動作画像領域情報を読み出す。特定画像動作設定部３１は、動作画像領域情報に含まれるマスク画像であって、特定画像のマスク画像（図１５（ｂ））を抽出する。マスク画像とは、例えば、画素値のある位置のビット値が「１」であり、画素値の無い位置のビット値が「０」（透明）の画像である。
特定画像動作設定部３１は、抽出したマスク画像に対して変換行列Ａを左から演算することで、撮影画像のマスク画像を生成する。この撮影画像のマスク画像は、動作画像領域を示す。つまり、特定画像動作設定部３１は、動作画像領域を算出する。
【００６４】
（２）動作画像の生成
特定画像動作設定部３１は、通信部２１から入力された撮影画像データＤ（ｎ）から、算出した動作画像領域の画像を抽出する（例えば、図１のネコの画像Ｏ１）。つまり、特定画像動作設定部３１は、動作画像を生成する。なお、表示装置が動作画像の生成を行う場合には、特定画像動作設定部３１は、動作画像の生成を行わなくてもよい。
【００６５】
（３）背景画像の生成
特定画像動作設定部３１は、動作画像テーブル３２０から、特定画像付加情報取得部３０から入力された特定画像ＩＤに対応する動作画像領域情報（図１１参照）を読み出す。特定画像動作設定部３１は、特定画像の背景画像（図１５（ｃ））を抽出する。特定画像動作設定部３１は、抽出した背景画像に対して変換行列Ａを左から演算することで、動作画像領域に合成される背景画像（例えば、図２の領域Ｒ１の画像）を生成する。
【００６６】
（４）動作情報の生成
特定画像動作設定部３１は、動作画像テーブル３２０から、特定画像付加情報取得部３０から入力された特定画像ＩＤに対応する特定画像動作情報を読み出す。特定画像動作設定部３１は、読み出した特定画像動作情報に含まれる動作画像の（ｘ，ｙ，ｚ）座標値に対して、変換行列Ａを左から演算する。これにより、特定画像動作設定部３１は、動作画像の撮影画像内での動きを示す動作情報を生成する。
【００６７】
特定画像付加情報取得部３０は、算出した動作画像領域を示す情報、生成した動作画像、背景画像を示す合成情報、および動作情報を、動作データとして、通信部２１へ出力する。
【００６８】
図１１は、特定画像動作情報の一例を示す図である。特定画像動作情報は、特定画像の動きを表す情報である。なお、特定画像動作情報に基づいて生成された動作情報は、動作画像の動きを表す情報となる。この図において、Ｔｉｍｅは、経過時間を示す、ｘ，ｙ，ｚは、例えば特定画像の中心のｘ，ｙ，ｚ座標値を示す。
特定画像動作情報は、例えば、図１１に示す通り、基準時からの経過時間に対応する特定画像の位置が規定されている。なお初期位置の特定画像が、基準時から経過時間（例えば、ミリ秒）経過後にある位置が規定されている。例えば、図１１の特定画像動作情報は、経過時間「１０００」ミリ秒のときに座標（１００，０，０）の位置にあった特定画像が、経過時間「２０００」ミリ秒のときに座標（１００，０，１００）の位置にあることを示す。つまり、図１１の特定画像動作情報は、特定画像がｚ方向へ飛び出す（又は引っ込む）ことを表す。なお、画像の動作の記述方法は、これに限定されるものではない。また、特定画像が複数ある場合には、それぞれの特定画像に対して、特定画像動作情報が記述される。
【００６９】
次に、図１２を参照して、動作画像テーブル３２０の一例について説明する。
図１２に示す通り、特定画像ＩＤに対応して、動作画像領域情報および特定画像動作情報が記憶される。ここでは、特定画像ＩＤ１の特定画像については、動作画像領域情報（１＿ａ．ｐｎｇ）と、特定画像動作情報（起動記述１＿ａ）とが、それぞれ対応付けられている。なお、図１２では、簡略化のため、動作画像領域情報として、画像を示す情報が１つ格納されていが、特定画像のマスク画像を示す情報、および背景画像を示す情報の２つが格納されている。
【００７０】
表示装置１は、動作データを、表示画像検索装置２から通信部１６を介して入力し、これらの情報を表示装置１の端末制御部１１に出力する。端末制御部１１は、受信した動作データに基づいて、撮影画像データＤ（ｎ）の動作画像領域に背景画像を合成し、動作情報に基づいて動作画像を動かす。これにより、ユーザには、撮影画像から動作画像が切り出され、切り出された動作画像が動き出すように見える。
なお、動作情報において規定されていない経過時間については、端末制御部１１は、例えば、位置を線形補間する。これにより、ユーザには、動作画像が連続して動くように見える。
【００７１】
次に、図１３を参照して、動作画像テーブル３２０に動作画像領域情報および特定画像動作情報を登録する登録装置５の例について説明する。なお、ここでは、登録装置５を表示画像検索装置２とは別体として説明しているが、登録装置５の機能を表示画像検索装置２としてのサーバ内に実現してもよい。
図１３に示すように、登録装置５は、登録処理部５１と、操作入力部５２と、表示部５３と、画像記憶部５４とを備える。
【００７２】
登録処理部５１は、動作画像テーブル３２０への登録処理を実行する。操作入力部５２は、キーボードやマウス等からなり、オペレータの操作入力を受け付ける。表示部５３は、液晶ディスプレイ等からなり、ソース画像や処理画像の表示を行う。画像記憶部５４は、特定画像として登録すべき画像を記憶する。
【００７３】
なお、動作画像領域情報および特定画像動作情報の動作画像テーブル３２０への登録には、特定画像から動作画像を切り抜いて動作画像領域情報を登録する処理（以下、切り抜き登録処理という）と、動作画像領域情報が示す動作画像と合成情報が示す背景画像を合成して特定画像を登録する処理（以下、合成登録処理という）とがある。
【００７４】
先に、図１４を参照して、切り抜き登録処理の一例について説明する。図１４は、切り抜き登録処理の一例を説明するためのフローチャートである。
オペレータは、画像を指定する（ステップＳＴ１０１）。オペレータは、この画像内において、特定画像を指定する（ステップＳＴ１０２）。登録すべき特定画像が指定されると、登録処理部５１は、指定された情報に基づき、動作画像領域情報を生成し、動作画像テーブル３２０に登録する（ステップＳＴ１０３）。
【００７５】
例えば、ステップＳＴ１０１で、オペレータは、画像として図１５（ａ）に示すような画像を指定する。オペレータは、特定画像として、ネコの画像の部分を指定する（図６（ａ））。この場合、登録処理部５１は、図１５（ｂ）に示すマスク画像を生成する。マスク画像は、例えば、ＰＮＧ（Portable Network Graphics）形式の画像である。マスク画像は、例えば、ネコの画像の部分に値を有し、それ以外の部分は透明（値なし）となる。登録処理部５１は、特定画像とマスク画像を動作画像領域情報として、特定画像ＩＤに対応させて登録する。
【００７６】
ステップＳＴ１０３で、動作画像領域情報が登録されたら、次に、オペレータは、動作画像の動作を記述して入力する（ステップＳＴ１０４）。これにより、登録処理部５１は、特定画像動作情報を生成し、生成した特定画像動作情報を、ステップＳ１０３での特定画像ＩＤに対応させて登録する（ステップＳＴ１０５）。
次に、登録処理部５１は、この特定画像の特徴量を抽出し（ステップＳＴ１０６）、特定画像の特徴量として、特定画像特徴量テーブル２５０に登録する（ステップＳＴ１０７）。そして、登録処理部５１は、登録処理を終了するか否かを判定し（ステップＳＴ１０８）、登録処理を終了しなければ、次の画像の登録処理に移り（ステップＳＴ１０９）、ステップＳＴ１０１にリターンする。
【００７７】
次に、図１６を参照して、背景画像とマスク画像とを合成して背景画像を登録する処理（合成登録処理）の一例について説明する。図１６は、合成登録処理の一例を示すフローチャートである。
オペレータは、背景画像を含む画像（例えば、図１７）を指定する（ステップＳＴ２０１）。オペレータは、マスク画像（例えば、図１５（ｂ））を指定する（ステップＳＴ２０２）。登録処理部５１は、ステップＳＴ２０１で指定された画像と、ステップＳＴ２０２で指定されたマスク画像と、を合成する（ステップＳＴ２０３）。これにより、登録処理部５１は、背景画像（例えば、図１５（ｃ））を生成する。登録処理部５１は、生成した背景画像を、ステップＳＴ２０２で指定されたマスク画像を含む動作画像領域情報に含ませて、動作画像テーブル３２０に登録する（ステップＳＴ２０４）。
【００７８】
次に、図１８を参照して、本実施形態に係る画像検索表示方法の一例について説明する。図１８は、本実施形態に係る画像検索表示方法の一例を説明するためのフローチャートである。
表示画像検索装置２は、撮影画像特徴量と特定画像の特徴量とに基づき、変換行列Ａを算出する。表示画像検索装置２は、変換行列と特定画像のマスク画像に基づいて、動作画像領域を算出する。つまり、撮像画像上の特定画像の位置を算出する（ステップＳＴ１１）。表示画像検索装置２は、ステップＳＴ１１で算出された動作画像領域を含む動作データを、表示装置１へ送信する（ステップＳＴ１２）。
【００７９】
表示装置１は、ステップＳ１２で送信された動作データを受信する（ステップＳ１３）。表示装置１は、ステップＳ１３で受信された動作データに含まれる動作画像領域に基づいて、撮像画像の動作画像領域を特定する。つまり、表示装置１は、撮像画像中の特定画像の位置を設定する（ステップＳＴ１４）。
表示画像検索装置２は、動作画像を生成し、生成した動作画像を含む動作データを表示装置１へ送信する（ステップＳＴ１５）。表示装置１は、ステップＳＴ１５で送信された動作画像を受信する（ステップＳ１６）。
表示画像検索装置２は、背景画像を生成し、生成した背景画像を示す合成情報を含む動作データを表示装置１へ送信する（ステップＳＴ１７）。表示装置１は、ステップＳＴ１７で送信された合成情報を受信する（ステップＳ１８）。
【００８０】
表示装置１は、ステップＳＴ１４で特定された動作画像領域に、ステップＳ１８で受信された背景画像を合成（重畳）することで、動作画像領域を補完する。表示装置１は、合成後の画像に、ステップＳ１６で受信された動作画像を重ねる。ここで、表示装置１は、例えば、合成後の画像のレイヤと、動作画像のレイヤを分ける。これにより、表示装置１は、動作画像を切り出す（ステップＳＴ１９）。
表示画像検索装置２は、動作情報を生成し、生成した動作情報を含む動作データを表示装置１へ送信する（ステップＳＴ２０）。表示装置１は、ステップＳＴ２０で送信された動作情報を受信する（ステップＳ２１）。
表示装置１は、受信した動作情報を読み込む（ステップＳＴ２２）。表示装置１は、ステップＳＴ１９で切り出した動作画像を、ステップＳＴ２２で読み込んだ動作情報に基づいて動かす（ステップＳ２３）。
【００８１】
このように、本実施形態では、表示装置１は表示画像検索装置２から動画ファイルをダウンロードすることなく、撮影された画像に関連する動く画像を表示することができる。また、表示装置１の表示部１５に表示される画像は、表示装置１の撮影部１２で撮影された撮影画像から切り出した動作画像が動くので、撮影画像に合わせた自然な画像となり、撮影する周囲環境との影響で表示画像検索装置２に登録した画像と表示装置１で撮影した画像との明るさや色が異なっていても、その影響を受けることがない。また、本実施形態では、撮影された画像の一部が動き出すような画像となるので、ユーザに独特の視覚効果を与えることができ、このような視覚効果を利用した各種のサービスが期待できる。
また、例えば、表示装置１で撮影した撮影画像に対応する動作画像や動作の記述を複数用意しておき、ユーザ毎の選択やランダムに、表示画像検索装置２から表示装置１に提供する動作画像や動作の記述を切り替えるようにしてもよい。このようにすると、ユーザは、同一の撮影画像に対して、各種の動きの画像を見ることができる。また、このことを利用した各種のサービスが期待できる。
【００８２】
ところで、上述の図１１に示したような動作情報の記述は、表示画像検索装置２側で表示画像検索装置２の運営者側が所定の動作を提供しているものであり、動作画像の動きは、動作情報の記述に従って、一意に決められる。しかし、本発明はこれに限らず、画像検索表示システムは、ユーザの各種の入力に応じて、動作画像の動きを変えてもよい。これにより、ユーザの楽しみが増大する。
【００８３】
［第２実施形態］
なお、ここでユーザの入力とは、操作部１８のキーボードやボタンによる入力だけではない。例えば、表示装置１の表示部１５上に接触センサ１９がある場合には、表示部１５をタッチやスライドあるいはフリック等の操作をすることが入力となり、また、表示装置１に重力センサ２０を設けた場合には、ユーザが表示装置１の方向を変えたり、ユーザが表示装置１を所定の動きで振ったりするような動作が入力となる。さらに、各種のセンサを設ければ、これらのセンサを利用した入力が行える。つまり、接触センサ１９、重力センサ２０、その他各種のセンサの検出結果は、動作画像の動きを指示する動作指示情報である。
ここでは、このようなセンサを用いた入力により動作画像の動きを変えるような処理の一例として、物理モデルによる例について説明する。
図１９に示すように、表示装置１が重力センサ２０を有している場合、特定画像動作設定部３１および端末制御部１１に、以下のような物理モデルを登録しておく。具体的には、動作画像の座標（Ｘ，Ｙ）がΔｔ秒毎に（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…と変化していくとして、重力センサ２０の重力の方向（ｇｘ，ｇｙ）を計測する場合、
【００８４】
【数７】
2013214158.tif 000009
【００８５】
として更新することができる。例えば、この物理モデルは、図２０に示すように記述して、送受信することができる。
【００８６】
端末制御部１１は、図２０に示したような動作の記述を受信すると、上記の物理モデルに従って、動作画像を更新表示する。すなわち、端末制御部１１は、Δｔ秒後の動作画像の位置を上式に従って計算し、撮影部１２に表示する。また、接触センサ１９から動作画像内に入力があった場合には、
【００８７】
【数８】
2013214158.tif 000010
【００８８】
として動作を指で止め、指で動かせるようにしてもよい。
【００８９】
［第３実施形態］
次に、本実施形態に係る画像検索表示方法の他の例について説明する。図２１は、本実施形態に係る画像検索表示方法の他の例を説明するためのフローチャートである。図２１と図１８とを比較すると、図２１のステップＳＴ４２〜ＳＴ４５、ＳＴ４７の処理が異なる。図２１のステップＳ３１〜ステップＳＴ４１の処理は、それぞれ、図１８のステップＳ１１〜Ｓ２１の処理と同様であるので、説明は省略する。
【００９０】
画像識別部２７は、色補正のためのサンプル点を抽出し（ステップＳＴ４２）、抽出したサンプル点の情報から、色補正の変換行列Ａｃを算出する（ステップＳＴ４３）。そして、特定画像動作設定部３１は、ステップＳＴ４３で算出された変換行列Ａｃを通信部２１に送り、通信部２１は、変換行列Ａｃを表示装置１に送信する（ステップＳＴ４４）。表示装置１の通信部１６は、変換行列Ａｃを受信する（ステップＳＴ４５）。
表示装置１は、ステップＳＴ３９で切り出した動作画像を、ステップＳＴ４６で読み込んだ動作情報に基づいて動かす。また、表示装置１は、ステップＳＴ４５で受信された変換行列Ａｃを用いて、ステップＳＴ３８で受信された背景画像を色補正し、色補正した背景画像を動作画像領域に合成する（ステップＳ４７）。
【００９１】
この例では、動作画像が切り出されて動いた後の領域に背景画像を合成し、また、この背景画像の色を補正して、より、自然な合成を行えるようにしている。つまり、図１５（ｂ）に示したような動作画像領域情報を表示画像検索装置２から表示装置１に送信し、表示装置１の表示部１５で動作画像を動かして表示させた場合、動作画像領域に表示される画像がなくなってしまい、例えば白色あるいは黒色となる。このため、動作画像が切り出されて移動した場合、動作画像領域が白色等に見えてしまい、不自然な画像となる。
また、例えば、表示画像検索装置２から背景画像を受信する場合にも、受信した背景画像の色合いがその周囲の色合いと合わない場合がある。
【００９２】
そこで、この例では、ステップＳＴ４２〜ステップＳＴ４５で、表示画像検索装置２で生成された色補正の変換行列を表示装置１に送り、背景画像の色補正を行うようにしている。これにより、動作画像が動いた後の動作画像領域も、自然な画像として見える。
【００９３】
色変換を行う場合、画像識別部２７は、特定画像と、その類似画像と、の色の対応関係を示す変換行列Ａを算出する。ここで、画像識別部２７は、変換行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。ここで、行列Ａｓは、位置の対応関係を示す変換行列（第１の実施形態）であり、行列Ａｃは、色の対応関係を示す変換行列である。なお、（Ａｃ・Ａｓ）は、行列Ａｓで変換された座標各々の色情報に対して、Ａｃを演算することを表す。
具体的に説明すると、画像識別部２７は、オリジナルの特定画像とその類似画像とから、色補正のためのサンプル点を抽出する。本実施形態において、画像識別部２７は、図２２（ａ）に示すように、特定画像上において定義されるサンプル点ｐ１，ｐ２、ｐ３・・・に基づき、撮影画像データＤ（ｎ）の中から、図２２（ｂ）に示すように、サンプル点ｐ１，ｐ２、ｐ３・・・に対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・を求める。なお、サンプル点Ｐ１の（Ｘ，Ｙ）座標値は、（ｘ，ｙ）座標値に左から行列Ａｓを演算することで得られる。
【００９４】
また、画像識別部２７は、特定画像におけるサンプル点ｐ１，ｐ２、ｐ３・・・の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・の色変換を実施する。具体的説明すると、画像識別部２７は、これら色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）、（ｒ３，ｇ３，ｂ３）・・・を、それぞれ対応するサンプル点Ｐ１，Ｐ２、Ｐ３・・・の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）、（Ｒ３，Ｇ３，Ｂ３）・・・に変換するような行列Ａｃを算出する。
以下、画像識別部２７による行列Ａｃの算出方法の一例について説明する。
例えば、特定画像におけるサンプル点ｐ１，ｐ２の色情報（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）を、以下のように示すものとする。
【００９５】
【数９】
2013214158.tif 000011
【００９６】
また、例えば、撮影画像データＤ（ｎ）に含まれる特定画像におけるサンプル点Ｐ１，Ｐ２の色情報（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）を、以下のように示すものとする。
【００９７】
【数１０】
2013214158.tif 000012
【００９８】
画像識別部２７は、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とをそれぞれ近づけるようにする色補正変換係数Ｆを算出する。
なお、以下の式（１１）によって、それぞれ対応するサンプル点ｐ１の色情報とＰ１の色情報、ｐ２の色情報とＰ２の色情報とが関連づけられる。
画像識別部２７は、式（１１）に示す式を最小化する行列Ｅを算出することにより、以下に示す式（１２）の行列Ｃと行列Ｄとに対して、以下に示す式（１３）の擬似逆行列を用いて、式（１４）の行列Ａｃの最適解を算出する。画像識別部２７は、行列（Ａｃ・Ａｓ）を、変換行列Ａとして算出する。
【００９９】
【数１１】
2013214158.tif 000013
【０１００】
【数１２】
2013214158.tif 000014
【０１０１】
【数１３】
2013214158.tif 000015
【０１０２】
【数１４】
2013214158.tif 000016
【０１０３】
なお、ＲＡＮＳＡＣ法等の以下の論文に記載された技術を用いてもよい。
【０１０４】
M. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,"Commun. ACM, no.24, vol.6, pp.381-395, June 1981.
【０１０５】
表示画像検索装置２は、上式の色補正の行列Ａｃを表示装置１に送り、表示装置１の端末制御部１１は、合成処理を行う際に、行列Ａｃに基づいて、合成部分の色変換を行う。具体的には、表示装置１は、背景画像に対して、行列Ａｃを左から演算する。表示装置１は、演算後の背景画像を動作画像領域に重畳する。これにより、表示装置１から送られてきた撮影画像の撮影環境に応じて、背景部分の色変換を行うことができる。
なお、本実施形態において、表示画像検索装置２は、行列Ａｃを用いて、背景画像の色変換を行った後の画像を背景画像としてもよい。
【０１０６】
また、図１５（ｂ）に示したように、背景情報が透明で、動作画像を切り出す場合には、以下の論文に記載された技術を用いて合成を行ってもよい。
【０１０７】
W. AU AND R. TAKEI, Image inpainting with the Navier-Stokes equations.
Available at Final Report APMA 930 SFU, 2002.
【０１０８】
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、表示装置１は、撮影画像の動作画像領域から、動作画像を切り出してもよい。この場合、表示画像検索装置２は、動作画像を生成しなくてもよい。
また、表示画像検索装置２は、動作画像に対して、変換行列Ａの逆行列を左から演算することで、動作画像について特定画像に相当する画像（撮影特定画像とも称する）を生成してもよい。この場合、表示画像検索装置２は、生成した撮影特定画像、変換行列Ａ、および特定画像動作情報を含む動作データを、表示装置１へ送信してもよい。表示装置１は、受信した撮影特定画像を、変換行列Ａで変換することで、動作画像を生成する。表示装置１は、特定画像動作情報に含まれる動作画像の（ｘ，ｙ，ｚ）座標値に対して、変換行列Ａを左から演算する。これにより、表示装置１は、動作画像の撮影画像内での動きを示す動作情報を生成する。
【０１０９】
また、表示画像検索装置２は、動作画像として、特定画像に対して変換行列Ａを左から演算したものを、表示装置１へ送信してもよい。つまり、表示画像検索装置２は、特定画像の位置変更等し、動作画像領域の形状と同じ形状に変換したものを、動作画像としてもよい。
【０１１０】
また、合成には、補完や補間が含まれる。ここで、補完とは、補間とは、例えば、定義されていない値域での値を周りにある値域の値から定義しなおすことをいう。また、動作画像領域に背景画像を合成することには、動作画像領域に、予め定められた画素値を設定することも含まれる。また、合成情報は、例えば線形補間を示す情報であってもよく、その場合、表示装置１は、動作画像領域を、その周辺の画素値に基づいて、例えば線形補間する。また、合成情報が示す背景画像は、淡色であってもよい。
【０１１１】
また、上述の各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、表示装置１および表示画像検索装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１１３】
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・画像識別部、２８・・・第３記憶部、２９・・・第４記憶部、３０・・・特定画像付加情報取得部、３１・・・特定画像動作設定部、３２・・・第５記憶部、３２０・・・動作画像テーブル
【図１】
2013214158.tif 000017
【図２】
2013214158.tif 000018
【図３】
2013214158.tif 000019
【図４】
2013214158.tif 000020
【図５】
2013214158.tif 000021
【図６】
2013214158.tif 000022
【図７】
2013214158.tif 000023
【図８】
2013214158.tif 000024
【図９】
2013214158.tif 000025
【図１０】
2013214158.tif 000026
【図１１】
2013214158.tif 000027
【図１２】
2013214158.tif 000028
【図１３】
2013214158.tif 000029
【図１４】
2013214158.tif 000030
【図１５】
2013214158.tif 000031
【図１６】
2013214158.tif 000032
【図１７】
2013214158.tif 000033
【図１８】
2013214158.tif 000034
【図１９】
2013214158.tif 000035
【図２０】
2013214158.tif 000036
【図２１】
2013214158.tif 000037
【図２２】
2013214158.tif 000038