(57)【要約】【課題】目標画像の３次元形状及び所望の方向からの２次元投影画像を用いて、類似画像を検索する、画像検索システム及び画像検索方法を提供すること。【解決手段】デジタルカメラ１００は被写体像を含んだ画像データを前記画像データの撮像方位及び特徴情報と関連付けて複数格納するメモリから特定の画像データの選択を検出し、この選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索するため、画像検索サーバ３００へ送信する。画像検索サーバ３００は、受信した撮影方位と特徴情報とに基づいて、前記画像データに含まれる被写体像の３次元形状を推測し、推測された３次元形状に基づいて、撮影されていない方位を撮像方位とする前記被写体像を含む画像の画像データを検索し、デジタルカメラ１００へ送信する。【選択図】図１
2010237804.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を含んだ画像データを、前記画像データの撮像方位及び特徴情報と関連付けて複数格納する格納手段と、
前記格納手段に格納された複数の画像データから特定の画像データの選択を検出する選択検出手段と、
前記選択検出手段によって選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索手段と、
前記選択検出手段によって選択が検出された画像データと前記第１の検索手段による検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報を送信する第１の送信手段と、
を備える通信端末と、
前記第１の送信手段によって送信された撮像方位及び特徴情報を受信する受信手段と、
前記受信手段によって受信された特徴情報及び撮像方位に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測手段と、
前記推測手段によって推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記受信された撮像方位とは異なる方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索手段と、
前記第２の検索手段によって取得した画像データを前記通信端末に送信する第２の送信手段と、
を備える画像検索サーバと、
を含むことを特徴とする画像検索システム。
【請求項２】
前記通信端末は、
被写体を撮像して画像データを取得する撮像手段と、
前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、
前記撮像手段が撮像して取得した画像データに関する特徴情報を取得する特徴情報取得手段と、
前記撮像手段が取得した画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記選択検出手段は、画像データとして所定の範囲の位置又は時刻において撮影された少なくとも２つのデジタル写真データが、特定の画像データとして選択されたことを検出することを特徴とする、請求項１に記載の画像検索システム。
【請求項４】
さらに、前記選択検出手段が選択する画像データが追加されるに従って、前記第２の検索手段は検索する対象を絞り込むことを特徴とする請求項１に記載の画像検索システム。
【請求項５】
前記格納手段に格納される画像データは、デジタル画像、ポインティング・デバイス描画入力、スキャナ読み取り画像の少なくとも一つを含むことを特徴とする請求項１に記載の画像検索システム。
【請求項６】
被写体像を含んだ画像データを前記画像データの撮像方位及び特徴情報と関連付けて複数格納するメモリから特定の画像データの選択を検出する選択検出ステップと、
前記選択検出ステップにて選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索ステップと、
前記選択検出ステップにて選択が検出された画像データと前記第１の検索ステップにおける検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測ステップと、
前記推測ステップにて推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記メモリに格納されていない方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索ステップと、
前記第２の検索ステップにおける検索結果して前記被写体像の画像データを取得する画像データ取得ステップと、
を含むことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索システム及び画像検索方法に関し、詳細には、３次元モデルを利用し、所望の視点方向からの画像を検索する画像検索システム及び画像検索方法に関する。
【背景技術】
【０００２】
従来、３次元モデルを利用した写真検索・閲覧システムと、写真を利用した３次元モデル表示・操作システムが知られている（特許文献１）。このシステムによれば、ユーザは画面上で閲覧している３次元モデルに似た視点から撮影されたデジタル写真の表示・閲覧が可能であり、またユーザが画面上で閲覧している写真に似た視点から３次元モデルを表示し操作できるとしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０９７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の画像検索方法では、所望の視点方向から見た画像を得たい場合その画像の立体形状データを検索キーとして用意する必要がある。しかしながらそのような立体形状データはデータ量も膨大であるため、汎用性に乏しいという問題点があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、限られた枚数の２次元画像を用いて、容易に他の撮像方向からの被写体像を含む画像データを検索することが可能な画像検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、請求項１記載の発明に係る画像検索システムにあっては、被写体像を含んだ画像データを、前記画像データの撮像方位及び特徴情報と関連付けて複数格納する格納手段と、前記格納手段に格納された複数の画像データから特定の画像データの選択を検出する選択検出手段と、前記選択検出手段によって選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索手段と、前記選択検出手段によって選択が検出された画像データと前記第１の検索手段による検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報を送信する第１の送信手段と、を備える通信端末と、前記第１の送信手段によって送信された撮像方位及び特徴情報を受信する受信手段と、前記受信手段によって受信された特徴情報及び撮像方位に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測手段と、前記推測手段によって推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記受信された撮像方位とは異なる方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索手段と、前記第２の検索手段によって取得した画像データを前記通信端末に送信する第２の送信手段と、を備える画像検索サーバと、を含むことを特徴とする。
【０００７】
また、請求項２記載の発明に係る画像検索システムにあっては、前記通信端末は、被写体を撮像して画像データを取得する撮像手段と、前記撮像手段が撮像する際の撮像方位を取得する方位取得手段と、前記撮像手段が撮像して取得した画像データに関する特徴情報を取得する特徴情報取得手段と、前記撮像手段が取得した画像データ、前記方位取得手段が取得した撮像方位、及び、前記特徴情報取得手段が取得した特徴情報を関連付けて前記格納手段に格納する格納制御手段と、をさらに備えることを特徴とする。
【０００８】
また、請求項３記載の発明に係る画像検索システムにあっては、前記選択検出手段は、画像データとして所定の範囲の位置又は時刻において撮影された少なくとも２つのデジタル写真データが、特定の画像データとして選択されたことを検出することを特徴とする。
【０００９】
また、請求項４記載の発明に係る画像検索システムにあっては、さらに、前記選択検出手段が選択する画像データが追加されるに従って、前記第２の検索手段は検索する対象を絞り込むことを特徴とする。
【００１０】
また、請求項５記載の発明に係る画像検索システムにあっては、前記格納手段に格納される画像データは、デジタル画像、ポインティング・デバイス描画入力、スキャナ読み取り画像の少なくとも一つを含むことを特徴とする請求項１に記載の画像検索システム。
【００１１】
また、請求項６記載の発明に係る画像検索方法にあっては、被写体像を含んだ画像データを前記画像データの撮像方位及び特徴情報と関連付けて複数格納するメモリから特定の画像データの選択を検出する選択検出ステップと、前記選択検出ステップにて選択が検出された特定の画像データについて、これと関連付けられた特徴情報に基づいて、類似する画像データを検索する第１の検索ステップと、前記選択検出ステップにて選択が検出された画像データと前記第１の検索ステップにおける検索結果として取得された画像データの少なくとも一つの撮像方位及び特徴情報に基づいて、前記画像データに含まれる被写体像の３次元形状を推測する推測ステップと、前記推測ステップにて推測された被写体像の前記３次元形状に基づいて情報公開網を検索して、前記メモリに格納されていない方位を撮像方位とする前記被写体像を含む画像の画像データを取得する第２の検索ステップと、
前記第２の検索ステップにおける検索結果して前記被写体像の画像データを取得する画像データ取得ステップと、を含むことを特徴とする。
【００１２】
本発明に係る画像検索システム又は画像検索方法は、他の画像検索装置又は画像検索システム等の既存技術と組み合わせることができ、そのように組み合わせた技術もまた、本発明の技術範囲に含まれる。同様に、本発明の技法を取り入れた画像検索システム等も本発明の技術範囲に含まれる。また、本発明の技法は、本発明に係る画像を検索する方法のいずれかのステップを任意の記憶媒体に記憶して提供し得る。具体的には、磁気記憶媒体、電気的記憶媒体、光学ディスク等のコンピュータ可読媒体に記憶されたコンピュータ・プログラムの形態も、本発明の技術範囲に含まれる。さらに、本発明の技法は、画像検索の諸段階を、ＦＰＧＡ（プログラム可能ゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）、これらと同等のハードウェアロジック素子、プログラム可能な集積回路、又はこれらの組み合わせが記憶し得るプログラムの形態、すなわちプログラム製品として提供し得る。具体的には、データ入出力、データバス、メモリバス、システムバス等を備えるカスタムＬＳＩ（大規模集積回路）の形態として、本発明に係る画像検索装置を提供でき、そのように集積回路に記憶されたプログラム製品の形態も、本発明の技術範囲に含まれる。
【発明の効果】
【００１３】
本発明によれば、画像検索の時点で存在する２次元画像のみでは類似性を判定する情報が不足している画像であっても、いったん疑似３次元画像データを生成し、この疑似３次元画像データに基づく任意視点からの２次元画像を生成して、画像検索を実施することが可能になる。これにより、本発明においては、生成した２次元画像とネットワーク資源上に記憶された画像との類似性を評価して、画像を検索することができる。また、本発明によれば、自然物又は人工物等の同一物に対して、入力画像の視点や撮影範囲が異なっても、生成した２次元画像を用いて画像検索の類似性を判定し、画像を検索することが可能になる。
【００１４】
従って、本発明に係る画像検索システム又は画像検索方法においては、一部しか写っていなかったり、後ろに隠れた部分があったり、同じ対象物でも視点や撮影範囲が違う場合でも、任意視点からの２次元画像を生成して、当該生成した２次元画像を検索キーとすることにより、検索できる画像の範囲を広げ、検索精度を向上することが可能になる。
【００１５】
また、本発明に係る画像検索システム又は画像検索方法においては、任意視点からの人工物又は自然物の部分画像等を検索キーとして、立体物の２次元画像を検索することが可能になる。これにより、本発明に係る画像検索システム又は画像検索方法は、図面検索、観光地検索、住宅検索、人物検索等、一般の写真や画像以外の検索用等にも利用することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係る画像検索システム１０を例示する図である。
【図２】無線通信カメラ１００のハードウェア構成を例示する図である。
【図３】画像検索サーバ３００の機能の構成を例示する図である。
【図４】画像検索サーバ３００のハードウェア構成を例示する図である。
【図５】図２の無線通信カメラ１００において、画像データを管理するためのテーブルの一例を示す図である。
【図６】無線通信カメラ１００の動作の諸段階を説明するフロー図である。
【図７】無線通信カメラ１００と画像検索サーバ３００とが協働して実行する画像検索処理の諸段階を説明するフロー図である。
【図８】画像検索サーバ３００が実行する立体形状推測処理を説明するフロー図である。
【図９】異なる視点からの複数画像を入力画像に用いて生成した３次元形状モデルから、視点を変えた２次元画像を生成して、画像検索のための検索キーとする一例を示す図である。
【図１０】全体画像と部分画像とから３次元形状モデルを生成する一例を示す図である。
【００１７】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含むさまざまなバリエーションが可能である。従って、本実施の形態の記載をもって、本発明の内容を限定するものではない。本願明細書に用いる用語「撮影」及び「撮像」は、デジタルカメラ又はスキャナ等を用いてコンピュータが読み取り可能な画像データを取り込むことを含む。
【発明を実施するための形態】
【００１８】
［画像検索システム１０］
図１は、本発明の一実施の形態に係る画像検索システム１０を例示する図である。図１に示す画像検索システム１０は、無線通信カメラ１００、画像検索サーバ３００、サービス・プロバイダ４１０、無線中継局４３０、画像データベース（以下、画像ＤＢ）５００、ネットワーク６００を含む。ネットワーク６００は、インターネット等の広域ネットワークでもよく、ローカル・エリア・ネットワーク（ＬＡＮ）でもよい。
【００１９】
無線通信カメラ１００は、典型的には無線通信機能を備えるデジタルカメラである。しかしながら、これに限定せず、撮像機能を備える携帯端末装置等を用いてもよい。無線通信カメラ１００は、無線中継局４３０を介してサービス・プロバイダ４１０に接続し、ネットワーク６００に接続されている画像検索サーバ３００等のネットワーク資源を利用できる。無線通信カメラ１００は、格納手段、選択検出手段、検索手段及び送信手段等の構成要素を備えるが、これについては後述する。
【００２０】
無線通信カメラ１００が備える無線通信機能は、無線通信カメラ１００内の一部の回路として組み込まれるか、又は無線通信カード等の形態で提供される周辺機器として提供される。このような無線通信カメラ１００は、撮影したデジタル写真を適宜符号化し、所定のコンピュータ等に送信することが可能である。例えば、無線通信カメラ１００は、撮影したデジタル写真を、無線中継局４３０、サービス・プロバイダ４１０、及びネットワーク６００を介して、画像検索サーバ３００等に送信できる。また、無線通信カメラ１００は、これらの無線通信の形態を含む情報通信網を介して、デジタル写真を含む情報を受信することが可能である。すなわち、無線通信カメラ１００は、画像検索サーバ３００に対して画像検索等の要求を送信し、当該要求に対応する検索結果等が画像検索サーバ３００から送信されると、この検索結果等を受信することが可能である。
【００２１】
画像検索サーバ３００は、ネットワーク６００を介して接続されている無線通信カメラ１００等の端末装置からの画像検索等の要求を受信し、受信した検索条件に基づいて検索結果を当該端末装置に送信する。検索対象の画像データ等は、例えば、画像ＤＢ５００等のデータベース装置に蓄積された画像データである。本発明に係る画像検索サーバ３００は、単に画像を検索するだけではなく、後述するように、画像検索の要求に基づいて３次元画像モデルを作成し、さらに３次元画像モデルから２次元画像データを生成し、この２次元画像データを検索キーとして画像検索を実施する。すなわち、画像検索サーバ３００は、画像ＤＢ５００等の一般的なデータベース装置とは異なって、このような３次元画像モデル及び２次元画像データを生成する動作を含む。画像検索サーバ３００は受信手段、推測手段、検索手段、及び送信手段等の構成要素を備えるが、これについては後述する。
【００２２】
画像ＤＢ５００は、所定の検索条件に基づいて画像データを検索する、汎用のデータベース装置等を用いることができる。本発明に係る画像ＤＢ５００は、後述する所定のデータ構造を用いることにより、画像データ、画像データの撮像方位、及び画像データの特徴情報を関連付けて格納することが可能である。
【００２３】
サービス・プロバイダ４１０は、典型的には、インターネットに接続するためのサービスを提供する事業体であるインターネット・サービス・プロバイダ等である。無線中継局４３０は、典型的にはサービス・プロバイダ４１０によるネットワーク接続サービス等を、無線通信カメラ１００に対して無線接続して提供するために用いられる。無線中継局４３０は、サービス・プロバイダ４１０の回線設備等と一体としていてもよい。
【００２４】
このようにすることで、本実施の形態の画像検索システム１０においては、無線通信カメラ１００は画像検索サーバ３００に対して画像検索の要求を送信し、画像検索サーバ３００は当該要求に基づいて、画像ＤＢ５００等を用いて検索条件に該当する特定の画像を抽出して検索結果とし、当該検索結果を無線通信カメラ１００に送信する。無線通信カメラ１００は、画像検索サーバ３００からの検索結果を受信することが可能である。
【００２５】
［無線通信カメラのハードウェア構成］
図２は、無線通信カメラ１００のハードウェア構成を例示する図である。
【００２６】
撮像部２０は、レンズ２２、絞り２４及びシャッタ２６を備え、被写体光を結像する動作を実施する。Ａ／Ｄ変換部２８は、典型的には撮像素子と一体として、結像した被写体光を受光し、デジタル信号に変換する動作を実施する。信号処理部３０は、変換されたデジタル信号に対して画像補間処理等を実施する。
【００２７】
キー入力部３２は、シャッタ２６の動作を指示するためのシャッタ・キー、画像の選択等の指示を入力する操作キー、無線通信カメラ１００の電源を投入又は切断するための電源キー、無線通信カメラ１００の動作モードを撮影モードと再生モードとの間で切り替えるためのモード切り替えキー等を適宜備える。
【００２８】
表示部３４は、撮像モードにおいて撮像部２０からＡ／Ｄ変換部２８に到達している被写体像、再生モードにおいて画像格納部３６等に記憶され選択された画像データを間引いた画像データ、及び適宜動作情報又は画像データに関連する情報等を表示するために用いられる。
【００２９】
画像格納部３６は、無線通信カメラ１００により撮影された画像データを含む任意の画像データを格納するために用いられる。例えば、画像検索サーバ３００から受信した画像データを、画像格納部３６に記憶してもよい。
【００３０】
通信部３８は、典型的にはアンテナを内蔵し、無線通信カメラ１００が無線中継局４３０を介して、画像検索システム１０に含まれる画像検索サーバ３００と無線接続するために用いられる。通信部３８により、無線通信カメラ１００が撮影したデジタル写真等の画像データは、画像検索サーバ３００等に送信することが可能になる。また、無線通信カメラ１００は、通信部３８を介して画像検索サーバ３００に画像検索等の要求を送信し、かつ画像検索サーバ３００からの検索結果を受信することが可能である。
【００３１】
画像処理部４０は、典型的には次のような動作を実施する。
（画像処理部４０の動作−１）撮影モードにおいて、巡回的に撮像される画像データを間引いて表示部３４に出力する処理；
（画像処理部４０の動作−２）キー入力部３２のシャッタ・キーの操作検出により、その時点で撮像、Ａ／Ｄ変換及び信号処理された画像データを圧縮符号化する処理；及び、
（画像処理部４０の動作−３）再生モードにおいて、キー入力部での所定の動作検出により、画像格納部３６に格納された画像データを表示部３４に出力する処理。
【００３２】
制御部４２は、典型的には次のような動作を実施する。
（制御部４２の動作−１）無線通信カメラ１００全体の制御に係る動作；
（制御部４２の動作−２）画像格納部３６、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に記録した画像データと、方向検知部５０が検知した方位、傾斜角度、座標とＳＩＦＴ特徴量の組を、図５を用いて後述する管理テーブルに記憶させる動作；
（制御部４２の動作−３）画像格納部３６に格納される複数の画像データのＳＩＦＴ特徴量同士に対して、座標値を加味して比較することにより類似度を算出する動作；
（制御部４２の動作−４）類似度に基づいて類似すると判定した画像データについて、当該画像データに関連付けられた方位、傾斜角度、座標とＳＩＦＴ特徴量の組を画像検索サーバ３００に送信する動作；及び、
（制御部４２の動作−５）画像検索サーバ３００から受信した検索結果を表示部３４に表示する動作。制御部４２の動作−４の判定で、「類似すると判定した画像データ」とは「一致すると判定した画像データ又は同一の画像データ」を含んでもよい。
【００３３】
プログラムメモリ４４は、制御部４２が実行する制御プログラムを記憶する。
【００３４】
データメモリ４６は、制御部４２の動作に伴い一時的に記憶が必要な数値等を記憶するためのワークメモリとして用いられる。これに限定せず、データメモリ４６は、任意の画像データの記憶のために用いられてもよい。
【００３５】
画像特徴量算出部４８は、画像記録時に、座標ごとのＳＩＦＴ特徴量を算出し、上位所定数の組をリストアップする動作を実施する。
【００３６】
ＳＩＦＴ（Scale  Invariant  Feature  Transform）特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトルとして記述される特徴量（例えば、永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年１月を参照；当該文献は次のサイトからオンライン入手可能である；＜URL：http://www.vision.cs.chubu.ac.jp/04/pdf/PIA08.pdf＞）である。例えば、ある画像に対して顕著点（特徴的な点、又は人目につきやすい点）を複数検出し、そのような点の周辺の画素値を用いて特徴量が抽出される。
【００３７】
ＳＩＦＴ特徴量の算出においては、まず、目標となる画像を、特徴点を検出する領域に分割する。当該分割は、混合正規分布を用いる領域分割（永橋ら、2007年）等により行われる。次いで、ＳＩＦＴ特徴量の算出において、注目画素の代表輝度勾配方向が決定される。例えば、画像Ｌ（ｘ，ｙ）の輝度勾配方向をθ（ｘ，ｙ）、大きさをｍ（ｘ，ｙ）で表すと、これらは次式から求められる。
【数１】
2010237804.tif 000003
【数２】
2010237804.tif 000004
式中、
【数３】
2010237804.tif 000005
【数４】
2010237804.tif 000006
である。輝度勾配の大きさｍ及び輝度勾配の方向θを用いて、次式のようにヒストグラムｗ（ｘ，ｙ）を求めることができる。
【数５】
2010237804.tif 000007
式中、Ｇ（ｘ，ｙ，σ）はガウス分布である。また，θは全方向を３６分割したものを用いる。このヒストグラムの最大値の方向を、当該画像中の座標（ｘ，ｙ）における代表輝度勾配方向とすることができる。
【００３８】
次いで、この代表輝度勾配方向を基準とした周囲の輝度勾配ヒストグラムを作成する。例えば、正規分布から得られる領域を４×４画素領域に分割し、それぞれの位置で８方向の輝度勾配ヒストグラムを作成する。４×４画素の領域にそれぞれ８方向ヒストグラムを作成する場合、１２８次元ベクトルの特徴量が得られる。このようにして得られた１２８次元ベクトルの特徴量が、ある画素領域に対するＳＩＦＴ特徴量である。
【００３９】
従って、ＳＩＦＴ特徴量は、画像データにおける座標（ｘ，ｙ）と方向θとを関連付けた情報を含む。方向θの情報としては、方位角等の角度情報を含んでもよく、例えば各θの余弦の値に変換した数値等を含んでもよい。
【００４０】
方向検知部５０は、一般的には、方位センサ及び傾斜センサを備える。方向検知部５０は、撮影モードにおいて記録が指示された際に、無線通信カメラ１００から見た被写体が存在する方位、及び無線通信カメラ１００の傾斜角度を検知する。
【００４１】
拡張Ｉ／Ｆ（インタフェース）５６は、着脱可能なメモリカード等を無線通信カメラ１００に接続するために用いられる。拡張Ｉ／Ｆ５６に接続可能なハードウェアは、このような記憶媒体に限定しない。例えば、無線通信カメラ１００は、アンテナを内蔵する通信部３８に替えて、拡張Ｉ／Ｆ５６を介して無線通信カード等の無線通信手段を接続し、画像検索サーバ３００等と無線接続してもよい。
【００４２】
バス５８は、上述のそれぞれの構成要素の間でデータ又は制御のための情報等をやりとりするために用いられる。
【００４３】
図２に示したハードウェア構成は、無線通信カメラ１００に用いることができ、撮像部２０は撮像手段として、方向検知部５０は方位取得手段として、画像格納部３６又はデータメモリ４６は格納手段として、画像特徴量算出部４８は画像データの特徴量を取得するための特徴情報取得手段として、通信部３８は特徴情報及び撮像方位を送信する送信手段として、制御部４２は選択検出手段、格納手段に格納されている画像データを検索する検索手段、及び格納制御手段として、それぞれ機能することができる。
【００４４】
［画像検索サーバの機能ブロック図］
図３は、本発明の一実施の形態に係る、画像検索サーバ３００の機能の構成を例示する図である。一実施の形態において、画像検索サーバ３００は、検索要求受信手段２１０、疑似３次元形状データ作成手段２２０、２次元画像生成手段２３０、類似画像抽出手段２４０、類似度算出手段２５０、類似画像出力手段２６０、制御手段２７０、記憶手段２８０、通信Ｉ／Ｆ（インタフェース）２９０を備える。
【００４５】
検索要求受信手段２１０は、画像検索サーバ３００が検索要求を受信するために用いられる。この検索要求は、検索キーとして用いる画像を生成するための少なくとも二つの入力画像、当該入力画像と関連付けられた撮像方向及び特徴情報の組を含む。入力画像としては、例えば、図１に示した無線通信カメラ１００により撮像されたデジタル写真等の画像データが用いられる。
【００４６】
疑似３次元形状データ作成手段２２０は、少なくとも二つの入力画像から、所定の３次元モデリングの技法を用いて、３次元画像データを生成する。３次元モデリングの詳細は後述する。
【００４７】
２次元画像生成手段２３０は、生成した３次元画像データに対して、入力画像と関連付けられている撮像方向とは異なる撮像方向から当該３次元画像データを眺めた場合の投影図又は断面図等を生成する。これらの投影図又は断面図は、２次元画像データであってもよい。投影図又は断面図等の生成の詳細は後述する。
【００４８】
類似画像抽出手段２４０は、生成した２次元画像データを検索キーとして、画像ＤＢ５００等の、情報公開網に接続されているデータベースから画像を抽出する。
【００４９】
類似度算出手段２５０は、生成した２次元画像データと抽出された画像との類似度を算出する。
【００５０】
類似画像出力手段２６０は、抽出された画像と、生成した２次元画像データに対する当該抽出された画像の類似度を関連付けて、検索結果として出力する。
【００５１】
制御手段２７０は、上述の各手段の動作を制御する。
【００５２】
記憶手段２８０は、上述の各手段の動作における一時的な記憶手段又は制御手段２７０を動作させるためのプログラム等のための記憶手段として用いられる。
【００５３】
通信接続手段２９０は、無線通信カメラ１００等からの検索要求を受信して検索要求受信手段２１０に送り、類似画像出力手段２６０からの検索結果を受け取って無線通信カメラ１００等に送信するために用いられる。
【００５４】
図３に示した機能の構成は、画像検索サーバ３００又は画像検索サーバ機能として用いることができる。すなわち、検索要求受信手段２１０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段として、制御手段２７０は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、通信接続手段２９０は検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、それぞれ機能しうる。
【００５５】
［画像検索サーバのハードウェア構成］
図４は、画像検索サーバ３００のハードウェア構成を例示する図である。図４においては、コンピュータを典型とする情報処理装置として、画像検索サーバ３００の全般的なハードウェア構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【００５６】
画像検索サーバ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０３、バスライン３０５、通信Ｉ／Ｆ３４０、メインメモリ３５０、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）３６０、パラレルポート３８０、ＵＳＢポート３９０、グラフィック・コントローラ３２０、ＶＲＡＭ３２４、音声プロセッサ３３０、Ｉ／Ｏコントローラ３７０、ならびにキーボード及びマウス・アダプタ１３０等の入力手段を備える。Ｉ／Ｏコントローラ３７０には、フレキシブル・ディスク（ＦＤ）ドライブ３７２、ハードディスク３７４、光ディスク・ドライブ３７６、半導体メモリ３７８等の記憶手段を接続することができる。
【００５７】
通信Ｉ／Ｆ３４０は、画像検索サーバ３００をネットワーク６００に接続するために用いられる。すなわち、通信Ｉ／Ｆ３４０を用いて、画像検索サーバ３００は、図１に示した画像検索システム１０に含まれる無線通信カメラ１００と通信可能に接続しうる。これにより、画像検索サーバ３００は、無線通信カメラ１００を用いて撮影されたデジタル写真等の画像データ、あるいはＰＣ４９０又は画像ＤＢ５００に記憶された画像データを、入力画像として受信することが可能になる。
【００５８】
音声プロセッサ３３０には、マイクロホン３３６、増幅回路３３２、及びスピーカ３３４が接続される。また、グラフィック・コントローラ３２０には、表示装置３２２が接続されている。
【００５９】
ＢＩＯＳ３６０は、画像検索サーバ３００の起動時にＣＰＵ３０３が実行するブートプログラムや、画像検索サーバ３００のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ３７２は、フレキシブル・ディスク３７１からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供する。
図３には、画像検索サーバ３００の内部にハードディスク３７４が含まれる例を示したが、バスライン３０５又はＩ／Ｏコントローラ３７０に適宜外部機器接続用インタフェース（図示せず）を接続し、画像検索サーバ３００の外部にハードディスクを接続又は増設してもよい。
【００６０】
光ディスク・ドライブ３７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｋ）−ＲＯＭドライブ等を使用することができる。この際は各ドライブに対応した光ディスク３７７を使用する必要がある。光ディスク・ドライブ３７６は光ディスク３７７からプログラム又はデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３５０又はハードディスク３７４に提供することもできる。
【００６１】
画像検索サーバ３００に提供されるコンピュータ・プログラムは、フレキシブル・ディスク３７１、光ディスク３７７、又はメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ３７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ３４０を介してダウンロードされることによって、画像検索サーバ３００にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
【００６２】
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク３７１、光ディスク３７７、又はメモリカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク又は光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを画像検索サーバ３００に提供してもよい。
【００６３】
以上の例は、画像検索サーバ３００について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。
【００６４】
図４に示したハードウェアの構成要素は、画像検索サーバ３００の構成要素として用いることができる。すなわち、通信Ｉ／Ｆ３４０は無線通信カメラ１００等から特徴情報及び撮像方向を受信するための受信手段、及び検索の結果得られた画像を無線通信カメラ１００に送信するための送信手段として、ＣＰＵ３０３は被写体像の３次元形状を推測する推測手段、及び情報公開網から画像を検索する検索手段として、それぞれ機能しうる。
【００６５】
また、図４に示したハードウェアの構成要素は、ＰＣ４９０の構成要素として用いることもできる。すなわち、図４に示したハードウェアの構成要素をＰＣ４９０に備えて、ＰＣ４９０を、画像検索サーバ機能３０２を動作させるための装置として用いることが可能である。この場合においても、通信Ｉ／Ｆ３４０及びＣＰＵ３０３のそれぞれを、受信手段及び送信手段、ならびに検索手段とすることができる。
【００６６】
本装置は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、又は表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、又は（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、又は複数に分割して、単一又は複数の記録媒体に格納することもできる。
【００６７】
［画像検索サーバ３００のデータ構造］
図５は、本実施の形態において画像データを管理するための画像データ管理テーブルの一例を示す図である。図５に示す画像データ管理テーブルは、格納アドレス４５２、ファイル名４５４、特徴情報４６０及び関連画像データの格納アドレス４６８のそれぞれをフィールドとして含むデータ構造を有する。さらに、特徴情報４６０は、方向データ４６２及びＳＩＦＴ特徴量情報４６４を含む。本実施の形態では、この画像データ管理テーブルを図２に示す無線通信カメラ１００の画像格納部３６に格納するものとするが、本発明はこれに限定されず、例えば、図４に示した画像検索サーバ３００のハードディスク３７４など、画像データを管理するために適当であれば、いかなる記憶媒体に格納してもよい。
【００６８】
格納アドレス４５２は、画像格納部３６における個々の画像データを格納するために用いられるメモリ・アドレスである。画像データを、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等に格納する場合でも、同様に格納アドレス４５２を個別の画像データに割り当てて、管理テーブルを設けることができる。
【００６９】
ファイル名４５４は、個々の画像データに付けられるファイル名である。例えば、新たに撮影が実施されて画像データが生成されるごとに、制御部４２の動作により、自動的に当該画像データのファイル名が指定されてもよい。
【００７０】
方向データ４６２は、画像記録時の方位、及び傾斜角度からなる。これらの情報は、無線通信カメラ１００等による撮影時に、撮影された画像データごとに方向検知部５０が検知した情報である。従って、方向データ４６２は、一つの画像データのファイル名と対応して記憶される。
【００７１】
ＳＩＦＴ特徴量情報４６４は、ＳＩＦＴ特徴量が存在する座標、及びＳＩＦＴ特徴量からなる。このＳＩＦＴ特徴量情報４６４は、画像特徴量算出部４８の動作により、一つの画像データに対して解析され、当該画像データが含むＳＩＦＴ特徴量が存在する座標（換言すれば、特徴点の座標）、及びＳＩＦＴ特徴量の組として算出される情報である。例えば、ＳＩＦＴ特徴量情報４６４は、座標（ｘ，ｙ）と、代表輝度勾配方向を余弦の値に変換した値とからなる。一つの画像データには複数のＳＩＦＴ特徴量情報４６４が含まれうる。図５には、格納アドレス４５２が「００１Ａ」であり、ファイル名４５４が「ＣＩＭＧ００１．ｊｐｇ」である一つの画像データが、ＳＩＦＴ特徴量情報４６４として、（ｘ１１，ｙ１１，ｃｏｓｔ１１）、（ｘ１２，ｙ１２，ｃｏｓｔ１１）、…、（ｘ１ｎ，ｙ１ｎ，ｃｏｓｔ１ｎ）からなるｎ個の情報を含むことを例示している。他の格納アドレス４５２又はファイル名４５４を有する画像データについても同様であり、それぞれの画像データは、独立して複数のＳＩＦＴ特徴量情報４６４を含みうる。
【００７２】
関連画像データの格納アドレス４６８は、本発明に係る類似画像検索により、類似画像として検索された他の画像への関連付けのために用いられる。
【００７３】
図５に示す画像データ管理テーブルのデータ構造は、無線通信カメラ１００等だけでなく、図４に示した画像検索サーバ３００のハードウェア構成において、例えばハードディスク３７４に画像データを記憶するためのデータ構造として用いてもよい。従って、画像検索サーバ３００は、画像データ管理テーブルのデータ構造を用いて、特定のファイル名を有する画像データと当該画像データの特徴情報とを関連付けて記憶することができる。
【００７４】
［画像検索の動作フロー］
図６及び図７は、本発明に係る画像検索システム１０が実行する画像検索の動作を説明するフロー図である。図６は、無線通信カメラ１００が実行する画像検索の動作の諸段階を例示するフロー図であり、図７は、無線通信カメラ１００と画像検索サーバ３００が画像検索のために協働して実行する動作の諸段階を説明するフロー図である。無線通信カメラ１００は、以下の動作を制御部４２の制御の下に実行し、画像検索サーバは、以下の動作をＣＰＵ３０３の制御に下に実行する。
【００７５】
本実施の形態の類似画像検索においては、類似画像を検索するために３次元形状モデルから２次元画像データを生成する。それぞれの画像の特徴をコンパクトに表す特徴量を比較することにより、類似画像を数値の比較として取り扱うことが可能になる。そこで、本発明に係る画像検索システム１０の動作フローにおいては、ステップＳ１１０からステップＳ２００までの動作の諸段階において、画像ごとにＳＩＦＴ特徴量が算出される。
【００７６】
図６を算法して、無線通信カメラ１００の動作について説明する。まず、ステップＳ１１０では、無線通信カメラ１００は、格納されている画像を一覧表示する。
【００７７】
ステップＳ１２０では、無線通信カメラ１００は、画像が選択されたかどうかを判定する。判定の結果が真であればステップＳ１９０に進み、偽であればステップＳ１３０に進む。具体的には、制御部４２は、キー入力部３２等の操作を検出して、画像が選択されたかどうかを判定する。
【００７８】
ステップＳ１３０では、無線通信カメラ１００は、撮像部に対して巡回的に画像取得を実施する。例えば、ユーザは、無線通信カメラ１００を用いてデジタル写真を撮像する操作を実施する。
【００７９】
ステップＳ１４０では、無線通信カメラ１００は、記録指示を検出したかどうかを判定する。判定の結果が真であればステップＳ１５０に進み、偽であればステップＳ１３０に戻る。例えば、デジタル写真が撮像され、画像格納部３６に新規な画像データが適宜圧縮符号化されて記録されることにより、当該判定は真となりうる。
【００８０】
ステップＳ１５０では、無線通信カメラ１００は、方位、傾斜角度を検出する。例えば、方向検知部５０により検出される撮影方向及び傾斜角度が読み取られる。
【００８１】
ステップＳ１６０では、無線通信カメラ１００は、撮像されている画像データを解析し、ＳＩＦＴ特徴量と座標値とを取得する。これにより、撮像された画像データに対して、ＳＩＦＴ及び座標値が算出され、当該画像データの特徴量として記憶される。
【００８２】
ステップＳ１７０では、無線通信カメラ１００は、取得した方位、傾斜角度、ＳＩＦＴ特徴量及び座標の組を、圧縮符号化された画像データと関連付けて、画像格納部３６の管理テーブルに書き込む。この管理テーブルは、例えば、図５に示した画像データ管理テーブルのデータ構造が用いられる。管理テーブルが参照しうる画像データは、画像格納部３６、データメモリ４６、又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード（図示せず）等に記憶されうる。
【００８３】
ステップＳ１８０では、無線通信カメラ１００は、管理テーブルを参照し、算出したＳＩＦＴ特徴量と所定範囲内で近いＳＩＦＴ特徴量と関連付けられた画像データを検索する。これにより、新規に撮像された画像データと類似した特徴量を有する他の画像データが、無線通信カメラ１００内から検索される。
【００８４】
一方、ステップＳ１９０では、無線通信カメラ１００は、選択された画像データと関連付けられているＳＩＦＴ特徴量を管理テーブルから読み出す。この動作は、すでに撮像されて無線通信カメラ１００内に記憶されている画像データが選択され、選択された画像データの特徴量が参照されることを指す。従って、無線通信カメラ１００は、新規な撮像が実施されない場合であっても、すでに撮像された画像データを用いて、類似画像検索を実施することができる。
【００８５】
ステップＳ２００では、無線通信カメラ１００は、管理テーブルを参照し、読み出したＳＩＦＴ特徴量と所定範囲内で近いＳＩＦＴ特徴量と関連付けられた画像データを検索する。この動作は、新規に画像データを撮像した場合におけるステップＳ１８０の動作と対応する。
【００８６】
ステップＳ２２０では、無線通信カメラ１００は、類似する画像データがあるかどうかを判定する。判定の結果が真であればステップＳ２３０に進み、偽であればステップＳ２９０に進む。
【００８７】
ステップＳ２３０では、無線通信カメラ１００は、関連画像データとして管理テーブルの格納アドレスに互いの格納アドレスを記憶する。すなわち、ＳＩＦＴ特徴量が所定の範囲内にあり相互に類似する複数の画像が、関連画像データとして扱われる。
【００８８】
ステップＳ２４０では、無線通信カメラ１００は、前述の関連画像データを一覧表示する。
【００８９】
ステップＳ２５０では、無線通信カメラ１００は、一覧表示している関連画像データに対して、選択を検出したかどうかを判定する。判定の結果が真であればステップＳ２６０に進み、偽であればステップＳ２４０に戻る。
【００９０】
ステップＳ２６０では、無線通信カメラ１００は、選択された関連画像データごとに方位、傾斜角度をそれぞれ読み出す。
【００９１】
ステップＳ１１０では、無線通信カメラ１００は、読み出された方位、傾斜角度を用いて立体形状が推測できるかどうかを判定する。判定の結果が真であれば、後続の図７に示すフロー図の「Ｂ」に進み、偽であればステップＳ２９０に進む。
【００９２】
ステップＳ２９０では、無線通信カメラ１００は、検索不可能と判断し、読み出した画像（撮影記録した画像）と撮影すべき方向と大きさ（画角に対する検索対象被写体の大きさ）のメッセージを表示する。すなわち、この動作は、ステップＳ２２０において類似画像データが存在しないと判定されるか、又はステップＳ２７０において類似画像データを用いて立体形状が推測可能ではないと判定された場合に実施される。ステップＳ２９０の後は、無線通信カメラ１００は類似画像検索の動作を終了する。
【００９３】
このように動作することで、無線通信カメラ１００は、ステップＳ２７０の判定が真であれば、少なくとも二つの類似画像データ及びこれらと関連付けられた方位、傾斜角度及びＳＩＦＴ特徴量と座標値の組の情報を、用意することができる。
【００９４】
図７を参照して、本発明の一実施の形態に係る、無線通信カメラ１００と画像検索サーバ３００とが協働して実行する画像検索処理の諸段階について説明する。図７に示すステップＳ３１０からステップＳ３７０は無線通信カメラ１００の動作であり、ステップＳ４１０からステップＳ４７０は画像検索サーバ３００の動作である。
【００９５】
ステップＳ３１０は、図６に示したステップＳ２７０の判定が真である場合の動作に続いて実施される。ステップＳ３１０では、無線通信カメラ１００は、方位、傾斜角度及びＳＩＦＴ特徴量と座標値の組の情報を、画像検索サーバ３００に送信する。当該送信は、例えば、検索要求として、送信される。
【００９６】
ステップＳ３２０では、無線通信カメラ１００は、セッション維持状態で待機する。すなわち、画像検索サーバ３００と通信可能な状態を維持し、検索要求に対する画像検索サーバ３００からの応答を待機する。
【００９７】
一方、画像検索サーバは、無線通信カメラ１００からの検索要求に基づいて、本発明に係る類似画像検索のための動作を実施する。
【００９８】
ステップＳ４１０では、画像検索サーバ３００は、ログイン認証処理を実施する。これにより、特定の無線通信カメラ１００による検索要求が、画像検索サーバ３００に受け付けられ、類似画像検索の一つのセッションが開始される。
【００９９】
ステップＳ４２０では、画像検索サーバ３００は、検索キーとして、方位、傾斜角度及び、ＳＩＦＴ特徴量と座標値の組を受信する。
【０１００】
ステップＳ４３０では、画像検索サーバ３００は、受信した方位、傾斜角度から撮影方向を算出する。
【０１０１】
ステップＳ４４０では、画像検索サーバ３００は、算出した撮影方向とＳＩＦＴ特徴量と座標から立体形状を推測する処理を実施する。これにより３次元モデリングが実施され、検索要求に基づく３次元画像データが生成される。当該ステップＳ４４０の動作には、例えば、後述する図８に示す多視点画像からの３次元形状データ生成を用いることができる。
【０１０２】
ステップＳ４５０では、画像検索サーバ３００は、推測された立体形状において、受信していない撮影方向を取得する。すなわち、生成した３次元画像データに対して、検索要求に含まれない撮影方向からの投影図又は断面図等の２次元画像データが生成される。
【０１０３】
ステップＳ４６０では、画像検索サーバ３００は、画像データを検索する。すなわち、ステップＳ４５０において生成した２次元画像データを検索キーとして、画像ＤＢ５００等の情報公開網に接続されているデータベースを用いて類似する画像が検索される。検索の結果は、検索結果として、無線通信カメラ１００に送信される。
【０１０４】
ステップＳ４７０では、画像検索サーバ３００は、ログアウト処理を実施する。これにより、検索要求に基づく類似画像検索の一つのセッションが終了する。セッション終了後は、画像検索サーバ３００は、再び無線通信カメラ１００等の端末装置からの要求を受信待機しうる。
【０１０５】
再び無線通信カメラ１００の動作の諸段階に戻り、ステップＳ３３０では、無線通信カメラ１００は、検索結果を受信する。
【０１０６】
ステップＳ３４０では、無線通信カメラ１００は、検索結果として画像を受信したかどうかを判定する。判定の結果が真であればステップＳ３５０に進み、偽であればステップＳ３７０に進む。
【０１０７】
ステップＳ３５０では、無線通信カメラ１００は、受信した画像を画像格納部３６に記憶し、関連画像データとして格納アドレスを追加して記憶する。これにより、検索結果として受信した画像データが類似画像検索の結果として画像格納部３６に記憶される。なお、画像データの記憶手段としては、画像格納部３６に限定せず、データメモリ４６又は拡張Ｉ／Ｆ５６を介して接続されるメモリカード等でもよい。
【０１０８】
ステップＳ３６０では、無線通信カメラ１００は、検索結果として受信した関連画像データを、他の類似画像と共に表示する。これにより、ユーザは、無線通信カメラ１００の表示部３４等に表示される関連画像データ及び他の類似画像を視認することが可能になる。
【０１０９】
一方、検索結果に画像が含まれていなかった場合は、ステップＳ３７０において、無線通信カメラ１００は、画像が見つからなかったことを表示する。
【０１１０】
ステップＳ３６０又はステップＳ３７０の後は、無線通信カメラ１００は、類似画像検索の動作を終了する。
【０１１１】
これらのステップ１１０からステップＳ４７０までの動作により、無線通信カメラ１００は画像検索サーバ３００と接続して、画像検索サーバ３００による３次元画像データ及び２次元画像データの生成を利用して類似画像検索を実施することができる。
【０１１２】
また、これらのステップ１１０からステップＳ４７０までの動作は、１回の類似画像検索として実施されるだけでなく、無線通信カメラ１００からステップＳ２２０において類似する画像データとして判定しうる追加の画像データが加えられることにより、当該追加の画像データを用いて、画像検索サーバ３００は検索結果を絞り込んでもよい。
【０１１３】
さらに、追加の画像データとしては、予め用意した所定の３次元画像データを用いてもよい。予め用意した所定の３次元画像データと生成した疑似３次元形状データとから２次元画像を生成してもよい。さらに、生成した２次元画像を、予め用意した所定の２次元画像データと比較してもよい。
【０１１４】
図８は、画像検索サーバ３００がＣＰＵ３０３の制御に従って、図７のステップＳ４４０で実行する立体形状推測処理を説明するフロー図である。この処理によって、画像検索サーバ３００は多視点画像による３次元形状データを作成する。
【０１１５】
ステップＳ９１０では、画像検索サーバ３００は、同一対象の異なる視点からの複数画像を入力する。
【０１１６】
ステップＳ９２０では、画像検索サーバ３００は、前処理（鮮鋭化、ノイズ除去、傾斜補正）を実施する。
【０１１７】
ステップＳ９３０では、画像検索サーバ３００は、カメラ情報は既知かどうかを判定する。判定の結果が真であればステップＳ９４０に進み、偽であればステップＳ９７０又はステップＳ９８０に進む。当該カメラ情報は、具体的には、それぞれの画像データに関連付けられた撮像の方位等のパラメータを指す。ステップＳ９７０又はステップＳ９８０のいずれを選択するかは、これらのカメラ情報以外の条件に基づいて、例えば、３次元形状データを生成するための画像データの枚数、各画像において算出された特徴量の平均又は分散等の統計的情報、あるいは任意の他の数値又は撮影に用いたカメラの設計情報等に基づいて、実施されうる。
【０１１８】
ステップＳ９４０では、画像検索サーバ３００は、各画像のカメラ位置パラメータを計算する。例えば、被写体までの距離、カメラの撮像の方位等が計算される。
【０１１９】
ステップＳ９５０では、画像検索サーバ３００は、各画像から輪郭画像データを抽出する。これにより、各画像に対して輪郭画像データが生成される。
【０１２０】
ステップＳ９６０では、画像検索サーバ３００は、カメラ位置と各輪郭画像に基づいて
被写体の３次元形状モデルを作成する。これにより、略同一の被写体を複数の視点から眺めて得られる３次元形状モデルが作成される。
【０１２１】
ステップＳ９７０では、画像検索サーバ３００は、因子分解法の処理を実施する。因子分解法は、例えば、次のような画像情報処理の方法である。
（因子分解法−１）各画像から、被写体の輪郭外形や顔の特徴部位を表す線分、曲線、又は特徴点を抽出する。
（因子分解法−２）各画像の主要点の点特徴を抽出し、各特徴点を対応付ける。
（因子分解法−３）多視点画像における各点座標から、カメラの動き情報及び被写体の３次元形状情報を復元する。
【０１２２】
ステップＳ９８０では、画像検索サーバ３００は、視体積交差法の処理を実施する。視体積交差法は、例えば、次のような画像情報処理の方法である。
（視体積交差法−１）形状を記憶する３次元ボクセル空間を用意し、これを立方格子に分割する。
（視体積交差法−２）処理対象となる各多視点画像のシルエット画像を入力し、前述のように分割した各ボクセルに対して正射影による逆投影を実施する。
（視体積交差法−３）各ボクセルについて処理対象画像のシルエット内が存在するかどうかを判定し、存在するボクセルを残し、他のボクセルを削除する。
（視体積交差法−４）全てのボクセルについて判定を繰り返し、さらに全ての多視点画像に対するボクセルの判定を繰り返す。
（視体積交差法−５）残ったボクセルの集合を、被写体の３次元形状モデルとする。
【０１２３】
ステップＳ９９０では、画像検索サーバ３００は、主要被写体の３次元形状データを生成する。生成される３次元形状データの形式としては、当業に公知のワイヤーフレーム・モデル、サーフェス・モデル、ソリッド・モデル、ＣＳＧ（Ｃｏｎｓｔｒｕｃｔｉｖｅ  Ｓｏｌｉｄ  Ｇｅｏｍｅｔｒｙ）表現、又は境界表現等を任意に用いうる。ステップＳ９９０の後は、多視点画像からの３次元形状データ作成の諸段階は終了する。
【０１２４】
＜実施例＞
［異なる視点からの複数画像を入力画像とする実施例］
図９は、本発明の一実施の形態に係る、異なる視点からの複数画像を入力画像に用いて生成した３次元形状モデルから、視点を変えた２次元画像を生成して、画像検索のための検索キーとする一例を示す図である。以下、無線通信カメラ１００及び画像検索サーバ３００を含む画像検索システム１０の動作について説明する。
【０１２５】
図９に示す入力画像Ａ（８１０）及び入力画像Ｂ（８１５）は、例えば、異なる視点から撮影された略同一の建築物等のデジタル写真である。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、これらの画像を画像格納部３６等に記憶し、表示部３４に適宜表示することが可能である。無線通信カメラ１００は、これらの画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。
【０１２６】
画像検索サーバ３００は、当該要求に応答して、これらの入力画像から３次元形状モデル８２０を生成する。例えば、図７のステップＳ４４０の動作として例示した、立体形状推測処理が実施される。
【０１２７】
さらに、画像検索サーバ３００は、これらの入力画像の撮影方向とは異なる方向からの投影図を生成する。例えば、図７のステップＳ４５０の動作として例示した、受信していない撮影方向を用いて、３次元形状モデル８２０の投影図が生成される。例えば、視点を変えた２次元画像データ８３０又は８３５等が生成される。
【０１２８】
生成された２次元画像データは、画像検索の検索キーとして用いられ、画像ＤＢ５００等のデータベースが検索される。例えば、画像ＤＢ５００に記憶されている、記録済みの画像データ８４０等が、視点を変えた２次元画像データ８３０又は８３５等と比較される。
【０１２９】
比較の結果、記録済みの画像データ８４０が、視点を変えた２次元画像データ８３０又は８３５等と類似していることが判定されると、画像検索サーバ３００は、記録済みの画像データから検索された類似画像８５０を検索結果として無線通信カメラ１００に送信する。
【０１３０】
このようにして、画像検索システム１０は、略同一の被写体に対して異なる視点から撮影された画像データを入力画像として用いて、３次元形状モデル８２０及び視点を変えた２次元画像データ８３０又は８３５を生成して、類似画像を検索することができる。
【０１３１】
以上、本発明の実施の形態を用いて説明したが、本発明は上記実施の形態に限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。たとえば、上述の図９の例では入力画像として、異なる視点からの画像を２枚用いた場合について説明したが、本発明はこれに限定されず、入力画像として用いる、異なる視点からの画像の数は２枚以上で、かつ、実装上可能であれば、制限を設けない。同様に、入力画像として、全体画像とともに部分画像を用いて、３次元形状モデルを生成するようにしてもよい。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、略同一の被写体の任意の数の全体画像又は部分画像を画像格納部３６等に記憶し、表示部３４に適宜表示し、これら画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。前述の図９に示した例と同様に、画像検索サーバ３００は、当該要求に応答して、これら任意の数の全体画像又は部分画像の入力画像から３次元形状モデル８７０、及び投影図を生成するようにしてもよい。
【０１３２】
［全体画像及び部分画像を入力画像とする実施例］
図１０は、全体画像と部分画像とから２次元形状モデルを生成する一例を示す図である。前述の図９に示した、視点を変えた２次元画像の生成と同様に、入力画像−１（８６１）、入力画像−２（８６２）及び入力画像−Ｎ（８６８）は、異なる視点から撮影された略同一の建築物等のデジタル写真である。これらの入力画像は、略同一の被写体の全体画像又は部分画像を適宜含む。Ｎは任意の自然数である。無線通信カメラ１００は、撮影モードの動作又は再生モードの動作において、これらの画像を画像格納部３６等に記憶し、表示部３４に適宜表示することが可能である。無線通信カメラ１００は、これらの画像及びＳＩＦＴ特徴量等の付随情報を画像検索サーバ３００に送信し、類似画像の検索を要求する。
【０１３３】
前述の図９に示した例と同様に、画像検索サーバ３００は、当該要求に応答して、これらの入力画像から３次元形状モデル８７０を生成する。さらに、画像検索サーバ３００は、これらの入力画像の撮影方向とは異なる方向からの投影図を生成する。従って、これらの入力画像の撮影方向とは異なる方向からの投影図が、例えば、視点を変えた２次元画像データ８８０又は８８２等として生成される。
【０１３４】
このように、本発明に係る類似画像検索においては、３次元形状モデルを生成するための入力画像は、略同一の被写体の全体画像又は部分画像でもよい。
【０１３５】
さらに上述の実施の形態では、無線通信カメラとして１台のデジタルカメラ１００と無線中継局４３０を用いた場合について説明したが、本発明はこれに限定されず、画像検索システムには、撮像機能を備える携帯電話などを含む、任意の数の無線通信カメラを用いてもよく、さらに、任意の数の無線中継局を用いてもよい。また、画像を読み取るスキャナ、ポインティング・デバイス、描画画像を取り込むペンタブレットなどを備えた端末と接続し、ユーザが、例えば、スキャナを用いて読み取った画像、マウスや専用ペンなどのポインティング・デバイスを操作してタブレットに描画した画像なども検索に用いるようにしてもよい。画像検索サーバ３００とこれら複数の無線通信カメラ、端末との通信は様々な形態が可能であり、例えば、サービス・プロバイダ、無線中継局などを介した有線、無線のネットワークを用いてもよく、かかるネットワークもインターネット等の広域ネットワークのみならず、ローカル・エリア・ネットワーク（ＬＡＮ）、あるいはそれらの組み合わせなどを用いてもよい。
【０１３６】
画像検索サーバ３００は、これらの無線通信カメラからの画像データを、所定の範囲内の位置又は時刻にあるか否かの判定を行って、略同一と判定されるものについては、同一の被写体の入力画像であるとして画像検索を行うことができる。
【０１３７】
さらに、ネットワークに接続した端末などの操作によって、これら複数の無線通信カメラを制御して、同一の被写体を所定の範囲内の位置又は時刻において異なる視点から撮影して、画像検索サーバ３００に送信するようにさせてもよい。ネットワークに接続した端末によって、画像検索サーバ３００が行った検索結果を受け取ることができるようにしてもよい。
【０１３８】
さらに、上述の実施の形態では、画像検索サーバ３００と無線通信カメラ１００を別の構成として説明したが、無線通信カメラが画像検索サーバの機能を有するようにしてもよい。具体的には、無線通信カメラが有するハードウェア資源の一部を用いて、例えば、画像検索サーバ３００における、３次元画像モデルの作成及び３次元画像モデルからの２次元画像データ生成等を実行するようにしてもよい。この場合、図７に示した、画像検索サーバ３００の動作の諸段階は、無線通信カメラによって実行される。このようにして画像検索サーバ３００の機能を統合した無線通信カメラが、画像検索サーバ３００と同様に、入力画像から３次元画像モデル及び２次元画像データを生成し、生成した２次元画像データを、類似画像を検索するための検索キーとして用いて、画像ＤＢ５００から画像を抽出するようにしてもよい。
【０１３９】
このようにすることで、本発明に係る画像検索システムは、画像検索サーバ３００の機能を内蔵した無線通信カメラによって実現することができる。また、無線通信カメラが画像検索サーバ３００の機能の全てを内蔵するのではなく、例えば、入力画像から３次元画像モデル及び２次元画像データを生成し、生成した２次元画像データを、類似画像を検索するための検索キーとして用いる類似画像検索の処理については、別個画像検索サーバ３００が実行するようにするなど、画像検索サーバ３００の機能を部分的に内蔵するようにしてもよい。
【０１４０】
さらに、画像検索サーバ３００の機能も、部分的にネットワークに接続した他の端末が内蔵するようにしてもよい。また、画像検索サーバ３００の機能を、サーバ装置が単体で実行するのではなく、複数の端末に分担して実現するようにしてもよい。具体的には、図７を参照して説明した、本発明に係る画像検索サーバ３００の動作の諸段階を複数の端末に分担して実行するようにしてもよい。
【０１４１】
上述の実施の形態では、一例として、無線通信カメラ１００としてデジタルカメラを用いて説明したが、本発明はデジタルカメラに限られず、例えばカメラ付きの携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の撮像機能を有する撮像装置にも適用可能である。さらに、本発明の画像検索システムは、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる画像検索プログラムによって動作させることができる。画像検索プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。本発明に係る画像検索サーバの機能を制御するためのプログラムは、当業に公知の言語を任意に用いて記述することが可能であり、例えば、無線通信カメラ又は端末等のハードウェア上で動作する仮想マシンとして実現されてもよい。
【符号の説明】
【０１４２】
１０、１２、１４  画像検索システム
２０  撮像部
３０  信号処理部
３６  画像格納部
３８  通信部
４２  制御部
４８  画像特徴量算出部
１００、１０２  無線通信カメラ
１１０  他の無線通信カメラ
１２０  携帯端末装置
２１０  検索要求受信手段
２２０  疑似３次元形状データ作成手段
２３０  ２次元画像生成手段
２４０  類似画像出力手段
２５０  類似度算出手段
２６０  類似画像出力手段
２７０  制御手段
２８０  記憶手段
２９０  通信接続手段
３００  画像検索サーバ
３０２  画像検索サーバ機能
３４０  通信Ｉ／Ｆ
４１０  サービス・プロバイダ
４９０  ＰＣ
４９２  無線ＬＡＮ装置
４９４  スキャナ
４９６  ペンタブレット
５００  画像ＤＢ
６００  ネットワーク
【図１】
2010237804.tif 000008
【図２】
2010237804.tif 000009
【図３】
2010237804.tif 000010
【図４】
2010237804.tif 000011
【図５】
2010237804.tif 000012
【図６】
2010237804.tif 000013
【図７】
2010237804.tif 000014
【図８】
2010237804.tif 000015
【図９】
2010237804.tif 000016
【図１０】
2010237804.tif 000017