(57)【要約】【課題】ユーザが所望するコンテンツが撮影された画像を効率良く検索する。【解決手段】情報取得端末１は、物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得し、撮影に同期して無線タグに情報送信命令を送信し、無線タグから送信された情報を１つ以上の位置で受信し、蓄積・検索装置２に送信する。蓄積・検索装置２は、情報を受信した位置と時刻から物体の位置データを計算し、対象位置計算段階と画像データとともに受信データを蓄積し、検索のためのキー情報を入力するインタフェースを提供し、キー情報に従い画像データを検索し、検索結果を表示する。【選択図】　　図１
2004070717.tif 000002
【特許請求の範囲】
【請求項１】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得する撮影段階と、
前記撮影段階に同期して前記無線タグに情報要求信号を送信する情報要求信号送信段階を有する画像撮影方法。
【請求項２】
無線タグから送信された情報を１つ以上の位置で受信する情報受信段階と、
請求項１記載の画像撮影方法で取得された画像データとともに前記受信データを蓄積する蓄積段階を有する画像蓄積方法。
【請求項３】
検索のためのキー情報を入力するインタフェースを提供するインタフェース提供段階と、
入力されたキー情報に従い請求項２記載の画像蓄積方法で蓄積された画像データを検索する画像検索段階と、
検索結果を表示する情報提示段階とを有する画像検索方法。
【請求項４】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得する撮影段階と、
前記撮影段階に同期して前記無線タグに情報要求信号を送信する情報要求信号送信段階を有する画像撮影方法。
【請求項５】
無線タグから送信された情報を１つ以上の位置で受信する情報受信段階と、
前記情報を受信した位置と時刻から請求項４記載の物体の位置を計算する物体位置計算段階と、
請求項４記載の画像撮影方法で取得された画像データとともに前記受信データと前記物体の位置データを蓄積する蓄積段階を有する画像蓄積方法。
【請求項６】
検索のためのキー情報を入力するインタフェースを提供するインタフェース提供段階と、
入力されたキー情報に従い請求項５記載の画像蓄積方法で蓄積された画像データを検索する画像検索段階と、
検索結果を表示する情報提示段階とを有する画像検索方法。
【請求項７】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得する撮影手段と、
撮影に同期して前記無線タグに情報要求信号を送信する情報要求信号送信手段を有する画像撮影装置。
【請求項８】
無線タグから送信された情報を１つ以上の位置で受信する情報受信手段と、
請求項７記載の画像撮影装置で取得された画像データとともに受信データを蓄積する蓄積手段を有する画像蓄積装置。
【請求項９】
検索のためのキー情報を入力するインタフェースを提供するインタフェース提供手段と、
キー情報に従い請求項８記載の画像蓄積装置で蓄積された画像データを検索する画像検索手段と、
検索結果を表示する情報提示手段を有する画像検索装置。
【請求項１０】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得する撮影手段と、
撮影に同期して無線タグに情報要求信号を送信する情報要求信号送信手段を有する画像撮影装置。
【請求項１１】
無線タグから送信された情報を１つ以上の位置で受信する情報受信手段と、
前記情報を受信した位置と時刻から請求項１０記載の物体の位置データを計算する物体位置計算手段と、
請求項１０記載の画像撮影装置で取得された画像データとともに前記受信データと前記物体の位置データを蓄積する蓄積手段を有する画像蓄積装置。
【請求項１２】
検索のためのキー情報を入力するインタフェースを提供するインタフェース提供手段と、
キー情報に従い請求項１１記載の画像蓄積装置で蓄積された画像データを検索する画像検索手段と、
検索結果を表示する情報提示手段とを有する画像検索装置。
【請求項１３】
請求項１から６のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１から６のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象を撮影して蓄積し、ユーザが見たい対象（以下単にコンテンツ）が写っている画像を検索する画像蓄積検索技術に関する。
【０００２】
【従来の技術】
写真、ＴＶ映像、ビデオ映像のように、画像または動画像（以降、単に画像データ）が一般的なものとなり、画像データの増大に伴い画像データ蓄積検索技術が重要となっている。
【０００３】
従来の画像蓄積検索技術は、大別して▲１▼手作業、▲２▼自動キー情報付加、▲３▼画像情報抽出の３技術に分類できる。
【０００４】
▲１▼の手作業では、画像データを蓄積するメディア（以下単にメディア）に手作業で時間、場所、撮影者、タイトル名等を記載して蓄積しておき、それらをキー情報として画像データを検索していた。例えば、アルバムやＶＨＳビデオの背表紙にキー情報を記載したり、デジタル画像のファイル名やディレクトリにキー情報を付記したりしている。また、画像フォーマット自体にキー情報を埋め込む方法もある。
【０００５】
▲２▼の自動キー情報付加では、画像データの撮影機構に同期して時刻情報やＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）情報を自動取得してキー情報とし、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などのメディアに記載している。
【０００６】
▲３▼の画像情報抽出では、画像から色ヒストグラムなどの特徴を抽出したり、画像から対象を認識したりして、結果をキー情報としてＨＤＤなどのメディアに記載している。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の従来の方法では、大量の画像データから、画像データに写っているコンテンツをキー情報として検索するには、以下のような問題点があった。
▲１▼　大量の画像データに情報を手作業で入力するのは手間がかかり、現実的ではない。
▲２▼　画像に写っているコンテンツの内容を自動で付与する技術がない。また、コンテンツ内容を画像データに付与できたとしても、コンテンツを特定するキーは複数の概念のレベル（例えば、コップ、入れ物、紙コップ）があるため、ユーザの所望する結果が必ずしも得られない。
▲３▼　画像データの特徴を検索キーとした検索は、対象を特定して検索できないため、直感的な検索が実現できない。
【０００８】
本発明の目的は、大量の画像データに対してコンテンツの内容を自動的に付与し、かつユーザの所望する直感的な検索を実施できる方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明では、以下の手段で課題を解決し、コンテンツをキー情報とした画像蓄積検索技術を提供する。
【００１０】
キー情報としたいコンテンツに対して様々な情報を記載した無線タグ（参考文献：Ｋｌａｕｓ　Ｆｉｎｋｅｎｚｅｌｌｅｒ　著。「ＲＦＩＤハンドブック」）を付与し、画像を撮影するのと同期して無線タグへの情報送信を要求し、複数の無線タグ検出装置で無線タグの情報を受信し、画像データとともに画像内のコンテンツ情報をメディアに記録する。
【００１１】
キー情報としたいコンテンツに対して様々な情報を記載した無線タグを付与し、画像を撮影するのと同期して無線タグへの情報送信を要求し、複数の無線タグ検出装置で無線タグの情報を受信し、その受信位置と時刻の関係から無線タグの位置を計算し、画像データとともに画像内のコンテンツ名を付与しておき、コンテンツ名に対して類似情報を定義して、検索の際に利用する。
【００１２】
したがって、本発明は下記の利点がある。
【００１３】
画像データとともに撮影されたコンテンツの情報を精度高く蓄積できるため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００１４】
画像データとともに撮影されたコンテンツの情報及びその位置情報を精度高く蓄積できるため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００１５】
無線タグに付与されたコンテンツ名に、類似したコンテンツ名を定義できるため、検索キーとコンテンツ名が完全に一致していなくても、ユーザの所望する検索が実現できる。
【００１６】
他のさまざまな情報取得手段（ＧＰＳ、時刻、撮影者）と組み合わせることにより、ユーザは、コンテンツ内容、画像中のコンテンツ位置、無線タグに記載された情報、ＧＰＳ、時刻、撮影者、を検索キーとして画像検索できる。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は本発明が適用された画像検索システムの構成図である。本画像検索システムはビデオ映像蓄積・検索システムで、情報取得端末１と蓄積・検索装置２とネットワーク３から構成される。情報取得端末１は、画像とコンテンツ情報を取得し、ネットワーク３を介して情報を蓄積・検索装置２に送信する。蓄積・検索装置２は、受信した情報を蓄積する。また、ユーザに検索用インタフェースを提供し、入力されたキー情報に従い画像データを検索し、検索結果を送信する。本システムにより、例えば、自分の子供が写っているシーンを素早く高精度に検索することが可能となる。ただし、子供には、服や帽子等に物体情報を記録した無線タグが付与されていることが前提となる。本例では、無線タグには、コンテンツＩＤ：００３、コンテンツ名：ｔａｒｏ、性別：男、年齢：５歳、という無線タグ情報が付加されている。
【００１９】
図２は情報取得端末１と蓄積・検索装置２の構成を示している。情報取得端末１は、画像を撮影する画像撮影部１１と、無線タグに情報送信を要求する信号を送信する情報要求信号送信部１２と、無線タグからの情報を受信する無線タグ情報受信部１３と、受信した情報をネットワーク３を介して蓄積・検索装置２に送信する情報送信部１７から構成されている。
【００２０】
蓄積・検索装置２は、情報取得端末１から送信された情報やユーザから入力さる検索キーを受信したり検索結果を送信する情報送受信部２１と、情報取得端末１から送信された情報を蓄積する蓄積部２２と、ユーザに検索のためのインタフェースを提供する検索キー入力インタフェース提供部２３と、蓄積された情報からユーザによって入力された検索キーにマッチする情報を検索する検索部２４と、検索結果を表示する検索結果表示部２５から構成される。
【００２１】
図３は情報取得端末１と蓄積・検索装置２の動作を示すフローチャートである。
１）情報取得端末１での情報取得（図３（１））
画像撮影部１１で画像を撮影し（ステップ１０１）、これに同期して情報要求信号送信部１２から無線タグに対して情報送信を要求する信号を送信し（ステップ１０２）、無線タグから送信された情報を無線タグ情報受信部１３で受信し（ステップ１０３）、画像データと無線タグより送信された情報（無線タグ情報）を情報送信部１７より蓄積・検索装置２に送信する。
２）蓄積・検索装置２での情報の蓄積（図３（２））
情報取得端末１より送信された情報を情報送受信部２１が受信し（ステップ１１１）、蓄積部２２に受信された情報を蓄積する（ステップ１１２）。
３）蓄積・検索装置２での情報の検索（図３（３））
検索キー入力インタフェース提供部２３よりユーザに検索キー入力インタフェースを提供し（ステップ１２１）、検索部２４が入力されたキー情報により蓄積部２２を検索し（ステップ１２２）、検索結果表示部２５により検索結果を表示する（ステップ１２３）。
【００２２】
図４は情報取得端末１の他の構成を示す図である。情報取得端末１は、画像を撮影する画像撮影部１１と、無線タグに情報送信を要求する信号を送信する情報要求信号送信部１２と、無線タグからの情報を受信し、かつ情報を要求した時刻と受信した時刻の差から受信にかかった時間（受信時間）を計測する３つの無線タグ情報受信部１３，１４，１５と、各無線タグ情報受信部１３，１４，１５の位置関係および受信時間から物体の位置を計測する物体位置計測部１６と、受信した情報をネットワーク３を介して蓄積・検索装置２に送信する情報送信部１７から構成されている。
【００２３】
図５は、情報要求信号送信部１２と３つの無線タグ情報受信部１３，１４，１５の位置関係を例示した図である。各無線タグ情報受信部１３，１４，１５は、一辺の長さがａの三角形の各頂点上に配置されている。また、情報要求信号送信部１２は無線タグ情報受信部１３と同位置に配置されている。さらに、画像撮影のためのレンズの中心は前記三角形の重心と一致する。
【００２４】
図６は、撮影される画像上の物体の座標と各無線タグ情報受信部１３，１４，１５の位置関係を示した図である。レンズ中心と画像中心は一致しているとする。各無線タグ情報受信部１３，１４，１５の受信時間をそれぞれｔ１，ｔ２，ｔ３、情報要求信号送信部１２が情報を要求し無線タグが情報を送信するまでの時間（要求時間）をｔ０（ただし未知）とすると、無線タグから各無線タグ情報受信部１３，１４，１５までの情報伝達時間はそれぞれｔ１−ｔ０，ｔ２−ｔ０，ｔ３−ｔ０となる。ただし、情報要求信号送信部１２と無線タグ情報受信部１３は同位置に配置されているため、無線タグ上での処理時間をｐ（計測可能）とすれば、ｔ１−ｔ０＝ｔ０−ｐ（ｐは情報要求信号送信部１２から無線タグまでの情報伝達時間）であるから、ｔ０＝（ｔ１＋ｐ）／２となる。このとき、人（コンテンツ）が写っている空間上の座標（Ｃｘ，Ｃｙ，Ｃｚ）と画像上の座標（Ｇｘ，Ｇｙ）は、以下の式で計算でき、物体位置計測部１６で求められる。ただし、光速をｃ、レンズの焦点距離をｆとする。
【００２５】
【数１】
2004070717.tif 000003
【００２６】
図７は図４の情報取得端末１の動作を示すフローチャートである。
【００２７】
画像撮影部１１で画像を撮影し（ステップ２０１）、これに同期して情報要求信号送信部１２から無線タグに対して情報の送信を要求し（ステップ２０２）、無線タグから送信された情報を無線タグ情報受信部１３，１４，１５で受信し（ステップ２０３）、物体位置計測部１６で対象位置を計算し（ステップ２０４）、画像データと無線タグより送信された情報（無線タグ情報）と対象位置情報を情報送信部１７より蓄積・検索装置２に送信する（ステップ２０５）。
【００２８】
図８は蓄積・検索装置２の他の例の構成図である。
【００２９】
蓄積・検索装置２は、情報取得端末１から送信された情報やユーザから入力された検索キーを受信したり、検索結果を送信する情報送受信部２１と、情報取得端末１から送信された情報を蓄積する蓄積部２２と、ユーザに検索のためのインタフェースを提供する検索キー入力インタフェース提供部２３と、ユーザが入力した検索キーの既定義の類似情報（狭義情報、広義情報、関連情報）を格納し、これらを類似検索キーとして求める類似情報提供部２６と、蓄積部２２に蓄積された情報からユーザによって入力された検索キーおよび類似検索キーにマッチする情報を検索する検索部２４と、検索結果を表示する検索結果表示部２５から構成される。
【００３０】
図９は図８の蓄積・検索装置２の検索動作を示すフローチャートである。
【００３１】
検索キー入力インタフェース提供部２３によりユーザに検索キー入力インタフェースを提供し（ステップ３０１）、ユーザが入力した検索キーの狭義情報が定義されていれば類似情報提供部２６より狭義情報を抽出し（ステップ３０２）、検索部２４が該狭義情報により蓄積部２２を検索し（ステップ３０３）、検索キーの広義情報が定義されていれば、広義情報を抽出し（ステップ３０４）、該広義情報により蓄積部２２を検索し（ステップ３０５）、検索キーの関連情報が定義されていれば関連情報を抽出し（ステップ３０６）、該関連情報により蓄積部２２を検索し（ステップ３０７）、検索キーにより蓄積部２２の画像を検索し（ステップ３０８）、検索結果表示部２５により検索結果を表示する（ステップ３０９）。
【００３２】
図１０は検索キー入力ユーザインタフェースの例を示している。ユーザは検索キー（名前、年齢、性別、人の写っている位置）の条件をＡＮＤ／ＯＲで組み合わせて検索できる。本例の場合、コンテンツ名が「ｔａｒｏ」であり、年齢が「５歳」であり、かつ画像の中央近辺に対象が写っている画像を検索している。例えば「ｔａｒｏ」の狭義情報として「太郎」が定義されている場合、検索結果は、図１１のように５歳の「ｔａｒｏ」と「太郎」が画像中央に写っている画像が検索結果表示部２５により表示される。
【００３３】
なお、本実施形態に記載した検索方法はあくまでも一例であり、本発明はこれに限定されるものではない。例えば、検索に類義情報検索機能を用いるかどうかをユーザが選択できるインタフェースを提供してもよい。
【００３４】
なお、以上説明した画像撮影、蓄積、検索方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００３５】
【発明の効果】
以上説明したように、本発明は、下記の効果がある。
【００３６】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得し、撮影段階に同期して無線タグに情報要求信号を送信し、無線タグから送信された情報を１つ以上の位置で受信し、画像データとともに受信データを蓄積し、検索のためのキー情報を入力するインターフェースを提供し、キー情報に従い画像データを検索し、検索結果を表示するため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００３７】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得し、撮影段階に同期して無線タグに情報送信要求信号を送信し、無線タグから送信された情報を１つ以上の位置で受信し、情報を受信した位置と時刻から物体の位置データを計算し、物体位置と画像データとともに受信データを蓄積し、検索のためのキー情報を入力するインタフェースを提供し、キー情報に従い画像データを検索し、検索結果を表示することにより、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像検索システムの構成図である。
【図２】情報取得端末１と蓄積・検索装置２の構成図である。
【図３】図２中の情報取得端末１と蓄積・検索装置２の動作を示すフローチャートである。
【図４】情報取得端末１の他の例の構成図である。
【図５】情報要求部１２と無線タグ情報受信部１３，１４，１５の位置関係を示す図である。
【図６】撮影される画像上の座標と無線タグ情報受信部１３，１４，１５の位置関係を示す図である。
【図７】図４の情報取得端末１の動作を示すフローチャートである。
【図８】蓄積・検索装置２の他の例の構成図である。
【図９】図８の蓄積・検索装置２の検索動作を示すフローチャートである。
【図１０】検索キーの入力ユーザインタフェースの例を示す図である。
【図１１】検索結果の表示例を示す図である。
【符号の説明】
１　　情報取得端末
２　　蓄積・検索装置
３　　ネットワーク
１１　　画像撮影部
１２　　情報要求信号送信部
１３，１４，１５　無線タグ情報受信部
１６　　物体位置計測部
１７　　情報送信部
２１　　情報送受信部
２２　　蓄積部
２３　　検索キー入力インタフェース提供部
２４　　検索部
２５　　検索結果表示部
２６　　類似情報提供部
１０１〜１０４，１１１，１１２，１２１〜１２３　　ステップ
２０１〜２０５，３０１〜３０９　　ステップ
【図１】
2004070717.tif 000004
【図２】
2004070717.tif 000005
【図３】
2004070717.tif 000006
【図４】
2004070717.tif 000007
【図５】
2004070717.tif 000008
【図６】
2004070717.tif 000009
【図７】
2004070717.tif 000010
【図８】
2004070717.tif 000011
【図９】
2004070717.tif 000012
【図１０】
2004070717.tif 000013
【図１１】
2004070717.tif 000014