(57)【要約】【課題】従来技術では、観光地やテーマパークなど通信端末の位置に関わる情報量が多くなると検索結果の情報も多くなり、検索結果の中からユーザがほしい情報をユーザの手によってさらに選択をしなくては所望の情報が得られない。それに加えて、従来技術ではユーザの位置から見える映像から情報を検索することに対して考慮されておらず、映像に関する情報を検索する場合、位置や文字情報から検索を行った結果を取得し、取得した情報の中からユーザが選択して所望の映像に関する情報を探し出さなくてはならない。【解決手段】上記課題を達成する為に、本発明では、それぞれの記録情報に加え前記記録情報に関する位置情報と、映像或いは音声データと、絞込情報も記録した１つ以上のデータベースに対して検索を行う方法によって解決する。また、映像或いは音声情報の特徴を抽出する機能を有する通信端末を用いることによって解決する。【選択図】  図１
2005062929.tif 000002
【特許請求の範囲】
【請求項１】
通信端末から送信された情報を検索する情報検索方法において、
通信端末から送信された位置情報に基いて第１の検索を行い、
前記第１の検索の結果に該当する情報があると判断されたときは、前記通信端末に対して、映像又は音声に関する情報の送信を要求し、
前記通信端末から前記要求に従い送信された検索情報に基いて第２の検索を行い、
前記第２の検索の結果を前記通信端末に送信することを特徴とする情報検索方法。
【請求項２】
通信端末から情報を送信して情報を検索する情報検索方法において、
通信端末からサーバに位置情報を送信し、
前記サーバにおいて前記位置情報に基いてなされた第１の検索の結果に該当する情報があると判断されたときは、前記サーバからの映像又は音声に関する情報の送信の要求を受信し、
前記通信端末から前記要求に従い映像又は音声に関する情報を送信し、
前記サーバにおいて前記映像又は音声に関する情報に基いてなされた第２の検索の結果を受信し、
前記第２の検索の結果を前記通信端末の表示装置に出力することを特徴とする情報検索方法。
【請求項３】
請求項１又は２記載の情報検索方法において、
前記第１の検索は、前記位置情報が示す位置範囲内の情報を有するデータベースサーバの有無を検索することを特徴とする情報検索方法。
【請求項４】
請求項１又は２記載の情報検索方法において、
前記映像又は音声に関する情報は、映像データ、音声データ、映像若しくは音声の特徴を抽出した特徴データ、又は、映像を撮影若しくは音声を録音した位置、方向、距離若しくは時間を示す絞込情報のうちの何れかであることを特徴とする情報検索方法。
【請求項５】
通信網を介してサーバとの間で送受信を行う通信端末であって、
前記通信網に接続可能な通信装置と、
前記通信端末の位置を計測する位置計測器と、
映像を撮影する撮影手段と、
前記通信装置を制御する制御装置とを備え、
前記制御手段は、前記通信装置に対して、前記位置計測器により計測された位置に関する情報を前記サーバに送信し、前記位置に関する情報に基いて送信されるサーバからの情報を受信し、前記撮影手段により撮影された映像に関する情報を、前記サーバからの情報に従って該サーバに送信し、前記映像に関する情報に基いて送信されるサーバからの情報を受信するように制御することを特徴とする通信端末。
【請求項６】
請求項５記載の通信端末において、
前記映像に関する情報は、映像データ、映像の特徴を抽出した特徴データ、又は映像を撮影した位置、方向、距離若しくは時間を示す絞込情報のうちの何れかであることを特徴とする通信端末。
【請求項７】
通信端末からサーバにアクセスして情報を検索する情報検索方法において、
前記サーバが２つ以上のデータベースに記録された情報に対して検索を行う場合、まずそれぞれのデータベースが記録している情報に関する位置範囲をサーバに登録しておき、通信端末は前記サーバへ位置情報を送り検索依頼をすることで１つ以上のデータベースの選択を行ってから、通信端末で撮影した映像データ或いは録音した音声データとデータベース上のデータとの検索を行うことを特徴とする情報検索方法。
【請求項８】
通信端末からサーバへアクセスして情報を検索する情報検索方法において、
前記サーバがアクセスするデータベースは、データベースに記録されたそれぞれの情報に加え、それぞれの情報に対して１つ以上の絞込条件となる情報と、それぞれの情報に対して映像データ若しくは音声データ、又は映像データ及び音声データを記録しておき、
通信端末は、検索対象の映像データ取得時に関する情報或いは検索対象の音声データ取得時に関する情報を絞込条件として取得する機能を有し、
通信端末から前記絞込条件を送ることでデータベース上の検索対象を順次絞り込んでいき、通信端末に存在する絞込条件がなくなった場合に通信端末から映像データ或いは音声データ或いは映像データと音声データを送ることで、検索対象情報を絞り込んでから通信端末で撮影した映像データ或いは録音した音声データとデータベース上のデータとの検索を行うことを特徴とする情報検索方法。
【請求項９】
通信端末からサーバへアクセスして情報を検索する情報検索方法において、
映像或いは音声情報の検索時に用いる検索手法に必要な情報の抽出指示を受け、前記抽出指示に応じて撮影した映像データ或いは録音した音声データから検索に用いる情報を抽出し、データベースに検索依頼を行うことを特徴とする情報検索方法。
【請求項１０】
サーバへアクセスして情報を検索する情報検索方法において、
映像或いは音声情報の検索時に用いる検索手法に必要な、通信端末で撮影した映像データ或いは録音した音声データの特徴データを通信端末で抽出し、前記抽出した特徴データによりデータベースに検索依頼を行い、検索情報が絞り込めない場合は映像データ或いは音声データをデータベースへ送信して検索依頼を行い、前記絞込条件で絞り込んだ結果をもとに検索を行うことを特徴とする情報検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信端末からネットワーク上に置かれたサーバへ情報検索を行うシステムに関するものであり、例えば、位置情報と映像データや音楽データ等とを用いた情報検索システムに関する。
【０００２】
【従来の技術】
従来、通信端末の位置情報を用いてＷＷＷホームページ上の情報を検索するシステムとして、通信端末から情報検索サーバへ位置情報を送信し、当該位置情報に基いて検索された情報を情報検索サーバから通信端末に送信するシステムが提案されていた（例えば、特許文献１参照）。
【０００３】
また、携帯端末で他の情報処理装置上に蓄積された特定地域向けの情報を受信、検索する情報表示装置として、通信端末の位置を情報処理装置に通知して、各地域ごとにその地域向けの情報を検索して表示するシステムが提案されていた（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２０００−２５０８４２号公報（第２５頁、第１図）
【特許文献２】
特開平１０−４０２５９号公報（第６頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、これらの従来技術では、検索結果の情報量が増大した場合、検索結果の中からユーザの所望する情報を効率的に得ることができない。例えば、観光地やテーマパークなど通信端末の位置に関わる情報量が多くなると検索結果の情報量も多くなり、検索結果の中からユーザがほしい情報をユーザの手によってさらに選択をしなくては所望の情報が得られない。
【０００６】
また、従来技術では、位置情報以外の映像データ・音声データなどを用いて検索結果を絞り込むことが考慮されていないため、上記と同様、効率的に所望の情報を得ることができない。例えば、ユーザの位置から見える映像に関する情報を検索する場合には、位置情報から検索を行った結果をまず取得し、取得した情報の中からユーザが選択して所望の映像に関する情報を探し出さなくてはならない。さらに、従来技術では、テレビやラジオから聞こえてきた音楽や、動物園で聞こえた動物の鳴き声といった音に関する情報を検索する場合は考慮されておらず、映像データ・音声データ等を用いて検索をすることができないという問題もある。
【０００７】
本発明は、上記問題を解決すべく、ユーザの所望する情報を効率的に得られるようにして利便性を高めることを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本願発明は、通信端末から送信された情報を検索する情報検索方法において、通信端末から送信された位置情報に基いて第１の検索を行い、前記第１の検索の結果に該当する情報があると判断されたときは、前記通信端末に対して、映像又は音声に関する情報の送信を要求し、前記通信端末から前記要求に従い送信された検索情報に基いて第２の検索を行い、前記第２の検索の結果を前記通信端末に送信することを特徴とする。
【０００９】
また、上記課題を解決するため、本願発明は、通信端末から情報を送信して情報を検索する情報検索方法において、通信端末からサーバに位置情報を送信し、前記サーバにおいて前記位置情報に基いてなされた第１の検索の結果に該当する情報があると判断されたときは、前記サーバからの映像又は音声に関する情報の送信の要求を受信し、前記通信端末から前記要求に従い映像又は音声に関する情報を送信し、前記サーバにおいて前記映像又は音声に関する情報に基いてなされた第２の検索の結果を受信し、前記第２の検索の結果を前記通信端末の表示装置に出力することを特徴とする。
【００１０】
また、上記課題を解決するため、本願発明は、通信網を介してサーバとの間で送受信を行う通信端末であって、前記通信網に接続可能な通信装置と、前記通信端末の位置を計測する位置計測器と、映像を撮影する撮影手段と、前記通信装置を制御する制御装置とを備え、前記制御手段は、前記通信装置に対して、前記位置計測器により計測された位置に関する情報を前記サーバに送信し、前記位置に関する情報に基いて送信される、サーバからの情報を受信し、前記撮影手段により撮影された映像に関する情報を、前記サーバからの情報に従って該サーバに送信し、前記映像に関する情報に基いて送信される、サーバからの情報を受信するように制御することを特徴とする。
【００１１】
また、上記課題を達成するため、本願発明は、それぞれの記録情報に加え前記記録情報に関する位置情報と、映像或いは音声データと、絞込情報も記録した１つ以上のデータベースに対して検索を行う方法によって解決する。また、映像或いは音声情報の特徴を抽出する機能を有する通信端末を用いることによって解決する。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１３】
図１は、本発明における情報検索システムの構成を示したものである。まず、実施例１について、図面を用いて説明する。
【００１４】
通信端末１は、通信網２を介して代表サーバ３やデータベースサーバ群４への通信機能を有した端末である。また、図２に示すように、通信端末１はマイク１０１、カメラ１０２、コンパス１０３、位置計測器１０４、距離計測器１０５、時計１０６、入力装置１０７、表示装置１０８、映像特徴抽出装置１０９、通信装置１１０、制御装置１１１を有している。データベースサーバ群４は、それぞれ固有の位置情報を有する１つ以上のデータベースサーバで構成されている。例えば、データベースサーバ１（４０１）は京都の地区Ａと地区Ｂに関する情報を有しており、データベースサーバ２（４０２）は京都の地区Ａと地区Ｃに関する情報を有しており、データベースサーバ３（４０３）は奈良の地区Ｄに関する情報を有しているものとする。ここで、データベースサーバ１（４０１）、２（４０２）、３（４０３）がそれぞれ有する固有の位置情報の範囲は、その広さ・大きさを問わず、小規模なものから大規模なもののいずれであっても構わない。例えば、テーマパーク施設のような近接した範囲や小規模な範囲でも構わないし、日本各地や世界各地の情報を有している、といった大規模な範囲であっても構わない。
【００１５】
図３は、データベースサーバ１（４０１）、２（４０２）、３（４０３）に記録されている情報例を示す図である。ここで、図３上段は、例えば京都の地区Ａに関する情報を示すものであり、図３下段は、実際にデータベースサーバに記録される情報を示すもので、それぞれの位置に所定の施設等があることを示すものである。データベースサーバ１（４０１）、２（４０２）、３（４０３）には、位置情報５０１、ＩＮＤＥＸ５０２、画像データ５０３、名称５０４、情報１（５０５）、情報２（５０６）が１つの情報セット５として記録されている。また、同一位置情報を持った情報セット５が、一つ以上記録されている場合もある。
【００１６】
図４は本発明による第１の実施例における情報検索方法を示す図である。
【００１７】
例えば、ユーザが京都の地区Ａを旅行中にユーザが知らない施設を訪れ、前記施設の情報を検索する場合の図である。
【００１８】
データベースサーバ群４は、予め代表サーバ３へ保有情報の位置範囲を登録しておく（Ｓ１）。データベースサーバ１（４０１）は、京都の地区Ａと地区Ｂの情報を有していることを代表サーバ３へ登録し、データベースサーバ２（４０２）は京都の地区Ａと地区Ｃの情報を有していることを代表サーバ３へ登録し、データベースサーバ３（４０３）は奈良の地区Ｄの情報を有していることを代表サーバ３へ登録しておく。
【００１９】
ユーザは、通信端末１を用いてユーザが知りたい情報（例えば地区Ａにある建造物（例えば東大寺大仏の手））の映像を通信端末１が有するカメラ１０２を用いて撮影する。さらに位置計測器１０４により現在位置の計測を行う。このとき、前記映像撮影時に自動的に位置計測器により現在位置を計測してもよい。
【００２０】
通信端末１は、まず代表サーバ３へ前記取得した位置情報を送信（Ｓ２）し、前記位置情報に関する情報を有したデータベースサーバの有無を問い合わせる（Ｓ３）。代表サーバ３は、通信端末１から送られた位置情報：地区Ａの座標（３、２）とデータベースサーバ群４から登録された位置情報の範囲とを比較し、通信端末１から送られた位置情報が、前記データベースサーバ群４から登録されている位置範囲内となっているデータベースサーバを検索する。即ち、前記位置情報が示す位置範囲内の情報を有するデータベースサーバの有無を検索する（第１の検索）。
【００２１】
検索の結果、位置範囲内となるデータベースサーバが存在しない場合には（Ｓ３：無し）、代表サーバ３から通信端末１へ該当する情報が存在しないことが通知され、終了する。一方、位置範囲内となるデータベースサーバ（図４においてデータベースサーバ１（４０１）とデータベースサーバ２（４０２））が存在する場合には（Ｓ３：有り）、該当する情報があると判断され、代表サーバ３から通信端末１へ検索映像データ送信要求が送られる（Ｓ４）。検索映像データ送信要求を受け取った通信端末１は、送信された検索映像データ送信要求に従って代表サーバ３へ検索映像データを送信する（Ｓ５）。ここでいう検索映像データとは、例えばユーザがカメラ１０２を用いて撮影した画像であり、上記例でいえば東大寺大仏の手の画像を意味する。前記検索映像データを受け取った代表サーバ３は、前記範囲内として見つかった各データベースサーバへ前記検索映像データと前記位置情報：地区Ａの座標（３，２）を送信し検索依頼を行い（Ｓ６）、各データベースサーバにおいて検索が行われる（第２の検索）。
【００２２】
図４はデータベースサーバ１（４０１）が地区Ａの座標（３，２）に関する情報を有していない場合を示すものとし、データベースサーバ１（４０１）は、前記検索映像データと前記位置情報：地区Ａの座標（３，２）を受け取り、前記位置情報：地区Ａの座標（３，２）に関する情報の有無を検索（Ｓ７）し、情報を有していないので検索結果対象が存在しないことを送信する（Ｓ８）。
【００２３】
代表サーバ３から、位置範囲内となるもうひとつのデータベースサーバ２（４０２）に対して検索依頼を行う（Ｓ９）。図４はデータベースサーバ２（４０２）が地区Ａの座標（３、２）に関する情報を有する場合を示すものとし、データベースサーバ２（４０２）は、図３に示す情報セット５のデータを有し、地区Ａの座標（３，２）に関する情報セット５を３つ、地区Ａの座標（５，４）に関する情報セット５を１つ、地区Ａの座標（２，６）に関する情報セット５を２つ有しているものとする。データベースサーバ２（４０２）は、前記位置情報：地区Ａの座標（３，２）と前記検索映像データを受け取り、前記位置情報：地区Ａの座標（３，２）に関する情報の有無を検索する（Ｓ１０）。前記検索（Ｓ１０）の結果、データベースサーバ２（４０２）は地区Ａの座標（３，２）に関する情報として、３つの情報セット５を有していることが分かる。データベースサーバ２（４０２）は、前記３つの情報セット５が有する画像データと前記検索映像データとの比較を行い、もっとも類似する情報セット５を検出する。このとき、類似する映像データの検出には、輝度分布相関法：画像中の輝度分布相関を比較して類似画像を見つける手法や、残差マッチング法：マスタ画像とターゲット画像を上下左右ずらしながら重ね合わせの残差が最小となるものを見つけ出す手法、などを用いることで、類似する画像を有する情報セット５を見つけ出すことが可能である。データベースサーバ２（４０２）は、前記検索でもっとも類似する画像を有する情報セット５の情報を代表サーバ３へ送る（Ｓ１１）。代表サーバ３は通信端末１に対して課金を行い（Ｓ１２）、前記データベースサーバ２（４０２）から送られた情報セット５を通信端末へ送信する（Ｓ１３）。そして、通信端末の表示画面に送信された検索の結果が表示され、ユーザはそれを見て検索の結果を把握することができるようになる。
【００２４】
以上の通り、本実施例により、位置情報と映像情報とを用いた情報検索方法を実現し、ユーザの所望する情報を効率的に得ることができる。また、複数に分散されたデータベースサーバ１（４０１）、２（４０２）、３（４０３）をユーザが意識することなく、位置情報によって複数に分散されたデータベースサーバ１（４０１）、２（４０２）、３（４０３）を自動的に選択して使用することができる。また、位置情報によって大量の画像データから検索候補となる画像データを絞り込むことができ、画像データの検索候補数を減らすことで検索時間にかかる時間と検索の精度を上げることが可能となる。さらに、まず位置情報により位置範囲内の情報の有無を確認し、位置範囲内の情報がある場合にのみ映像情報を送信するという２段階のステップを経ることにより、位置範囲内の情報がない場合に映像情報を送信する必要をなくし、通信網のトラフィック軽減やユーザの通信費の低減を図ることが可能となる。
【００２５】
なお、本実施例においては、映像データを用いた検索の手法について説明したが、音声データを用いた検索も可能である。即ち、「検索映像データ」ではなく、「検索音声データ」を通信端末から代表サーバ３に送信し、この音声データを用いて検索をすることも可能である。
【００２６】
次に実施例２について、図面を用いて説明する。
【００２７】
図５は本発明における第２の実施の形態を示す図である。第２の実施の形態では、第１の実施の形態における動作に対して、データベースサーバにおける情報検索部分（Ｓ１４）を変更したものである。具体的には、第１の実施例では、通信端末から位置情報を送信して検索した後に検索映像データを送信して検索するのに対し、第２の実施例では、位置情報を検索した後に検索映像データの特徴を抽出した特徴データを送信して検索し、これにより検索結果が得られないときに検索映像データを送信して検索する。また、第１の実施例では検索結果の個数に関わりなくデータベースサーバから検索データを送信するが、第２の実施例では検索結果が１個の場合と２個以上の場合とで異なる。
【００２８】
検索クライアント６（第１の実施例における代表サーバ３、もしくは第１の実施例における通信端末１、どちらでも構わず限定しない）からデータベースサーバ７へ位置情報を送信する（Ｓ１５）。位置情報を受け取ったデータベースサーバ７は、前記送られてきた位置情報に該当する情報セット５が無い場合、検索クライアント６に対象がないことを通知する（Ｓ１６：無し）。  該当する情報があり（Ｓ１６：有り）、前記該当する情報の個数が１個の場合、前記該当する情報セット５を検索クライアント６に送信して終了する（Ｓ１７：１個）。該当する情報があり、前記情報個数が２個以上の場合（Ｓ１７：２個以上）、データベースサーバ７から検索クライアント６へ特徴データ送信要求を送る（Ｓ１８）。特徴データ送信要求を受けた検索クライアント６は、映像データの特徴を抽出する（Ｓ１９）。このとき、検索クライアント６が通信端末１の場合、通信端末１の映像特徴抽出装置１０９において映像データの特徴抽出（Ｓ１９）がなされる。検索クライアント６が代表サーバ３の場合、代表サーバにおいて映像データの特徴抽出（Ｓ１９）がなされる。前記映像データの特徴抽出とは、例えば前記輝度相関法に用いる映像の輝度分布情報の抽出や、前記映像データを微分して映像データ中の物体の輪郭情報を抽出するなど、前記類似する映像データの検出に用いることができ、かつ映像データそのもののデータ量に比べて少ないデータ量となる情報を抽出することを指す。検索クライアント６は、映像データから特徴データを抽出してデータベースサーバへ送信する（Ｓ２０）。情報個数が２個以上の場合に特徴データを送信するのは、特徴データを用いて情報個数を絞りこむためである。
【００２９】
前記抽出された特徴データを受け取ったデータベースサーバ７は、前記特徴データによって映像データの検索を行う（Ｓ２１）。検索の結果、情報セット５が１個であった場合、検索クライアント６へ情報セット５を送信して終了する（Ｓ２２：１個）。２個以上の場合（Ｓ２２：２個以上）、データベースサーバ７から検索クライアント６へ映像データ送信要求を送り（Ｓ２３）、検索クライアント６はデータベースサーバ７へ映像データを送信する（Ｓ２４）。映像データを受け取ったデータベースサーバ７は、第１の実施の形態における映像データの情報検索と同じように、残差マッチング法や輝度分布相関法などを用いて類似する画像を有する情報セット５を見つけ出す（Ｓ２５）。データベースサーバ７は、検索した結果見つかった情報セット５を検索クライアント６へ送信し（Ｓ２６）、終了する。検索結果の情報が２個以上の場合に映像データの送信を要求するのは、映像データを用いて検索結果を更に絞り込むためである。
【００３０】
また図示しないが、ユーザ操作により任意の個所において検索クライアント６からデータベースサーバ７へ検索結果送信要求を送ることで、データベースサーバ７は要求を受け取った時点での検索結果をすべて送信して終了する。
【００３１】
以上の通り、本実施例により、位置情報と映像データの特徴データだけで映像データの検索が可能なケースにおいては、映像データをデータベースサーバへ送らなくても映像データの検索が可能となる。また、位置情報と映像の特徴データだけで映像データの検索結果を特定できない場合においても、位置情報を用いることで検索対象となる画像データを絞ることができる。また、画像情報の特徴を抽出し、画像データよりも少ないデータ量を送信し、通信網へ送出するデータ量を抑えた状態でも検索対象となる画像の候補数を減らすことが可能となる。通信網へ送出するデータ量を抑えることは、通信網のトラフィック低減やユーザにかかる通信費の低減に効果がある。また、候補数を減らした時点でユーザ操作によって映像データを送らずに検索結果を取得することが可能である。さらに、情報個数や検索結果の個数が２個以上である場合には特徴データや映像データを送信し、これらを用いて検索する一方、情報個数や検索結果の個数が１個である場合には特徴データや映像データの送信しないため、送信するデータ量を少なくすることが可能となる。
【００３２】
なお、Ｓ１７においては情報個数が１個であるか２個以上であるか、Ｓ２２においては検索結果の個数が１個であるか２個以上であるかにより場合分けをしているが、場合分けはこれに限られることなく、ある一定の個数や情報量を閾値として場合分けをしても良い。
【００３３】
また、本実施例においては、映像データの特徴を抽出した特徴データを用いた検索の手法について説明したが、この特徴データは音声データの特徴を抽出したものであっても構わない。即ち、音声データの特徴データをデータベースサーバ７に送信し、この特徴データを用いて検索をすることも可能である。
【００３４】
次に実施例３について、図面を用いて説明する。
【００３５】
図６は本発明における第３の実施の形態を示す図である。第３の実施の形態では、第１の実施の形態における動作に対して、データベースサーバ検索部分（Ｓ１４）を変更したものである。具体的には、第１の実施例では、通信端末から位置情報を送信して検索した後に検索映像データを送信して検索するのに対し、第２の実施例では、位置情報を検索した後に絞込情報を送信して検索し、これにより検索結果が得られないときに検索映像データを送信して検索する。また、第１の実施例では検索結果の個数に関わりなくデータベースサーバから検索データを送信するが、第２の実施例では検索結果が１個の場合と２個以上の場合とで送信の仕方が異なる。
【００３６】
上記絞込情報の例としては、通信端末１の機能を用いて得られる様々な情報が考えられる。例えば、距離計測器１０５を用いて計測される、カメラ１０２から撮影対象物までの距離や、コンパス１０３を用いて計測される、撮影地点から撮影対象物への方向や、時計１０６を用いて記録される撮影時間や、マイク１０１を用いて録音される周囲の音などが考えられる。これらにより、通信端末１は位置情報、方向、距離、時間といったデータベースサーバ９に保存されている情報セット５を絞り込む為の絞込情報を取得することが可能である。実施例３においては図８に示すように、位置計測器１０４を用いてユーザの位置が地区Ａの座標（３，４）であることを計測し、コンパス１０３を用いて撮影対象物への方向が「北」であることを計測し、距離計測器１０５を用いて撮影対象物までの距離が「２」である、という情報を取得した場合を例に上げて説明する。
【００３７】
検索クライアント８（第１の実施例における代表サーバ３、もしくは第１の実施例における通信端末１、どちらでも構わず限定しない）からデータベースサーバ９へ位置情報：地区Ａの座標（３，４）を送信する（Ｓ２７）。位置情報を受け取ったデータベースサーバ９は、前記送られてきた位置情報を中心としてある程度の距離内（例えば半径５）に該当する情報セット５があるかどうかの検索を行う。該当する情報が無い場合、検索クライアント８に対象がないことを通知する（Ｓ２８：無し）。該当する情報があり（Ｓ２８：有り）、前記該当する情報の個数が１個の場合、前記該当する情報セット５を検索クライアント８に送信して終了する（Ｓ２９：１個）。該当する情報があり前記情報個数が２個以上の場合（Ｓ２９：２個以上）、データベースサーバ９から検索クライアント８へ絞込条件送信要求を送る（Ｓ３０）。絞込条件送信要求を受けた検索クライアント８は、データベースサーバ９へ絞込条件を送信する（Ｓ３１）。例えば撮影対象物への方向が「北」であることを送信する。絞込条件を受け取ったデータベースサーバ９は、絞込条件に該当する情報の有無を検索（Ｓ３２）する。検索結果、該当する情報が存在しない場合（Ｓ３２：なし）、前回の検索結果を検索クライアント８へ送信して終了する（Ｓ３３）。検索結果が存在する場合（Ｓ３３：有り）、検索結果の情報個数が１個の場合（Ｓ３４：１個）、今回の検索結果を検索クライアント８へ送信して終了する。検索結果の情報個数が２個以上の場合（Ｓ３４：２個以上）、データベースサーバ９から検索クライアント８へ絞込条件送信要求（Ｓ３０）を送り、以降Ｓ３１，Ｓ３２，Ｓ３３，Ｓ３４を繰り返す。
【００３８】
絞込条件送信要求（Ｓ３０）に対する検索クライアント８からの応答として映像データがデータベースサーバ９へ送信された場合（Ｓ３５）、データベースサーバ９は前記検索結果（Ｓ３４：２個以上）の情報セット５が有する映像データと検索クライアント８から送られた映像データと類似する映像データの検出（Ｓ３６）を行う。前記映像データの情報検索は、実施例１において示している類似する映像データの検出と同様である。データベースサーバ９は、検出結果を検索クライアント８へ送信して終了する（Ｓ３７）。
【００３９】
検索対象と絞込情報の例を図７に示す。観光地の建物を検索する場合、絞込み情報として、位置、方向、距離があり、検索対象として映像を用いて検索する例が上げられる。また、特定時間に出てくる動物園の動物を検索する場合、絞込条件として、位置、方向があり、検索対象として映像を用いて検索する例が上げられる。また、音楽番組で流れてきた曲を検索する場合、絞込み情報として時間があり、検索対象として音を用いて検索する例が上げられる。なお、映像情報の検索を例にあげて説明してきたが、検索対象は音であっても構わない。
【００４０】
以上の通り、本実施例により、位置情報、方向、距離、時間の情報を絞込情報として検索することが可能となる。絞込条件となる位置情報、方向、距離、時間の情報は文字列で表すことができる為、絞込条件となる情報のデータ量は、映像データのデータ量に比べデータ量が少ない。本実施例３において図８に示した絞込条件（座標（３，４）、方向「北」、距離「２」、画像データあり）とデータベースサーバ９に保存されている情報セット５（図３に示す）によって検索を行う。実施例３においては、位置情報による検索（Ｓ２８）によって座標（３，２）と、座標（５，５）と、座標（２，６）を有する情報セット５が検索対象となる。方向による検索（Ｓ３２）で、座標（３，４）を有する情報セット５（図３では３個）が検索対象となる。さらに距離による検索（Ｓ３２）によって座標（３，４）を有する情報セット５となる。最後に画像による類似画像の検出（Ｓ３６）によってこれまで検索対象として残ってきた情報セット５から、類似する画像を見つけ出すことが可能となる。
【００４１】
つまり、絞込条件として少ないデータ量で撮影した画像データ示す情報を検索することが可能であり、絞込条件だけでデータベース上から情報を特定することができない場合においても、検索対象となる映像データの母数を絞り込むことができるため、検索にかかる時間を短縮することができ、また母数を絞り込んである為に検索精度を上げることができる。
【００４２】
次に実施例４について、図面を用いて説明する。
【００４３】
図９は本発明における第４の実施の形態を示す図である。第４の実施の形態では、第１の実施の形態における動作に対して、データベースサーバ検索部分（Ｓ１４）を変更したものである。具体的には、第１の実施例においてはデータベースサーバで検索を行うのに対し、第４の実施例においては代表サーバで検索を行う。
【００４４】
ユーザは、通信端末１を用いてユーザが知りたい情報（例えば地区Ａにある建造物（例えば東大寺大仏の手））の映像を通信端末１が有するカメラ１０２を用いて撮影する。さらに位置計測器１０４により現在位置の計測を行う。このとき、前記映像撮影時に自動的に位置計測器により現在位置を計測してもよい。通信端末１は、代表サーバ３へ前記取得した位置情報を送信（Ｓ２）し、前記位置情報に関する情報を有したデータベースサーバの有無を問い合わせる（Ｓ３）。代表サーバ３は、通信端末１から送られた位置情報：地区Ａの座標（３，２）とデータベースサーバ群４から登録された位置情報範囲とを比較し、通信端末１から送られた位置情報が、前記登録されている位置範囲内となっているデータベースサーバを検索する。位置範囲内となるデータベースサーバが存在しない場合、代表サーバ３から通信端末１へ情報が存在しないことが通知され（Ｓ３：無し）終了する。図９はデータベースサーバ１（４０１）とデータベースサーバ２（４０２）が位置範囲内となる例を示している。位置範囲内となるデータベースサーバ１（４０１），データベースサーバ２（４０２）が存在した場合（Ｓ３：有り）、代表サーバ３からデータベースサーバ１（４０１）とデータベースサーバ２（４０２）へ該当情報セット５の送信要求（Ｓ３９、Ｓ４０）が送られる。送信要求を受けたデータベースサーバ１（４０１）とデータベースサーバ２（４０２）は、該当する情報セット５を代表サーバ３へ送信する（Ｓ４２，Ｓ４３）。また、代表サーバ３から通信端末１へ検索映像データ送信要求が送られ（Ｓ３８）、通信端末１から代表サーバ３へ検索映像データが送信される（Ｓ４１）。前記検索映像データを受け取った代表サーバ３は、実施例１に示したデータベースサーバにおける情報検索を代表サーバ３において実施する（Ｓ４４）。検索方法は実施例１に示した検索１４を代表サーバ上で行うものである。検索の結果、該当する情報がない場合（Ｓ４５：該当なし）、通信端末１に終了を通知して終了する。該当する情報がある場合（Ｓ４５：該当あり）、通信端末１へ課金を行い（Ｓ４６）、該当する情報を代表サーバ３から通信端末１へ該当情報を送信して終了する（Ｓ４７）。
【００４５】
以上の通り、本実施例により、代表サーバにおいて検索を行うことが可能となる。本実施例においては、検索の実行自体は代表サーバ３において実施する為、既存の検索機能を有していないデータベースサーバをそのまま用いて、映像検索を行うデータベースシステムを構築することが可能となる。
【００４６】
以上ここまで述べてきた通り、本発明により、通信端末の位置から見える映像、聞こえる音を検索キーとしてデータベースサーバ上のデータベースから映像データもしくは音データの検索を行う際に、通信端末の位置情報を用いて検索を行うことで、映像データを送信する場合に比べてネットワーク上へ送信するデータ量を少なくして映像もしくは音のデータの検索を可能となる。
【００４７】
また、通信端末の位置から見える映像、聞こえる音を検索キーとしてデータベースサーバ上のデータベースから映像データもしくは音データの検索を行う際に、通信端末で映像もしくは音の特徴を抽出し、データベースサーバ側では映像データではなく特徴データによる検索を行うことで、映像データを送信する場合に比べてネットワーク上へ送信するデータ量を少なくして映像もしくは音のデータの検索を可能となる。
【００４８】
また、通信端末の位置から見える映像、聞こえる音を検索キーとしてデータベースサーバ上のデータベースから映像データもしくは音データの検索を行う際に、映像もしくは音以外の絞込情報を用いることで、映像もしくは音データの検索を可能とする。絞込情報だけで検索できない場合においても、絞込情報により検索対象のデータ数を絞り込むことが可能でなり、公知の技術である映像もしくは音データの検索の精度を上げることが可能となる。
【００４９】
また。ユーザの所望する情報を効率的に得て利便性を高めることができる。また、位置情報や文字情報だけでなく、映像情報や音声情報などを用いた検索を実現することができる。
【００５０】
【発明の効果】
本願発明によれば、ユーザの利便性を高めた情報検索方法及び情報検索装置を提供することができる。
【００５１】
【図面の簡単な説明】
【図１】通信端末１から代表サーバ３を経由してデータベースサーバ群４へ映像或いは音声情報検索を行う方法の構成図
【図２】通信端末１のブロック図
【図３】データベースサーバ群４に記録されている情報
【図４】実施例１における映像或いは音声情報の検索シーケンス図
【図５】実施例２における映像或いは音声情報の検索シーケンス図
【図６】実施例３における映像或いは音声情報の検索シーケンス図
【図７】情報の絞込条件の例
【図８】実施例３における情報端末１からデータベースへ送る絞込条件の例
【図９】実施例４における映像或いは音声情報の検索シーケンス図
【符号の説明】
１…通信端末、２…通信網、３…代表サーバ、４…データベースサーバ群、４０１…データベースサーバ１、４０２…データベースサーバ２、４０３…データベースサーバ３、１０１…マイク、１０２…カメラ、１０３…コンパス、１０４…位置情報計測器、１０５…距離計測器、１０６…時計、１０７…入力装置、１０８…表示装置、１０９…映像特徴抽出装置、１１０…通信装置、１１１…制御装置、５…情報セット、５０１…位置情報、５０２…ＩＮＤＥＸ、５０３…画像データ、５０４…名称、５０５…情報１、５０６…情報２、６…検索クライアント、７…データベースサーバ、８…検索クライアント、９…データベースサーバ。
【図１】
2005062929.tif 000003
【図２】
2005062929.tif 000004
【図３】
2005062929.tif 000005
【図４】
2005062929.tif 000006
【図５】
2005062929.tif 000007
【図６】
2005062929.tif 000008
【図７】
2005062929.tif 000009
【図８】
2005062929.tif 000010
【図９】
2005062929.tif 000011