(57)【要約】【課題】カメラで撮影した画像を基に、その撮影範囲内の施設や場所などに関する詳細情報を直ちにユーザに提供することができるようにする。【解決手段】携帯情報機器１で検索を指示すると、カメラ（図示せず）によるカメン画像Ａとともに、ＧＰＳ装置１２による位置情報、地磁気センサ１３によるカメラの向き情報、カメラのレンズ焦点距離情報や撮影倍率情報という付加情報Ｂが検索サービスサーバ２００に送信される。検索サービスサーバ２００では、付加情報Ｂに基づいて、カメラの現在位置からの撮影範囲内のターゲットを検索し、また、カメラ画像Ａを画像認識，文字認識によってターゲットを認識し、これらターゲットに関する情報を検索結果２０１として携帯情報機器１に返信する。携帯情報機器１では、かかる検索情報２０１から所望のターゲットを指定することにより、このターゲットのコンテンツをコンテンツサービスサーバ３００から取得できる。【選択図】図３
2008250474.tif 000002
【特許請求の範囲】
【請求項１】
撮影のためのカメラと、表示部と、現在位置を検出する位置検出手段と、該カメラの向きを検出する向き検出手段とを備えたカメラ付き情報検索装置において、
該カメラのカメラ画像を、該位置検出手段で検出された位置情報と該向き検出手段で検出された向き情報と該カメラのレンズ焦点距離情報，撮影倍率情報とからなる付加情報をサーバに送信し、該カメラ画像の撮影範囲での１以上のターゲットの検索を要求する手段と、
該付加情報に基づいて検出される該カメラの撮影範囲内でのターゲットや該カメラ画像内の情報から検出されるターゲットに関する該サーバからの検索結果を受信する手段と、
受信した該検索結果を処理し、該表示部の表示画面に夫々のターゲットの検索画面を表示させる処理手段と
を設け、
該検索画面では、夫々のターゲット毎に該ターゲットに該当する選択情報を表示し、該選択情報を選択することにより、該当する該ターゲットに関する詳細情報を取得可能に構成したことを特徴とするカメラ付き情報検索装置。
【請求項２】
請求項１において、
前記表示画面には、前記カメラ画像が表示されるとともに、前記選択情報として前記ターゲット毎のアイテムマークが配列されて表示され、かつ前記カメラ画像での前記ターゲットが存在する位置に該アイテムマークに該当するターゲットマークが表示され、該アイテムマークと該アイテムマークに該当する該カメラ画像上のターゲットとを対応付けたことを特徴とするカメラ付き情報検索装置。
【請求項３】
請求項１において、
前記表示画面には、前記カメラ画像が表示されるとともに、前記選択情報としてのアイテムマークが前記ターゲット毎に表示され、
前記ターゲット毎のアイテムマークは、前記カメラ画像での該当するターゲットの位置に表示されることを特徴とするカメラ付き情報検索装置。
【請求項４】
請求項１，２または３において、
前記サーバの検索結果に基づいて、選択された前記選択情報に該当する前記ターゲットのコンテンツの種別を表わすコンテンツ種別インデックスを配列表示し、該コンテンツ種別インデックスのいずれかを選択することにより、選択された該コンテンツ種別インデックスに対応する種別のコンテンツを検索可能としたことを特徴とするカメラ付き情報検索装置。
【請求項５】
請求項１，２，３または４において、
前記カメラ画像と前記付加情報とを、もしくは前記カメラ画像と前記付加情報と前記サーバによる検索結果とを記憶して保存する記憶手段を設けたことを特徴とするカメラ付き情報検索装置。
【請求項６】
請求項５において、
前記記憶手段に保存されている前記カメラ画像と前記付加情報とを用いて、前記サーバでの前記検索を可能に構成したことを特徴とするカメラ付き情報検索装置。
【請求項７】
請求項５において、
前記記憶手段に保存されている前記カメラ画像と前記付加情報とを他の情報検索装置に送信する手段を設けたことを特徴とするカメラ付き情報検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮影画像を用いて施設や場所に関する情報を検索するカメラ付き情報検索装置に関する。
【背景技術】
【０００２】
従来、ユーザが所望とする情報を取得する場合、パソコンなどを用いて情報の検索が行なわれるものであり、この場合、所望とする情報を特定するために、キーワードが用いられる。携帯電話などの携帯情報機器においても、このような検索が可能であり、例えば、旅行などにおいて、その観光地での寺院などの観光場所の情報を取得したい場合には、かかる観光場所の名称をキーワードとして、検索を行なう。
【０００３】
一方、携帯電話などの携帯情報機器では、それに設けられているカメラの撮影画像情報（カメラ画像）を利用し、このカメラ画像をサーバに送ることにより、必要な情報を取得することができるようにした技術も提案されている。
【０００４】
その一例として、携帯電話端末からサーバに、この携帯電話端末で撮影した製品の画像データとこの携帯電話端末の現在位置を表わす位置情報とを送信し、サーバでは、かかる画像データを解析して製品の特徴情報を求め、この特徴量情報を基に製品データを検索して製品を特定し、この製品の詳細情報を検索するとともに、この製品の取扱店のうちでこの携帯電話端末の現在位置に最も誓い取扱店を検索し、かかる製品の詳細情報と取扱店の所在地などの地図情報とをこの携帯電話端末に提供するものである（例えば、特許文献１参照）。
【０００５】
他の例としては、携帯電話のカメラで撮影した画像とこの携帯電話の現在位置を表わすＧＰＳからの場所情報とをサービスサーバが受信して格納し、この携帯電話を所有するユーザと同じグループに属するユーザからこの画像の要求があると、同じグループに属することを確認後、このユーザにこの画像と場所情報とを提供するものである。
【特許文献１】特開２００３ー１２２７５７号公報
【特許文献２】特開２００４ー３２０４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記特許文献１に記載の技術は、携帯電話端末のカメラで撮影した製品の画像を用いて、その製品の詳細情報やその取扱店を紹介するサービスを行なうものであるが、場所や施設などの詳細情報を提供するものではない。例えば、旅行などで見知らぬ地方を歩き回る場合、その地方での名所旧跡や食事をしたい店などの詳細情報を現在の位置から直ちに知りたい場合もあるが、特許文献１に記載の携帯端末では、仮に名所旧跡などを製品と同等に取り扱うことができるとしても、直接対象物を撮影しないと、その詳細な情報を取得できないから、現在位置からは分からない対象物に対しては、機能することができない。
【０００７】
また、上記特許文献２に記載の技術は、撮影した画像をサーバに保管し、これを他のユーザに提供するものであるから、撮影した場所の詳細情報を提供できるものではない。
【０００８】
本発明の目的は、かかる問題を解消し、カメラで撮影した画像を基に、その撮影範囲内の施設や場所などの詳細情報を直ちにユーザに提供することができるようにしたカメラ付き情報検索装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、撮影のためのカメラと、表示部と、現在位置を検出する位置検出手段と、カメラの向きを検出する向き検出手段とを備えたカメラ付き情報検索装置であって、カメラのカメラ画像を、位置検出手段で検出された位置情報と向き検出手段で検出された向き情報とカメラのレンズ焦点距離情報，撮影倍率情報とからなる付加情報をサーバに送信し、カメラ画像の撮影範囲での１以上のターゲットの検索を要求する手段と、付加情報に基づいて検出されるカメラの撮影範囲内でのターゲットやカメラ画像内の情報から検出されるターゲットに関するサーバからの検索結果を受信する手段と、受信した検索結果を処理し、表示部の表示画面に夫々のターゲットの検索画面を表示させる処理手段とを設け、検索画面では、夫々のターゲット毎にターゲットに該当する選択情報を表示し、選択情報を選択することにより、該当するターゲットに関する詳細情報を取得可能に構成したことを特徴とするものである。
【００１０】
また、本発明は、表示画面には、カメラ画像が表示されるとともに、選択情報としてターゲット毎のアイテムマークが配列されて表示され、かつカメラ画像でのターゲットが存在する位置にアイテムマークに該当するターゲットマークが表示され、アイテムマークとアイテムマークに該当するカメラ画像上のターゲットとを対応付けたことを特徴とするものである。
【００１１】
また、本発明は、表示画面には、カメラ画像が表示されるとともに、選択情報としてのアイテムマークがターゲット毎に表示され、ターゲット毎のアイテムマークは、カメラ画像での該当するターゲットの位置に表示されることを特徴とするものである。
【００１２】
また、本発明は、サーバの検索結果に基づいて、選択された選択情報に該当するターゲットのコンテンツの種別を表わすコンテンツ種別インデックスを配列表示し、コンテンツ種別インデックスのいずれかを選択することにより、選択されたコンテンツ種別インデックスに対応する種別のコンテンツを検索可能としたことを特徴とするものである。
【００１３】
また、本発明は、カメラ画像と付加情報とを、もしくはカメラ画像と付加情報とサーバによる検索結果とを記憶して保存する記憶手段を設けたことを特徴とするものである。
【００１４】
また、本発明は、記憶手段に保存されているカメラ画像と付加情報とを用いて、サーバでの検索を可能に構成したことを特徴とするものである。
【００１５】
また、本発明は、記憶手段に保存されているカメラ画像と付加情報とを他の情報検索装置に送信する手段を設けたことを特徴とするものである。
【発明の効果】
【００１６】
本発明によると、撮影したカメラ画面と撮影に関連する付加情報とで撮影範囲内でのターゲット（店舗や名所旧跡など）の検索を行なうことができるものであるので、ユーザとしては、カメラを好みの方向に向けて撮影するだけでその場所からの視野内（撮影範囲内）で種々のターゲットを知ることができるし、その詳細情報も取得することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を図面により説明する。
【００１８】
図１は本発明によるカメラ付き情報検索装置の一実施形態の要部を示す構成図であって、１は携帯情報機器、２は表示画面、３ａ，３ｂ，３ｃは機能画面表示エリア、４は操作部、５はエンターキー、６Ｕは上キー、６Ｄは下キー、６Ｌは左キー、６Ｒは右キー、７ａ，７ｂは操作キー、７ｃは「戻る」キーである。ここでは、カメラ付き情報検索装置として、携帯電話などの携帯情報機器を例として説明する。
【００１９】
同図において、携帯情報機器１は、図示しない筐体に表示画面１や操作部４などが設けられており、また、図示しないが、カメラなども備えている。
【００２０】
表示画面２には、操作部４の操作のための画面や後述するカメラの撮影画面，検索画面なども表示される。一例として、表示画面２に機能画面表示エリア３ａ〜３ｃが表示されている状態を示すものであるが、これらは情報検索の際に表示されるものであって、検索段階に応じてこれら機能画面表示エリアに表示される機能が変更される。ここでは、機能画面表示エリア３ａにモードを切り換える「切換」機能画面が表示され、機能画面表示エリア３ｂに「情報取得」機能画面が表示され、機能画面表示エリア３ｃに「サブメニュー」機能画面が表示されている状態を示している。
【００２１】
機能画面表示エリア３ａに表示される機能画面は、操作部４での操作キー７ａの機能を表わすものであり、この場合では、操作キー７ａは「切替」機能を有していることを示している。機能画面表示エリア３ｂに表示される機能画面は、操作部４でのエンターキー５の機能を表わすものであり、この場合では、エンターキー５は「情報取得」機能を有していることを示している。機能画面表示エリア３ｃに表示される機能画面は、操作部４での操作キー７ｂの機能を表わすものであり、この場合では、操作キー７ｂは「サブメニュー」機能を有していることを示している。
【００２２】
なお、操作部４での「戻る」キー７ｃは、表示画面２において、１つ前に表示された画面に戻す機能を有するものである。また、操作部４には、電源キーやテンキーなどのその他の操作キーも設けられているが、通常の携帯情報機器と同様であるので、説明を省略する。
【００２３】
図２は図１に示す携帯情報機器１の回路構成を示すブロック図であって、８は処理部、９はカメラ、１０は表示部、１１は記憶部、１２はＧＰＳ（Grobal Positioning System）装置、１３は地磁気センサ、１４はＩＣタグ、１５は通信部、１６はアンテナ、１７は通信線コネクタであり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００２４】
同図において、携帯情報機器１では、操作部４のキー操作の入力部からのキー操作信号に応じて、ＣＰＵなどからなる処理部８が記憶部１１に記憶されているプログラムのもとに各部を制御する動作をする。かかる制御のもとに、ＣＣＤビデオカメラなどのカメラ９が被写体を撮影し、また、表示部１０がその表示画面２（図１）に各種の画面を表示する。また、通信部１５は、処理部８の制御のもとに、アンテナ１６を介して外部との無線通信を行ない、また、通信線コネクタ１７を介して外部との有線通信を行なう。記憶部１１は、上記のプログラムや操作部４の操作のための画面の情報などが記憶されているとともに、カメラ９の撮影画像や通信部１５を介して取得した各種情報が記憶される。
【００２５】
また、携帯情報機器１には、ＧＰＳ装置１２と地磁気センサ１３とが設けられている。ＧＰＳ装置１２では、この携帯情報機器１の現在位置が検出され、処理部８に供給される。地磁気センサ１３では、携帯情報機器１の向き、即ち、カメラ９の撮影方向が検出され、処理部８に供給される。地磁気センサ１３の代わりに、ジャイロを用いるようにしてもよい。
【００２６】
また、カメラ９では、レンズ焦点距離や撮影倍率が検出され、これらの情報が処理部８に供給される。
【００２７】
この携帯情報機器１では、ＩＣタグ１４も着脱可能であり、そのタグ情報が読み取られて処理部８に供給される。
【００２８】
この携帯情報機器１では、寺社，施設などの名所旧跡や店舗などを、検索ターゲットとして、その情報（以下、検索アイテムという）を検索することができように構成したものであるが、かかる検索には、カメラ９で撮影される静止画像が用いられる。即ち、この撮影された静止画像（以下、カメラ画像Ａという）に映されている名所旧跡や店舗などが検索の対象となるものであり、この静止画像情報を通信部１５からサーバ（図示せず）に送信することにより、サーバで検索が行なわれるものである。この検索の際には、かかるカメラ画像Ａとともに、ＧＰＳ装置１２で検出された位置情報や地磁気センサ１３で検出された向き情報、カメラ９で検出されたレンズ焦点距離情報や撮影倍率情報などの情報が付加情報Ｂとして、サーバに送信されるものであり、サーバはこれらカメラ画像Ａとその付加情報Ｂを用いて、このカメラ画像Ａの撮影範囲でのアイテムを検索するのである。
【００２９】
図３は図１及び図２に示す実施形態を用いた情報検索システムを示すシステム構成図であって、１００はネットワーク、２００は検索サービスサーバ、３００はコンテンツサービスサーバであり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
【００３０】
同図において、ユーザが、携帯情報機器１のカメラ２で撮影中に、携帯情報機器１で情報検索操作をすると、その撮影静止画像、即ち、図２におけるカメラ画像ＡにＧＰＳ装置１２による位置情報や地磁気センサ１３によるカメラ９の向き情報（撮影方向を示す情報），ＩＣタグ１４からのタグ情報、カメラ９のレンズ焦点距離情報や撮影倍率情報といった付加情報Ｂとともに、通信部１５（図２）からインターネットなどのネットワーク１００を介して検索情報サービスサーバ２００に供給される。
【００３１】
図４は携帯情報機器１の表示画面２でのカメラ９の撮影時の状態を示す図であって、１８は優先範囲指定マークであり、図１，図２に対応する部分には同一符号をつけて重複する説明を省略する。
【００３２】
カメラ９の撮影時には、図４に示すように、この情報検索機器１の表示画面２に、カメラ９が撮影する画面（以下、撮影画面という）が表示されている。このとき、表示画面２には、機能画面表示エリア３ａ〜３ｃで表示される機能に従って、操作キー７ａは「切換」機能が付与され、操作キー３ｃは「サブメニュー」機能が付与され、エンターキー５は「情報取得」機能が付与されている。そこで、操作キー７ａを操作してモードの切換を行ない、検索モードを設定すると、表示画面２に表示される撮影画面の中央部が撮影の優先するターゲットの範囲と指定され、その範囲を指定するマーク（優先範囲指定マーク）１８が表示される。なお、この優先範囲指定マーク１８は、撮影開始とともに、表示されるようにしてもよい。
【００３３】
かかる撮影状態で、「情報取得」機能が付与されているエンターキー５を操作すると、上記のように、優先範囲指定マーク１８が付加されたカメラ画像Ａとともに、付加情報Ｂが検索サービスサーバ２００に送信される。表示画面２では、図５に示すように、検索処理の経過が表示される。
【００３４】
図３に戻って、検索サービスサーバ２００は、携帯情報端末１からのカメラ画像Ａと付加情報Ｂとを受信すると、この付加情報Ｂを用いてカメラ画像Ａでの検索アイテムの検索を行なう。
【００３５】
この検索では、付帯情報Ａの位置情報と向き情報とから、地図上での携帯情報端末１の現在位置Ｐとその位置Ｐからの撮影方向とが決定され、レンズ焦点距離情報と撮影倍率情報とから、図６（ａ）に示すように、この現在位置Ｐからカメラ９の撮影方向に見た左右方向の撮影範囲（視野角）ＳLRと、図６（ｂ）に示すように、上下方向の撮影範囲（視野角）ＳUDとが求められ、これら左右撮影範囲ＳLRと上下撮影範囲ＳDUとの内部でのターゲットの検索アイテムを求める。
【００３６】
ここで、現在位置Ｐからの距離に応じて、例えば、近距離内の領域Ｌ1と中距離内の領域Ｌ2と円処理内の領域Ｌ3とに区分され、夫々毎に検索するアイテムの種別が異なるようにする。例えば、レストランや食堂，土産物店などのユーザが直ぐに利用するような施設，場所（◎マークで示す）については、近距離内の領域Ｌ1でアイテムの検索が行なわれ、デパートや映画館といったユーザが多少時間を掛けても利用するような施設，場所（◇マークで示す）については、近距離内の領域Ｌ1及び中距離の領域Ｌ2でアイテムの検索を行ない、名所旧跡などの時間を掛けてもユーザが訪れる場所，施設については（★マークで示す）、近距離内の領域Ｌ1，中距離の領域Ｌ2，遠距離の領域Ｌ3の全ての領域でアイテムの検索が行なわれる。
【００３７】
また、図４で示した優先範囲指定マーク１８で指定される施設，場所は、ユーザが直接検索を目的とするターゲットと見なし、そのアイテムの検索を行なう。さらに、カメラ画像内での看板などの文字情報やタワーなどといった画像の形状を認識し、これが施設や場所を表わすときには、これも検索ターゲットとしてアイテムの検索を行なう。かかる検索は、地図情報や他の適宜の情報を用いて行なうこともできる。
【００３８】
図７（ａ）は検索サービスサーバ２００が有する検索アイテムのデータベース（検索対象データベース）を模式的に示すものであって、検索サービスサーバ２００は、原則として、かかる検索対象データベースを用いてアイテムの検索を行なう。かかる検索対象データベースには、各アイテム毎に、それを識別するＩＤ（識別子），ターゲットの平面上・高さ方向での位置情報，ターゲットの種別（寺社や店舗の種類など），ターゲットの名称（店の名前など），概要（簡単な内容），情報格納アドレス（アイテムのこの検索対象データベースでの格納アドレス）及び関連キーワード（このターゲットに関する後述するコンテンツを検索するためのキーワード）からなるものである。
【００３９】
検索サービスサーバ２００では、かかる検索対象データベースや上記の文字認識，画像認識によるターゲットに対して地図情報や他の適宜の情報を用いて、図６（ａ），（ｂ）で示した撮影範囲内のターゲットのアイテムを検索し、その検索結果をまとめて、図７（ｂ）に示すような検索アイテムリストを作成する。
【００４０】
この検索アイテムリストは、図７（ａ）に示す検索対象データベースと同様、ＩＤ，地理位置，種別，名称，概要，情報格納アドレス，関連キーワードに加え、優先範囲指定マーク１８（図４）内のターゲットのアイテムに対しては、「優先」情報が付加される。また、夫々のアイテムには、ターゲットの認識方法として、図７（ａ）の検索対象データベースによるものであるときには、「地理」との情報を付加し、タワーなどのように、カメラ画像Ａから画像認識されたターゲットに対しては、そのアイテムに「画像」との情報が付加され、看板などのカメラ画像Ａから文字認識されたターゲットに対しては、そのアイテムに「文字」との情報が付加される。そして、画像認識されたターゲットのアイテムには、さらに、その部位画像と「画像認識によって得られた付加情報」も付加されるし、文字認識されたターゲットのアイテムには、さらに、その部位画像と「画像認識によって得られた文字情報」，「画像認識によって得られた付加情報」も付加される。
【００４１】
さらにまた、各アイテムには、カメラ画像Ａでのこれらターゲットの位置を表わす「画像上の座標」も付加される。
【００４２】
図７（ｃ），（ｄ）は検索サービスサーバ２００からネットワーク１００を介して、携帯情報機器１から送信されてきたカメラ画像Ａとともに、携帯情報機器１に返信される検索結果メニュー２０１（図３）であって、図７（ｃ）は図７（ｂ）に示す検索アイテムリストと同じものである。
【００４３】
一方、図３において、携帯情報機器１では、かかる検索結果メニュー２０１をカメラ画像Ａとともに受信し、これを記憶部１１（図２）に格納するとともに、かかるカメラ画像Ａと検索結果メニュー２０１を用いて表示画面２に所望のアイテムに対してコンテンツの検索を行なうための検索画面が表示されるが、このための検索操作がなされると、ネットワーク１００を介してコンテンツサービスサーバ３００にコンテンツのアクセスが行なわれるが、このコンテンツサービスサーバ３００では、各コンテンツが「ＷＥＢ」，「記事・ブログ」，「動画」，「口こみ」の４種の種別に区分され、夫々の種別後とにインデックスが設定されている。
【００４４】
図７（ｄ）はアイテム毎に設定されるコンテンツの種別を示すものであって、ここでは、図示するアイテムに対しては、全ての種別のコンテンツが存在しているものとしているが、ある種別のコンテンツが存在しないアイテムに対しては、このコンテンツの種別は含まれない。
【００４５】
携帯情報端末１では、図７（ｄ）に示すアイテム毎のコンテンツの種別を表わすリストも検索サービスサーバ２００から検索結果メニュー２０１として、カメラ画像Ａとともに、受信すると、図７（ｃ）に示すリストデータに基づく情報とともに、図７（ｄ）に示すコンテンツ種別リストに基づく情報も、カメラ画像Ａが表示された表示画面２に表示し、指定したアイテムのコンテンツをその種別毎にコンテンツサービスサーバ３００で検索できるようにする。
【００４６】
このようにして、コンテンツサービスサーバ３００で検索されたコンテンツ３０１は、ネットワーク１００を介して携帯情報端末１に返信され、表示画面２上に表示される。
【００４７】
なお、携帯情報端末１では、検索サービスサーバ２００から返信される検索結果２０１（図７（ｃ）のデータリスト及び図７（ｄ）のコンテンツ種別リスト）とカメラ画像Ａとが記憶部１１（図２）に保存されるから、後日これを記憶部１１から読み出して表示画面２に表示させることにより、同じコンテンツの検索を行なうことができるし、また、かかるカメラ画像Ａと検索結果２０１を他の携帯情報機器に送信して与えることにより、この検索結果２０１が与えられた携帯情報機器においても、同様のコンテンツ検索を行なうことができる。
【００４８】
図８は検索サービスサーバ２００（図３）の検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面の一具体例を示す図であって、１９ａ〜１９ｆはアイテムマーク、２０はカーソル、２１はターゲットマーク、２２ａ〜２２ｄはコンテンツ種別インデックス、２３はカーソル、２４は詳細情報であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。なお、図８（ｂ）〜（ｄ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
【００４９】
図８（ａ）において、表示画面２には、検索サービスサーバ２００から返信されたカメラ画像Ａが表示され、これとともに、図７（ｃ）に示すデータリストに基づいて、このリストデータでのアイテム毎に異なるマーク形状のアイテムマーク１９ａ〜１９ｆが配列されて表示され、かつこれらアイテムマーク１９ａ〜１９ｆのいずれか１つがカーソル２０で指定されて（最初、上記の「優先」情報のアイテムマークが指定されている）、この指定されたアイテムマーク、ここでは、アイテムマーク１９ｃに該当するカメラ画像Ａでのターゲットの位置に、同じマーク形状のターゲットマーク２１が付されて表示される。
【００５０】
これらアイテムマーク１９ａ〜１９ｆは、図７（ｃ）に示すリストデータでのアイテムのＩＤ毎に割り当てられたものであり、カメラ画像Ａでのターゲットマーク２１の表示位置は、図７（ｃ）に示すリストデータでの「画像上の座標」によって決定される。
【００５１】
また、図８（ａ）に示す表示画面２には、コンテンツ種別インデックス２２ａ〜２２ｃが表示される。かかるコンテンツ種別インデックス２２ａ〜２２ｃは、図７（ｄ）に示すコンテンツ種別リストに基づくものであり、アイテムマーク１９（アイテムマーク１９ａ〜１９ｆのいずれか）が指定されたアイテムに対するコンテンツ種別を表わして、これらのいずれかのコンテンツを選択的に検索可能とするものである。ここでは、指定されたアイテムマーク１９ｃのアイテムに対しては、コンテンツ種別が「記事・ブログ」，「動画」，「口コミ」の３つの種別があることになる。コンテンツ種別インデックス２２ａ〜２２ｃも、そのいずれか１つ（この場合、「記事・ブログ」のコンテンツ種別インデックス２２ａ）がカーソル２３によって指定されている。
【００５２】
かかるカーソル２０，２２は図１における操作部４での上キー６Ｕ，下キー６Ｄ，左キー６Ｌ及び右キー６Ｒの操作によって操作することができる。この場合、上キー６Ｕ，下キー６Ｄはカーソル２０，２２を上下に移動するためのものであって、上キー６Ｕが操作されると、上側のカーソル２０が指定され、左キー６Ｌ，右キー６Ｒの操作によってカーソル２０を左右にスライドさせてアイテムマーク１９ａ〜１９ｆのいずれかを任意に指定することができる。また、下キー６Ｄが操作されると、下側のカーソル２３が指定され、左キー６Ｌ，右キー６Ｒの操作によってカーソル２３を左右にスライドさせてコンテンツ種別インデックス２２ａ〜２２ｃのいずれかを任意に指定することができる。
【００５３】
図８（ａ）に示す表示状態では、機能画面表示エリア３ａに「詳細」機能画面が表示され、機能画面表示エリア３ｂに「結果一覧」機能画面が表示され、機能画面表示エリア３ｃに「サブメニュー」機能画面が表示されている状態を示しているが、「詳細」機能が付与された操作キー７ａ（図１）を操作すると、図８（ｂ）に示すように、図７（ｃ）に示すリストデータでの「概要」の情報に基づいて、このとき指定されているアイテムマーク１９ｃに該当するターゲット（即ち、ターゲットマーク２１が付されているターゲット）に関する詳細情報（このターゲットの概要）２４が、例えば、「本家日立屋  ［商店］みやげ物」というように表示される。このとき、機能画面表示エリア３ａでは、「詳細」機能画面に代わって、「詳細隠す」機能画面が表示され、この機能が付与された操作キー７ａ（図１）を操作すると、詳細情報２４の表示がなくなって図８（ａ）に示す表示状態に戻る。
【００５４】
また、図８（ａ）に示す表示状態でカーソル２０を左隣りのアイテムマーク１９ｂに移すと、このアイテムマーク１９ｂに該当するターゲットにこれと同じマーク形状のターゲットマーク２１が付される。このアイテムマーク１９ｃのアイテムに対して、コンテンツ種別が「ＷＥＢ」，「記事・ブログ」，「動画」，「口コミ」の４つの種別があるとすると、「ＷＥＢ」のコンテンツ種別インデックス２２ａ，「記事・ブログ」のコンテンツ種別インデックス２２ｂ，「動画」のコンテンツ種別インデックス２２ｃ，「口コミ」のコンテンツ種別インデックス２２ｄが配列表示される。そして、これらコンテンツ種別インデックス２２ａ〜２２ｄのいずれか、この場合、「ＷＥＢ」のコンテンツ種別インデックス２２ａをカーソル２３によって指定し、操作キー７ａ（図１）を操作すると、図８（ｃ）に示すように、アイテムマーク１９ｂに該当するターゲットの詳細情報（概要）」が、例えば、「○○○山○○寺「史跡・寺院」○○○○が開山」というように表示される。
【００５５】
このとき、機能画面表示エリア３ａでは、「詳細」機能画面に代わって、「詳細隠す」機能画面が表示され、この機能が付与された操作キー７ａ（図１）を操作すると、詳細情報２４の表示がなくなって表示状態になる。
【００５６】
図８（ｄ）は、同様にして、図８（ｃ）の表示状態からカーソル２０をさらに１つ左に移動させ、詳細情報２４を表示させた状態を示すものである。
【００５７】
図９は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面の他の具体例を示す図であって、２５は検索メニュー画面、２６はスクロールバー、２７はカーソル、２８は動画コンテンツであり、図８に対応する部分には同一符号をつけて重複する説明を省略する。なお、図９（ａ）〜（ｄ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
【００５８】
図９（ａ）はカーソル２０によってアイテムマーク１９ａが指定された状態を示すものであって、図８（ｄ）での詳細情報２４が表示されていない状態と同様である。
【００５９】
かかる表示状態において、下キー６Ｄ（図１）を操作することによって下側のカーソル２３を指定し、右キー６Ｒ（図１）を操作してカーソル２３を「動画」のコンテンツ種別インデックス２２ｂに移すと、図９（ｂ）に示す表示状態となる。
【００６０】
次に、この図９（ｂ）に示す状態で、「結果一覧」機能画面の機能画面表示エリア３ｂで「結果一覧」機能が付与されているエンターキー５（図１）を操作すると、カーソル２０によって指定されているアイテムマーク１９ａに該当するターゲット（元祖日立屋）について、その動画情報に関する検索がコンテンツサービスサーバ３００（図３）に対してなされ、その検索結果として、図９（ｃ）に示すように、動画コンテンツのタイトルが配列された一覧の検索メニュー画面２５が表示され、カーソル２７によってそのいずれかを指定できる。このカーソル２７は、操作部４での上キー６Ｕと下キー６Ｄ（図１）との操作で上下に移動させることができる。また、全てのタイトルが表示画面２に表示しきれない場合には、その一部が表示されるが、スクロールバー２６により、タイトルの一覧が上下にスクロールし、全てのタイトルを表示させることができる。
【００６１】
この検索メニュー画面２５が表示される表示画面２では、機能画面表示エリア３ｂでは、「再生」機能画面が表示されてエンターキー５（図１）は再生機能が付与されており、このエンターキー５を操作することにより、図９（ｄ）に示すように、指定されたタイトルの動画コンテンツが、検索コンテンツ３０１として、コンテンツサービスサーバ３００から取得でき、図９（ｄ）に示すように、表示画面２にこの動画コンテンツ２８が表示される。
【００６２】
このとき、機能画面表示エリア３ｂでは、「一時停止」機能画面が表示されてエンターキー５（図１）は一時停止機能が付与されており、このエンターキー５を操作することにより、動画コンテンツの表示状態が一時停止して図９（ｃ）に示す表示状態に戻る。そして、この一時停止状態では、カーソル２７を移動させない限り続いており、再度、再生機能が付与されているエンターキー５を操作することにより、一時停止が解除されて、図９（ｄ）に示す動画コンテンツの表示が続けられる。
【００６３】
また、例えば、図９（ｃ）に示す表示状態で「戻る」キー７ｃ（図１）を操作すると、図９（ｂ）に示す表示状態に戻る。
【００６４】
図１０は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面のさらに他の具体例を示す図であって、２９はサブメニュー画面、２９ａ，２９ｂ，……はサブメニュー、３０はカーソル、３１は選択画面、３２ａ．３２ｂは選択項目、３３はカーソル、３４はメッセージであり、図８，図９に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１０（ａ）〜（ｃ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
【００６５】
いま、図８，図９に示す表示画面２での表示状態で、機能画面表示エリア３ｃによって「サブメニュー」の機能が付与されている操作キー７ｂ（図１）を操作すると、図１０（ａ）に示すように、サブメニュー画面２９が表示される。このサブメニュー画面２９では、１以上のサブメニュー２９ａ，２９ｂ，……が配列表示され、そのいずれかをカーソル３０で指定されており、上キー６Ｕ，下キー６Ｄを操作することにより、このカーソル３０を上下に移動させることができ、これにより、任意のサブカーソルを指定することができる。
【００６６】
いま、サブメニュー２９ａを「検索メニュー保存」メニュー、サブメニュー２９ｂを「再検索」サブメニュー，……とし、機能画面表示エリア３ｂによって「結果一覧」の機能が付与されているエンターキー５（図１）を操作すると、このときカーソル３０によって指定されているサブメニュー「検索メニュー保存」が決定され、図１０（ｂ）に示すように、保存方法の選択画面３１が表示される。この選択画面３１では、例えば、「写真と検索の付加情報、検索結果を保存」の方法の選択項目３２ａと「写真と付加情報のみ保存」の方法との選択項目３２ｂが表示され、上キー６Ｕ，下キー６Ｄ（図１）を操作することにより、カーソル３３を上下に移動させていずれかの選択項目３２ａ，３２ｂのいずれかを指定でき、機能画面表示エリア３ｂに「選択」の機能画面が表示されることによって選択機能が付与されているエンターキー５を操作することにより、カーソル３３で指定されているこれら選択項目３２ａ，３２ｂのいずれかを選択して実行させることができる。
【００６７】
いま、選択項目３２ａを指定し、エンターキー５の操作でこれを選択すると、この選択項目の保存方法が実行され、写真（即ち、上記のカメラ画像Ａ）と付加情報Ｂと検索サービスサーバ２００からの図７（ｃ），（ｄ）に示す検索情報とが記憶部１１（図２）に記憶保存される。そして、かかる保存処理が終了すると、図１０（ｃ）に示すように、保存処理が終了したことを通知するメッセージ３４が表示される。このとき、機能画面表示エリア３ｂには、「ＯＫ」の機能画面が表示され、この機能が付与されたエンターキー５（図１）を操作することにより、図１０（ａ）に示すサブメニュー画面２９が表示される前の表示状態に戻る。
【００６８】
なお、図１０（ａ）において、「再検索」のサブメニュー２９ｂをカーソル３０で指定し、エンターキー５（図１）を操作すると、図示しないが、記憶部１１（図２）に記憶保存されているカメラ画像（写真）Ａの一覧が読み出されて表示され、そのうちのいずれかを選択することにより、その選択されたカメラ画像Ａに対する検索サービスサーバ２００での検索結果２０１が記憶部１１に保存されている場合には、これが記憶部１１から読み出されて、例えば、図８（ａ）に示すように、表示がなされ、また、検索結果２０１が記憶部１１に記憶されていないときには、かかるカメラ画像Ａと記憶部１１からの付加情報Ｂとが、上記のように、検索サービスサーバ２００に送られて検索が行なわれ、その検索結果２０１を用いて、例えば、図８（ａ）に示すような表示が行なわれる。これにより、一度検索に用いたカメラ画像Ａなどを用いて再検索ができる。
【００６９】
さらに、図１０（ａ）に示されるサブメニュー画面２９には、図示しないが、「送信」などのサブメニューもあり、これを用いることにより、カメラ画像Ａとその付加情報Ｂとを、さらには、その検索結果を組み合わせて、他の携帯情報機器などに送信することができるし、また、他の携帯情報機器などから取得することができる。かかる携帯情報機器などでは、このようにして取得した情報を基に、上記のように、検索サービスサーバ２００での上記の検索やコンテンツサービスサーバ３００での上記のコンテンツ検索を行なうことができる。
【００７０】
図１１は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面のさらに他の具体例を示す図であって、３５ａ〜３５ｆはアイテムマークであり、図８，図９に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１１では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
【００７１】
同図において、この具体例は、アイテムマーク３５ａ〜３５ｆ夫々を表示されるカメラ画像Ａ上の該当するターゲットの表示位置に表示するものであり、かかるアイテムマーク３５ａ〜３５ｆを、先の図８，図９に示すアイテムマーク１９ａ〜１９ｆと同様の機能を持たせるとともに、ターゲットの位置を示すターゲットマークとしての機能も持たせたものである。
【００７２】
かかるアイテムマーク３５ａ〜３５ｆの指定は、上キー６Ｕと下キー６Ｄとの操作によって行なわれるものであって、かかる指定を行なうカーソルは特定の色付きとなっている。即ち、かかるカーソルで指定されたアイテムマークは、指定されないアイテムマークとは異なる色で表示される。
【００７３】
これ以外については、図８〜図１０と同様である。
【図面の簡単な説明】
【００７４】
【図１】本発明によるカメラ付き情報検索装置の一実施形態の要部を示す構成図である。
【図２】図１に示す携帯情報機器の回路構成を示すブロック図である。
【図３】図１及び図２に示す実施形態を用いた情報検索システムを示すシステム構成図である。
【図４】図１に示す携帯情報機器の表示画面でのカメラの撮影時の表示状態を示す図、１８は優先範囲指定マークである。
【図５】図１に示す携帯情報機器の表示画面でのアイテム検索時での表示状態を示す図である。
【図６】図３における検索サービスサーバで検出される撮影範囲を示す図である。
【図７】図３における検索サービスサーバでの検索動作を説明するための図である。
【図８】図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面の一具体例を示す図である。
【図９】図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面の他の具体例を示す図である。
【図１０】図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面のさらに他の具体例を示す図である。
【図１１】図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面のさらに他の具体例を示す図である。
【符号の説明】
【００７５】
１  携帯情報機器
２  表示画面
３ａ，３ｂ，３ｃ  機能画面表示エリア
４  操作部
５  エンターキー
６Ｕ  上キー
６Ｄ  下キー
６Ｌ  左キー
６Ｒ  右キー
７ａ，７ｂ  操作キー
７ｃ  「戻る」キー
８  処理部
９  カメラ
１０  表示部
１１  記憶部
１２  ＧＰＳ
１３  地磁気センサ
１４  ＩＣタグ
１５  通信部
１６  アンテナ
１７  通信線コネクタ
１８  優先範囲指定マーク
１９ａ〜１９ｆ  アイテムマーク
２０  カーソル
２１  ターゲットマーク
２２ａ〜２２ｄ  コンテンツ種別インデックス
２３  カーソル
２４  詳細情報
２５  検索メニュー画面
２６  スクロールバー
２７  カーソル
２８  動画コンテンツ
２９  サブメニュー画面
２９ａ，２９ｂ，……  サブメニュー
３０  カーソル
３１  選択画面
３２ａ．３２ｂ  選択項目
３３  カーソル
３４  メッセージ
３５ａ〜３５ｆ  アイテムマーク
１００  ネットワーク
２００  検索サービスサーバ
３００  コンテンツサービスサーバ
【図１】
2008250474.tif 000003
【図２】
2008250474.tif 000004
【図３】
2008250474.tif 000005
【図４】
2008250474.tif 000006
【図５】
2008250474.tif 000007
【図６】
2008250474.tif 000008
【図７】
2008250474.tif 000009
【図８】
2008250474.tif 000010
【図９】
2008250474.tif 000011
【図１０】
2008250474.tif 000012
【図１１】
2008250474.tif 000013