(57)【要約】【課題】画像検索のリファレンス画像となる登録画像を増加させることができるサーバシステム等の提供。【解決手段】サーバシステムは、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、検索された複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、撮影画像の画像検索の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを撮影画像の確定名称タグとして、撮影画像に関連づけて画像データベースに登録する画像管理部を含む。【選択図】図２
2010218372.tif 000002
【特許請求の範囲】
【請求項１】
画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、
前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、
前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグとして、前記撮影画像に関連づけて前記画像データベースに登録する画像管理部と、
を含むことを特徴とするサーバシステム。
【請求項２】
請求項１において、
前記画像管理部は、
前記画像データベースに登録された前記撮影画像である登録撮影画像を、前記画像データベースから抽出し、抽出された前記登録撮影画像が所定条件を満たさない場合には、前記画像データベースから削除する処理を行うことを特徴とするサーバシステム。
【請求項３】
請求項２において、
前記画像管理部は、
前記登録撮影画像が検索対象画像に類似する画像として認識された回数についての情報である画像認識回数情報をチェックし、前記登録撮影画像の画像認識回数が所定数以下であると判断された場合には、前記画像データベースから削除することを特徴とするサーバシステム。
【請求項４】
請求項２又は３において、
前記画像管理部は、
前記登録撮影画像が前記検索結果画面においてユーザにより選択された回数についての情報である確定選択回数情報をチェックし、前記登録撮影画像の確定選択回数が所定数以下であると判断された場合には、前記画像データベースから削除することを特徴とするサーバシステム。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記タグ処理部は、
前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得することを特徴とするサーバシステム。
【請求項６】
請求項１乃至５のいずれかにおいて、
ユーザの位置情報を取得する位置情報取得部を含み、
前記画像検索部は、
前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行うことを特徴とするサーバシステム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、
取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、
前記アルバム登録部は、
前記検索結果データにより表示される前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項８】
請求項７において、
前記受信処理部は、
前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、
前記アルバム登録部は、
受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録することを特徴とするサーバシステム。
【請求項９】
請求項７又は８において、
前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム登録部は、
取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録することを特徴とするサーバシステム。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含むことを特徴とするサーバシステム。
【請求項１１】
請求項１０において、
前記アルバム閲覧部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行うことを特徴とするサーバシステム。
【請求項１２】
請求項１１において、
前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、
前記アルバム閲覧部は、
取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定することを特徴とするサーバシステム。
【請求項１３】
請求項７乃至１２のいずれかにおいて、
前記アルバム登録部は、
ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録することを特徴とするサーバシステム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像検索部は、
ユーザにより画像のアップロードが選択された場合には、前記アップロード画像に類似する複数の登録画像を前記画像データベースから検索し、
前記タグ処理部は、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグを取得し、
前記画像管理部は、
前記アップロード画像の検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アップロード画像に関連づけて前記画像データベースに登録することを特徴とするサーバシステム。
【請求項１５】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記画像データベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項１６】
請求項１５において、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の前記確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項１７】
請求項１６において、
前記表示制御部は、
前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１８】
請求項１７において、
前記表示制御部は、
前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１９】
請求項１５乃至１８のいずれかにおいて、
前記表示制御部は、
ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とする端末装置。
【請求項２０】
画像検索の対象となるユーザの撮影画像を取得する画像取得部と、
取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、
前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記画像データベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行うことを特徴とするプログラム。
【請求項２１】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２０に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２２】
画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、
検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、
取得された前記複数の候補名称タグが表示された検索結果画面を表示し、
前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグとして、前記撮影画像に関連づけて前記画像データベースに登録することを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮影画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。このような画像検索システムでは、画像検索のリファレンス画像となる登録画像を画像データベースに登録しておき、これらの登録画像と撮影画像とを照合することで、画像検索を実行する。
【０００３】
しかしながら、これまでの画像検索システムでは、画像検索のリファレンス画像となる登録画像については、システム側が用意していたため、画像データベースでの登録画像の登録数には限界があった。従って、ユーザからの撮影画像の画像検索を実行する場合に、撮影画像に類似（合致）する登録画像を画像データベースから抽出することができず、画像を認識できない場合が多々あった。
【０００４】
また、これまでの画像検索システムでは、撮影画像は商品検索等に利用されるだけであり、画像検索の対象となった撮影画像をシステム側に保存して、ユーザに再提示するようなシステムについては提案されていなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像検索のリファレンス画像となる登録画像を増加させることができるサーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像検索の対象となるユーザの撮影画像についての送信データを、ネットワークを介して受信する処理を行う受信処理部と、前記撮影画像に類似する複数の登録画像を画像データベースから検索する画像検索部と、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得するタグ処理部と、前記撮影画像の画像検索の検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグとして、前記撮影画像に関連づけて前記画像データベースに登録する画像管理部とを含むサーバシステムに関係する。
【０００８】
本発明の一態様によれば、ユーザの撮影画像についての送信データがネットワークを介して受信されると、受信した撮影画像に類似する登録画像が検索され、登録画像の名称タグから撮影画像の候補名称タグが取得される。そして画像検索の検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、撮影画像の確定名称タグとして、撮影画像に関連づけて画像データベースに登録される。これにより、ユーザの撮影画像についても、確定名称タグと共に画像データベースに登録できるようになるため、画像検索のリファレンス画像となる登録画像を増加させることが可能になる。
【０００９】
また本発明の一態様では、前記画像管理部は、前記画像データベースに登録された前記撮影画像である登録撮影画像を、前記画像データベースから抽出し、抽出された前記登録撮影画像が所定条件を満たさない場合には、前記画像データベースから削除する処理を行ってもよい。
【００１０】
このようにすれば、所定条件を満たさない登録撮影画像については画像データベースから削除されるため、画像データベースの使用記憶容量の節約や画像認識処理の高速化等を図ることが可能になる。
【００１１】
また本発明の一態様では、前記画像管理部は、前記登録撮影画像が検索対象画像に類似する画像として認識された回数についての情報である画像認識回数情報をチェックし、前記登録撮影画像の画像認識回数が所定数以下であると判断された場合には、前記画像データベースから削除してもよい。
【００１２】
このようにすれば、画像認識回数が所定回数以下であると判断されるような登録撮影画像については、画像データベースから削除されるため、画像データベースの使用記憶容量の節約等を図ることが可能になる。
【００１３】
また本発明の一態様では、前記画像管理部は、前記登録撮影画像が前記検索結果画面においてユーザにより選択された回数についての情報である確定選択回数情報をチェックし、抽出された前記登録撮影画像の確定選択回数が所定数以下であると判断された場合には、前記画像データベースから削除してもよい。
【００１４】
このようにすれば、確定選択回数が所定回数以下であると判断されるような登録撮影画像については、画像データベースから削除されるため、画像データベースの使用記憶容量の節約等を図ることが可能になる。
【００１５】
また本発明の一態様では、前記タグ処理部は、前記複数の名称タグの出現数を集計し、集計結果に基づいて前記複数の候補名称タグを取得してもよい。
【００１６】
このようにすれば、名称タグの出現数に応じて候補名称タグを選択して取得できるようになる。
【００１７】
また本発明の一態様では、ユーザの位置情報を取得する位置情報取得部を含み、前記画像検索部は、前記撮影画像の画像認識に成功しなかった場合に、ユーザの前記位置情報の取得を前記位置情報取得部に指示し、取得された前記位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。
【００１８】
このようにすれば、画像認識に成功しなかった場合にも、ユーザの位置情報を利用して検索対象を絞り込んで、画像検索を再度実行できる。
【００１９】
また本発明の一態様では、前記撮影画像をアルバムデータベースに登録する処理を行うアルバム登録部と、取得された前記複数の候補名称タグを含む検索結果データを作成するデータ作成部とを含み、前記アルバム登録部は、前記検索結果データにより表示される前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記撮影画像の確定名称タグとして、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００２０】
このようにすれば、画像検索の対象となった撮影画像がアルバムとして閲覧可能になり、これまでにないタイプの画像検索を実現できる。
【００２１】
また本発明の一態様では、前記受信処理部は、前記撮影画像についての前記送信データが添付されたユーザからのメールを受信する処理を行い、前記アルバム登録部は、受信した前記メールのメールアドレスにより特定される前記アルバムデータベースの格納場所に、前記撮影画像を登録してもよい。
【００２２】
このようにすれば、撮影画像が添付されたメールをユーザが送信するだけで、そのメールアドレスにより特定される格納場所に撮影画像が登録されるようになるため、ユーザの利便性を向上できる。
【００２３】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム登録部は、取得された前記撮影場所の前記位置情報を、前記アルバムデータベースの前記撮影画像に関連づけて登録してもよい。
【００２４】
このようにすれば、ユーザが選択した確定名称タグにより撮影画像の撮影場所の位置情報を特定して、アルバムデータベースに登録できるようになる。
【００２５】
また本発明の一態様では、前記アルバムデータベースのアルバム情報をユーザが閲覧するための処理を行うアルバム閲覧部を含んでもよい。
【００２６】
このようにすれば、ユーザは、画像検索の対象となった撮影画像が自動的に登録されるアルバムを閲覧して楽しむことが可能になる。
【００２７】
また本発明の一態様では、前記アルバム閲覧部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方を、マップ画面上に表示するための処理を行ってもよい。
【００２８】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００２９】
また本発明の一態様では、前記確定名称タグに基づいて、前記撮影画像の前記撮影場所の位置情報を取得する位置情報取得部を含み、前記アルバム閲覧部は、取得された前記位置情報に基づいて、前記マップ画面上での前記撮影場所の表示位置又は前記移動履歴を特定してもよい。
【００３０】
このようにすれば、確定名称タグを活用して撮影場所の位置情報を特定して、撮影場所やその移動履歴をマップ画面上に表示できる。
【００３１】
また本発明の一態様では、前記アルバム登録部は、ユーザのアルバム閲覧時に、ユーザにより画像のアップロードが選択された場合には、アップロード画像を前記アルバムデータベースに登録してもよい。
【００３２】
このようにすれば、ユーザは、撮影画像のみならず、所望のアップロード画像をアルバムデータベースに登録できるようになる。
【００３３】
また本発明の一態様では、前記画像検索部は、ユーザにより画像のアップロードが選択された場合には、前記アップロード画像に類似する複数の登録画像を前記画像データベースから検索し、前記タグ処理部は、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグを取得し、前記画像管理部は、前記アップロード画像の検索結果画面において、前記複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、前記アップロード画像に関連づけて前記画像データベースに登録してもよい。
【００３４】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグがアップロード画像に関連づけて画像データベースに登録されるようになる。
【００３５】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像を取得する画像取得部と、取得された前記撮影画像についての送信データを、ネットワークを介して送信する処理を行う送信処理部と、前記撮影画像に対する画像検索の検索結果データをネットワークを介して受信する処理を行う受信処理部と、受信した前記検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記撮影画像に類似する複数の登録画像が画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグが取得された場合に、取得された前記複数の候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、前記画像データベースに登録される前記撮影画像の確定名称タグとして、ネットワークを介して送信する処理を行う端末装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３６】
本発明の他の態様によれば、画像検索の対象となる撮影画像が取得されると、その撮影画像がネットワークを介して送信される。そして撮影画像の画像検索の検索結果データが受信されると、撮影画像から取得された候補名称タグが検索結果画面に表示される。そして検索結果画面において、候補名称タグのいずれかをユーザが選択すると、選択された候補名称タグが、画像データベースに登録される撮影画像の確定名称タグとして、ネットワークを介して送信される。これにより、ユーザの撮影画像についても、確定名称タグと共に画像データベースに登録できるようになるため、画像検索のリファレンス画像となる登録画像を増加させることが可能になる。
【００３７】
また本発明の他の態様では、前記送信処理部は、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アルバムデータベースに登録される前記撮影画像の前記確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００３８】
このようにすれば、画像検索の対象となった撮影画像がアルバムデータベースに登録されるようになり、これまでにないタイプの画像検索を実現できる。
【００３９】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースのアルバム情報に基づくアルバム閲覧画面を、前記表示部に表示する制御を行ってもよい。
【００４０】
このようにすれば、ユーザは、画像検索の対象となった撮影画像をアルバム閲覧画面により閲覧できるようになる。
【００４１】
また本発明の他の態様では、前記表示制御部は、前記アルバムデータベースに登録されている前記撮影画像の撮影場所及び前記撮影場所の移動履歴の少なくとも一方が表示されたマップ画面を、前記表示部に表示する制御を行ってもよい。
【００４２】
このようにすれば、撮影画像の撮影場所等がマップ画面上に軌跡として残るようになるため、旅行の余韻等をユーザは楽しむことが可能になる。
【００４３】
また本発明の他の態様では、前記表示制御部は、ユーザによる画像のアップロードが行われ、前記アップロード画像に類似する複数の登録画像が前記画像データベースから検索され、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得された場合に、取得された前記複数のアップロード画像用候補名称タグが表示される検索結果画面を、前記表示部に表示する制御を行い、前記送信処理部は、前記検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを、アップロード画像用確定名称タグとして、ネットワークを介して送信する処理を行ってもよい。
【００４４】
このようにすれば、アップロード画像の画像検索により取得された候補名称タグの中からユーザが確定名称タグを選択すると、その確定名称タグが、アップロード画像用確定名称タグとしてネットワークを介して送信されるようになる。
【００４５】
また本発明の他の態様は、画像検索の対象となるユーザの撮影画像に類似する複数の登録画像を画像データベースから検索し、検索された前記複数の登録画像に関連づけられた複数の名称タグから、複数の候補名称タグを取得し、取得された前記複数の候補名称タグが表示された検索結果画面を表示し、前記検索結果画面において、前記複数の候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグを前記撮影画像の確定名称タグとして、前記撮影画像に関連づけて前記画像データベースに登録する画像検索方法に関係する。
【図面の簡単な説明】
【００４６】
【図１】本実施形態のシステム構成例。
【図２】本実施形態の動作の説明図。
【図３】図３（Ａ）、図３（Ｂ）は結果通知メールや検索結果画面の例。
【図４】観光情報画面の例。
【図５】図５（Ａ）、図５（Ｂ）はアルバム閲覧画面の例。
【図６】画像詳細画面の例。
【図７】登録画像の削除処理の説明図。
【図８】登録画像の削除処理の処理フロー。
【図９】図９（Ａ）、図９（Ｂ）はアルバムデータベースや画像データベースのデータ構造の例。
【図１０】図１０（Ａ）、図１０（Ｂ）はタグ処理の説明図。
【図１１】アップロード画像の検索結果画面の例。
【図１２】本実施形態の詳細な処理フロー。
【図１３】本実施形態の詳細な処理フロー。
【図１４】本実施形態の詳細な処理フロー。
【図１５】本実施形態の詳細な処理フロー。
【図１６】本実施形態の詳細な処理フロー。
【図１７】本実施形態の詳細な処理フロー。
【図１８】本実施形態の詳細な処理フロー。
【発明を実施するための形態】
【００４７】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４８】
１．システム構成
図１に本実施形態の画像検索システムのシステム構成を示す。この画像検索システムは、管理サーバ１０や画像検索サーバ６０により実現されるサーバシステムや、端末装置１１０（通信端末、携帯端末装置、電子機器）などにより実現される。これらの管理サーバ１０、画像検索サーバ６０、端末装置１１０等はネットワーク１００により通信接続されている。なおネットワーク１００に他の外部サーバや端末装置を通信接続してもよい。
【００４９】
本実施形態では、ユーザからメール等により送信された画像の被写体となる観光地、施設、文化財、店舗、建物等を、画像認識により特定し、その詳細な情報及びその後の観光ルート等の地域情報を提供する。また画像検索の検索結果画面において、ユーザが撮影画像の候補名称タグの中から所望の名称タグを選択すると、選択された候補名称タグを、撮影画像の正解名称タグとして画像データベースに登録する。また、メールに添付した画像を、ユーザ単位で自動的に編集し、画像に位置情報を付与した上で、マップ（地図）上の撮影場所を特定・表示するアルバムとして提供する。
【００５０】
具体的には、ユーザがカメラ付き携帯電話機等の端末装置１１０により画像を撮影すると、その撮影画像は端末装置１１０から送信される。すると画像検索サーバ６０は、画像データベース９０を参照して、ユーザの撮影画像に類似（合致）する登録画像を検索し、検索された登録画像の名称タグ（広義にはタグ）に基づいて、撮影画像の候補名称タグを取得する。例えば撮影画像の被写体が寺である場合には、撮影画像の被写体に類似（合致）する寺の名称の候補が、候補名称タグとして取得される。
【００５１】
そして、取得された候補名称タグを含む検索結果データを作成し、後述する図３（Ｂ）に示すような検索結果画面を作成する。これにより端末装置１１０の表示部１８０には、作成された検索結果画面が表示される。例えば図３（Ｂ）の検索結果画面では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の名称が、候補名称タグとして表示されている。
【００５２】
ユーザは、検索結果画面に表示されるこれらの候補名称タグの中から、自身が正解と思う名称タグを選択する。例えば図３（Ｂ）のＢ４では、ユーザは、自身が撮影した寺は「Ｅ１寺」であると判断したため、「Ｅ１寺」の名称タグを選択している。このようにユーザにより選択された名称タグは、確定名称タグ（正解タグ）であると判断される。そして、撮影画像及び確定名称タグは互いに関連づけられて画像データベース９０に登録される。これにより、システム側が用意した登録画像のみならず、ユーザが画像検索を依頼した撮影画像についても、画像検索のリファレンス画像となる登録画像として、画像データベース９０に登録されるようになる。
【００５３】
また管理サーバ１０は、ユーザの撮影画像をアルバムデータベース４０にも登録する。これによりユーザは、後述する図５（Ａ）〜図６に示すように、過去に画像検索を実行した一連の撮影画像を、自身のアルバムとして閲覧できるようになる。更にユーザが選択した確定名称タグについても、ユーザの撮影画像に関連づけてアルバムデータベース４０に登録される。このようにすれば、例えば撮影画像の被写体が観光地であった場合には、ユーザはアルバムを閲覧することで、過去に旅行で行った観光地を思い出すことなどが可能になる。
【００５４】
以下、本実施形態の構成について図１を用いて具体的に説明する。なお、管理サーバ１０、画像検索サーバ６０、端末装置１１０等は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また本実施形態のサーバシステムは、例えば管理サーバ１０及び画像検索サーバ６０の一方により実現したり、管理サーバ１０及び画像検索サーバ６０の両方により実現することができる。
【００５５】
ネットワーク１００（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１１０と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１００は、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などにより実現することができ、有線・無線を問わない。
【００５６】
管理サーバ１０は、サーバシステムにおける管理処理等を担当するサーバであり、例えばウェブサーバやメールサーバなどである。画像検索サーバ６０は、画像検索やタグ処理を担当するサーバである。これらの管理サーバ１０、画像検索サーバ６０の機能は、情報処理装置などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００５７】
端末装置１１０は、例えばユーザが所持するカメラ付き携帯電話機、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ機能を有する情報処理端末、もしくは、例えばカメラ機能を有する情報処理端末から画像を転送可能な装置（ＰＣ）などであり、撮影画像を取得する機能や、ネットワーク１００を介して管理サーバ１０や画像検索サーバ６０と通信する機能を有する。情報処理装置２００は、店舗用やユーザ用のＰＣ（Personal Computer）等である。
【００５８】
管理サーバ１０は、処理部２０、アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０、通信部５８を含む。処理部２０は、システム全体の管理処理やデータベースの管理処理やデータ作成処理などを行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰPHP:Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００５９】
アルバムデータベース４０、個人情報データベース４２、コンテンツデータベース５０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースである。アルバムデータベース４０は、ユーザの撮影画像をアルバム情報として記憶する。また撮影画像に関連づけて、その名称タグ（確定名称タグ）や、その撮影場所（ユーザ）の位置情報などを、アルバム情報として記憶する。個人情報データベース４２は、各種のユーザ情報を記憶する。コンテンツデータベース５０は、各種のコンテンツ情報を記憶するものであり、観光情報データベース５２、リコメンド情報データベース５４、広告情報データベース５６などを含むことができる。通信部５８は、ネットワーク１００を介して端末装置１１０や情報処理装置２００や他の外部サーバとの間で情報を通信するためのものである。
【００６０】
画像検索サーバ６０は、処理部７０、画像データベース９０、通信部９８を含む。処理部７０は、画像検索処理やタグ処理などを行うものであり、その機能は各種プロセッサやプログラムなどにより実現できる。
【００６１】
画像データベース９０は、画像検索のための登録画像を記憶するリレーショナルデータベースである。通信部９８は、ネットワーク１００を介して管理サーバ１０等との間で情報を通信するためのものである。
【００６２】
端末装置１１０は、処理部１２０、記憶部１４０、情報記憶媒体１５０、通信部１５８、撮像部１６０、操作部１７０、表示部１８０を含む。
【００６３】
処理部１２０は、操作部１７０からの操作情報や、通信部１５８が受信した情報等に基づいて、種々の処理を行う。この処理部１２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１５０に記憶されたプログラムなどにより実現できる。
【００６４】
記憶部１４０は、処理部１２０、通信部１５８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００６５】
情報記憶媒体１５０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１２０は、情報記憶媒体１５０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１５０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００６６】
通信部１５８は、ネットワーク１００を介して管理サーバ１０、画像検索サーバ６０や他の端末装置との間で情報を通信するためのものである。撮像部１６０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。操作部１７０は、ユーザが端末装置１１０の各種操作を行うためのものであり、各種ボタン（シャッターボタン）やＧＵＩ（Graphical User Interface）などにより実現できる。表示部１８０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイやＣＲＴなどにより実現できる。
【００６７】
管理サーバ１０の処理部２０は、受信処理部２２、送信処理部２４、アルバム登録部２６、データ作成部２８、位置情報取得部３０、アルバム閲覧部３２、コンテンツ提示部３４を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６８】
受信処理部２２はデータの受信処理を行い、送信処理部２４はデータの送信処理を行う。例えば受信処理部２２は、画像検索の対象となるユーザの撮影画像（広義には検索対象画像、画像）についての送信データを、ネットワーク１００を介して例えば端末装置１１０から受信する。ここで、撮影画像についての送信データは、撮影画像データそのものであってもよいし、撮影画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば撮影画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００６９】
アルバム登録部２６はアルバムデータベース４０へのアルバム情報（画像、タグ、位置等）の登録処理を行う。具体的にはネットワーク１００を介して受信した撮影画像（撮影画像データ）をアルバムデータベース４０に登録する処理（書き込む処理）を行う。例えば受信処理部２２が、撮影画像についての送信データが添付されたユーザからのメールを受信したとする。この場合にはアルバム登録部２６は、受信したメールのメールアドレス（マイページＩＤ、ユーザＩＤ）により特定されるアルバムデータベース４０の格納場所（登録場所）に、撮影画像や確定名称タグ（正解タグ）を登録する。
【００７０】
データ作成部（検索結果画面作成部）２８は、検索結果データ等の各種データを作成する。例えば撮影画像に類似する複数の登録画像が画像データベース９０から検索され、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）が取得されたとする。この場合にはデータ作成部２８は、取得された複数の候補名称タグを含む検索結果データを作成する。即ち、図３（Ｂ）に示す検索結果画面を表示するためのデータを作成する。
【００７１】
そして図３（Ｂ）の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択すると、アルバム登録部２６は、選択された候補名称タグを、撮影画像の確定名称タグ（正解タグ、選択タグ）として、アルバムデータベース４０の撮影画像（アルバム登録画像）に関連づけて登録する。これによりユーザは、自身が撮った画像と自身が選択した名称タグとが表示されるアルバムを閲覧できるようになる。
【００７２】
なお図３（Ｂ）の検索結果画面において、ユーザが確定名称タグの選択を行わずに、テキスト検索を選択した場合には、データ作成部２８は、テキスト検索によりコンテンツデータベース５０からコンテンツ情報を検索する。そして検索された観光情報等のコンテンツ情報を含む検索結果データを作成する。
【００７３】
位置情報取得部３０は、撮影画像の撮影場所（ユーザの所在地）等の位置情報を取得する。具体的には、例えば確定名称タグに基づいて撮影場所の位置情報を取得する。例えばユーザが選択した確定名称タグが図３（Ｂ）の「Ｅ１寺」である場合には、観光情報ＤＢの観光情報等に基づいて、「Ｅ１寺」の位置を、撮影画像の撮影場所の位置情報として取得する。そしてアルバム登録部２６は、取得された撮影場所の位置情報を、アルバムデータベース４０の撮影画像に関連づけて登録する。こうすることで、例えばＧＰＳ等を利用しなくても、各撮影画像の撮影場所の位置情報を簡素な処理で取得できる。
【００７４】
アルバム閲覧部３２は、アルバムデータベース４０の撮影画像等のアルバム情報をユーザが閲覧するための処理を行う。具体的には図５（Ａ）〜図６に示すような各種のアルバム閲覧画面を作成して表示するための処理を行う。
【００７５】
例えば図５（Ａ）のＣ３では、撮影場所に関するマップ画面（地図）が表示されている。そして、このマップ画面上には、アルバムに登録されている撮影画像の撮影場所の表示位置やその移動履歴（移動軌跡）が表示されている。例えばユーザが大阪の「Ｆ１タワー」を撮影した後、「Ｆ２神社」を撮影し、次に「Ｆ３城」を撮影したことが表示されている。この場合にアルバム閲覧部３２は、例えば位置情報取得部３０により取得された位置情報に基づいて、図５（Ａ）のマップ画面上での撮影場所の表示位置や移動履歴を特定する。
【００７６】
またアルバム閲覧部３２は、ユーザがアルバム情報の閲覧を選択すると、図５（Ｂ）に示すように、アルバムデータベース４０に登録されている撮影画像の一覧画面を作成して表示する。またアルバム閲覧部３２は、この一覧画面に表示されている撮影画像に対して、ユーザがコメントを入力すると、入力されたコメントをアルバムデータベース４０の撮影画像に関連づけて登録する。例えば図５（Ｂ）の一覧画面においてユーザが所望の撮影画像を選択すると、図６に示すような画像詳細情報が表示される。そして、この画像詳細情報には、Ｃ１１に示すようにユーザがその撮影画像に対して入力したコメントが表示される。なお、入力したコメントを図５（Ｂ）の一覧画面において各撮影画像に対応づけて表示してもよい。
【００７７】
またアルバム登録部２６は図５（Ａ）、図５（Ｂ）のアルバム閲覧時に、ユーザにより画像のアップロードの選択が行われた場合には、アップロード画像をアルバムデータベース４０に登録する処理を行う。
【００７８】
なお、本実施形態では、検索結果画面やアルバム閲覧画面等の各種画面をサーバ側で作成する場合の例について説明しているが、これらの各種画面を端末装置側のアプリケーションプログラムにより作成してもよい。例えばサーバ側のデータ作成部２８が、検索結果画面等の各種画面を表示するためのデータ（検索結果データ等）を作成して送信すると、端末装置側のアプリケーションプログラムが、作成されたデータに基づいて各種画面を作成して、表示部１８０に表示してもよい。またソフトウェアとしてのブロックは、ハードウェア上一体であってもよく、例えば画像認識処理を端末装置側のアプリケーション処理として実行してもよい。
【００７９】
コンテンツ提示部３４は、各種のコンテンツ情報の提示処理（表示処理）を行う。例えば、ユーザが選択した確定候補名称タグに基づいてコンテンツデータベース５０を参照して、確定名称タグに対応するコンテンツ情報を取得する。具体的には、コンテンツ情報として、確定名称タグに対応する観光情報（被写体の詳細情報）を取得し、図４に示すような観光情報（観光地情報）をユーザに提示する。
【００８０】
画像検索サーバ６０の処理部７０は、受信処理部７２、送信処理部７４、画像検索部７６、タグ処理部７８、画像管理部８０を含む。
【００８１】
受信処理部７２は、撮影画像のデータ等を例えば管理サーバ１０から受信する処理を行う。なお撮影画像のデータを端末装置１１０から受信するようにしてもよい。
【００８２】
画像検索部７６は画像検索処理を行う。具体的には、撮影画像に類似（合致）する複数の登録画像（1又は複数の登録画像）を画像データベース９０から検索する。
【００８３】
なお画像検索部７６は、撮影画像の画像認識に成功しなかった場合には、ユーザの位置情報の取得を管理サーバ１０の位置情報取得部３０に指示する。そして位置情報取得部３０により取得された位置情報に基づいて検索対象を絞り込んで、画像検索を行ってもよい。例えばＧＰＳ、簡易位置情報等を用いて位置情報を取得してもよい。
【００８４】
タグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグ（タグ）から、複数の候補名称タグ（候補タグ）を取得する。具体的には、複数の名称タグの出現数（出現頻度）を集計し、集計結果に基づいて複数の名称タグのソーティング処理を行って、複数の候補名称タグを取得する。例えば複数の名称タグを、出現数が多い順に並べ替えて、重複する名称タグを１つの名称タグにまとめる名寄せ処理等を行って、候補名称タグを取得する。そして送信処理部７４は、取得された候補名称タグ（タグ情報）を管理サーバ１０に送信する処理を行う。
【００８５】
なお、名称タグの集計処理は、名称タグの出現数を単純にカウントする処理には限定されない。例えば、撮影画像に類似する画像として抽出された登録画像の類似度等に基づいて重み付け係数を求め、この重み付け係数と出現数に基づいてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、撮影画像に対する登録画像の類似度が高い場合には、その登録画像の名称タグの集計値を大きくするようにしてもよい。
【００８６】
画像管理部８０は画像データベース９０の管理処理を行う。例えば画像データベース９０への画像の登録処理や、画像データベース９０の登録画像の削除処理（クリーニング処理）などを行う。例えば図３（Ｂ）に示す画像検索の検索結果画面において、複数の候補名称タグのいずれかをユーザが選択したとする。この場合には画像管理部８０は、選択された候補名称タグを撮影画像の確定名称タグとして、撮影画像に関連づけて画像データベース９０に登録する。即ち、ユーザの撮影画像とユーザが選択した確定名称タグを、画像データベース９０に登録する。
【００８７】
また画像管理部８０は、画像データベース９０に登録された撮影画像である登録撮影画像を、画像データベース９０から抽出する（読み出す）。そして、抽出された登録撮影画像が所定条件を満たさない場合には、その登録撮影画像を画像データベース９０から削除する処理を行う。
【００８８】
例えば画像管理部８０は、登録撮影画像の画像認識回数情報（画像認識回数そのもの、或いは画像認識回数に応じて変化する情報）をチェックする。そして、画像認識回数情報が所定条件を満たさないと判断された場合、例えば登録撮影画像の画像認識回数が所定数以下であると判断された場合などに、その登録撮影画像を画像データベース９０から削除する。ここで画像認識回数情報は、登録撮影画像が、検索対象画像（撮影画像、アップロード画像）に類似（合致）する画像として認識された回数（頻度）を表す情報である。
【００８９】
また画像管理部８０は、登録撮影画像の確定選択回数情報（確定選択回数そのもの、或いは確定選択回数に応じて変化する情報）をチェックする。そして、確定選択回数情報が所定条件を満たさないと判断された場合、例えば確定選択回数が所定数以下であると判断された場合などに、その登録撮影画像を画像データベース９０から削除する。ここで確定選択回数情報は、登録撮影画像が検索結果画面においてユーザにより選択された回数を表す情報である。なお、画像認識回数が所定数以下であったり、確定選択回数が所定数以下である場合に、必ずしもその登録撮影画像を削除しなくてもよく、例えば画像認識回数と確定選択回数との比率等を考慮して、登録撮影画像の削除処理を実行してもよい。
【００９０】
端末装置１１０の処理部１２０は、画像取得部１２２、送信処理部１２４、受信処理部１２６、表示制御部１２８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９１】
画像取得部１２２は検索対象となる撮影画像を取得する。例えば、撮像部１６０により被写体を撮像することで得られた撮影画像（被写体画像）を取り込む。なお、例えばメモリカードなどに保存された撮影画像を読み出して取得してもよい。
【００９２】
送信処理部１２４は、取得された撮影画像についての送信データを、ネットワーク１００を介して管理サーバ１０（広義にはサーバシステム）に送信する処理を行う。受信処理部１２６は、撮影画像の類似画像検索の検索結果データをネットワーク１００を介して受信する処理を行う。
【００９３】
表示制御部１２８は、受信した検索結果データに基づいて、表示部１８０の表示制御を行い、図３（Ｂ）に示すような検索結果画面を表示部１８０に表示する。即ち、撮影画像に類似する登録画像が検索され、検索結果により候補名称タグが取得されると、取得された候補名称タグが表示される検索結果画面を、表示部１８０に表示する。また表示制御部１２８は、図５（Ａ）〜図６に示すように、アルバムデータベース４０のアルバム情報に基づくアルバム閲覧画面を表示する制御を行う。具体的には図５（Ａ）に示すように、アルバムデータベース４０に登録されている撮影画像の撮影場所や移動履歴が表示されたマップ画面を表示する制御を行う。
【００９４】
そして検索結果画面において、候補名称タグのいずれかをユーザが選択したとする。すると、送信処理部１２４は、選択された候補名称タグを、画像データベース９０やアルバムデータベース４０に登録される撮影画像の確定名称タグとして、ネットワーク１００を介して送信する処理を行う。
【００９５】
２．動作
次に本実施形態の動作について図２の処理フローを用いて説明する。なお以下では「データベース」は、適宜、「ＤＢ」と記載する。
【００９６】
ユーザは端末装置１１０のカメラ（撮像部）で被写体を撮影すると、その撮影画像が添付されたメールを、特定のメールアドレス先に送信する（ステップＳ３０１）。管理サーバ１０は、ユーザからのメールを受信すると、メールに添付されている撮影画像をアルバムＤＢに登録（蓄積）すると共にその撮影画像を画像検索サーバ６０に送信する（ステップＳ３０２、Ｓ３０３、Ｓ３０４）。
【００９７】
画像検索サーバ６０は、撮影画像を受信すると、画像ＤＢを参照して画像認識処理を行う（ステップＳ３０５、Ｓ３０６）。具体的には、撮影画像（検索対象画像）と、画像ＤＢの各登録画像とを照合し、撮影画像に類似（合致する場合を含む）する登録画像のうち、上位の所定数の登録画像を抽出する。そして画像認識処理の結果に基づいて候補名称タグを取得し、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ３０７、Ｓ３０８）。具体的には、撮影画像に類似する上位の所定数の登録画像に関連づけられた名称タグの集計処理（名寄せ処理）を行って、候補名称タグを取得し、管理サーバ１０に送信する。
【００９８】
管理サーバ１０は、候補名称タグを受信すると、観光情報ＤＢから候補名称タグに対応する観光情報を抽出し、結果通知メールをユーザの端末装置１１０に送信する（ステップＳ３０９、Ｓ３１０、Ｓ３１１）。
【００９９】
図３（Ａ）に結果通知メールの例を示す。この結果通知メールは、Ｂ１、Ｂ２に示すように、撮影画像の候補名称タグや、検索結果画面等を表示するためのマイページのＵＲＬ（Uniform Resource Locator）を含むメールになっている。そしてユーザがＢ２のマイページＵＲＬをクリックすると、図３（Ｂ）に示すような検索結果画面が表示される（ステップＳ３１３、Ｓ３１４）。
【０１００】
図３（Ｂ）の検索結果画面では、Ｂ３に示すように撮影画像の候補名称タグと各候補名称タグに対応するアイコン画像（撮影画像に類似する登録画像）が表示される。具体的には「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の候補名称タグと、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」を表すアイコン画像が表示される。ユーザは、これらの候補名称タグやアイコン画像を参照して、自身が正解と考えた候補名称タグ（アイコン画像）を選択する（ステップＳ３１５）。例えば図３（Ｂ）ではＢ４に示す「Ｅ１寺」の候補名称タグを選択している。
【０１０１】
すると管理サーバ１０は、観光情報ＤＢ等のコンテンツＤＢを参照して、各種のコンテンツ情報を抽出して、図４に示すようなコンテンツ情報画面（観光情報画面）を表示する（ステップＳ３１６、Ｓ３１７）。これによりユーザは、図４に示すように観光地情報やレコメンド情報や広告情報などの各種のコンテンツ情報を閲覧できるようになる（ステップＳ３１８）。
【０１０２】
そして本実施形態では、ユーザが図３（Ｂ）のＢ３に示す候補名称タグの中から所望の名称タグを選択すると、選択された名称タグ（Ｅ１寺）が確定名称タグとして、撮影画像と共に画像ＤＢに登録される（ステップＳ３１９）。即ち、ユーザの撮影画像が画像ＤＢの登録撮影画像として登録されると共に、ユーザが選択した確定名称タグが、登録撮影画像の正解タグとして登録される。
【０１０３】
なお、ユーザが選択した確定名称タグを、アルバムＤＢに登録するようにしてもよい（ステップＳ３２０）。即ちユーザの撮影画像に関連づけて「Ｅ１寺」の確定名称タグを登録する。これにより、ユーザが画像検索を行った撮影画像と、それに対してユーザが選択した確定名称タグが、アルバムＤＢに次々に登録されるようになる。
【０１０４】
また、ユーザは、図３（Ｂ）のＢ７をクリックすることで、撮影画像の画像検索を再度実行できる。また、ユーザが所望する検索結果を得られなかった場合には、ユーザはＢ８に示すテキスト検索を選択して、撮影画像に関する情報のテキスト検索を実行できる。これにより、観光情報ＤＢ等を参照して、観光地の情報等を検索できるようになる。
【０１０５】
図３（Ｂ）のＢ５に示すように、ユーザに対しては、送付した撮影画像がユーザのアルバムに登録された旨が通知される。そしてユーザが、どのようなアルバムが作成されたのかに興味を持って、Ｂ６のアルバム閲覧をクリックすると、図５（Ａ）に示すようなアルバム閲覧画面が表示される（ステップＳ３２１、Ｓ３２２）。
【０１０６】
図５（Ａ）では、Ｃ１に示すように、「大阪アルバム」や「滋賀アルバム」というようにユーザが過去に旅行に行った場所のアルバムを閲覧することができ、ここでは最も最近に行った「大阪アルバム」が表示されている。なお、アルバムは日付単位（撮影日単位等）でグループ化されるものであってもよい。
【０１０７】
図５（Ａ）のＣ２に示すように、ユーザは大阪の旅行で「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の写真を撮っており、その撮影画像の画像検索を行っている。そしてユーザは図３（Ｂ）の検索結果画面において、これらの観光地の確定名称タグを選択しており、これらの撮影画像や確定名称タグがアルバムＤＢに登録されている。すると管理サーバ１０は、これらの「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の確定名称タグから、その観光地の場所を特定して、Ｃ３に示すマップ画面上に表示している。例えばＣ４、Ｃ５、Ｃ６の星マークは、各々、「Ｆ１タワー」、「Ｆ２神社」、「Ｆ３城」の位置を表し、Ｃ７、Ｃ８の矢印マークは、ユーザ（撮影場所）の移動履歴（移動経路）を表している。ユーザは、これらのマークを見ることで、大阪の旅行においてどのようなルートで観光を行ったのかを思い出すことができる。
【０１０８】
そしてユーザが、Ｃ９に示す「アルバムを見る」をクリックすると、図５（Ｂ）に示すように、大阪アルバムにおける撮影画像の一覧画面が表示される。即ちアルバムＤＢのアルバム情報に基づいて撮影画像の一覧画面が作成されて表示される。ユーザは、このような一覧画面を見ることで、大阪で撮影した画像を閲覧することができ、旅行の思い出を楽しむことができる。
【０１０９】
また図５（Ｂ）の一覧画面において、ユーザが、Ｃ１０に示す「詳細を観る」をクリックすると、図６に示すような画像詳細画面が表示される。この画像詳細画面においては、Ｃ１１に示すように、ユーザは写真に対するコメントを入力できる。これによりユーザは、どのような状況・経緯等で写真が撮影されたかをコメントにより書き留めておくことができ、ユーザの旅行を振り返ることが可能になる。
【０１１０】
また図２のステップＳ３１５においてユーザが候補名称タグを選択すると、その確定名称タグに基づいて観光情報ＤＢ等からその観光地等の位置情報が取得される（ステップＳ３３０）。これにより、ユーザの所在地が特定され、その所在地の周辺店舗用の情報処理装置（ＰＣ）２００に対して、ユーザが所在（接近）していることを知らせる通知メールが送信される（ステップＳ３３１）。
【０１１１】
情報処理装置２００は、この通知メールを受信すると、広告メール配信の対象ユーザを抽出して、抽出された対象ユーザの中から、通知メールを配信するユーザを選択する（ステップＳ３３２、Ｓ３３３、Ｓ３３４）。例えばユーザの個人情報ＤＢからの情報に基づき、年齢層、性別等に応じて広告メール配信の対象ユーザを絞り込んで選択する。そして選択された対象ユーザに対して、登録された広告内容に対応する広告メールを配信することを、管理サーバ１０に対して要求する（ステップＳ３３５）。なお、広告内容の登録は、管理サーバ１０からの通知メールの受信前に予め行っておくことが望ましい。
【０１１２】
管理サーバ１０は、広告メールの配信要求を受信すると、広告情報ＤＢからの広告情報を読み出して、広告メールを作成する（ステップＳ３３６）。広告情報ＤＢには、情報処理装置２００により予め登録された内容の広告情報が記憶されている。そして管理サーバ１０が作成した広告メールを送信し、端末装置１１０が広告メールを受信すると、端末装置１１０の表示部１８０にその周辺店舗の広告メールが表示されるようになる（ステップＳ３３７、Ｓ３３８）。
【０１１３】
例えばユーザが観光地である「Ｅ１寺」で写真を撮影し、図３（Ｂ）の検索結果画面において、「Ｅ１寺」を確定名称タグとして選択したとする。すると、観光情報ＤＢから「Ｅ１寺」の位置情報が抽出され、この位置情報に基づいてユーザの所在地が特定され、その所在地の周辺店舗に対して通知メールが送信される。そしてその周辺店舗の情報処理装置２００から、広告メールの配信要求があると、例えば図４のＢ９に示すように、その周辺店舗の広告情報が表示される。このようにすれば、画像検索により得られた確定名称タグを有効活用して，ユーザの所在地を特定し、その所在地の周辺店舗の広告情報をリアルタイムにユーザに提示できるようになる。
【０１１４】
以上に説明した本実施形態の手法によれば、ユーザがカメラ付き携帯電話機やデジタルカメラで写真を撮影し、その撮影画像の画像検索をサーバ側に依頼すると、図３（Ｂ）に示すような検索結果画面が表示される。そしてこの検索結果画面において、ユーザが、候補名称タグの中から正解となる名称タグを選択すると、選択された名称タグは確定名称タグとして、撮影画像と共に画像ＤＢに登録される。そして、登録された撮影画像は、画像検索での照合処理のリファレンス画像として利用されるようになる。従って、様々なユーザが画像検索システムを利用して、自身が撮影した画像をサーバ側に送信し、その撮影画像の確定名称タグを選択することで、画像ＤＢの登録画像の登録数が増えるようになる。即ち、画像検索システムを利用するユーザの人数や、各ユーザの利用回数が増えるにしたがって、画像ＤＢの登録画像の登録数も増加し、ユーザの利用により画像ＤＢが成長するようになる。
【０１１５】
従って、システム側が用意した登録画像の登録数が少ない場合でも、ユーザの利用により登録数が自然に増えるため、画像検索システムの管理・運営の負担を軽減できる。また、登録画像の登録数が増加することで、画像認識における認識の成功率が高くなる。従って、画像検索の際に撮影画像に類似する登録画像を画像ＤＢから抽出できず、画像認識に失敗してしまうという事態の発生を低減できる。
【０１１６】
また本実施形態では、旅行中や観光中（オントラベル中）においては、ユーザが撮影画像の画像検索をサーバ側に依頼すると、図３（Ｂ）に示すような検索結果画面が表示され、図４に示すような観光情報等のガイド情報を見ることができる。従って、携帯電話機等で写真を撮って、その写真を特定のメールアドレスに送信するだけで、図４のようなガイド情報が表示されるため、ユーザは、旅行中にガイドブックを持ち歩かなくても済むようになる。これにより、ガイドブックに比べて、携行性や利便性の高いガイド情報の提供が可能になる。
【０１１７】
また図４のガイド情報では、Ｂ９に示すような周辺店舗についての情報や、Ｂ１０に示すような他ユーザのリコメンド情報（お勧め情報）がリアルタイムに表示されるため、オントラベル中における好適なガイド情報をユーザに提供できる。
【０１１８】
またユーザが画像検索を依頼した撮影画像は、ユーザが意識しなくても自動的にアルバムＤＢに登録されて保存される。そしてユーザが図３（Ｂ）の検索結果画面において、その撮影画像の名称タグを確定する選択を行うと、その確定名称タグが撮影画像に関連づけて登録され、その撮影画像の名称が自動的に付与されるようになる。従って、ユーザが撮影した画像を個人単位でストレージして、ウェブアルバムとしてユーザに提供できるようになるため、ユーザは保存容量を気にせずに写真を撮影してサーバに保存しておくことが可能になる。
【０１１９】
またユーザが画像検索を目的として写真を撮影した場合にも、図３（Ｂ）のＢ６に示すように、撮影画像がアルバムに登録された旨がユーザに知らされ、ユーザは図５（Ａ）〜図６のアルバム閲覧画面で撮影画像を閲覧できる。従って、オントラベルにおけるガイド情報の提供のみならず、アフタートラベルにおいて旅行の思い出を振り返るための情報をユーザに提供できる。また図５（Ａ）のＣ３に示すように、撮影画像の撮影場所の位置情報を活用して旅行中の移動履歴をマップ画面上に軌跡として残すことで、ユーザは、旅行の余韻を視覚的に楽しむことが可能になる。従って、多くの撮影画像が閲覧されずに保存されたままになってしまうという事態を防止でき、アルバムの閲覧を介して撮影画像の有効活用を図れる。
【０１２０】
３．登録画像の画像管理
次に本実施形態の登録画像の画像管理手法について説明する。本実施形態では、ユーザの撮影画像を画像ＤＢのリファレンス画像として登録することで、画像ＤＢの登録数を増加させて画像認識の成功率を増加させている。しかしながら、登録数が増えすぎると、画像ＤＢの使用記憶容量が圧迫されたり、画像検索処理が遅くなるなどの問題が生じるおそれがある。
【０１２１】
そこで本実施形態では、画像ＤＢに登録された撮影画像である登録撮影画像を削除する処理（クリーニング処理）を行って、画像ＤＢの登録数が増えすぎないようにしている。具体的には画像ＤＢから登録撮影画像を抽出して、その登録撮影画像が所定条件（削除対象にならない条件）を満たさない場合には、画像ＤＢから削除する。
【０１２２】
例えば図７において、画像ＩＤがＩＤ１〜ＩＤ６である登録画像Ｍ１〜Ｍ６が、「Ｈ１寺」の撮影画像により登録された画像であったとする。そして登録画像Ｍ３では、その確定名称タグの選択の際に、ユーザが故意に或いは誤って「Ｈ２寺」を選択しており、「Ｈ１寺」の画像であるのにもかかわらず、「Ｈ２寺」の名称タグが付与されている。また登録画像Ｍ５、Ｍ６は、例えば暗い状況等で撮った不鮮明な写真になっている。
【０１２３】
このような状況で、「Ｈ１寺」の撮影画像を検索対象画像として画像検索を行った場合に、登録画像Ｍ５、Ｍ６は不鮮明な写真であるため、登録画像Ｍ５、Ｍ６が検索対象画像に類似（合致）する画像として認識される画像認識回数（画像認識頻度、画像認識率）は少ない。即ち、登録画像Ｍ５、Ｍ６が、検索対象画像に類似する上位の登録画像として挙げられる回数（頻度）は少ない。従って、このような登録画像Ｍ５、Ｍ６を、画像ＤＢに登録したままにすると、画像ＤＢの記憶容量が無駄に消費されてしまう。
【０１２４】
そこで画像管理部８０は、例えば所定期間毎に登録画像（登録撮影画像）を画像ＤＢから抽出し、画像認識回数（上位候補出現数）が少ない登録画像Ｍ５、Ｍ６を画像ＤＢから削除する。
【０１２５】
また登録画像Ｍ３は、実際には「Ｈ１寺」の画像であるのに、「Ｈ２寺」の名称タグが付与されてしまっている。従って、このような登録画像Ｍ３を画像ＤＢに登録しておいても、この登録画像Ｍ３の名称タグが、図３（Ｂ）の検索結果画面において確定名称タグとして選択される可能性は極めて低いため、画像ＤＢの記憶容量が無駄に消費されてしまう。
【０１２６】
そこで画像管理部８０は、例えば所定期間毎に登録画像を画像ＤＢから抽出し、図３（Ｂ）の検索結果画面での確定選択回数が少ない登録画像Ｍ３を画像ＤＢから削除する。
【０１２７】
以上のようにすれば、画像認識の対象となる可能性が低い登録画像Ｍ５、Ｍ６や、確定名称タグとして選択される可能性が低い登録画像Ｍ３は、画像ＤＢから削除されるため、その分だけ、画像ＤＢの使用記憶容量を節約できる。また画像ＤＢの登録数が無駄に増加することが防止されるため、画像検索処理が遅くなってしまう事態も防止できる。
【０１２８】
図８に、以上に説明した登録画像の削除処理（クリーニング処理）の処理フローを示す。まず、画像ＤＢから登録画像を抽出して、画像情報をチェックする（ステップＳ２０１、Ｓ２０２）。次に画像認識のヒット回数である画像認識回数をチェックする（ステップＳ２０３）。そして画像認識回数が所定数（規定値）以下である場合には、その登録画像（登録撮影画像）を削除する（ステップＳ２０４、Ｓ２０５）。
【０１２９】
一方、画像認識回数が所定数よりも大きい場合には、検索結果画面でのユーザの確定選択回数（正解選択回数）をチェックする（ステップＳ２０６）。そして、確定選択回数が所定数以下である場合には、その登録画像を削除する（ステップＳ２０７、Ｓ２０８）。以上のような処理を行うことで、図７の登録画像Ｍ３やＭ５、Ｍ６を削除して、画像ＤＢの使用記憶容量の節約等を図れる。
【０１３０】
なおステップＳ２０２で、画像の種別がマスター画像（システム側で予め用意した登録画像等）であるかユーザ登録画像であるか、登録情報（被写体）がユーザ登録情報かオフィシャル情報（登録撮影画像）であるかを判定する。そして画像種別と登録情報種別の組み合わせに応じて設定する条件にしたがって、画像認識回数情報等が削除条件に該当する場合に、その画像を削除することが望ましい。
【０１３１】
また、画像認識回数と確定選択回数の比率も削除条件に組み入れて、登録画像（登録撮影画像）の削除処理を行ってもよい。例えば、削除条件が、確定選択回数が少ないという条件のみとした場合、「Ｈ１寺」を一般的ではないアングルから撮影した登録画像も削除されてしまい、画像認識率が低下してしまうおそれがある。例えば図７の登録画像Ｍ３は、画像認識回数は多いが、確定選択回数は少なく、このような登録画像Ｍ３を常に削除してしまうと、画像認識率が低下してしまうおそれもある。従って、この場合には、画像認識回数と確定選択回数の比率も削除条件に組み入れる。例えば確定選択回数が少なくても、確定選択回数に対する画像認識回数の比率が大きい登録画像は、削除しないようにする。別の言い方をすれば、確定選択回数が所定数以下であり、且つ、確定選択回数に対する画像認識回数の比率が所定比率以下である登録画像を削除する。
【０１３２】
４．データベース構造
次に本実施形態で使用されるアルバムＤＢや画像ＤＢのデータ構造について説明する。図９（Ａ）にアルバムＤＢのデータ構造の例を示す。図９（Ａ）においてマイページＩＤはユーザＩＤに相当し、例えばＭＰＩＤＡはユーザＡのマイページＩＤであり、ＭＰＩＤＢはユーザＢのマイページＩＤである。例えば新規ユーザが、特定のメールアドレスに対して、撮影画像を添付したメールを送信して、ユーザ登録を行うと、例えば登録ユーザのメールアドレスに１対１に対応してマイページＩＤが付与される。すると、そのユーザのメールに添付された撮影画像は、そのマイページＩＤに対応するアルバムＤＢの格納場所に書き込まれるようになる。例えばユーザＡがユーザ登録を行い、マイページＩＤ＝ＭＰＩＤＡが付与された場合には、ユーザＡのメールに添付された撮影画像は、図９（Ａ）のマイページＩＤ＝ＭＰＩＤＡの格納場所に登録される。また図３（Ｂ）のＢ４に示すようにユーザが候補名称タグから確定名称タグを選択すると、図９（Ａ）に示すようにその確定名称タグは、撮影画像に関連づけて登録される。このように本実施形態では、受信したユーザのメールのメールアドレスにより特定されるアルバムＤＢの格納場所に、撮影画像や確定名称タグが登録される。
【０１３３】
また例えば確定名称タグにより位置情報が取得された場合に、図９（Ａ）に示すように、その位置情報についても撮影画像に関連づけて登録することが望ましい。このようにすれば、図５（Ａ）のＣ４〜Ｃ８に示すように、登録された位置情報を用いて、撮影画像の撮影場所や移動履歴を特定して、マップ画面上に表示する処理を容易化できる。この場合に、例えばアルバムＤＢに登録された位置情報をユーザが編集できるようにしてもよい。このようにすれば、ユーザは図５（Ａ）のＣ３のマップ画面において、撮影場所の位置を微調整することなどが可能になり、ユーザの利便性を向上できる。なお位置情報をアルバムＤＢに記憶しないようにしてもよい。例えば必要に応じて観光情報ＤＢ等を参照して、位置情報を取得してもよい。
【０１３４】
図９（Ｂ）に画像ＤＢのデータ構造例を示す。この画像ＤＢでは、各登録画像データに対して各名称タグが関連づけて登録されている。なお、１つの登録画像データに対して複数の名称タグを関連づけるようにしてもよい。
【０１３５】
そして本実施形態では、例えばユーザの撮影画像の画像検索が行われ、図３（Ｂ）のＢ４に示すように確定名称タグをユーザが選択すると、画像検索が行われた撮影画像とその確定名称タグが、画像ＤＢにも登録される。即ちユーザの撮影画像及びその確定名称タグが、画像検索のための登録画像及びその名称タグとして画像ＤＢに登録される。このようにすれば、様々なユーザが画像検索を行うことで、画像ＤＢに対してその撮影画像が登録画像として次々に追加されるようになる。即ち、ユーザの利用により画像ＤＢのリファレンス画像となる登録画像が増え、画像ＤＢが成長するようになる。従って、様々な撮影画像に対して画像ＤＢが対応できるようになり、ユーザの利便性等を向上できる。
【０１３６】
５．候補名称タグの取得
次に候補名称タグの取得手法の一例について説明する。例えば図１０（Ａ）では、ユーザの撮影画像に類似する登録画像として、ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６・・・が画像ＤＢから抽出されている。図１０（Ａ）では、登録画像は類似度が高い順に上位列挙されており、登録画像ＩＭＴ１の類似度が最も高く、登録画像ＩＭＴ２の類似度がその次に高くなっている。
【０１３７】
また登録画像ＩＭＴ１、ＩＭＴ２、ＩＭＴ３、ＩＭＴ４、ＩＭＴ５、ＩＭＴ６に対しては、各々、名称タグである「Ｅ１寺」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」が関連づけられている。この場合に本実施形態では、これらの名称タグの出現数（出現頻度）を集計し、集計結果に基づいて候補名称タグを取得する。例えば図１０（Ａ）では、「Ｅ１寺」、「Ｅ２神社」、「Ｅ３寺」の出現数は、各々、３回、２回、１回になっている。このため、図１０（Ａ）の名称タグを、出現数が多い順に並び替えて出現数が上位の所定数の名称タグだけを残すことで、図１０（Ｂ）に示すような候補名称タグが取得される。この場合に、重複する名称タグを削除して１つにする名寄せ処理も行われる。
【０１３８】
なお集計処理における出現数のカウントの際に、その画像の類似度に応じた重み付け計数を乗算するようにしてもよい。また、出現数のカウントを行わずに、類似度の高い順に並べた名称タグに対して名寄せ処理を行い、名寄せ処理後の上位の所定数の名称タグを、候補名称タグとして取得してもよい。
【０１３９】
６．画像のアップロード
本実施形態では、撮影画像のみならず、例えばＰＣ等の情報処理装置でユーザがアップロードした画像についても、アルバムＤＢに登録できるようになっている。具体的には例えば図５（Ａ）、図５（Ｂ）のアルバム閲覧画面において、Ｃ１２やＣ１３に示す部分をクリックすることで、ユーザは、情報処理装置のハードディスク等に保存されている画像をアップロードし、アップロード画像をアルバムＤＢに登録できる。
【０１４０】
例えば図１のアルバム登録部２６は、画像ＤＢを用いたアップロード画像の画像検索により、アップロード画像の名称タグが取得されると、取得された名称タグをアップロード画像に関連づけてアルバムＤＢに登録する。
【０１４１】
またアップロード画像に類似する複数の登録画像が画像ＤＢから検索され、検索された複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグが取得されると、データ作成部２８は、これらの複数のアップロード画像用候補名称タグを含む検索結果データを作成する。そしてアルバム登録部２６は、検索結果データにより表示される検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択した場合に、選択された候補名称タグをアップロード画像用確定名称タグとして、アルバムＤＢのアップロード画像に関連づけて登録する。
【０１４２】
図１１にアップロード画像の検索結果画面（画像候補名称選択画面）の例を示す。例えば画像検索（合致検索）によりアップロード画像の被写体の名称タグを一意に判別できた場合には、図１１のＤ１に示すように、そのアップロード画像に対してその名称タグが付与されて、アルバムＤＢの対応するフォルダに自動保存される。即ち、そのアップロード画像に合致（類似）する登録画像を検索できた場合には、その登録画像の名称タグが、アップロード画像に付与されて、アルバムＤＢに登録される。
【０１４３】
一方、図１１のＤ２に示すように、アップロード画像に合致する登録画像を検索できなかった場合には、撮影画像の場合と同様に、アップロード画像に類似する複数の登録画像の名称タグから、アップロード画像用の候補名称タグが取得される。具体的には、合致検索においてスコアリングは規定値以下であったが、類似検索において検索結果が出た画像については、検索結果である名称タグに対して名寄せ処理を行い、上位の所定数の名称タグを、候補名称タグとして取得する。
【０１４４】
そして図１１のＤ３に示すように、アップロード画像の検索結果画面においてこれらの候補名称タグが表示される。ユーザが、これらの候補名称タグのいずれかを選択して、Ｄ４に示すように「名称を確定する」をクリックすると、選択された名称タグがアップロード画像用の確定名称タグとして、アップロード画像に関連づけてアルバムＤＢに登録されるようになる。なおアップロード画像に類似する登録画像を１枚も検索できなかった場合には、そのアップロード画像は、Ｄ５に示すようにその他の画像のフォルダに保存される。
【０１４５】
以上のように、アップロード画像をアルバムＤＢに登録できるようにすれば、ユーザが例えば旅行が終わって家に帰った後に、画像検索を行わなかった画像や、その旅行の観光地に関連する画像などを、ＰＣ等を用いてアップロードして、旅行中の撮影画像と共にアルバムＤＢに登録できるようになる。この際に図１１のＤ１、Ｄ２に示すように、アップロード画像の画像検索が自動的に行われることで、アップロード画像に対して自動的に名称タグが付与されたり、候補名称タグの中からユーザが選択した名称タグがアップロード画像に付与される。従って、ユーザは、少ない手間で所望のアップロード画像を整理してアルバムＤＢに登録できるようになり、ユーザの利便性を向上できる。
【０１４６】
また本実施形態では、このようなアップロード画像を画像ＤＢにも登録している。例えば図１の画像検索部７６は、ユーザにより画像のアップロードが選択された場合には、アップロード画像に類似する複数の登録画像を画像ＤＢから検索する。そしてタグ処理部７８は、検索された複数の登録画像に関連づけられた複数の名称タグから、複数のアップロード画像用候補名称タグを取得する。
【０１４７】
そしてアップロード画像の検索結果画面において、複数のアップロード画像用候補名称タグのいずれかをユーザが選択したとする。この場合には画像管理部８０は、選択された候補名称タグをアップロード画像用確定名称タグとして、アップロード画像に関連づけて画像ＤＢに登録する。このようにすれば、撮影画像のみならず、アップロード画像についても、画像検索のリファレンス画像となる登録画像として画像ＤＢに登録できるようになり、画像ＤＢの登録数を増加させることが可能になる。
【０１４８】
７．画像認識
次に画像認識処理の詳細例について説明する。画像検索のための画像認識処理としては、例えば、特徴点を利用した画像認識と、画像全体の特徴を利用した画像認識がある。特徴点を利用した画像認識は、上述の図１１のＤ１で用いられる合致検索であり、画像全体の特徴を利用した画像認識は、図１１のＤ２で用いられる類似検索である。
【０１４９】
７．１  特徴点を利用した画像認識（合致検索）
特徴点を利用した画像認識では、まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１５０】
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上述のようにして求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１５１】
足し込む微分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして複数の特徴点の全てについて、この特徴量を求める。
【０１５２】
次に、登録画像と、質問画像（検索対象画像）に対して、上述の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１５３】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１５４】
７．２  画像全体の特徴を利用した画像認識（類似検索）
画像全体の特徴を利用した画像認識では、まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１５５】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１５６】
登録画像と質問画像に対して、上述の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１５７】
８．詳細な処理
次に本実施形態の詳細な処理例について図１２〜図１８の処理フローを用いて説明する。
【０１５８】
図１２、図１３は、撮影画像の画像検索により候補名称タグを取得し、ユーザの選択により得られた確定候補名称タグを撮影画像に関連づけてアルバムＤＢや画像ＤＢに登録する処理のフローである。
【０１５９】
ユーザが端末装置１１０により被写体を撮影して、撮影画像を添付したメールを送信すると、管理サーバ１０が受信して、メールアドレスをチェックする（ステップＳ１〜Ｓ４）。そして、メールアドレスにより特定されるユーザが新規ユーザである場合には、ユーザＩＤとなるマイページＩＤを発行し、個人情報ＤＢにユーザの情報を登録する（ステップＳ５、Ｓ６）。一方、既にサービスを利用している既存のユーザである場合には、そのマイページＩＤを撮影画像に付与して、撮影画像を画像検索サーバ６０に送信すると共にアルバムＤＢに登録する（ステップＳ７〜Ｓ９）。
【０１６０】
画像検索サーバ６０は、撮影画像を受信すると、撮影画像の特徴点を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０〜Ｓ１２）。即ち上述した特徴点を利用した画像認識（合致検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否か（認識結果が出たか否か）を判断する（ステップＳ１３、Ｓ１４）。
【０１６１】
画像認識に成功しなかった場合には、画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１５、Ｓ１６）。即ち、上述の画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定して、画像認識に成功したか否かを判断する（ステップＳ１７、Ｓ１８）。
【０１６２】
ステップＳ１４又はＳ１８で画像認識に成功したと判断された場合には、検索された登録画像の名称タグを類似度順に上位列挙して、名称タグの集計処理（名寄せ処理）を行い、候補名称タグを取得し、管理サーバ１０に送信する（ステップＳ１９〜Ｓ２２）。一方、ステップＳ１８で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０はエラー結果を送信する（ステップＳ５１）。そして管理サーバ１０は、エラー結果を受信すると、エラーメールを作成して端末装置１１０に送信する（ステップＳ５２〜Ｓ５４）。端末装置１１０のユーザが、エラーメールの受領を確認して、メール内のＵＲＬをクリックすると、トップ画面が表示される（ステップＳ５５〜Ｓ５７）。このトップ画面でユーザが画像認識検索を選択すると、メーラーが起動してステップＳ１に戻り，テキスト検索を選択するとテキスト検索が行われる（ステップＳ５８〜Ｓ６１）。
【０１６３】
管理サーバ１０は、画像検索サーバ６０から候補名称タグを受信すると、候補名称タグに基づき観光情報ＤＢを検索して、図３（Ｂ）に示すような検索結果画面を作成する（ステップＳ２３〜Ｓ２５）。そして、作成した検索結果画面のＵＲＬを知らせる図３（Ａ）の結果通知メールを端末装置１１０に送信する（ステップＳ２６）。
【０１６４】
端末装置１１０のユーザが結果通知メールの受領を確認して、ＵＲＬにより検索結果画面の閲覧を選択すると、図３（Ｂ）の検索結果画面が表示される（ステップＳ２７〜Ｓ２９）。そしてユーザが、図３（Ｂ）のＢ４に示すように正解と考える候補名称タグを選択すると、図４に示すような観光情報画面（ガイド情報画面）が表示され、ユーザはこの観光情報画面を閲覧する（ステップＳ３０〜Ｓ３３）。そして管理サーバ１０は、選択された候補名称タグを確定名称タグであると判断して、撮影画像及び確定名称タグを画像検索サーバ６０に送信する（ステップＳ３４、Ｓ３５）。また確定名称タグに基づいて観光情報ＤＢを参照することで、撮影画像の撮影場所の位置情報を取得する（ステップＳ３６）。図３（Ｂ）のＢ４を例にとれば、「Ｅ１寺」の位置情報が観光情報ＤＢから取得される。そして確定名称タグ及び位置情報を撮影画像に関連づけてアルバムＤＢに登録する（ステップＳ３７）。
【０１６５】
一方、撮影画像及び確定名称タグを受信した画像検索サーバ６０は、受信した撮影画像及び確定名称タグを画像ＤＢに登録する（ステップＳ３８、Ｓ３９）。これにより、撮影画像は、画像検索のリファレンスとなる登録画像として画像ＤＢに登録されることになる。
【０１６６】
なお図３（Ｂ）のＢ７に示すように検索結果画面においてユーザが画像検索を選択すると、メーラーが起動して図１２のステップＳ１に戻る（ステップＳ４０、Ｓ４１）。またＢ８に示すようにテキスト検索を選択すると、観光情報ＤＢを参照したテキスト検索が実行され、観光情報ＤＢから所望の情報が検索された場合には、テキスト検索の検索結果画面が表示される（ステップＳ６１〜Ｓ６３、Ｓ２９）。一方、情報を検索できなかった場合には、外部サイトによる検索を実行し、外部サイトからの検索結果を受信して、検索結果画面を表示する（ステップＳ６４〜Ｓ６６、Ｓ２９）。
【０１６７】
図１４、図１５は、撮影画像の画像認識に成功しなかった場合に、ユーザの位置情報を取得し、取得された位置情報に基づいて検索対象を絞り込んで、画像認識を行う処理のフローである。
【０１６８】
図１４のステップＳ７１〜Ｓ８３は図１２のステップＳ１〜Ｓ１３と同様であるため説明を省略する。画像検索サーバ６０は、ステップＳ８４で画像認識に成功しなかったと判断した場合には、位置情報の取得を管理サーバ１０に指示（依頼）する（ステップＳ９１）。
【０１６９】
すると管理サーバ１０は、位置情報取得画面を作成して、その画面のＵＲＬを知らせるメールを端末装置１１０に送信する（ステップＳ９２、Ｓ９３）。そして端末装置１１０のユーザが、メールの受信を確認して、メール内のＵＲＬをクリックすると、位置情報取得画面が表示される（ステップＳ９４〜Ｓ９６）。そしてユーザが、この位置情報取得画面において位置情報取得のコマンドを選択して、位置情報の取得を許可すると、管理サーバ１０は簡易的な位置情報の取得処理を行う（ステップＳ９７〜Ｓ９９）。例えば携帯電話機等の端末装置１１０の基地局情報に基づいてユーザの位置情報を取得する。或いは端末装置１１０が有するＧＰＳを利用して位置情報を取得してもよい。そして取得した位置情報を画像検索サーバ６０に送信する（ステップＳ１００）。
【０１７０】
画像検索サーバ６０は、管理サーバ１０から位置情報を受信すると、受信したユーザの位置情報に基づいて、画像検索のリファレンスとなる対象画像を絞り込む（ステップＳ１０１、Ｓ１０２）。そして画像の構図を抽出して、画像ＤＢとの照合処理を行う（ステップＳ１０３、Ｓ１０４）。即ち画像全体の特徴を利用した画像認識（類似検索）を実行する。そしてスコアリングを算定し、画像認識に成功したか否かを判断する（ステップＳ１０５、Ｓ１０６）。
【０１７１】
画像認識に成功したと判断された場合には、名称タグの集計処理等を行って、取得された候補名称タグを管理サーバ１０に送信する（ステップＳ１０７〜Ｓ１１０）。そして管理サーバ１０は、受信した候補名称タグに基づいて観光情報ＤＢを検索して、検索結果画面を作成し、その画面のＵＲＬを知らせるメールを送信し、端末装置１１０がメールを受信する（ステップＳ１１１〜Ｓ１１５）。その後は図１２、図１３で説明した通常フローと同様の処理が行われる。
【０１７２】
ステップＳ１０６で画像認識に成功しなかったと判断された場合には、画像検索サーバ６０がエラー結果を送信し、管理サーバ１０が受信する（ステップＳ１２１、Ｓ１２２）。そして管理サーバ１０は、エラーメールを作成して送信し、端末装置１１０が受信する（ステップＳ１２３〜Ｓ１２５）。
【０１７３】
以上の図１４、図１５の処理によれば、撮影画像の１回目の画像認識に成功しなかった場合にも、ユーザの位置情報に基づいて対象画像を絞り込んで画像検索を実行することで、撮影画像の候補名称タグを取得して、ユーザに提示できるようになる。
【０１７４】
図１６、図１７、図１８は、アルバム画面の閲覧処理やアップロード画像のアルバムＤＢへの登録処理のフローである。
【０１７５】
端末装置１１０のユーザが、マイページトップ画面において、アルバム画面の閲覧を選択すると、管理サーバ１０が、アルバムＤＢから対象アルバムを抽出し、アルバム選択画面を表示する（ステップＳ１３１〜Ｓ１３４）。そしてユーザが、所望のアルバムを選択すると、そのアルバムのマップ画面が表示される（ステップＳ１３５、Ｓ１３６）。例えば図５（Ａ）では、大阪のアルバムが選択されたため、大阪のマップ画面が表示される。そしてユーザが図５（Ａ）のＣ９をクリックして、アルバムの閲覧を選択すると、図５（Ｂ）に示すようにアルバム画像の一覧画面が表示される（ステップＳ１３７、Ｓ１３８）。この一覧画面においてユーザが画像を選択すると、図６に示すように画像の詳細画面が表示され、Ｃ１１に示すようにユーザはコメントを入力できるようになる（ステップＳ１３９、Ｓ１４０）。そしてユーザがコメントを入力すると、入力されたコメントは撮影画像に関連づけられてアルバムＤＢに登録される（ステップＳ１４１）。
【０１７６】
一方、図５（Ａ）のアルバム閲覧時に、Ｃ１２に示すようにユーザが画像のアップロードを選択すると、携帯電話機などのモバイルの場合にはメーラーが起動して、管理サーバ１０へのアップロード画像の送信が行われ、ＰＣの場合にはファイル参照により添付されるアップロード画像が選択されて、アップロード画像の送信が行われる（ステップＳ１５１〜Ｓ１５３）。そして管理サーバ１０は、受信したアップロード画像を画像検索サーバ６０に送信する（ステップＳ１５４）。
【０１７７】
画像検索サーバ６０は、アップロード画像を受信すると、画像の特徴点を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１５５〜Ｓ１５８）。そして、この合致検索により画像認識に成功した場合には、登録画像のタグを名称タグとして取得して、管理サーバ１０に送信すると共に、アップロード画像を正解画像として画像ＤＢに登録する（ステップＳ１５９〜Ｓ１６２）。一方、管理サーバ１０は、名称タグを受信すると、名称タグに基づいて観光情報ＤＢから位置情報を取得し、アップロード画像、名称タグ及び位置情報をアルバムＤＢに登録する（ステップＳ１６３〜Ｓ１６５）。このように合致検索により一意的にアップロード画像を画像認識でき、名称タグが取得された場合には、そのアップロード画像及び名称タグがアルバムＤＢに登録される。そして図１１のアップロード画像の検索結果画面において、Ｄ１に示すようにユーザに知らされる。
【０１７８】
ステップＳ１５９で画像認識に成功しなかった場合には、画像の構図を抽出し、画像ＤＢとの照合処理を行って、スコアリングを算定する（ステップＳ１７１〜Ｓ１７３）。そして画像認識に成功しなかった場合には、エラー結果が管理サーバ１０に送信され、図１１のＤ５で説明したように、アップロード画像はその他の画像として登録される（ステップＳ１７４〜Ｓ１７７）。一方、画像認識に成功した場合には、上位列挙された名称タグの集計処理（名寄せ処理）が行われて、候補名称タグが取得される（ステップＳ１７８〜Ｓ１８０）。
【０１７９】
そして、取得された候補名称タグが、画像検索サーバ６０から管理サーバ１０に送信されると、未確認フォルダの登録が行われて、アップロード画像の検索結果画面が作成されて表示される（ステップＳ１８１〜Ｓ１８５）。そしてユーザが検索結果画面を確認して、図１１のＤ３、Ｄ４に示すようにアップロード画像の候補名称タグを確定名称タグとして選択すると、管理サーバ１０は、アルバムＤＢからの対象画像の抽出を行い、観光情報ＤＢから確定名称タグに該当する観光施設等の位置情報を取得する（ステップＳ１８６〜Ｓ１８９）。そしてアップロード画像、確定名称タグ及び位置情報を、アルバムＤＢに登録すると共に画像検索サーバ６０に送信する（ステップＳ１９０、Ｓ１９１）。すると画像検索サーバ６０は、受信したアップロード画像及び確定名称タグを画像ＤＢに登録する（ステップＳ１９２、Ｓ１９３）。
【０１８０】
以上のようにすることで、ユーザは、端末装置１１０で実際にユーザが撮影した画像のみならず、所望のアップロード画像をアルバムＤＢや画像ＤＢに登録することが可能になる。またアップロード画像の画像認識が行われて、その名称タグが自動的に取得されたり、ユーザが候補名称タグの中から選択することで確定名称タグが決定されるため、ユーザの利便性を向上できる。
【０１８１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またサーバシステム、端末装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８２】
１０  管理サーバ、２０  処理部、２２  受信処理部、２４  送信処理部、
２６  アルバム登録部、２８  データ作成部、３０  位置情報取得部、
３２  アルバム閲覧部、３４  コンテンツ提示部、４０  アルバムデータベース、
４２  個人情報データベース、５０  コンテンツデータベース、
５２  観光情報データベース、５４  リコメンド情報データベース、
５６  広告情報データベース、５８  通信部、
６０  画像検索サーバ、７０  処理部、７２  受信処理部、７４  送信処理部、
７６  画像検索部、７８  タグ処理部、８０  画像管理部、
９０  画像データベース、９８  通信部、
１００  ネットワーク、１１０  端末装置、１２０  処理部、１２２  画像取得部、
１２４  送信処理部、１２６  受信処理部、１２８  表示制御部、
１４０  記憶部、１５０  情報記憶媒体、１６０  撮像部、１７０  操作部、
１８０  表示部、２００  情報処理装置
【図１】
2010218372.tif 000003
【図２】
2010218372.tif 000004
【図３】
2010218372.tif 000005
【図４】
2010218372.tif 000006
【図５】
2010218372.tif 000007
【図６】
2010218372.tif 000008
【図７】
2010218372.tif 000009
【図８】
2010218372.tif 000010
【図９】
2010218372.tif 000011
【図１０】
2010218372.tif 000012
【図１１】
2010218372.tif 000013
【図１２】
2010218372.tif 000014
【図１３】
2010218372.tif 000015
【図１４】
2010218372.tif 000016
【図１５】
2010218372.tif 000017
【図１６】
2010218372.tif 000018
【図１７】
2010218372.tif 000019
【図１８】
2010218372.tif 000020