(57)【要約】【課題】  画像検索の曖昧さを有効活用したサーバ、端末装置等の提供。【解決手段】  サーバは、検索対象画像についての送信データをネットワーク１０を介して受信する処理を行う受信処理部２０４と、受信した前記検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部２０６と、検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得するタグ処理部２１０と、前記複数の類似画像から取得された複数のタグを検索結果タグとして含む類似検索結果データを作成するデータ作成部２１４と、を含む。タグ処理部２１０は、索結果タグの中から選択された第１の再検索キー用のタグについての第１の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、第１の再検索キー用のタグを除く他のタグを取得する。【選択図】      図１
2010218247.tif 000002
【特許請求の範囲】
【請求項１】
検索対象画像の類似画像の検索処理を行うサーバであって、
前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得するタグ処理部と、
前記複数の類似画像から取得された複数のタグを検索結果タグとして含む類似検索結果データを作成するデータ作成部と、
前記類似検索結果データを前記ネットワークを介して送信する処理を行う送信処理部とを含み、
前記受信処理部は、
前記検索結果タグの中から選択された第１の再検索キー用のタグについての第１の返信データを前記ネットワークを介して受信する処理を行い、
前記タグ処理部は、
前記第１の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグを除く他のタグを取得し、
前記データ作成部は、
前記第１の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第１の再検索結果タグとして含む第１の再検索結果データを作成することを特徴とするサーバ。
【請求項２】
請求項１において、
前記タグ処理部は、
検索された前記複数の類似画像のうち、前記第１の再検索キー用のタグを含む複数の類似画像から前記複数の他のタグを取得することを特徴とするサーバ。
【請求項３】
請求項１又は２において、
前記送信処理部は、
前記第１の再検索結果データを前記ネットワークを介して送信する処理を行い、
前記受信処理部は、
前記第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを前記ネットワークを介して受信する処理を行い、
前記タグ処理部は、
前記第２の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグ及び前記第２の再検索キー用のタグを除く他のタグを取得し、
前記データ作成部は、
前記第２の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第２の再検索結果タグとして含む第２の再検索結果データを作成することを特徴とするサーバ。
【請求項４】
請求項１又は２において、
前記送信処理部は、
前記第１の再検索結果データを前記ネットワークを介して送信する処理を行い、
前記受信処理部は、
前記第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを前記ネットワークを介して受信する処理を行い、
前記タグ処理部は、
前記第２の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第２の再検索キー用のタグを除く他のタグを取得し、
前記データ作成部は、
前記第２の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第２の再検索結果タグとして含む第２の再検索結果データを作成することを特徴とするサーバ。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記タグ処理部は、
前記複数の類似画像から取得された前記複数のタグのソーティング処理を行い、
前記データ作成部は、
ソーティングされた前記複数のタグを前記検索結果タグとして含む類似検索結果データを作成することを特徴とするサーバ。
【請求項６】
請求項１乃至４のいずれかにおいて、
前記タグ処理部は、
前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行うことを特徴とするサーバ。
【請求項７】
請求項６において、
前記タグ処理部は、
前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行うことを特徴とするサーバ。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記データ作成部は、
前記複数の類似画像をさらに含む類似検索結果データを作成することを特徴とするサーバ。
【請求項９】
請求項８において、
前記データ作成部は、
類似検索結果データが、第１のモードで前記複数の類似画像を含み、第２のモードで前記複数のタグを前記検索結果タグとして含むように、前記第１のモード又は前記第２のモードを切り換え可能な類似検索結果データを作成することを特徴とするサーバ。
【請求項１０】
請求項８又は９において、
前記データ作成部は、
前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成することを特徴とするサーバ。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記データ作成部は、
前記複数の類似画像から取得された前記複数のタグに基づき関連データベースから取得された複数の関連タグをさらに含む類似検索結果データを作成することを特徴とするサーバ。
【請求項１２】
検索対象画像を取得する画像取得部と、
取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
前記検索対象画像の類似検索結果データを前記ネットワークを介して受信する処理を行う受信処理部と、
受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記検索対象画像に類似する複数の類似画像から取得された複数のタグが検索結果タグとして表示される類似検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果タグの中から選択された再検索キー用のタグについての返信データを前記ネットワークを介して送信する処理を行い、
前記受信部は、前記返信データに基づき作成された再検索結果データを前記ネットワークを介して受信する処理を行い、
前記表示制御部は、
受信した前記再検索結果データに基づいて、複数の類似画像から取得された複数の他のタグであって、前記再検索キー用のタグを除く複数の他のタグが再検索結果タグとして表示される再検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１３】
請求項１２において、
前記表示制御部は、
前記複数の類似画像がさらに表示される類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１４】
請求項１３において、
前記表示制御部は、
前記複数の類似画像が表示される第１のモード、又は、前記複数のタグが前記検索結果タグとして表示される第２のモードを切り換え可能な類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１５】
請求項１２乃至１４のいずれかにおいて、
前記表示制御部は、
前記複数のタグがその各タグの出現数に応じてソーティングされた類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１６】
請求項１２乃至１５のいずれかにおいて、
前記表示制御部は、
前記複数の類似画像から取得された前記複数のタグに基づき関連タグデータベースから取得された複数の関連タグがさらに表示される類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１７】
検索対象画像を取得する画像取得部と、
取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
前記検索対象画像の類似検索結果データを前記ネットワークを介して受信する処理を行う受信処理部と、
受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記検索対象画像に類似する複数の類似画像から取得された複数のタグが検索結果タグとして表示される類似検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果タグの中から選択された再検索キー用のタグについての返信データを前記ネットワークを介して送信する処理を行い、
前記受信部は、前記返信データに基づき作成された再検索結果データを前記ネットワークを介して受信する処理を行い、
前記表示制御部は、
受信した前記再検索結果データに基づいて、複数の類似画像から取得された複数の他のタグであって、前記再検索キー用のタグを除く複数の他のタグが再検索結果タグとして表示される再検索結果画面を、前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項１８】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１７に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１９】
検索対象画像の類似画像の検索処理を行う画像検索方法であって、
前記検索対象画像についての送信データをネットワークを介して受信し、
受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、
前記複数の類似画像から取得された複数のタグを検索結果タグとして含む類似検索結果データを作成し、
前記類似検索結果データを前記ネットワークを介して送信し、
前記検索結果タグの中から選択された再検索キー用のタグに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグを除く他のタグを取得し、
前記再検索キー用のタグに基づき前記複数の類似画像から取得された複数の他のタグを再検索結果タグとして含む再検索結果データを作成することを特徴とする画像検索方法。
【請求項２０】
請求項１９において、
前記類似検索結果データを前記ネットワークを介して受信し、
受信した前記類似検索結果データに基づき、前記検索結果タグが表示される類似検索結果画面を、表示部に表示する制御を行い、
前記再検索キー用のタグを前記ネットワークを介して送信し、
前記再検索結果データを前記ネットワークを介して受信し、
受信した前記再検索結果データに基づき、前記再検索結果タグが表示される再検索結果画面を、表示部に表示する制御を行うことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバ、端末装置、プログラム、情報記憶媒体及び画像検索方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮った画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。
【０００３】
しかしながら、画像認識処理では、撮った画像から、それに対応する商品を正確に特定することは難しいという課題がある。このため特許文献１では、画像認識率の向上のために、撮影時に調整を行うなどの様々な工夫を行っている。
【０００４】
このように、これまでの画像認識処理を利用した画像検索システムでは、撮影した被写体を如何にして正確に特定するかという点に注力が注がれており、画像検索の曖昧さを逆利用するというような発想は無かった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１２２７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、画像検索の曖昧さを有効活用したサーバ、端末装置、プログラム、情報記憶媒体及び画像検索方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、検索対象画像の類似画像の検索処理を行うサーバであって、
前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得するタグ処理部と、
前記複数の類似画像から取得された複数のタグを検索結果タグとして含む類似検索結果データを作成するデータ作成部と、
前記類似検索結果データを前記ネットワークを介して送信する処理を行う送信処理部とを含み、
前記受信処理部は、
前記検索結果タグの中から選択された第１の再検索キー用のタグについての第１の返信データを前記ネットワークを介して受信する処理を行い、
前記タグ処理部は、
前記第１の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグを除く他のタグを取得し、
前記データ作成部は、
前記第１の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第１の再検索結果タグとして含む第１の再検索結果データを作成することを特徴とするサーバに関係する。
【０００８】
本発明の一態様によれば、検索対象画像についての送信データを受信すると、画像認識処理が行われて、検索対象画像に類似する複数の類似画像が検索される。そして複数の類似画像から取得された複数のタグ(検索結果タグ)を含む類似検索結果データが作成される。また、検索結果タグの中から選択された第１の再検索キー用のタグについての第１の返信データを受信すると、複数の類似画像の各類似画像に関連づけられた他のタグであって第１の再検索キー用のタグを除く他のタグ（第１の再検索結果タグ）を含む第１の再検索結果データが、作成される。従って、複数の類似画像から取得された複数のタグ（検索結果タグ)や、第１の再検索結果タグの提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【０００９】
また、本発明の一態様では、前記タグ処理部は、
検索された前記複数の類似画像のうち、前記第１の再検索キー用のタグを含む複数の類似画像から前記複数の他のタグを取得してもよい。
【００１０】
このようにすれば、第１の再検索キー用のタグを用いて、複数の類似画像から取得された複数のタグ（検索結果タグ)を他のタグ（第１の再検索結果タグ）に絞り込むことができる。
【００１１】
また本発明の一態様では、前記送信処理部は、
前記第１の再検索結果データを前記ネットワークを介して送信する処理を行ってもよく、
前記受信処理部は、
前記第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを前記ネットワークを介して受信する処理を行ってもよく、
前記タグ処理部は、
前記第２の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグ及び前記第２の再検索キー用のタグを除く他のタグを取得してもよく、
前記データ作成部は、
前記第２の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第２の再検索結果タグとして含む第２の再検索結果データを作成してもよい。
【００１２】
このようにすれば、第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを受信すると、複数の類似画像の各類似画像に関連づけられた他のタグであって第１の再検索キー用のタグ及び第２の再検索キー用のタグを除く他のタグ（第２の再検索結果タグ）を含む第２の再検索結果データが、作成される。従って、第２の再検索結果タグの提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００１３】
また本発明の一態様では、前記送信処理部は、
前記第１の再検索結果データを前記ネットワークを介して送信する処理を行ってもよく、
前記受信処理部は、
前記第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを前記ネットワークを介して受信する処理を行ってもよく、
前記タグ処理部は、
前記第２の返信データに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第２の再検索キー用のタグを除く他のタグを取得してもよく、
前記データ作成部は、
前記第２の返信データに基づき前記複数の類似画像から取得された複数の他のタグを第２の再検索結果タグとして含む第２の再検索結果データを作成してもよい。
【００１４】
このようにすれば、第１の再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを受信すると、複数の類似画像の各類似画像に関連づけられた他のタグであって第２の再検索キー用のタグを除く他のタグ（第２の再検索結果タグ）を含む第２の再検索結果データが、作成される。従って、第２の再検索結果タグの提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００１５】
また本発明の一態様では、前記タグ処理部は、
前記複数の類似画像から取得された前記複数のタグのソーティング処理を行ってもよく、
前記データ作成部は、
ソーティングされた前記複数のタグを前記検索結果タグとして含む類似検索結果データを作成してもよい。
【００１６】
このようにすれば、複数の類似画像から取得された複数のタグに基づく序列にソーティングされた類似検索結果データが作成されるため、利便性の高い画像検索システムを実現できる。
【００１７】
また本発明の一態様では、前記タグ処理部は、
前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行ってもよい。
【００１８】
このようにすれば、タグの出現数の集計結果に応じて複数のタグがソーティングされるようになるため、複数の類似画像から取得された複数のタグの序列を、タグの出現数に応じた序列に変換することが可能になる。
【００１９】
また本発明の一態様では、前記タグ処理部は、
前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行ってもよい。
【００２０】
このようにすれば、類似度を反映させたタグの集計処理を実現できる。
【００２１】
また本発明の一態様では、前記データ作成部は、
前記複数の類似画像をさらに含む類似検索結果データを作成してもよい。
【００２２】
このようにすれば、検索対象画像に類似する複数の類似画像の提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００２３】
また本発明の一態様では、前記データ作成部は、
類似検索結果データが、第１のモードで前記複数の類似画像を含み、第２のモードで前記複数のタグを前記検索結果タグとして含むように、前記第１のモード又は前記第２のモードを切り換え可能な類似検索結果データを作成してもよい。
【００２４】
このようにすれば、類似画像の提示又はタグの提示を切り換え可能になるため、ユーザの意志に即した情報提示を実現できる。
【００２５】
また本発明の一態様では、前記データ作成部は、
前記複数の類似画像のうちの第１の類似画像に対しては、前記第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、前記複数の類似画像のうちの第２の類似画像に対しては、前記第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成してもよい。
【００２６】
このようにすれば、第１の類似画像に対しては、それに対応するリンク先を提示するための第１のハブ画面情報が関連づけられ、第２の類似画像に対しては、それに対応するリンク先を提示するための第２のハブ画面情報が関連づけられる。従って、検索対象画像の複数の類似画像の各類似画像毎に異なるリンク先が提示されるハブ画面の表示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００２７】
また本発明の一態様では、前記データ作成部は、
前記複数の類似画像から取得された前記複数のタグに基づき関連データベースから取得された複数の関連タグをさらに含む類似検索結果データを作成してもよい。
【００２８】
このようにすれば、複数の類似画像から取得された複数のタグから関連タグデータベースを介して取得された複数の関連タグを含む類似検索結果データが作成される。従って、関連タグの提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００２９】
また本発明の他の態様は、検索対象画像を取得する画像取得部と、
取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
前記検索対象画像の類似検索結果データを前記ネットワークを介して受信する処理を行う受信処理部と、
受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記検索対象画像に類似する複数の類似画像から取得された複数のタグが検索結果タグとして表示される類似検索結果画面を、前記表示部に表示する制御を行い、
前記送信処理部は、
前記検索結果タグの中から選択された再検索キー用のタグについての返信データを前記ネットワークを介して送信する処理を行い、
前記受信部は、前記返信データに基づき作成された再検索結果データを前記ネットワークを介して受信する処理を行い、
前記表示制御部は、
受信した前記再検索結果データに基づいて、複数の類似画像から取得された複数の他のタグであって、前記再検索キー用のタグを除く複数の他のタグが再検索結果タグとして表示される再検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置に関係する。また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３０】
本発明の他の態様によれば、検索対象画像についての送信データをサーバに送信し、検索対象画像の類似検索結果データを受信すると、検索対象画像に類似する複数の類似画像から取得された複数のタグ（検索結果タグ）が表示されるようになる。また、検索結果タグの中から選択された再検索キー用のタグについての返信データを前記ネットワークを介して送信し、返信データに基づき作成された再検索結果データを受信すると、複数の類似画像から取得された複数の他のタグであって再検索キー用のタグを除く複数の他のタグ（再検索結果タグ）が表示されるようになる。このように、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００３１】
また本発明の他の態様では、前記表示制御部は、
前記複数の類似画像がさらに表示される類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００３２】
このようにすれば、検索対象画像に類似する複数の類似画像の提示が可能になるため、画像検索の曖昧さを有効活用した情報提示を実現できる。
【００３３】
また本発明の他の態様では、前記表示制御部は、
前記複数の類似画像が表示される第１のモード、又は、前記複数のタグが前記検索結果タグとして表示される第２のモードを切り換え可能な類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００３４】
このようにすれば、類似画像の提示又はタグの提示を切り換え可能になるため、ユーザの意志に即した情報提示を実現できる。
【００３５】
また本発明の他の態様では、前記表示制御部は、
前記複数のタグがその各タグの出現数に応じてソーティングされた類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００３６】
このようにすれば、タグの出現数の集計結果に応じて複数のタグがソーティングされるようになるため、複数の類似画像から取得された複数のタグの序列を、タグの出現数に応じた序列に変換することが可能になる。
【００３７】
また本発明の他の態様では、前記表示制御部は、
前記複数の類似画像から取得された前記複数のタグに基づき関連タグデータベースから取得された複数の関連タグがさらに表示される類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００３８】
このようにすれば、多くの種類の関連タグの提示が可能となる。
【００３９】
また本発明の他の態様は、検索対象画像の類似画像の検索処理を行う画像検索方法であって、
前記検索対象画像についての送信データをネットワークを介して受信し、
受信した前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、
前記複数の類似画像から取得された複数のタグを検索結果タグとして含む類似検索結果データを作成し、
前記類似検索結果データを前記ネットワークを介して送信し、
前記検索結果タグの中から選択された再検索キー用のタグに基づき、複数の類似画像の各類似画像に関連づけられた他のタグであって、前記第１の再検索キー用のタグを除く他のタグを取得し、
前記再検索キー用のタグに基づき前記複数の類似画像から取得された複数の他のタグを再検索結果タグとして含む再検索結果データを作成することを特徴とする画像検索方法に関係する。
【００４０】
また本発明の他の態様では、前記類似検索結果データを前記ネットワークを介して受信し、
受信した前記類似検索結果データに基づき、前記検索結果タグが表示される類似検索結果画面を、表示部に表示する制御を行い、
前記再検索キー用のタグを前記ネットワークを介して送信し、
前記再検索結果データを前記ネットワークを介して受信し、
受信した前記再検索結果データに基づき、前記再検索結果タグが表示される再検索結果画面を、表示部に表示する制御を行ってもよい。
【図面の簡単な説明】
【００４１】
【図１】本実施形態により実現される画像検索システム、端末装置、サーバの構成例。
【図２】画像検索の曖昧さを逆利用する手法の説明図。
【図３】画像検索の曖昧さを逆利用する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は類似検索結果データの作成手順の概要を説明するための図。
【図５】図５（Ａ）、図５（Ｂ）は第１の再検索結果データの作成手順の概要を説明するための図。
【図６】図６（Ａ）、図６（Ｂ）は第２の再検索結果データの作成手順の概要を説明するための図。
【図７】図７（Ａ）、図７（Ｂ）は複数の類似画像の範囲を説明する概念図。
【図８】図８（Ａ）、図８（Ｂ）は第２の再検索結果データの作成手順の概要の変形例を説明するための図。
【図９】図９（Ａ）、図９（Ｂ）は類似検索結果画面の例。
【図１０】本実施形態の動作を説明するためのフローチャート。
【図１１】本実施形態の動作を説明するためのフローチャート。
【図１２】本実施形態の動作を説明するためのフローチャート。
【図１３】本実施形態の動作を説明するためのフローチャート。
【図１４】本実施形態の動作を説明するためのフローチャート。
【図１５】本実施形態の動作を説明するためのフローチャート。
【図１６】本実施形態の動作を説明するための図。
【図１７】画像データベースのデータ構造の例。
【図１８】図１８（Ａ）、図１８（Ｂ）は関連タグデータベースのデータ構造の例。
【図１９】図１９（Ａ）、図１９（Ｂ）は類似検索結果データのデータ構造の例。
【図２０】図２０（Ａ）、図２０（Ｂ）は類似検索結果画面の他の例。
【図２１】図２１（Ａ）、図２１（Ｂ）はハブ画面の例。
【図２２】類似検索結果データのデータ構造の他の例。
【図２３】タグの集計処理を説明するためのフローチャート。
【図２４】図２４（Ａ）、図２４（Ｂ）はタグの集計処理を説明するための図。
【図２５】本実施形態の変形例を説明するための図。
【発明を実施するための形態】
【００４２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４３】
１．システム構成
図１に本実施形態により実現される画像検索システム、サーバ、端末装置の構成例を示す。この画像検索システムは、端末装置１００（電子機器、通信端末、携帯端末装置）と、この端末装置１００とネットワーク１０を介して通信接続されるサーバ２００を含む。なおネットワーク１０には、他の外部サーバや端末装置も通信接続することができる。
【００４４】
本実施形態では、サーバ２００は、例えば端末装置１００により取得（撮影）された検索対象画像に類似する複数の類似画像を検索する。そしてこれらの複数の類似画像の各類似画像に関連づけられたタグを用いて、画像検索システムにおけるユーザインターフェース等を実現している。
【００４５】
即ち、画像認識処理を利用した画像検索には本質的に曖昧さが伴う。本実施形態では、このような画像検索の曖昧さを逆に利用して、ユーザの嗜好・趣味・関心や、ユーザの行動や、ｅコマース等における広がりを創出している。
【００４６】
例えば図２のＡ１において、ユーザは、デジタルカメラやカメラ付き携帯電話機等の端末装置１００を用いて、ワインのラベルを撮影している。そしてインターネット等のネットワークを介して、撮影した画像をサーバ２００に送信して、画像検索を依頼する。
【００４７】
この場合に、これまでの画像検索システムでは、撮影画像に基づいて、撮影したワインを特定し、そのワインを販売する店舗等を紹介することに注力していた。従って、撮影画像から、如何にしてそのワインを正確に特定するかが技術的課題になっていた。
【００４８】
これに対して本実施形態では、画像検索の曖昧さを逆利用する。例えばＡ１で撮影した検索対象画像を端末装置１００からサーバ２００に送信して、検索対象画像に類似する複数の類似画像を検索する。
【００４９】
そして例えばＡ２に示すように、Ａ１のワインに似ているお酒の画像が、類似画像として検索され、ユーザに提示される。類似画像が検索されると、その似ているお酒についての情報を、関連情報としてユーザに提示する。この場合の関連情報の提示は、例えば後述するようなハブ画面を利用して行う。即ちその類似画像に関連づけられたハブ画面情報を用いてハブ画面を表示し、そのハブ画面において、Ａ２の似ているお酒についての情報を提示する。具体的には、Ａ２のお酒に関連するサイトのリンク先が提示された第１のハブ画面を表示する。
【００５０】
更にＡ３、Ａ４に示すように、Ａ１のワインに少し似ているお酒や全く違うお酒についての類似画像や関連情報も提示する。具体的には、ユーザがＡ３の類似画像を選択すると、Ａ３のお酒に関するサイトのリンク先が提示された第２のハブ画面を表示する。また、ユーザがＡ４の類似画像を選択すると、Ａ４のお酒に関する複数のサイトのリンク先が提示された第３のハブ画面を表示する。そしてこれらの第１、第２、第３のハブ画面では、提示されるリンク先の少なくとも一部が異なるように設定されている。こうすることで、例えば思いもよらない味の発見などのユーザの嗜好の広がり等を創出できる。
【００５１】
また、類似検索によりＡ１と同じワインの画像が検索された場合には、Ａ５に示すように、そのワインの産地やソムリエの声や生産者の声などの情報をユーザに提示する。更にＡ６に示すように、ワイングラスやおつまみなどの情報も提示し、ｅコマースの広がりを創出する。
【００５２】
加えて、例えばＡ２やＡ３の類似画像のタグ（例えば、お酒）を提示する。類似画像のタグ（例えば、お酒）のように、ユーザが検索対象画像に基づき欲しい可能性がある情報を提示する。また、類似画像のタグ（例えば、お酒）から連想される関連タグ（例えば、宴会）や、関連タグ（例えば、宴会）についての関連情報（例えば、宴会に関するサイトのリンク先が提示された第４のハブ画面）も提示できる。お酒と言えば宴会が連想されるように、ユーザが関心を持つ可能性がある情報も提示する。こうすることで、例えば探したかった事柄の発見などのユーザの知りたい情報の手助け等を創出できる。
【００５３】
また、図３のＢ１に示すようにユーザがＤＶＤ作品のパッケージを撮影した場合には、Ｂ２、Ｂ３、Ｂ４に示すように、類似画像として検索された似ている作品や他の作品についての関連情報を提示して、ユーザの趣味の広がり等を創出する。
【００５４】
例えばＢ２の作品の類似画像が選択された場合にはＢ２の作品に関するリンク先が提示された第１のハブ画面を表示する。同様に、Ｂ３、Ｂ４の作品の類似画像が選択された場合にはＢ３、Ｂ４の作品に関するリンク先が提示された第２、第３のハブ画面を表示する。或いは、Ｂ５、Ｂ６に示すように、その作品の関連情報をユーザに提示して、ｅコマースの広がりを創出する。加えて、類似画像のタグ（例えば、ＤＶＤ）や、類似画像のタグ（例えば、ＤＶＤ）から連想される関連タグ（例えば、ＤＶＤの通信販売）や、関連タグについての関連情報（例えば、ＤＶＤの通信販売に関するサイトのリンク先）を提示して、ユーザの知りたい情報の手助け等を創出する。
【００５５】
このように、従来では画像検索による商品等の特定の方向に収束していたベクトルの方向を、本実施形態の画像検索システムでは、類似検索の曖昧さを逆利用して、情報提示の広がりの方向にベクトルを向けることで、ユーザの嗜好・趣味・関心・行動やｅコマースの広がりやユーザの知りたい情報の手助け等を実現している。
【００５６】
このような発想の画像検索を実現するために、本実施形態では図１に示すような構成のシステムを採用している。以下、本実施形態の画像検索システム、サーバ２００、端末装置１００の具体的な構成について詳細に説明する。
【００５７】
ネットワーク１０（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１００と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１０は有線・無線を問わない。
【００５８】
サーバ２００（検索サーバ、管理サーバ）は、検索対象画像の類似画像の検索処理を行うものであり、ネットワーク１０を介して端末装置１００や図示しない他の外部サーバ等に通信接続される。このサーバ２００の機能は、情報処理装置（レンタルサーバ、共有サーバ）などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００５９】
端末装置１００は、例えばユーザが所持するデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ付き携帯電話機、情報処理端末などであり、検索対象画像を取得する機能や、ネットワーク１０を介してサーバ２００等と通信する機能を有する。
【００６０】
Ｗｅｂサーバであるサーバ２００は、処理部２０２、記憶部２１９、画像データベース２２０、関連タグデータベース２３０、通信部２３８、操作部２４０を含む。なお本実施形態のサーバ２００は図１の構成に限定されず、これらの一部の構成要素（例えば画像データベース２２０や関連タグデータベース２３０）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６１】
処理部２０２は、サーバ全体の制御処理や画像検索処理やデータ作成処理などの各種の処理を行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰ(PHP;Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００６２】
記憶部２１９は、処理部２０２、通信部２３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部２１９は、送信データ記憶部２２１、類似画像ＩＤ記憶部２２２、タグ処理結果データ記憶部２２３、類似検索結果データ記憶部２２４、返信データ記憶部２２５、再検索結果データ記憶部２２６を含む。
【００６３】
画像データベース２２０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースであり、登録画像のデータや登録画像に関連づけられたメタデータなどを記憶する。画像データベース２２０は、ハブ画面のＵＲＬ情報を記憶してもよい。
【００６４】
関連タグデータベース２３０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースであり、タグや関連タグなどを記憶する。関連タグデータベース２３０は、関連タグハブ画面のＵＲＬ情報を記憶してもよい。
【００６５】
通信部２３８は、ネットワーク１０を介して端末装置１００や他の外部サーバとの間で情報を通信するためのものである。操作部２４０は、サーバ２００の運営者がサーバ管理等のための各種情報を入力するためのものである。
【００６６】
処理部２０２は、受信処理部２０４、画像認識部２０６、タグ処理部２１０、データ作成部２１４、送信処理部２１８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６７】
受信処理部２０４はデータの受信処理を行う。具体的には、検索対象画像についての送信データをネットワーク１０を介して受信するための処理を行い、例えば端末装置１００からの送信データを受信する。ここで、検索対象画像についての送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば検索対象画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。また、受信処理部２０４は再検索キー用のタグについての返信データを受信することができるが、返信データの受信については、後述する。
【００６８】
画像認識部２０６は画像の認識処理を行う。具体的には、検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から検索対象画像に類似する類似画像を検索する。例えば検索対象画像と、画像データベース２２０の各登録画像とを照合し、検索対象画像に類似する登録画像のうち、上位の所定数（Ｊ個）の登録画像を、複数の類似画像として検索（抽出）する。
【００６９】
画像認識部２０６は認識用データ作成部２０８を含むことができる。認識用データ作成部２０８は、検索対象画像のデータから、画像認識に必要な認識用データを作成する。例えば、認識用データとして、後述するような特徴量データを作成する。そして画像認識部２０６は、検索対象画像の認識用データである特徴量データと、画像データベース２２０の登録画像の認識用データである特徴量データとを比較する照合処理を行うことで、検索対象画像と登録画像が類似するか否かを判断する。なお認識用データは、他の画像を区別可能な情報であれば、その形態を制限するものではない。また、受信処理部２０４が、端末装置１００等からの送信データとして、検索対象画像データそのものではなく、特徴量データ等の認識用データを受信する場合には、認識用データ作成部２０８の構成は省略できる。
【００７０】
タグ処理部２１０はタグに関する種々の処理を行う。具体的には、画像認識部２０６により検索された複数の類似画像（登録画像）の各類似画像に関連づけられたタグ（文字情報）を取得する。そして、例えば複数の類似画像から取得された複数のタグのソーティング処理を行う。
【００７１】
即ち、画像データベース２２０には、各登録画像に対して対応するタグが関連づけられて記憶されている。このタグの関連づけは、例えばユーザが、自身の撮影画像を画像データベース２２０に登録する際に、対応するタグについても登録することで実現できる。或いは、業者やサーバの運営者が、画像の登録の際に、対応するタグを画像に関連づけて登録することで実現できる。そしてタグ処理部２１０は、画像認識部２０６が検索対象画像に類似する複数の類似画像を検索すると、これらの複数の類似画像（登録画像）に関連づけられたタグを、画像データベース２２０から取得する。
【００７２】
なお本実施形態におけるタグは、画像に関連づけられている情報であり、当該画像と共に取得可能に提供されるものである。例えば、タグは、その画像が分類される１又は複数のジャンル情報とすることができる。具体的には、例えばひまわりの花の画像に、「花」「ひまわり」「夏」「ゴッホ」などのジャンル情報を関連づける場合などである。
【００７３】
このタグによって分類された選択項目（選択肢）を例えば携帯端末装置の表示部に表示される選択メニュー等を用いてユーザに提示すれば、ユーザはその選択項目の選択によって、どのようなジャンルの情報に導かれるのかを知ることができる（図２、図３参照）。比喩で言えば、画像が「始点」であるならば、タグは方向性を示す「方向ベクトル」であると言える。
【００７４】
タグ処理部２１０は、取得されたタグの集計処理を行う。具体的にはタグ処理部２１０は、タグ集計部２１２を含み、タグ集計部２１２は、複数の類似画像から取得された複数のタグの各タグについての出現数を集計する集計処理を行う。そしてタグ処理部２１０は、集計結果に基づいて複数のタグ（検索結果タグ）のソーティング処理を行う。具体的には、複数のタグを、出現数が多い順に並べ替える。なお、タグ処理部２１０は、複数のタグのうちの一部のタグ（例えば、出現数が多い順に並べ替えた複数のタグのうちの上位の出現数に対応する一部のタグ）だけを選択してもよい。
【００７５】
なおタグの集計処理は、タグの出現数を単純にカウントする処理には限定されない。例えば類似画像の類似度等に基づいて重み付け係数を求め、この重み付け係数を用いてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、類似画像の類似度が高い場合には、その類似画像のタグの集計値を大きくするようにしてもよい。
【００７６】
また、タグ処理部２１０は返信データに基づき再検索キー用のタグを除く他のタグ（再検索結果タグ）を取得することができるが、他のタグ（再検索結果タグ）の取得については、後述する。
【００７７】
データ作成部２１４は、類似検索結果データや再検索結果データなどの各種データの作成処理を行う。例えば複数の類似画像を提示するための類似検索結果データや、複数の類似画像の複数のタグ（検索結果タグ）を提示するための類似検索結果データや、複数の類似画像の複数のタグに基づき関連データベース２３０から取得された複数の関連タグを提示するための類似検索結果データや、ハブ画面を表示するための類似検索結果データや、再検索キー用のタグを除く他のタグ（再検索結果タグ）を提示するための再検索結果データ等を作成する。
【００７８】
具体的にはデータ作成部２１４は、複数の類似画像の複数のタグ（検索結果タグ）を含む類似検索結果データを作成する。例えば、画像認識部２０６において検索対象画像の複数の類似画像が検索されると、タグ処理部２１０において複数の類似画像の複数のタグが取得され、集計処理される。このようにして、画像検索の曖昧さを逆利用し情報提示を実現する。また、データ作成部２１４は返信データに基づき複数の類似画像から取得された複数の他のタグ（再検索結果タグ）を含む再検索結果データを作成することができるが、再検索結果データの作成については、後述する。
【００７９】
データ作成部２１４は、複数の類似画像の複数のタグ（検索結果タグ）に対応する複数の関連タグをさらに含む類似検索結果データを作成することができる。例えば、データ作成部２１４は、集計処理後の複数のタグを用いて関連データベース２３０から複数の関連タグを取得し、取得された関連タグを含む類似検索結果データを作成する。タグと関連タグとがユーザに提示されることにより、ユーザの知りたい情報の手助け等をより確実に創出することができる。
【００８０】
データ作成部２１４は、類似検索結果データに含まれる複数の関連タグの各関連タグに対して、各関連タグに対応する複数のリンク先を提示するためのハブ画面情報（ハブ画面の設定情報）が関連づけられた類似検索結果データを作成してもよい。
【００８１】
データ作成部２１４は、複数の類似画像をさらに含む類似検索結果データを作成することができる。例えば、データ作成部２１４は、画像認識部２０６において検索（抽出）された複数の類似画像（登録画像）をさらに含む類似検索結果データを作成する。
【００８２】
データ作成部２１４は、複数の類似画像の各類似画像に対して、各類似画像に対応する複数のリンク先を提示するためのハブ画面情報（ハブ画面の設定情報）が関連づけられた類似検索結果データを作成してもよい。例えば、画像認識部２０６において検索対象画像の複数の類似画像が検索されると、データ作成部２１４は、その複数の類似画像のうちの第１の類似画像に対しては、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられた類似検索結果データを作成する。一方、複数の類似画像のうちの第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられた類似検索結果データを作成する。
【００８３】
即ち図２、図３で説明したような画像検索の曖昧さを逆利用した情報提示を実現するために、各類似画像毎に異なったリンク先が設定されたハブ画面が表示されるようにする。例えば、ユーザが第１の類似画像を選択した場合には、第１のリンク先が設定された第１のハブ画面が表示され、第２の類似画像を選択した場合には、第１のリンク先とは異なる第２のリンク先が設定された第２のハブ画面が表示されるように、類似検索結果データを作成する。具体的には、第１のハブ画面情報に設定される複数のリンク先と、第２のハブ画面情報に設定される複数のリンク先とが、少なくともその一部のリンク先が異なるようにする。更に具体的には、第１のハブ画面情報には、第１の類似画像に関連づけられたタグに対応する複数のリンク先が設定され、第２のハブ画面情報には、第２の類似画像に関連づけられたタグに対応する複数のリンク先が設定されるように、類似検索結果データを作成する。即ち各類似画像に対応づけられたタグに応じた情報が提示されるリンク先が、各ハブ画面に設定されるようにする。
【００８４】
データ作成部２１４は、複数の関連タグの各関連タグに対して、各関連タグに対応する複数のリンク先を提示するための関連タグハブ画面情報（関連タグハブ画面の設定情報）が関連づけられた類似検索結果データを作成してもよい。例えば、タグ処理部２１０において複数の類似画像の複数のタグが取得され、集計処理されると、データ作成部２１４は、その複数の関連タグのうちの第１の関連タグに対しては、第１の関連タグに対応する複数のリンク先を提示するための第１の関連タグハブ画面情報が関連づけられた類似検索結果データを作成する。一方、複数の関連タグのうちの第２の関連タグに対しては、第２の関連タグに対応する複数のリンク先を提示するための第２の関連タグハブ画面情報が関連づけられた類似検索結果データを作成する。
【００８５】
データ作成部２１４は、集計処理として、例えばタグ処理部２１０によりソーティングされた複数のタグを利用してもよい。例えば、出現数が多い順に複数のタグが並び替えられたデータ構造を利用する。或いは、ソーティングされた複数のタグの各タグを利用するようにしてもよい。例えば出現数が多い順にソーティングされた複数の各タグに対して、そのタグに対応する１又は複数の関連タグが関連づけられたデータ構造の類似検索結果データを作成する。
【００８６】
なお、データ作成部２１４が複数のタグのうちの一部のタグ（選択タグ）を選択する場合、データ作成部は、選択された一部のタグ（選択タグ）に基づき関連タグデータベース２３０から複数の関連タグを取得し、一部のタグの各タグ（各選択タグ）に対して、複数の関連タグのうちの対応する１又は複数の関連タグが対応づけられた類似検索結果データを作成する。この場合に、データ作成部２１４は類似検索結果データの容量を小さくすることができる。加えて、データ作成部２１４は、選択された一部のタグの各タグ（各選択タグ）が複数の関連タグの各関連タグと異なる類似検索結果データを作成してもよい。
【００８７】
データ作成部２１４が複数の類似画像（登録画像）を含む類似検索結果データを作成する場合に、類似検索結果データに含まれる複数の類似画像が類似度の高い順に並べ替えられるようにしてもよい。データ作成部２１４は、画像認識部２０６により検索された複数の類似画像（登録画像）の一部の類似画像（例えば、類似度が高い順に並べ替えた複数の類似のうちの上位の類似度に対応する一部の類似画像）だけを選択してもよい。
【００８８】
なおデータ作成部２１４は、検索対象画像に対する類似度が上位の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像のデータを含む検索結果データ（第２の類似検索結果データ）を作成してもよい。即ち、類似度が上位の所定数の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像を検索し、その類似画像についてのデータを、検索結果データに含ませる。
【００８９】
ここで類似画像についてのデータとは、類似画像のデータそのものであってもよいし、その類似画像を指定するデータであってもよい。また、類似検索結果データに含ませるデータは、類似画像についてのデータ、及びその類似画像に関連づけられたタグの少なくとも一方であってもよい。
【００９０】
送信処理部２１８はデータの送信処理を行う。具体的には、類似検索結果データや再検索結果データをネットワーク１０を介して送信するための処理を行う。この場合に、データ作成部２１４により作成された類似検索結果データ（検索結果データ）や再検索結果データを、検索対象画像を取得した端末装置１００に対してネットワーク１０を介して送信してもよいし、この類似検索結果データを、他の外部サーバや他の端末装置に送信してもよい。
【００９１】
デジタルカメラ、携帯電話機、携帯情報端末、情報処理装置等の端末装置１００は、処理部１０２、記憶部１２０、通信部１３８、操作部１４０、撮像部１５０、表示部１６０を含む。なお本実施形態の端末装置１００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９２】
処理部１０２は、操作部１４０からの操作情報や、通信部１３８により受信した情報等に基づいて、種々の処理を行う。この処理部１０２の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１３０に記憶されたプログラムなどにより実現できる。
【００９３】
記憶部１２０は、処理部１０２、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部１２０は、送信データ記憶部１２２、類似検索結果データ記憶部１２４、返信データ記憶部１２６、再検索結果データ記憶部１２８を含む。
【００９４】
情報記憶媒体１３０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１０２は、情報記憶媒体１３０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１３０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００９５】
通信部１３８は、ネットワーク１０を介してサーバ２００や他の端末装置との間で情報を通信するためのものである。操作部１４０は、ユーザが端末装置１００の各種操作を行うためのものであり、例えば表示部１６０の表示画面内の選択項目を選択するためのボタンや、画像撮影のシャッターボタンなどにより実現できる。
【００９６】
撮像部１５０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。
【００９７】
表示部１６０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや、有機ＥＬなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。この表示部１６０には、類似検索結果画面や再検索結果画面やハブ画面（関連タグハブ画面を含む）などが表示される。
【００９８】
処理部１０２は、画像取得部１０４、送信処理部１０６、受信処理部１０８、表示制御部１１０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００９９】
画像取得部１０４は検索対象画像を取得する。例えば、撮像部１５０により被写体を撮像することで得られた検索対象画像（被写体画像）を取り込む。なお、検索対象画像を実際には撮像せずに、例えばメモリカードなどに保存された検索対象画像を取り込むようにしてもよい。
【０１００】
送信処理部１０６はデータの送信処理を行う。例えば画像取得部１０４により取得された検索対象画像についての送信データをネットワーク１０を介してサーバ２００に送信する処理を行う。即ち、取得された検索対象画像のデータを、サーバ２００に送信するフォーマットに変換して、送信データを作成する。そして作成された送信データをサーバ２００に送信する。この場合の送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データであってもよい。また、送信処理部１０６は、検索対象画像に類似する複数の類似画像から取得された複数のタグ（検索結果タグ）の中から選択された再検索キー用のタグについての返信データを送信することができるが、返信データの送信については、後述する。
【０１０１】
受信処理部１０８はデータの受信処理を行う。例えば検索対象画像の類似検索結果データや再検索結果データなどをネットワーク１０を介して受信する処理を行う。
【０１０２】
表示制御部１１０は表示部１６０の表示制御を行う。例えば受信した類似検索結果データや再検索結果データに基づいて、表示部１６０の表示制御を行う。具体的には類似検索結果画面や再検索結果画面やハブ画面や選択画面などの各種画面を表示部１６０に表示するための表示制御を行う。
【０１０３】
例えば表示制御部１１０は、受信した類似検索結果データに基づいて、検索対象画像に類似する複数の類似画像から取得された複数のタグ（検索結果タグ）が表示される類似検索結果画面を、表示部１６０に表示する制御を行う。表示制御部１１０は、検索対象画像に類似する複数の類似画像が表示される類似検索結果画面を、表示部１６０に表示する制御を行う。表示制御部１１０は、複数の類似画像又は複数のタグ（検索結果タグ）を表示部１６０に表示する制御を行ってもよく、複数の類似画像と複数のタグ（検索結果タグ）との双方を表示部１６０に表示する制御を行ってもよい。また、表示制御部１１０は、受信した類似検索結果データに基づいて、複数の類似画像から取得された複数のタグ（検索結果タグ）に基づき関連タグデータベース２３０から取得された複数の関連タグが表示される類似検索結果画面を、表示部１６０に表示する制御を行ってもよい。
【０１０４】
また、表示制御部１１０は、受信した再検索結果データに基づいて、複数の類似画像から取得された複数の他のタグ（再検索結果タグ）であって、再検索キー用のタグを除く複数の他のタグ（再検索結果タグ）が表示される再検索結果画面を、表示部１６０に表示する制御を行う。
【０１０５】
２．動作の概要
図４に類似検索結果データの作成手順の概要を示す。図４（Ａ）中のＣ１に示すような検索対象画像が送信データとして、端末装置１００からサーバ２００に送信される。図４（Ａ）のＣ２に示すような複数の類似画像が、検索対象画像（送信データ）に基づき検索される。サーバ２００において、複数の類似画像に関連づけられた複数のタグ（検索結果タグ）が取得される。複数のタグ（検索結果タグ）は、類似検索結果データとして、サーバ２００から端末装置１００に送信される。検索結果タグの一例として、「花」、「服」が図４（Ｂ）中のＣ３で示されている。
【０１０６】
図４（Ａ）中のＣ１に示すような検索対象画像に対して、ユーザは「花」というタグに興味を持つ場合と「服」というタグに興味を持つ場合と他のタグに興味を持つ場合とがある。例えば、ユーザは「花」というタグに興味を持つ場合、ユーザは、例えば操作部１５０を介して、検索結果タグ（「花」、「服」）の中から第１の再検索キー用のタグ（「花」）を選択することができる。
【０１０７】
図５に第１の再検索結果データの作成手順の概要を示す。図５（Ａ）中のＤ１に示すような第１の再検索キー用のタグ（「花」）が第１の返信データとして、端末装置１００からサーバ２００に送信される。図５（Ａ）のＤ２に示すような複数の類似画像が、図４（Ａ）中のＣ１に示される検索対象画像と第１の再検索キー用のタグ（第１の返信データ）とに基づき指定される。サーバ２００において、複数の類似画像に関連づけられた複数の他のタグ（第１の再検索結果タグ）が取得される。複数の他のタグ（第１の再検索結果タグ）は、第１の再検索結果データとして、サーバ２００から端末装置１００に送信される。第１の再検索結果タグの一例として、「桜」、「ひまわり」が図５（Ｂ）中のＤ３で示されている。なお、図５（Ａ）のＤ２に示すような複数の類似画像の各類似画像には、第１の再検索キー用のタグ（「花」）と他のタグ（例えば、「桜」、「ひまわり」）とが関連付けられ、第１の再検索結果タグには、第１の再検索キー用のタグ（「花」）が含まれていない。
【０１０８】
図４（Ａ）中のＣ１に示すような検索対象画像に対して、ユーザは「桜」というタグに興味を持つ場合と「ひまわり」というタグに興味を持つ場合と他のタグに興味を持つ場合とがある。例えば、ユーザは「桜」というタグに興味を持つ場合、ユーザは、例えば操作部１５０を介して、第１の再検索結果タグ（「桜」、「ひまわり」）の中から第２の再検索キー用のタグ（「桜」）を選択することができる。
【０１０９】
図６に第２の再検索結果データの作成手順の概要を示す。図６（Ａ）中のＥ１に示すような第２の再検索キー用のタグ（「桜」）が第２の返信データとして、端末装置１００からサーバ２００に送信される。図６（Ａ）のＥ２に示すような複数の類似画像が、図４（Ａ）中のＣ１に示される検索対象画像と第１の再検索キー用のタグ（第１の返信データ）と第２の再検索キー用のタグ（第２の返信データ）とに基づき指定される。サーバ２００において、複数の類似画像に関連づけられた複数の他のタグ（第２の再検索結果タグ）が取得される。複数の他のタグ（第２の再検索結果タグ）は、第２の再検索結果データとして、サーバ２００から端末装置１００に送信される。第２の再検索結果タグの一例として、「エドヒガン」、「ヤマザクラ」が図６（Ｂ）中のＥ３で示されている。なお、図６（Ａ）のＥ２に示すような複数の類似画像の各類似画像には、第１の再検索キー用のタグ（「花」）と第２の再検索キー用のタグ（「桜」）と他のタグ（例えば、「エドヒガン」、「ヤマザクラ」）とが関連付けられ、第２の再検索結果タグには、第１の再検索キー用のタグ（「花」）と第２の再検索キー用のタグ（「桜」）が含まれていない。
【０１１０】
図７に複数の類似画像の範囲を説明する概念図を示す。図７（Ａ）及び図７（Ｂ）中のＣ２で示される四角形領域は、概念的に、図４（Ａ）中のＣ２で示される複数の類似画像に対応する。Ｃ２で示される四角形領域に対応する複数の類似画像は、例えば画像データベース２２０に登録された登録画像の中から検索対象画像に基づき検索される。図７（Ａ）中のＤ２で示される斜線領域は、概念的に、図５（Ａ）中のＤ２で示される複数の類似画像に対応する。Ｄ２で示される斜線領域に対応する複数の類似画像は、Ｃ２で示される四角形領域に対応する複数の類似画像であって、図５（Ａ）中のＤ１に示される第１の再検索キー用のタグ（「花」）を有する複数の類似画像である。図７（Ｂ）中のＥ２で示される斜線領域は、概念的に、図６（Ａ）中のＥ２で示される複数の類似画像に対応する。Ｅ２で示される斜線領域に対応する複数の類似画像は、Ｃ２で示される四角形領域に対応する複数の類似画像であって、図５（Ａ）中のＤ１に示される第１の再検索キー用のタグ（「花」）及び図６（Ａ）中のＥ１に示される第２の再検索キー用のタグ（「桜」）を有する複数の類似画像である。
【０１１１】
Ｃ２で示される四角形領域に対応する複数の類似画像から取得される検索結果タグが、「花」や「服」という抽象度の高いタグである場合、第１の再検索キー用のタグ（「花」）を用いて、「桜」や「ひまわり」という具体的なタグ（第１の再検索結果タグ）を取得することができる。さらに、第２の再検索キー用のタグ（「桜」）を用いて、「エドヒガン」や「ヤマザクラ」というより具体的なタグ（第２の再検索結果タグ）を取得することができる。このように、再検索キー用のタグの選択が繰り返されることにより、ユーザは、目的の情報にたどり着くことができる。
【０１１２】
ところで、図６（Ａ）中のＥ２で示される複数の類似画像は、図５（Ａ）中のＤ１に示される第１の再検索キー用のタグ（「花」）及び図６（Ａ）中のＥ１に示される第２の再検索キー用のタグ（「桜」）を有する必要がある。しかしこれでは、再検索キー用のタグの選択が繰り返されることにより、ユーザは、目的の情報にたどり着くことができない場合もある。そこで、図６（Ａ）中のＥ２で示される複数の類似画像は、第２の再検索キー用のタグ（「桜」）を有し、第１の再検索キー用のタグ（「花」）の有無と無関係な複数の類似画像に変更してもよい。つまり、再検索以降の全てまたは一部の検索において、すくなくとも１つ前の検索キー用のタグを検索条件に使わないようにする。言い換えれば、いままで説明したように、検索を重ねるに従って条件をどんどん絞るのではなく、同じレベルの検索を、条件を次々に代えて行うことになる。
【０１１３】
図８に第２の再検索結果データの作成手順の概要の変形例を示す。図８（Ａ）中のＥ１に示すような第２の再検索キー用のタグ（「桜」）が第２の返信データとして、端末装置１００からサーバ２００に送信される。図８（Ａ）及び図８（Ｂ）のＥ２’に示すような複数の類似画像が、第２の再検索キー用のタグ（第２の返信データ）に基づき指定される。サーバ２００において、図８（Ｂ）中のＥ２’で示される斜線領域に対応する複数の類似画像に関連づけられた複数の他のタグ（第２の再検索結果タグ）が取得される。なお、図８（Ａ）及び図８（Ｂ）のＥ２’に示すような複数の類似画像の各類似画像には、第２の再検索キー用のタグ（「桜」）と他のタグ（例えば、「エドヒガン」、「ヤマザクラ」）とが関連付けられ、第２の再検索結果タグには、第２の再検索キー用のタグ（「桜」）が含まれていない。第２の再検索結果タグには、第１の再検索キー用のタグ（「花」）や検索結果タグ（例えば、「服」）が含まれてもよい。
【０１１４】
以前の例では図７（Ａ）で検索結果Ｄ２が図７（Ｂ）ではさらにＥ２まで絞りこまれているが、本例では図７（Ａ）の検索結果Ｄ２が図８（Ｂ）の検索結果中のＥ２’に置き換わっているだけで絞込みは行われない。これにも関わらず両例とも図４（Ａ）の検索結果Ｃ２は前提として生かしている。図８（Ｂ）中のＥ２’で示される斜線領域は、図７（Ｂ）中のＥ２で示される斜線領域より広い。図８（Ｂ）中のＥ２’で示される斜線領域を得るような再検索キー用のタグの選択が繰り返されることにより、ユーザは、目的の情報にたどり着き易くなることがある。
【０１１５】
図９に類似検索結果画面の例を示す。図９（Ａ）に示すように、表示制御部１１０は、複数の類似画像が表示される一覧表示モード（第１のモード）を実現してもよく、複数のタグ（検索結果タグ）が表示されるタグ表示モード（第２のモード）を実現してもよい。なお、図９（Ｂ）に示すように、タグ表示モードは、複数のタグ（花、服）だけでなく、複数のタグに基づき取得された複数の関連タグ（団子、園芸、Ｔシャツ、バーゲン）を表示してもよい。データ作成部２１４は、類似検索結果データが、一覧表示モードで複数の類似画像を含み、タグ表示モードで複数のタグ（検索結果タグ）及び複数の関連タグを含むように、一覧表示モード又はタグ表示モードを切り換え可能な類似検索結果データを作成することができる。
【０１１６】
そして、図９（Ａ）に示すような類似検索結果画面において、検索対象画像に類似する複数の類似画像のうちの第１の類似画像が選択された場合には、第１の類似画像に対応する複数のリンク先が提示される第１のハブ画面が表示されるようにする。一方、この類似検索結果画面において、複数の類似画像のうちの第２の類似画像が選択された場合には、第２の類似画像に対応する複数のリンク先が提示される第２のハブ画面が表示されるようにする。この場合に、第１のハブ画面により提示される複数のリンク先と、第２のハブ画面により提示される複数のリンク先とが、少なくともその一部のリンク先が異なるように、ハブ画面の表示制御を行う。また第１のハブ画面により、第１の類似画像に関連づけられたタグに対応する複数のリンク先が提示され、第２のハブ画面により、第２の類似画像に関連づけられたタグに対応する複数のリンク先が提示されるようにする。
【０１１７】
図９（Ｂ）に示すような類似検索結果画面において、複数の関連タグのうちの第１の関連タグ（例えば、団子）が選択された場合には、第１の関連タグに対応する複数のリンク先が提示される第１の関連タグハブ画面が表示されるようにする。一方、この類似検索結果画面において、複数の関連タグのうちの第２の関連タグ（例えば、園芸）が選択された場合には、第２の関連タグに対応する複数のリンク先が提示される第２の関連タグハブ画面が表示されるようにする。この場合に、第１の関連タグハブ画面により提示される複数のリンク先と、第２の関連タグハブ画面により提示される複数のリンク先とが、少なくともその一部のリンク先が異なるように、関連タグハブ画面の表示制御を行う。また第１の関連タグハブ画面により、第１の関連タグに対応する複数のリンク先が提示され、第２の関連タグハブ画面により、第２の関連タグに対応する複数のリンク先が提示されるようにする。
【０１１８】
更に表示制御部１１０は、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて利用される類似検索結果画面を、表示部１６０に表示する制御を行ってもよい。例えば複数のタグがその各タグの出現数に応じてソーティングされたソーティング処置の結果を利用する類似検索結果画面が表示されるようにする。具体的には、複数のタグ（検索結果タグ）の各タグに対して、複数の関連タグのうちの対応する１又は複数の関連タグが関連づけて表示されるようにする。
【０１１９】
図９（Ａ）に示されるように、検索対象画像に類似する複数の類似画像をユーザに提示する場合、画像検索の曖昧さを利用することができる。しかしながら、類似画像の範囲は、例えば、図２のＡ３、Ａ４に示すように、Ａ１のワインに少し似ているお酒や全く違うお酒に留まる。言い換えれば、例えばユーザの知りたい情報の手助けには限界がある。そこで、図９（Ｂ）に示されるように、複数の類似画像の複数のタグ（検索結果タグ）や、複数の類似画像の複数のタグから連想される複数の関連タグをユーザに提示して、ユーザの知りたい情報の手助け等を創出できる。複数の関連タグは、複数の類似画像の複数のタグを用いて関連データベース２３０から取得される。
【０１２０】
３．詳細な動作
次に本実施形態の動作について図１０、図１１、図１２、図１３、図１４、図１５のフローチャートを用いて説明する。図１０、図１２、図１３、図１４は端末装置１００側の動作を説明するフローチャートであり、図１１、図１５はサーバ２００側の動作を説明するフローチャートである。
【０１２１】
図１０に示すように端末装置１００は、検索対象画像を取得する（ステップＳ１）。例えば撮像部１５０で被写体を撮影した画像を、検索対象画像として取得する。そして取得された検索対象画像に基づいて送信データを作成する（ステップＳ２）。例えばサーバ用のフォーマットに変換して送信データを作成する。そして作成された送信データをサーバに送信する（ステップＳ３）。
【０１２２】
図１１に示すようにサーバ２００は、端末装置１００から送信データを受信する（ステップＳ１１）。そして検索対象画像を認識用データに変換する（ステップＳ１２）。例えば検索対象画像のデータを特徴量データに変換する。
【０１２３】
次に、検索対象画像の認識用データと、画像データベース２２０の登録画像の認識用データとを照合し、図１６に示すように検索対象画像に類似する登録画像の画像ＩＤと類似度を取得する（ステップＳ１３）。図１６に示すように、取得された複数（所定数）の類似画像の画像ＩＤと類似度は、画像認識部２０６からタグ処理部２１０に送られる。なお、画像認識部２０６は、検索対象画像に対応する処理ＩＤを作成し、処理ＩＤをタグ処理部２１０に送ることができる。
【０１２４】
次に、取得された画像ＩＤを用いて、画像データベース２２０から、対応する登録画像のタグを取得し、タグの集計処理を行う（ステップＳ１４）。即ちタグ処理部２１０（タグ集計部２１２）は、画像認識部２０６から送られてきた複数の類似画像の画像ＩＤを用いて、画像データベース２２０から、これらの複数の類似画像についての複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図１６に示すように、取得された複数のタグや、対応する複数の類似画像の画像ＩＤは、タグ処理部２１０からデータ作成部２１４に送られる。なお、タグ処理部２１０は、処理ＩＤをデータ作成部２１４に送ることができる。
【０１２５】
次に、集計結果に基づいて、複数のタグのうちの一部のタグ（選択タグ）を選択する（ステップＳ１５）。即ちタグの集計処理を介して取得された複数のタグの一部のタグ（選択タグ）が、タグ処理部２１０からデータ作成部２１４に送られる。また、画像認識部２０６からの複数（所定数）の類似画像の画像ＩＤの一部の画像ＩＤ（選択画像ＩＤ）が、タグ処理部２１０からデータ作成部２１４に送られる。なお、選択タグの数や選択画像ＩＤの数は、例えば、類似検索結果画面の大きさに応じて決定される。
【０１２６】
次に、一部のタグ（選択タグ）から関連タグデータベース２３０を介して、関連タグを取得する（ステップＳ１６）。即ちデータ作成部２１４は、タグ処理部２１０からの一部のタグ（選択タグ）を用いて、関連タグを取得する。なお、関連タグの数は、例えば、類似検索結果画面の大きさに応じて決定される。また、データ作成部２１４は、一部のタグ（選択タグ）から関連タグデータベース２３０を介して、関連タグだけでなく、関連タグに対応する関連タグハブ画面情報を取得することができる。
【０１２７】
次に、一部のタグ（選択タグ）、関連タグ及び類似画像を含む類似検索結果データを作成し、類似検索結果データは、一部のタグ（選択タグ）を検索結果タグとして含む（ステップＳ１７）。即ちデータ作成部２１４は、タグ処理部２１０から送られてきた画像ＩＤの一部の画像ＩＤ（選択画像ＩＤ）を用いて、画像データベース２２０から、類似画像を取得する。データ作成部２１４は、一部の画像ＩＤ（選択画像ＩＤ）から画像データベース２２０を介して、類似画像だけでなく、類似画像に対応するハブ画面情報を取得することができる。そして、取得された関連タグや類似画像やハブ画面情報（関連タグハブ画面情報を含む）と、タグ処理部２１０から送られてきた一部のタグ（選択タグ、検索結果タグ）を用いて、類似検索結果画面やハブ画面を表示するための類似検索結果データ（後述の図１９（Ａ）、図１９（Ｂ）参照）を作成する。そして作成された類似検索結果データは端末装置１００に送信される（ステップＳ１８）。なお、データ作成部２１４は、処理ＩＤを含む類似検索結果データを作成することができる。
【０１２８】
図１２に示すように端末装置１００は、サーバから類似検索結果データを受信する（ステップＳ２１）。そして例えば類似画像が表示された類似検索結果画面（図９（Ａ）参照）を表示する（ステップＳ２２）。複数の類似画像は、例えば類似度順で端末装置１００の画面に表示する。また、複数の類似画像は、図９（Ｂ）に示されるような複数のタグの各タグに対して対応して、端末装置１００の画面に表示してもよい。
【０１２９】
次に、ユーザが、類似検索結果画面のタグ表示モード（例えば、図９（Ａ）のＦ１で示すタブ）を選択したか否かを判断し（ステップＳ２３）、選択された場合には、図９（Ｂ）に示すような類似検索結果画面を表示する（ステップＳ３１）。
【０１３０】
ステップＳ２３においてタグ表示モードが選択されない場合、ユーザが、類似検索結果画面の類似画像（アイコン）を選択したか否かを判断し（ステップＳ２４）、選択された場合には、その類似画像に対応するハブ画面（後述の図２１（Ａ）、図２１（Ｂ）参照）を表示する（ステップＳ２５）。このハブ画面により、類似画像に対応するリンク先がユーザに提示される。
【０１３１】
次に、ユーザがハブ画面のリンク先を選択したか否かを判断し（ステップＳ２６）、選択された場合には、そのリンク先に対応する外部サーバに通信接続する（ステップＳ２７）。即ち端末装置１００の接続先を、リンク先のＵＲＬ（Uniform Resource Locator）に設定する。またユーザが類似検索結果画面の表示を選択したか否かを判断し（ステップＳ２８）、選択された場合にはステップＳ２２に戻り、ハブ画面から類似検索結果画面に表示を切り替えて元に戻す。
【０１３２】
ステップＳ２３においてタグ表示モードが選択される場合、図９（Ｂ）に示すように、例えば複数のタグ（検索結果タグ）と、複数のタグの各タグに対して対応する複数の関連タグとが表示された類似検索結果画面を表示する（ステップＳ３１、図１３）。
【０１３３】
次に、ユーザが、類似検索結果画面の関連タグ（ハイパーリンク）を選択したか否かを判断し（ステップＳ３２）、選択された場合には、その関連タグに対応する関連タグハブ画面を表示する（ステップＳ３３）。この関連タグハブ画面により、関連タグに対応するリンク先がユーザに提示される。
【０１３４】
次に、ユーザが関連タグハブ画面のリンク先を選択したか否かを判断し（ステップＳ３４）、選択された場合には、そのリンク先に対応する外部サーバに通信接続する（ステップＳ３５）。即ち端末装置１００の接続先を、リンク先のＵＲＬに設定する。またユーザが類似検索結果画面の表示を選択したか否かを判断し（ステップＳ３６）、選択された場合にはステップＳ３１に戻り、関連タグハブ画面から類似検索結果画面に表示を切り替えて元に戻す。
【０１３５】
ステップＳ３２において類似検索結果画面の関連タグ（ハイパーリンク）が選択されない場合、図１４に示すように、ユーザが、類似検索結果画面の複数のタグの中から再検索キー用のタグを選択したか否かを判断し（ステップＳ４１）、選択された場合には、その再検索キー用のタグについての返信データを端末装置１００からサーバ２００に送信する（ステップＳ４２）。ステップＳ４１において再検索キー用のタグが選択されない場合、図１３のステップＳ３２に戻る。なお、ステップＳ３２及びステップＳ４１は、同時に実施してもよく、再検索キー用のタグ又は関連タグが選択されたか否かを判断してもよい。なお、送信処理部１０６は、処理ＩＤを含む返信データを送信することができる。送信処理部１０６は、処理ＩＤの代わりに、検索対象画像を含む返信データを送信してもよい。
【０１３６】
図１４のステップＳ４１において、図９（Ｂ）のＦ３で示すラジオボタンを用いて、ユーザが再検索キー用のタグを選択したか否かを判断してもよく、図４（Ｂ）のようにユーザが再検索キー用のタグそれ自体のクリックを用いて、ユーザが再検索キー用のタグを選択したか否かを判断してもよい。また、図１４のステップＳ４２において、図９（Ｂ）のＦ４で示すサブミットボタンを用いて、ユーザが再検索キー用のタグを送信してもよく、図４（Ｂ）のようにユーザが再検索キー用のタグそれ自体のクリックを用いて、再検索キー用のタグを送信してもよい。
【０１３７】
図１５に示すようにサーバ２００は、再検索キー用のタグについて返信データを端末装置１００から受信する（ステップＳ５１）。受信処理部２０４は、返信データに含まれる再検索キー用のタグをタグ処理部２１０に送る。なお、受信処理部２０４は、処理ＩＤを含む返信データを受信することができる。返信データが処理ＩＤを含む場合、受信処理部２０４は、検索対象画像を含む返信データを受信する必要がない。従って、画像認識部２０６は、検索対象画像に類似する複数の類似画像を再度抽出する必要がなく、具体的には、複数の類似画像の画像ＩＤと類似度を再度抽出する必要がない。返信データがＷｅｂデータである場合、受信処理部２０４は、処理ＩＤの代わりにセッションＩＤを受信してもよい。
【０１３８】
タグ処理部２１０は、再検索キー用のタグに対応する検索対象画像、既に取得された画像ＩＤ、対応する登録画像のタグを特定し、タグの集計処理（再検索用のタグの集計処理）を行う（ステップＳ５２）。即ちタグ処理部２１０は、複数の類似画像の各類似画像に関連づけられた他のタグであって、再検索キー用のタグ（第１の再検索キー用のタグ）を除く他のタグを特定し、タグの集計処理を行う。また、タグ処理部２１０は、他のタグに対応する複数の類似画像を指定する。他のタグに対応する複数の類似画像は、概念的に、例えば図７（Ａ）中のＣ２で示される複数の類似画像の中から選択された複数の類似画像であって、例えば図７（Ａ）中のＤ２で示される斜線領域に対応する複数の類似画像に対応する。
【０１３９】
次に、集計結果に基づいて、複数の他のタグのうちの一部の他のタグ（選択タグ）を選択する（ステップＳ５３）。なお、タグの集計処理（再検索用のタグの集計処理）を介して取得された複数の他のタグの一部の他のタグ（選択タグ）の数が少ない場合、タグ処理部２１０は、複数の他のタグのすべてをデータ作成部２１４に送ってもよい。また、他のタグに基づき指定された複数の類似画像の画像ＩＤの一部の画像ＩＤ（選択画像ＩＤ）が、タグ処理部２１０からデータ作成部２１４に送られる。
【０１４０】
次に、一部の他のタグ（選択タグ）から関連タグデータベース２３０を介して、他のタグに対応する関連タグを取得する（ステップＳ５４）。また、データ作成部２１４は、一部の他のタグ（選択タグ）に対応する関連タグハブ画面情報を取得することができる。
【０１４１】
次に、一部の他のタグ（選択タグ）、関連タグ及び類似画像を含む再検索結果データを作成し、再検索結果データは、一部の他のタグ（選択タグ）を再検索結果タグとして含む（ステップＳ５５）。データ作成部２１４は、一部の画像ＩＤ（選択画像ＩＤ）から画像データベース２２０を介して、類似画像だけでなく、類似画像に対応するハブ画面情報を取得することができる。
【０１４２】
そして作成された再検索結果データは端末装置１００に送信される（ステップＳ５３）。その後、図１２に示すステップＳ２１のようなステップを実施する。即ち端末装置１００は、類似検索結果データの代わりに再検索結果データを受信する。そして、例えば図５（Ｂ）で示すように、選択タグ（再検索結果タグ）が表示された再検索結果画面を表示する。
【０１４３】
その後、図１４に示すステップＳ４２のようなステップを実施する場合、即ち端末装置１００が再検索結果タグの中から選択された第２の再検索キー用のタグについての第２の返信データを送信する場合、図１５に示すステップＳ５１を実施する。但し、ステップＳ５２において、タグ処理部２１０は、複数の類似画像の各類似画像に関連づけられた他のタグであって、第１の再検索キー用のタグ及び第２の再検索キー用のタグを除く他のタグ（概念的に図７（Ｂ）中のＥ２で示される斜線領域に対応する他のタグ）を特定し、タグの集計処理を行う。或いは、ステップＳ５２において、タグ処理部２１０は、複数の類似画像の各類似画像に関連づけられた他のタグであって、第２の再検索キー用のタグを除く他のタグ（概念的に図８（Ｂ）中のＥ２’で示される斜線領域に対応する他のタグ）を特定し、タグの集計処理を行ってもよい。
【０１４４】
そして作成された再検索結果データ（第２の再検索結果データ）は端末装置１００に送信される。そして、例えば図６（Ｂ）で示すように、選択タグ（第２の再検索結果タグ）が表示された再検索結果画面（第２の再検索結果画面）を表示する。
【０１４５】
なお、図１２のステップＳ２１において端末装置１００が類似検索結果データ（又は再検索結果データ）を受信すると、図９（Ａ）に示すような一覧表示モードを実施したが（ステップＳ２２）、図９（Ｂ）に示すようなタグ表示モードを実施してもよい（ステップＳ３１）。この場合、ステップＳ３１とステップＳ３２との間に、ユーザが、類似検索結果画面（又は再検索結果画面）の一覧表示モード（例えば、図９（Ｂ）のＦ２で示すタブ）を選択したか否かを判断してもよく、選択された場合には、図９（Ａ）に示すような類似検索結果画面（又は再検索結果画面）を表示してもよい。
【０１４６】
図１７に画像データベース２２０に登録される画像データのデータ構造の例を示す。各画像ＩＤに指定される画像のデータは、認識用データ（特徴量データ）に変換されて登録されている。従って、検索対象画像の認識用データと、登録画像の認識用データとを照合することで、画像認識を実現できる。
【０１４７】
また図１７に示すように、各画像に対しては「花」、「桜」などのタグ（文字情報、テキストデータ）が関連づけられている。従って、検索対象画像の類似画像のタグは、画像ＩＤを指定することで画像データベース２２０から読み出すことができる。
【０１４８】
また各画像（各類似画像）に対してはハブ画面情報（ハブページ用データ）が関連づけられている。これらのハブ画面情報は、各画像に対応するリンク先を提示するための情報である。即ちこのハブ画面情報には、各画像毎に異なる複数のリンク先が設定されている。例えば画像ＩＤ＝００１の画像に対しては、その画像に対応する複数のリンク先（ＵＲＬ）が設定された第１のハブ画面情報が関連づけられている。また画像ＩＤ＝００２の画像に対しては、その画像に対応する複数のリンク先が設定された第２のハブ画面情報が関連づけられている。そして図１７に示すように、画像ＩＤ＝００１の画像に関連づけられた複数のリンク先と、画像ＩＤ＝００２の画像に関連づけられた複数のリンク先とは、少なくともその一部のリンク先が異なるように設定されている。
【０１４９】
図１８に関連タグデータベース２３０に登録される関連タグデータのデータ構造の例を示す。図１８（Ａ）に示すように、「花」、「桜」などのタグは、互いに関連する。即ち花から桜や団子や薔薇を連想でき、桜から花や入学式や花見を連想できる。図１８（Ａ）、図１８（Ｂ）に示すように、複数のタグの各タグに対して、１又は複数の対応するタグ（関連タグ）が関連づけられている。
【０１５０】
データ作成部２１４がタグ処理部２１０から例えば「花」や「桜」という複数のタグを受け取ると、データ作成部２１４は、「花」というタグを利用して、関連データベース２３０から例えば「団子」、「園芸」、「薔薇」、「ひまわり」、「桜」という複数の関連タグを読み出すことができる。データ作成部２１４は、「桜」というタグを利用して、関連データベース２３０から例えば「花」、「花見」、「春」、「入学式」、「桜餅」という複数の関連タグを更に読み出すことができる。この場合、タグと関連タグが重複するので、データ作成部２１４は、関連タグとしての「春」、「桜」を無視することができる。また、データ作成部２１４は、複数の関連タグのうちの一部の関連タグ（例えば、「団子」及び「園芸」）を利用して、類似検索結果データ（又は再検索結果データ）を作成することができる。
【０１５１】
図１９に、データ作成部２１４により作成される類似検索結果データ（サーバ２００からの返信データ）のデータ構造の例を示す。図１９はＸＭＬ（Extensible Markup Language）により記述されたＸＭＬフォーマットのデータ構造の例である。なお、図１９は、図４に示すような切り換えモードの記述を省略しており、図１９（Ａ）は、図２０（Ａ）に示すような一覧表示専用モードに対応する。図１９（Ｂ）は、図２０（Ｂ）に示すようなタグ表示専用モードに対応する。
【０１５２】
図１９（Ａ）のＧ１からＧ２に示す部分が類似検索結果データになる。そして類似画像についての複数のアイテムがリスト化されて並んでいる。例えばＧ３からＧ４に示すアイテムは、ｖ５に示すように、類似画像のＵＲＬ情報（広義には類似画像の情報）や、Ｇ６に示すようにこの類似画像についてのリンク先を提示するためのハブ画面のＵＲＬ情報（広義にはハブ画面情報）を含んでいる。即ち、Ｇ５は類似画像の格納先を示すＵＲＬ情報であり、Ｇ６はハブ画面の格納先を示すＵＲＬ情報である。同様にＧ７からＧ８に示すアイテムも、他の類似画像のＵＲＬ情報や、その類似画像に対応する他のハブ画面のＵＲＬ情報を含んでいる。
【０１５３】
図１９（Ｂ）のＧ９からＧ１０に示す部分が他の類似検索結果データになる。そしてＧ１１からＧ１２に示す部分が１番目のタグのブロックであり、Ｇ１３からＧ１４に示す部分が２番目のタグのブロックである。１番目のブロックはＧ１５に示すように「花」のタグのブロックであり、２番目のブロックはＧ１６に示すように「服」のタグのブロックであり、Ｇ１５の「花」のタグに続いて、「花」のタグについての複数のアイテムがリスト化されて並んでいる。例えばＧ１７からＧ１８に示すアイテムは、Ｇ１９に示すように「花」のタグから連想される関連タグ情報（文字情報、テキストデータ）や、Ｇ２０に示すようにこの関連タグについてのリンク先を提示するための関連タグハブ画面のＵＲＬ情報（広義には関連タグハブ画面情報）を含んでいる。即ち、Ｇ１９は関連タグ情報であり、Ｇ２０は関連タグハブ画面の格納先を示すＵＲＬ情報である。同様にＧ２１からＧ２２に示すアイテムも、「花」のタグが関連づけられた関連タグ情報や、その関連タグに対応する関連タグハブ画面のＵＲＬ情報を含んでいる。Ｇ２３に示す部分は、複数のタグの中から選択された再検索キー用のタグについての返信ボタンである。
【０１５４】
また、Ｇ１６の「服」のタグに続いて、「服」のタグについての複数のアイテムがリスト化されて並んでいる。これらの各アイテムは、「花」のタグの場合と同様に、「服」のタグが関連づけられた関連タグ情報や、その関連タグに対応する関連タグハブ画面のＵＲＬ情報を含んでいる。
【０１５５】
図２０（Ａ）に端末装置１００の表示部１６０に表示される類似検索結果画面の一例を示す。図４（Ａ）のＣ１は、端末装置１００で撮影された検索対象画像であり、サーバ２００は、この検索対象画像についての送信データを端末１００から受信する。そしてサーバ２００は、このＣ１の検索対象画像の画像認識を行い、複数の類似画像を検索する。そして図１９（Ａ）に示すような類似検索結果データを作成して、端末装置１００に送信する。
【０１５６】
端末装置１００は、図１９（Ａ）の類似検索結果データを受信して、図２０（Ａ）に示すような類似検索結果画面を表示する。この場合に、複数の類似画像（Ｈ１〜Ｈ４を含む）は例えば類似度が高い順に表示される。
【０１５７】
そしてユーザが例えば図２０（Ａ）のＨ１の類似画像を選択（クリック）すると、図２１（Ａ）に示すようなハブ画面が表示される。このハブ画面は、複数のリンク先に飛ぶための中心になる画面であり、図２１（Ａ）のハブ画面では、Ｉ１に示すように、選択された類似画像が表示されると共に、Ｉ２に示すように、この類似画像に対応する複数のリンク先が表示される。例えばユーザがこれらの複数のリンク先のいずれかを選択（クリック）すると、そのリンク先である外部サーバに通信接続され、各種の情報がユーザに提供される。例えば図２１（Ａ）のＩ２において、「桜を見に行くなら」というリンク先をクリックすると、例えば桜の花見についての各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。
【０１５８】
またユーザが図２０（Ａ）のＨ３に示す類似画像を選択すると、例えば図２１（Ｂ）に示すようなハブ画面が表示される。図２１（Ｂ）のハブ画面では、Ｉ３に示すように、選択された類似画像が表示されると共に、Ｉ４に示すように、この類似画像に対応する複数のリンク先が表示される。例えば図２１（Ｂ）のＩ４において、「花柄の服を買うなら」というリンク先をクリックすると、例えば花柄の服を取り揃えている店舗情報などの各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。
【０１５９】
なお本実施形態により表示される類似検索結果画面は図２０（Ａ）のような表示態様に限定されず、種々の変形実施が可能である。例えば図２０（Ａ）ではＨ５、Ｈ６に示すようなタグを表示していないが、図２０（Ｂ）の類似検索結果画面のようにタグを表示するようにしてもよい。また、図２０（Ａ）のように表示される複数の類似画像は、タグの集計処理を利用して選択されてもよい。
【０１６０】
以上のように本実施形態では、図１９（Ａ）の類似検索結果データでは、各類似画像に対して、各類似画像に対応する複数のリンク先を提示するためのハブ画面情報が関連づけられている。具体的には、第１の類似画像には、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられる。例えば図１９（Ａ）のＧ５の第１の類似画像には、Ｇ６に示すようにその類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報（ＵＲＬ情報）が関連づけられている。同様に、図示しない第２の類似画像には、その第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報（ＵＲＬ情報）が関連づけられている。
【０１６１】
これにより端末装置１００側では、図２１（Ａ）、図２１（Ｂ）に示すようなハブ画面が表示される。例えばユーザが図２０（Ａ）の類似検索結果画面において、Ｈ１に示す類似画像（第１の類似画像）を選択すると、図２１（Ａ）のＩ２に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第１のハブ画面）が表示される。またユーザが図２０（Ａ）の類似検索結果画面において、Ｈ３に示す類似画像（第２の類似画像）を選択すると、図２１（Ｂ）のＩ４に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第２のハブ画面）が表示される。
【０１６２】
図２０（Ｂ）に端末装置１００の表示部１６０に表示される類似検索結果画面の他の一例を示す。図４（Ａ）のＣ１は、端末装置１００で撮影された検索対象画像であり、サーバ２００は、この検索対象画像についての送信データを端末１００から受信する。そしてサーバ２００は、このＣ１の検索対象画像の画像認識を行い、複数の類似画像を検索する。
【０１６３】
図１７に示すように、画像データベース２２０に登録される各類似画像にはタグが関連づけられており、サーバ２００は、これらの複数の類似画像に関連づけられた複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図１９（Ｂ）に示すような類似検索結果データを作成して、端末装置１００に送信する。
【０１６４】
端末装置１００は、図１９（Ｂ）の類似検索結果データを受信して、図２０（Ｂ）に示すような類似検索結果画面を表示する。この場合に、サーバ２００での集計処理において最も出現数が多かった「花」というタグ（文字情報）を、図２０（Ｂ）のＨ５に示すように類似検索結果画面の最も上位の位置に表示する。また次に出現数が多かった「服」というタグを、Ｈ６に示すように「花」の下位の位置に表示する。またＨ７、Ｈ８に示すように、「花」というタグを利用して関連タグデータベース２３０から取得した関連タグを、「花」のタグの横にハイパーリンク（アイテム）として表示する。
【０１６５】
同様にＨ９、Ｈ１０に示すように、「服」というタグを利用して関連タグデータベース２３０から取得した他の関連タグを、「服」のタグの横にハイパーリンクとして表示する。
【０１６６】
そしてユーザが例えば図２０（Ａ）のＨ７の関連タグを選択（クリック）すると、図２１（Ａ）や図２１（Ｂ）と類似する関連タグハブ画面（図示せず）が表示される。この関連タブハブ画面は、複数のリンク先に飛ぶための中心になる画面であり、図２１（Ａ）のハブ画面のＩ１に対応する位置に、選択された関連タグが表示されると共に、Ｉ２に対応する位置に、この関連タグに対応する複数のリンク先が表示される。例えばユーザがこれらの複数のリンク先のいずれかを選択（クリック）すると、そのリンク先である外部サーバに通信接続され、各種の情報がユーザに提供される。例えば「団子を買うなら」というリンク先をクリックすると、例えば団子屋についての各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。
【０１６７】
なお本実施形態により表示される類似検索結果画面は図２０（Ｂ）のような表示態様に限定されず、種々の変形実施が可能である。例えば図２０（Ｂ）ではＨ７、Ｈ８、Ｈ９、Ｈ１０に示すように関連タグを表示しているが、図２０（Ａ）の類似検索結果画面のように関連タグを表示しないようにしてもよい。
【０１６８】
以上のように本実施形態では、図１９（Ｂ）の類似検索結果データでは、各関連タグに対して、各関連タグに対応する複数のリンク先を提示するための関連タグハブ画面情報が関連づけられている。具体的には、第１の関連タグには、第１の関連タグに対応する複数のリンク先を提示するための第１の関連タグハブ画面情報が関連づけられ、第２の関連タグに対しては、第２の関連タグに対応する複数のリンク先を提示するための第２の関連タグハブ画面情報が関連づけられる。例えば図１９（Ｂ）のＧ１９の第１の関連タグには、Ｇ２０に示すようにその関連タグに対応する複数のリンク先を提示するための第１のハブ画面情報（ＵＲＬ情報）が関連づけられている。同様に、図示しない第２の関連タグには、その第２の関連タグに対応する複数のリンク先を提示するための第２のハブ画面情報（ＵＲＬ情報）が関連づけられている。
【０１６９】
また本実施形態では、サーバ２００において作成される図１９（Ｂ）の類似検索結果データは、Ｇ１５、Ｇ１６に示すように、類似画像から取得された「花」、「服」などの複数のタグ（検索結果タグ）を含んでいる。そして、これらの複数のタグは、例えばその出現数に応じてソーティングされる。これにより、図２０（Ｂ）の端末装置１００側の類似検索結果画面では、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される。具体的にはＨ５、Ｈ６に示すように、出現数の高い順に「花」、「服」等のタグが表示される。なお出現数とは異なる序列でタグを表示してもよい。
【０１７０】
また、図１９（Ｂ）の類似検索結果データでは、各タグに対して、複数の関連タグのうちの対応する１又は複数の関連タグの情報が関連づけられている。例えばＧ１９に示すように、「花」のタグに対しては、そのタグに対応する関連タグが関連づけられている。
【０１７１】
これにより、図２０（Ｂ）の端末装置１００側の類似検索結果画面では、各タグに対して、複数の関連タグのうちの対応する１又は複数の関連タグ（ハイパーリンク）が関連づけて表示される。例えばＨ５に示す「花」のタグに対しては、Ｈ７、Ｈ８に示すように、その「花」のタグに対応する複数の関連タグが関連づけて表示される。またＨ６に示す「服」のタグに対しては、Ｈ９、Ｈ１０に示すように、その「服」のタグに対応する複数の関連タグが関連づけて表示される。
【０１７２】
以上のように本実施形態では、撮影された検索対象画像をキーとした類似画像の検索結果は、図１９（Ｂ）の類似検索結果のデータ構造に示すように、検索された類似画像の情報が、各クラスを表現するＧ１５、Ｇ１６に示すタグでグループ化される。例えば図２０（Ｂ）のＨ５、Ｈ６における「花」、「服」と表示されている部分がクラスを表現するタグに相当する。また、Ｈ７〜Ｈ１０に示す関連タグは、その左側に表示されているタグと異なるように、データ作成部２１４において選択されている。このように本実施形態では、類似度で序列されていた類似画像が、タグの序列に変換されて表示される。また各関連タグが選択されると、各関連タグ毎に異なるリンク先が表示される関連タグハブ画面が表示される。
【０１７３】
ユーザは図２０（Ｂ）の類似検索結果画面のタグのラジオボタン（Ｈ１１）、もしくは関連タグのハイパーリンクを選択することができる。ラジオボタンによって類似検索結果画面のタグ（例えば「花」）が選択された状態で、Ｈ１２で示す返信ボタンを選択した場合には、再検索キー用のタグについての返信データがサーバ２００に送信され、その後、再検索結果画面が表示される。また、図２０（Ｂ）の類似検索結果画面の関連タグのハイパーリンクを選択した場合には、関連タグハブ画面が表示される。ラジオボタン（Ｈ１１）の選択の代わりに、図２０（Ｂ）の類似検索結果画面のタグそれ自身の選択により、再検索結果画面が表示さてもよい。
【０１７４】
例えば本実施形態の第１の比較例として、被写体が「花」である場合に、まず、ユーザが端末装置１００の画面上で「花」の項目を選択し、その後、花を撮影して、画像検索を実行する手法が考えられる。
【０１７５】
しかしながら、この第１の比較例の手法では、被写体を「今」撮影しなれば逃してしまうような状況の場合に、被写体を撮影し損ねて、結局、被写体についての情報を得ることができなくなってしまうおそれがある。
【０１７６】
この点、本実施形態の手法では、まず被写体を撮影し、その撮影画像から複数の類似画像を検索する手法を採用しているため、被写体を撮影し損ねて、その情報を得ることができないという事態を防止できる。また、被写体を撮影する前に、「花」というような項目を選択する作業が不要になり、ユーザは、簡便な操作で、その被写体に関する情報を得ることができる。もちろん、情報の絞り込みを容易化するために、ユーザが所望するジャンル、タイトルを選択した後に、被写体を撮影し、本実施形態の手法による画像検索を実行する手法を採用することも可能である。
【０１７７】
また本実施形態の第２の比較例として、図２０（Ｂ）で「団子」が選択された場合も、「園芸」が選択された場合にも、同じテーマのリンク先が表示されたハブ画面を表示する手法が考えられる。例えば、その「団子」や「園芸」に関係する店舗のリンク先、通販のリンク先、地図情報のリンク先、詳細情報のリンク先というように、「団子」が選択された場合も、「園芸」が選択された場合にも、同じフォーマットのハブ画面を表示する。
【０１７８】
しかしながら、この第２の比較例の手法は、撮影画像から情報を一意に特定することを目的にするシステムには向いているが、図２、図３で説明したような画像検索の曖昧さを利用して、ユーザの嗜好・趣味等に広がりを持たせることを目的とするシステムには向いていない。
【０１７９】
この点、本実施形態の手法によれば、ユーザが選択した類似画像（ハイパーリンク、アイテム）に応じて、異なるテーマ・種別のリンク先が表示された関連タグハブ画面が表示される。例えば、選択された関連タグが「団子」である場合には、団子の購入場所のリンク先や、団子に関連するヒットソングのリンク先や、団子の辞書のサイトのリンク先が表示された関連タグハブ画面を表示する。一方、選択された関連タグが「園芸」である場合には、果物の育て方情報のリンク先や、野菜の育て方情報のリンク先が表示された関連タグハブ画面を表示する。このようにすれば、関連タグハブ画面に様々な設定パターンのリンク先を表示することで、画像検索の曖昧さを逆利用して、探したかった事柄の発見などのユーザの知りたい情報の手助け等を実現することが可能になる。
【０１８０】
なお、類似検索結果データのデータ構造や、類似検索結果画面（又は再検索結果画面）やハブ画面の表示態様は、図４（Ｂ）、図５（Ｂ）、図９（Ａ）、図９（Ｂ）、図１９（Ａ）〜図２１（Ｂ）で説明したものに限定されず、種々の変形実施が可能である。
【０１８１】
例えば図２２に、類似検索結果データの他のデータ構造例を示す。図２２のＪ１、Ｊ２に「花」、「服」のタグの文字情報が設定され、Ｊ３、Ｊ５に関連タブハブ画面のタイトルの文字情報が設定されている。またＪ４にはＪ３のタイトルを選択した時のリンク先が設定され、Ｊ６にはＪ５のタイトルを選択した時のリンク先が設定される。即ち図１９（Ｂ）のデータ構造例では、関連タグハブ画面のＵＲＬ情報が設定され、そのＵＲＬに端末装置１００がアクセスすることで、関連ハブ画面が表示される。これに対して図２２では、この関連タグハブ画面を構成する文字情報や画面構成等を、データ作成部２１４において作成して、端末装置１００に送信している。このように、類似検索結果データのデータ構造としては、画像検索のシステム構成や仕様に応じて、様々な態様のものを採用できる。
【０１８２】
４．集計処理
次にタグの集計処理の詳細例について図２３のフローチャートを用いて説明する。
【０１８３】
まずＮ＝１に設定する（ステップＳ６１）。そして画像認識により得られたＮ番目の類似画像に関連づけられたタグ群を取得する（ステップＳ６２）。具体的には図１７の画像データベース２２０においてＮ番目の類似画像の画像ＩＤを指定して、その類似画像に関連づけられたタグ群を取得する。例えば図２４（Ａ）において、類似画像Ｋ１の画像ＩＤが指定されると、「花」、「桜」からなるタグ群が取得される。この場合に１つの画像ＩＤに対しては例えば１個以上のタグが対応づけられており、重複したタグが対応づけられることはないようになっている。好ましくは、１つの画像ＩＤに対しては複数のタグが対応づけられている。
【０１８４】
次に、Ｍ＝１に設定する（ステップＳ６３）。そして、Ｎ番目の類似画像に関連づけられたタグ群のうちのＭ番目のタグを取得する（ステップＳ６４）。そして取得したタグについての出現数のカウント値をインクリメントする（ステップＳ６５）。例えば図２４（Ａ）において、「花」、「桜」からなるタグ群から「花」のタグを取得すると、「花」のタグの出現数のカウント値を１だけインクリメントする。
【０１８５】
なお、単に数値をカウントアップするのではなく、例えばタグが取得された場合に、そのタグに対応する配列に対して画像ＩＤを追加し、配列の要素数をカウント値として利用するようにしてもよい。
【０１８６】
また類似画像の類似度に基づき求められた重み付け係数により、タグの集計処理を行う場合には、ステップＳ６２のＮ番目の類似画像の類似度を、例えば画像認識部２０６から取得する。そして、取得された類似度に基づいて、類似度に対応する重み付け係数を、所定演算を行ったり、類似度を入力とし重み付け係数を出力とする変換テーブルを用いて求める。例えば類似度が高ければ高いほど、その値が大きくなる重み付け係数を求める。そしてステップＳ６５において、求められた重み付け係数をタグの出現数に乗算するなどの演算処理を行って、カウント値をインクリメントすればよい。このようにすれば、類似画像の類似度が反映されたタグの集計処理を実現できる。
次に、タグ群の全てのタグについての集計が終了したか否かを判断し（ステップＳ６６）、終了していない場合にはＭを１だけインクリメントして（ステップＳ６７）、ステップＳ６４に戻り、次のタグを取得する。例えば「花」の次の「服」のタグを取得する。
【０１８７】
タグ群の全てのタグについての集計が終了すると、検索された全ての類似画像（類似度が上位の所定数の類似画像）についてのタグ群の取得が完了したか否かを判断し（ステップＳ６８）、完了していない場合にはＮを１だけインクリメントし（ステップＳ４９）、ステップＳ６２に戻る。一方、完了した場合には、各タグの出現数に基づいてソーティング処理を実行する（ステップＳ７０）。
【０１８８】
例えば図２４（Ｂ）では、「花」、「服」、「桜」の出現数のカウント値が、各々、５、４、３になっている。従って、「花」が一番上位になり、その次に「服」、「桜」となるようにタグの並び替えが行われる。従って、図２０（Ｂ）のＨ５、Ｈ６に示すようなタグ表示が可能になる。これにより、画像認識により画像の類似度によって順序づけられた画像の序列を、タグの出現数によって順序づけられたタグの序列へと変換できる。
【０１８９】
例えば、ユーザが、目の前の「花」の名前を知るために、その「花」を撮影して、撮影画像をサーバ２００に送信したとする。この時に、画像検索の結果として例えば上位の２０個の類似画像において、その「花」そのものの画像ではなく、その「花」に似た模様をあしらったハンカチやその花を手にした人物の画像などが、上位に来る場合がある。
【０１９０】
そして、「花」の名前を知りたいユーザに対して、画像の序列を表した類似検索結果画面を表示する場合に、「花」の画像そのものではなく、上述のような花の模様のハンカチや花を手にした人物の画像が上位に来てしまうと、ユーザが、所望の「花」の画像に辿り着くまでに時間がかかり、多くの期待しない画像にアクセスすることになってしまう。
【０１９１】
一方、このような場合にも、上位２０個の類似画像のうちの多くの画像は、「花」というタグが関連づけられた画像であることが、一般に期待される。従って、タグの出現数を用いてタグをソーティングすることで、ユーザは、より少ない手間で所望の画像（及びその情報）にアクセスすることが可能になる。
【０１９２】
ところで、図２４（Ｂ）において、「花」というタグと比較して具体的な「桜」というタグの出現数のカウント値が、「花」、「服」等の抽象的なタグの出現数のカウント値よりも低く、「桜」というタグが類似検索結果画の検索結果タグに含まれない場合もある。また、類似検索結果画の大きさによって、「桜」というタグが類似検索結果画の検索結果タグに含まれない場合もある。このような場合、検索結果タグの中から再検索キー用のタグを選択することにより、或いは、再検索キー用のタグの選択が繰り返されることにより、ユーザは、「桜」のような具体的なタグにたどり着くことができる。以下に、再検索キー用のタグによって指定される複数の類似画像に関するタグの集計処理について、説明する。
【０１９３】
Ｎ個の類似画像は、概念的に、図７（Ａ）中のＣ２で示される四角形領域に対応し、第１の再検索キー用のタグを用いて指定されるＰ個（Ｐ＜Ｎ）の類似画像は、概念的に、図７（Ａ）中のＤ２で示される斜線領域に対応する。Ｐ個の類似画像に関するタグの集計処理は、図２３のステップＳ６２とステップＳ６３との間で、Ｎ番目の類似画像に関連づけられたタグ群が第１の再検索キー用のタグを含むか否かを判定する。Ｎ番目の類似画像に関連づけられたタグ群が第１の再検索キー用のタグを含まない場合、ステップＳ６３を実施しないで、ステップＳ６９を実施する。即ち例えば第１の再検索キー用のタグが「花」である場合、「花」というタグを含まない類似画像は、タグの集計処理の対象から除外する。
【０１９４】
Ｎ番目の類似画像に関連づけられたタグ群が第１の再検索キー用のタグを含む場合、ステップＳ６４とステップＳ６５との間で、Ｍ番目のタグが第１の再検索キー用のタグであるか否かを判定する。Ｍ番目のタグが第１の再検索キー用のタグである場合、ステップＳ６５を実施しないで、ステップＳ６７を実施する。即ち例えば第１の再検索キー用のタグが「花」である場合、「花」というタグを除く他のタグについてだけステップＳ６５を実施する。
【０１９５】
第２の再検索キー用のタグを用いて指定され、且つ図７（Ｂ）中のＥ２で示される斜線領域に概念的に対応する複数の類似画像に関するタグの集計処理は、図２３のステップＳ６２とステップＳ６３との間で、Ｎ番目の類似画像に関連づけられたタグ群が第１の再検索キー用のタグ及び第２の再検索キー用のタグを含むか否かを判定する。また、Ｎ番目の類似画像に関連づけられたタグ群が第１の再検索キー用のタグ及び第２の再検索キー用のタグを含む場合、ステップＳ６４とステップＳ６５との間で、Ｍ番目のタグが第１の再検索キー用のタグ又は第２の再検索キー用のタグであるか否かを判定する。Ｍ番目のタグが第１の再検索キー用のタグ又は第２の再検索キー用のタグである場合、ステップＳ６５を実施しないで、ステップＳ６７を実施する。即ち例えば第１の再検索キー用のタグが「花」であり、第２の再検索キー用のタグが「桜」である場合、「花」というタグ及び「桜」というタグを除く他のタグについてだけステップＳ６５を実施する。
【０１９６】
第２の再検索キー用のタグを用いて指定され、且つ図８（Ｂ）中のＥ２’で示される斜線領域に概念的に対応する複数の類似画像に関するタグの集計処理は、図２３のステップＳ６２とステップＳ６３との間で、Ｎ番目の類似画像に関連づけられたタグ群が第２の再検索キー用のタグを含むか否かを判定する。また、Ｎ番目の類似画像に関連づけられたタグ群が第２の再検索キー用のタグを含む場合、ステップＳ６４とステップＳ６５との間で、Ｍ番目のタグが第２の再検索キー用のタグであるか否かを判定する。Ｍ番目のタグが第２の再検索キー用のタグである場合、ステップＳ６５を実施しないで、ステップＳ６７を実施する。即ち例えば第２の再検索キー用のタグが「桜」である場合、「桜」というタグを除く他のタグについてだけステップＳ６５を実施する。
【０１９７】
５．画像認識
次に画像認識手法の詳細例について説明する。類似画像の検索のための画像認識手法としては、例えば、特徴点を利用した認識手法と、画像全体の特徴を利用した認識手法などがある。
【０１９８】
５．１  特徴点を利用した認識手法
１．１  特徴点の抽出
まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１９９】
１．２  特徴量の算出
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上記の１．１で求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０２００】
足し込む差分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして上述の１．１で求めた複数の特徴点の全てについて、この特徴量を求める。
【０２０１】
１．３  画像のマッチング
登録画像と、質問画像（検索対象画像）に対して、それぞれ上述の１．１、１．２の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０２０２】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０２０３】
５．２  画像全体の特徴を利用した認識手法
２．１  特徴量の算出
まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０２０４】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０２０５】
２．２  画像のマッチング
登録画像と質問画像に対して、それぞれ上述の２．１の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０２０６】
６．変形例
次に本実施形態の種々の変形例について説明する。
【０２０７】
本実施形態では、サーバ２００により作成された類似検索結果データを、被写体を撮影した端末装置１００に伝えて、例えば図２０（Ａ）〜図２１（Ｂ）のような類似検索結果画面、ハブ画面（関連タグハブ画面を含む）を表示する場合について説明したが、本実施形態ではこれに限定されない。例えば作成された類似検索結果データ（又は再検索結果データ）を、他の外部サーバ等に送信して、様々な情報や画面の作成に利用できるようにしてもよい。
【０２０８】
例えば図２５は、類似検索結果データをブログ用のサーバに送信して、ブログ画面を作成した場合の例である。図２５のＬ１には、ユーザの撮影画像（検索対象画像）が表示される。またＬ２には、類似検索結果データに含まれるタグが表示される。即ち、撮影画像の複数の類似画像から本実施形態の手法により抽出された「花」、「桜」などのタグが表示される。また撮影画像の撮影日時や撮影者の名前等も表示される。加えて、Ｌ３には、複数のタグから連想される複数の関連タグが表示される。
【０２０９】
また図２５のＬ４では、ブログ用のサーバは、「花」というタグに基づいて、花の種の通販のリンク先のクリック画面を作成している。更にＬ５では、図２０（Ｂ）の関連タグハブ画面のリンク先を表示している。
【０２１０】
また図２５のＬ２で示される複数のタグの中の１つのタグ（再検索キー用のタグ）をブログ画面の閲覧者が選択することで、再検索結果タグが表示されるようにブログ画面を制御してもよい。同様に、再検索結果タグに対応する関連タグが表示されるようにブログ画面を制御してもよい。
【０２１１】
このように本実施形態により作成された類似検索結果データ（又は再検索結果データ）は、その画像を撮影した端末装置１００のみならず、他のシステムのサーバ等に転送して、様々な態様で利用することが可能である。またデータ作成部２１４は、類似画像やタグの情報に加えて、撮影時や送信時に関連する他の情報を付加して、類似検索結果データを作成してもよい。例えば端末１００側で検知された撮影の日時・場所、送信の日時・場所等の情報を付加するようにしてもよい。
【０２１２】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また端末装置、サーバの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０２１３】
１０  ネットワーク、１００  端末装置、１０２  処理部、１０４  画像取得部、
１０６  送信処理部、１０８  受信処理部、１１０  表示制御部、１２０  記憶部、
１２２  送信データ記憶部、１２４  類似検索結果データ記憶部、
１２６  返信データ記憶部、１２８  再検索結果データ記憶部、１３０  情報記憶媒体、
１３８  通信部、１４０  操作部、１５０  撮像部、１６０  表示部、
２００  サーバ、２０２  処理部、２０４  受信処理部、２０６  画像認識部、
２０８  認識用データ作成部、２１０  タグ処理部、２１２  タグ集計部、
２１４  データ作成部、２１８  送信処理部、２１９  記憶部、
２２０  画像データベース、２２１  送信データ記憶部、２２２  類似画像ＩＤ記憶部、
２２３  タグ処理結果データ記憶部、２２４  類似検索結果データ記憶部、
２２５  返信データ記憶部、２２６  再検索結果データ記憶部、
２３０  関連タグデータベース、２３８  通信部、２４０  操作部
【図１】
2010218247.tif 000003
【図２】
2010218247.tif 000004
【図３】
2010218247.tif 000005
【図４】
2010218247.tif 000006
【図５】
2010218247.tif 000007
【図６】
2010218247.tif 000008
【図７】
2010218247.tif 000009
【図８】
2010218247.tif 000010
【図９】
2010218247.tif 000011
【図１０】
2010218247.tif 000012
【図１１】
2010218247.tif 000013
【図１２】
2010218247.tif 000014
【図１３】
2010218247.tif 000015
【図１４】
2010218247.tif 000016
【図１５】
2010218247.tif 000017
【図１６】
2010218247.tif 000018
【図１７】
2010218247.tif 000019
【図１８】
2010218247.tif 000020
【図１９】
2010218247.tif 000021
【図２０】
2010218247.tif 000022
【図２１】
2010218247.tif 000023
【図２２】
2010218247.tif 000024
【図２３】
2010218247.tif 000025
【図２４】
2010218247.tif 000026
【図２５】
2010218247.tif 000027