(57)【要約】【課題】利便性の高い画像検索システムを実現できるサーバ、端末装置等の提供。【解決手段】サーバは、検索対象画像についての送信データをネットワーク１０を介して受信する処理を行う受信処理部２０４と、検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から検索対象画像に類似する複数の類似画像を検索する画像認識部２０６と、検索された複数の類似画像の各類似画像に関連づけられたタグを取得し、複数の類似画像から取得された複数のタグのソーティング処理を行うタグ処理部２１０と、ソーティングされた複数のタグを含む類似検索結果データを作成するデータ作成部２１４を含む。【選択図】図１
2010015286.tif 000002
【特許請求の範囲】
【請求項１】
検索対象画像の類似画像の検索処理を行うサーバであって、
前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、
前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行うタグ処理部と、
ソーティングされた前記複数のタグを含む類似検索結果データを作成するデータ作成部と、
を含むことを特徴とするサーバ。
【請求項２】
請求項１において、
前記タグ処理部は、
前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行うことを特徴とするサーバ。
【請求項３】
請求項２において、
前記タグ処理部は、
前記複数のタグを、出現数が多い順に並べ替えることを特徴とするサーバ。
【請求項４】
請求項２において、
前記タグ処理部は、
前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行うことを特徴とするサーバ。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記データ作成部は、
ソーティングされた前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成することを特徴とするサーバ。
【請求項６】
請求項５において、
前記データ作成部は、
ソーティングされた前記複数のタグの各タグに対して、前記１又は複数の類似画像の情報が類似度の高い順に関連づけられた類似検索結果データを作成することを特徴とするサーバ。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記データ作成部により作成された類似検索結果データを、前記検索対象画像を取得した端末装置に対してネットワークを介して送信する処理を行う送信処理部を含み、
前記データ作成部は、
前記複数のタグが表示される類似検索結果画面を、前記端末装置において表示するための類似検索結果データを作成することを特徴とするサーバ。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記データ作成部は、
前記検索対象画像に対する類似度が上位の類似画像のうち、前記類似検索結果データに含まれる前記複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成することを特徴とするサーバ。
【請求項９】
検索対象画像を取得する画像取得部と、
取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、
前記表示制御部は、
前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１０】
請求項９において、
前記表示制御部は、
前記複数のタグがその各タグの出現数に応じてソーティングされた前記類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１１】
請求項９又は１０において、
前記表示制御部は、
前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示される前記類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１２】
請求項９又は１０において、
前記表示制御部は、
前記複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示される画面を、前記表示部に表示する制御を行うことを特徴とする端末装置。
【請求項１３】
検索対象画像を取得する画像取得部と、
取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、
前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、
受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部として、
コンピュータを機能させ、
前記表示制御部は、
前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、前記表示部に表示する制御を行うことを特徴とするプログラム。
【請求項１４】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１３に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１５】
検索対象画像の類似画像の検索処理を行う画像検索方法であって、
前記検索対象画像についての送信データをネットワークを介して受信し、
前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、
検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行い、
ソーティングされた前記複数のタグを含む類似検索結果データを作成することを特徴とする画像検索方法。
【請求項１６】
請求項１５において、
前記検索対象画像の前記類似検索結果データをネットワークを介して受信し、
受信した前記類似検索結果データに基づいて、前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、表示部に表示する制御を行うことを特徴とする画像検索方法。
【請求項１７】
ユーザが撮影機能付きの携帯端末装置で撮影した撮影画像に基づいて、インターネットを利用した情報提示を行うための情報提示方法であって、
前記撮影画像についての送信データを、ネットワークを介して受信し、
受信した前記送信データに基づいて、前記撮影画像に類似する複数の類似画像を画像データベース上で検索し、
検索された前記複数の類似画像の各類似画像に対して、前記各類似画像を分類するためのジャンル情報として各タグが関連づけられている場合に、前記複数の類似画像から複数のタグを取得し、
取得された前記複数のタグのうちの少なくとも一部を、前記携帯端末装置の選択メニューの選択項目を分類表示するためのジャンル情報として、ネットワークを介して前記携帯端末装置に送信することを特徴とする情報提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバ、端末装置、プログラム、情報記憶媒体、画像検索方法及び情報提示方法等に関する。
【背景技術】
【０００２】
従来より、カメラで撮影した商品等を画像認識処理を利用して検索する画像検索システムが知られている。例えば特許文献１には、カメラ付きの携帯電話機により、ユーザが所望する商品を撮影し、撮った画像をインターネットを介して送信することで、その商品の購入が可能な店舗を検索するシステムが開示されている。
【０００３】
しかしながら、画像認識処理では、撮った画像から、それに対応する商品を正確に特定することは難しいという課題がある。このため特許文献１では、画像認識率の向上のために、撮影時に調整を行うなどの様々な工夫を行っている。
【０００４】
このように、これまでの画像認識処理を利用した画像検索システムでは、撮影した被写体を如何にして正確に特定するかという点に注力が注がれており、画像検索の曖昧さを逆利用するというような発想は無かった。
【０００５】
【特許文献１】特開２００３−１２２７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、利便性の高い画像検索システムを実現できるサーバ、端末装置、プログラム、情報記憶媒体、画像検索方法及び情報提示方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明は、検索対象画像の類似画像の検索処理を行うサーバであって、前記検索対象画像についての送信データをネットワークを介して受信する処理を行う受信処理部と、前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索する画像認識部と、検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行うタグ処理部と、ソーティングされた前記複数のタグを含む類似検索結果データを作成するデータ作成部とを含むサーバに関係する。
【０００８】
本発明によれば、検索対象画像についての送信データを受信すると、画像認識処理が行われて、検索対象画像に類似する複数の類似画像が検索される。そして複数の類似画像から取得された複数のタグのソーティング処理が行われて、類似検索結果データが作成される。このようにすれば、類似画像から取得された複数のタグに基づく序列にソーティングされた類似検索結果データが作成されるため、利便性の高い画像検索システムを実現できる。
【０００９】
また本発明では、前記タグ処理部は、前記複数の類似画像から取得された前記複数のタグの各タグについての出現数を集計し、集計結果に基づいて前記複数のタグのソーティング処理を行ってもよい。
【００１０】
このようにすれば、タグの出現数の集計結果に応じて複数のタグがソーティングされるようになるため、類似画像の序列を、タグの出現数に応じた序列に変換することが可能になる。
【００１１】
また本発明では、前記タグ処理部は、前記複数のタグを、出現数が多い順に並べ替えてもよい。
【００１２】
このようにすれば、出現数が多いタグほど上位にくるようなソーティング処理を実現できる。
【００１３】
また本発明では、前記タグ処理部は、前記検索対象画像に対する前記複数の類似画像の類似度に基づいて、重み付け係数を求め、求められた前記重み付け係数に基づいて、タグの集計処理を行ってもよい。
【００１４】
このようにすれば、類似度を反映させたタグの集計処理を実現できる。
【００１５】
また本発明では、前記データ作成部は、ソーティングされた前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成してもよい。
【００１６】
このようすれば、ソーティングされた各タグに対して、そのタグが付加されていた１又は複数の類似画像の情報を関連づけることが可能になり、ユーザにとって利便性の高い画像検索を実現できる。
【００１７】
また本発明では、前記データ作成部は、ソーティングされた前記複数のタグの各タグに対して、前記１又は複数の類似画像の情報が類似度の高い順に関連づけられた類似検索結果データを作成してもよい。
【００１８】
このような類似検索結果データを用いれば、例えば各タグに対して類似度が高い順に類似画像が対応づけられた類似検索結果画面等の表示が可能になる。
【００１９】
また本発明では、前記データ作成部により作成された類似検索結果データを、前記検索対象画像を取得した端末装置に対してネットワークを介して送信する処理を行う送信処理部を含み、前記データ作成部は、前記複数のタグが表示される類似検索結果画面を、前記端末装置において表示するための類似検索結果データを作成してもよい。
【００２０】
このようにすれば、検索対象画像を取得した端末装置に対して、類似検索結果データを返信することで、類似検索結果データに対応する類似検索結果画面を、端末装置において表示することが可能になる。
【００２１】
また本発明では、前記データ作成部は、前記検索対象画像に対する類似度が上位の類似画像のうち、前記類似検索結果データに含まれる前記複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成してもよい。
【００２２】
このようにすれば、類似検索結果データの中に含まれないタグが関連づけられた類似画像であって、類似度が高い類似画像が検索された場合に、その類似画像についてのデータやそのタグを、検索結果データとして送信することなどが可能になる。
【００２３】
また本発明は、検索対象画像を取得する画像取得部と、取得された前記検索対象画像についての送信データをネットワークを介してサーバに送信する処理を行う送信処理部と、前記検索対象画像の類似検索結果データをネットワークを介して受信する処理を行う受信処理部と、受信した前記類似検索結果データに基づいて、表示部の表示制御を行う表示制御部とを含み、前記表示制御部は、前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、前記表示部に表示する制御を行う端末装置に関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００２４】
本発明によれば、検索対象画像についての送信データをサーバに送信し、検索対象画像の類似検索結果データを受信すると、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされた類似検索結果画面が、表示部に表示される。このようにすれば、類似画像から取得されたタグに基づく序列にソーティングされた類似検索結果画面が表示されるため、ユーザにとって利便性の高いインターフェース環境を実現できる。
【００２５】
また本発明では、前記表示制御部は、前記複数のタグがその各タグの出現数に応じてソーティングされた前記類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００２６】
このようにすれば、複数のタグがその出現数に応じてソーティングされて表示されるため、更に利便性の高いインターフェース環境を実現できる。
【００２７】
また本発明では、前記表示制御部は、前記複数のタグの各タグに対して、前記複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示される前記類似検索結果画面を、前記表示部に表示する制御を行ってもよい。
【００２８】
このようにすれば、ソーティングされた各タグに対して、そのタグが付加されていた１又は複数の類似画像が関連づけられて表示されるようになり、タグの序列にしたがった類似画像の表示が可能になる。
【００２９】
また本発明では、前記表示制御部は、前記複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示される画面を、前記表示部に表示する制御を行ってもよい。
【００３０】
このようにすれば、類似検索結果画面においてタグに対応する類似画像を表示しなくても済むようになり、表示部の画面が小さい場合等において、効率的な表示が可能になる。
【００３１】
また本発明は、検索対象画像の類似画像の検索処理を行う画像検索方法であって、前記検索対象画像についての送信データをネットワークを介して受信し、前記検索対象画像の画像認識処理を行い、画像データベースに登録された登録画像の中から前記検索対象画像に類似する複数の類似画像を検索し、検索された前記複数の類似画像の各類似画像に関連づけられたタグを取得し、前記複数の類似画像から取得された複数のタグのソーティング処理を行い、ソーティングされた前記複数のタグを含む類似検索結果データを作成する画像検索方法に関係する。
【００３２】
また本発明では、前記検索対象画像の前記類似検索結果データをネットワークを介して受信し、受信した前記類似検索結果データに基づいて、前記検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、表示部に表示する制御を行ってもよい。
【００３３】
また本発明は、ユーザが撮影機能付きの携帯端末装置で撮影した撮影画像に基づいて、インターネットを利用した情報提示を行うための情報提示方法であって、前記撮影画像についての送信データを、ネットワークを介して受信し、受信した前記送信データに基づいて、前記撮影画像に類似する複数の類似画像を画像データベース上で検索し、検索された前記複数の類似画像の各類似画像に対して、前記各類似画像を分類するためのジャンル情報として各タグが関連づけられている場合に、前記複数の類似画像から複数のタグを取得し、取得された前記複数のタグのうちの少なくとも一部を、前記携帯端末装置の選択メニューの選択項目を分類表示するためのジャンル情報として、ネットワークを介して前記携帯端末装置に送信する情報提示方法に関係する。
【００３４】
本発明によれば、撮像画像についての送信データを受信すると、撮影画像に類似する複数の類似画像（複数の画像）が検索される。そして、検索された複数の類似画像から複数のタグが取得される。ここで、複数の類似画像の各類似画像（各画像）には、各類似画像を分類するためのジャンル情報として、各タグが関連づけられており、この各タグからなる複数のタグが取得される。そして、これらの複数のタグのうちの少なくとも一部（全部又は一部）が、ネットワーク（インターネット等）を介して携帯端末装置に送信される。そして携帯端末装置では、例えばその表示部に表示される選択メニューの選択項目（類似画像等）を分類表示すためのジャンル情報として、これらのタグが利用されるようになる。このようにすれば、類似画像から取得されたタグに基づいて、選択メニューの選択項目の分類表示等が可能になるため、ユーザにとって利便性の高いインターフェース環境を実現できる。
【発明を実施するための最良の形態】
【００３５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３６】
１．システム構成
図１に本実施形態により実現される画像検索システム、サーバ、端末装置の構成例を示す。この画像検索システムは、端末装置１００（電子機器、通信端末、携帯端末装置）と、この端末装置１００とネットワーク１０を介して通信接続されるサーバ２００を含む。なおネットワーク１０には、他の外部サーバや端末装置も通信接続することができる。
【００３７】
本実施形態では、サーバ２００は、例えば端末装置１００により取得（撮影）された検索対象画像に類似する複数の類似画像を検索する。そしてこれらの複数の類似画像の各類似画像に関連づけられたタグを用いて、画像検索システムにおけるユーザインターフェース等を実現している。
【００３８】
即ち、画像認識処理を利用した画像検索には本質的に曖昧さが伴う。本実施形態では、このような画像検索の曖昧さを逆に利用して、ユーザの嗜好・趣味・関心や、ユーザの行動や、ｅコマース等における広がりを創出している。
【００３９】
例えば図２のＡ１において、ユーザは、デジタルカメラやカメラ付き携帯電話機等の端末装置１００を用いて、ワインのラベルを撮影している。そしてインターネット等のネットワークを介して、撮影した画像をサーバ２００に送信して、画像検索を依頼する。
【００４０】
この場合に、これまでの画像検索システムでは、撮影画像に基づいて、撮影したワインを特定し、そのワインを販売する店舗等を紹介することに注力していた。従って、撮影画像から、如何にしてそのワインを正確に特定するかが技術的課題になっていた。
【００４１】
これに対して本実施形態では、画像検索の曖昧さを逆利用する。例えばＡ１で撮影した検索対象画像を端末装置１００からサーバ２００に送信して、検索対象画像に類似する複数の類似画像を検索する。そして例えばＡ２に示すように、Ａ１のワインに似ているお酒の画像が、類似画像として検索されると、その似ているお酒についての情報を、関連情報としてユーザに提示する。この場合の関連情報の提示は、例えば類似画像に関連づけられたタグを利用して実現する。更にＡ３、Ａ４に示すように、Ａ１のワインに少し似ているお酒や全く違うお酒についての関連情報も提示する。こうすることで、例えば思いもよらない味の発見などのユーザの嗜好の広がり等を創出できる。
【００４２】
また、類似検索によりＡ１と同じワインの画像が検索された場合には、関連づけられたタグ等を利用して、Ａ４に示すように、そのワインの産地やソムリエの声や生産者の声などの情報をユーザに提示する。更にＡ５に示すように、ワイングラスやおつまみなどの情報も提示し、ｅコマースの広がりを創出する。
【００４３】
また、図３のＢ１に示すようにユーザがＤＶＤ作品のパッケージを撮影した場合には、Ｂ２、Ｂ３、Ｂ４に示すように、類似画像として検索された似ている作品や他の作品についての関連情報を提示して、ユーザの趣味の広がり等を創出する。或いは、Ｂ５、Ｂ６に示すように、その作品の関連情報をユーザに提示して、ｅコマースの広がりを創出する。
【００４４】
このように、従来では画像検索による商品等の特定の方向に収束していたベクトルの方向を、本実施形態の画像検索システムでは、類似検索の曖昧さを逆利用して、情報提示の広がりの方向にベクトルを向けることで、ユーザの嗜好・趣味・関心・行動やｅコマースの広がりを実現している。
【００４５】
このような発想の画像検索を実現するために、本実施形態では図１に示すような構成のシステムを採用している。以下、本実施形態の画像検索システム、サーバ２００、端末装置１００の具体的な構成について詳細に説明する。
【００４６】
ネットワーク１０（通信網）は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。端末装置１００と通信接続するための移動通信網は、ＣＤＭＡ（Code Division Multiple Access）方式やＰＤＣ（Personal Digital Cellular）方式等の移動電話網や、ＰＤＣ−Ｐ（PDC-Packet）方式等の移動データ通信網を含むことができる。このネットワーク１０は有線・無線を問わない。
【００４７】
サーバ２００（検索サーバ、管理サーバ）は、検索対象画像の類似画像の検索処理を行うものであり、ネットワーク１０を介して端末装置１００や図示しない他の外部サーバ等に通信接続される。このサーバ２００の機能は、情報処理装置（レンタルサーバ、共有サーバ）などのハードウェアと、ＣＧＩプログラムなどのプログラムにより実現できる。
【００４８】
端末装置１００は、例えばユーザが所持するデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）、カメラ付き携帯電話機、情報処理端末などであり、検索対象画像を取得する機能や、ネットワーク１０を介してサーバ２００等と通信する機能を有する。
【００４９】
Ｗｅｂサーバであるサーバ２００は、処理部２０２、画像データベース２２０、通信部２３８、操作部２４０を含む。なお本実施形態のサーバ２００は図１の構成に限定されず、これらの一部の構成要素（例えば画像データベース）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５０】
処理部２０２は、サーバ全体の制御処理や画像検索処理やデータ作成処理などの各種の処理を行うものであり、その機能は、各種プロセッサ（ＣＰＵ等）などのハードウェアやＰＨＰ(PHP;Hypertext Preprocessor）やＰｅｒｌなどの言語により記述されたＣＧＩプログラムなどにより実現できる。
【００５１】
画像データベース２２０は、例えばＭｙＳＱＬなどで実現されるリレーショナルデータベースであり、登録画像のデータや登録画像に関連づけられたメタデータなどを記憶する。
【００５２】
通信部２３８は、ネットワーク１０を介して端末装置１００や他の外部サーバとの間で情報を通信するためのものである。操作部２４０は、サーバ２００の運営者がサーバ管理等のための各種情報を入力するためのものである。
【００５３】
処理部２０２は、受信処理部２０４、画像認識部２０６、タグ処理部２１０、データ作成部２１４、送信処理部２１８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５４】
受信処理部２０４はデータの受信処理を行う。具体的には、検索対象画像についての送信データをネットワーク１０を介して受信するための処理を行い、例えば端末装置１００からの送信データを受信する。ここで、検索対象画像についての送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データ（画像認識用データ）であってもよい。認識用データとしては、例えば検索対象画像の特徴量データ（特徴データ）や検索対象画像を指定するデータなどを想定できる。
【００５５】
画像認識部２０６は画像の認識処理を行う。具体的には、検索対象画像の画像認識処理を行い、画像データベース２２０に登録された登録画像の中から検索対象画像に類似する類似画像を検索する。例えば検索対象画像と、画像データベース２２０の各登録画像とを照合し、検索対象画像に類似する登録画像のうち、上位の所定数（Ｊ個）の登録画像を、複数の類似画像として検索（抽出）する。
【００５６】
画像認識部２０６は認識用データ作成部２０８を含むことができる。認識用データ作成部２０８は、検索対象画像のデータから、画像認識に必要な認識用データを作成する。例えば、認識用データとして、後述するような特徴量データを作成する。そして画像認識部２０６は、検索対象画像の認識用データである特徴量データと、画像データベース２２０の登録画像の認識用データである特徴量データとを比較する照合処理を行うことで、検索対象画像と登録画像が類似するか否かを判断する。なお認識用データは、他の画像を区別可能な情報であれば、その形態を制限するものではない。また、受信処理部２０４が、端末装置１００等からの送信データとして、検索対象画像データそのものではなく、特徴量データ等の認識用データを受信する場合には、認識用データ作成部２０８の構成は省略できる。
【００５７】
タグ処理部２１０はタグに関する種々の処理を行う。具体的には、画像認識部２０６により検索された複数の類似画像（登録画像）の各類似画像に関連づけられたタグ（文字情報）を取得する。そして、例えば複数の類似画像から取得された複数のタグのソーティング処理を行う。
【００５８】
即ち、画像データベース２２０には、各登録画像に対して対応するタグが関連づけられて記憶されている。このタグの関連づけは、例えばユーザが、自身の撮影画像を画像データベース２２０に登録する際に、対応するタグについても登録することで実現できる。或いは、業者やサーバの運営者が、画像の登録の際に、対応するタグを画像に関連づけて登録することで実現できる。そしてタグ処理部２１０は、画像認識部２０６が検索対象画像に類似する複数の類似画像を検索すると、これらの複数の類似画像（登録画像）に関連づけられたタグを、画像データベース２２０から取得する。
【００５９】
なお本実施形態におけるタグは、画像に関連づけられている情報であり、当該画像と共に取得可能に提供されるものである。例えば、タグは、その画像が分類される１又は複数のジャンル情報とすることができる。具体的には、例えばひまわりの花の画像に、「花」「ひまわり」「夏」「ゴッホ」などのジャンル情報を関連づける場合などである。
【００６０】
このタグによって分類された選択項目（選択肢）を例えば携帯端末装置の表示部に表示される選択メニュー等を用いてユーザに提示すれば、ユーザはその選択項目の選択によって、どのようなジャンルの情報に導かれるのかを知ることができる（図２、図３参照）。比喩で言えば、画像が「始点」であるならば、タグは方向性を示す「方向ベクトル」であると言える。
【００６１】
タグ処理部２１０は、取得されたタグの集計処理を行う。具体的にはタグ処理部２１０は、タグ集計部２１２を含み、タグ集計部２１２は、複数の類似画像から取得された複数のタグの各タグについての出現数を集計する集計処理を行う。そしてタグ処理部２１０は、集計結果に基づいて複数のタグのソーティング処理を行う。具体的には、複数のタグを、出現数が多い順に並べ替える。
【００６２】
なおタグの集計処理は、タグの出現数を単純にカウントする処理には限定されない。例えば類似画像の類似度等に基づいて重み付け係数を求め、この重み付け係数を用いてタグの集計処理を行うなどの種々の変形実施が可能である。例えば出現数が少なくても、類似画像の類似度が高い場合には、その類似画像のタグの集計値を大きくするようにしてもよい。
【００６３】
データ作成部２１４は、類似検索結果データなどの各種データの作成処理を行う。例えばタグ処理部２１０によりソーティングされた複数のタグを含む類似検索結果データを作成する。例えば、出現数が多い順に複数のタグが並び替えられたデータ構造の類似検索結果データを作成する。或いは、ソーティングされた複数のタグの各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられた類似検索結果データを作成するようにしてもよい。例えば出現数が多い順にソーティングされた複数の各タグに対して、そのタグに対応する１又は複数の類似画像の情報（類似画像のデータそのもの又は類似画像のＵＲＬ情報等）が関連づけられたデータ構造の類似検索結果データを作成する。この場合に、各タグに対して、１又は複数の類似画像が類似度の高い順に関連づけられるようにしてもよい。そして作成された類似検索結果データを端末装置１００に返信する場合には、データ作成部２１４は、複数のタグが表示される類似検索結果画面を、端末装置１００において表示するための類似検索結果データを作成することになる。
【００６４】
なおデータ作成部２１４は、検索対象画像に対する類似度が上位の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像のデータを含む検索結果データ（第２の類似検索結果データ）を作成してもよい。即ち、類似度が上位の所定数の類似画像のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像を検索し、その類似画像についてのデータを、検索結果データに含ませる。ここで類似画像についてのデータとは、類似画像のデータそのものであってもよいし、その類似画像を指定するデータであってもよい。また、類似検索結果データに含ませるデータは、類似画像についてのデータ、及びその類似画像に関連づけられたタグの少なくとも一方であればよい。
【００６５】
送信処理部２１８はデータの送信処理を行う。具体的には、類似検索結果データをネットワーク１０を介して送信するための処理を行う。この場合に、データ作成部２１４により作成された類似検索結果データ（検索結果データ）を、検索対象画像を取得した端末装置１００に対してネットワーク１０を介して送信してもよいし、この類似検索結果データを、他の外部サーバや他の端末装置に送信してもよい。
【００６６】
デジタルカメラ、携帯電話機、携帯情報端末、情報処理装置等の端末装置１００は、処理部１０２、記憶部１２０、通信部１３８、操作部１４０、撮像部１５０、表示部１６０を含む。なお本実施形態の端末装置１００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６７】
処理部１０２は、操作部１４０からの操作情報や、通信部１３８により受信した情報等に基づいて、種々の処理を行う。この処理部１０２の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、情報記憶媒体１３０に記憶されたプログラムなどにより実現できる。
【００６８】
記憶部１２０は、処理部１０２、通信部１３８などのワーク領域となるもので、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部１２０は、送信データ記憶部１２２、類似検索結果データ記憶部１２４を含む。
【００６９】
情報記憶媒体１３０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）やＩＣカード（メモリカード）などにより実現できる。処理部１０２は、情報記憶媒体１３０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１３０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００７０】
通信部１３８は、ネットワーク１０を介してサーバ２００や他の端末装置との間で情報を通信するためのものである。操作部１４０は、ユーザが端末装置１００の各種操作を行うためのものであり、例えば表示部１６０の表示画面内の選択項目を選択するためのボタンや、画像撮影のシャッターボタンなどにより実現できる。
【００７１】
撮像部１５０は、被写体を撮像（撮影）するためのものであり、例えばＣＣＤやＣＭＯＳセンサなどにより実現できる。
【００７２】
表示部１６０は各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや、有機ＥＬなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。この表示部１６０には、類似検索結果画面やハブ画面などが表示される。
【００７３】
処理部１０２は、画像取得部１０４、送信処理部１０６、受信処理部１０８、表示制御部１１０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７４】
画像取得部１０４は検索対象画像を取得する。例えば、撮像部１５０により被写体を撮像することで得られた検索対象画像（被写体画像）を取り込む。なお、検索対象画像を実際には撮像せずに、例えばメモリカードなどに保存された検索対象画像を取り込むようにしてもよい。
【００７５】
送信処理部１０６はデータの送信処理を行う。例えば画像取得部１０４により取得された検索対象画像についての送信データをネットワーク１０を介してサーバ２００に送信する処理を行う。即ち、取得された検索対象画像のデータを、サーバ２００に送信するフォーマットに変換して、送信データを作成する。そして作成された送信データをサーバ２００に送信する。この場合の送信データは、検索対象画像データそのものであってもよいし、検索対象画像の認識用データであってもよい。
【００７６】
受信処理部１０８はデータの受信処理を行う。例えば検索対象画像の類似検索結果データなどをネットワーク１０を介して受信する処理を行う。
【００７７】
表示制御部１１０は表示部１６０の表示制御を行う。例えば受信した類似検索結果データに基づいて、表示部１６０の表示制御を行う。具体的には類似検索結果画面やハブ画面や選択画面などの各種画面を表示部１６０に表示するための表示制御を行う。
【００７８】
例えば表示制御部１１０は、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される類似検索結果画面を、表示部１６０に表示する制御を行う。例えば複数のタグがその各タグの出現数に応じてソーティングされた類似検索結果画面が表示されるようにする。具体的には、複数のタグの各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像が関連づけて表示されるようにする。或いは、複数のタグの各タグをユーザが選択した場合に、選択された各タグが関連づけられた１又は複数の類似画像が表示されるようにしてもよい。
【００７９】
２．動作
次に本実施形態の動作について図４、図５、図６のフローチャートを用いて説明する。図４、図６は端末装置１００側の動作を説明するフローチャートであり、図５はサーバ２００側の動作を説明するフローチャートである。
【００８０】
図４に示すように端末装置１００は、検索対象画像を取得する（ステップＳ１）。例えば撮像部１５０で被写体を撮影した画像を、検索対象画像として取得する。そして取得された検索対象画像に基づいて送信データを作成する（ステップＳ２）。例えばサーバ用のフォーマットに変換して送信データを作成する。そして作成された送信データをサーバに送信する（ステップＳ３）。
【００８１】
図５に示すようにサーバ２００は、端末装置１００から送信データを受信する（ステップＳ１１）。そして検索対象画像を認識用データに変換する（ステップＳ１２）。例えば検索対象画像のデータを特徴量データに変換する。
【００８２】
次に、検索対象画像の認識用データと、画像データベース２２０の登録画像の認識用データとを照合し、図７に示すように検索対象画像に類似する登録画像の画像ＩＤと類似度を取得する（ステップＳ１３）。図７に示すように、取得された複数（所定数）の類似画像の画像ＩＤと類似度は、画像認識部２０６からタグ処理部２１０に送られる。
【００８３】
次に、取得された画像ＩＤを用いて、画像データベース２２０から、対応する登録画像のタグを取得し、タグの集計処理を行う（ステップＳ１４）。即ちタグ処理部２１０（タグ集計部２１２）は、画像認識部２０６から送られてきた複数の類似画像の画像ＩＤを用いて、画像データベース２２０から、これらの複数の類似画像についての複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図７に示すように、取得された複数のタグや、対応する複数の類似画像の画像ＩＤは、タグ処理部２１０からデータ作成部２１４に送られる。
【００８４】
次に、集計結果に基づいて類似検索結果データを作成する（ステップＳ１５）。即ちデータ作成部２１４は、タグ処理部２１０から送られてきた画像ＩＤを用いて、画像データベース２２０から、類似画像の情報やハブ画面情報を取得する。そして、取得された類似画像の情報やハブ画面情報と、タグ処理部２１０から送られてきたタグを用いて、類似検索結果画面やハブ画面を表示するための類似検索結果データ（後述の図９参照）を作成する。そして作成された類似検索結果データは端末装置１００に送信される（ステップＳ１６）。
【００８５】
図６に示すように端末装置１００は、サーバから類似検索結果データを受信する（ステップＳ２１）。そしてタグ及びそれに対応する類似画像が表示された類似検索結果画面（後述の図１０参照）を表示する（ステップＳ２２）。即ち複数のタグと、各タグに対して対応する１又は複数の類似画像が関連づけられた類似検索結果画面を表示する。
【００８６】
次に、ユーザが、類似検索結果画面の類似画像（アイコン）を選択したか否かを判断し（ステップＳ２３）、選択された場合には、その類似画像に対応するハブ画面（後述の図１１（Ａ）、図１１（Ｂ）参照）を表示する（ステップＳ２４）。このハブ画面により、類似画像に対応するリンク先がユーザに提示される。
【００８７】
次に、ユーザがハブ画面のリンク先を選択したか否かを判断し（ステップＳ２５）、選択された場合には、そのリンク先に対応する外部サーバに通信接続する（ステップＳ２６）。即ち端末装置１００の接続先を、リンク先のＵＲＬ（Uniform Resource Locator）に設定する。またユーザが類似検索結果画面の表示を選択したか否かを判断し（ステップＳ２７）、選択された場合にはステップＳ２２に戻り、ハブ画面から類似検索結果画面に表示を切り替えて元に戻す。
【００８８】
図８に画像データベース２２０に登録される画像データのデータ構造の例を示す。各画像ＩＤに指定される画像のデータは、認識用データ（特徴量データ）に変換されて登録されている。従って、検索対象画像の認識用データと、登録画像の認識用データとを照合することで、画像認識を実現できる。
【００８９】
また図８に示すように、各画像に対しては「花」、「桜」などのタグ（文字情報、テキストデータ）が関連づけられている。従って、検索対象画像の類似画像のタグは、画像ＩＤを指定することで画像データベース２２０から読み出すことができる。
【００９０】
また各画像（各類似画像）に対してはハブ画面情報（ハブページ用データ）が関連づけられている。これらのハブ画面情報は、各画像に対応するリンク先を提示するための情報である。即ちこのハブ画面情報には、各画像毎に異なる複数のリンク先が設定されている。例えば画像ＩＤ＝００１の画像に対しては、その画像に対応する複数のリンク先（ＵＲＬ）が設定された第１のハブ画面情報が関連づけられている。また画像ＩＤ＝００２の画像に対しては、その画像に対応する複数のリンク先が設定された第２のハブ画面情報が関連づけられている。そして図８に示すように、画像ＩＤ＝００１の画像に関連づけられた複数のリンク先と、画像ＩＤ＝００２の画像に関連づけられた複数のリンク先とは、少なくともその一部のリンク先が異なるように設定されている。
【００９１】
図９に、データ作成部２１４により作成される類似検索結果データ（返信データ）のデータ構造の例を示す。図９はＸＭＬ（Extensible Markup Language）により記述されたＸＭＬフォーマットのデータ構造の例である。
【００９２】
図９のＤ１からＤ２に示す部分が類似検索結果データになる。そしてＤ３からＤ４に示す部分が１番目のタグのブロックであり、Ｄ５からＤ６に示す部分が２番目のタグのブロックである。１番目のブロックはＤ７に示すように「花」のタグのブロックであり、２番目のブロックはＤ８に示すように「服」のタグのブロックであり、
Ｄ７の「花」のタグに続いて、「花」のタグについての複数のアイテムがリスト化されて並んでいる。例えばＤ９からＤ１０に示すアイテムは、Ｄ１１に示すように「花」のタグが関連づけられた類似画像のＵＲＬ情報（広義には類似画像の情報）や、Ｄ１２に示すようにこの類似画像についてのリンク先を提示するためのハブ画面のＵＲＬ情報（広義にはハブ画面情報）を含んでいる。即ち、Ｄ１１は類似画像の格納先を示すＵＲＬ情報であり、Ｄ１２はハブ画面の格納先を示すＵＲＬ情報である。同様にＤ１３からＤ１４に示すアイテムも、「花」のタグが関連づけられた類似画像のＵＲＬ情報や、その類似画像に対応するハブ画面のＵＲＬ情報を含んでいる。
【００９３】
また、Ｄ８の「服」のタグに続いて、「服」のタグについての複数のアイテムがリスト化されて並んでいる。これらの各アイテムは、「花」のタグの場合と同様に、「服」のタグが関連づけられた類似画像のＵＲＬ情報や、その類似画像に対応するハブ画面のＵＲＬ情報を含んでいる。
【００９４】
図１０に端末装置１００の表示部１６０に表示される類似検索結果画面の一例を示す。図１０のＥ１は、端末装置１００で撮影された検索対象画像であり、サーバ２００は、この検索対象画像についての送信データを端末１００から受信する。そしてサーバ２００は、このＥ１の検索対象画像の画像認識を行い、複数の類似画像を検索する。
【００９５】
図８に示すように、画像データベース２２０に登録される各類似画像にはタグが関連づけられており、サーバ２００は、これらの複数の類似画像に関連づけられた複数のタグを取得し、後に詳述するようなタグの集計処理を行う。そして図９に示すような類似検索結果データを作成して、端末装置１００に送信する。
【００９６】
端末装置１００は、図９の類似検索結果データを受信して、図１０に示すような類似検索結果画面を表示する。この場合に、サーバ２００での集計処理において最も出現数が多かった「花」というタグ（文字情報）を、図８のＥ２に示すように類似検索結果画面の最も上位の位置に表示する。また次に出現数が多かった「服」というタグを、Ｅ３に示すように「花」の下位の位置に表示する。またＥ４、Ｅ５に示すように、画像データベース２２０において「花」というタグが関連づけられていた類似画像を、「花」のタグの横にアイコン（アイテム）として表示する。具体的には、これらの複数の類似画像は、検索対象画像に対する類似度が高い順に表示される。なお、類似度が高い上位の類似画像を表示するのではなくて、検索結果からランダムにピックアップされた類似画像を表示してもよい。
【００９７】
同様にＥ６、Ｅ７に示すように、画像データベース２２０において「服」というタグが関連づけられていた類似画像を、「服」のタグの横にアイコンとして表示する。これらの複数の類似画像も検索対象画像に対する類似度が高い順に表示される。
【００９８】
そしてユーザが例えば図１０のＥ４の類似画像を選択（クリック）すると、図１１（Ａ）に示すようなハブ画面が表示される。このハブ画面は、複数のリンク先に飛ぶための中心になる画面であり、図１１（Ａ）のハブ画面では、Ｆ１に示すように、選択された類似画像が表示されると共に、Ｆ２に示すように、この類似画像に対応する複数のリンク先が表示される。例えばユーザがこれらの複数のリンク先のいずれかを選択（クリック）すると、そのリンク先である外部サーバに通信接続され、各種の情報がユーザに提供される。例えば図１１（Ａ）のＦ２において、「桜を見に行くなら」というリンク先をクリックすると、例えば桜の花見についての各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。
【００９９】
またユーザが図１０のＥ６に示す類似画像を選択すると、例えば図１１（Ｂ）に示すようなハブ画面が表示される。図１１（Ｂ）のハブ画面では、Ｆ３に示すように、選択された類似画像が表示されると共に、Ｆ４に示すように、この類似画像に対応する複数のリンク先が表示される。例えば図１１（Ｂ）のＦ４において、「花柄の服を買うなら」というリンク先をクリックすると、例えば花柄の服を取り揃えている店舗情報などの各種情報が提示されるサイトに移行して、そのサイトの情報が端末装置１００に表示される。
【０１００】
以上のように本実施形態では、サーバ２００において作成される図９の類似検索結果データは、Ｄ７、Ｄ８に示すように、類似画像から取得された「花」、「服」などの複数のタグを含んでいる。そして、これらの複数のタグは、例えばその出現数に応じてソーティングされる。これにより、図１０の端末装置１００側の類似検索結果画面では、検索対象画像に類似する複数の類似画像から取得された複数のタグがソーティングされて表示される。具体的にはＥ２、Ｅ３に示すように、出現数の高い順に「花」、「服」等のタグが表示される。なお出現数とは異なる序列でタグを表示してもよい。
【０１０１】
また、図９の類似検索結果データでは、各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像の情報が関連づけられている。例えばＤ１１に示すように、「花」のタグに対しては、そのタグに対応する類似画像が格納されているＵＲＬの情報が関連づけられている。またこれらの複数の類似画像の情報は、類似度の高い順に関連づけられる。
【０１０２】
これにより、図１０の端末装置１００側の類似検索結果画面では、各タグに対して、複数の類似画像のうちの対応する１又は複数の類似画像（アイコン画像）が関連づけて表示される。例えばＥ２に示す「花」のタグに対しては、Ｅ４、Ｅ５に示すように、その「花」のタグに対応する複数の類似画像が関連づけて表示される。またＥ３に示す「服」のタグに対しては、Ｅ６、Ｅ７に示すように、その「服」のタグに対応する複数の類似画像が関連づけて表示される。この場合にこれらの複数の類似画像は例えば類似度の高い順に表示される。
【０１０３】
このように本実施形態では、ユーザが撮影機能付きの携帯端末装置（撮像部１５０を有する端末装置１００）で撮影した撮影画像（検索対象画像）に基づいて、インターネットを利用した情報提示が実現される。具体的には本実施形態では、撮影画像についての送信データが、インターネット等のネットワーク１０を介して受信される。そして受信した送信データに基づいて、撮影画像（検索対象画像）に類似する複数の類似画像（複数の画像）が、画像データベース２２０上で検索される。ここで、検索された複数の類似画像の各類似画像に対しては、各類似画像を分類するためのジャンル情報として各タグが関連づけられており、これらの複数の類似画像から複数のタグを取得される。そして図１０（Ａ）に示すように、取得された複数のタグのうちの少なくとも一部（Ｅ２、Ｅ３の「花」、「服」）が、携帯端末装置の選択メニューの選択項目（Ｅ４、Ｅ５、Ｅ６、Ｅ７の類似画像のアイコン）を分類表示するためのジャンル情報として、ネットワークを介して携帯端末装置に送信されることになる。
【０１０４】
また図９の類似検索結果データでは、各類似画像に対して、各類似画像に対応する複数のリンク先を提示するためのハブ画面情報が関連づけられている。具体的には、第１の類似画像には、第１の類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報が関連づけられ、第２の類似画像に対しては、第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報が関連づけられる。例えば図９のＤ１１の第１の類似画像には、Ｄ１２に示すようにその類似画像に対応する複数のリンク先を提示するための第１のハブ画面情報（ＵＲＬ情報）が関連づけられている。同様に、図示しない第２の類似画像には、その第２の類似画像に対応する複数のリンク先を提示するための第２のハブ画面情報（ＵＲＬ情報）が関連づけられている。
【０１０５】
これにより端末装置１００側では、図１１（Ａ）、図１１（Ｂ）に示すようなハブ画面が表示される。例えばユーザが図１０の類似検索結果画面において、Ｅ４に示す類似画像（第１の類似画像）を選択すると、図１１（Ａ）のＦ２に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第１のハブ画面）が表示される。またユーザが図１０の類似検索結果画面において、Ｅ６に示す類似画像（第２の類似画像）を選択すると、図１１（Ｂ）のＦ４に示すように、この類似画像に対応する複数のリンク先が提示されるハブ画面（第２のハブ画面）が表示される。
【０１０６】
以上のように本実施形態では、撮影された検索対象画像をキーとした類似画像の検索結果は、図９の類似検索結果のデータ構造に示すように、検索された類似画像の情報が、各クラスを表現するＤ７、Ｄ８に示すタグでグループ化される。例えば図１０のＥ２、Ｅ３における「花」、「服」と表示されている部分がクラスを表現するタグに相当する。また、Ｅ４〜Ｅ７に示すアイコン部分は、その左側に表示されているクラスに属する類似画像の検索結果のうちの類似度が高い画像を表している。このように本実施形態では、類似度で序列されていた類似画像が、タグの序列に変換されて表示される。また各類似画像が選択されると、各類似画像毎に異なるリンク先が表示されるハブ画面が表示される。なお、類似度の値そのものが、端末装置１００に返送されるデータ内の各検索結果に対応する情報として含まれていてもよい。また、表示は類似度が高い上位画像を表示するのではなく、タグに含まれる検索結果からランダムにピックアップしたものを含めてもよい。
【０１０７】
ユーザは図１０の類似検索結果画面のタグ、もしくは類似画像のアイコンを選択することができる。タグを選択した場合、そのグループに含まれる個々の検索結果を全て表示することができる。また、アイコンを選択した場合には、図１１（Ａ）、図１１（Ｂ）に示すハブ画面が表示される。なお、グループを階層化しておくことにより、タグを選択したときに、そのタグに含まれるタグと、個々の検索結果を表示してもよい。例えば「花」というタグを選択した時に、その「花」のタグのグループに含まれる「桜」とか「菊」とか「春」というようなタグを表示してもよい。
【０１０８】
本実施形態のような表示にすることによって、グループとしての識別のしやすさと、最終的な検索結果の識別のしやすさとを、デジタルカメラ等の端末装置１００に搭載される比較的小さな表示部１６０上でも提供することができ、ユーザは、関心のある検索結果を素早く見つけ出すことが可能になる。
【０１０９】
例えば本実施形態の第１の比較例として、被写体が「花」である場合に、まず、ユーザが端末装置１００の画面上で「花」の項目を選択し、その後、花を撮影して、画像検索を実行する手法が考えられる。
【０１１０】
しかしながら、この第１の比較例の手法では、被写体を「今」撮影しなれば逃してしまうような状況の場合に、被写体を撮影し損ねて、結局、被写体についての情報を得ることができなくなってしまうおそれがある。
【０１１１】
この点、本実施形態の手法では、まず被写体を撮影し、その撮影画像から複数の類似画像を検索する手法を採用しているため、被写体を撮影し損ねて、その情報を得ることができないという事態を防止できる。また、被写体を撮影する前に、「花」というような項目を選択する作業が不要になり、ユーザは、簡便な操作で、その被写体に関する情報を得ることができる。もちろん、情報の絞り込みを容易化するために、ユーザが所望するジャンル、タイトルを選択した後に、被写体を撮影し、本実施形態の手法による画像検索を実行する手法を採用することも可能である。
【０１１２】
また本実施形態の第２の比較例として、被写体の撮影画像の類似画像を、タグを表示することなく端末装置１００の画面に類似度順に表示する手法も考えられる。
【０１１３】
しかしながら、この第２の比較例の手法では、ユーザは、タグなどの手がかりがない中で、画像の見た目だけで判断して、自身が情報を得ようとしている画像を選択しなければならない。このため、ユーザの選択操作が煩雑で困難になるおそれがある。特に端末装置１００の画面が小さい場合には、表示できる類似画像の数が制限されるため、第２の比較例の手法は画像検索として効率的ではない。
【０１１４】
この点、本実施形態の手法によれば、図１０のＥ２、Ｅ３に示すように「花」、「服」などのタグが表示されるため、ユーザは、このタグを手がかりとして、自身が情報を得ようとしている画像を選択して、その情報を得ることができる。従って、ユーザの選択作業を簡便且つ容易なものにすることができる。
【０１１５】
また例えばユーザが撮影した被写体が花柄の服であった場合に、ユーザが「花」の情報を得ようとして撮影したのか、「服」の情報を得ようとして撮影したのかを、システム側が自動的に認識することは難しい。このため、上述の第２の比較例の手法では、ユーザは、自身が所望する情報を効率的に得ることができない。
【０１１６】
この点、本実施形態の手法によれば、ユーザが「花」の情報を得ようとして撮影した場合には、図１０のＥ４、Ｅ５のアイコンの選択操作等を行うことで、その情報を得ることができ、ユーザが「服」の情報を得ようとして撮影した場合には、図１０のＥ６、Ｅ７のアイコンの選択操作等を行うことで、その情報を得ることができる。従って、ユーザは、自身が所望する情報を、簡素な操作で効率的に得ることができる。
【０１１７】
また図１１（Ａ）、図１１（Ｂ）のハブ画面では、図１０の画面で選択された類似画像（アイコン、アイテム）に関して複数の情報を提示している。例えば、選択された類似画像が「花」の画像であった場合には、「その花の品種についての辞典的情報」「その花を取り扱っている店舗情報やそれら店舗の口コミ情報」「その花に関連する口コミ情報」「その花を見ることができるフラワー園の情報や、そこへのナビ情報」など、複数の異なる種類の情報やそれら情報へ繋がるリンクを提示する。
【０１１８】
例えば本実施形態の第３の比較例として、ユーザが所望する情報が、辞典的な情報であれば百科事典のサイト上で検索し、口コミ情報であれば口コミ情報をまとめているサイト上で検索し、購入する商品の情報であればｅコマースのサイト上で検索するという手法が考えられる。即ち、ユーザが所望する情報を取得できる可能性が高いサイト等を選択した後に、そのサイト等でその情報を検索するという手法である。
【０１１９】
しかしながら、この第３の比較例の手法は、テキスト検索には向いているが、まず被写体の画像を撮影し、撮影画像から情報を検索するという画像検索には不向きである。
【０１２０】
この点、本実施形態の手法では、まず、ユーザは図１０に示すような検索結果画面で類似画像を選択して、情報取得の対象を特定した後に、図１１（Ａ）、図１１（Ｂ）に示すように複数の異なる種類の情報のリンク先を、選択肢としてユーザに提示している。従って、画像検索に最適な情報提示が可能になる。またテキスト検索のように、関連する情報が単なるリスト形式で表示されるよりも、ユーザの興味や行動を想定した種別のハブ画面情報となっている本実施形態の手法は、ユーザにとって利便性が高い。特に、本実施形態が想定している撮影画像からの画像検索という方式では、被写体を「今」捉えなければ、望む写真を撮れないことが多々あり、テキスト検索のように、後からテキストを入力することは難しい。従って、最初に被写体から情報取得の対象を特定し、次に複数の異なる種類の情報を提示する本実施形態の手法は、撮影画像から検索するシステムにとっては、非常に効果が大きい。
【０１２１】
また本実施形態の第４の比較例として、図１０で「花」が選択された場合も、「服」が選択された場合にも、同じテーマのリンク先が表示されたハブ画面を表示する手法が考えられる。例えば、その「花」や「服」を購入できる店舗のリンク先、通販のリンク先、地図情報のリンク先、詳細情報のリンク先というように、「花」が選択された場合も、「服」が選択された場合にも、同じフォーマットのハブ画面を表示する。
【０１２２】
しかしながら、この第４の比較例の手法は、撮影画像から商品を一意に特定することを目的にするシステムには向いているが、図２、図３で説明したような画像検索の曖昧さを利用して、ユーザの嗜好・趣味等に広がりを持たせることを目的とするシステムには向いていない。
【０１２３】
この点、本実施形態の手法によれば、ユーザが選択した類似画像（アイコン、アイテム）に応じて、図１１（Ａ）、図１１（Ｂ）に示すように、異なるテーマ・種別のリンク先が表示されたハブ画面が表示される。例えば、選択された類似画像が「桜」である場合には、図１１（Ａ）に示すように、桜の花見の場所のリンク先や、桜に関連するヒットソングのリンク先や、桜の辞書のサイトのリンク先が表示されたハブ画面を表示する。一方、選択された類似画像が「花柄の服」である場合には、図１１（Ｂ）に示すように、花柄の服の購入店舗のリンク先や、花柄の服が好きな有名人についてのリンク先や、花柄の服のブランドのリンク先が表示されたハブ画面を表示する。このようにすれば、ハブ画面に様々な設定パターンのリンク先を表示することで、画像検索の曖昧さを逆利用して、図２のＡ１〜Ａ４に示すようにユーザの嗜好の広がりを実現したり、図２のＢ１〜Ｂ４に示すようにユーザの趣味の広がりを実現することが可能になる。
【０１２４】
なお、類似検索結果データのデータ構造や、類似検索結果画面やハブ画面の表示態様は、図９〜図１１（Ｂ）で説明したものに限定されず、種々の変形実施が可能である。
【０１２５】
例えば図１２に、類似検索結果データの他のデータ構造例を示す。図１２のＧ１、Ｇ２に「花」、「服」のタグの文字情報が設定され、Ｇ３、Ｇ５に図１１（Ａ）のＦ２に示すハブ画面のタイトルの文字情報が設定されている。またＧ４にはＧ３のタイトルを選択した時のリンク先が設定され、Ｇ６にはＧ５のタイトルを選択した時のリンク先が設定される。即ち図９のデータ構造例では、ハブ画面のＵＲＬ情報が設定され、そのＵＲＬに端末装置１００がアクセスすることで、図１１（Ａ）、図１１（Ｂ）に示すようなハブ画面が表示される。これに対して図１２では、このハブ画面を構成する文字情報や画面構成等を、データ作成部２１４において作成して、端末装置１００に送信している。このように、類似検索結果データのデータ構造としては、画像検索のシステム構成や仕様に応じて、様々な態様のものを採用できる。
【０１２６】
図１３（Ａ）は類似検索結果画面の他の例である。図１３（Ａ）では、Ｈ１に示す検索対象画像の複数の類似画像から取得された複数のタグが、Ｈ２に示すように表示される。そして、表示されたタグをユーザが選択すると、図１３（Ｂ）のＨ３、Ｈ４に示すように、選択されたタグが関連づけられた１又は複数の類似画像が表示される。例えば図１３（Ａ）では「花」のタグが選択されたため、図１３（Ｂ）では、「花」のタグが関連づけられていた複数の類似画像が表示される。
【０１２７】
例えば図１０では、Ｅ４〜Ｅ７に示すように各タグに対してそれに対応する類似画像が表示されていたが、図１３（Ａ）では、類似画像は表示されずに、タグだけが表示される。そして、ユーザが、これらのタグから所望のタグを選択することで、それに対応する類似画像が表示されるようになる。こうすることで、図１３（Ａ）の結果画面において、図１０に比べて、より多くのタグを表示できるようになる。なおタグが階層構造になっている場合には、図１３（Ａ）において、タグの階層構造が認識できるような表示にしてもよい。
【０１２８】
以上のように類似画像検索結果画面としては、種々の表示態様のものを採用できる。ハブ画面の表示態様についても同様である。
【０１２９】
３．集計処理
次にタグの集計処理の詳細例について図１４のフローチャートを用いて説明する。
【０１３０】
まずＮ＝１に設定する（ステップＳ３１）。そして画像認識により得られたＮ番目の類似画像に関連づけられたタグ群を取得する（ステップＳ３２）。具体的には図８の画像データベース２２０においてＮ番目の類似画像の画像ＩＤを指定して、その類似画像に関連づけられたタグ群を取得する。例えば図１５（Ａ）において、類似画像Ｉ１の画像ＩＤが指定されると、「花」、「桜」からなるタグ群が取得される。この場合に１つの画像ＩＤに対しては例えば１個以上のタグが対応づけられており、重複したタグが対応づけられることはないようになっている。
【０１３１】
次に、Ｍ＝１に設定する（ステップＳ３３）。そして、Ｎ番目の類似画像に関連づけられたタグ群のうちのＭ番目のタグを取得する（ステップＳ３４）。そして取得したタグについての出現数のカウント値をインクリメントする（ステップＳ３５）。例えば図１５（Ａ）において、「花」、「桜」からなるタグ群から「花」のタグを取得すると、「花」のタグの出現数のカウント値を１だけインクリメントする。
【０１３２】
なお、単に数値をカウントアップするのではなく、例えばタグが取得された場合に、そのタグに対応する配列に対して画像ＩＤを追加し、配列の要素数をカウント値として利用するようにしてもよい。
【０１３３】
また類似画像の類似度に基づき求められた重み付け係数により、タグの集計処理を行う場合には、ステップＳ３２のＮ番目の類似画像の類似度を、例えば画像認識部２０６から取得する。そして、取得された類似度に基づいて、類似度に対応する重み付け係数を、所定演算を行ったり、類似度を入力とし重み付け係数を出力とする変換テーブルを用いて求める。例えば類似度が高ければ高いほど、その値が大きくなる重み付け係数を求める。そしてステップＳ３５において、求められた重み付け係数をタグの出現数に乗算するなどの演算処理を行って、カウント値をインクリメントすればよい。このようにすれば、類似画像の類似度が反映されたタグの集計処理を実現できる。
【０１３４】
次に、タグ群の全てのタグについての集計が終了したか否かを判断し（ステップＳ３６）、終了していない場合にはＭを１だけインクリメントして（ステップＳ３７）、ステップＳ３４に戻り、次のタグを取得する。例えば「花」の次の「服」のタグを取得する。
【０１３５】
タグ群の全てのタグについての集計が終了すると、検索された全ての類似画像（類似度が上位の所定数の類似画像）についてのタグ群の取得が完了したか否かを判断し（ステップＳ３８）、完了していない場合にはＮを１だけインクリメントし（ステップＳ３９）、ステップＳ３２に戻る。一方、完了した場合には、各タグの出現数に基づいてソーティング処理を実行する（ステップＳ４０）。
【０１３６】
例えば図１５（Ｂ）では、「花」、「服」、「桜」の出現数のカウント値が、各々、５、４、３になっている。従って、「花」が一番上位になり、その次に「服」、「桜」となるようにタグの並び替えが行われる。従って、図１０のＥ２、Ｅ３に示すようなタグ表示が可能になる。これにより、画像認識により画像の類似度によって順序づけられた画像の序列を、タグの出現数によって順序づけられたタグの序列へと変換できる。
【０１３７】
例えば、ユーザが、目の前の「花」の名前を知るために、その「花」を撮影して、撮影画像をサーバ２００に送信したとする。この時に、画像検索の結果として例えば上位の２０個の類似画像において、その「花」そのものの画像ではなく、その「花」に似た模様をあしらったハンカチやその花を手にした人物の画像などが、上位に来る場合がある。
【０１３８】
そして、「花」の名前を知りたいユーザに対して、画像の序列を表した類似検索結果画面を表示する場合に、「花」の画像そのものではなく、上述のような花の模様のハンカチや花を手にした人物の画像が上位に来てしまうと、ユーザが、所望の「花」の画像に辿り着くまでに時間がかかり、多くの期待しない画像にアクセスすることになってしまう。
【０１３９】
一方、このような場合にも、上位２０個の類似画像のうちの多くの画像は、「花」というタグが関連づけられた画像であることが、一般に期待される。従って、タグの出現数を用いてタグをソーティングすることで、ユーザは、より少ない手間で所望の画像（及びその情報）にアクセスすることが可能になる。
【０１４０】
４．画像認識
次に画像認識手法の詳細例について説明する。類似画像の検索のための画像認識手法としては、例えば、特徴点を利用した認識手法と、画像全体の特徴を利用した認識手法などがある。
【０１４１】
４．１  特徴点を利用した認識手法
１．１  特徴点の抽出
まず、原画像に対して段階的にブラー処理を行って、ブラー画像を作成する。そしてブラー画像間の差分を取り、差分画像を作成し、差分画像の中で、その値が極値となる座標（周囲よりも値が大きい又は小さくなる座標）にある画素を特徴点とする。通常、１枚の画像から複数の特徴点が抽出される。
【０１４２】
１．２  特徴量の算出
各特徴点の特徴量は１２８次元のベクトルで表現され、これを特徴ベクトルと呼ぶ。この特徴ベクトルは、上記の１．１で求められた特徴点を中心とした一定の範囲（以下、ピックアップ範囲と呼ぶ）におけるブラー画像の微分値を、対応する次元に足し込むことで求められる。
【０１４３】
足し込む差分値は、特徴点に近いほど値が大きくなるように重み付けをする。足し込む次元のインデックスは、ピックアップ範囲の各画素の座標（以下、ピックアップ座標と呼ぶ）を、４×４に丸めた座標と、ピックアップ座標の微分方位を８方向に丸めた方位から求める。そして上述の１．１で求めた複数の特徴点の全てについて、この特徴量を求める。
【０１４４】
１．３  画像のマッチング
登録画像と、質問画像（検索対象画像）に対して、それぞれ上述の１．１、１．２の処理を行って、特徴点を抽出すると共に特徴量を抽出する。そして質問画像から抽出された特徴点の特徴量に最も近い特徴量を、登録画像の中から検索する。ここで、特徴量の近さは、特徴ベクトルの距離によって表現される。
【０１４５】
このように、検索対象画像から抽出された特徴点に対応する登録画像の特徴点を求め、対応する特徴点を最も多く有する登録画像を、正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、対応する特徴点を多く有する画像から順に上位Ｊ個（Ｊは２以上の整数）の画像を、正解画像（類似画像）として返送する。
【０１４６】
４．２  画像全体の特徴を利用した認識手法
２．１  特徴量の算出
まず画像全体をグレースケール化し、輝度画像に変換する。この輝度画像を１６×１６の画素に縮小し、例えば２５６次元のベクトルにしたものを構図特徴とする。
【０１４７】
画素全体の色相を例えば１０区間に分け、そのヒストグラムを画像全体の色特徴とし、１０次元のベクトルとして表現する。また画像全体を５１２色に分け、そのうち占有面積の上位３０色を代表色の色特徴とする。
【０１４８】
２．２  画像のマッチング
登録画像と質問画像に対して、それぞれ上述の２．１の処理を行い、特徴量を算出する。そして質問画像に最も近い特徴を持つ登録画像を正解画像（類似画像）として返答する。複数の画像を正解画像として返答する場合には、質問画像に近い画像から順に上位Ｊ個の画像を返送する。特徴の近さは、各特徴ベクトルの距離によって表現される。また構図特徴と色特徴のどちらを重視するかにより、重み付けを変更する。
【０１４９】
５．変形例
次に本実施形態の種々の変形例について説明する。
【０１５０】
例えば図１５（Ａ）、図１５（Ｂ）では出現数に応じてタグをソーティングしている。しかしながら、この手法では、登録画像に付与されたタグが具体的すぎる場合などに、類似度が高いにも関わらず、そのタグやその画像が類似検索結果データに含まれなくなってしまうおそれがある。
【０１５１】
例えば、ユーザが被写体である「ソメイヨシノ」を撮影し、サーバ２００に送信し、図１５（Ａ）に示すような類似画像Ｉ１、Ｉ２、Ｉ３・・・が検索されたとする。この場合に、「ソメイヨシノ」のタグが付与された画像Ｉ２は上位に位置し、このように上位に位置する画像Ｉ２は、ユーザが撮影した被写体そのものである可能性が高く、ユーザに返す価値がある情報である。
【０１５２】
ところが、画像Ｉ２には「ソメイヨシノ」のタグは付与されているものの、「花」、「桜」などのタグは付与されていない。従って、図１５（Ｂ）のようにタグの出現数に応じてソーティング処理を行った場合に、「ソメイヨシノ」のタグは上位には来ないため、「ソメイヨシノ」のタグや画像Ｉ２は、類似検索結果データとしてユーザには返信されなくなってしまう。
【０１５３】
そこで図１６（Ａ）では、このようなタグが付与された画像を検索し、その画像についてのデータやそのタグをユーザに返信している。具体的には、検索対象画像に対する類似度が上位の類似画像（上位の所定数の類似画像）のうち、類似検索結果データに含まれる複数のタグのいずれもが関連づけられていない類似画像についてのデータ、及び当該類似画像に関連づけられたタグの少なくとも一方を含む検索結果データを作成して、ユーザの端末装置１００に返信する。
【０１５４】
例えば上位１００個（上位Ｊ個）の類似画像のタグについての集計処理を行ったとする。この場合には、それよりも少ない上位１０個（上位Ｋ個。Ｋ、ＪはＫ＜Ｊとなる自然数）の類似画像のうち、類似検索結果データに含まれる「花」、「桜」等のタグが関連づけられていない類似画像を検索する。例えば図１６（Ａ）では、類似度が上位から２番目の画像Ｉ２が検索される。この画像Ｉ２には、「ソメイヨシノ」のタグは付与されているが、図９の類似検索画データに含まれる出現数が上位のタグである「花」、「桜」等は付与されていない。
【０１５５】
そこで、この画像Ｉ２についてのデータや、「ソメイヨシノ」のタグを含む検索結果データを作成して返信する。ここで画像Ｉ２についてのデータとは、画像Ｉ２のデータそのものや、画像Ｉ２を指定（特定）するデータなどである。また検索結果データは、類似検索結果データに付加して端末装置１００に返信してもよいし、類似検索結果データとは別のデータとして返信してもよい。
【０１５６】
「ソメイヨシノ」のように具体的なタグが付与され、且つ、類似度が高い画像Ｉ２は、ユーザが撮影した被写体そのものの画像である可能性が高く、ユーザがその情報を求めている画像である可能性が高い。従って、このような画像Ｉ２のデータや「ソメイヨシノ」のタグを含む検索結果データをユーザに返信することで、ユーザが所望する情報を漏れなくユーザに返信することが可能になる。
【０１５７】
また本実施形態では、サーバ２００により作成された類似検索結果データを、被写体を撮影した端末装置１００に返信して、図１０〜図１１（Ｂ）のような類似検索結果画面、ハブ画面を表示する場合について説明したが、本実施形態ではこれに限定されない。例えば作成された類似検索結果データを、他の外部サーバ等に送信して、様々な情報や画面の作成に利用できるようにしてもよい。
【０１５８】
例えば図１６（Ｂ）は、類似検索結果データをブログ用のサーバに送信して、ブログ画面を作成した場合の例である。図１６（Ｂ）のＪ１には、ユーザの撮影画像（検索対象画像）が表示される。またＪ２には、類似検索結果データに含まれるタグが、撮影画像の関連用語として表示される。即ち、撮影画像の複数の類似画像から本実施形態の手法により抽出された「花」、「桜」などのタグが表示される。また撮影画像の撮影日時や撮影者の名前等も表示される。
【０１５９】
また図１６（Ｂ）のＪ３では、ブログ用のサーバは、類似検索結果データに含まれる「桜」というタグに基づいて、「桜と来たら団子」というようなタイトルや団子屋のリンク先などを作成して表示する。またＪ４では、ブログ用のサーバは、「花」というタグに基づいて、花の種の通販のリンク先のクリック画面を作成している。更にＪ５では、図１１（Ａ）のハブ画面のリンク先を表示している。
【０１６０】
このように本実施形態により作成された類似検索結果データは、その画像を撮影した端末装置１００のみならず、他のシステムのサーバ等に転送して、様々な態様で利用することが可能である。またデータ作成部２１４は、類似画像やタグの情報に加えて、撮影時や送信時に関連する他の情報を付加して、類似検索結果データを作成してもよい。例えば端末１００側で検知された撮影の日時・場所、送信の日時・場所等の情報を付加するようにしてもよい。
【０１６１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また端末装置、サーバの構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【図面の簡単な説明】
【０１６２】
【図１】本実施形態により実現される画像検索システム、端末装置、サーバの構成例。
【図２】画像検索の曖昧さを逆利用する手法の説明図。
【図３】画像検索の曖昧さを逆利用する手法の説明図。
【図４】本実施形態の動作を説明するためのフローチャート。
【図５】本実施形態の動作を説明するためのフローチャート。
【図６】本実施形態の動作を説明するためのフローチャート。
【図７】本実施形態の動作を説明するための図。
【図８】画像データベースのデータ構造の例。
【図９】類似検索結果データのデータ構造の例。
【図１０】類似検索結果画面の例。
【図１１】図１１（Ａ）、図１１（Ｂ）はハブ画面の例。
【図１２】類似検索結果データのデータ構造の他の例。
【図１３】図１３（Ａ）、図１３（Ｂ）は類似検索結果画面の他の例。
【図１４】タグの集計処理を説明するためのフローチャート。
【図１５】図１５（Ａ）、図１５（Ｂ）はタグの集計処理を説明するための図。
【図１６】図１６（Ａ）、図１６（Ｂ）は本実施形態の変形例を説明するための図。
【符号の説明】
【０１６３】
１０  ネットワーク、１００  端末装置、１０２  処理部、１０４  画像取得部、
１０６  送信処理部、１０８  受信処理部、１１０  表示制御部、１２０  記憶部、
１２２  送信データ記憶部、１２４  類似検索結果データ記憶部、
１３０  情報記憶媒体、１３８  通信部、１４０  操作部、１５０  撮像部、
１６０  表示部、２００  サーバ、２０２  処理部、２０４  受信処理部、
２０６  画像認識部、２０８  認識用データ作成部、２１０  タグ処理部、
２１２  タグ集計部、２１４  データ作成部、２１８  送信処理部、
２２０  画像データベース、２３８  通信部、２４０  操作部
【図１】
2010015286.tif 000003
【図２】
2010015286.tif 000004
【図３】
2010015286.tif 000005
【図４】
2010015286.tif 000006
【図５】
2010015286.tif 000007
【図６】
2010015286.tif 000008
【図７】
2010015286.tif 000009
【図８】
2010015286.tif 000010
【図９】
2010015286.tif 000011
【図１０】
2010015286.tif 000012
【図１１】
2010015286.tif 000013
【図１２】
2010015286.tif 000014
【図１３】
2010015286.tif 000015
【図１４】
2010015286.tif 000016
【図１５】
2010015286.tif 000017
【図１６】
2010015286.tif 000018