(57)【要約】【課題】所望の情報を言語化することが難しい場合であっても、所望の情報を容易に検索することができるようにする。【解決手段】特徴量抽出部３２は、通信部３１が受信したクエリ画像の特徴量を抽出し、その結果得られるムードベクトルを類似度計算部３３に供給する。類似度計算部３３は、クエリ画像と、特徴量DB１１に記憶されている登録画像それぞれとの類似度を計算し、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部３４に供給する。提示アイテム決定部３４は、類似度計算部３３から供給された情報が表すN枚の登録画像と紐付けられているアイテムを、画像アイテム対応DB１２から取得する。そして、提示アイテム決定部３４は、アイテムの頻度をスコアとして計算し、スコアの高いアイテムを、提示アイテムとして決定する。本発明は、例えば、ユーザの所望の情報を検索する情報処理装置に適用できる。【選択図】図３
2008225658.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、
前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段と、
所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段と、
前記クエリ画像の特徴量を抽出する特徴量抽出手段と、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第１の類似度を計算する類似度計算手段と、
前記第１の類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段と
を備える情報処理装置。
【請求項２】
前記提示アイテム決定手段は、前記第１の類似度の高い複数の前記登録画像について、アイテムの頻度をスコアとして計算することにより、前記提示アイテムを決定する
請求項１に記載の情報処理装置。
【請求項３】
前記提示アイテム決定手段は、前記第１の類似度の順位に応じてアイテムのスコアに重みを持たせた順位重み付きスコアを計算することにより、前記提示アイテムを決定する
請求項１に記載の情報処理装置。
【請求項４】
前記提示アイテム決定手段は、前記第１の類似度の値を重みとして、各アイテムの重み付きスコアを計算することにより、前記提示アイテムを決定する
請求項１に記載の情報処理装置。
【請求項５】
前記アイテム対応記憶手段は、前記登録画像と前記アイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶し、
前記提示アイテム決定手段は、前記第１の類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記提示アイテムとして決定する
請求項１に記載の情報処理装置。
【請求項６】
前記類似度計算手段は、前記登録画像と前記アイテムとの特徴量の類似度である第２の類似度も計算し、
前記提示アイテム決定手段は、前記第１の類似度と前記第２の類似度の積を加算した値に基づいて、前記提示アイテムを決定する
請求項５に記載の情報処理装置。
【請求項７】
前記提示アイテム決定手段は、前記第１の類似度の高い複数の前記登録画像と対応付けられているアイテムの頻度を計算し、頻度の高いアイテムを、前記提示アイテムとして決定する
請求項５に記載の情報処理装置。
【請求項８】
画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置の情報処理方法において、
所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、
前記クエリ画像の特徴量を抽出し、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、
前記類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、前記提示アイテムを決定する
ステップを含む情報処理方法。
【請求項９】
画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを用いて、ユーザに提示する前記アイテムである提示アイテムを決定する処理を、コンピュータに実行させるプログラムにおいて、
所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、
前記クエリ画像の特徴量を抽出し、
抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、
前記類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、前記提示アイテムを決定する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段と、
所望のアイテムを検索するためにユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得する取得手段と、
前記クエリ画像の特徴量を抽出する特徴量抽出手段と、
前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索するアイテム検索手段と、
抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算する類似度計算手段と、
計算された前記類似度に基づいて、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段と
を備える情報処理装置。
【請求項１１】
前記取得手段は、前記クエリ画像のなかで、前記ユーザが特に着目している領域についての情報もさらに取得し、
前記特徴量抽出手段は、前記クエリ画像の前記領域の特徴量を抽出する
請求項１０に記載の情報処理装置。
【請求項１２】
アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段を備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置の情報処理方法において、
所望のアイテムを検索するために前記ユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得し、
前記クエリ画像の特徴量を抽出し、
前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索し、
抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算し、
計算された前記類似度に基づいて、前記提示アイテムを決定する
ステップを含む情報処理方法。
【請求項１３】
アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段を用いて、ユーザに提示する前記アイテムである提示アイテムを決定する処理を、コンピュータに実行させるプログラムにおいて、
所望のアイテムを検索するために前記ユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得し、
前記クエリ画像の特徴量を抽出し、
前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索し、
抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算し、
計算された前記類似度に基づいて、前記提示アイテムを決定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、所望の情報を言語化することが難しい場合であっても、所望の情報を容易に検索することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、テレビジョン放送番組（以下、単に番組と称する）などを記録および再生する記録再生装置において、番組を視聴するユーザの嗜好に基づいて、自動的に番組を記録するものがある。このような記録再生装置では、例えば、コンテントベーストフィルタリングと称される手法(以下、CBF手法と称する)を用いて、記録する番組が検索される（例えば、特許文献１参照）。
【０００３】
CBF手法とは、番組に対して配信側や販売側によって予め付与されている番組の特徴ベクトルと、ユーザの嗜好情報を示す特徴ベクトルとの類似度をコサイン距離などによって算出し、類似度の高い番組を、ユーザの嗜好に合致した番組として検索し記録する、といった手法である。ユーザの嗜好情報を示す特徴ベクトルは、例えば、ユーザの好みの番組の内容を表す単語を、ユーザに入力してもらうことによって生成される。
【０００４】
入力された単語を基に所定の情報を検索することは、様々な場面で行われている。例えば、インターネットなどから、ユーザが所望の情報を検索しようとする場合にも、所望の情報と関連性の強い単語を複数入力し、その入力された単語を基に検索することが一般的に行われている。従って、このような情報の検索においては、所望の情報を導き出すために、所望の情報を単語レベルに言語化することが必要である。
【０００５】
【特許文献１】特開２００４−１９４１０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、所望の情報を単語レベルに言語化することが難しい場合があり、この場合、所望の情報を検索することができない、または、検索するまでに時間がかかるということがあった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、所望の情報を検索するときに、所望の情報を言語化することが難しい場合であっても、容易に検索することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面の情報処理装置は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段と、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段と、前記クエリ画像の特徴量を抽出する特徴量抽出手段と、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第１の類似度を計算する類似度計算手段と、前記第１の類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段とを備える。
【０００９】
前記提示アイテム決定手段には、前記第１の類似度の高い複数の前記登録画像について、アイテムの頻度をスコアとして計算することにより、前記提示アイテムを決定させることができる。
【００１０】
前記提示アイテム決定手段には、前記第１の類似度の順位に応じてアイテムのスコアに重みを持たせた順位重み付きスコアを計算することにより、前記提示アイテムを決定させることができる。
【００１１】
前記提示アイテム決定手段には、前記第１の類似度の値を重みとして、各アイテムの重み付きスコアを計算することにより、前記提示アイテムを決定させることができる。
【００１２】
前記アイテム対応記憶手段には、前記登録画像と前記アイテムとを同一の空間上にマッピングした情報として、前記登録画像と所定のアイテムとの対応を記憶させ、前記提示アイテム決定手段には、前記第１の類似度の高い前記登録画像と前記空間上の距離が近いアイテムを、前記提示アイテムとして決定させることができる。
【００１３】
前記類似度計算手段には、前記登録画像と前記アイテムとの特徴量の類似度である第２の類似度も計算させ、前記提示アイテム決定手段には、前記第１の類似度と前記第２の類似度の積を加算した値に基づいて、前記提示アイテムを決定させることができる。
【００１４】
前記提示アイテム決定手段には、前記第１の類似度の高い複数の前記登録画像と対応付けられているアイテムの頻度を計算させ、頻度の高いアイテムを、前記提示アイテムとして決定させることができる。
【００１５】
本発明の第１の側面の情報処理方法は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、前記クエリ画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、前記類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、前記提示アイテムを決定するステップを含む。
【００１６】
本発明の第１の側面のプログラムは、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段とを用いて、ユーザに提示する前記アイテムである提示アイテムを決定する処理を、コンピュータに実行させるプログラムにおいて、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し、前記クエリ画像の特徴量を抽出し、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し、前記類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、前記提示アイテムを決定するステップを含む。
【００１７】
本発明の第１の側面においては、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像が取得され、その特徴量が抽出される。さらに、抽出された特徴量を用いて、クエリ画像と登録画像との類似度が計算され、類似度の高い登録画像に基づいて、アイテム対応記憶手段から、提示アイテムが決定される。
【００１８】
本発明の第２の側面の情報処理装置は、アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段と、所望のアイテムを検索するためにユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得する取得手段と、前記クエリ画像の特徴量を抽出する特徴量抽出手段と、前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索するアイテム検索手段と、抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算する類似度計算手段と、計算された前記類似度に基づいて、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段とを備える。
【００１９】
前記取得手段には、前記クエリ画像のなかで、前記ユーザが特に着目している領域についての情報もさらに取得させ、前記特徴量抽出手段には、前記クエリ画像の前記領域の特徴量を抽出させることができる。
【００２０】
本発明の第２の側面の情報処理方法は、アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段を備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得し、前記クエリ画像の特徴量を抽出し、前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索し、抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算し、計算された前記類似度に基づいて、前記提示アイテムを決定するステップを含む。
【００２１】
本発明の第２の側面のプログラムは、アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段を用いて、ユーザに提示する前記アイテムである提示アイテムを決定する処理を、コンピュータに実行させるプログラムにおいて、所望のアイテムを検索するために前記ユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得し、前記クエリ画像の特徴量を抽出し、前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、前記アイテムを検索し、抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算し、計算された前記類似度に基づいて、前記提示アイテムを決定するステップを含む。
【００２２】
本発明の第２の側面においては、所望のアイテムを検索するためにユーザによって指定された画像および語句であるクエリ画像およびクエリ語が取得され、クエリ画像の特徴量が抽出されるとともに、クエリ語に基づいて、アイテム特徴量記憶手段から、アイテムが検索される。さらに、抽出された特徴量を用いて、検索されたアイテムとクエリ画像との類似度が計算され、計算された類似度に基づいて、提示アイテムが決定される。
【発明の効果】
【００２３】
本発明の第１の側面によれば、ユーザは所望の情報を検索することができる。
【００２４】
また、本発明の第１の側面によれば、所望の情報を言語化することが難しい場合であっても、ユーザは所望の情報を容易に検索することができる。
【００２５】
本発明の第２の側面によれば、ユーザは所望の情報を検索することができる。
【００２６】
また、本発明の第２の側面によれば、所望の情報を言語化することが難しい場合であっても、ユーザは所望の情報を容易に検索することができる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
本発明の第１の側面の情報処理装置（例えば、図３のサーバ３）は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段（例えば、図３の特徴量DB１１）と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段（例えば、図３の画像アイテム対応DB１２）と、所望のアイテムを検索するためにユーザによって指定された画像であるクエリ画像を取得する取得手段（例えば、図３の通信部３１）と、前記クエリ画像の特徴量を抽出する特徴量抽出手段（例えば、図３の特徴量抽出部３２）と、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との第１の類似度を計算する類似度計算手段（例えば、図３の類似度計算部３３）と、前記第１の類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段（例えば、図３の提示アイテム決定部３４）とを備える。
【００２９】
本発明の第１の側面の情報処理方法は、画像の特徴を表す特徴量を、予め登録された複数の登録画像について記憶する画像特徴量記憶手段（例えば、図３の特徴量DB１１）と、前記登録画像と所定のアイテムとの対応を記憶するアイテム対応記憶手段（例えば、図３の画像アイテム対応DB１２）とを備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置（例えば、図３のサーバ３）の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像であるクエリ画像を取得し（例えば、図６のステップＳ１３）、前記クエリ画像の特徴量を抽出し（例えば、図６のステップＳ１４）、抽出された前記特徴量を用いて、前記クエリ画像と前記登録画像との類似度を計算し（例えば、図６のステップＳ１５）、前記類似度の高い前記登録画像に基づいて、前記アイテム対応記憶手段から、前記提示アイテムを決定する（例えば、図６のステップＳ１８）ステップを含む。
【００３０】
本発明の第２の側面の情報処理装置（例えば、図１１のサーバ３）は、アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段（例えば、図１１の特徴量DB７１）と、所望のアイテムを検索するためにユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得する取得手段（例えば、図１１の通信部３１）と、前記クエリ画像の特徴量を抽出する特徴量抽出手段（例えば、図１１の特徴量抽出部３２）と、前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、アイテムを検索するアイテム検索手段（例えば、図１１の検索部７２）と、抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算する類似度計算手段（例えば、図１１の類似度計算部３３）と、計算された前記類似度に基づいて、ユーザに提示する前記アイテムである提示アイテムを決定する提示アイテム決定手段（例えば、図１１の提示アイテム決定部７３）とを備える。
【００３１】
本発明の第２の側面の情報処理方法は、アイテムの特徴を表す特徴量と、前記アイテムを説明するキーワードとを、予め登録された複数のアイテムについて記憶するアイテム特徴量記憶手段（例えば、図１１の特徴量DB７１）を備え、ユーザに提示する前記アイテムである提示アイテムを決定する情報処理装置（例えば、図１１のサーバ３）の情報処理方法において、所望のアイテムを検索するために前記ユーザによって指定された画像および語句であるクエリ画像およびクエリ語を取得し（例えば、図１３のステップＳ５４）、前記クエリ画像の特徴量を抽出し（例えば、図１３のステップＳ５５）、前記クエリ語に基づいて、前記アイテム特徴量記憶手段から、アイテムを検索し（例えば、図１３のステップＳ５６）、抽出された前記特徴量を用いて、検索された前記アイテムと前記クエリ画像との類似度を計算し（例えば、図１３のステップＳ５７）、計算された前記類似度に基づいて、前記提示アイテムを決定する（例えば、図１３のステップＳ５８）ステップを含む。
【００３２】
以下、図を参照して、本発明の実施の形態について説明する。
【００３３】
図１は、本発明を適用した検索システムの一実施の形態の構成例を示している。
【００３４】
図１の検索システムは、ユーザの所望するアイテムを容易に検索することができるシステムであり、ユーザが所有し、所定の情報を入力する携帯電話機１、所定の情報を伝送するインターネットまたはLAN（Local Area Network）などからなるネットワーク２、および、携帯電話機１から送信された情報に基づいて、ユーザが所望するアイテムを検索し、その検索結果としてのアイテムを識別する情報、例えば、そのアイテムの名前、または、そのアイテムをユーザが手に入れられる場所（アイテムの格納場所）などを、携帯電話機１に返信するサーバ（情報処理装置）３により構成される。なお、以下では、アイテムを識別する情報を送信することを、単にアイテムを送信するという。
【００３５】
ここで、アイテムとは、ユーザが利用するソフトウエアまたはハードウエア（物品）をいう。例えば、テレビジョン放送番組、文章、映画、写真、楽曲等（動画像、静止画像、若しくは音声、または、それらの組合せ等）といったソフトウエア（データ）、服、靴、食物等の物品（ハードウエア）が、本明細書でいうアイテムである。
【００３６】
従来の検索システムでは、ユーザが所定のアイテムを検索する場合には、その所望のアイテムと関連性の強い情報を単語として複数入力し、入力された複数の単語のいずれにも関連するアイテムを検索して提示するような処理が行われていた。
【００３７】
従って、所望のアイテムと関連性の強い情報を単語として表すことが難しい場合、換言すれば、所望のアイテムを言い表すのに的確な単語がないときには、所望のアイテムをうまく検索できないことがあった。
【００３８】
例えば、ユーザがある場所で目にした風景にあうような服（アイテム）を検索しようとしたとき、その目にした風景を数語で表すのは難しく、所望のアイテムを検索することが困難であった。
【００３９】
図１の検索システムは、そのような場面においても、所望のアイテムを検索することができるようにしたシステムである。
【００４０】
携帯電話機１は、通常の通話機能の他に、画像を撮影（撮像）する撮影機能、および文字データや画像データを送受信する通信機能を少なくとも有している。携帯電話機１は、ユーザの操作に基づいて、所望のアイテムを検索させるためにサーバ３に提供する画像であって、所望のアイテムに関連する画像（以下、クエリ画像と称する）を、ネットワーク２を介して、サーバ３に送信する。なお、携帯電話機１からは、クエリ画像とともに、クエリ画像を用いて検索処理を実行させることを表す検索コマンドも同時に送信されるものとする。
【００４１】
サーバ３は、携帯電話機１からネットワーク２を介して送信されてきたクエリ画像を、検索コマンドとともに受信する。そして、サーバ３は、そのクエリ画像に基づいて所定のアイテムを検索し、検索されたアイテムを、ネットワーク２を介して携帯電話機１に送信（返信）する。
【００４２】
従って、図１の検索システムでは、単語を入力することなく、所望のアイテムを検索することができる。
【００４３】
図２を参照して、図１の検索システムによる第１のアイテム検索処理の概要を説明する。
【００４４】
携帯電話機１は、ユーザによって指定されたクエリ画像をサーバ３に送信する。クエリ画像は、例えば、携帯電話機１で撮影された画像、または、携帯電話機１が電子メールで受信した画像などとすることができる。
【００４５】
サーバ３の特徴量DB（Database）１１には、様々な画像について、その画像の特徴を表す特徴量が記憶されている。サーバ３は、携帯電話機１から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。そして、サーバ３は、クエリ画像と画像の特徴量が類似するN枚（N≧１）の画像（画像群）を、特徴量DB１１に記憶されている多数の画像のなかから検出する。特徴量DB１１から検出された、クエリ画像と画像の特徴量が類似する画像を、類似画像と称する。
【００４６】
サーバ３の画像アイテム対応DB１２には、特徴量の類似性を基に、特徴量DB１１に記憶されている画像それぞれについて、１以上のアイテムが対応付けられている。特徴量の類似した画像どうしには、同じアイテムが対応付けられていることもある。
【００４７】
サーバ３は、検出されたN枚の類似画像それぞれと対応付けられているアイテムを、画像アイテム対応DB１２から取得する。そして、サーバ３は、N枚の類似画像と対応付けられているアイテムのそれぞれについて、アイテムの頻度を計算する。ここで、アイテムの頻度とは、所定のアイテムが、画像アイテム対応DB１２において対応付けられている類似画像の数を表し、例えば、アイテムｆが、類似画像A、類似画像B、および類似画像Dに対して対応付けられている場合には、アイテムｆの頻度は３と計算される。
【００４８】
サーバ３は、計算されたアイテムの頻度をスコアとし、スコアの高いアイテムを、検索処理の結果としてユーザに提示する提示アイテムとして決定し、携帯電話機１に送信する。なお、提示アイテムは１つとは限らず、スコアの高い上位いくつかのアイテムを提示アイテムと決定することができる。
【００４９】
図３は、図２を参照して説明した第１のアイテム検索処理を実行する図１の検索システムの機能的構成例を示すブロック図である。なお、図３においては、ネットワーク２の図示が省略されている。
【００５０】
携帯電話機１は、撮像部２１、操作入力部２２、表示部２３、通信部２４、および制御部２５により構成される。一方、サーバ３は、特徴量DB１１、画像アイテム対応DB１２、通信部３１、特徴量抽出部３２、類似度計算部３３、および提示アイテム決定部３４により構成される。
【００５１】
撮像部２１は、操作入力部２２におけるユーザの操作に基づいて、所定の被写体を撮影する。撮影された画像は、図示せぬメモリに記憶される。
【００５２】
操作入力部２２は、通話を開始または終了するボタン、文字または数字などを入力するボタンなどにより構成され、ユーザの操作を受け付け、操作されたボタンに対応する操作情報を制御部２５に供給する。
【００５３】
表示部２３は、LCD(Liquid Crystal Display)などのディスプレイにより構成され、所定の文字および画像を表示する。通信部２４は、所定の情報を、サーバ３の通信部３１との間で送受信する。例えば、通信部２４は、撮像部２１で撮影され、図示せぬメモリに一時的に記憶されている画像をクエリ画像としてサーバ３に送信し、クエリ画像から検索されたアイテムを受信する。制御部２５は、携帯電話機１の各部を制御する。
【００５４】
サーバ３の特徴量DB１１は、画像の特徴を表す特徴量を、予め登録された複数の登録画像それぞれについて記憶する。また、特徴量DB１１は、検索対象の多数のアイテムについても、そのアイテムの特徴を表す特徴量を記憶する。
【００５５】
画像アイテム対応DB１２は、特徴量の類似性を基に、登録画像と検索対象のアイテムとを対応付けて記憶する。
【００５６】
図４は、特徴量DB１１の例を、図５は、画像アイテム対応DB１２の例を示している。但し、図４および図５に示すデータは、特徴量DB１１および画像アイテム対応DB１２に記憶されているものの一部である。
【００５７】
例えば、特徴量DB１１には、図４に示されるように、登録画像としての画像Aおよび画像Bと、検索対象のアイテムとしてのアイテムａおよびアイテムｂについての特徴量が記憶されている。
【００５８】
より具体的には、「涼しげ」、「のどか」、「素朴」、および「暖かい」の４種類のムードに対する割合が、特徴量として画像またはアイテムに設定され、特徴量DB１１に記憶されている。ここで、ムードとは、感性（感情）を表す概念または語である。また、割合は、画像またはアイテムが所定のムードを有するか否かを「０」または「１．０」で表している。
【００５９】
画像Aは、「涼しげ」というムードに対しては「１．０」の割合を、「のどか」というムードに対しては「１．０」の割合を、「素朴」というムードに対しては「０」の割合を、「暖かい」というムードに対しては「０」の割合を有している。同様に、画像Bは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「０」、「１．０」、「０」、および「１．０」の割合を有している。
【００６０】
また、アイテムａは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「０」、「１．０」、「１．０」、および「０」の割合を有し、アイテムｂは、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードに対して、それぞれ、「１．０」、「１．０」、「０」、および「０」の割合を有している。
【００６１】
各登録画像またはアイテムの全体としての特徴量は、各ムードを成分とするベクトルとして表すことができ、このベクトルをムードベクトルと称する。
【００６２】
一方、画像アイテム対応DB１２には、図５に示されるように、画像A乃至Dそれぞれに対して、特徴量（ムードベクトル）が類似するアイテムが対応付けられて記憶されている。
【００６３】
具体的には、画像Aは、アイテムｂ、アイテムｆ、およびアイテムｈと特徴量が類似していることが記憶されており、画像Bは、アイテムｅおよびアイテムｆと特徴量が類似していることが記憶されている。また、画像Cは、アイテムｃおよびアイテムｘと特徴量が類似し、画像Dは、アイテムｆ、アイテムｈ、アイテムｙ、およびアイテムｚと特徴量が類似していることが記憶されている。
【００６４】
図３に戻り、サーバ３の通信部３１は、携帯電話機１の通信部２４との間で、所定の情報を送受信する。例えば、通信部３１は、携帯電話機１から送信されてきたクエリ画像を受信する。受信することにより取得されたクエリ画像は、特徴量抽出部３２に供給される。また、通信部３１は、提示アイテム決定部３４から供給される、検索結果としての提示アイテムを、携帯電話機１の通信部２４に送信する。
【００６５】
特徴量抽出部３２は、通信部３１から供給されたクエリ画像の特徴量を抽出し、その結果得られるムードベクトルを類似度計算部３３に供給する。
【００６６】
ここで、画像の特徴量としては、例えば、画像のRGBやCIELABによる色の情報、形状情報、周波数成分などを表すベクトルやヒストグラムを採用することができ、画像の特徴量をどのように有している場合が、図４に示した「涼しげ」、「のどか」、「素朴」、および「暖かい」等のムードに対応するかが予め学習されているので、特徴量抽出部３２は、抽出された画像の特徴量に基づいてムードベクトルを生成することができる。
【００６７】
画像の特徴量とムードとの対応の学習は、例えば、アンケートなどによって多数のユーザに、所定の画像を見たときにどのような感情（ムード）を抱くかのアンケートをとると同時に、その画像の特徴量を抽出し、どのような画像の特徴量のときに、ユーザがどのような感情を持つか、即ち、その画像にどのようなムードを付与すればよいかを、対応分析や主成分分析などの多変量解析により決定するものである。これにより、学習をさせていない未知の画像に対しても、画像の特徴量が分かればムードを付与することができるようになる。
【００６８】
また、特徴量抽出部３２は、特徴量DB１１へのデータ格納時において、通信部３１から供給される登録画像の特徴量を抽出し、その結果得られるムードベクトルを特徴量DB１１に記憶させるとともに、通信部３１から供給されるアイテムのムードベクトルも特徴量DB１１に記憶させる。このアイテムのムードベクトルは、例えば、人手によって付与されたものである。
【００６９】
類似度計算部３３は、特徴量抽出部３２から供給されるクエリ画像と、特徴量DB１１に記憶されている登録画像それぞれとの類似度を計算し、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部３４に供給する。類似度の計算は、例えば、クエリ画像のムードベクトルと、登録画像のムードベクトルのコサイン距離または内積を採用することができる。
【００７０】
また、類似度計算部３３は、特徴量DB１１に記憶されている登録画像およびアイテムそれぞれのムードベクトルに基づいて、画像アイテム対応DB１２の、登録画像とアイテムとの対応付けも行う。より具体的には、類似度計算部３３は、特徴量DB１１に記憶されている登録画像と、特徴量DB１１に記憶されている各アイテムとの類似度を計算し、所定の値以上の類似度となるアイテムを、その登録画像に対応するアイテムとして、画像アイテム対応DB１２に記憶することを、特徴量DB１１に記憶されている登録画像すべてについて行う。
【００７１】
提示アイテム決定部３４は、類似度計算部３３から供給される、N枚の登録画像それぞれについて、画像アイテム対応DB１２を参照して、登録画像に対応するアイテムが何であるかを検索する。そして、提示アイテム決定部３４は、検索されたアイテムそれぞれについて、アイテムの頻度をスコアとして計算する。さらに、提示アイテム決定部３４は、スコアの高いアイテムを、ユーザに提示する提示アイテムとして決定し、通信部３１に供給する。
【００７２】
次に、図６のフローチャートを参照して、第１のアイテム検索処理について説明する。
【００７３】
いまユーザが、自分が目にしている風景に合うアイテムを検索しようとした場合、初めに、ステップＳ１１において、携帯電話機１の撮像部２１は、操作入力部２２におけるユーザの操作に基づいて、所定の被写体（風景）を撮影する。このステップＳ１１で撮影された画像がクエリ画像であるとする。
【００７４】
ステップＳ１２において、通信部２４は、制御部２５の制御にしたがい、撮像部２１で撮影されたクエリ画像をサーバ３に送信する。
【００７５】
ステップＳ１３において、サーバ３の通信部３１は、ネットワーク２を介して携帯電話機１の通信部２４から送信されてきたクエリ画像を受信する。受信された画像は、特徴量抽出部３２に供給される。
【００７６】
ステップＳ１４において、特徴量抽出部３２は、通信部３１から供給されたクエリ画像のムードベクトルを生成し、類似度計算部３３に供給する。
【００７７】
ステップＳ１５において、類似度計算部３３は、特徴量抽出部３２から供給されるクエリ画像のムードベクトルと、特徴量DB１１に記憶されている登録画像それぞれのムードベクトルとの類似度を計算する。そして、類似度計算部３３は、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部３４に供給する。
【００７８】
ステップＳ１６において、提示アイテム決定部３４は、類似度計算部３３から供給された情報が表すN枚の登録画像（類似度の高い登録画像）と紐付けられているアイテムを、画像アイテム対応DB１２から取得する。
【００７９】
そして、ステップＳ１７において、提示アイテム決定部３４は、アイテムの頻度をスコアとして計算し、ステップＳ１８において、スコアの高いアイテムを、提示アイテムとして決定する。決定された提示アイテムは、提示アイテム決定部３４から通信部３１に供給される。
【００８０】
ステップＳ１９において、通信部３１は、提示アイテムを、ネットワーク２を介して、携帯電話機１に送信する。
【００８１】
ステップＳ２０において、携帯電話機１は、送信されてきた提示アイテムを受信し、表示部２３に表示する。即ち、通信部２４は、サーバ３から送信されてきた提示アイテムを受信し、制御部２５に供給する。制御部２５は、表示部２３を制御して、そのアイテムを表示部２３に表示させて、処理を終了する。
【００８２】
以上のように、第１のアイテム検索処理によれば、クエリ画像を用いてユーザの所望のアイテムを検索するので、ユーザは所定の文字（単語）を入力することなく、所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。
【００８３】
なお、上述した例では、アイテムの頻度を、そのままスコアとして用いたが、その他の計算によってアイテムのスコアを求めることも可能である。例えば、類似度の順位が１位の登録画像に紐付けられているアイテムには１０点、類似度の順位が２位の登録画像に紐付けられているアイテムには６点、類似度の順位が３位の登録画像に紐付けられているアイテムには４点など、類似度の順位に応じてアイテムのスコアに重みを持たせる、順位重み付きスコアで提示アイテムを決定してもよい。また、類似度の値そのものを重みとしたアイテムの重み付きスコアを計算することにより、提示アイテムを決定してもよい。
【００８４】
次に、図７を参照して、図１の検索システムによる第２のアイテム検索処理の概要を説明する。
【００８５】
携帯電話機１は、クエリ画像をサーバ３に送信する。サーバ３は、携帯電話機１から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。さらに、サーバ３は、クエリ画像と画像の特徴量が類似するN枚の類似画像（画像群）を、特徴量DB１１に記憶されている多数の登録画像のなかから検出する。ここまでの処理は、上述した第１のアイテム検索処理と同様である。
【００８６】
サーバ３のマッピング情報DB５１には、図７に示すように、特徴量DB１１に記憶されている登録画像とアイテムを、同一空間Rの空間上にマッピングしたマッピング情報が記憶されている。
【００８７】
サーバ３は、検出されたN枚の類似画像それぞれの空間R上の距離が近いアイテムから提示アイテムを決定する。より具体的には、サーバ３は、検出されたN枚の類似画像それぞれについて、空間上の距離が近い（類似画像と空間上の距離が所定の範囲以内の）複数のアイテムを検出する。そして、サーバ３は、検出されたすべてのアイテムについて、アイテムの頻度をスコアとして計算し、スコアの高いアイテムを提示アイテムと決定し、携帯電話機１に送信する。
【００８８】
図８は、図７を参照して説明した第２のアイテム検索処理を実行する図１の検索システムの機能的構成例を示すブロック図である。なお、図８において、図３と対応する部分については同一の符号を付してあり、重複する説明は適宜省略する。また、ネットワーク２の図示は図３と同様に省略されている。
【００８９】
図８では、画像アイテム対応DB１２に代えてマッピング情報DB５１が設けられている点と、提示アイテム決定部３４に代えて提示アイテム決定部５２が設けられている点が、図３と相違する。
【００９０】
マッピング情報DB５１には、上述したように、特徴量DB１１に記憶されている登録画像とアイテムを、同一の空間R上にマッピングしたマッピング情報が記憶されている。このマッピング情報は、人手によって作成することも可能であるし、対応分析などを利用し、類似度計算部３３が作成することも可能である。
【００９１】
人手によってマッピング情報を作成する場合には、予め空間および次元を定義し、その空間上に、人手により決定された、特徴量DB７１の登録画像およびアイテムの位置（座標）が、マッピング情報として記憶される。
【００９２】
一方、対応分析を利用する場合には、予め登録画像と類似したアイテムのセット（複数のアイテム）を人手により作成し、類似度計算部３３が、そのクロス集計結果を用いて対応分析を行うことで、登録画像とアイテムを同一多次元空間上に写像することができる。
【００９３】
類似度計算部３３は、特徴量抽出部３２から供給されるクエリ画像と、特徴量DB１１に記憶されている登録画像それぞれとの類似度を計算し、類似度が高いN枚の登録画像を表す情報を提示アイテム決定部５２に供給する。
【００９４】
提示アイテム決定部５２は、類似度計算部３３から供給される情報が表す、N枚の登録画像それぞれについて、マッピング情報DB５１を参照して、登録画像と空間R上の距離が近い複数のアイテムを検出する。そして、提示アイテム決定部５２は、検出されたすべてのアイテムについて、第１のアイテム検索処理と同様のアイテムの頻度をスコアとして計算し、スコアの高いアイテムを提示アイテムと決定し、通信部３１に供給する。
【００９５】
なお、本実施の形態では、複数枚の類似画像についての情報が類似度計算部３３から提示アイテム決定部５２に供給されるものとするが、類似度計算部３３から供給される類似画像の枚数が１枚である場合には、その１枚の類似画像に空間上の距離が最も近いアイテムを提示アイテムとすればよい。
【００９６】
図９のフローチャートを参照して、第２のアイテム検索処理について説明する。
【００９７】
図９のステップＳ３１乃至Ｓ３５の処理は、図６のステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略する。
【００９８】
ステップＳ３６において、提示アイテム決定部５２は、マッピング情報DB５１を参照して、類似度計算部３３から供給された情報が表すN枚の登録画像（類似度の高い登録画像）と空間上の距離が近い複数のアイテムを検出する。
【００９９】
ステップＳ３７において、提示アイテム決定部５２は、検出されたすべてのアイテムについて、アイテムの頻度をスコアとして計算し、ステップＳ３８において、スコアの高いアイテムを提示アイテムと決定する。
【０１００】
そして、ステップＳ３９およびＳ４０では、上述したステップＳ１９およびＳ２０と同様に、通信部３１によって提示アイテムが携帯電話機１に送信され、提示アイテムを受信した携帯電話機１では、表示部２３に提示アイテムが表示されて、処理が終了する。
【０１０１】
以上のように、第２のアイテム検索処理においても、ユーザは所定の文字（単語）を入力することなく、所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。
【０１０２】
なお、第２のアイテム検索処理においても、各アイテムのスコアを、上述したアイテムの頻度以外の値で求めることが可能である。
【０１０３】
例えば、空間R上の各アイテムが決定されるまでには、クエリ画像と類似画像との類似度（類似度Iと称する）、および、空間R上の距離で表される類似画像とアイテムとの類似度（類似度IIと称する）の２つの類似度が計算されていることになるが、各アイテムのスコアを、類似度Iと類似度IIの積の和（アイテムについての和）として計算することもできる。
【０１０４】
次に、図１０を参照して、図１の検索システムによる第３のアイテム検索処理の概要を説明する。
【０１０５】
第３のアイテム検索処理は、画像に加えて、文字（単語）も補助的に入力する場合の検索処理である。
【０１０６】
即ち、いまユーザは、携帯電話機１において、クエリ画像とともに、所望のアイテムに関連する単語（以下、クエリ語と称する）として「洋服」を指定（入力）したものとする。携帯電話機１は、指定されたクエリ画像とクエリ語「洋服」を、ネットワーク２を介して、サーバ３に送信する。
【０１０７】
サーバ３の特徴量DB７１には、図１０に示されるように、所定のアイテムに対して、ムードベクトルと、アイテムを説明するキーワードが予め記憶されている。
【０１０８】
サーバ３は、最初に、上述した２つの実施の形態と同様に、携帯電話機１から送信されてきたクエリ画像を受信し、その受信したクエリ画像の特徴量を抽出する。また、サーバ３は、携帯電話機１から送信されてきたクエリ語に基づいて、特徴量DB７１に記憶されているアイテムを検索する。これにより、クエリ語と同一のキーワードを有する複数のアイテム（アイテム群）が特徴量DB７１から検出される。
【０１０９】
次に、サーバ３は、クエリ語をキーワードとして有するアイテムそれぞれについて、クエリ画像との類似度を計算する。より具体的には、アイテムに対して設定されているムードベクトルと、クエリ画像から抽出された特徴量から生成されるムードベクトルとの類似度が計算される。その結果、類似度の高いアイテムが提示アイテムとして決定され、携帯電話機１に送信される。
【０１１０】
図１１は、図１０を参照して説明した第３のアイテム検索処理を実行する図１の検索システムの機能的構成例を示すブロック図である。なお、図１１において、図３と対応する部分については同一の符号を付してあり、重複する説明は適宜省略する。また、ネットワーク２の図示は図３と同様に省略されている。
【０１１１】
図１１では、特徴量DB７１、検索部７２、および提示アイテム決定部７３が、特徴量DB１１および提示アイテム決定部３４に代えて設けられている点と、画像アイテム対応DB１２が省略されている点が、図３と相違する。
【０１１２】
通信部３１は、携帯電話機１の通信部２４から送信されてきたクエリ画像とクエリ語を受信し、クエリ画像を特徴量抽出部３２に、クエリ語を検索部７２に供給する。
【０１１３】
特徴量抽出部３２は、上述したように、クエリ画像の特徴量を抽出し、その結果得られるムードベクトルを類似度計算部３３に供給する。
【０１１４】
特徴量DB７１は、各種の登録画像およびアイテムについてのムードベクトルを記憶する。なお、特徴量DB７１は、図１２に示されるように、各アイテムについては、ムードベクトルだけでなく、キーワードも対応付けて記憶されている点が、図３の特徴量DB１１と異なる。
【０１１５】
図１２の例では、アイテムａには、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードベクトル（「０」、「１．０」、「１．０」、および「０」）とともに、キーワード「洋服」および「女性用」が記憶されている。また、アイテムｂには、「涼しげ」、「のどか」、「素朴」、および「暖かい」のムードベクトル（「１．０」、「１．０」、「０」、および「０」）とともに、キーワード「洋服」および「男性用」が記憶されている。
【０１１６】
図１１の検索部７２は、特徴量DB７１（図１２）の各アイテムについてキーワードをチェックし、通信部３１から供給されたクエリ語をキーワードとして有するアイテムをすべて検出し、検出されたアイテムのムードベクトルを類似度計算部３３に供給する。
【０１１７】
類似度計算部３３は、検索部７２から供給されるアイテムのムードベクトルと、特徴量抽出部３２から供給されるクエリ画像のムードベクトルとの類似度を計算し、その計算結果を提示アイテム決定部７３に供給する。
【０１１８】
提示アイテム決定部７３は、類似度計算部３３から供給される各アイテム（クエリ語を有するアイテム）の、クエリ画像との類似度に基づいて、提示アイテムを決定し、通信部３１に供給する。即ち、類似度の高い所定個数のアイテムが、提示アイテムとして通信部３１に供給される。
【０１１９】
図１３は、第３のアイテム検索処理を説明するフローチャートである。
【０１２０】
初めに、ステップＳ５１において、携帯電話機１の操作入力部２２は、ユーザの操作に基づいて、クエリ語の入力を受け付け、ステップＳ５２において、撮像部２１は、所定の被写体を撮影する。
【０１２１】
ステップＳ５３において、通信部２４は、制御部２５の制御にしたがい、クエリ語とクエリ画像をサーバ３に送信する。
【０１２２】
ステップＳ５４において、サーバ３の通信部３１は、ネットワーク２を介して携帯電話機１の通信部２４から送信されてきたクエリ語とクエリ画像を受信し、クエリ画像を特徴量抽出部３２に、クエリ語を検索部７２にそれぞれ供給する。
【０１２３】
ステップＳ５５において、特徴量抽出部３２は、通信部３１から供給されたクエリ画像のムードベクトルを生成し、類似度計算部３３に供給する。
【０１２４】
ステップＳ５６において、検索部７２は、通信部３１から供給されたクエリ語を有するアイテムを特徴量DB７１から検索する。検索部７２は、検索の結果得られたアイテムのムードベクトルを類似度計算部３３に供給する。
【０１２５】
ステップＳ５７において、類似度計算部３３は、検索部７２から供給されたアイテムのムードベクトルと、特徴量抽出部３２から供給されたクエリ画像のムードベクトルとの類似度を計算する。
【０１２６】
ステップＳ５８において、提示アイテム決定部７３は、類似度計算部３３から供給される各アイテムの、クエリ画像との類似度に基づいて、提示アイテムを決定する。即ち、提示アイテム決定部７３は、類似度の高い所定個数のアイテムを、提示アイテムとして通信部３１に供給する。
【０１２７】
ステップＳ５９において、通信部３１は、提示アイテムを、ネットワーク２を介して、携帯電話機１に送信する。
【０１２８】
ステップＳ６０において、携帯電話機１は、送信されてきた提示アイテムを受信し、表示部２３に表示する。即ち、通信部２４は、サーバ３から送信されてきた提示アイテムを受信し、制御部２５に供給する。制御部２５は、表示部２３を制御して、そのアイテムを表示部２３に表示させて、処理を終了する。
【０１２９】
以上のように、第３のアイテム検索処理によれば、クエリ語を使用して検索対象のアイテムを絞り、クエリ画像に対応する所望のアイテムをユーザに提示することができる。従って、所望の情報を言語化することが難しい場合であっても、ユーザは容易に検索することができる。
【０１３０】
次に、図１４のフローチャートを参照して、その他の第３のアイテム検索処理について説明する。上述した例では、クエリ画像全体から得られる特徴量（ムードベクトル）を、特徴量DB７１に記憶されているアイテムの特徴量（ムードベクトル）と比較したが、この処理では、ユーザがクエリ画像のなかで特に着目する着目点（着目領域）を指定し、その着目点の特徴量に基づいたアイテムの検索ができるようにするものである。
【０１３１】
初めに、ステップＳ７１において、携帯電話機１の操作入力部２２は、ユーザの操作に基づいて、クエリ語の入力を受け付け、ステップＳ７２において、撮像部２１は、所定の被写体を撮影する。
【０１３２】
ステップＳ７３において、表示部２３は、制御部２５の制御の下、撮影されたクエリ画像を表示する。そして、操作入力部２２は、ユーザの操作に基づいて、表示されたクエリ画像に対する着目点の入力を受け付ける。操作入力部２２で受け付けられた着目点についての情報（以下、着目点情報と称する）は、制御部２５に供給される。
【０１３３】
ステップＳ７４において、通信部２４は、制御部２５の制御にしたがい、クエリ語、クエリ画像、および着目点情報をサーバ３に送信する。
【０１３４】
ステップＳ７５において、サーバ３の通信部３１は、ネットワーク２を介して携帯電話機１の通信部２４から送信されてきたクエリ語、クエリ画像、および着目点情報を受信し、クエリ画像と着目点情報を特徴量抽出部３２に、クエリ語を検索部７２にそれぞれ供給する。
【０１３５】
ステップＳ７６において、特徴量抽出部３２は、通信部３１から供給されたクエリ画像の、着目点情報によって特定される所定の領域（以下、適宜、クエリ部分画像と称する）のムードベクトルを生成し、類似度計算部３３に供給する。着目点情報によって特定される所定の領域は、例えば、ユーザによって指定された着目点を中心とする所定の正方領域などとすることができる。
【０１３６】
ステップＳ７７において、検索部７２は、通信部３１から供給されたクエリ語を有するアイテムを特徴量DB７１から検索する。検索部７２は、検索の結果得られたアイテムのムードベクトルを類似度計算部３３に供給する。
【０１３７】
ステップＳ７８において、類似度計算部３３は、検索部７２から供給されたアイテムのムードベクトルと、特徴量抽出部３２から供給されたクエリ部分画像のムードベクトルとの類似度を計算する。
【０１３８】
ステップＳ７９乃至Ｓ８１の処理は、図１３のステップＳ５８乃至Ｓ６０の処理と同様であるので、その説明は省略する。
【０１３９】
この第３のアイテム検索処理によれば、例えば、図１０に示したクエリ画像において写されている「畑」や「川」のうち、「畑」の領域が「のどか」のムードを代表し、「川」の領域が「涼しげ」のムードを代表しているとすると、ユーザが「川」の部分に着目点を設定した場合、「涼しげ」のムードのみが、特徴量抽出部３２により抽出される。従って、クエリ画像のなかでも所定の領域のムードを強調したムードベクトルを生成することができる。これにより、ユーザがアイテム検索に言語でうまく言い表せない部分を、より忠実に指定することが可能である。
【０１４０】
上述した例では、クエリ画像は、ユーザがその場で撮影した風景の画像の例で説明したが、インターネットなどから取得した画像などであってもよい。
【０１４１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４２】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４３】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１４４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１を駆動するドライブ１１０が接続されている。
【０１４５】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４７】
そして、プログラムは、リムーバブルメディア１２１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
上述した実施の形態では、クエリ画像を指定する処理と、クエリ画像に基づいてユーザの所望の情報を検索する処理とが別々の装置、すなわち、携帯電話機１とサーバ３で行われていたが、この２つの処理は、携帯電話機１またはサーバ３のどちらかの装置（機器）だけで行うようにすることも可能である。例えば、携帯電話機１において、指定されたクエリ画像に基づいてユーザの所望する情報を検索する第１乃至第３のアイテム検索処理も行うようにすることができる。この場合、特徴量DB１１および画像アイテム対応DB１２等は、例えば、携帯電話機１に内蔵された、または、図示せぬドライブに装着され着脱可能な、半導体メモリなどの記録媒体に対応する。
【０１５０】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５１】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１５３】
【図１】本発明を適用した検索システムの一実施の形態の構成例を示す図である。
【図２】第１のアイテム検索処理の概要を説明する図である。
【図３】図１の検索システムの第１の実施の形態の機能的構成例を示すブロック図である。
【図４】第１の実施の形態の特徴量DBの例を示す図である。
【図５】第１の実施の形態の画像アイテム対応DBの例を示す図である。
【図６】第１のアイテム検索処理について説明するフローチャートである。
【図７】第２のアイテム検索処理の概要を説明する図である。
【図８】図１の検索システムの第２の実施の形態の機能的構成例を示すブロック図である。
【図９】第２のアイテム検索処理について説明するフローチャートである。
【図１０】第３のアイテム検索処理の概要を説明する図である。
【図１１】図１の検索システムの第３の実施の形態の機能的構成例を示すブロック図である。
【図１２】第３の実施の形態の特徴量DBの例を示す図である。
【図１３】第３のアイテム検索処理について説明するフローチャートである。
【図１４】その他の第３のアイテム検索処理について説明するフローチャートである。
【図１５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１５４】
１  携帯電話機，  ３  サーバ，  １１  特徴量DB，  １２  画像アイテム対応DB，  ３１  通信部，  ３２  特徴量抽出部，  ３３  類似度計算部，  ３４  提示アイテム決定部，  ５１  マッピング情報DB，  ５２  提示アイテム決定部，  ７１  特徴量DB，  ７２  検索部，  ７３  提示アイテム決定部
【図１】
2008225658.tif 000003
【図２】
2008225658.tif 000004
【図３】
2008225658.tif 000005
【図４】
2008225658.tif 000006
【図５】
2008225658.tif 000007
【図６】
2008225658.tif 000008
【図７】
2008225658.tif 000009
【図８】
2008225658.tif 000010
【図９】
2008225658.tif 000011
【図１０】
2008225658.tif 000012
【図１１】
2008225658.tif 000013
【図１２】
2008225658.tif 000014
【図１３】
2008225658.tif 000015
【図１４】
2008225658.tif 000016
【図１５】
2008225658.tif 000017