(57)【要約】多数の商品画像の中から所望の商品画像を簡便且つ精度良く見つけ出すことができる商品検索装置及び商品検索方法を提供する。商品検索装置は、検索条件画像を解析して検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、データベース３２に保存されている複数の商品画像の中から複数の第１検索画像を第１検索条件データに基づき検索する第１検索部４１と、デザイン特徴量に関してユーザ端末を介して指定された第２検索条件データに基づき第１検索画像の中から第２検索画像を検索する第２検索部４２とを備える。第１検索部４１は、デザイン特徴量を表す特徴空間において第１検索範囲に含まれる第１検索画像を検索する。第２検索部４２は、特徴空間において第２検索範囲に含まれる第２検索画像を検索する。第１検索範囲は、第２検索範囲よりも広い。
2016076021.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末にネットワークを介して接続される商品検索装置であって、
検索条件画像を解析して当該検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索する第１検索部と、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索する第２検索部と、を備え、
前記第１検索部は、前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像を前記第１検索画像として検索し、
前記第２検索部は、前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像を前記第２検索画像として検索し、
前記第１検索範囲は、前記第２検索範囲よりも広い商品検索装置。
【請求項２】
前記デザイン特徴量は、少なくとも一つのデザイン要素に関する特徴量である請求項１に記載の商品検索装置。
【請求項３】
前記デザイン要素は、色、柄、形及び質感のうち少なくともいずれか一つに基づく請求項２に記載の商品検索装置。
【請求項４】
前記第２検索範囲は、前記第１検索範囲の５０％以下の大きさを有する請求項１〜３のいずれか一項に記載の商品検索装置。
【請求項５】
前記第２検索範囲は、前記第２検索条件データに該当する前記デザイン特徴量のみを含む請求項１〜４のいずれか一項に記載の商品検索装置。
【請求項６】
前記ユーザ端末は撮像装置を備え、
前記検索条件画像は、前記撮像装置によって撮像される請求項１〜５のいずれか一項に記載の商品検索装置。
【請求項７】
前記検索条件画像は、前記ユーザ端末に保存されている画像の中から選ばれる請求項１〜５のいずれか一項に記載の商品検索装置。
【請求項８】
前記ユーザ端末は、前記デザイン特徴量に関する複数の候補であって当該複数の候補の中の一部をユーザに提示し、前記ユーザから少なくとも一つの前記デザイン特徴量の指定を受け付け、
前記第２検索部は、前記複数の候補の中から前記ユーザによって指定された前記デザイン特徴量に基づいて前記第２検索条件データを決定する請求項１〜７のいずれか一項に記載の商品検索装置。
【請求項９】
前記データベースは、前記複数の商品画像を、当該複数の商品画像の各々の前記デザイン特徴量を示す特徴量データを含むメタデータと関連付けて保存しており、
前記特徴量データは、前記複数の商品画像を解析する画像解析部によって取得される請求項１〜８のいずれか一項に記載の商品検索装置。
【請求項１０】
前記データベースには外部端末装置が接続され、前記データベースに保存されている前記メタデータは、当該外部端末装置を介して修正可能である請求項９に記載の商品検索装置。
【請求項１１】
前記複数の商品画像のうちの少なくとも一部は、前記外部端末装置を介して修正された前記メタデータと関連付けられて前記データベースに保存されている請求項１０に記載の商品検索装置。
【請求項１２】
ユーザ端末にネットワークを介して接続される商品検索装置によって行われる商品検索方法であって、
検索条件画像を解析して当該検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索するステップと、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索するステップと、を含み、
前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像が前記第１検索画像として検索され、
前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像が前記第２検索画像として検索され、
前記第１検索範囲は、前記第２検索範囲よりも広い商品検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は商品検索装置及び商品検索方法に係り、特に複数の商品画像の中から所望の商品画像を探し出す商品検索装置及び商品検索方法に関する。
【背景技術】
【０００２】
インターネット上におけるＥＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｍｍｅｒｃｅ）サイトにおいて洋服等の商品の検索を行う場合、一般に、価格、サイズ及び色等を指定することにより、商品の絞り込みを行うことができる。例えば、ユーザがウェブページ上において所望の洋服の色を指定すると、その指定された色に関連する洋服画像の一覧が表示さる。そして、ユーザは表示された洋服画像の一覧の中から所望の画像を選択することにより、選択された画像の洋服を購入することができる。【０００３】
このように膨大な商品群の中から所望商品を探し出すためには、その所望商品の特徴を表す検索キーを特定及び使用する必要があるが、商品の色等のデザインは感覚的な特徴であり、そのようなデザイン特徴を厳密に表現及び特定することは必ずしも容易ではない。例えば所望商品が赤系統の色を基調とするケースを想定すると、厳密には様々な種類の色が赤系統の色に分類される。そのため赤系統のうちの特定の色を基調とする商品が所望商品として求められているケースでは、専門知識を持たないユーザはその具体的な特定の色を検索キーとして適切に特定することができず、結局、多数の赤系統の商品の中から所望商品を探し出す必要が生じたり、最終的に所望商品を探し出せない場合もある。【０００４】
所望商品の特徴を適切に表現することができない上述のようなケースであっても、所望商品の検索を可能にするため、検索キーを画像解析によって取得する技術が知られている。例えば特許文献１に開示の検索案内システムでは、ユーザが端末装置を使って目的とする製品の画像を撮像し、その撮像された画像データが解析されて取得される特徴量情報が検索キーとして用いられる。この検索案内システムによれば、ユーザは、目的とする製品の画像を撮像可能であれば、その製品の名称等の詳細情報を把握していなくても、その製品に関する詳細情報を取得することができる。【０００５】
また膨大な商品群の中から所望商品を効率的に探し出すために、多段階の検索処理を行う技術が知られている。例えば特許文献２に開示のコンテンツ検索装置では、商品の全体的な形状、色及びテクスチャのうちの少なくとも１つを含む「グローバル特徴」に基づく画像検索処理と、商品の部分的な形状、サイズ、個数、位置、色及びテクスチャのうちの少なくとも１つを含む「ローカル特徴」に基づく画像検索処理とが行われる。このコンテンツ検索装置によれば、第１画像のグローバル特徴に類似する特徴を含む商品の画像検索後に、第２画像のローカル特徴に類似する特徴を含む商品の画像検索が行われ、ユーザが希望する商品とデザインが全体的及び部分的に類似する商品を効率的に検索することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１２２７５７号公報
【特許文献２】特開２０１４−１９１５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の検索案内システムのように画像解析により取得される検索キーを使った商品検索技術では、検索精度を高いレベルで維持することが難しい。すなわち検索を高精度に行うには適切な検索キーを使って検索を行う必要があるが、画像解析により検索キーを取得する場合には、解析対象の画像の状態や解析精度によって解析結果が大きく左右される。そのため画像解析により取得される検索キーには本来的に誤差が生じやすく、ユーザが希望する検索キーと画像解析により取得される検索キーとを常に完全一致させることは現実的には非常に難しい。【０００８】
また特許文献２に開示のコンテンツ検索装置のように多段階の検索処理を行って対象商品を絞り込む商品検索技術においても、検索を高精度に行うには適切な検索キーを特定する必要がある。しかしながら多段階の検索処理を行う場合にも、上述の従来技術と同様に所望商品の色等のデザイン特徴を適切に特定する必要があるが、そのような感覚的な特徴であるデザイン特徴を的確に特定することは必ずしも容易ではない。【０００９】
このように既存のシステムでは、検索精度が必ずしも十分ではなく、また専門的な知識を持たないユーザにとっては所望商品の感覚的なデザイン特徴を検索キーとして的確に特定することが難しく、利便性が低い。そのためユーザは、膨大な商品群の中から所望商品を見つけ出すのに多大な手間を要したり、検索対象の商品群の中に所望商品が含まれているにも関わらずその所望商品を結局見つけ出せない場合がある。【００１０】
本発明は上述の事情に鑑みてなされたものであり、多数の商品画像の中から所望の商品画像を簡便且つ精度良く見つけ出すことができる商品検索手法及びその応用技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様は、ユーザ端末にネットワークを介して接続される商品検索装置であって、検索条件画像を解析して検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索する第１検索部と、デザイン特徴量に関してユーザ端末を介して指定された第２検索条件データに基づいて、複数の第１検索画像の中から第２検索画像を検索する第２検索部と、を備え、第１検索部は、複数の商品画像の中から、デザイン特徴量を表す特徴空間において第１検索条件データを基準とした第１検索範囲に含まれるデザイン特徴量を有する画像を第１検索画像として検索し、第２検索部は、複数の第１検索画像の中から、特徴空間において第２検索条件データを基準とした第２検索範囲に含まれるデザイン特徴量を有する画像を第２検索画像として検索し、第１検索範囲は、第２検索範囲よりも広い商品検索装置に関する。【００１２】
本態様によれば、検索条件画像を解析して取得される第１検索条件データに基づいて多数の商品画像の中から簡便に複数の第１検索画像を検索することができ、またユーザ端末を介して指定された第２検索条件データに基づいて第２検索画像を精度良く検索することができる。特に第１検索範囲を第２検索範囲よりも広くすることで、検索条件画像の解析により取得される第１検索条件データに誤差があったとしても複数の第１検索画像の中に所望の商品画像を効果的に含めることができ、また第２検索範囲を第１検索範囲よりも狭くすることで、第２検索画像を所望の商品画像として効率良く絞り込むことができる。【００１３】
望ましくは、デザイン特徴量は、少なくとも一つのデザイン要素に関する特徴量である。すなわちデザイン特徴量は、一つのデザイン要素に関する特徴量であってもよいし、複数のデザイン要素に関する特徴量であってもよい。【００１４】
本態様によれば、少なくとも一つのデザイン要素に関する特徴量に基づいて、複数の第１検索画像及び第２検索画像を検索することができる。【００１５】
望ましくは、デザイン要素は、色、柄、形及び質感のうち少なくともいずれか一つに基づく。【００１６】
本態様によれば、色、柄、形及び質感のうち少なくともいずれか一つに基づくデザイン要素に関する特徴量を基礎として、複数の第１検索画像及び第２検索画像を検索することができる。【００１７】
望ましくは、第２検索範囲は、第１検索範囲の５０％以下の大きさを有する。【００１８】
本態様によれば、検索精度を向上させて、第２検索画像を所望の商品画像として効率良く絞り込むことができる。なお第２検索画像を効率良く絞り込む観点からは、第２検索範囲は、第１検索範囲の３０％以下の大きさを有することがより好ましく、第１検索範囲の１０％以下の大きさを有することが更に好ましい。【００１９】
望ましくは、第２検索範囲は、第２検索条件データに該当するデザイン特徴量のみを含む。【００２０】
本態様によれば、第２検索画像を所望の商品画像として非常に効率良く絞り込むことができる。【００２１】
望ましくは、ユーザ端末は撮像装置を備え、検索条件画像は、撮像装置によって撮像される。【００２２】
本態様によれば、撮像装置によって撮像される検索条件画像に基づいて、複数の第１検索画像を簡便に検索することができる。【００２３】
望ましくは、検索条件画像は、ユーザ端末に保存されている画像の中から選ばれる。【００２４】
本態様によれば、ユーザ端末に保存されている画像の中から選ばれる検索条件画像に基づいて、複数の第１検索画像を簡便に検索することができる。【００２５】
望ましくは、ユーザ端末は、デザイン特徴量に関する複数の候補であって複数の候補の中の一部をユーザに提示し、ユーザから少なくとも一つのデザイン特徴量の指定を受け付け、第２検索部は、複数の候補の中からユーザによって指定されたデザイン特徴量に基づいて第２検索条件データを決定する。【００２６】
本態様によれば、複数の候補の中からユーザによって指定されたデザイン特徴量に基づいて直感的且つ簡便に第２検索画像を検索することができる。【００２７】
望ましくは、データベースは、複数の商品画像を、複数の商品画像の各々のデザイン特徴量を示す特徴量データを含むメタデータと関連付けて保存しており、特徴量データは、複数の商品画像を解析する画像解析部によって取得される。【００２８】
本態様によれば、商品画像を解析することで取得される特徴量データに基づいて、複数の第１検索画像及び第２検索画像を精度良く検索することができる。【００２９】
望ましくは、データベースには外部端末装置が接続され、データベースに保存されているメタデータは、外部端末装置を介して修正可能である。【００３０】
望ましくは、複数の商品画像のうちの少なくとも一部は、外部端末装置を介して修正されたメタデータと関連付けられてデータベースに保存されている。【００３１】
これらの態様によれば、複数の商品画像の特徴量データの精度を容易且つ確実に向上させることができる。【００３２】
本発明の他の態様は、ユーザ端末にネットワークを介して接続される商品検索装置によって行われる商品検索方法であって、検索条件画像を解析して検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索するステップと、デザイン特徴量に関してユーザ端末を介して指定された第２検索条件データに基づいて、複数の第１検索画像の中から第２検索画像を検索するステップと、を含み、複数の商品画像の中から、デザイン特徴量を表す特徴空間において第１検索条件データを基準とした第１検索範囲に含まれるデザイン特徴量を有する画像が第１検索画像として検索され、複数の第１検索画像の中から、特徴空間において第２検索条件データを基準とした第２検索範囲に含まれるデザイン特徴量を有する画像が第２検索画像として検索され、第１検索範囲は、第２検索範囲よりも広い商品検索方法に関する。
【発明の効果】
【００３３】
本発明によれば、検索条件画像を解析して取得される第１検索条件データに基づいて多数の商品画像の中から簡便に複数の第１検索画像を検索することができ、またユーザ端末を介して指定された第２検索条件データに基づいて第２検索画像を精度良く検索することができる。特に第１検索範囲を第２検索範囲よりも広くすることで、検索条件画像の解析により取得される第１検索条件データに誤差があったとしても、複数の第１検索画像の中に所望の商品画像を効果的に含めることができる。また第２検索範囲を第１検索範囲よりも狭くすることで、第２検索画像を所望の商品画像として効率良く絞り込むことができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、商品検索システムの概念図である。
【図２】図２は、ユーザ端末の機能構成例を示すブロック図である。
【図３】図３は、商品検索装置の機能構成例を示すブロック図である。
【図４】図４は、データベースに保存される画像データ及びメタデータの対応関係を示すデータ構造の概念図である。
【図５】図５は、メタデータの構成データ例を示すデータ構造の概念図である。
【図６】図６は、検索コントローラの機能構成例を示すブロック図である。
【図７】図７は、第１検索部による検索範囲と第２検索部による検索範囲との関係を例示する図であり、単一のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量）によって表される一次元的な特徴空間を示す。
【図８】図８は、第１検索部による検索範囲と第２検索部による検索範囲との関係を例示する他の図であり、二種類のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量及び第２のデザイン特徴量）によって表される二次元的な特徴空間を示す。
【図９】図９は、第１検索部による検索範囲と第２検索部による検索範囲との関係を例示する他の図であり、三種類のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量、第２のデザイン特徴量及び第３のデザイン特徴量）によって表される三次元的な特徴空間を示す。
【図１０】図１０は、商品検索装置によって行われる商品検索方法の処理フローの一例を示すフローチャートである。
【図１１】図１１は、商品画像の検索処理が行われる際のユーザ端末における処理フローの一例を示すフローチャートである。
【図１２】図１２は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１３】図１３は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１４】図１４は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１５】図１５は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１６】図１６は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１７】図１７は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１８】図１８は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図１９】図１９は、商品画像の検索処理が行われる際のユーザ端末の表示部における表示例を示す図である。
【図２０】図２０は、スマートフォンの外観を示す図である。
【図２１】図２１は、図２０に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
図面を参照して本発明の一実施形態について説明する。以下の実施形態は「洋服」を商品として画像を検索する例に関するが、検索対象は洋服には限定されず、他の任意の商品を検索する場合にも本発明を応用することが可能である。
【００３６】
図１は、商品検索システム１０の概念図である。本実施形態に係る商品検索システム１０は、ユーザ端末１２と、インターネット等のネットワーク１３を介して各ユーザ端末１２に接続される商品検索装置（サーバー装置）１１とを備える。
【００３７】
ユーザ端末１２は、ユーザが洋服等の商品を検索する際に操作する端末であり、例えばスマートフォン、タブレットデバイス等のポータブル端末及びパソコンなどの形態をとりうる。
【００３８】
商品検索装置１１は、各ユーザ端末１２と共にクライアントサーバーモデルを構築し、ネットワーク１３を介してユーザ端末１２から送られてくる指令に応じて商品検索を行い、ネットワーク１３を介して検索結果をユーザ端末１２に返す。
【００３９】
この商品検索システム１０において、まずユーザ端末１２の機能構成について説明する。
【００４０】
図２は、ユーザ端末１２の機能構成例を示すブロック図である。
【００４１】
本例のユーザ端末１２は、端末通信部２０、端末コントローラ２１、端末入力部２２、表示制御部２３、表示部２４、撮像装置２５及び端末メモリ２６を有する。
【００４２】
端末通信部２０は、端末コントローラ２１の制御下で、ネットワーク１３を介して商品検索装置１１との間でデータ類の送受信を行い、端末コントローラ２１から受信したデータ類を商品検索装置１１に送信する一方で、商品検索装置１１から受信したデータ類を端末コントローラ２１に送信する。
【００４３】
端末入力部２２は、データ類を入力するためにユーザによって直接的に操作される部分であり、ユーザ操作に応じて入力されるコマンド等を含むデータ類を端末コントローラ２
１に送信する。端末入力部２２は、典型的にはマウスやキーボード等の各種デバイスによって構成されるが、特に限定されず、ハードウェア及び／又はソフトウェアによって構成可能である。例えばユーザ端末１２がスマートフォンやタブレット端末等のポータブル端末の場合、タッチパネルを利用したソフトウェアキーによって端末入力部２２が構成されてもよいし、ユーザ端末１２に設けられるボタン類等のハードウェアキーによって端末入力部２２が構成されてもよいし、そのようなソフトウェアキー及びハードウェアキーの組み合わせによって端末入力部２２が構成されてもよい。
【００４４】
例えば、ユーザ端末１２の表示部２４（液晶ディスプレイ等）と一体的に設けられるタッチパネルによって端末入力部２２が構成される場合、ユーザは表示部２４上の透明なタッチパネルをタッチすることによって端末入力部２２を操作することができる。端末コントローラ２１は、タッチパネル上におけるタッチ位置やタッチ動作（例えばタップ動作、ダブルタップ動作、スワイプ動作、フリック動作、ピンチ動作及びドラッグ動作等を含む）に応じてタッチパネル（端末入力部２２）から送られてくる操作信号に基づいて、ユーザによる各種処理の選択及び指定等の入力を認識することが可能である。
【００４５】
表示制御部２３は、端末コントローラ２１によって制御され、表示部２４を制御して表示部２４における表示全般をコントロールする。例えば商品検索装置１１からユーザ端末１２（端末通信部２０）に送られてくる商品画像の検索結果や各商品に関する情報、撮像装置２５によって撮像される画像、端末メモリ２６に保存されている各種の情報や画像、或いは端末入力部２２を介してユーザにより入力されるデータ類等が、表示制御部２３の制御下で表示部２４に表示されうる。本例においては端末コントローラ２１や表示制御部２３は、一つ又は複数のＣＰＵ（Central Processing Unit）により構成される。また、ＨＤＤ（Hard disc drive）やＳＳＤ（Solid State Drive）等により構成される端末メモリ２６に記録されている、各種プログラムがＣＰＵにより実行されることによって、ユーザ端末は動作する。
【００４６】
撮像装置２５は、光学系（撮像レンズ及び絞り等）及び撮像素子等を備え、端末コントローラ２１の制御下で任意の被写体の画像を撮像することができ、例えば上述の端末入力部２２を撮像装置２５のシャッターボタンとして好適に使用可能である。撮像装置２５によって取得される撮像画像は、端末コントローラ２１に送られ、端末通信部２０を介して商品検索装置１１にデータ送信されたり、表示制御部２３を介して表示部２４に表示されたり、端末メモリ２６に保存されたりする。なお撮像装置２５によって取得される撮像画像は、商品検索装置１１における商品画像の検索処理の基礎画像となる後述の「検索条件画像」として使用されてもよい。
【００４７】
端末メモリ２６は各種のデータ類を保存し、端末コントローラ２１によって端末メモリ２６に対するデータ類の読込処理及び書込処理が行われる。端末コントローラ２１は、例えば端末コントローラ２１等の各種デバイスの制御プログラム、商品検索装置１１から送られてくるデータ類、及びユーザ端末１２を構成する撮像装置２５等の各種デバイスから送られてくるデータ類を端末メモリ２６に保存しておくことができ、また端末メモリ２６から読み出すことができる。端末メモリ２６は、単一の記憶部によって構成されてもよいし、複数の記憶部によって構成されてもよく、端末メモリ２６の記録方式及び構成部材は特に限定されない。
【００４８】
端末コントローラ２１は、端末通信部２０、端末入力部２２、表示制御部２３、撮像装置２５、端末メモリ２６及びユーザ端末１２を構成するその他のデバイスを制御し、ユーザ端末１２を構成する各種デバイスとの間でデータ類の送受信を行ったり、また端末通信部２０を介して商品検索装置１１との間でデータ類の送受信を行ったり、各種処理を行ったりする。特に本例の端末コントローラ２１は、後述の商品画像の検索に必要な各種処理を、商品検索装置１１（後述の検索コントローラ３１）と協働して行う。
【００４９】
次に、商品検索装置１１の機能構成について説明する。
【００５０】
図３は、商品検索装置１１の機能構成例を示すブロック図である。
【００５１】
本例の商品検索装置１１は、サーバー通信部３０、検索コントローラ３１、データベース３２及び画像解析部３３を有する。図３にはサーバー通信部３０、検索コントローラ３１、データベース３２及び画像解析部３３が一体的に設けられる例が示されているが、商品検索装置１１は複数のサーバーが組み合わされて構成されてもよく、例えば「検索コントローラ３１及びサーバー通信部３０」と「データベース３２及び画像解析部３３」とが別体として設けられてもよい。本例において、検索コントローラ３１や画像解析部３３は一つ又は複数のＣＰＵ（Central Processing Unit）により構成される。また、図示しない記憶領域に記録されているソフトウェアがＣＰＵにより実行されることによって、検索コントローラ３１や画像解析部３３を含む商品検索装置１１が動作する。
【００５２】
サーバー通信部３０は、検索コントローラ３１の制御下で、ネットワーク１３を介して各ユーザ端末１２との間でデータ類の送受信を行い、検索コントローラ３１から受信したデータ類をユーザ端末１２に送信する一方で、ユーザ端末１２から受信したデータ類を検索コントローラ３１に送信する。
【００５３】
ＨＤＤなどにより構成されるデータベース３２は、複数の商品画像を、それらの複数の商品画像の各々のデザイン特徴量を示す特徴量データを含むメタデータ（タグ情報）と関連付けて保存する。
【００５４】
図４は、データベース３２に保存される画像データＩ及びメタデータＭの対応関係を示すデータ構造の概念図である。図５は、メタデータＭの構成データ例を示すデータ構造の概念図である。
【００５５】
データベース３２に記憶される商品の画像データＩには、その商品のデザイン特徴量を示す特徴量データＤ２を含むメタデータＭが付加されている。そして、データベース３２には、各商品の画像データＩにメタデータＭが関連付けられた画像情報データＤ１が保存されている。
【００５６】
各商品の画像データＩは該当商品を撮像することで取得される。また各商品の画像データＩに関連付けられるメタデータＭに含まれる商品の特徴量データＤ２は、該当商品の画像データＩを解析することにより取得される。
【００５７】
すなわちメタデータＭには、商品のデザイン特徴量を示す特徴量データＤ２及び商品の特性を表すその他の特性データが含まれる。商品のデザイン特徴量は、一又は複数のデザイン要素に関する特徴量であり、例えば色、柄、形及び質感のうち少なくともいずれか一つに基づくデザイン要素に関する特徴量によって特徴量データＤ２を定めることができる。本例の特徴量データＤ２には、商品の画像データＩを解析することで取得可能な商品の色データＭ１、商品の柄データＭ２、商品の質感データＭ３及び商品の形データＭ４が含まれる。色データＭ１は例えばＲＧＢ（赤緑青）データに基づいて特定可能であり、柄データＭ２は例えば柄密度及び柄サイズに基づいて特定可能であり、質感データＭ３は例えば光沢度及び透け度に基づいて特定可能である。また形データＭ４は、例えば全体の幅（細い−太い）、袖の大きさ（短い−長い）、丈の大きさ（短い−長い）、ネックライン（襟ぐり）の幅及び高さ、ネックラインによって規定されユーザの頭部を通過させるための空間の断面積（小さい−大きい）、Ｖ型ネックの角度（小さい−大きい）及びＵ型ネックの曲率（小さい−大きい）等に基づいて特定可能である。
【００５８】
なお特徴量データＤ２の基礎となるデザイン要素は上述の色、柄、形及び質感には限定されず、これらの要素を更に細分化する指標や他の要素に基づいて特徴量データＤ２が定められてもよい。したがって例えば色データＭ１は、色の三属性である色相、彩度及び明度のうちの一又は複数の要素に基づいて定められてもよい。またメタデータＭに含まれるその他の特性データも特に限定されず、画像データＩの解析以外の手法によって決定可能な情報データがメタデータＭに含まれていてもよく、例えば該当商品の価格、サイズ及び提供元等の各種のデータがメタデータＭに含まれうる。また、デザイン要素の一例として、色の組み合わせ等を、「The COLORING BOOK 配色辞典」（河出書房新社、ISBN：978-4-309-26181-2）、又は「カラー・コーディネイション」（河出書房新社、ISBN 4-309-26067-5）等を参考にして、特徴量データを定めても良い。
【００５９】
特徴量データＤ２は任意の手法によって取得可能であるが、本例では複数の商品画像を解析する画像解析部３３（図３参照）によって特徴量データＤ２が取得される。すなわち画像解析部３３は、画像データＩを解析して特徴量データＤ２を取得し、取得した特徴量データＤ２をメタデータＭに加え、画像データＩとメタデータＭとを相互に関連付けた状態でデータベース３２に記憶させる。画像解析部３３による解析対象の画像データＩの取得手法は特に限定されず、画像解析部３３は、例えばデータベース３２に保存されている画像情報データＤ１（画像データＩ）を読み込むことで解析対象の画像データＩを取得してもよいし、ネットワーク１３等を介して外部から解析対象の画像データＩを取得してもよい。画像解析部３３が取得する特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、Ｊｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量、ＥＯＨ特徴量、ＨＯＧ特徴量などを公知の特徴量を利用することができる。また、係る特徴量とＡｄａｂｏｏｓｔ等の公知の機械学習手法によって構築された判別器を用いて、メタデータＭへ加える特徴量を判別することができる。
【００６０】
なお図３に示すように、本例のデータベース３２にはネットワーク１３等を介して外部端末装置３５が接続され、データベース３２に保存されている画像情報データＤ１（画像データＩ及びメタデータＭ）は外部端末装置３５を介して修正可能である。例えば画像解析部３３による画像解析の結果に不備があり、データベース３２に保存されている画像情報データＤ１のメタデータＭに含まれる特徴量データＤ２が不適切な場合であっても、ユーザ（人）は外部端末装置３５を介してメタデータＭ（特徴量データＤ２）を修正することができる。これにより複数の商品画像のうちの少なくとも一部を、外部端末装置３５を介して修正されたメタデータＭと関連付けられてデータベース３２に保存することができ、画像解析部３３による解析処理の結果が不正確であっても、適切なメタデータＭ（特徴量データＤ２）を画像データＩと関連付けてデータベース３２に保存することができる。なお外部端末装置３５は画像解析部３３と別体として設けられてもよいし、単一の装置を外部端末装置３５及び画像解析部３３として機能させてもよい。
【００６１】
検索コントローラ３１は、サーバー通信部３０、データベース３２、画像解析部３３及び商品検索装置１１を構成するその他のデバイスを制御し、特に本例ではユーザ端末１２（端末コントローラ２１）と協働して商品画像の検索処理を行う。
【００６２】
図６は、検索コントローラ３１の機能構成例を示すブロック図である。本例の検索コントローラ３１は、システム制御部４０、第１検索部４１及び第２検索部４２を備える。
【００６３】
システム制御部４０は、第１検索部４１及び第２検索部４２によって行われる検索処理以外の処理全般をコントロールし、例えばサーバー通信部３０及びネットワーク１３を介したユーザ端末１２とのデータ通信やデータベース３２に対するデータ保存及びデータ読み出し等の処理を行う。
【００６４】
第１検索部４１及び第２検索部４２は商品検索装置１１における検索処理部を構成し、第１検索部４１及び第２検索部４２の各々による商品画像の検索処理の結果は、サーバー通信部３０及びネットワーク１３を介してユーザ端末１２に送信される。
【００６５】
第１検索部４１は、検索条件画像（後述の図１５参照）を解析してその検索条件画像のデザイン特徴量を示す第１検索条件データを取得し、その第１検索条件データに基づいて、データベース３２に保存されている複数の商品画像（画像データＩ）の中から複数の第１検索画像を検索する。より具体的には第１検索部４１は、データベース３２に保存されている複数の商品に関する画像情報データＤ１を参照し、メタデータＭの特徴量データＤ２が「第１検索条件データに基づいて定められる検索範囲（後述の図７〜図９（特に第１検索範囲Ｒ１）参照）」に含まれる商品の画像データＩを第１検索画像として特定する。
【００６６】
第１検索部４１の検索処理によって特定された複数の第１検索画像のデータはサーバー通信部３０及びネットワーク１３を介してユーザ端末１２に送信され、ユーザ端末１２の表示部２４に第１検索画像が表示される（後述の図１６参照）。
【００６７】
なお第１検索部４１において解析される検索条件画像は、ユーザ端末１２からネットワーク１３を介して第１検索部４１（商品検索装置１１）に提供されるデータであり、第１検索部４１により行われる第１の検索処理の検索キーを特定するためにユーザによって指定される画像である。この検索条件画像の取得方法は特に限定されない。例えば、ユーザがユーザ端末１２を操作して、ユーザ端末１２の端末メモリ２６に保存されている画像を検索条件画像として商品検索装置１１（第１検索部４１）に送信してもよいし、ユーザ端末１２の撮像装置２５によって取得される撮像画像を検索条件画像として商品検索装置１１（第１検索部４１）に送信してもよい。
【００６８】
また検索条件画像の解析手法も特に限定されない。例えば、第１検索部４１（商品検索装置１１）が検索条件画像の中から解析対象として相応しい部分を特定してもよいし、ユーザがユーザ端末１２を介して検索条件画像の中から解析対象とする部分をＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）として特定してもよい（後述の図１５（特にＲＯＩ指定部Ｐ７）参照）。ただし、いずれにしても、第１検索部４１による検索処理の検索キーとなる第１検索条件データは、ユーザのマニュアルでの修正を伴うことなく第１検索部４１による画像解析によって自動的に取得される。
【００６９】
一方、図６に示される第２検索部４２は、商品のデザイン特徴量に関してユーザ端末１２を介して指定された第２検索条件データに基づいて、複数の第１検索画像の中から第２検索画像を検索する。より具体的には第２検索部４２は、データベース３２に保存されている複数の商品に関する画像情報データＤ１を参照し、メタデータＭの特徴量データＤ２が「第２検索条件データに基づいて定められる検索範囲（後述の図７〜図９（特に第２検索範囲Ｒ２）参照）」に含まれる商品の画像データＩを第２検索画像として特定する。第２検索部４２による第２の検索処理によって見つけ出される第２検索画像は、単数であってもよいし複数であってもよい。
【００７０】
この第２検索条件データは、第１検索部４１の検索処理の検索キーとなる第１検索条件データと同じデザイン要素に基づくデザイン特徴量に関することが好ましく、少なくとも第１検索条件データのデザイン特徴量の基礎となるデザイン要素の一部を含むことが好ましい。また第２検索条件データは、第１検索条件データと共通するデザイン要素に関し、上述の第１検索部４１による「第１検索条件データに基づいて定められる検索範囲（後述の図７〜図９（特に第１検索範囲Ｒ１）参照）」に含まれる。
【００７１】
第２検索部４２の検索処理によって特定された第２検索画像のデータはサーバー通信部３０及びネットワーク１３を介してユーザ端末１２に送信され、ユーザ端末１２の表示部２４に第２検索画像が表示される。
【００７２】
なお第１検索部４１及び第２検索部４２における検索処理の基礎となるデザイン特徴量は、少なくとも一つのデザイン要素に関する特徴量であり、一つのデザイン要素に関する特徴量であってもよいし、複数のデザイン要素に関する特徴量であってもよい。またデザイン特徴量の基礎を構成するデザイン要素は、例えば商品画像における商品の色、柄、形及び質感のうち少なくともいずれか一つに基づくことが好ましい。したがって第１検索部４１及び第２検索部４２は、例えば商品の「色」のみを検索キーとして第１検索画像及び第２検索画像の検索を行ってもよいし、商品の「色」及び「柄」の組み合わせを検索キーとして第１検索画像及び第２検索画像の検索を行ってもよい。
【００７３】
また本例では、第１検索部４１及び第２検索部４２は類似度評価により画像検索を行うが、第２検索部４２による検索範囲に比べて第１検索部４１による検索範囲は広く設定される。すなわち第１検索部４１は、複数の商品画像の中から、デザイン特徴量を表す特徴空間において第１検索条件データを基準とした第１検索範囲に含まれるデザイン特徴量を有する画像を第１検索画像として検索する。また第２検索部４２は、複数の第１検索画像の中から、デザイン特徴量を表す特徴空間において第２検索条件データを基準とした第２検索範囲に含まれるデザイン特徴量を有する画像を第２検索画像として検索する。そして第１検索部４１の第１検索範囲は第２検索部４２の第２検索範囲よりも広く設定される。
【００７４】
図７は、第１検索部４１による検索範囲と第２検索部４２による検索範囲との関係を例示する図であり、単一のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量）によって表される一次元的な特徴空間４４を示す。ここで言う「第１のデザイン特徴量」は特に限定されず、第１検索部４１及び第２検索部４２の各々による検索処理が例えば商品の「色」のみ、「柄」のみ、「形」のみ或いは「質感」のみによって行われるケースに対し、図７に示す例を適用することが可能である。
【００７５】
本例において、第１検索部４１による検索範囲である第１検索範囲Ｒ１は、第１検索条件データＣ１を基準として定められる範囲である。そのため第１検索部４１は、検索条件画像によって定められる第１検索条件データＣ１だけではなく、第１検索条件データＣ１を包含する第１検索範囲Ｒ１に含まれる第１のデザイン特徴量（例えば「色」等の特徴量）を有する画像を第１検索画像として探し出す類似検索を行う。
【００７６】
例えば第１検索条件データが色を規定するカラーパレット番号によって特定される場合、第１検索部４１は、検索条件画像を解析して検索条件画像の色を表すカラーパレット番号を特定する。そして第１検索部４１は、色空間に基づく特徴空間４４上において「検索条件画像の色のカラーパレット番号」から所定の近傍距離以下に配置されるカラーパレット番号を近傍カラーパレット番号として特定する。すなわち第１検索部４１は、「検索条件画像の色のカラーパレット番号」を第１検索条件データＣ１とすることで定められる第１検索範囲Ｒ１を決定し、その第１検索範囲Ｒ１に含まれるカラーパレット番号を近傍カラーパレット番号として特定する。そして第１検索部４１は、データベース３２に保存される画像情報データＤ１のメタデータＭの色データＭ１を参照し、第１検索範囲Ｒ１に含まれるカラーパレット番号（近傍カラーパレット番号）に該当する画像（画像データＩ）を第１検索画像として選定する。
【００７７】
なお本例の第１検索範囲Ｒ１は、第２検索部４２の第２検索範囲Ｒ２と比べて広く設定され、検索条件画像の解析により取得される第１検索条件データＣ１に誤差があったとしても複数の第１検索画像の中に所望の商品画像を効果的に含めることができる。したがって第１検索範囲Ｒ１は検索条件画像の解析精度に応じて決定されてもよく、第１検索部４１は、検索条件画像の状態及び取得条件等に応じて第１検索範囲Ｒ１を決定してもよい。
【００７８】
一方、第２検索部４２による検索範囲である第２検索範囲Ｒ２は、第２検索条件データＣ２を基準として定められる範囲である。第２検索部４２は、ユーザ端末１２を介してユーザにより指定される第２検索条件データＣ２だけではなく、第２検索条件データＣ２を包含する第２検索範囲Ｒ２に含まれる第１のデザイン特徴量（例えば「色」等の特徴量）を有する画像を第２検索画像として探し出す類似検索を行う。この第２検索部４２の第２検索範囲Ｒ２は第１検索部４１の第１検索範囲Ｒ１に包含され、第１検索範囲Ｒ１よりも狭くなるように設定される。このように第２検索部４２の検索範囲である第２検索範囲Ｒ２を第１検索部４１の検索範囲である第１検索範囲Ｒ１よりも狭めることで、第２検索部４２による検索処理によって商品画像の絞り込みを効率良く行うことができる。
【００７９】
なお第１検索範囲Ｒ１及び第２検索範囲Ｒ２の具体的な範囲は特に限定されないが、特徴空間４４において、第１検索範囲Ｒ１の境界を定める類似度評価の閾値と第１検索条件データＣ１との距離よりも、第２検索範囲Ｒ２の境界を定める類似度評価の閾値と第２検索条件データＣ２との距離の方が小さいことが好ましい。例えば商品画像の絞り込みを効率良く行う観点からは、第２検索範囲Ｒ２は第１検索範囲Ｒ１の５０％以下の大きさを有することが好ましく、３０％以下の大きさを有することがより好ましく、１０％以下の大きさを有することが更に好ましい。また、第２検索部４２の検索処理によって探し出される商品画像の数を抑える観点からは、第２検索範囲Ｒ２が第２検索条件データＣ２に該当する第１のデザイン特徴量のみを含み、第２検索部４２は第２検索条件データＣ２に該当する商品画像のみを第２検索画像として選定することが好ましい。
【００８０】
上述のように、本例の検索処理は第１検索部４１による第１の検索処理と第２検索部４２による第２の検索処理とを含み、第１の検索処理は「検索条件画像が解析されることで取得される第１検索条件データ」に基づいて行われ、第２の検索処理は「ユーザ端末１２を介してユーザにより指定される第２検索条件データ」に基づいて行われる。そのためユーザは、検索条件画像を使った第１の検索処理によって、所望の商品画像の検索を直感的且つ簡便に行うことができる。またユーザは、ユーザ端末１２を介して指定した第２検索条件データを使った第２の検索処理によって、対象の商品画像を効率的に絞り込んで所望の商品画像を精度良く特定することができる。このように上述の第１の検索処理と第２の検索処理とを併用することによって、第１の検索処理における第１検索条件データを検索条件画像から精度良く決定することができない場合であっても、第２の検索処理によってユーザが期待する商品の画像を的確に見つけ出すことができる。特に、第１検索部４１による検索精度が良くない場合には、第１検索範囲Ｒ１を比較的広く設定して第１検索部４１による検索数が多くなるようにすることで、第２検索部４２による検索処理によってユーザが期待する所望の商品画像を精度良く簡便に探し出すことができる。
【００８１】
なお図７には、第１検索部４１及び第２検索部４２の検索処理で考慮されるデザイン特徴量が一つのデザイン要素に関する特徴量（図７の「第１のデザイン特徴量」参照）である例が示されているが、第１検索部４１及び第２検索部４２の検索処理で考慮されるデザイン特徴量は、複数のデザイン要素に関する特徴量であってもよく、例えば色、柄、形及び質感のうち少なくともいずれか一つに基づくデザイン要素に関する特徴量であってもよい。
【００８２】
図８は、第１検索部４１による検索範囲と第２検索部４２による検索範囲との関係を例示する他の図であり、二種類のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量及び第２のデザイン特徴量）によって表される二次元的な特徴空間４４を示す。図９は、第１検索部４１による検索範囲と第２検索部４２による検索範囲との関係を例示する他の図であり、三種類のデザイン要素に基づくデザイン特徴量（第１のデザイン特徴量、第２のデザイン特徴量及び第３のデザイン特徴量）によって表される三次元的な特徴空間４４を示す。
【００８３】
図８及び図９に示す例においても、第１検索部４１による検索範囲である第１検索範囲Ｒ１を第２検索部４２による検索範囲である第２検索範囲Ｒ２よりも広くすることで、「利便性の高い直感的な検索処理によって所望の商品画像を含む複数の第１検索画像を効果的に探し出すことができる第１の検索処理」を行うことができる一方で、その第１の検索処理を補完する「検索精度の高い第２の検索処理」を行うことができる。
【００８４】
次に、商品検索装置１１における検索処理フローを、図１０を参照して説明する。
【００８５】
図１０は、商品検索装置１１によって行われる商品検索方法の処理フローの一例を示すフローチャートである。
【００８６】
商品検索装置１１では、まずネットワーク１３を介してユーザ端末１２から送信されてくる検索条件画像のデータがサーバー通信部３０により受信され、第１検索部４１（検索コントローラ３１）により検索条件画像のデータが取得される（図１０のステップＳ１１）。
【００８７】
そして第１検索部４１により、検索条件画像が解析されて検索条件画像のデザイン特徴量を示す第１検索条件データが取得され（Ｓ１２）、第１検索条件データに基づいて、データベース３２に保存されている複数の商品画像の中から複数の第１検索画像が検索される（Ｓ１３）。
【００８８】
このようにして検索された複数の第１検索画像のデータは、第１検索部４１（検索コントローラ３１）からサーバー通信部３０を介してユーザ端末１２に送信され（Ｓ１４）、第１の検索処理が完了する。
【００８９】
その後、商品検索装置１１では、デザイン特徴量に関してユーザ端末１２を介して指定された第２検索条件データがサーバー通信部３０により受信され、第２検索部４２（検索コントローラ３１）により第２検索条件データが取得される（Ｓ１５）。そして第２検索部４２により、第２検索条件データに基づいて、複数の第１検索画像の中から第２検索画像が検索される（Ｓ１６）。このようにして検索された第２検索画像のデータは、第２検索部４２（検索コントローラ３１）からサーバー通信部３０を介してユーザ端末１２に送信され（Ｓ１７）、第２の検索処理が完了する。
【００９０】
次に、ユーザ端末１２における検索処理フローを、図１１〜図１８を参照して説明する。
【００９１】
図１１は、商品画像の検索処理が行われる際のユーザ端末１２における処理フローの一例を示すフローチャートである。図１２〜図１８は、商品画像の検索処理が行われる際のユーザ端末１２の表示部２４における表示例を示す図である。
【００９２】
以下では、便宜上、第１検索条件データ及び第２検索条件データの各々が「色」のデザイン特徴量に基づく例、とりわけ色の種類に応じて定められるカラーパレット番号に基づく例について説明する。ただし以下の例は、色以外のデザイン特徴量に基づいて第１検索条件データ及び第２検索条件データが定められるケースにも応用することができ、また複数のデザイン要素に関するデザイン特徴量に基づいて第１検索条件データ及び第２検索条件データが定められるケースにも応用することができる。
【００９３】
ユーザ端末１２では、まず検索条件画像の取得方法が決定される（図１１のステップＳ２１）。本例では、検索条件画像が撮像装置２５によって撮像されるモード（以下、「撮像モード」とも称する）と、検索条件画像がユーザ端末１２（端末メモリ２６）に保存されている画像の中から選ばれるモード（以下、「画像読込モード」とも称する）とが存在し、ユーザ端末１２のユーザは、撮像画像モード及び保存画像モードのいずれかを選択することができる。
【００９４】
図１２に示す例では、撮像モードを示すアイコンである撮像モード指定部Ｐ１と、画像読込モードを示すアイコンである画像読込モード指定部Ｐ２とが、ユーザ端末１２の表示部２４に表示される。ユーザは、端末入力部２２を操作して撮像モード指定部Ｐ１及び画像読込モード指定部Ｐ２のいずれかを指定することで、撮像モード及び画像読込モードのうちの希望するモードを選択することができる。ユーザによって選択されたモードの情報は、端末入力部２２からの操作信号に応じて端末コントローラ２１において特定され、端末コントローラ２１はユーザによって選択されるモードを検索条件画像の取得方法として決定する。
【００９５】
検索条件画像の取得方法が決定されると、ユーザ端末１２では検索条件画像が特定される（Ｓ２２）。
【００９６】
例えば撮像モードが選択された場合、端末コントローラ２１は撮像装置２５及び表示制御部２３を制御して撮像モードに移行し、検索条件画像の撮像をユーザに促す。撮像モードにおけるユーザ端末１２の表示部２４の表示態様は特に限定されず、表示制御部２３は例えば図１３に示すようなライブビュー画像Ｐ３やシャッター指示部等の操作指示画像Ｐ４を表示部２４に表示させてもよい。ユーザは、例えば雑誌に掲載された洋服画像等をユーザ端末１２（撮像装置２５）で撮像することで、簡便に検索条件画像を特定することができる。なお撮像モードにおいて撮像装置２５により撮像された画像のデータは、端末コントローラ２１によって端末メモリ２６に保存されてもよいし、端末メモリ２６には保存されずに端末コントローラ２１内の図示しないメモリに一時的に記憶保持されてもよい。
【００９７】
一方、画像読込モードが選択された場合、端末コントローラ２１は端末メモリ２６及び表示制御部２３を制御して画像読込モードに移行し、端末メモリ２６に保存されている画像の中から検索条件画像の選択を行うことをユーザに促す。画像読込モードにおけるユーザ端末１２の表示部２４の表示態様は特に限定されず、表示制御部２３は例えば図１４に示すように端末メモリ２６に保存されている保存画像Ｐ５を表示部２４に表示させてもよい。なお、図１４に示す例では複数（６個）の保存画像Ｐ５の一覧が表示部２４に表示されているが、単一の保存画像Ｐ５が表示部２４に表示されてもよいし、他の情報が保存画像Ｐ５と共に表示部２４に表示されてもよい。ユーザは、端末入力部２２を介し、表示部２４に表示される保存画像Ｐ５の中から任意の画像を指定することにより、簡便に検索条件画像を特定することができる。
【００９８】
このようにして特定された検索条件画像のデータは、端末コントローラ２１から端末通信部２０を介して商品検索装置１１に送信され（Ｓ２３）、商品検索装置１１（第１検索部４１）における第１の検索処理に使用される。上述のように第１の検索処理の検索キーとなる第１検索条件データは検索条件画像が解析されて取得されるが、検索条件画像のうちの具体的な解析部分は、商品検索装置１１（第１検索部４１）において決定されてもよいし、ユーザによりユーザ端末１２を介して決定されてもよい。例えば商品検索装置１１（第１検索部４１）によって検索条件画像の解析部分を決定する場合、第１検索部４１は、任意の解析手法に基づいて検索条件画像の中から解析対象として相応しい部分を特定し、その特定した部分を解析することにより第１検索条件データを取得することができる。
【００９９】
一方、ユーザによりユーザ端末１２を介して検索条件画像の解析部分を決定する場合、ユーザ端末１２は例えば図１５に示すような画像を表示部２４に表示して、検索条件画像のうちの具体的な解析部分の指定をユーザに促してもよい。すなわち端末コントローラ２１は、表示制御部２３を制御して検索条件画像Ｐ６及びＲＯＩ指定部Ｐ７を表示部２４に表示させる。ユーザは、端末入力部２２を介してＲＯＩ指定部Ｐ７の位置を調整することにより、検索したいデザイン特徴を表す領域（ＲＯＩ）を検索条件画像Ｐ６の中から指定する。なおＲＯＩ指定部Ｐ７の形状や大きさは特に限定されず、例えば端末入力部２２を使ったユーザの操作（例えばタッチパネル上でのピンチ動作等）に応じて、端末コントローラ２１は表示部２４におけるＲＯＩ指定部Ｐ７の形状や大きさを変えてもよい。端末コントローラ２１は、ユーザが位置を調整したＲＯＩ指定部Ｐ７によって特定される領域（ＲＯＩ）を、解析部分として決定することができる。このようにしてユーザ端末１２において決定された解析部分（検索条件画像）のデータは、端末コントローラ２１から端末通信部２０を介して商品検索装置１１に送信され、商品検索装置１１（第１検索部４１）における第１の検索処理に使用される。
【０１００】
そして第１の検索処理によって検索された複数の第１検索画像のデータは、商品検索装置１１（第１検索部４１）からネットワーク１３を介して商品検索装置１１に送信され、端末通信部２０を介して端末コントローラ２１により取得される（Ｓ２４）。そして端末コントローラ２１は表示制御部２３を制御して、例えば図１６に示すように第１検索画像Ｓ１を表示部２４に表示し、第１の検索処理の結果画像をユーザ端末１２のユーザに提示する。
【０１０１】
そして端末コントローラ２１は、第２検索条件データの指定モードに移行する。すなわち端末コントローラ２１（ユーザ端末１２）は表示制御部２３を制御し、例えば図１７に示すようにデザイン特徴量に関する複数の候補であるカラーパレット指定部Ｐ８を表示部２４に表示させ、その複数の候補のカラーパレット指定部Ｐ８の中の一部を端末入力部２２によってユーザにより指定可能な状態にて提示する。ユーザは、提示された複数の候補のカラーパレット指定部Ｐ８の中から絞り込み検索の検索キーとする色を表すカラーパレットを、端末入力部２２を介して指定する。端末コントローラ２１は、複数の候補のカラーパレット指定部Ｐ８の中からユーザによって指定されたカラーパレットを端末入力部２２からの入力信号に基づいて特定し、そのカラーパレット番号を第２検索条件データとして特定する（Ｓ２５）。
【０１０２】
なお、第２検索条件データを決定する際に図１７に示すカラーパレット指定部Ｐ８のように複数の候補の中の一部を指定可能にユーザに提示するケースでは、端末コントローラ２１は、第１検索部４１によって検索される複数の第１検索画像が有するデザイン特徴量に基づいてユーザに提示する具体的な複数の候補（例えばカラーパレット指定部Ｐ８）を決定することが好ましい。すなわち端末コントローラ２１は、複数の第１検索画像が有するデザイン特徴量の中から、第２検索条件データを決定する際にユーザに提示する複数の候補を定めることが好ましい。
【０１０３】
このようにして特定された第２検索条件データは、端末コントローラ２１から端末通信部２０を介して商品検索装置１１に送信され（Ｓ２６）、商品検索装置１１（第２検索部４２）における第２の検索処理に使用される。すなわち第２検索部４２は、複数の候補のカラーパレット指定部Ｐ８の中からユーザによって指定されたカラーパレットのデザイン特徴量であるカラーパレット番号に基づいて第２検索条件データを決定する。そして第２検索部４２は、決定した第２検索条件データに基づいて第２の検索処理を行い、第２検索画像を検索する。
【０１０４】
そして第２の検索処理によって検索された第２検索画像のデータは、商品検索装置１１（第２検索部４２）からネットワーク１３を介してユーザ端末１２に送信され、端末通信部２０を介して端末コントローラ２１により取得される（Ｓ２７）。そして端末コントローラ２１は表示制御部２３を制御して、例えば図１８に示すように第２検索画像Ｓ２を表示部２４に表示し、第２の検索処理の結果画像をユーザ端末１２のユーザに提示する。
【０１０５】
上述のように本例の一連の検索処理によれば、画像（検索条件画像）を検索キーとする第１の検索処理と、デザイン特徴量を検索キーとする第２の検索処理とが組み合わされ、商品検索のファインダビリティーを効果的に向上させることができる。
【０１０６】
なお上述の例では色（とりわけカラーパレット番号）をデザイン特徴量として第１検索部４１及び第２検索部４２における検索処理が行われるが、第１検索部４１及び第２検索部４２は他のデザイン要素に基づくデザイン特徴量を検索キー（第１検索条件データ及び第２検索条件データ）として用いてもよいし、複数のデザイン要素に基づくデザイン特徴量を検索キーとして用いてもよい。また第２検索条件データは、第１検索条件データと同じデザイン要素に基づくデザイン特徴量を示すデータであってもよいし、第１検索条件データが示すデザイン特徴量に加えて、他の検索条件を示すデータが含まれていてもよい。
【０１０７】
例えば、ユーザがユーザ端末１２を使って第２検索条件データを指定するモード（図１７参照）において、端末コントローラ２１は表示制御部２３を制御し、図１９に示すように、上述のカラーパレット指定部Ｐ８に加えて商品カテゴリー指定部Ｐ９や柄属性指定部Ｐ１０を表示部２４に表示させてもよい。この場合、ユーザは端末入力部２２を介して、商品カテゴリー指定部Ｐ９が示す商品カテゴリー（図１９に示す例では「トップス及びボトムス」、「トップス」及び「ボトムス」）の中から所望の商品カテゴリーを選択することができ、また柄属性指定部Ｐ１０が示す柄属性（図１９に示す例では「ドット」、「ストライプ」、「チェック」、「ボーダー」、「無地」及び「その他」）の中から所望の柄属性を選択することができる。図１９に示す例において、端末コントローラ２１は、端末入力部２２からの操作信号に応じて、ユーザが選択したカラーパレット、商品カテゴリー及び柄属性に関する情報を取得して第２検索条件データを特定し、第２検索条件データを商品検索装置１１に送信する。そして商品検索装置１１の第２検索部４２は、この第２検索条件データに含まれる「ユーザが選択したカラーパレット、商品カテゴリー及び柄属性に関する情報」に基づいて第２検索画像の検索処理を行う。
【０１０８】
なお上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の商品検索装置１１及びユーザ端末１２の各部における処理方法（処理手順）及び制御方法（制御手順）をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。特にユーザ端末１２における上述の各処理は、専用のアプリ上で実行されてもよいし、ブラウザ上で実行されてもよい。
【０１０９】
また、本発明のユーザ端末１２の形態は特には限定されず、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０１１０】
＜スマートフォンの構成＞
図２０は、スマートフォン１０１の外観を示す図である。図２０に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１１１】
図２１は、図２０に示すスマートフォン１０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【０１１２】
無線通信部１１０は、主制御部１００の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１１３】
表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。
【０１１４】
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
【０１１５】
図２０に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。
【０１１６】
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の二つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１１７】
通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２０に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
【０１１８】
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１１９】
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
【０１２０】
外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ
Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１２１】
スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータを外部機器に伝送することが可能である。
【０１２２】
ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１２３】
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。
【０１２４】
電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１２５】
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１２６】
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０１２７】
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
【０１２８】
更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１２９】
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１３０】
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１３１】
更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１３２】
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも一つについて軌跡を描く操作を意味する。
【０１３３】
カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２０に示すにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部１４１を同時に使用して撮影することもできる。
【０１３４】
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１において取得した画像を表示することや、操作パネル１２２の操作入力の一つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１３５】
その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。
【０１３６】
上述の端末通信部２０（図２参照）は、例えば無線通信部１１０及び外部入出力部１６０（図２１参照）によって実現され、端末コントローラ２１は、例えば主制御部１００によって実現される。また端末入力部２２は、例えば操作部１４０及び操作パネル１２２によって実現され、撮像装置２５は、例えばカメラ部１４１によって実現される。また表示制御部２３は例えば主制御部１００によって実現され、表示部２４は例えば表示パネル１２１によって実現される。また端末メモリ２６は、例えば記憶部１５０（内部記憶部１５１及び外部記憶部１５２）によって実現される。
【符号の説明】
【０１３７】
１０…商品検索システム、１１…商品検索装置、１２…ユーザ端末、１３…ネットワーク、２０…端末通信部、２１…端末コントローラ、２２…端末入力部、２３…表示制御部、２４…表示部、２５…撮像装置、２６…端末メモリ、３０…サーバー通信部、３１…検索コントローラ、３２…データベース、３３…画像解析部、３５…外部端末装置、４０…システム制御部、４１…第１検索部、４２…第２検索部、４４…特徴空間、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部
【図１】
2016076021.tif 000003
【図２】
2016076021.tif 000004
【図３】
2016076021.tif 000005
【図４】
2016076021.tif 000006
【図５】
2016076021.tif 000007
【図６】
2016076021.tif 000008
【図７】
2016076021.tif 000009
【図８】
2016076021.tif 000010
【図９】
2016076021.tif 000011
【図１０】
2016076021.tif 000012
【図１１】
2016076021.tif 000013
【図１２】
2016076021.tif 000014
【図１３】
2016076021.tif 000015
【図１４】
2016076021.tif 000016
【図１５】
2016076021.tif 000017
【図１６】
2016076021.tif 000018
【図１７】
2016076021.tif 000019
【図１８】
2016076021.tif 000020
【図１９】
2016076021.tif 000021
【図２０】
2016076021.tif 000022
【図２１】
2016076021.tif 000023
【手続補正書】
【提出日】平成28年9月6日(2016.9.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザ端末にネットワークを介して接続される商品検索装置であって、
検索条件画像を解析して当該検索条件画像の少なくとも一つのデザイン要素に関するデザイン特徴量を示す第１検索条件データを自動的に取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索する第１検索部と、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索する第２検索部と、を備え、
前記第１検索部は、前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像を前記第１検索画像として検索し、
前記第２検索部は、前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像を前記第２検索画像として検索し、
前記第１検索範囲は、前記第２検索範囲よりも広く、かつ前記第２検索範囲は前記第１検索範囲に含まれる商品検索装置。
【請求項２】
（削除）
【請求項３】
前記デザイン要素は、色、柄、形及び質感のうち少なくともいずれか一つに基づく請求項１に記載の商品検索装置。
【請求項４】
前記第２検索範囲は、前記第１検索範囲の５０％以下の大きさを有する請求項１及び３のいずれか一項に記載の商品検索装置。
【請求項５】
前記第２検索範囲は、前記第２検索条件データに該当する前記デザイン特徴量のみを含む請求項１、及び３〜４のいずれか一項に記載の商品検索装置。
【請求項６】
前記ユーザ端末は撮像装置を備え、
前記検索条件画像は、前記撮像装置によって撮像される請求項１、及び３〜５のいずれか一項に記載の商品検索装置。
【請求項７】
前記検索条件画像は、前記ユーザ端末に保存されている画像の中から選ばれる請求項１、及び３〜５のいずれか一項に記載の商品検索装置。
【請求項８】
前記ユーザ端末は、前記デザイン特徴量に関する複数の候補であって当該複数の候補の中の一部をユーザに提示し、前記ユーザから少なくとも一つの前記デザイン特徴量の指定を受け付け、
前記第２検索部は、前記複数の候補の中から前記ユーザによって指定された前記デザイン特徴量に基づいて前記第２検索条件データを決定する請求項１、及び３〜７のいずれか一項に記載の商品検索装置。
【請求項９】
前記データベースは、前記複数の商品画像を、当該複数の商品画像の各々の前記デザイン特徴量を示す特徴量データを含むメタデータと関連付けて保存しており、
前記特徴量データは、前記複数の商品画像を解析する画像解析部によって取得される請求項１、及び３〜８のいずれか一項に記載の商品検索装置。
【請求項１０】
前記データベースには外部端末装置が接続され、前記データベースに保存されている前記メタデータは、当該外部端末装置を介して修正可能である請求項９に記載の商品検索装置。
【請求項１１】
前記複数の商品画像のうちの少なくとも一部は、前記外部端末装置を介して修正された前記メタデータと関連付けられて前記データベースに保存されている請求項１０に記載の商品検索装置。
【請求項１２】
ユーザ端末にネットワークを介して接続される商品検索装置によって行われる商品検索方法であって、
検索条件画像を解析して当該検索条件画像の少なくとも一つのデザイン要素に関するデザイン特徴量を示す第１検索条件データを自動的に取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索するステップと、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索するステップと、を含み、
前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像が前記第１検索画像として検索され、
前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像が前記第２検索画像として検索され、
前記第１検索範囲は、前記第２検索範囲よりも広く、かつ前記第２検索範囲は前記第１検索範囲に含まれる商品検索方法。
【請求項１３】
前記デザイン要素が色であって、デザイン特徴量を表す第１検索条件データがカラーパレット番号により特定される場合において、
前記第１検索部は、前記検索条件画像を解析して得られる前記検索条件画像の色を表すカラーパレット番号に基づき前記第１検索条件データを決定し、色空間に基づく特徴空間において前記第１検索条件データによって定められる前記第１検索範囲を決定し、前記第１検索範囲に含まれるカラーパレット番号に該当する画像を第１検索画像として選定する、
請求項１記載の商品検索装置。
【手続補正書】
【提出日】平成29年4月14日(2017.4.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザ端末にネットワークを介して接続される商品検索装置であって、
検索条件画像を解析して当該検索条件画像の少なくとも一つのデザイン要素に関するデザイン特徴量を示す第１検索条件データを自動的に取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索する第１検索部と、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索する第２検索部と、を備え、
前記第１検索部は、前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像を前記第１検索画像として検索し、
前記第２検索部は、前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像を前記第２検索画像として検索し、
前記第１検索範囲は、前記第２検索範囲よりも広く、かつ前記第２検索範囲は前記第１検索範囲に含まれる商品検索装置。
【請求項２】
前記デザイン要素は、色、柄、形及び質感のうち少なくともいずれか一つに基づく請求項１に記載の商品検索装置。
【請求項３】
前記第２検索範囲は、前記第１検索範囲の５０％以下の大きさを有する請求項１又は２に記載の商品検索装置。
【請求項４】
前記第２検索範囲は、前記第２検索条件データに該当する前記デザイン特徴量のみを含む請求項１〜３のいずれか一項に記載の商品検索装置。
【請求項５】
前記ユーザ端末は撮像装置を備え、
前記検索条件画像は、前記撮像装置によって撮像される請求項１〜４のいずれか一項に記載の商品検索装置。
【請求項６】
前記検索条件画像は、前記ユーザ端末に保存されている画像の中から選ばれる請求項１〜４のいずれか一項に記載の商品検索装置。
【請求項７】
前記ユーザ端末は、前記デザイン特徴量に関する複数の候補であって当該複数の候補の中の一部をユーザに提示し、前記ユーザから少なくとも一つの前記デザイン特徴量の指定を受け付け、
前記第２検索部は、前記複数の候補の中から前記ユーザによって指定された前記デザイン特徴量に基づいて前記第２検索条件データを決定する請求項１〜６のいずれか一項に記載の商品検索装置。
【請求項８】
前記データベースは、前記複数の商品画像を、当該複数の商品画像の各々の前記デザイン特徴量を示す特徴量データを含むメタデータと関連付けて保存しており、
前記特徴量データは、前記複数の商品画像を解析する画像解析部によって取得される請求項１〜７のいずれか一項に記載の商品検索装置。
【請求項９】
前記データベースには外部端末装置が接続され、前記データベースに保存されている前記メタデータは、当該外部端末装置を介して修正可能である請求項８に記載の商品検索装置。
【請求項１０】
前記複数の商品画像のうちの少なくとも一部は、前記外部端末装置を介して修正された前記メタデータと関連付けられて前記データベースに保存されている請求項９に記載の商品検索装置。
【請求項１１】
前記デザイン要素が色であって、デザイン特徴量を表す第１検索条件データがカラーパレット番号により特定される場合において、
前記第１検索部は、前記検索条件画像を解析して得られる前記検索条件画像の色を表すカラーパレット番号に基づき前記第１検索条件データを決定し、色空間に基づく特徴空間において前記第１検索条件データによって定められる前記第１検索範囲を決定し、前記第１検索範囲に含まれるカラーパレット番号に該当する画像を第１検索画像として選定する、
請求項１記載の商品検索装置。
【請求項１２】
ユーザ端末にネットワークを介して接続される商品検索装置によって行われる商品検索方法であって、
検索条件画像を解析して当該検索条件画像の少なくとも一つのデザイン要素に関するデザイン特徴量を示す第１検索条件データを自動的に取得し、当該第１検索条件データに基づいて、データベースに保存されている複数の商品画像の中から複数の第１検索画像を検索するステップと、
前記デザイン特徴量に関して前記ユーザ端末を介して指定された第２検索条件データに基づいて、前記複数の第１検索画像の中から第２検索画像を検索するステップと、を含み、
前記複数の商品画像の中から、前記デザイン特徴量を表す特徴空間において前記第１検索条件データを基準とした第１検索範囲に含まれる前記デザイン特徴量を有する画像が前記第１検索画像として検索され、
前記複数の第１検索画像の中から、前記特徴空間において前記第２検索条件データを基準とした第２検索範囲に含まれる前記デザイン特徴量を有する画像が前記第２検索画像として検索され、
前記第１検索範囲は、前記第２検索範囲よりも広く、かつ前記第２検索範囲は前記第１検索範囲に含まれる商品検索方法。
【国際調査報告】
2016076021.tif 000024
2016076021.tif 000025
2016076021.tif 000026
2016076021.tif 000027