(57)【要約】【課題】クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる。【解決手段】画像検索システム１の画像検索装置２０は、クエリ画像４４が有する属性を検出して、属性検出結果を属性検出結果表示部１４に出力する属性検出部２４と、属性検出結果表示部１４に表示された属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件ａｎｅｗに基づいて、属性が付与された検索対象の商品画像から、検索条件ａｎｅｗに応じた商品画像を検索し、検索結果の商品画像を検索条件ａｎｅｗに応じたクエリ画像４４に類似する類似画像（商品画像）として検索結果表示部１８に出力する画像検索部２８と、を備える。【選択図】図１
2016218578.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力する属性検出部と、
前記属性検出結果表示部に表示された前記属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力する画像検索部と、
を備えた画像検索装置。
【請求項２】
前記検索条件は、複数の属性を表す特徴ベクトルであり、
前記画像検索部は、前記検索条件の特徴ベクトルと、前記検索対象の画像に付与された前記特徴ベクトルとの類似度を計算した計算結果に基づいて検索を行う、
請求項１に記載の画像検索装置。
【請求項３】
前記特徴ベクトルは、前記複数の属性の有無を表すバイナリの特徴ベクトルである、
請求項２に記載の画像検索装置。
【請求項４】
クエリ画像が有する属性を検出して、属性検出結果を出力する属性検出部と、
前記属性検出部から出力された属性検出結果を表示する属性検出結果表示部と、
前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件を生成して出力する検索条件指示部と、
前記検索条件指示部から出力された前記検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として出力する画像検索部と、
前記画像検索部から出力された前記検索結果を表示する検索結果表示部と、
を備えた画像検索システム。
【請求項５】
属性検出部が、クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力するステップと、
画像検索部が、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力するステップと、
を備えた画像検索方法。
【請求項６】
コンピュータを、請求項１から請求項３の何れか１項に記載の画像検索装置の各部として機能させるための画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムに関する。
【背景技術】
【０００２】
近年、画像や動画に写る物体を自動的に識別する技術によって、入力画像に類似した画像を、ＷＥＢコンテンツや商品データベース等から検索することが可能である。類似画像に紐づいた情報を提示することで、画像をトリガーとして様々な情報を検索できる画像検索システムが実現されている。例えば写真に撮った商品の名前とその値段、ランドマークの名称や成り立ち等といった情報を簡便に検索することが可能である。
【０００３】
ユーザの検索ニーズが、「撮影した被写体の名称が分からないため，その名称を知りたい」といった場合、すなわち被写体そのものの情報が必要ならば、従来の画像検索システムで実現可能である。
【０００４】
一方で被写体そのものの情報を提示するだけでは不十分な検索ニーズも存在する。例えば衣服の購買シーンが考えられる。衣服のようにデザインの幅が広い商品は、必然的に個人の嗜好も幅広い。そのため被写体となる商品がユーザの求める商品に近しいことはあっても，完全に一致することは稀である、そこで被写体そのものの情報を提示するのではなく、被写体に類似した他の商品画像や当該商品に関する情報を提示することが必要となる。
【０００５】
図９に、従来の技術の一例を説明するための図を示す。店頭で見つけたポロシャツの画像をクエリ画像とし、類似画像の検索を行いユーザＡ、Ｂそれぞれが求める商品を提示したい。ユーザＡの目的商品はクエリ画像における襟ボタンが無く、左胸にポケットがあるポロシャツであり、ユーザＢの目的商品はクエリ画像の袖の部分が無地のポロシャツであるとする。一般的な画像検索システムでは、クエリ画像全域から画像特徴量を抽出し、データベース画像から同様にして抽出した画像特徴量との類似度を求め，画像特徴空間上での類似度が高い順に検索結果としてユーザに提示する。そのためユーザＡの場合のように、目的商品が必ずしも検索結果の上位に挙がらないという問題が存在する（ユーザＡの目的商品は３番目の検索結果に掲示されている）。またユーザＢの場合のように、目的商品に完全に一致する商品がデータベースに存在しない場合、それをシステムは判定することができないため、ユーザＢにとって不必要な検索結果を提示せざるを得ないという問題も存在する。
【０００６】
そこで、ユーザの持つ嗜好や意図を検索結果に反映させるため、ユーザにフィードバックを要求することで検索精度を向上させる技術がある。
【０００７】
特許文献１に記載の技術では、入力された画像における注目領域をユーザに指定させ、その領域のみから抽出した画像特徴量を基に、類似した画像をデータベースから検索することで、ユーザの意図を限定し検索精度を向上させている。
【０００８】
また、特許文献２に記載の技術では、映像検索に対してユーザフィードバックを利用し検索精度を高めている。ユーザは検索結果の映像それぞれに対して、ユーザの目的映像と関連性があるか否かを評価する。評価結果に基づき、初期入力からは類推できなかった、所望する映像に対する情報を補完し、検索結果をユーザの意図に合わせて更新していく関連フィードバックに基づく検索システムが提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１１−１１８７９０号公報
【特許文献２】特開２０００−３４１６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１に記載の、注目領域に基づく画像検索では、注目領域外の情報を用いないため、例えば図９のユーザＡの場合のように、ユーザが複数の検索要求を持つ場合にこれらを満たしたフィードバックを指示することは困難である。また、画像のある部分を強調して検索することは可能であるが、ユーザＢの検索要求のように被写体の画像のある部分をユーザの所望する要素に置き換えるようなフィードバックを与えることはできない。
【００１１】
上記特許文献２に記載の、関連フィードバックに基づく検索システムでは、フィードバックの指示方法がユーザの目的画像と関連しているか否かの二択であるため、複数の検索要求や被写体画像の細部の変更要求に対しては上記特許文献１の技術と同様の問題を有する。また、データベースにユーザの目的商品が存在するか否かを判定する術を持たないため、複数回のフィードバックを行って初めて目的商品が存在しないことをユーザ自身が認識できる。そのために利便性が著しく損なわれている。
【００１２】
以上示したように、このような従来技術のみでは、類似画像検索において、ユーザの細やかな嗜好や意図を正しく反映した検索結果を提示すること、すなわちクエリ画像の一部分のみを変更する類似画像検索は不可能であった。
【００１３】
本発明は上記を鑑みてなされたものであり、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる、画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像検索装置は、クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力する属性検出部と、前記属性検出結果表示部に表示された前記属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力する画像検索部と、を備える。
【００１５】
さらに、本発明の画像検索装置の前記検索条件は、複数の属性を表す特徴ベクトルであり、前記画像検索部は、前記検索条件の特徴ベクトルと、前記検索対象の画像に付与された前記特徴ベクトルとの類似度を計算した計算結果に基づいて検索を行ってもよい。
【００１６】
またさらに、本発明の画像検索装置の前記特徴ベクトルは、前記複数の属性の有無を表すバイナリの特徴ベクトルであってもよい。
【００１７】
また、本発明の画像検索システムは、クエリ画像が有する属性を検出して、属性検出結果を出力する属性検出部と、前記属性検出部から出力された属性検出結果を表示する属性検出結果表示部と、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件を生成して出力する検索条件指示部と、前記検索条件指示部から出力された前記検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として出力する画像検索部と、前記画像検索部から出力された前記検索結果を表示する検索結果表示部と、を備える。
【００１８】
また、本発明の画像検索方法は、属性検出部が、クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力するステップと、画像検索部が、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力するステップと、を備える。
【００１９】
また、本発明の画像検索プログラムは、コンピュータを、本発明の画像検索装置の各部として機能させるためのものである。
【発明の効果】
【００２０】
本発明の画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムによれば、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態の画像検索システムの概略構成の一例を示す構成図である。
【図２】本実施の形態の商品データ記憶部に記憶されている商品データの一例を示す図である。
【図３】本実施の形態の端末装置における端末装置処理の流れの一例を表すフローチャートである。
【図４】本実施の形態の端末装置の属性検出結果表示部が、画像検索装置の属性検出部から検出結果の受信後に表示する画面を示す図である。
【図５】本実施の形態の端末装置の属性検出結果表示部が、ユーザが襟属性グループを表す「Neck  Type」ボタンを押下した場合に表示する画面を示す図である。
【図６】ユーザが検索条件として図５に示した「V  Neck」ボタンを押下した場合の検索条件の生成を説明する図である。
【図７】本実施の形態の端末装置の検索結果表示部が、ユーザが検出条件としてＶネックの属性ボタンを押下した場合に表示される画面を示す図である。
【図８】本実施の形態の画像検索装置における画像検索装置処理の流れの一例を表すフローチャートである。
【図９】従来技術におけるユーザニーズと類似検索とを説明するための図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。
【００２３】
図１は、本実施の形態の画像検索システム１の概略構成の一例を示す機能ブロック図である。なお、本実施の形態では、被写体を撮影した被写体の撮影画像をクエリ画像とする場合について説明するが、クエリ画像は、画像であれば何ら制限されず、被写体を撮影した撮影画像でなくてもよい。また、本実施の形態では、被写体については、衣服を一例とする場合について説明するが、何ら制限されるものではなく、他の被写体であっても後述の属性を含むものであれば同様の効果を得ることができる。
【００２４】
本実施の形態の画像検索システム１は、端末装置１０及び画像検索装置２０を備える。
【００２５】
端末装置１０は、ユーザが指示したクエリ画像の入力及び検索条件の入力を指示し、画像検索装置２０による検索結果をユーザに提示する機能を有する。画像検索装置２０は、入力された画像に対して属性を検出し、入力された検索条件に基づいて画像を検索し、検索結果を端末装置１０に出力する機能を有する。
【００２６】
端末装置１０と画像検索装置２０は、例えばウェブやネットワーク等を介して相互に通信可能に接続されている。
【００２７】
端末装置１０は、画像指示部１２、属性検出結果表示部１４、検索条件指示部１６、及び検索結果表示部１８を備える。
【００２８】
端末装置１０は、例えば、ウェブ接続機能（通信機能）、ディスプレイ等の表示機能、ＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）、及び後述する端末装置処理を実行するためのプログラムを記憶したＲＯＭ（Read  Only  Memory）を備えた、一般的なＰＣ（Personal Computer）や、スマートフォン・タブレットなどのモバイル端末等によって実現可能である。
【００２９】
画像指示部１２は、端末装置１０に入力された画像からクエリとなる画像（クエリ画像）をユーザが指示し、画像検索装置２０の画像入力部２２に出力する機能を有する。ここで検索クエリとなるクエリ画像は、端末装置１０がカメラを備える場合は、当該カメラで被写体を撮影した撮影画像であってもよいし、ウェブ等から収集した撮影画像であってもよい。
【００３０】
属性検出結果表示部１４は、画像検索装置２０の属性検出部２４から送信された属性検出結果を受信し、ユーザに提示する機能を有する。なお、属性検出部２４における属性検出結果は、クエリ画像に含まれる各属性の有無及び当該属性のクエリ画像内の出現位置を含み、このうち、クエリ画像に含まれる各属性の有無は、検索条件の初期値であるため「初期検索条件」という。また、属性検出結果表示部１４は、受信した初期検索条件を検索条件指示部１６に出力する機能を有する。
【００３１】
検索条件指示部１６は、属性検出結果表示部１４から初期検索条件受信する機能と、ユーザが任意に検索条件を指示可能な機能と、ユーザが指示した検索条件を画像検索装置２０の画像検索部２８に送信する機能と、を有する。
【００３２】
検索結果表示部１８は、画像検索装置２０の画像検索部２８から受信した検索結果をユーザに提示する機能を有する。
【００３３】
一方、画像検索装置２０は，画像入力部２２、属性検出部２４、属性検出器記憶部２６、画像検索部２８、及び商品データ記憶部３０を備える。
【００３４】
画像検索装置２０は、ウェブ接続機能（通信機能）、ＣＰＵ、ＲＡＭ、及び後述する画像検索装置処理を実行するためのプログラムを記憶したＲＯＭを備えた、一般的なＰＣ等によって実現可能である。
【００３５】
画像入力部２２は、端末装置１０の画像指示部１２から送信されたクエリ画像を受信し、画像検索装置２０内に入力された当該クエリ画像を属性検出部２４に出力する機能を有する。
【００３６】
属性検出部２４は属性検出器記憶部２６を参照して、入力されたクエリ画像に含まれる属性を検出し、各属性の有無と出現位置とを含む属性検出結果を端末装置１０の属性検出結果表示部１４に送信する機能を有する。
【００３７】
本実施の形態では、属性検出部２４における属性検出結果は、各属性がクエリ画像に含まれるか否かを示す特徴ベクトル（バイナリベクトル）と、各属性のクエリ画像内の出現位置の座標ベクトルと、を含む。バイナリベクトルの各ビットが各属性の有無を示し、ビットが１の場合は当該属性が含まれることを意味し、ビットが０の場合は当該属性が含まれないことを意味する（図６参照）。座標ベクトルは、本実施の形態では出現位置を矩形で表現するため４点の座標で記述する。
【００３８】
属性検出器記憶部２６には、検出対象である属性と画像特徴とを対応付けて学習した検出器が格納されている。本実施の形態において「属性」とは、ある物体を構成している部品や素材等の要素（アトリビュート）が挙げられる。例えば、衣服であれば、Ｖネックやタートルネック等の襟の種類、ポケットやリボン等の装飾、及びコットンやウール等の素材等である。当該検出器は何ら制限されず、属性の有無とクエリ画像内の出現位置とを出力すれば任意のものを用いることができる。例えば物体検出において広く用いられているＳＶＭ（Support Vector Machine）等を用いればよい。また画像特徴としては、ＨＳＶヒストグラム等の色に関するもの、ＬＢＰ（Local binary pattern）等のテクスチャに関するもの、ＨＯＧ（Histogram of Oriented Gradients）等の局所特徴等を用いるのがよい。このように属性検出器記憶部２６に記憶される検出器の学習方法及び画像特徴については何ら制限されない。
【００３９】
画像検索部２８は、商品データ記憶部３０を参照し、端末装置１０の検索条件指示部１６から受信した検索条件にあてはまる商品データを検索する機能と、検索結果を端末装置１０の検索結果表示部１８に送信する機能と、を有する。
【００４０】
商品データ記憶部３０は、様々な複数の商品データを記憶しておく機能を有する。商品データは、少なくとも商品画像（商品を被写体として撮影した撮影画像)とその属性データとが対応付けられていればよい。図２には、本実施の形態の商品データ記憶部３０に記憶されている商品データの一例を示す。図２に示すように本実施の形態の商品データは、個々の商品を識別するための商品ＩＤ（Identification）と、商品（本実施の形態では衣服）と、商品の属性データと、が対応付けられている。
【００４１】
図２に示すように、本実施の形態では、具体例として、「色属性」、「襟属性」、「スカート属性」、「柄属性」、及び「袖属性」の５種類の属性グループの各々に属する属性が商品画像に対応付けられている。なお、「属性グループ」とは、複数の属性をグループわけ（分類）したものであり、何ら制限されるものではない。
【００４２】
なお、商品画像と当該商品画像の属性との対応付けの方法は何ら制限されず、例えば、上述した属性検出器記憶部２６に記憶されている検出器等を用いて自動的に行ってもよいし、ショッピングサイトのタグ情報等を用いてもよい。また、商品データ記憶部３０に記憶される商品の種類についても、何ら制限されない。
【００４３】
次に、本実施の形態の画像検索システム１における画像検索処理の流れの概略について説明する。本実施の形態の画像検索処理は、端末装置１０で実行される端末装置処理と、画像検索装置２０で実行される画像検索装置処理と、を含む。
【００４４】
まず、本実施の形態の画像検索処理において端末装置１０で実行される端末装置処理について説明する。
【００４５】
図３は、本実施の形態の端末装置１０における端末装置処理の流れの一例を表すフローチャートである。図３に示した端末装置処理は、所定のタイミング、例えば、端末装置１０にクエリ画像となる画像が入力された場合や、ユーザが画像検索処理の実行を指示した場合に実行される。
【００４６】
ステップＳ１００で画像指示部１２は、入力された画像からユーザが指示した画像をクエリ画像とするように、画像検索装置２０の画像入力部２２に送信する。画像検索装置２０では、画像入力部２２が画像指示部１２からクエリ画像を受信すると、属性検出部２４が当該クエリ画像の属性を検出して属性検出結果を送信する（詳細後述）。
【００４７】
そこで、次のステップＳ１０２で属性検出結果表示部１４は、属性検出結果を画像検索装置２０の属性検出部２４から受信する。本実施の形態では、上述したように、属性検出部２４による属性検出結果は、バイナリベクトルと座標ベクトルとを含んでいる。
【００４８】
次のステップＳ１０４で属性検出結果表示部１４は、属性検出部２４から受信した属性検出結果を表示してユーザに提示する。
【００４９】
ここで端末装置１０において表示される画面（インターフェイス）の一例を参照しながら、属性検出結果表示部１４及び検索条件指示部１６の動作を説明する。
【００５０】
図４は、属性検出結果表示部１４が、画像検索装置２０の属性検出部２４から属性検出結果の受信後に表示する画面４０である。図４に示した一例では、属性検出結果に含まれる色属性は白、襟属性はスクエアネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はショートスリーブの場合を示している。
【００５１】
図４に示すように、属性検出結果表示部１４は、画面４０中左側の指示画像表示部分４２には画像指示部１２によりユーザが指示したクエリ画像４４を表示する。さらに属性検出結果表示部１４は、クエリ画像４４（指示画像表示部分４２）の上部にユーザが選択した属性グループの検出結果４６（ユーザ選択属性検出結果４６）を表示する。
【００５２】
また、図４に示すように、属性検出結果表示部１４は、画面４０中右側には、属性検出器記憶部２６に予め記憶されている属性の一覧をボタンで表示する。なお、属性検出器記憶部２６に記憶されている属性に関する情報は、予め端末装置１０内に格納しておいてもよいし、画像検索装置２０から取得してもよい。
【００５３】
なお、本実施の形態ではユーザの利便性を考慮し、全ての属性の一覧を表示するのではなく、属性のグループを表す属性グループボタン５０を表示する。本実施の形態の属性グループボタン５０は、襟属性グループを表す「Neck  Type」ボタン５０Ａ、袖属性グループを表す「Sleeve  Length」ボタン５０Ｂ、スカート属性グループを表す「Skirt  Type」ボタン５０Ｃ、柄属性グループを表す「Pattern  Type」ボタン５０Ｄ、及び色属性グループを表す「Colors」ボタン５０Ｅを含む。
【００５４】
属性検出結果表示部１４は、属性グループボタン５０がユーザにより押下（操作）されたことを検出すると、当該属性グループボタン５０に応じた属性グループに含まれる属性及び画像検索装置２０の属性検出部２４から受信した属性検出結果を画面４０に表示する。そのため、ユーザは属性グループボタン５０を押下（操作）することで、クエリ画像４４に対する属性検出結果の閲覧及び当該属性グループに含まれる属性を一覧できる。
【００５５】
図５は、属性検出結果表示部１４が、ユーザが襟属性グループを表す「Neck  Type」ボタン５０Ａを押下した場合に表示する画面である。図５に示すように属性検出結果表示部１４は、襟属性グループに含まれる属性を表す属性ボタン５４の一覧を画面４０に表示する。襟属性グループに含まれる属性に応じた属性ボタン５４は、ラウンドネックを表す「Round  Neck」ボタン５４Ａ、スクエアネックを表す「Square  Neck」ボタン５４Ｂ、タートルネックを表す「Turtle  Neck」ボタン５４Ｃ、Ｕネックを表す「U  Neck」ボタン５４Ｄ、及びＶネックを表す「V  Neck」ボタン５４Ｅを含む。
【００５６】
また、属性検出結果表示部１４は、ユーザ選択属性検出結果４６に、属性検出結果に応じた属性（図５に示した場合では「Square  Neck」）を表示する。
【００５７】
なお、図５に示した一例のように、属性検出部２４から受信した属性検出結果に含まれる、属性のうちユーザにより属性グループボタン５０が押下された属性の出現位置４８をクエリ画像４４に重畳してもよい。また、ユーザの視認性を向上させるために、押下された属性グループボタン５０（図５における「Neck Type」ボタン５０Ａ）については色を変更する等ハイライト表示（強調表示）をしてもよい。また、ユーザの視認性を向上させるために、属性検出結果に応じた（クエリ画像４４に存在する）属性ボタン５４（図５における「Square Neck」ボタン５４Ｂ）も同様にハイライト表示してもよい。
【００５８】
ユーザは、画面４０に表示された属性ボタン５４を押下することで、クエリ画像４４の属性を任意の属性に変更した類似画像を画像検索装置２０により検索することができる。
【００５９】
そのため、次のステップＳ１０６で検索条件指示部１６は、ユーザが属性の変更を指示したか否かを判断する。具体的には、検索条件指示部１６は、属性ボタン５４のいずれがユーザにより押下されたか否かを検出することにより、ユーザが属性の変更を指示したか否かを判断する。
【００６０】
検索条件指示部１６が属性ボタン５４のいずれかが押下されたことを検出した場合は、肯定判定となりステップＳ１０８へ移行する。
【００６１】
ステップＳ１０８で検索条件指示部１６は、ユーザによる属性ボタン５０の押下をトリガーとして、属性検出結果表示部１４から入力された初期検索条件（ａｉｎｉｔ）に含まれる属性を変更して新たな検索条件（ａｎｅｗ）を生成し、画像検索装置２０の画像検索部２４に送信する。
【００６２】
図６には、具体例として、ユーザが属性の変更指示として図５に示した「V  Neck」ボタン５４Ｅを押下した場合の検索条件の生成を説明する図を示す。検索条件指示部１６は、襟属性グループである「Neck  Type」の初期検索条件（属性検出結果）であるスクエアネックに該当する初期検索条件ａｉｎｉｔの５番目のビットを０に設定する。さらに検索条件指示部１６は、Ｖネックに該当する８番目のビットを１に設定する。その他のビットは初期検索条件ａｉｎｉｔから変更しない。従って、図６に示した検索条件ａｎｅｗは、色属性は白、襟属性はＶネック、スカート属性はギャザースカート、及び柄属性は無地、袖属性はショートスリーブを表している。
【００６３】
画像検索装置２０の属性検出部２４は、検索条件指示部１６から検索条件ａｎｅｗを受信すると、当該検索条件ａｎｅｗに応じて商品データ記憶部３０に記憶されている商品データを検索し、検索結果を端末装置１０に送信する（詳細後述）。
【００６４】
そこで、次のステップＳ１１０で検索結果表示部１８は、検索結果を画像検索装置２０の画像検索部２８から受信する。
【００６５】
次のステップＳ１１２で検索結果表示部１８は、受信した検索結果を表示することによりユーザに提示する。
【００６６】
図７は、検索結果表示部１８が、ユーザが検索条件としてＶネックの属性ボタン「V  Neck」ボタン５４Ｅを押下した場合に表示される検索結果を表す画面４４を示している。図７に示すように、検索結果表示部１８は、画面４０中右側下部に、商品データの検索結果画像５８を表示する。本実施の形態では、図７における左側から検索条件に対する商品データの類似度が降順となるように表示する。さらに検索結果表示部１８は、検索条件ａｎｅｗと完全に一致する商品である場合は、その旨を表す表示（図７、表示５８Ａ２）を表示し、検索条件ａｎｅｗと完全に一致する商品ではない場合は、各商品画像に対応付けられている属性のうち検索条件と異なる属性の名称（図７、名称５８Ｂ２、５８Ｃ２）を各商品画像に重畳して表示する。
【００６７】
上述した検索条件ａｎｅｗは、色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はショートスリーブであった。図７に示した検索結果画像５８においては、検索結果画像５８Ａ１は検索条件ａｎｅｗと完全に一致する商品（図２の商品ＩＤが「２」の商品）の商品画像である。また、検索結果画像５８Ｂ１は検索条件ａｎｅｗに対して袖の長さのみが異なる商品（図２の商品ＩＤが「３」の商品）の商品画像（色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はロングスリーブ）である。また、検索結果画像５８Ｃ１は検索条件ａｎｅｗに対して柄のみが異なる商品（図２の商品ＩＤが「４」の商品）の商品画像（色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性はチェック、及び袖属性はショートスリーブ）である。
【００６８】
以上の表示が完了した時点で、ユーザは再び属性の変更を指示することができる。そのため、ステップＳ１１２が終了するとステップＳ１０６に戻り、クエリ画像の一部をユーザが変更した類似画像の検索を繰り返す。
【００６９】
なお、ステップＳ１０６でユーザが属性ボタン５４を押下しなかった場合、すなわち属性の変更を指示しなかった場合は、否定判定となり本端末装置１０は端末装置処理を終了する。具体例としては、検索条件指示部１６が、所定の時間が経過しても属性ボタン５４が押下されたことを検出しなかった場合は、否定判定となる。
【００７０】
次に、本実施の形態の画像検索処理において画像検索装置２０で実行される画像検索装置処理について説明する。画像検索装置処理は、属性検出部２４によりクエリ画像の属性を検出する属性検出ルーチンと、画像検索部２８により検索条件ａｎｅｗに応じた商品画像を検索する画像検索ルーチンと、を含む。
【００７１】
図８は、本実施の形態の画像検索装置２０における画像検索装置処理の流れの一例を表すフローチャートである。図８に示した画像検索装置処理は、所定のタイミング、例えば、ユーザが画像検索処理の実行を指示した場合に実行される。
【００７２】
Ｓ２００で画像入力部２２が、端末装置１０の画像指示部１２からクエリ画像を受信し、受信したクエリ画像を属性検出部２４に出力する。
【００７３】
次のステップＳ２０２で属性検出部２４が、属性検出器記憶部２６を参照してクエリ画像に対して属性検出を行い、属性検出結果を端末装置１０の属性検出結果表示部１４に送信する。
【００７４】
上述したように本実施の形態における属性検出結果は、各属性がクエリ画像に含まれるか否かを示すバイナリベクトルと、各属性の出現位置の座標ベクトルとを含む。バイナリベクトルの各ビットが各属性の有無を示し、ビットが１の場合は当該属性が含まれることを意味し、ビットが０の場合は当該属性が含まれないことを意味する。座標ベクトルは、本実施の形態では出現位置を矩形で表現するため４点の座標で記述する。
【００７５】
次のステップＳ２０４で画像検索部２８は、端末装置１０の検索条件指示部１６を受信したか否かを判断する。上述したように、検索条件指示部１６は、端末装置処理においてユーザが属性の変更を指示した場合、ステップＳ１０８で検索条件ａｎｅｗを画像検索装置２０に送信する。画像検索部２８は、当該検索条件ａｎｅｗを受信したか否かを判断する。
【００７６】
画像検索部２８が検索条件ａｎｅｗを受信した場合は、肯定判定となりステップＳ２０６へ移行する。
【００７７】
ステップＳ２０６で画像検索部２８は、商品データ記憶部３０を参照して検索条件指示部１６から受信した検索条件ａｎｅｗをクエリに商品データを検索し、検索結果を端末装置１０の検索結果表示部１８に送信する。本実施の形態の画像検索部２８における検索は、検索条件ａｎｅｗと商品データ記憶部３０に記憶されている各商品の属性データａｐｒｏｄｕｃｔとの類似度を計算することで実行される。
【００７８】
検索条件ａｎｅｗ及び各商品に付与されている属性データａｐｒｏｄｕｃｔは各属性の有無を示すバイナリベクトルであるため、類似度の計算には例えばハミング距離（Hamming Distance）を用いればよい。計算した距離が小さい順、すなわち検索条件ａｎｅｗとの類似度が高い順に、任意の数だけ選んだ商品に対応する各商品画像を検索結果とする。さらに本実施の形態の画像検索部２８は、検索結果として出力する各商品の属性データａｐｒｏｄｕｃｔに対して、検索条件ａｎｅｗと異なるビットに該当する属性の名称を各商品画像に対応づけて検索結果表示部１８に送信する。
【００７９】
ステップＳ２０６が終了するとステップＳ２０４に戻り、端末装置１０の検索条件指示部１６から受信した検索条件ａｎｅｗに応じて画像検索部２８による検索を繰り返す。
【００８０】
なお、ステップＳ２０４で検索結果を受信しない場合は、否定判定となり本画像検索装置処理を終了する。すなわち、上述したように端末装置１０においてユーザが属性ボタン５４を押下しなかった場合、すなわち検索条件を指示しなかった場合は、本画像検索装置処理を終了する。
【００８１】
以上説明したように本実施の形態の画像検索システム１の画像検索装置２０は、クエリ画像４４が有する属性を検出して、属性検出結果を属性検出結果表示部１４に出力する属性検出部２４と、属性検出結果表示部１４に表示された属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件ａｎｅｗに基づいて、属性が付与された検索対象の商品画像から、検索条件ａｎｅｗに応じた商品画像を検索し、検索結果の商品画像を検索条件ａｎｅｗに応じたクエリ画像４４に類似する類似画像（商品画像）として検索結果表示部１８に出力する画像検索部２８と、を備える。
【００８２】
これにより本実施の形態の画像検索システム１によれば、端末装置１０においてクエリ画像の属性をユーザに提示し、ユーザが変更したい属性を指示することで、画像検索装置２０によりクエリ画像を部分的に変更した類似画像を検索することができる。本実施の形態の画像検索システム１によれば、クエリ画像の属性を媒介とすることでユーザの検索意図を明示的にフィードバックできるため、ユーザの意図を正しく反映する類似画像検索システムを実現できる。
【００８３】
従って、本実施の形態の画像検索システム１の画像検索装置２０によれば、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる。
【００８４】
また検索条件及び属性データをバイナリベクトルで表現することで、ユーザが所望する商品と完全に一致する商品のみを提示することも可能であるため、ユーザの利便性を向上できる。さらに完全に一致する商品が存在しない場合は、類似度の高い商品を提示することができる。この場合、当該商品が持つ属性のうち、ユーザの検索条件と一致していない属性も併せて提示することで、ユーザは各商品と自分の所望する商品とで異なる属性を一目で判断できるため、検索結果を閲覧する際の負担を軽減できる。
【００８５】
なお、本実施の形態では、クエリ画像から１つの属性のみを変更した場合の検索条件ａｎｅｗに基づいて画像検索装置２０が検索を行う場合について説明したが、属性グループが異なっていれば複数の属性を変更した検索条件ａｎｅｗであっても、上述したのと同様に画像検索装置２０において検索を行うことができることはいうまでもない。
【００８６】
また、本実施の形態では、画像検索システム１が端末装置１０及び画像検索装置２０を備える場合について説明したが、端末装置１０及び画像検索装置２０を１台の装置として構成してもよい。また、端末装置１０及び画像検索装置２０の一方が有する機能の一部または全部を他方が有していてもよい。例えば、本実施の形態では、端末装置１０の検索条件指示部１６が、初期検索条件ａｉｎｉｔから検索条件ａｎｅｗを生成していたが、検索条件ａｎｅｗの生成は、画像検索装置２０で行ってもよい。例えば、検索条件指示部１６から画像検索装置２０の画像検索部２８へ、ユーザが指示した属性（クエリ画像から変更する属性）に関する情報のみを送信し、当該情報を受信した画像検索部２８が当該情報に基づいて初期検索条件ａｉｎｉｔから検索条件ａｎｅｗを生成してもよい。
【００８７】
また、本実施の形態では、商品データ記憶部３０に予め各商品の商品データ（属性データ）を記憶しておく場合について説明したが、これに限らず、画像検索部２８が、検索条件指示部１６から検索条件ａｎｅｗを受信した場合に、検索対象となる画像（商品画像）から随時属性データを検出して、類似度の計算を行ってもよい。
【００８８】
また、上記各実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。
【符号の説明】
【００８９】
１  画像検索システム
１０  端末装置
１２  画像指示部
１４  属性検出結果表示部
１６  検索条件指示部
１８  検索結果表示部
２０  画像検索装置
２２  画像入力部
２４  属性検出部
２６  属性検出器記憶部
２８  画像検索部
３０  商品データ記憶部
【図１】
2016218578.tif 000003
【図２】
2016218578.tif 000004
【図３】
2016218578.tif 000005
【図６】
2016218578.tif 000006
【図８】
2016218578.tif 000007
【図９】
2016218578.tif 000008
【図４】
2016218578.tif 000009
【図５】
2016218578.tif 000010
【図７】
2016218578.tif 000011