(57)【要約】【課題】  クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力する。【解決手段】  検索プログラムは、一覧表示された物品の中から１の物品が選択されることで、次の画面に遷移した場合に、選択された該１の物品の画像をクエリ画像として取得する取得工程と、前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と、検索された前記画像を、遷移後の前記次の画面において、選択された前記１の物品に関連する関連物品の画像として出力する出力工程とをコンピュータに実行させる。【選択図】図１
2020086915.tif 000002
【特許請求の範囲】
【請求項１】
一覧表示された商品の中から１の商品が選択されることで、次の画面に遷移した場合に、選択された該１の物品の画像をクエリ画像として取得する取得工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と、
検索された前記画像を、遷移後の前記次の画面において、選択された前記１の物品に関連する関連物品の画像として出力する出力工程と
をコンピュータに実行させるための検索プログラム。
【請求項２】
前記検索工程は、
前記クエリ画像内に検索対象と該検索対象とともに撮影された人物とが含まれていた場合に、前記複数の画像の中から、該検索対象に類似する物品を含み、かつ、人物を含まない画像を検索する、請求項１に記載の検索プログラム。
【請求項３】
前記検索工程は、
前記クエリ画像内に含まれる人物の特徴量よりも、前記クエリ画像内に含まれる検索対象の特徴量を重み付けして検索する、請求項２に記載の検索プログラム。
【請求項４】
前記検索工程は、
前記クエリ画像から抽出された特徴ベクトルを、物品と該物品とともに撮影された人物とが含まれる画像から予め抽出された特徴ベクトルで減算し、
減算した特徴ベクトルに含まれる負値の特徴量を非負化し、
前記負値の特徴量を非負化した特徴ベクトルを用いて、前記複数の画像それぞれから抽出された特徴ベクトルとの類似度を算出する、請求項２に記載の検索プログラム。
【請求項５】
物品と該物品とともに撮影された人物とが含まれる複数の画像それぞれから抽出された特徴ベクトルに基づいて、代表ベクトルを算出する算出工程を、コンピュータに実行させ、
前記検索工程は、
前記クエリ画像から抽出された特徴ベクトルを、前記代表ベクトルで減算する、請求項４に記載の検索プログラム。
【請求項６】
一覧表示された物品の中から１の物品が選択されることで、次の画面に遷移した場合に、選択された該物品の画像をクエリ画像として取得する取得部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と、
検索された前記画像を、遷移後の次の画面において、選択された前記物品に関連する関連物品の画像として出力する出力部と
を有するサーバ装置。
【請求項７】
一覧表示された物品の中から１の物品が選択されることで、次の画面に遷移した場合に、選択された該１の物品の画像をクエリ画像として取得する取得工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と、
検索された前記画像を、遷移後の前記次の画面において、選択された前記１の物品に関連する関連物品の画像として出力する出力工程と
を有する検索方法。
【請求項８】
端末とサーバ装置とが通信可能に接続される検索システムであって、
一覧表示された物品の中から１の物品が選択されることで、次の画面に遷移した場合に、選択された該１の物品の画像をクエリ画像として取得する取得部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と、
検索された前記画像を、遷移後の前記次の画面において、選択された前記１の物品に関連する関連物品の画像として出力する出力部と
を有する検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索プログラム、サーバ装置、検索方法及び検索システムに関する。
【背景技術】
【０００２】
従来より、クエリ画像に類似する類似画像を検索するための種々の検索方法が提案されている（例えば、下記特許文献１、２等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０５２１７５号公報
【特許文献２】特開２００１−３１９２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記検索方法の場合、クエリ画像内に検索対象の物品と非検索対象の両方が含まれ、かつ、検索対象の物品の特徴量よりも、非検索対象の特徴量の方が類似度に与える影響が大きい場合に、適切な画像を検索することができない、という問題がある。
【０００５】
本発明は上記課題に鑑みてなされたものであり、クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によれば、検索プログラムは、例えば、以下のような構成を有する。即ち、
一覧表示された商品の中から１の商品が選択されることで、次の画面に遷移した場合に、選択された該１の物品の画像をクエリ画像として取得する取得工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と、
検索された前記画像を、遷移後の前記次の画面において、選択された前記１の物品に関連する関連物品の画像として出力する出力工程とをコンピュータに実行させる。
【発明の効果】
【０００７】
本発明によれば、クエリ画像を用いた商品検索において、検索対象に応じた検索結果を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】検索システムのシステム構成の一例を示す図である。
【図２】サーバ装置のハードウェア構成の一例を示す図である。
【図３】登録情報格納部内の登録情報の具体例を示す図である。
【図４】特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。
【図５】特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。
【図６】商品情報登録部の機能構成の一例を示す図である。
【図７】商品表示部及び商品情報検索部の機能構成の一例を示す図である。
【図８】検索システムにおける商品情報登録処理の流れを示すシーケンス図である。
【図９】検索システムにおける商品情報表示・検索処理の流れを示すシーケンス図である。
【図１０】特徴ベクトル算出用モデルの学習処理を説明するための図である。
【図１１】特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。
【図１２】特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。
【図１３】特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。
【図１４】特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。
【図１５】商品一覧表示及び商品情報検索処理の流れを示すフローチャートである。
【図１６】商品情報検索処理の処理内容を説明するための図である。
【図１７】商品情報検索処理の具体例を示す図である。
【図１８】検索結果の具体例を示す図である。
【図１９】商品選択処理の流れを示す第１のフローチャートである。
【図２０】商品一覧画面及び商品詳細画面の一例を示す第１の図である。
【図２１】商品一覧画面及び商品詳細画面の一例を示す第２の図である。
【図２２】商品選択処理の流れを示す第２のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１０】
［第１の実施形態］
＜１．検索システムのシステム構成＞
はじめに、検索システムのシステム構成について説明する。図１は、検索システムのシステム構成の一例を示す図である。
【００１１】
図１に示すように、検索システム１００は、サーバ装置１１０と、ユーザ１８０＿１〜１８０＿ｎそれぞれが利用するユーザ端末１７０＿１〜１７０＿ｎとを有する。なお、ユーザ端末１７０＿１〜１７０＿ｎは、ネットワーク１９０を介してサーバ装置１１０と通信可能に接続される。
【００１２】
サーバ装置１１０には、フリーマーケットサービスプログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１１０は、フリーマーケットサービス部１２０として機能する。
【００１３】
フリーマーケットサービス部１２０は、ネットワーク１９０を介して接続されるユーザ端末１７０＿１〜１７０＿ｎのユーザ１８０＿１〜１８０＿ｎに対して、各種商品等を取引する場を提供するフリーマーケットサービスを行う。
【００１４】
ここで、フリーマーケットサービスプログラムには、少なくとも、登録プログラムと、商品表示プログラムと、検索プログラムとが含まれているものとする。そして、これらのプログラムが実行されることで、サーバ装置１１０は、商品情報登録部１３０と、商品表示部１３５と、商品情報検索部１４０とを有するフリーマーケットサービス部１２０として機能する。
【００１５】
商品情報登録部１３０は、ユーザ１８０＿１〜１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１〜１７０＿ｎから商品情報を送信した場合に、当該商品情報を受信し、登録情報格納部１５０に格納する。なお、本実施形態では、登録情報格納部１５０に格納された複数の商品情報を、「登録情報」と総称する。
【００１６】
また、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像から、特徴ベクトル（画像から抽出される特徴量の項目と特徴量の値との組）を抽出し、特徴ベクトル情報（商品）保存部１５１に保存する。
【００１７】
更に、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像のうち、特定の商品画像（例えば、商品以外に、商品を着用した人物が含まれる商品画像（「着用画像」））から特徴ベクトルを抽出し、特徴ベクトル情報（人物）保存部１５２に保存する。
【００１８】
商品表示部１３５は、ユーザ端末１７０＿１〜１７０＿ｎから商品一覧要求を受信し、対応する商品情報を、登録情報格納部１５０内の登録情報３００から読み出す。また、商品表示部１３５は、読み出した商品情報を、商品一覧として、商品一覧要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００１９】
商品情報検索部１４０は、ユーザ端末１７０＿１〜１７０＿ｎからクエリ画像を含む検索要求を受信した場合に、特徴ベクトル情報（人物）保存部１５２に保存された特徴ベクトルを用いて、クエリ画像に含まれる人物の特徴量の影響を抑制する処理を行う。そのうえで、商品情報検索部１４０は、クエリ画像に含まれる検索対象に類似する商品を含む商品画像を検索する。
【００２０】
具体的には、商品情報検索部１４０は、特徴ベクトル情報（商品）保存部１５１に保存された特徴ベクトルの中から、処理後のクエリ画像の特徴ベクトルに類似する特徴ベクトルを求めることで、クエリ画像内の検索対象に類似する商品を含む商品画像を検索する。
【００２１】
なお、商品情報検索部１４０では、検索した商品画像を含む検索結果を、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００２２】
＜サーバ装置のハードウェア構成＞
次に、検索システム１００に含まれるサーバ装置１１０のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。
【００２３】
図２に示すように、サーバ装置１１０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。また、サーバ装置１１０は、ＧＰＵ（Graphics Processing Unit）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０４などのプロセッサ（処理回路、Processing Circuit、Processing Circuitry）と、ＲＯＭ２０２、ＲＡＭ２０３などのメモリは、いわゆるコンピュータを形成する。
【００２４】
更に、サーバ装置１１０は、補助記憶装置２０５、表示装置２０６、操作装置２０７、Ｉ／Ｆ（Interface）装置２０８、ドライブ装置２０９を有する。なお、サーバ装置１１０の各ハードウェアは、バス２１０を介して相互に接続される。また、図２に示す各ハードウェアは、一例に過ぎず、一部を変更して（例えば、ＧＰＵ２０４を外して）サーバ装置１１０を構成してもよいことはいうまでもない。
【００２５】
ＣＰＵ２０１は、補助記憶装置２０５にインストールされた各種プログラム（例えば、フリーマーケットサービスプログラム等）を実行する演算デバイスである。
【００２６】
ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０５にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
【００２７】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０５にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
【００２８】
ＧＰＵ２０４は、画像処理用の演算デバイスであり、ＣＰＵ２０１によりフリーマーケットサービスプログラムが実行される際に、各種画像データについて、並列処理による高速演算を行う。なお、ＧＰＵ２０４は、内部メモリ（ＧＰＵメモリ）を搭載しており、各種画像データについて並列処理を行う際に必要な情報を一時的に保持する。
【００２９】
補助記憶装置２０５は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる各種データ等を格納する。例えば、登録情報格納部１５０、特徴ベクトル情報（商品）保存部１５１、特徴ベクトル情報（人物）保存部１５２は、補助記憶装置２０５において実現される。
【００３０】
表示装置２０６は、サーバ装置１１０の内部状態を表示する表示デバイスである。操作装置２０７は、サーバ装置１１０の管理者がサーバ装置１１０に対して各種指示を入力する際に用いる入力デバイスである。Ｉ／Ｆ装置２０８は、ネットワーク１９０と接続し、ユーザ端末１７０＿１〜１７０＿ｎと通信を行うための接続デバイスである。
【００３１】
ドライブ装置２０９は記録媒体２２０をセットするためのデバイスである。ここでいう記録媒体２２０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３２】
なお、補助記憶装置２０５にインストールされる各種プログラムは、例えば、配布された記録媒体２２０がドライブ装置２０９にセットされ、該記録媒体２２０に記録された各種プログラムがドライブ装置２０９により読み出されることでインストールされる。あるいは、補助記憶装置２０５にインストールされる各種プログラムは、ネットワーク１９０を介してダウンロードされることで、インストールされてもよい。
【００３３】
＜登録情報の具体例＞
次に、登録情報格納部１５０内の登録情報の具体例について説明する。図３は、登録情報格納部内の登録情報の具体例を示す図である。
【００３４】
図３に示すように、登録情報３００は、複数の商品情報により構成される。具体的には、登録情報３００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"商品画像"が含まれ、複数の商品情報それぞれが、当該情報の項目ごとにわけて登録情報格納部１５０に格納されることで、登録情報３００が構成される。
【００３５】
例えば、"商品ＩＤ"には、商品情報のうち、商品を識別するための識別子が格納される。"商品属性情報"には、商品情報のうち、商品の属性（例えば、商品のカテゴリ、商品のブランド、商品のタイトル等）を示す情報が格納される。"商品画像"には、商品情報のうち、商品画像が格納される。
【００３６】
なお、"商品画像"に格納される商品画像には、商品単体の画像の他、商品を着用した人物が含まれる商品画像（着用画像）等が含まれる。
【００３７】
＜特徴ベクトル情報（商品）の具体例＞
次に、特徴ベクトル情報（商品）保存部１５１に保存される特徴ベクトル情報（商品）の具体例について説明する。特徴ベクトル情報（商品）保存部１５１では、商品画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（商品）として保存する。図４は、特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。
【００３８】
図４に示すように、特徴ベクトル情報（商品）４００には、情報の項目として、商品情報についての情報の項目である"商品ＩＤ"、"商品属性情報"、"商品画像"に加え、"特徴ベクトル"が含まれる。"特徴ベクトル"には、"商品画像"に格納された商品画像から抽出された特徴ベクトルが格納される。
【００３９】
なお、上述したとおり、特徴ベクトルは、画像から抽出される特徴量の項目と特徴量の値との組であり、図４の例は、特徴量の項目として、"特徴１"〜"特徴ｍ"が抽出されたことを示している。また、図４の例は、特徴量の値を、棒グラフの長さとして示している。
【００４０】
＜特徴ベクトル情報（人物）の具体例＞
次に、特徴ベクトル情報（人物）保存部１５２に保存される特徴ベクトル情報（人物）等の具体例について説明する。特徴ベクトル情報（人物）保存部１５２では、着用画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（人物）として保存するとともに、着用画像から抽出された特徴ベクトルに基づいて算出された代表ベクトルを保存する。
【００４１】
図５は、特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。
【００４２】
図５に示すように、特徴ベクトル情報（人物）５００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"着用画像"、"特徴ベクトル"が含まれる。特徴ベクトル情報（人物）５００の場合、登録情報３００を構成する各商品情報に含まれる商品画像の中から選択された着用画像が"着用画像"に格納され、対応する商品の識別子、商品の属性情報が、それぞれ、"商品ＩＤ"、"商品属性情報"に格納される。また、"特徴ベクトル"には、"着用画像"に格納された着用画像から抽出された特徴ベクトルが格納される。なお、図４と同様、図５の例は、特徴量の項目として、"特徴１"〜"特徴ｍ"が抽出されたことを示している。また、図５の例は、特徴量の値を、棒グラフの長さとして示している。
【００４３】
代表ベクトル５１０は、特徴ベクトル情報（人物）５００の"特徴ベクトル"に格納された、各着用画像の特徴ベクトルに基づいて算出される。代表ベクトル５１０は、例えば、各着用画像の特徴ベクトルの平均値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルの中央値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルを整数化し、最頻値を算出することで求められる。
【００４４】
＜商品情報登録部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品情報登録部１３０の機能構成について説明する。図６は、商品情報登録部の機能構成の一例を示す図である。図６に示すように、商品情報登録部１３０は、商品情報取得部６１０、商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０、商品情報読み出し部６５０を有する。
【００４５】
商品情報取得部６１０は、ユーザ１８０＿１〜１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１〜１７０＿ｎから商品情報を送信した場合において、当該商品情報を受信するごとに、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００は、商品情報取得部６１０が商品情報を受信するごとに更新される。
【００４６】
商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する各商品情報のうち、着用画像を含む商品情報を選択して読み出し、画像特徴抽出部６３０に通知する。なお、商品情報（着用画像）選択部６２０は、例えば、着用画像を含む商品情報が、登録情報格納部１５０内に登録情報３００として一定程度登録されたタイミングで、着用画像を含む商品画像を選択して読み出すものとする。
【００４７】
この場合、画像特徴抽出部６３０では、商品情報（着用画像）選択部６２０より通知された商品情報に含まれる着用画像から、特徴ベクトルを抽出し、商品情報と対応付けて人物特徴演算部６４０に通知する。
【００４８】
人物特徴演算部６４０は、人物特徴演算部６４０より通知された各商品情報に対応付けられた特徴ベクトルに基づいて、代表ベクトル５１０を算出する。また、人物特徴演算部６４０は、着用画像から抽出された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（人物）５００として、代表ベクトル５１０とともに特徴ベクトル情報（人物）保存部１５２に保存する。
【００４９】
商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、画像特徴抽出部６３０に通知する。
【００５０】
この場合、画像特徴抽出部６３０では、商品情報読み出し部６５０より通知された登録情報３００を構成する各商品情報に含まれる商品画像から、特徴ベクトルを抽出する。また、画像特徴抽出部６３０は、抽出した特徴ベクトルを商品情報と対応付けて、特徴ベクトル情報（商品）４００として、特徴ベクトル情報（商品）保存部１５１に保存する。
【００５１】
＜商品表示部及び商品情報検索部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品表示部１３５及び商品情報検索部１４０の機能構成について説明する。図７は、商品表示部及び商品情報検索部の機能構成の一例を示す図である。図７に示すように、商品表示部１３５は、範囲特定部７０１、一覧生成部７０２を有する。
【００５２】
範囲特定部７０１は、ユーザ端末１７０＿１〜１７０＿ｎから商品一覧要求を受信し、受信した商品一覧要求に基づいて、一覧表示する商品の範囲を特定する。一覧表示する商品の範囲とは、例えば、商品属性情報として所定のカテゴリを有する商品や、所定の期間に商品情報が格納された商品等を指す。
【００５３】
一覧生成部７０２は、特定された範囲に含まれる商品の商品情報を、登録情報格納部１５０内の登録情報３００より読み出す。また、一覧生成部７０２は、読み出した商品情報を、商品一覧として、商品一覧要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００５４】
また、図７に示すように、商品情報検索部１４０は、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０、類似ベクトル演算部７５０、検索結果出力部７６０を有する。
【００５５】
クエリ画像取得部７１０は取得部の一例であり、ユーザ端末１７０＿１〜１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。
【００５６】
検索対象物検出部７２０は、クエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。ただし、検索対象物検出部７２０の機能は必須ではなく、商品情報検索部１４０は、検索対象物検出部７２０を実行しなくてもよい。
【００５７】
画像特徴抽出部６３０は、検索対象物検出部７２０により検出された検索対象領域から特徴ベクトルを抽出し、画像特徴変換部７４０に通知する。
【００５８】
画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、画像特徴抽出部６３０より通知された特徴ベクトルから、代表ベクトル５１０を減算することで、減算後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、特徴量の項目ごとに、特徴ベクトルの特徴量の値から代表ベクトル５１０の特徴量の値を減算することで、減算後の特徴ベクトルを算出する。これにより、減算後の特徴ベクトルは、人物の特徴量の影響が抑制された特徴ベクトルとなる。
【００５９】
また、画像特徴変換部７４０は、減算後の特徴ベクトルに含まれる負値をゼロ化することで、減算後の特徴ベクトルを変換し、変換後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、各特徴量の項目のうち、減算により負値になった特徴量の項目について、特徴量の値をゼロ値に変換する。これにより、変換後の特徴ベクトルは、負値を含まない特徴ベクトルとなる。人物の特徴量の影響を抑制するために減算したにも関わらず、減算の結果、負値として人物の特徴量の影響が現れたのでは、人物の特徴量の影響を抑制したことにならないため、画像特徴変換部７４０では、ゼロ値に変換することで、人物の特徴量の影響を適切に抑制する。
【００６０】
類似ベクトル演算部７５０は検索部の一例であり、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、画像特徴変換部７４０より通知された変換後の特徴ベクトルに類似する特徴ベクトルを検索する。また、類似ベクトル演算部７５０は、検索した特徴ベクトルを、検索結果出力部７６０に通知する。
【００６１】
検索結果出力部７６０は出力部の一例であり、類似ベクトル演算部７５０より通知された特徴ベクトルが対応付けられた商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００６２】
＜商品情報登録処理の流れ＞
次に、検索システム１００における商品情報登録処理の流れについて説明する。図８は、検索システムにおける商品情報登録処理の流れを示すシーケンス図である。
【００６３】
ステップＳ８０１において、サーバ装置１１０の商品情報登録部１３０に含まれる画像特徴抽出部６３０は、特徴ベクトルを抽出するための学習モデル（特徴ベクトル算出用モデル。詳細は後述）を機械学習する際に用いる学習用画像を取得する。学習用画像には、例えば、登録情報格納部１５０内の登録情報３００を構成する複数の商品情報の一部の商品情報に含まれる商品画像等が用いられる。なお、学習用画像に用いるのは、商品画像に限定されず、例えば、ネットワーク１９０上でダウンロード可能な任意の画像であってもよい。
【００６４】
ステップＳ８０２において、画像特徴抽出部６３０は、取得した学習用画像を用いて、特徴ベクトル算出用モデルを機械学習する。
【００６５】
ステップＳ８１０＿１〜Ｓ８１０＿３において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより出品する商品についての商品情報の入力を受け付け、サーバ装置１１０に送信する。
【００６６】
ステップＳ８１１＿１〜Ｓ８１１＿３において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報（ユーザ１８０＿１〜１８０＿ｎが出品する商品についての商品画像）を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内に登録情報３００が構成される。
【００６７】
ステップＳ８２０において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０は、特徴ベクトル情報（人物）及び代表ベクトル生成処理を実行する。これにより、特徴ベクトル情報（人物）保存部１５２には、特徴ベクトル情報（人物）５００及び代表ベクトル５１０が格納される。
【００６８】
ステップＳ８３０＿１において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１には、特徴ベクトル情報（商品）４００が格納される。
【００６９】
ステップＳ８１０＿４〜Ｓ８１０＿６において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより商品情報の入力を受け付け、サーバ装置１１０に送信する。
【００７０】
ステップＳ８１１＿４〜Ｓ８１１＿６において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００が更新される。
【００７１】
ステップＳ８３０＿２において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１の特徴ベクトル情報（商品）４００が更新される。以降、ステップＳ８１０＿７〜Ｓ８１０＿９、ステップＳ８１１＿７〜Ｓ８１１＿９においても同様の処理が繰り返される。
【００７２】
このように、検索システム１００では、はじめに特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）を１回実行して、代表ベクトル５１０を生成する。以降、検索システム１００では、登録情報３００が複数回更新されるごとに（あるいは所定時間が経過するごとに）、特徴ベクトル情報（商品）生成処理を実行し、特徴ベクトル情報（商品）４００を更新する。
【００７３】
＜商品情報表示・検索処理の流れ＞
次に、検索システム１００における商品情報表示・検索処理の流れについて説明する。図９は、検索システムにおける商品情報表示・検索処理の流れを示すシーケンス図である。
【００７４】
ステップＳ９００＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより商品一覧要求を受け付け、サーバ装置１１０に送信する。
【００７５】
ステップＳ９１０＿１において、サーバ装置１１０の商品表示部１３５は、商品一覧表示処理を実行し、商品一覧要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に、商品一覧を送信する。
【００７６】
ステップＳ９００＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、商品一覧を受信して表示する。
【００７７】
ステップＳ９００＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、商品一覧を表示したことに応じてユーザ１８０＿１〜１８０＿ｎが行う操作に基づき、検索要求を受け付け、サーバ装置１１０に送信する。
【００７８】
ステップＳ９３０＿１において、サーバ装置１１０の商品情報検索部１４０は、商品情報検索処理を実行し、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に、検索結果を送信する。
【００７９】
ステップＳ９００＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、検索結果を受信して表示する。以降、検索システム１００では、ユーザ端末１７０＿１〜１７０＿ｎが商品一覧要求を受け付けるごとに、サーバ装置１１０が商品一覧表示処理を実行し、ユーザ端末１７０＿１〜１７０＿ｎに商品一覧を表示する。また、検索システム１００では、ユーザ端末１７０＿１〜１７０＿ｎが検索要求を受け付けるごとに、サーバ装置１１０が商品情報検索処理を実行し、ユーザ端末１７０＿１〜１７０＿ｎに検索結果を表示する。
【００８０】
なお、図９に示す商品選択処理、商品一覧表示処理及び商品情報検索処理は、図８に示す商品情報登録処理のステップＳ８１０＿１以降の処理と、並行して実行されるものとする。
【００８１】
＜商品情報登録処理の各工程の詳細＞
次に、図８に示す商品情報登録処理に含まれる各工程（ここでは、特徴ベクトル算出用モデルの学習処理、特徴ベクトル情報（人物）及び代表ベクトル生成処理、特徴ベクトル情報（商品）生成処理）の詳細について説明する。
【００８２】
（１）特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細
はじめに、特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細について説明する。図１０は、特徴ベクトル算出用モデルの学習処理を説明するための図である。画像特徴抽出部６３０では、学習用画像を読み出すと、特徴ベクトル算出用モデル１０００に入力する。なお、学習用画像として一部の商品情報に含まれる商品画像を用いる場合にあっては、画像特徴抽出部６３０は、学習処理前に登録情報格納部１５０より当該商品画像を学習用画像を読み出し、特徴ベクトル算出用モデル１０００に入力する。
【００８３】
学習用画像には、予め、対応するカテゴリ、ブランド、模様等の商品属性情報が対応付けられており、特徴ベクトル算出用モデル１０００は、学習用画像が入力されると、対応する商品属性情報が出力されるように、モデルパラメータの機械学習を行う。なお、特徴ベクトル算出用モデル１０００は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）等により構成されているものとする。
【００８４】
これにより、画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００について学習済みモデルを生成する。画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。
【００８５】
（２）特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細
次に、特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細について説明する。図１１は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。
【００８６】
図１１に示すように、ステップＳ１１０１において、商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する商品情報のうち、着用画像を含む商品情報を選択して読み出し、着用画像を取得する。
【００８７】
ステップＳ１１０２において、画像特徴抽出部６３０は、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。図１２は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。
【００８８】
図１２に示すように、画像特徴抽出部６３０は、着用画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトルを抽出する。学習済みモデルの中間層である第ｋ層では、人間が認識しやすい特徴量が算出されるため、第ｋ層を可視化し、特徴ベクトルを算出することで、人間が認識しやすい特徴ベクトルを抽出することができるからである。なお、第ｋ層より抽出される特徴ベクトルは、各特徴量の値が非負値となるように構成されているものとする。特徴ベクトル間で演算を行う際、特徴量の値として負値が含まれていると、負値で減算するケースが生じることとなり、そのような場合、特徴量の値が正値側に振れることになるからである。つまり、減算したにも関わらず、人物の特徴量の影響が抑制されないといった事態を回避するためである。
【００８９】
ステップＳ１１０３において、人物特徴演算部６４０は、代表ベクトル５１０を算出する。人物特徴演算部６４０は、例えば、各着用画像から抽出された各特徴ベクトルの平均値を算出することで、代表ベクトル５１０を算出する（図１２参照）。なお、代表ベクトル５１０の算出方法は、これに限定されず、例えば、各着用画像の特徴ベクトルから、商品画像の特徴ベクトルを減算して、負値を非負化した後、平均値を算出することで、代表ベクトル５１０を算出してもよい。かかる算出方法によれば、着用画像の特徴ベクトルからそのまま代表ベクトルを算出する場合と比較して、商品画像を減算しすぎないというメリットがある。
【００９０】
ステップＳ１１０４において、人物特徴演算部６４０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（人物）５００を生成し、特徴ベクトル情報（人物）保存部１５２に保存する。また、人物特徴演算部６４０は、算出した代表ベクトルを、特徴ベクトル情報（人物）保存部１５２に保存する。
【００９１】
（３）特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細
次に、特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細について説明する。図１３は、特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。
【００９２】
図１３に示すように、ステップＳ１３０１において、商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、各商品情報に含まれる商品画像を取得する。
【００９３】
ステップＳ１３０２において、画像特徴抽出部６３０は、学習済みモデル１２００を用いて、商品画像から特徴ベクトルを抽出する。図１４は、特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。
【００９４】
図１４に示すように、画像特徴抽出部６３０は、商品画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトル１４１０＿１〜１４１０＿ｐを抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１４１０＿１〜１４１０＿ｐは、各特徴量の値が非負値となるように構成されている。
【００９５】
ステップＳ１３０３において、画像特徴抽出部６３０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（商品）４００を生成し、特徴ベクトル情報（商品）保存部１５１に保存する。
【００９６】
＜商品情報表示・検索処理の各工程の詳細＞
次に、図９に示す商品情報表示・検索処理に含まれる各工程（ここでは、商品選択処理、商品一覧表示処理及び商品情報検索処理）の詳細について説明する。
【００９７】
（１）商品一覧表示処理（ステップＳ９１０＿１等）及び商品情報検索処理（ステップＳ９３０＿１等）の詳細
はじめに、商品一覧表示処理（ステップＳ９１０＿１等）及び商品情報検索処理（ステップＳ９３０＿１等）の詳細について説明する。
【００９８】
（１−１）商品一覧表示処理（ステップＳ９１０＿１等）及び商品情報検索処理（ステップＳ９３０＿１等）の流れ
図１５は、商品一覧表示及び商品情報検索処理の流れを示すフローチャートである。図１５に示すように、ステップＳ１５０１において、範囲特定部７０１は、ユーザ端末１７０＿１〜１７０＿ｎから商品一覧要求を受信し、受信した商品一覧要求に基づいて、一覧表示する商品の範囲を特定する。
【００９９】
ステップＳ１５０２において、一覧生成部７０２は、特定された範囲に含まれる商品の商品情報を、登録情報格納部１５０内の登録情報３００より読み出す。また、一覧生成部７０２は、読み出した商品情報を、商品一覧として、商品一覧要求の送信元のユーザ端末に送信する。
【０１００】
ステップＳ１５０３において、クエリ画像取得部７１０は、ユーザ端末１７０＿１〜１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。
【０１０１】
ステップＳ１５０４において、検索対象物検出部７２０は、取得されたクエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。
【０１０２】
ステップＳ１５０５において、画像特徴抽出部６３０は、取得されたクエリ画像の検索対象領域から特徴ベクトルを抽出する。図１６は、商品情報検索処理の処理内容を説明するための図である。図１６に示すように、画像特徴抽出部６３０は、クエリ画像から検出した検索対象領域を、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、第ｋ層より、検索対象領域の特徴ベクトル１６００を抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１６００は、各特徴量の値が非負値となるように構成されている。
【０１０３】
ステップＳ１５０６において、画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、ステップＳ１５０５において抽出された検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算する。これにより、画像特徴変換部７４０は、減算後の特徴ベクトルを算出する。
【０１０４】
ステップＳ１５０７において、画像特徴変換部７４０は、減算後の特徴ベクトルについて、負値の特徴量をゼロ値に変換する（非負化する）。これにより、画像特徴変換部７４０は、変換後の特徴ベクトルを算出する。
【０１０５】
ステップＳ１５０８において、類似ベクトル演算部７５０は、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、変換後の特徴ベクトルに類似する特徴ベクトルを検索する。
【０１０６】
ステップＳ１５０９において、検索結果出力部７６０は、類似ベクトル演算部７５０により検索された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（商品）４００において特定する。また、検索結果出力部７６０は、特定した商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【０１０７】
（１−２）商品情報検索処理（ステップＳ９３０＿１等）の具体例
次に、商品情報検索処理（ステップＳ９３０＿１等）の具体例について説明する。図１７は、商品情報検索処理の具体例を示す図である。図１７に示す各特徴ベクトルは、横軸が特徴量の項目であり、縦軸が特徴量の値を示している。
【０１０８】
画像特徴変換部７４０では、検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算することで、減算後の特徴ベクトル１７０１を算出する。これにより、減算後の特徴ベクトル１７０１は、検索対象の特徴量が非検索対象の特徴量よりも重み付けされたことになる（クエリ画像に含まれる人物の特徴量の影響を抑制することができる）。
【０１０９】
ここで、画像特徴変換部７４０では、特徴量の項目ごとに、特徴量の値を減算するため、特徴量の項目によっては、減算後の特徴量の値が、負値になる場合がある（点線領域１７０２参照）。
【０１１０】
画像特徴変換部７４０では、減算後の特徴ベクトル１７０１のうち、特徴量の値が負値となった項目について、特徴量の値をゼロに変換する（点線領域１７０４参照）。これにより、画像特徴変換部７４０では、変換後の特徴ベクトル１７０３を算出する。
【０１１１】
類似ベクトル演算部７５０では、特徴ベクトル情報（商品）保存部１５１より読み出した各商品情報に含まれる商品画像の特徴ベクトル１４１０＿１〜１４１０＿ｐの中から、変換後の特徴ベクトル１７０３との類似度が高い商品画像の特徴ベクトルを検索する。
【０１１２】
なお、類似ベクトル演算部７５０では、類似度が所定の閾値以上の複数の商品画像の特徴ベクトルを検索してもよいし、類似度が最も高い商品画像の特徴ベクトルを検索してもよい。図１７の例は、紙面の都合上、類似度が最も高い商品画像の特徴ベクトル１４１０＿ｉを検索した様子を示している。
【０１１３】
検索結果出力部７６０は、商品画像の特徴ベクトル１４１０＿ｉが対応付けられた商品情報１７１０を、特徴ベクトル情報（商品）保存部１５１より読み出す。また、検索結果出力部７６０は、読み出した商品情報１７１０を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【０１１４】
（１−３）商品情報検索処理（ステップＳ９３０＿１等）の検索結果の具体例
次に、商品情報検索処理（ステップＳ９３０＿１等）において検索結果出力部７６０により送信される検索結果の具体例について、クエリ画像と対比しながら説明する。図１８は、検索結果の具体例を示す図である。
【０１１５】
図１８（ａ）において、符号１８１０は、クエリ画像の一例であり、符号１８１１は、当該クエリ画像について、商品情報検索部１４０による商品情報検索処理が実行された場合の検索結果（ここでは、１５個の商品画像）を示している。一方、符号１８１２は、比較例として、当該クエリ画像について、一般的な商品情報検索処理が実行された場合の検索結果（同様に、１５個の商品画像）を示している。
【０１１６】
符号１８１１に示すように、商品情報検索部１４０による商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。
【０１１７】
一方、符号１８１２に示すように、一般的な商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合、人物を含む商品画像が検索されることになる。
【０１１８】
つまり、一般的な商品情報検索処理の場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。
【０１１９】
これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。
【０１２０】
他のクエリ画像の場合も同様である。図１８（ｂ）において、符号１８２０、符号１８２０'は、いずれもクエリ画像の他の一例であり、衣服を着た人物の背景に模様が映っている。
【０１２１】
符号１８２１に示すように、商品情報検索部１４０によれば、符号１８１１と同様に、クエリ画像内に、検索対象の衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。加えて、符号１８２１の場合、衣服を着た人物の背景に模様が含まれている場合であっても、背景の模様に類似する商品画像が検索されることはない。検索対象物検出部７２０により、検索対象の商品を含む領域が検索対象領域として検出されるためである。なお、符号１８２０内に表示された矩形領域は、検索対象物検出部７２０により検出された検索対象領域を示している。
【０１２２】
一方、符号１８２２は、比較例として、検索対象物検出部７２０が、検索対象の商品を含む領域を検索対象領域として検出する処理を実行しなかった場合の検索結果を示している。
【０１２３】
符号１８２２に示すように、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる、検索対象領域以外の領域に類似する商品画像が検索されることになる。
【０１２４】
つまり、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。
【０１２５】
これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。
【０１２６】
（２）商品選択処理（ステップＳ９００＿１等）の詳細
次に、商品選択処理（ステップＳ９００＿１等）の詳細について説明する。
【０１２７】
（２−１）商品選択処理（ステップＳ９００＿１等）の流れ及び画面例その１
はじめに、商品選択処理（ステップＳ９００＿１等）の流れについて説明する。図１９は、商品選択処理の流れを示す第１のフローチャートである。ここでは、図２０に示す画面例を参照しながら図１９のフローチャートについて説明する。なお、図２０は、商品一覧画面及び商品詳細画面の一例を示す第１の図である。
【０１２８】
ステップＳ１９０１において、ユーザ端末１７０＿ｎは、ユーザ１８０＿ｎより、商品一覧として表示する商品の範囲（例えば、カテゴリ）の入力を受け付ける。
【０１２９】
ステップＳ１９０２において、ユーザ端末１７０＿ｎは、受け付けた商品の範囲を含む商品一覧要求を生成し、サーバ装置１１０に送信する。
【０１３０】
ステップＳ１９０３において、ユーザ端末１７０＿ｎは、商品一覧要求を送信したことに応じてサーバ装置１１０より、商品一覧を受信する。
【０１３１】
ステップＳ１９０４において、ユーザ端末１７０＿ｎは、受信した商品一覧を、商品一覧画面に表示する。図２０（ａ）の商品一覧画面２０００は、ユーザ１８０＿ｎが、カテゴリとして"ワンピース"を入力したことに応じて、ユーザ端末１７０＿ｎに、ワンピースの商品一覧が表示された様子を示している。
【０１３２】
ステップＳ１９０５において、ユーザ端末１７０＿ｎは、商品一覧画面に商品一覧を表示したことに応じて、ユーザ１８０＿ｎより、購入を希望する１の商品の選択を受け付ける。図２０（ａ）は、商品画像２００１の商品がユーザ１８０＿ｎにより選択された様子を示している。
【０１３３】
ステップＳ１９０６において、ユーザ端末１７０＿ｎは、商品一覧において選択された１の商品の商品画像をクエリ画像として、サーバ装置１１０に対して検索要求を送信する。図２０（ａ）の例の場合、ユーザ端末１７０＿ｎは、商品画像２００１をクエリ画像として、サーバ装置１１０に対して検索要求を送信する。
【０１３４】
ステップＳ１９０７において、ユーザ端末１７０＿ｎは、検索要求を送信したことに応じて、サーバ装置１１０より、検索結果を受信する。
【０１３５】
ステップＳ１９０８において、ユーザ端末１７０＿ｎは、商品詳細画面を生成して表示する。図２０（ｂ）に示すように、商品詳細画面２０１０には、選択された１の商品の商品画像２００１及び選択された１の商品の詳細情報２０１１と、受信した検索結果に含まれる商品画像２０１２と、が含まれる。
【０１３６】
このように、ユーザ端末１７０＿ｎは、商品一覧画面２０００において、購入を希望する１の商品が選択されたことで、商品詳細画面２０１０に遷移し、選択された１の商品の詳細情報２０１１を表示する。これにより、ユーザ１８０＿ｎは、遷移後の商品詳細画面２０１０において、購入を希望する１の商品の詳細情報を知ることができる。
【０１３７】
また、選択された１の商品に類似する商品が含まれる商品画像２０１２を表示することで、ユーザ１８０＿ｎは、類似する商品（選択された１の商品に関連する関連商品）を参照しながら、最終的に、購入する商品を決定することができる。なお、図２０（ｂ）に示すように、商品詳細画面２０１０には、購入する商品を決定した場合に、商品を購入する手続きに移るための"購入手続き"ボタン２０１３が含まれる。
【０１３８】
ステップＳ１９０９において、ユーザ端末１７０＿ｎは、商品一覧画面２０００に戻るか否かを判定する。ステップＳ１９０９において、商品一覧画面２０００に戻ると判定した場合には（ステップＳ１９０９においてＹｅｓの場合には）、ステップＳ１９０４に戻る。
【０１３９】
一方、ステップＳ１９０９において、商品一覧画面２０００に戻らないと判定した場合には（ステップＳ１９０９においてＮｏの場合には）、ステップＳ１９１０に進む。
【０１４０】
ステップＳ１９１０において、ユーザ端末１７０＿ｎは、購入手続き画面に進むか否かを判定する。"購入手続き"ボタン２０１３が押下されていない場合には、購入手続き画面に進まないと判定し（ステップＳ１９１０においてＮｏの場合には）、ステップＳ１９０５に戻る。
【０１４１】
この場合、ステップＳ１９０５において、ユーザ端末１７０＿ｎは、他の１の商品（関連商品）の選択を受け付ける。図２０（ｂ）の例では、関連商品として表示された商品画像２０１２のいずれかの商品画像の商品の選択を受け付ける。
【０１４２】
一方、"購入手続き"ボタン２０１３が押下された場合には、購入手続き画面に進むと判定し（ステップＳ１９１０においてＹｅｓの場合には）、商品選択処理を終了する。
【０１４３】
（２−２）商品選択処理（ステップＳ９００＿１等）の画面例その２
次に、商品選択処理（ステップＳ９００＿１等）の他の画面例について説明する。図２１は、商品一覧画面及び商品詳細画面の一例を示す第２の図である。
【０１４４】
図２０との相違点は、商品一覧として表示する商品の範囲について、ユーザ１８０＿ｎが、"新着"と入力した点である。商品一覧として表示する商品の範囲として、"新着"が入力された場合、図２１（ａ）に示すように、商品一覧画面２１００に表示される商品画像には、様々なカテゴリの新着の商品の商品画像が含まれる。新着の商品とは、現時点から遡って所定期間内に商品情報が格納された商品を指す。
【０１４５】
このように、ユーザ端末１７０＿１〜１７０＿ｎでは、商品一覧として表示する商品の範囲を任意に入力することができる。
【０１４６】
なお、図２０の場合と同様に、商品一覧画面において商品が選択されると、ユーザ端末１７０＿ｎでは、該選択された商品の商品画像をクエリ画像として、サーバ装置１１０に対して検索要求を送信する。図２１（ａ）の例の場合、ユーザ端末１７０＿ｎは、商品画像２１０１をクエリ画像として、サーバ装置１１０に対して検索要求を送信する。
【０１４７】
図２１（ｂ）は、商品一覧画面２１００において、商品画像２１０１の商品が選択されたことで、商品詳細画面２０１０に遷移した様子を示している。なお、図２１（ｂ）に示す商品詳細画面２０１０の構成は、図２０（ｂ）に示す商品詳細画面２０１０の構成と同じであるため、ここでは説明を省略する。
【０１４８】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係るサーバ装置では、
・ユーザ端末より送信された検索要求を受信し、クエリ画像を取得する。
・クエリ画像内に検索対象（例えば、衣服）と非検索対象（例えば、人物）の両方が含まれていた場合に、複数の商品画像の中から、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索する。
【０１４９】
これにより、第１の実施形態に係るサーバ装置によれば、クエリ画像を用いた商品検索において、検索対象に応じた検索結果を出力することができる。
【０１５０】
また、第１の実施形態に係るユーザ端末では、
・一覧表示された商品の中から１の商品が選択されることで、商品詳細画面に遷移する際、選択された１の商品の商品画像をクエリ画像として、サーバ装置に対して検索要求を送信する。
・検索要求を送信したことに応じてサーバ装置より検索結果を受信した場合、受信した検索結果に含まれる商品画像を、選択された１の商品に関連する関連商品の商品画像として、遷移後の商品詳細画面に出力する。
【０１５１】
これにより、第１の実施形態に係るユーザ端末によれば、選択された１の商品に関連する関連商品を参照しながら、最終的に購入する商品を決定することができる。
【０１５２】
［第２の実施形態］
上記第１の実施形態では、商品一覧画面において商品が選択されたタイミングで検索要求を行い、商品詳細画面に遷移したタイミングで検索結果を表示する構成としたが、検索要求の送信のタイミング及び検索結果の表示のタイミングはこれに限定されない。
【０１５３】
例えば、遷移後の商品詳細画面に関連商品検索ボタンを設け、商品詳細画面に遷移した後の当該関連商品検索ボタンが押下されたタイミングで、検索要求を行うように構成してもよい。
【０１５４】
図２２は、商品選択処理の流れを示す第２のフローチャートである。図１９との相違点は、ステップＳ２２０１、Ｓ２２０２、Ｓ２２０３である。
【０１５５】
ステップＳ２２０１において、ユーザ端末１７０＿ｎは、商品一覧画面に商品一覧を表示したことに応じて、ユーザ１８０＿ｎより、購入を希望する１の商品の選択を受け付ける。これにより、ユーザ端末１７０＿ｎは、選択された１の商品の商品情報を含む商品詳細画面を生成して表示する。
【０１５６】
ステップＳ２２０２において、ユーザ端末１７０＿ｎは、選択された１の商品に類似する商品の検索を要求するための関連商品検索ボタンの押下を受け付ける。
【０１５７】
ステップＳ２２０３において、ユーザ端末１７０＿ｎは、受信した検索結果に含まれる商品画像を、関連商品として、商品詳細画面に表示する。
【０１５８】
このように、任意のタイミングで関連商品検索ボタンを押下することができるようにすることで、ユーザ１８０＿ｎは、関連商品を、商品詳細画面に遷移後の任意のタイミングで参照することができる。
【０１５９】
［その他の実施形態］
上記第１及び第２の実施形態では、商品情報検索部１４０の各部（クエリ画像取得部７１０〜検索結果出力部７６０）を、サーバ装置１１０側に設けるものとして説明した。しかしながら、商品情報検索部１４０の一部の機能については、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。例えば、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０は、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。
【０１６０】
これにより、サーバ装置１１０では、ユーザ端末１７０＿１〜１７０＿ｎから、特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００を取得しておく必要がある。
【０１６１】
あるいは、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０は、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。これにより、サーバ装置１１０では、ユーザ端末１７０＿１〜１７０＿ｎから、変換後の特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておく必要がある。
【０１６２】
あるいは、商品表示部１３５及び商品情報検索部１４０の全ての機能を、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。これにより、ユーザ端末１７０＿１〜１７０＿ｎでは、商品一覧表示処理及び商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておくとともに、定期的に、特徴ベクトル情報（商品）４００を取得しておく必要がある。商品点数が多くない場合や、商品の更新頻度が低い場合に有効である。
【０１６３】
また、上記第１及び第２の実施形態において、特徴ベクトル情報（人物）及び代表ベクトル生成処理は、１回のみ実行し、特徴ベクトル情報（商品）生成処理は、例えば、所定時間が経過するごとに実行するものとして説明した。しかしながら、特徴ベクトル情報（人物）及び代表ベクトル生成処理についても、特徴ベクトル情報（商品）生成処理と同様に、所定時間が経過するごとに実行するように構成してもよい。また、特徴ベクトル情報（商品）生成処理は、商品情報が格納され、登録情報が更新されるごとに実行するように構成してもよい。
【０１６４】
また、上記第１及び第２の実施形態では、検索対象を衣服とし、非検索対象を当該衣服を着用した人物とした。そして、当該人物が当該衣服を着用した着用画像について代表ベクトルを算出する構成とした。しかしながら、検索対象は衣服に限定されず、アクセサリや小物等であってもよい。この場合、非検索対象は、当該アクセサリを身に着けた人物や、当該小物を保持する人物となる。そして、当該人物がアクセサリを身に着けた（あるいは小物を保持した）着用画像について代表ベクトルが算出されることになる。
【０１６５】
つまり、着用画像には、衣服を着用することのほか、アクセサリを身に付けたり、小物を保持することなど、検索対象とともに撮影された人物が含まれる画像全般が含まれるものとする。
【０１６６】
また、非検索対象は、人物に限定されず、例えば、商品が椅子に載置された画像においては、椅子を非検索対象としてもよい。あるいは、商品がハンガにかかっている画像においては、ハンガを非検索対象としてもよい。ただし、これらを非検索対象とする場合には、これらを含む画像に基づいて、代表ベクトルを算出しておく必要がある。
【０１６７】
また、上記第１及び第２の実施形態では、検索結果として、商品ＩＤ、商品属性情報、商品画像等を送信するものとして説明したが、商品ＩＤ、商品属性情報、商品画像のうちの少なくとも１つを送信するようにしてもよい。また、検索結果として、商品ＩＤ、商品属性情報、商品画像以外の情報を送信するようにしてもよい。
【０１６８】
また、上記第１の実施形態では、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることを示した。しかしながら、商品情報検索部１４０による商品情報検索処理の効果はこれに限定されない。クエリ画像内に、衣服のみが含まれる場合（つまり、クエリ画像が着用画像でない場合）でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることはいうまでもない。
【０１６９】
また、上記第１及び第２の実施形態において、商品情報検索部１４０は、クエリ画像において人物の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出した。しかしながら、変換後の特徴ベクトルの算出方法はこれに限定されず、例えば、クエリ画像においてユーザの趣味嗜好がより明確になるように、変換後の特徴ベクトルを算出してもよい。これにより、ユーザに対する商品のレコメンド処理を実現することが可能になる。
【０１７０】
また、上記第１及び第２の実施形態では、商品情報検索部１４０が検索する対象画像が、商品画像の場合について説明した。しかしながら、商品情報検索部１４０が検索する対象画像は、商品画像に限定されない。例えば、情景画像や絵画画像等であってもよい。ただし、情景画像の場合には、例えば、クエリ画像において、電柱や自動車の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。また、絵画画像の場合には、例えば、クエリ画像において、額縁の形状の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。
【０１７１】
また、上記第１及び第２の実施形態では、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索し、関連商品の商品画像として出力する場合について説明した。しかしながら、検索する画像は商品画像に限定されず、例えば、検索対象に類似する物品を含み、かつ、非検索対象を含まない任意の画像を検索し、関連物品の画像として出力してもよい。
【０１７２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１７３】
１００                      ：検索システム
１１０                      ：サーバ装置
１２０                      ：フリーマーケットサービス部
１３０                      ：商品情報登録部
１３５                      ：商品表示部
１４０                      ：商品情報検索部
１５０                      ：登録情報格納部
１５１                      ：特徴ベクトル情報（商品）保存部
１５２                      ：特徴ベクトル情報（人物）保存部
１７０＿１〜１７０＿ｎ      ：ユーザ端末
３００                      ：登録情報
４００                      ：特徴ベクトル情報（商品）
５００                      ：特徴ベクトル情報（人物）
５１０                      ：代表ベクトル
６１０                      ：商品情報取得部
６２０                      ：商品情報（着用画像）選択部
６３０                      ：画像特徴抽出部
６４０                      ：人物特徴演算部
６５０                      ：商品情報読み出し部
７０１                      ：範囲特定部
７０２                      ：一覧生成部
７１０                      ：クエリ画像取得部
７２０                      ：検索対象物検出部
７４０                      ：画像特徴変換部
７５０                      ：類似ベクトル演算部
７６０                      ：検索結果出力部
１０００                    ：特徴ベクトル算出用モデル
１２００                    ：学習済みモデル
１４１０＿１〜１４１０＿ｐ  ：商品画像の特徴ベクトル
１６００                    ：検索対象領域の特徴ベクトル
１７０１                    ：減算後の特徴ベクトル
１７０３                    ：変換後の特徴ベクトル
２０００                    ：商品一覧画面
２０１０                    ：商品詳細画面
２１００                    ：商品一覧画面
【図１】
2020086915.tif 000003
【図２】
2020086915.tif 000004
【図３】
2020086915.tif 000005
【図４】
2020086915.tif 000006
【図５】
2020086915.tif 000007
【図６】
2020086915.tif 000008
【図７】
2020086915.tif 000009
【図８】
2020086915.tif 000010
【図９】
2020086915.tif 000011
【図１０】
2020086915.tif 000012
【図１１】
2020086915.tif 000013
【図１２】
2020086915.tif 000014
【図１３】
2020086915.tif 000015
【図１４】
2020086915.tif 000016
【図１５】
2020086915.tif 000017
【図１６】
2020086915.tif 000018
【図１７】
2020086915.tif 000019
【図１８】
2020086915.tif 000020
【図１９】
2020086915.tif 000021
【図２０】
2020086915.tif 000022
【図２１】
2020086915.tif 000023
【図２２】
2020086915.tif 000024