(57)【要約】【課題】  クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力する。【解決手段】  検索プログラムは、クエリ画像を入力する入力工程と、前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程とをコンピュータに実行させる。【選択図】図１
2020086914.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と
をコンピュータに実行させるための検索プログラム。
【請求項２】
前記検索工程は、
前記クエリ画像内に検索対象と該検索対象とともに撮影された人物とが含まれていた場合に、前記複数の画像の中から、該検索対象に類似する物品を含み、かつ、人物を含まない画像を検索する、請求項１に記載の検索プログラム。
【請求項３】
前記検索工程は、
前記クエリ画像内に含まれる人物の特徴量よりも、前記クエリ画像内に含まれる検索対象の特徴量を重み付けして検索する、請求項２に記載の検索プログラム。
【請求項４】
前記検索工程は、
前記クエリ画像から抽出された特徴ベクトルを、物品と該物品とともに撮影された人物とが含まれる画像から予め抽出された特徴ベクトルで減算し、
減算した特徴ベクトルに含まれる負値の特徴量を非負化し、
前記負値の特徴量を非負化した特徴ベクトルを用いて、前記複数の画像それぞれから抽出された特徴ベクトルとの類似度を算出する、請求項２に記載の検索プログラム。
【請求項５】
物品と該物品とともに撮影された人物とが含まれる複数の画像それぞれから抽出された特徴ベクトルに基づいて、代表ベクトルを算出する算出工程を、コンピュータに実行させ、
前記検索工程は、
前記クエリ画像から抽出された特徴ベクトルを、前記代表ベクトルで減算する、請求項４に記載の検索プログラム。
【請求項６】
前記算出工程は、
物品と該物品とともに撮影された人物とが含まれる複数の画像を、物品のカテゴリに応じて分類し、カテゴリごとに分類された複数の画像それぞれから抽出された特徴ベクトルに基づいて、カテゴリごとに代表ベクトル候補を算出し、
カテゴリごとに算出した代表ベクトル候補に基づいて、前記代表ベクトルを算出する、請求項５に記載の検索プログラム。
【請求項７】
クエリ画像を入力する入力部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と
を有するサーバ装置。
【請求項８】
クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程と
を有する検索方法。
【請求項９】
端末とサーバ装置とが通信可能に接続される検索システムであって、
クエリ画像を入力する入力部と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索部と
を有する検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索プログラム、サーバ装置、検索方法及び検索システムに関する。
【背景技術】
【０００２】
従来より、クエリ画像に類似する類似画像を検索するための種々の検索方法が提案されている（例えば、下記特許文献１、２等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０５２１７５号公報
【特許文献２】特開２００１−３１９２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記検索方法の場合、クエリ画像内に検索対象の物品と非検索対象の両方が含まれ、かつ、検索対象の物品の特徴量よりも、非検索対象の特徴量の方が類似度に与える影響が大きい場合に、適切な画像を検索することができない、という問題がある。
【０００５】
本発明は上記課題に鑑みてなされたものであり、クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によれば、検索プログラムは、例えば、以下のような構成を有する。即ち、
クエリ画像を入力する入力工程と、
前記クエリ画像内に検索対象と非検索対象とが含まれていた場合に、複数の画像の中から、該検索対象に類似する物品を含み、かつ、該非検索対象を含まない画像を検索する検索工程とをコンピュータに実行させる。
【発明の効果】
【０００７】
本発明によれば、クエリ画像を用いた画像検索において、検索対象に応じた検索結果を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】検索システムのシステム構成の一例を示す図である。
【図２】サーバ装置のハードウェア構成の一例を示す図である。
【図３】登録情報格納部内の登録情報の具体例を示す図である。
【図４】特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。
【図５】特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。
【図６】商品情報登録部の機能構成の一例を示す図である。
【図７】商品情報検索部の機能構成の一例を示す図である。
【図８】検索システムにおける商品情報登録処理の流れを示すシーケンス図である。
【図９】検索システムにおける商品情報検索処理の流れを示すシーケンス図である。
【図１０】特徴ベクトル算出用モデルの学習処理を説明するための図である。
【図１１】特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。
【図１２】特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。
【図１３】特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。
【図１４】特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。
【図１５】商品情報検索処理の流れを示すフローチャートである。
【図１６】商品情報検索処理の処理内容を説明するための図である。
【図１７】商品情報検索処理の具体例を示す図である。
【図１８】ユーザ端末の検索画面に表示される検索結果の一例を示す第１の図である。
【図１９】ユーザ端末の検索画面に表示される検索結果の一例を示す第２の図である。
【図２０】特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第２の図である。
【図２１】ユーザ端末のチャット画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１０】
［第１の実施形態］
＜１．検索システムのシステム構成＞
はじめに、検索システムのシステム構成について説明する。図１は、検索システムのシステム構成の一例を示す図である。
【００１１】
図１に示すように、検索システム１００は、サーバ装置１１０と、ユーザ１８０＿１〜１８０＿ｎそれぞれが利用するユーザ端末１７０＿１〜１７０＿ｎとを有する。なお、ユーザ端末１７０＿１〜１７０＿ｎは、ネットワーク１９０を介してサーバ装置１１０と通信可能に接続される。
【００１２】
サーバ装置１１０には、フリーマーケットサービスプログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１１０は、フリーマーケットサービス部１２０として機能する。
【００１３】
フリーマーケットサービス部１２０は、ネットワーク１９０を介して接続されるユーザ端末１７０＿１〜１７０＿ｎのユーザ１８０＿１〜１８０＿ｎに対して、各種商品等を取引する場を提供するサービスを行う。
【００１４】
ここで、フリーマーケットサービスプログラムには、少なくとも、登録プログラムと検索プログラムとが含まれているものとする。そして、これらのプログラムが実行されることで、サーバ装置１１０は、商品情報登録部１３０と商品情報検索部１４０とを有するフリーマーケットサービス部１２０として機能する。
【００１５】
商品情報登録部１３０は、ユーザ１８０＿１〜１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１〜１７０＿ｎから商品情報を送信した場合に、当該商品情報を受信し、登録情報格納部１５０に格納する。なお、本実施形態では、登録情報格納部１５０に格納された複数の商品情報を、「登録情報」と総称する。
【００１６】
また、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像から、「特徴ベクトル」（画像から抽出される特徴量の項目と特徴量の値との組）を抽出し、特徴ベクトル情報（商品）保存部１５１に保存する。
【００１７】
更に、商品情報登録部１３０は、格納した各商品情報に含まれる商品画像のうち、特定の商品画像（例えば、商品以外に、商品を着用した人物が含まれる商品画像（「着用画像」））から特徴ベクトルを抽出し、特徴ベクトル情報（人物）保存部１５２に保存する。
【００１８】
商品情報検索部１４０は、ユーザ端末１７０＿１〜１７０＿ｎからクエリ画像を含む検索要求を受信した場合に、特徴ベクトル情報（人物）保存部１５２に保存された特徴ベクトルを用いて、クエリ画像に含まれる人物の特徴量の影響を抑制する処理を行う。そのうえで、商品情報検索部１４０は、クエリ画像に含まれる検索対象に類似する商品を含む商品画像を検索する。
【００１９】
具体的には、商品情報検索部１４０は、特徴ベクトル情報（商品）保存部１５１に保存された特徴ベクトルの中から、処理後のクエリ画像の特徴ベクトルに類似する特徴ベクトルを求めることで、クエリ画像内の検索対象に類似する商品を含む商品画像を検索する。
【００２０】
なお、商品情報検索部１４０では、検索した商品画像を含む検索結果を、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００２１】
＜サーバ装置のハードウェア構成＞
次に、検索システム１００に含まれるサーバ装置１１０のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。
【００２２】
図２に示すように、サーバ装置１１０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。また、サーバ装置１１０は、ＧＰＵ（Graphics Processing Unit）２０４を有する。なお、ＣＰＵ２０１、ＧＰＵ２０４などのプロセッサ（処理回路、Processing Circuit、Processing Circuitry）と、ＲＯＭ２０２、ＲＡＭ２０３などのメモリは、いわゆるコンピュータを形成する。
【００２３】
更に、サーバ装置１１０は、補助記憶装置２０５、表示装置２０６、操作装置２０７、Ｉ／Ｆ（Interface）装置２０８、ドライブ装置２０９を有する。なお、サーバ装置１１０の各ハードウェアは、バス２１０を介して相互に接続される。また、図２に示す各ハードウェアは、一例に過ぎず、一部を変更して（例えば、ＧＰＵ２０４を外して）サーバ装置１１０を構成してもよいことはいうまでもない。
【００２４】
ＣＰＵ２０１は、補助記憶装置２０５にインストールされた各種プログラム（例えば、フリーマーケットサービスプログラム等）を実行する演算デバイスである。
【００２５】
ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０５にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。
【００２６】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０５にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
【００２７】
ＧＰＵ２０４は、画像処理用の演算デバイスであり、ＣＰＵ２０１によりフリーマーケットサービスプログラムが実行される際に、各種画像データについて、並列処理による高速演算を行う。なお、ＧＰＵ２０４は、内部メモリ（ＧＰＵメモリ）を搭載しており、各種画像データについて並列処理を行う際に必要な情報を一時的に保持する。
【００２８】
補助記憶装置２０５は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる各種データ等を格納する。例えば、登録情報格納部１５０、特徴ベクトル情報（商品）保存部１５１、特徴ベクトル情報（人物）保存部１５２は、補助記憶装置２０５において実現される。
【００２９】
表示装置２０６は、サーバ装置１１０の内部状態を表示する表示デバイスである。操作装置２０７は、サーバ装置１１０の管理者がサーバ装置１１０に対して各種指示を入力する際に用いる入力デバイスである。Ｉ／Ｆ装置２０８は、ネットワーク１９０と接続し、ユーザ端末１７０＿１〜１７０＿ｎと通信を行うための接続デバイスである。
【００３０】
ドライブ装置２０９は記録媒体２２０をセットするためのデバイスである。ここでいう記録媒体２２０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３１】
なお、補助記憶装置２０５にインストールされる各種プログラムは、例えば、配布された記録媒体２２０がドライブ装置２０９にセットされ、該記録媒体２２０に記録された各種プログラムがドライブ装置２０９により読み出されることでインストールされる。あるいは、補助記憶装置２０５にインストールされる各種プログラムは、ネットワーク１９０を介してダウンロードされることで、インストールされてもよい。
【００３２】
＜登録情報の具体例＞
次に、登録情報格納部１５０内の登録情報の具体例について説明する。図３は、登録情報格納部内の登録情報の具体例を示す図である。
【００３３】
図３に示すように、登録情報３００は、複数の商品情報により構成される。具体的には、登録情報３００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"商品画像"が含まれ、複数の商品情報それぞれが、当該情報の項目ごとにわけて登録情報格納部１５０に格納されることで、登録情報３００が構成される。
【００３４】
例えば、"商品ＩＤ"には、商品情報のうち、商品を識別するための識別子が格納される。"商品属性情報"には、商品情報のうち、商品の属性（例えば、商品のカテゴリ、商品のブランド、商品のタイトル等）を示す情報が格納される。"商品画像"には、商品情報のうち、商品画像が格納される。
【００３５】
なお、"商品画像"に格納される商品画像には、商品単体の画像の他、商品を着用した人物が含まれる商品画像（着用画像）等が含まれる。
【００３６】
＜特徴ベクトル情報（商品）の具体例＞
次に、特徴ベクトル情報（商品）保存部１５１に保存される特徴ベクトル情報（商品）の具体例について説明する。特徴ベクトル情報（商品）保存部１５１では、商品画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（商品）として保存する。図４は、特徴ベクトル情報（商品）保存部に保存される特徴ベクトル情報（商品）の具体例を示す図である。
【００３７】
図４に示すように、特徴ベクトル情報（商品）４００には、情報の項目として、商品情報についての情報の項目である"商品ＩＤ"、"商品属性情報"、"商品画像"に加え、"特徴ベクトル"が含まれる。"特徴ベクトル"には、"商品画像"に格納された商品画像から抽出された特徴ベクトルが格納される。
【００３８】
なお、上述したとおり、特徴ベクトルは、画像から抽出される特徴量の項目と特徴量の値との組であり、図４の例は、特徴量の項目として、"特徴１"〜"特徴ｍ"が抽出されたことを示している。また、図４の例は、特徴量の値を、棒グラフの長さとして示している。
【００３９】
＜特徴ベクトル情報（人物）の具体例＞
次に、特徴ベクトル情報（人物）保存部１５２に保存される特徴ベクトル情報（人物）等の具体例について説明する。特徴ベクトル情報（人物）保存部１５２では、着用画像から抽出された特徴ベクトルを、商品情報と対応付けて、特徴ベクトル情報（人物）として保存するとともに、着用画像から抽出された特徴ベクトルに基づいて算出された代表ベクトルを保存する。
【００４０】
図５は、特徴ベクトル情報（人物）保存部に保存される特徴ベクトル情報（人物）及び代表ベクトルの具体例を示す図である。
【００４１】
図５に示すように、特徴ベクトル情報（人物）５００には、情報の項目として、"商品ＩＤ"、"商品属性情報"、"着用画像"、"特徴ベクトル"が含まれる。特徴ベクトル情報（人物）５００の場合、登録情報３００を構成する各商品情報に含まれる商品画像の中から選択された着用画像が"着用画像"に格納され、対応する商品の識別子、商品の属性情報が、それぞれ、"商品ＩＤ"、"商品属性情報"に格納される。また、"特徴ベクトル"には、"着用画像"に格納された着用画像から抽出された特徴ベクトルが格納される。なお、図４と同様、図５の例は、特徴量の項目として、"特徴１"〜"特徴ｍ"が抽出されたことを示している。また、図５の例は、特徴量の値を、棒グラフの長さとして示している。
【００４２】
代表ベクトル５１０は、特徴ベクトル情報（人物）５００の"特徴ベクトル"に格納された、各着用画像の特徴ベクトルに基づいて算出される。代表ベクトル５１０は、例えば、各着用画像の特徴ベクトルの平均値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルの中央値を算出することで求められる。あるいは、代表ベクトル５１０は、各着用画像の特徴ベクトルを整数化し、最頻値を算出することで求められる。
【００４３】
＜商品情報登録部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品情報登録部１３０の機能構成について説明する。図６は、商品情報登録部の機能構成の一例を示す図である。図６に示すように、商品情報登録部１３０は、商品情報取得部６１０、商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０、商品情報読み出し部６５０を有する。
【００４４】
商品情報取得部６１０は、ユーザ１８０＿１〜１８０＿ｎが商品を出品すべく、ユーザ端末１７０＿１〜１７０＿ｎから商品情報を送信した場合において、当該商品情報を受信するごとに、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００は、商品情報取得部６１０が商品情報を受信するごとに更新される。
【００４５】
商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する各商品情報のうち、着用画像を含む商品情報を選択して読み出し、画像特徴抽出部６３０に通知する。なお、商品情報（着用画像）選択部６２０は、例えば、着用画像を含む商品情報が、登録情報格納部１５０内に登録情報３００として一定程度登録されたタイミングで、着用画像を含む商品画像を選択して読み出すものとする。
【００４６】
この場合、画像特徴抽出部６３０では、商品情報（着用画像）選択部６２０より通知された商品情報に含まれる着用画像から、特徴ベクトルを抽出し、商品情報と対応付けて人物特徴演算部６４０に通知する。
【００４７】
人物特徴演算部６４０は、人物特徴演算部６４０より通知された各商品情報に対応付けられた特徴ベクトルに基づいて、代表ベクトル５１０を算出する。また、人物特徴演算部６４０は、着用画像から抽出された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（人物）５００として、代表ベクトル５１０とともに特徴ベクトル情報（人物）保存部１５２に保存する。
【００４８】
商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、画像特徴抽出部６３０に通知する。
【００４９】
この場合、画像特徴抽出部６３０では、商品情報読み出し部６５０より通知された登録情報３００を構成する各商品情報に含まれる商品画像から、特徴ベクトルを抽出する。また、画像特徴抽出部６３０は、抽出した特徴ベクトルを商品情報と対応付けて、特徴ベクトル情報（商品）４００として、特徴ベクトル情報（商品）保存部１５１に保存する。
【００５０】
＜商品情報検索部の機能構成＞
次に、サーバ装置１１０のフリーマーケットサービス部１２０が有する商品情報検索部１４０の機能構成について説明する。図７は、商品情報検索部の機能構成の一例を示す図である。図７に示すように、商品情報検索部１４０は、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０、類似ベクトル演算部７５０、検索結果出力部７６０を有する。
【００５１】
クエリ画像取得部７１０は入力部の一例であり、ユーザ端末１７０＿１〜１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。
【００５２】
検索対象物検出部７２０は、クエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。ただし、検索対象物検出部７２０の機能は必須ではなく、商品情報検索部１４０は、検索対象物検出部７２０を実行しなくてもよい。
【００５３】
画像特徴抽出部６３０は、検索対象物検出部７２０により検出された検索対象領域から特徴ベクトルを抽出し、画像特徴変換部７４０に通知する。
【００５４】
画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、画像特徴抽出部６３０より通知された特徴ベクトルから、代表ベクトル５１０を減算することで、減算後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、特徴量の項目ごとに、特徴ベクトルの特徴量の値から代表ベクトル５１０の特徴量の値を減算することで、減算後の特徴ベクトルを算出する。これにより、減算後の特徴ベクトルは、人物の特徴量の影響が抑制された特徴ベクトルとなる。
【００５５】
また、画像特徴変換部７４０は、減算後の特徴ベクトルに含まれる負値をゼロ化することで、減算後の特徴ベクトルを変換し、変換後の特徴ベクトルを算出する。具体的には、画像特徴変換部７４０は、各特徴量の項目のうち、減算により負値になった特徴量の項目について、特徴量の値をゼロ値に変換する（非負化する）。これにより、変換後の特徴ベクトルは、負値を含まない特徴ベクトルとなる。人物の特徴量の影響を抑制するために減算したにも関わらず、減算の結果、負値として人物の特徴量の影響が現れたのでは、人物の特徴量の影響を抑制したことにならないため、画像特徴変換部７４０では、ゼロ値に変換することで、人物の特徴量の影響を適切に抑制する。
【００５６】
類似ベクトル演算部７５０は検索部の一例であり、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、画像特徴変換部７４０より通知された変換後の特徴ベクトルに類似する特徴ベクトルを検索する。また、類似ベクトル演算部７５０は、検索した特徴ベクトルを、検索結果出力部７６０に通知する。
【００５７】
検索結果出力部７６０は、類似ベクトル演算部７５０より通知された特徴ベクトルが対応付けられた商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００５８】
＜商品情報登録処理の流れ＞
次に、検索システム１００における商品情報登録処理の流れについて説明する。図８は、検索システムにおける商品情報登録処理の流れを示すシーケンス図である。
【００５９】
ステップＳ８０１において、サーバ装置１１０の商品情報登録部１３０に含まれる画像特徴抽出部６３０は、特徴ベクトルを抽出するための学習モデル（特徴ベクトル算出用モデル。詳細は後述）を機械学習する際に用いる学習用画像を取得する。学習用画像には、例えば、登録情報格納部１５０内の登録情報３００を構成する複数の商品情報の一部の商品情報に含まれる商品画像等が用いられる。なお、学習用画像に用いるのは、商品画像に限定されず、例えば、ネットワーク１９０上でダウンロード可能な任意の画像であってもよい。
【００６０】
ステップＳ８０２において、画像特徴抽出部６３０は、取得した学習用画像を用いて、特徴ベクトル算出用モデルを機械学習する。
【００６１】
ステップＳ８１０＿１〜Ｓ８１０＿３において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより出品する商品についての商品情報の入力を受け付け、サーバ装置１１０に送信する。
【００６２】
ステップＳ８１１＿１〜Ｓ８１１＿３において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報（ユーザ１８０＿１〜１８０＿ｎが出品する商品についての商品情報）を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内に登録情報３００が構成される。
【００６３】
ステップＳ８２０において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報（着用画像）選択部６２０、画像特徴抽出部６３０、人物特徴演算部６４０は、特徴ベクトル情報（人物）及び代表ベクトル生成処理を実行する。これにより、特徴ベクトル情報（人物）保存部１５２には、特徴ベクトル情報（人物）５００及び代表ベクトル５１０が格納される。
【００６４】
ステップＳ８３０＿１において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１には、特徴ベクトル情報（商品）４００が格納される。
【００６５】
ステップＳ８１０＿４〜Ｓ８１０＿６において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより商品情報の入力を受け付け、サーバ装置１１０に送信する。
【００６６】
ステップＳ８１１＿４〜Ｓ８１１＿６において、サーバ装置１１０の商品情報登録部１３０に含まれる商品情報取得部６１０は、受信した商品情報を、順次、登録情報格納部１５０に格納する。これにより、登録情報格納部１５０内の登録情報３００が更新される。
【００６７】
ステップＳ８３０＿２において、商品情報読み出し部６５０、画像特徴抽出部６３０は、特徴ベクトル情報（商品）生成処理を実行する。これにより、特徴ベクトル情報（商品）保存部１５１の特徴ベクトル情報（商品）４００が更新される。以降、ステップＳ８１０＿７〜Ｓ８１０＿９、ステップＳ８１１＿７〜Ｓ８１１＿９においても同様の処理が繰り返される。
【００６８】
このように、検索システム１００では、はじめに特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）を１回実行して、代表ベクトル５１０を生成する。以降、検索システム１００では、登録情報３００が複数回更新されるごとに（あるいは所定時間が経過するごとに）、特徴ベクトル情報（商品）生成処理を実行し、特徴ベクトル情報（商品）４００を更新する。
【００６９】
＜商品情報検索処理の流れ＞
次に、検索システム１００における商品情報検索処理の流れについて説明する。図９は、検索システムにおける商品情報検索処理の流れを示すシーケンス図である。
【００７０】
ステップＳ９００＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、ユーザ１８０＿１〜１８０＿ｎより検索要求を受け付け、サーバ装置１１０に送信する。
【００７１】
ステップＳ９１０＿１において、サーバ装置１１０の商品情報検索部１４０は、商品情報検索処理を実行し、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に、検索結果を送信する。
【００７２】
ステップＳ９０１＿１において、ユーザ端末１７０＿１〜１７０＿ｎは、検索結果を受信して表示する。以降、検索システム１００では、ユーザ端末１７０＿１〜１７０＿ｎが検索要求を受け付けるごとに、サーバ装置１１０が商品情報検索処理を実行し、ユーザ端末１７０＿１〜１７０＿ｎに検索結果を表示する。
【００７３】
なお、図９に示す商品情報検索処理は、図８に示す商品情報登録処理のステップＳ８１０＿１以降の処理と、並行して実行されるものとする。
【００７４】
＜商品情報登録処理の各工程の詳細＞
次に、図８に示す商品情報登録処理に含まれる各工程（ここでは、特徴ベクトル算出用モデルの学習処理、特徴ベクトル情報（人物）及び代表ベクトル生成処理、特徴ベクトル情報（商品）生成処理）の詳細について説明する。
【００７５】
（１）特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細
はじめに、特徴ベクトル算出用モデルの学習処理（ステップＳ８０２）の詳細について説明する。図１０は、特徴ベクトル算出用モデルの学習処理を説明するための図である。画像特徴抽出部６３０では、学習用画像を読み出すと、特徴ベクトル算出用モデル１０００に入力する。なお、学習用画像として一部の商品画像に含まれる商品画像を用いる場合にあっては、画像特徴抽出部６３０は、学習処理前に登録情報格納部１５０より当該商品情報を学習用画像として読み出し、特徴ベクトル算出用モデル１０００に入力する。
【００７６】
学習用画像には、予め、対応するカテゴリ、ブランド、模様等の商品属性情報が対応付けられており、特徴ベクトル算出用モデル１０００は、学習用画像が入力されると、対応する商品属性情報が出力されるように、モデルパラメータの機械学習を行う。なお、特徴ベクトル算出用モデル１０００は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）等により構成されているものとする。
【００７７】
これにより、画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００について学習済みモデルを生成する。画像特徴抽出部６３０では、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。
【００７８】
（２）特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細
次に、特徴ベクトル情報（人物）及び代表ベクトル生成処理（ステップＳ８２０）の詳細について説明する。図１１は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の流れを示すフローチャートである。
【００７９】
図１１に示すように、ステップＳ１１０１において、商品情報（着用画像）選択部６２０は、登録情報格納部１５０内の登録情報３００を構成する商品情報のうち、着用画像を含む商品情報を選択して読み出し、着用画像を取得する。
【００８０】
ステップＳ１１０２において、画像特徴抽出部６３０は、特徴ベクトル算出用モデル１０００についての学習済みモデルを用いて、特徴ベクトルを抽出する。図１２は、特徴ベクトル情報（人物）及び代表ベクトル生成処理の処理内容を説明するための第１の図である。
【００８１】
図１２に示すように、画像特徴抽出部６３０は、着用画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトルを抽出する。学習済みモデルの中間層である第ｋ層では、人間が認識しやすい特徴量が算出されるため、第ｋ層を可視化し、特徴ベクトルを算出することで、人間が認識しやすい特徴ベクトルを抽出することができるからである。なお、第ｋ層より抽出される特徴ベクトルは、各特徴量の値が非負値となるように構成されているものとする。特徴ベクトル間で演算を行う際、特徴量の値として負値が含まれていると、負値で減算するケースが生じることとなり、そのような場合、特徴量の値が正値側に振れることになるからである。つまり、減算したにも関わらず、人物の特徴量の影響が抑制されないといった事態を回避するためである。
【００８２】
ステップＳ１１０３において、人物特徴演算部６４０は、代表ベクトル５１０を算出する。人物特徴演算部６４０は、例えば、各着用画像から抽出された各特徴ベクトルの平均値を算出することで、代表ベクトル５１０を算出する（図１２参照）。なお、代表ベクトル５１０の算出方法は、これに限定されず、例えば、各着用画像の特徴ベクトルから、商品画像の特徴ベクトルを減算して、負値を非負化した後、平均値を算出することで、代表ベクトル５１０を算出してもよい。かかる算出方法によれば、着用画像の特徴ベクトルからそのまま代表ベクトルを算出する場合と比較して、商品画像を減算しすぎないというメリットがある。
【００８３】
ステップＳ１１０４において、人物特徴演算部６４０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（人物）５００を生成し、特徴ベクトル情報（人物）保存部１５２に保存する。また、人物特徴演算部６４０は、算出した代表ベクトルを、特徴ベクトル情報（人物）保存部１５２に保存する。
【００８４】
（３）特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細
次に、特徴ベクトル情報（商品）生成処理（ステップＳ８３０＿１等）の詳細について説明する。図１３は、特徴ベクトル情報（商品）生成処理の流れを示すフローチャートである。
【００８５】
図１３に示すように、ステップＳ１３０１において、商品情報読み出し部６５０は、登録情報格納部１５０内の登録情報３００を読み出し、各商品情報に含まれる商品画像を取得する。
【００８６】
ステップＳ１３０２において、画像特徴抽出部６３０は、学習済みモデル１２００を用いて、商品画像から特徴ベクトルを抽出する。図１４は、特徴ベクトル情報（商品）生成処理の処理内容を説明するための図である。
【００８７】
図１４に示すように、画像特徴抽出部６３０は、商品画像を、順次、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、順次、第ｋ層より、特徴ベクトル１４１０＿１〜１４１０＿ｐを抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１４１０＿１〜１４１０＿ｐは、各特徴量の値が非負値となるように構成されている。
【００８８】
ステップＳ１３０３において、画像特徴抽出部６３０は、読み出された商品情報に、抽出した特徴ベクトルを対応付けることで、特徴ベクトル情報（商品）４００を生成し、特徴ベクトル情報（商品）保存部１５１に保存する。
【００８９】
＜商品情報検索処理の詳細＞
次に、商品情報検索処理（ステップＳ９１０＿１等）の詳細について説明する。図１５は、商品情報検索処理の流れを示すフローチャートである。図１５に示すように、ステップＳ１５０１において、クエリ画像取得部７１０は、ユーザ端末１７０＿１〜１７０＿ｎから検索要求を受信し、受信した検索要求に含まれるクエリ画像を取得する。
【００９０】
ステップＳ１５０２において、検索対象物検出部７２０は、取得されたクエリ画像から、検索対象の商品を含む領域を検索対象領域として検出する。
【００９１】
ステップＳ１５０３において、画像特徴抽出部６３０は、取得されたクエリ画像の検索対象領域から特徴ベクトルを抽出する。図１６は、商品情報検索処理の処理内容を説明するための図である。図１６に示すように、画像特徴抽出部６３０は、クエリ画像から検出した検索対象領域を、学習済みモデル１２００（特徴ベクトル算出用モデル１０００についての学習済みモデルの第ｋ層までを実行可能にした学習済みモデル）に入力する。これにより、画像特徴抽出部６３０では、第ｋ層より、検索対象領域の特徴ベクトル１６００を抽出する。なお、上述したとおり、第ｋ層より抽出される特徴ベクトル１６００は、各特徴量の値が非負値となるように構成されている。
【００９２】
ステップＳ１５０４において、画像特徴変換部７４０は、特徴ベクトル情報（人物）保存部１５２に格納された代表ベクトル５１０を読み出し、ステップＳ１５０３において抽出された検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算する。これにより、画像特徴変換部７４０は、減算後の特徴ベクトルを算出する。
【００９３】
ステップＳ１５０５において、画像特徴変換部７４０は、減算後の特徴ベクトルについて、負値の特徴量をゼロ値に変換する（非負化する）。これにより、画像特徴変換部７４０は、変換後の特徴ベクトルを算出する。
【００９４】
ステップＳ１５０６において、類似ベクトル演算部７５０は、特徴ベクトル情報（商品）保存部１５１より、特徴ベクトル情報（商品）４００を読み出し、変換後の特徴ベクトルに類似する特徴ベクトルを検索する。
【００９５】
ステップＳ１５０７において、検索結果出力部７６０は、類似ベクトル演算部７５０により検索された特徴ベクトルが対応付けられた商品情報を、特徴ベクトル情報（商品）４００において特定する。また、検索結果出力部７６０は、特定した商品情報を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【００９６】
＜商品情報検索処理の具体例＞
次に、商品情報検索処理の具体例について説明する。図１７は、商品情報検索処理の具体例を示す図である。図１７に示す各特徴ベクトルは、横軸が特徴量の項目であり、縦軸が特徴量の値を示している。
【００９７】
画像特徴変換部７４０では、検索対象領域の特徴ベクトル１６００から、代表ベクトル５１０を減算することで、減算後の特徴ベクトル１７０１を算出する。これにより、減算後の特徴ベクトル１７０１は、検索対象の特徴量が非検索対象の特徴量よりも重み付けされたことになる（クエリ画像に含まれる人物の特徴量の影響を抑制することができる）。
【００９８】
ここで、画像特徴変換部７４０では、特徴量の項目ごとに、特徴量の値を減算するため、特徴量の項目によっては、減算後の特徴量の値が、負値になる場合がある（点線領域１７０２参照）。
【００９９】
画像特徴変換部７４０では、減算後の特徴ベクトル１７０１のうち、特徴量の値が負値となった項目について、特徴量の値をゼロに変換する（点線領域１７０４参照）。これにより、画像特徴変換部７４０では、変換後の特徴ベクトル１７０３を算出する。
【０１００】
類似ベクトル演算部７５０では、特徴ベクトル情報（商品）保存部１５１より読み出した各商品情報に含まれる商品画像の特徴ベクトル１４１０＿１〜１４１０＿ｐの中から、変換後の特徴ベクトル１７０３との類似度が高い商品画像の特徴ベクトルを検索する。
【０１０１】
なお、類似ベクトル演算部７５０では、類似度が所定の閾値以上の複数の商品画像の特徴ベクトルを検索してもよいし、類似度が最も高い商品画像の特徴ベクトルを検索してもよい。図１７の例は、紙面の都合上、類似度が最も高い商品画像の特徴ベクトル１４１０＿ｉを検索した様子を示している。
【０１０２】
検索結果出力部７６０は、商品画像の特徴ベクトル１４１０＿ｉが対応付けられた商品情報１７１０を、特徴ベクトル情報（商品）保存部１５１より読み出す。また、検索結果出力部７６０は、読み出した商品情報１７１０を、検索結果として、検索要求の送信元のユーザ端末（ユーザ端末１７０＿１〜１７０＿ｎのいずれか）に送信する。
【０１０３】
＜商品情報検索処理の検索結果の具体例＞
次に、ユーザ端末１７０＿１〜１７０＿ｎの検索画面に表示される検索結果の具体例について説明する。図１８は、ユーザ端末の検索画面に表示される検索結果の一例を示す第１の図である。
【０１０４】
図１８に示すように、検索画面１８００には、クエリ画像を読み込むための"クエリ画像読み込み"ボタン１８１１と、読み込んだクエリ画像を表示するクエリ画像表示欄１８０１とが含まれる。また、検索画面１８００には、クエリ画像を含む検索要求を送信するための"検索要求"ボタン１８１２と、検索要求の送信に応じてサーバ装置１１０から送信された検索結果を表示する検索結果表示欄１８２１とが含まれる。
【０１０５】
図１８（ａ）は、サーバ装置１１０にて、商品情報検索部１４０による商品情報検索処理（図１５参照）が実行された場合の検索結果（ここでは、１５個の商品画像）が表示された様子を示している。
【０１０６】
図１８（ａ）に示すように、商品情報検索部１４０による商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。
【０１０７】
一方、図１８（ｂ）は、比較例として、一般的な商品情報検索処理が実行された場合の検索結果が表示された様子を示している。
【０１０８】
図１８（ｂ）に示すように、一般的な商品情報検索処理によれば、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合、人物を含む商品画像が検索されることになる。
【０１０９】
つまり、一般的な商品情報検索処理の場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。
【０１１０】
これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。
【０１１１】
図１９は、ユーザ端末の検索画面に表示される検索結果の一例を示す第２の図である。なお、検索画面１８００内の構成は、図１８に示した検索画面１８００内の構成と同じであるため、ここでは、検索画面１８００内の構成の説明は省略する。
【０１１２】
図１８との相違点は、クエリ画像表示欄１８０１に表示されるクエリ画像である。図１９のクエリ画像表示欄１８０１に表示されたクエリ画像の場合、衣服を着た人物の背景に模様が映っている。
【０１１３】
図１９（ａ）に示すように、商品情報検索部１４０によれば、図１８（ａ）と同様に、クエリ画像内に、検索対象の衣服と該衣服を着た人物とが含まれていた場合でも、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができる。加えて、図１９（ａ）の場合、衣服を着た人物の背景に模様が含まれている場合であっても、背景の模様に類似する商品画像が検索されることはない。検索対象物検出部７２０により、検索対象の商品を含む領域が検索対象領域として検出されるためである。なお、クエリ画像表示欄１８０１に表示されたクエリ画像中の矩形領域は、検索対象物検出部７２０により検出された検索対象領域を示している。
【０１１４】
一方、図１９（ｂ）は、比較例として、検索対象物検出部７２０が、検索対象の商品を含む領域を検索対象領域として検出する処理を実行しなかった場合の検索結果が表示された様子を示している。
【０１１５】
図１９（ｂ）に示すように、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる、検索対象領域以外の領域に類似する商品画像が検索されることになる。
【０１１６】
つまり、検索対象領域を検出する処理を実行しなかった場合、クエリ画像内に含まれる非検索対象に類似する商品画像が検索される。
【０１１７】
これに対して、商品情報検索部１４０による商品情報検索処理によれば、上述したとおり、クエリ画像内に含まれる検索対象と類似する商品を含み、かつ、クエリ画像内に含まれる非検索対象を含まない商品画像を検索することができる。
【０１１８】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係るサーバ装置では、
・ユーザ端末より送信された検索要求を受信し、クエリ画像を取得する。
・クエリ画像内に検索対象（例えば、衣服）と非検索対象（例えば、人物）の両方が含まれていた場合に、複数の商品画像の中から、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索する。
【０１１９】
これにより、第１の実施形態に係るサーバ装置によれば、クエリ画像を用いた商品検索において、検索対象に応じた検索結果を出力することができる。
【０１２０】
［第２の実施形態］
上記第１の実施形態では、登録情報３００より、着用画像を含む商品情報を選択し、着用画像を、順次、学習済みモデル１２００に入力することで抽出される特徴ベクトルから代表ベクトルを算出するものとして説明した。しかしながら、代表ベクトルの算出方法はこれに限定されない。
【０１２１】
例えば、着用画像を含む商品画像を選択した際、選択した商品画像をカテゴリごとに分類し、分類したカテゴリごとに代表ベクトル候補を抽出したうえで、代表ベクトルを算出してもよい。
【０１２２】
図２０は、特徴ベクトル情報（人物）生成処理の処理内容を説明するための第２の図である。図１２との相違点は、図２０の場合、着用画像をカテゴリごとに分類し、カテゴリごとに学習済みモデル１２００に、順次、入力する点である。
【０１２３】
これにより、例えば、カテゴリ１に分類された着用画像については、カテゴリ１の特徴ベクトルが抽出され、カテゴリ２に分類された着用画像については、カテゴリ２の特徴ベクトルが抽出される。更に、カテゴリｘに分類された着用画像については、カテゴリｘの特徴ベクトルが抽出される。
【０１２４】
ここで、第２の実施形態において、人物特徴演算部６４０は、カテゴリごとに抽出した特徴ベクトルに基づいて、カテゴリごとに代表ベクトル候補を算出する。更に、人物特徴演算部６４０は、各カテゴリの代表ベクトル候補を取得し、平均値を算出することで、代表ベクトル２０００を算出する。
【０１２５】
ただし、代表ベクトル２０００の算出方法は、これに限定されない。例えば、カテゴリごとに、各着用画像の特徴ベクトルから商品画像の特徴ベクトルを減算して、負値を非負化した後、カテゴリ間で平均値を算出することで、代表ベクトル２０００を算出してもよい。
【０１２６】
以上の説明から明らかなように、第２の実施形態に係るサーバ装置では、着用画像に基づいて代表ベクトルを算出する際、カテゴリに応じた代表ベクトル候補を算出したうえで、代表ベクトルを算出する。
【０１２７】
これにより、第２の実施形態に係るサーバ装置によれば、上記第１の実施形態と同様の効果を享受できるとともに、更に、代表ベクトルを最適化することができる。
【０１２８】
［第３の実施形態］
上記第１及び第２の実施形態では、商品情報検索処理を実行するにあたり、ユーザ端末１７０＿１〜１７０＿ｎに検索画面１８００を表示するものとして説明した。しかしながら、検索画面１８００以外の画面（例えば、チャット画面）を介して、商品情報検索処理を実行するように構成してもよい。
【０１２９】
図２１は、ユーザ端末のチャット画面の一例を示す図である。なお、図２１では、縦方向にスクロールすることで表示される表示内容を１つの図に納めるために、画面の縦方向の長さを長くして図示している。
【０１３０】
図２１に示すように、チャット画面においてクエリ画像２１０１を入力することで、質問２１０２（"画像で検索しますか？"）が表示されるため、ユーザ１８０＿１〜１８０＿ｎは、回答２１０３（"はい"）を入力する。これにより、クエリ画像２１０１を含む検索要求がサーバ装置１１０に送信され、サーバ装置１１０にて、商品情報検索処理が実行されることで、チャット画面２１００には、検索結果２１０４が表示される。
【０１３１】
このように、チャット画面２１００によれば、ユーザ１８０＿１〜１８０＿ｎは、"検索要求"ボタンを押圧する代わりに、チャットを介して、検索要求を送信することができる。
【０１３２】
［その他の実施形態］
上記第１及び第２の実施形態では、商品情報検索部１４０の各部（クエリ画像取得部７１０〜検索結果出力部７６０）を、サーバ装置１１０側に設けるものとして説明した。しかしながら、商品情報検索部１４０の一部の機能については、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。例えば、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０は、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。
【０１３３】
これにより、サーバ装置１１０では、ユーザ端末１７０＿１〜１７０＿ｎから、特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００を取得しておく必要がある。
【０１３４】
あるいは、クエリ画像取得部７１０、検索対象物検出部７２０、画像特徴抽出部６３０、画像特徴変換部７４０は、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。これにより、サーバ装置１１０では、ユーザ端末１７０＿１〜１７０＿ｎから、変換後の特徴ベクトルを受信して、商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておく必要がある。
【０１３５】
あるいは、商品情報検索部１４０の全ての機能を、ユーザ端末１７０＿１〜１７０＿ｎ側に設けてもよい。これにより、ユーザ端末１７０＿１〜１７０＿ｎでは商品情報検索処理を実行することができる。ただし、この場合、ユーザ端末１７０＿１〜１７０＿ｎは、事前に学習済みモデル１２００及び代表ベクトル５１０を取得しておくとともに、定期的に、特徴ベクトル情報（商品）４００を取得しておく必要がある。商品点数が多くない場合や、商品の更新頻度が低い場合に有効である。
【０１３６】
また、上記第１及び第２の実施形態において、特徴ベクトル情報（人物）及び代表ベクトル生成処理は、１回のみ実行し、特徴ベクトル情報（商品）生成処理は、例えば、所定時間が経過するごとに実行するものとして説明した。しかしながら、特徴ベクトル情報（人物）及び代表ベクトル生成処理についても、特徴ベクトル情報（商品）生成処理と同様に、所定時間が経過するごとに実行するように構成してもよい。また、特徴ベクトル情報（商品）生成処理は、商品情報が格納され、登録情報が更新されるごとに実行するように構成してもよい。
【０１３７】
また、上記第１及び第２の実施形態では、検索対象を衣服とし、非検索対象を当該衣服を着用した人物とした。そして、当該人物が当該衣服を着用した着用画像について代表ベクトルを算出する構成とした。しかしながら、検索対象は衣服に限定されず、アクセサリや小物等であってもよい。この場合、非検索対象は、当該アクセサリを身に着けた人物や、当該小物を保持する人物となる。そして、当該人物がアクセサリを身に着けた（あるいは小物を保持した）着用画像について代表ベクトルが算出されることになる。
【０１３８】
つまり、着用画像には、衣服を着用することのほか、アクセサリを身に付けたり、小物を保持することなど、検索対象とともに撮影された人物が含まれる画像全般が含まれるものとする。
【０１３９】
また、非検索対象は、人物に限定されず、例えば、商品が椅子に載置された画像においては、椅子を非検索対象としてもよい。あるいは、商品がハンガにかかっている画像においては、ハンガを非検索対象としてもよい。ただし、これらを非検索対象とする場合には、これらを含む画像に基づいて、代表ベクトルを算出しておく必要がある。
【０１４０】
また、上記第１及び第２の実施形態では、検索結果として、商品ＩＤ、商品属性情報、商品画像等を送信するものとして説明したが、商品ＩＤ、商品属性情報、商品画像のうちの少なくとも１つを送信するようにしてもよい。また、検索結果として、商品ＩＤ、商品属性情報、商品画像以外の情報を送信するようにしてもよい。
【０１４１】
また、上記第１の実施形態では、クエリ画像内に、衣服と該衣服を着た人物とが含まれていた場合でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることを示した。しかしながら、商品情報検索部１４０による商品情報検索処理の効果はこれに限定されない。クエリ画像内に、衣服のみが含まれる場合（つまり、クエリ画像が着用画像でない場合）でも、商品情報検索部１４０によれば、当該衣服に類似する衣服を含み、かつ、人物を含まない商品画像を検索することができることはいうまでもない。
【０１４２】
また、上記第１及び第２の実施形態において、商品情報検索部１４０は、クエリ画像において人物の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出した。しかしながら、変換後の特徴ベクトルの算出方法はこれに限定されず、例えば、クエリ画像においてユーザの趣味嗜好がより明確になるように、変換後の特徴ベクトルを算出してもよい。これにより、ユーザに対する商品のレコメンド処理を実現することが可能になる。
【０１４３】
また、上記第１及び第２の実施形態では、商品情報検索部１４０が検索する対象画像が、商品画像の場合について説明した。しかしながら、商品情報検索部１４０が検索する対象画像は、商品画像に限定されない。例えば、情景画像や絵画画像等であってもよい。ただし、情景画像の場合には、例えば、クエリ画像において、電柱や自動車の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。また、絵画画像の場合には、例えば、クエリ画像において、額縁の形状の特徴量の影響を抑えるように、変換後の特徴ベクトルを算出することになる。
【０１４４】
また、上記第１及び第２の実施形態では、検索対象に類似する商品を含み、かつ、非検索対象を含まない商品画像を検索する場合について説明した。しかしながら、検索する画像は商品画像に限定されず、例えば、検索対象に類似する物品を含み、かつ、非検索対象を含まない任意の画像を検索してもよい。
【０１４５】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１４６】
１００                      ：検索システム
１１０                      ：サーバ装置
１２０                      ：フリーマーケットサービス部
１３０                      ：商品情報登録部
１４０                      ：商品情報検索部
１５０                      ：登録情報格納部
１５１                      ：特徴ベクトル情報（商品）保存部
１５２                      ：特徴ベクトル情報（人物）保存部
１７０＿１〜１７０＿ｎ      ：ユーザ端末
３００                      ：登録情報
４００                      ：特徴ベクトル情報（商品）
５００                      ：特徴ベクトル情報（人物）
５１０                      ：代表ベクトル
６１０                      ：商品情報取得部
６２０                      ：商品情報（着用画像）選択部
６３０                      ：画像特徴抽出部
６４０                      ：人物特徴演算部
６５０                      ：商品情報読み出し部
７１０                      ：クエリ画像取得部
７２０                      ：検索対象物検出部
７４０                      ：画像特徴変換部
７５０                      ：類似ベクトル演算部
７６０                      ：検索結果出力部
１０００                    ：特徴ベクトル算出用モデル
１２００                    ：学習済みモデル
１４１０＿１〜１４１０＿ｐ  ：商品画像の特徴ベクトル
１６００                    ：検索対象領域の特徴ベクトル
１７０１                    ：減算後の特徴ベクトル
１７０３                    ：変換後の特徴ベクトル
１８００                    ：検索画面
２０００                    ：代表ベクトル
【図１】
2020086914.tif 000003
【図２】
2020086914.tif 000004
【図３】
2020086914.tif 000005
【図４】
2020086914.tif 000006
【図５】
2020086914.tif 000007
【図６】
2020086914.tif 000008
【図７】
2020086914.tif 000009
【図８】
2020086914.tif 000010
【図９】
2020086914.tif 000011
【図１０】
2020086914.tif 000012
【図１１】
2020086914.tif 000013
【図１２】
2020086914.tif 000014
【図１３】
2020086914.tif 000015
【図１４】
2020086914.tif 000016
【図１５】
2020086914.tif 000017
【図１６】
2020086914.tif 000018
【図１７】
2020086914.tif 000019
【図１８】
2020086914.tif 000020
【図１９】
2020086914.tif 000021
【図２０】
2020086914.tif 000022
【図２１】
2020086914.tif 000023