(57)【要約】  本発明は、オブジェクトの代表特性を抽出する方法及び装置に関する。本発明は、サーバが画像内のオブジェクトの代表特性を抽出する方法において、クエリ画像を受信するステップと、特定商品について学習した第１の学習モデルに前記クエリ画像を適用し、前記クエリ画像に含まれる前記特定商品に該当するオブジェクトの内部領域を抽出するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成するステップと、オブジェクトの特性抽出のために学習した第２の学習モデルに前記サリエンシーマップを加重値として適用するステップと、前記加重値を適用した第２の学習モデルに前記クエリ画像を入力し、前記オブジェクトの内部領域の特性分類情報を抽出するステップとを含むことを一つの特徴とする。【選択図】図３
2021524103.tif 000002
【特許請求の範囲】
【請求項１】
サーバが画像内のオブジェクトの代表特性を抽出する方法において、
クエリ画像を受信するステップと、
特定商品について学習した第１の学習モデルに前記クエリ画像を適用し、前記クエリ画像に含まれる前記特定商品に該当するオブジェクトの内部領域を抽出するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成するステップと、
オブジェクトの特性抽出のために学習した第２の学習モデルに前記サリエンシーマップを加重値として適用するステップと、
前記加重値を適用した第２の学習モデルに前記クエリ画像を入力し、前記オブジェクトの内部領域の特性分類情報を抽出するステップとを含む、代表特性抽出方法。
【請求項２】
前記サリエンシーマップを加重値として適用するステップは、
前記サリエンシーマップの大きさを前記第２の学習モデルに含まれる第１の畳み込み層の大きさに変換及びスケーリングして加重値フィルタを生成するステップと、
前記第１の畳み込み層に前記加重値フィルタを要素ごとに乗算（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）するステップとを含む、請求項１に記載の代表特性抽出方法。
【請求項３】
前記第１の学習モデルは、エンコーダ（ｅｎｃｏｄｅｒ）・デコーダ（ｄｅｃｏｄｅｒ）構造を有する畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習モデルであることを特徴とする、請求項１に記載の代表特性抽出方法。
【請求項４】
前記第２の学習モデルは、標準分類の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習モデルであることを特徴とする、請求項１に記載の代表特性抽出方法。
【請求項５】
前記第２の学習モデルは、前記特定商品の内部領域の色を学習するために、前記特定商品のサリエンシーマップと、前記特定商品のカラー画像、サリエンシーマップ及びカラーラベルの少なくとも１つとをデータセットとして適用した畳み込みニューラルネットワーク学習モデルであることを特徴とする、請求項１に記載の代表特性抽出方法。
【請求項６】
前記特性分類情報を分析し、最も高い確率で存在する特性を前記オブジェクトの代表特性として設定するステップと、
前記代表特性を前記クエリ画像にラベリングするステップとをさらに含む、請求項１に記載の代表特性抽出方法。
【請求項７】
請求項１〜６に記載の方法のいずれかの方法を行うためにコンピュータ可読媒体に保存された代表特性抽出アプリケーションプログラム。
【請求項８】
クエリ画像を受信する通信部と、
特定商品について学習した第１の学習モデルを用いて、前記クエリ画像内の前記特定商品に該当するオブジェクトの内部領域に対応するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成するマップ生成部と、
オブジェクトの特性抽出のために学習した第２の学習モデルに前記サリエンシーマップを加重値として適用する加重値適用部と、
前記加重値を適用した第２の学習モデルに前記クエリ画像を入力し、前記オブジェクトの内部領域の特性分類情報を抽出する特性抽出部とを含む、代表特性抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの代表特性を抽出する方法及び装置に関し、特に、画像に含まれる商品オブジェクトの代表特性を抽出する方法、装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
一般に収集可能な商品画像は、商品に対する好感度を上げるための様々なオブジェクトを含む。例えば、衣類や装身具は、好感度の高い広告モデルが衣類や装身具を着用した状態で広告画像や商品画像を撮影するのが一般的であるが、これはモデルや背景、小物などが作り出す画像全体のイメージが商品に対する好感度に影響を及ぼすためである。
【０００３】
よって、ある商品を検索したときに検索結果として得られる画像の大多数に背景が含まれるのが一般的である。その結果、背景の比重が大きい画像がＤＢに含まれると、色をクエリとして検索を行ったときに、当該色を背景色とする画像が検索結果として出力されるエラーが発生し得る。
【０００４】
このようなエラーを減らすために、特許文献１（公開日：２０１７年３月８日）に開示されている通り、物体検出モデルを用いて候補領域を抽出し、候補領域から特徴を抽出する方法が用いられている。このような従来技術は、図１に示すように、オブジェクト別にバウンディングボックス１０を生成し、バウンディングボックスから特徴を抽出するが、この場合も背景の比重が全画像から若干減少するにすぎず、バウンディングボックス内で背景の特性がオブジェクトの特性として誤抽出されるエラーを完全に除去することはできない。よって、少ない演算量で画像に含まれるオブジェクトの代表的な特性を正確に抽出する方法が求められている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国登録特許第１０−１８０１８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記問題を解決するためになされたものであり、少ない演算量で画像に含まれる商品の代表的な特性を抽出する方法を提供することを目的とする。
【０００７】
また、本発明は、画像に含まれる背景の特性により画像内の商品の特性を正確に抽出できないという問題を解決し、従来の方法に比べて迅速に商品の特性を識別できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明は、サーバが画像内のオブジェクトの代表特性を抽出する方法において、クエリ画像を受信するステップと、特定商品について学習した第１の学習モデルに前記クエリ画像を適用し、前記クエリ画像に含まれる前記特定商品に該当するオブジェクトの内部領域を抽出するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成するステップと、オブジェクトの特性抽出のために学習した第２の学習モデルに前記サリエンシーマップを加重値として適用するステップと、前記加重値を適用した第２の学習モデルに前記クエリ画像を入力し、前記オブジェクトの内部領域の特性分類情報を抽出するステップとを含むことを一つの特徴とする。
【０００９】
また、本発明は、画像内のオブジェクトの代表特性を抽出する装置において、クエリ画像を受信する通信部と、特定商品について学習した第１の学習モデルを用いて、前記クエリ画像内の前記特定商品に該当するオブジェクトの内部領域に対応するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成するマップ生成部と、オブジェクトの特性抽出のために学習した第２の学習モデルに前記サリエンシーマップを加重値として適用する加重値適用部と、前記加重値を適用した第２の学習モデルに前記クエリ画像を入力し、前記オブジェクトの内部領域の特性分類情報を抽出する特性抽出部とを含むことを他の特徴とする。
【発明の効果】
【００１０】
このような本発明によれば、少ない演算量で画像に含まれるオブジェクトの代表的な特性を抽出することができる。
【００１１】
また、本発明によれば、画像に含まれる背景の特性により画像内のオブジェクトの特性を正確に抽出できないという問題を解決することができ、従来の方法に比べて迅速に商品の特性を識別することができる。
【００１２】
さらに、本発明によれば、特性検出にオブジェクトの内部領域のみ用いるので、特性検出時に発生するエラーを大幅に減少させることができる。
【図面の簡単な説明】
【００１３】
【図１】従来技術により画像からオブジェクトを抽出する方法を示す図である。
【図２】本発明の一実施形態によるオブジェクトの代表特性抽出システムを示す図である。
【図３】本発明の一実施形態によるオブジェクトの代表特性抽出装置の構成を説明するブロック図である。
【図４】本発明の一実施形態によるオブジェクトの代表特性抽出方法を説明するフローチャートである。
【図５】本発明の一実施形態によるサリエンシーマップの加重値適用方法を説明するフローチャートである。
【図６】畳み込みニューラルネットワークを説明する図である。
【図７】本発明の一実施形態による学習モデルのエンコーダ・デコーダ構造を説明する図である。
【図８】本発明の一実施形態によるオブジェクトの代表特性抽出を説明する図である。
【発明を実施するための形態】
【００１４】
前記目的、特徴及び利点については添付図面を参照して詳細に後述する。よって、本発明の属する技術分野における通常の知識を有する者であれば、本発明の技術的思想を容易に実施できるであろう。本発明について説明するにあたり、本発明に関連する公知技術についての具体的な説明が本発明の要旨を不明にすると判断される場合は詳細な説明を省略する。
【００１５】
以下、添付図面を参照して、本発明の好ましい実施形態について詳細に説明する。図面における同一符号は同一または類似の構成要素に付すものであり、明細書及び請求の範囲に記載されている全ての組み合わせは任意の方法で組み合わせることができるものである。また、特に断らない限り、単数で言及したものが複数であってもよく、単数表現に複数表現が含まれるものと理解されるべきである。
【００１６】
図２は、本発明の一実施形態による代表特性抽出システムを示す図である。同図に示すように、本発明の一実施形態による代表特性抽出システムは、端末５０と、代表特性抽出装置１００とを含む。端末５０は、有線・無線ネットワーク３０を介して任意のクエリ画像を代表特性抽出装置１００に送信することができ、代表特性抽出装置１００は、クエリ画像に含まれる特定商品の代表特性を抽出して端末５０に送信することができる。クエリ画像は、市場で取り引きされる物（以下、「商品」という）を含む画像であり、本発明において商品の種類は限定されないが、本明細書においては、説明の便宜上、衣類、靴、かばんなどのファッション商品を中心に説明する。一方、本明細書において、商品の特性とは、商品の色、生地、カテゴリー、パターン、素材などの、商品を説明する際に特徴となる要素を意味するものであり、代表特性とは、当該商品を最もよく表す代表的な色、生地、カテゴリー、パターン、素材などを意味するものである。
【００１７】
図３に示すように、本発明の一実施形態による代表特性抽出装置１００は、通信部１１０と、マップ生成部１２０と、加重値適用部１３０と、特性抽出部１４０とを含み、ラベリング部１５０と、検索部１６０と、データベース１７０とをさらに含んでもよい。
【００１８】
通信部１１０は、端末５０とデータを送受信する。例えば、通信部１１０は、端末５０からクエリ画像を受信することができ、クエリ画像から抽出されたクエリ画像の代表特性を端末５０に送信することができる。そのために、通信部１１０は、ＴＣＰ／ＩＰプロトコルまたはＵＤＰプロトコルによる有線通信方式及び／または無線通信方式を用いることができる。
【００１９】
マップ生成部１２０は、特定商品について学習した第１の学習モデルを用いて、クエリ画像内の特定商品に該当するオブジェクトの内部領域に対応するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成することができる。マップ生成部１２０は、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）に基づいて学習した学習モデルによりサリエンシーマップを生成する。
【００２０】
ディープラーニングとは、様々な非線形変換手法の組み合わせにより高レベルの抽象化（ａｂｓｔｒａｃｔｉｏｎｓ；大量のデータや複雑な資料から核心的な内容や機能を要約する作業）を試みる機械学習（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）アルゴリズムの集合と定義される。ディープラーニングは、人工ニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いて人間の思考をコンピュータに教える機械学習の一分野と言える。ディープラーニング手法の例としては、ディープニューラルネットワーク（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＣＮＮ）、回帰型ニューラルネットワーク（Ｒｅｃｃｕｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｗｏｒｋ；ＲＮＮ）、ディープビリーフネットワーク（Ｄｅｅｐ  Ｂｅｌｉｅｆ  Ｎｅｔｗｏｒｋｓ；ＤＢＭ）などが挙げられる。
【００２１】
本発明の一実施形態によるサリエンシーマップを生成する第１の学習モデルとしては、エンコーダ（ｅｎｃｏｄｅｒ）・デコーダ（ｄｅｃｏｄｅｒ）構造を有する畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習モデルが用いられてもよい。
【００２２】
畳み込みニューラルネットワークは、最低限の前処理（ｐｒｅｐｒｏｃｅｓｓ）しか必要としないように設計された多層パーセプトロン（ｍｕｌｔｉｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎｓ）の一種である。畳み込みニューラルネットワークは、１つまたは複数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）とその上の一般的な人工ニューラルネットワーク層で形成されており、加重値とプーリング層（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をさらに活用する。このような構造を有するので、畳み込みニューラルネットワークは、２次元構造の入力データを十分に活用することができる。
【００２３】
畳み込みニューラルネットワークは、入力画像に対して畳み込みとサブサンプリングを交互に行うことにより、入力画像から特徴を抽出する。図６は、畳み込みニューラルネットワーク構造の例を示す図である。図６に示すように、畳み込みニューラルネットワークは、複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒｓ）と、複数のサブサンプリング層（Ｓｕｂｓａｍｐｌｉｎｇ  ｌａｙｅｒ、Ｒｅｌｕ  ｌａｙｅｒ、Ｄｒｏｐｏｕｔ  ｌａｙｅｒ、Ｍａｘ−ｐｏｏｌｉｎｇ  ｌａｙｅｒ）と、全結合層（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）とを含む。畳み込み層は、入力画像に対して畳み込みを行う層であり、サブサンプリング層は、入力画像から地域的に最大値を抽出して２次元画像にマッピングする層であり、局所的な領域をさらに大きくし、サブサンプリングを行う。
【００２４】
畳み込み層は、大きな入力画像をコンパクトで密度の高い表現に変換する特徴を有し、このような高密度の表現は、全結合分類ネットワーク（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｃｌａｓｓｉｆｉｅｒ  ｎｅｔｗｏｒｋ）において画像を分類するのに用いられる。
【００２５】
エンコーダ・デコーダ構造を有する畳み込みニューラルネットワークは、画像分割（ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ）のために用いられるものであり、図７に示すように、畳み込み層及びサブサンプリング層を用いて入力データの主な特徴を示すＬａｔｅｎｔ  Ｖａｒｉａｂｌｅを生成するエンコーダ（ｅｎｃｏｄｅｒ）と、逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層を用いて主な特徴からデータを復元するデコーダ（ｄｅｃｏｄｅｒ）とから構成される。
【００２６】
本発明は、エンコーダ・デコーダを用いて入力画像と同じ大きさを有する２次元特性マップ（ｆｅａｔｕｒｅ  ｍａｐ）を生成するが、その入力画像と同じ大きさを有する特性マップがまさにサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）である。サリエンシーマップとは、関心マップや突出マップともいい、ある画像を視覚的関心領域と背景領域に分離して視覚的に表示した画像を意味する。人間はある画像を見る際に特定部分を集中して見るものであるが、色の差が大きい領域や、明るさの差が大きい領域や、輪郭線の特徴が強い領域を先に見る。サリエンシーマップとは、そのように人間が先に見る目立つ領域である視覚的関心領域を表示した画像を意味する。さらに、本発明のマップ生成部１２０で生成されるサリエンシーマップは、クエリ画像内で特定商品に該当するオブジェクトの内部領域（ｒｅｇｉｏｎ）に対応するものである。すなわち、背景とオブジェクト領域が分離されるが、これはオブジェクトの輪郭線（ｏｕｔｂｏｕｎｄ）のみ抽出したり、オブジェクトを含む四角領域（ｂｏｕｎｄ  ｂｏｘ）のみ抽出してオブジェクトを検出する従来技術とは明確な差異がある。
【００２７】
本発明のマップ生成部１２０で生成されるサリエンシーマップは、オブジェクトの内部領域全体を背景から分離したものであるので、背景の特性（色、質感、パターンなど）とオブジェクトの特性が混在する可能性を完全に排除することができる。
【００２８】
本発明の一実施形態によるサリエンシーマップ生成モデル（第１の学習モデル）のエンコーダは、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）、活性化関数層（Ｒｅｌｕ  ｌａｙｅｒ）、ドロップアウト層（ｄｒｏｐｏｕｔ  ｌａｙｅｒ）、最大プーリング層（Ｍａｘ−ｐｏｏｌｉｎｇ  ｌａｙｅｒ）を組み合わせることにより生成することができ、デコーダは、アップサンプリング層（ｕｐｓａｍｐｌｉｎｇ  ｌａｙｅｒ）、逆畳み込み層（ｄｅｃｏｎｖｏｌｕｔｉｏｎ  ｌａｙｅｒ）、シグモイド層（ｓｉｇｍｏｉｄ  ｌａｙｅｒ）、ドロップアウト層を組み合わせることにより生成することができる。すなわち、サリエンシーマップ生成モデル１２５は、エンコーダ・デコーダ構造を有し、畳み込みニューラルネットワーク手法で学習したモデルであると考えられる。
【００２９】
サリエンシーマップ生成モデル１２５は、特定商品に関する画像をデータセット（ｄａｔａｓｅｔ）として予め学習したものであり、例えば図８に示すサリエンシーマップ生成モデル１２５においては、複数のジーンズ画像をデータセットとして予め学習したものであってもよい。一方、クエリ画像に含まれる商品の種類は限定されないので、本発明のサリエンシーマップ生成モデル１２５は、クエリ画像のサリエンシーマップを生成するために、様々な種類の商品画像を予め学習しているものと考えられる。
【００３０】
また、図３に示すように、加重値適用部１３０は、オブジェクトの特性抽出のために学習した第２の学習モデル（特性抽出モデル）にサリエンシーマップを加重値として適用することができる。第２の学習モデルは、オブジェクトの特性抽出のためのものであり、画像分類のための畳み込みニューラルネットワーク手法で学習したモデルであってもよく、少なくとも１つの商品画像をデータセットとして学習したものであってもよい。特性抽出モデル１４５としては、ＡｌｅｘＮｅｔ、ＶＧＧ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔ  ＭｏｂｉｌｅＮｅｔ、ＳｑｕｅｅｚｅＮｅｔ  ＤｅｎｓｅＮｅｔ、ＮＡＳＮｅｔなどの畳み込みから構成されるニューラルネットワークを用いてもよい。
【００３１】
他の実施形態として、特性抽出モデル１４５が特定商品の内部領域の色を抽出するために生成されたモデルである場合、特性抽出モデル１４５は、特定商品のカラー画像、サリエンシーマップ、カラーラベルをデータセットとして学習したモデルであってもよい。また、入力画像としては、ＲＧＢ、ＨＳＶ、ＹＣｂＣｒなどのカラーモデルを用いてもよい。
【００３２】
加重値適用部１３０は、サリエンシーマップの大きさを特性抽出モデル１４５に含まれる第１の畳み込み層（加重値が適用される畳み込み層）の大きさに変換することにより加重値フィルタを生成し、第１の畳み込み層と加重値フィルタを各チャネルで要素ごとに乗算（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）する方法で特性抽出モデル１４５に加重値を適用することができる。前述したように、特性抽出モデル１４５が複数の畳み込み層で形成されるので、加重値適用部１３０は、サリエンシーマップの大きさが特性抽出モデル１４５に含まれる畳み込み層のいずれか（第１の畳み込み層）の大きさに対応するように、サリエンシーマップの大きさをリサイズすることができる。例えば、畳み込み層の大きさが２４×２４であり、サリエンシーマップの大きさが３６×３６であれば、サリエンシーマップの大きさを２４×２４に縮小することができる。次に、特性抽出モデル１４５は、リサイズされたサリエンシーマップにおいて各ピクセルの値をスケーリング（ｓｃａｌｉｎｇ）することができる。ここで、スケーリングとは、値の範囲を所定の限界内に収めるために整数（倍率）をかけてその値を変更する基準化作業を意味する。例えば、加重値適用部１３０は、加重値フィルタの値を０から１の間の値にスケーリングし、その大きさが第１の畳み込み層の大きさ（ｍ×ｎ）と同じ大きさとなるｍ×ｎの大きさの加重値フィルタを生成することができる。第１の畳み込み層をＣＯＮＶとし、加重値フィルタをＷＳＭとすると、第１の畳み込み層に加重値フィルタを適用した第２畳み込み層はＣＯＮＶ２＝ＣＯＮＶ×ＷＳＭと計算されるが、これは同じ位置の成分同士をかけることを意味し、畳み込み層においてオブジェクトに該当する領域（図８の白色領域３５５）がさらに強く活性化される。
【００３３】
特性抽出部１４０は、加重値を適用した第２の学習モデルにクエリ画像を入力し、オブジェクトの内部領域の特性分類情報を抽出する。加重値を適用した第２の学習モデルにクエリ画像を入力すると、第２の学習モデルの学習に用いられた畳み込みニューラルネットワークによりクエリ画像の特性（色，生地，カテゴリー）などが抽出されるが、第２の学習モデルには加重値が適用されているので、サリエンシーマップから抽出されたオブジェクトの内部領域が強調された特性のみ抽出される。
【００３４】
すなわち、図８の例に示すように、芝生を背景にして立っているジーンズモデルの下半身の画像をクエリ画像として入力すると、マップ生成部１２０は、ジーンズに該当するオブジェクトの内部領域のみ抽出し、内部領域と背景を区分するサリエンシーマップ３５０を生成する。サリエンシーマップ３５０において、ジーンズの内部領域は、背景と明確に分離されている。
【００３５】
加重値適用部１３０は、サリエンシーマップの大きさを第２の学習モデル１４５に含まれる加重値が適用される畳み込み層の大きさ（ｍ×ｎ）に変換及びスケーリングすることにより加重値フィルタを生成し、前記畳み込み層とサリエンシーマップを要素ごとに乗算することによりサリエンシーマップを第２の学習モデル１４５に加重値として適用する。特性抽出部１４０は、加重値を適用した第２の学習モデル１４５にクエリ画像３００を入力し、オブジェクトの内部領域に該当するジーンズ領域３７０の特性を抽出する。抽出する特性が色の場合、色番号００００６６：７８％、色番号００００９９：１２％のように、内部領域を構成する色の分類情報が結果として得られる。すなわち、本発明によれば、背景が除去されたジーンズの内部領域の特性分類情報のみ抽出することができるので、抽出した特性の正確度が高く、背景の特性（例えば、クエリ画像３００の背景となる芝生の黄緑色など）がオブジェクト特性として挿入されるなどのエラーが著しく減少するという効果が得られる。
【００３６】
ラベリング部１５０は、特性抽出部１４０が抽出した特性分類情報を分析し、最も高い確率で存在する特性をオブジェクトの代表特性として設定し、代表特性をクエリ画像にラベリングすることができる。ラベリングしたクエリ画像は、データベース１７０に保存され、学習モデル生成のための商品画像として用いられたり、検索に用いられる。
【００３７】
検索部１６０は、特性抽出部１４０から得たクエリ画像の代表特性を用いて、同じ特性を有する商品画像をデータベース１７０から検索することができる。例えば、ジーンズの代表色が「群青色」として抽出され、代表生地が「デニム生地」として抽出された場合、ラベリング部１５０は、クエリ画像１３０に群青色とデニムをラベリングすることができ、検索部１６０は、「群青色」と「デニム」でデータベースに保存されている商品画像を検索することができる。
【００３８】
データベース１７０には少なくとも１つのクエリ画像及び／または商品画像が保存され、データベース１７０に保存されている商品画像には前記方法により抽出された代表特性がラベリングされて共に保存される。
【００３９】
以下、図４及び図５を参照して、本発明の一実施形態による代表特性抽出方法について説明する。
【００４０】
図４に示すように、サーバは、クエリ画像を受信すると（Ｓ１００）、特定商品について学習した第１の学習モデルにクエリ画像を適用し、クエリ画像に含まれる特定商品に該当するオブジェクトの内部領域を抽出するサリエンシーマップ（ｓａｌｉｅｎｃｙ  ｍａｐ）を生成する（Ｓ２００）。サーバは、オブジェクトの特性抽出のために学習した第２の学習モデルにサリエンシーマップを加重値として適用し（Ｓ３００）、加重値を適用した第２の学習モデルにクエリ画像を入力し、オブジェクトの内部領域の特性分類情報を抽出する（Ｓ４００）。
【００４１】
ステップ３００において、サーバは、サリエンシーマップの大きさを第２の学習モデルに含まれる第１の畳み込み層の大きさに変換し、ピクセル値をスケーリングして加重値フィルタを生成し（Ｓ３１０）、加重値が適用される第１の畳み込み層に加重値フィルタを要素ごとに乗算（ｅｌｅｍｅｎｔ−ｗｉｓｅ  ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）する（Ｓ３３０）。
【００４２】
一方、ステップ２００でクエリ画像に適用される第１の学習モデルは、エンコーダ（ｅｎｃｏｄｅｒ）・デコーダ（ｄｅｃｏｄｅｒ）構造を有する畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）手法で学習したモデルであってもよく、ステップ３００で加重値が適用され、ステップ４００でクエリ画像が適用される第２の学習モデルは、標準分類の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）手法で学習したモデルであってもよい。
【００４３】
第２の学習モデルの他の実施形態として、第２の学習モデルは、特定商品の内部領域の色を学習するために、特定商品のカラー画像、サリエンシーマップ及びカラーラベルの少なくとも１つを入力値として学習したモデルであってもよい。
【００４４】
一方、ステップ４００の後に、サーバは、特性分類情報を分析し、最も高い確率で存在する特性をオブジェクトの代表特性として設定し、代表特性をクエリ画像にラベリングする（Ｓ５００）。例えば、クエリ画像にワンピースに該当するオブジェクトが含まれ、特性分類情報としてワンピースの内部領域の色情報が黄色（０．６８）、白（０．２０）、黒（０．０５）などと異なる確率で抽出された場合、サーバは、最も高い確率で存在する黄色をクエリ画像の代表色として設定し、「黄色」をクエリ画像にラベリングする。特性分類情報としてストライプパターン（０．７）、ドットパターン（０．２）などが抽出された場合、「ストライプパターン」が代表パターンとして設定され、前記クエリ画像には「ストライプパターン」がラベリングされる。
【００４５】
本明細書において省略された一部の実施形態は、その実施主体が同一であれば同様に適用することができる。また、前述した本発明は、本発明の属する技術分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲で様々な置換、変形及び変更が可能であるので、前述した実施形態及び添付図面に限定されるものではない。
【図１】
2021524103.tif 000003
【図２】
2021524103.tif 000004
【図３】
2021524103.tif 000005
【図４】
2021524103.tif 000006
【図５】
2021524103.tif 000007
【図６】
2021524103.tif 000008
【図７】
2021524103.tif 000009
【図８】
2021524103.tif 000010
【国際調査報告】
2021524103.tif 000011
2021524103.tif 000012
2021524103.tif 000013
2021524103.tif 000014