(57)【特許請求の範囲】
【請求項１】
衣料品の構成要素および該構成要素の特徴を写真から検出するために、衣類検索システムを訓練する段階であって、該訓練は：
写真に基づいたテンプレートを維持する段階
を含み、各テンプレートは、一つの構成要素に対応しかつ木として構造化されており、該木の一つの枝は、該構成要素の写真にまたがった共通特性の一つのセットに対応している、
前記衣類検索システムを訓練する段階;
衣類検索システムによって、売り手によって販売される複数の衣料品の複数の写真を受け取る段階;
衣料品の写真ごとに、
衣類検索システムによって、テンプレートを写真に適用することで、該衣料品と関連付けられる複数の構成要素を自動的に検出しかつ
該写真から衣類検索システムによって、該複数の構成要素に対応した複数の特徴を自動的に抽出する、段階;
衣類検索システムによって、ユーザからの、該売り手によって販売される衣料品の一つに関する照会を受け取る段階;および
該照会に基づいて衣類検索システムによって、衣料品の一つを取り出す段階であって、取り出しが：
該照会から該衣料品の一つについての構成要素を同定し、かつ該構成要素を、自動的に検出された構成要素とマッチングさせ;かつ
該照会から該構成要素に対応した特徴を同定し、かつ該特徴を、自動的に抽出された特徴とマッチングさせる
ことを含む、前記衣料品を取り出す段階
を含む、オンラインストアにおいて衣料品を対話形式で検索するための方法。
【請求項２】
衣料品の前記複数の写真と、自動的に検出された複数の構成要素と、自動的に抽出された複数の特徴とを記憶するためのデータベースを構築する段階をさらに含む、請求項1記載の方法。
【請求項３】
自動的に抽出された複数の特徴が、
衣料品のタイプ;
衣料品の色;
衣料品の様式;
衣料品の各構成要素の位置;
各構成要素の記述;および
衣料品のデザイン情報
を含む、請求項1記載の方法。
【請求項４】
前記テンプレートが、個別人体パーツの形状テンプレートを含む、請求項1記載の方法。
【請求項５】
前記衣類検索システムを訓練する段階が、
ヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに基づいて個別人体パーツの前記形状テンプレートを訓練する段階;および
ヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに従うことを条件として、人体パーツの木構造化された組み合わせを訓練する段階
を含む、請求項4記載の方法。
【請求項６】
前記衣料品を取り出す段階が、
マッチした構成要素およびマッチした特徴の関連性を判定する段階
を含む、請求項1記載の方法。
【請求項７】
共通の衣類様式に注釈を付け、前記複数の衣料品と共に該注釈を記憶する段階;
該注釈を用いて前記複数の構成要素および前記複数の特徴を評価する段階;および
該注釈を用いて、前記複数の衣料品の中から共通の衣類様式を検索する段階
をさらに含む、請求項1記載の方法。
【請求項８】
オンラインストアにおいて衣料品を対話形式で検索するための実行可能コンピュータプログラム命令を記憶した非一時的なコンピュータ可読記憶媒体であって、該コンピュータプログラム命令が、
衣料品の構成要素および該構成要素の特徴を写真から検出するために、衣類検索システムを訓練するための命令であって、該訓練は：
写真に基づいたテンプレートを維持すること
を含み、各テンプレートは、一つの構成要素に対応しかつ木として構造化されており、該木の一つの枝は、該構成要素の写真にまたがった共通特性の一つのセットに対応している、
前記衣類検索システムを訓練するための命令;
衣類検索システムによって、売り手によって販売される複数の衣料品の複数の写真を受け取るための命令;
衣料品の写真ごとに、
衣類検索システムによって、テンプレートを写真に適用することで、該衣料品と関連付けられる複数の構成要素を自動的に検出しかつ
該写真から衣類検索システムによって、該複数の構成要素に対応した複数の特徴を自動的に抽出するための、命令;
衣類検索システムによって、ユーザからの、該売り手によって販売される衣料品の一つに関する照会を受け取るための命令;および
該照会に基づいて衣類検索システムによって、衣料品の一つを取り出すための命令であって、取り出しが、
該照会から該衣料品の一つについての構成要素を同定し、かつ該構成要素を、自動的に検出された構成要素とマッチングさせ;かつ
該照会から該構成要素に対応した特徴を同定し、かつ該特徴を、自動的に抽出された特徴とマッチングさせる
ことを含む、前記衣料品を取り出すための命令
を含む、非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にオンライン消費者製品検索に関し、特に、対話型オンラインコンテンツベース画像検索、およびオンラインストアにおける衣料品の取り出しに関する。
【背景技術】
【０００２】
オンラインでの衣類の買い物がますます一般的なショッピングモデルになりつつある。多くのオンラインショッピングウェブサイトで、顧客はキーワードを用いて、例えば「黒い袖なしのカクテルドレス」などにより衣類を検索することができる。これらの検索は、典型的には、検索のキーワードおよびオンラインショッピングウェブサイトで衣類と関連付けられているキーワードに基づいてユーザに一連の検索結果を提供する。
【０００３】
しかしこの検索では、ユーザは、ユーザが考えうるキーワードに限定され、多くの場合、ユーザが多くの検索結果を選別してそのユーザの関心対象の品目を見つけることが必要となる。ファッションは高度に視覚的なアートであり、ファッショナブルな見た目をキーワードへと変換すると、往々にして、所望の見た目の特性を取り損なうことになる。さらに、ユーザは、そのユーザが見たことのある写真、またはそのユーザが直に見ている場面もしくは人物と類似した衣類を見つけたい場合が多い。よって、写真に基づいて類似の衣類を識別することができるシステムが求められている。
【発明の概要】
【０００４】
概要
システムは、当節の多くのオンライン衣料品店に向けて、買い手が自分の気に入った衣料品を効率よく見つけるのに役立つように設計される。衣料品小売業者はまず、各小売業者の店で販売される衣料品の鮮明な写真を提供し、これらの衣料品のデータベースが構築される。加えてシステムは、衣料品の主要パーツを自動的に捜し出し、それらのパーツのデザイン（色、模様、襟、袖、およびズボン/スカート様式）を認識し、それらを衣料品の写真と一緒にデータベースに保存することができる。
【０００５】
システムは次いで、買い手が自分の気に入った衣料品の照会写真を用いて自分の気に入った衣料品を見つけることができるようにウェブインターフェースを提供し、照会写真は、ウェブ上で見つけたものでも、街頭でカメラによって取り込まれたものでもよい。衣料品店データセットと同様に、システムは、照会衣料品のデザインを認識し、データベースに保存されている最も類似したオンライン商品を取り出す。
【０００６】
またシステムは、買い手が自分の気に入った衣料品についてさらなる要求を有する場合、買い手と対話することもできる。この場合システムは、買い手が照会衣料品のどのパーツ/デザインを最も好んでいるかを買い手に選択させることができる。そしてシステムは、要求を満たすようにしかるべく結果を修正する。
【０００７】
一態様では、オンラインストアにおいて衣料品を対話形式で検索するための方法が提供され、方法は、売り手によって販売される衣料品の複数の写真を受け取る段階;衣料品の写真ごとに、該衣料品と関連付けられる複数の特徴構成要素を自動的に検出する段階;ユーザからの衣料品に関する照会を受け取る段階;および照会された衣料品の複数の特徴構成要素とマッチする1つまたは複数の衣料品を取り出す段階を含む。
【０００８】
さらなる態様では、方法は、複数の売り手からの、衣料品の複数の写真と、それらの関連付けられる特徴構成要素とを記憶するためのデータベースを構築する段階をさらに含む。
【０００９】
さらなる態様では、衣料品と関連付けられる複数の特徴構成要素は、衣料品のタイプ;衣料品の色;衣料品の様式;衣料品の各構成要素の位置;各構成要素の記述;および衣料品のデザイン情報を含む。
【００１０】
さらなる態様では、衣料品と関連付けられる複数の特徴構成要素を自動的に検出する段階は、衣料品の複数の特徴構成要素を捜し出すために木構造ヒューマンパーシングモデルを訓練する段階;および衣料品中の、衣料品の複数の特徴構成要素を捜し出しかつ記述する段階を含む。追加の態様では、木構造ヒューマンパーシングモデルを訓練する段階は、ヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに基づいて個別人体パーツの複数の形状テンプレートを訓練する段階;およびヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに従うことを条件として、人体パーツの木構造化された組み合わせを訓練する段階を含む。
【００１１】
さらなる態様では、方法は、1つまたは複数の衣料品を取り出す段階が、照会された衣料品から複数の特徴構成要素を検出する段階;および1つまたは複数の衣料品の、検出された該特徴構成要素の関連性を判定する段階を含むことをさらに含む。
【００１２】
さらなる態様では、方法は、共通の衣類様式に注釈を付け、識別された衣料品と共に該注釈を記憶する段階;共通の衣類様式の該注釈を用いて衣料品の複数の特徴構成要素を評価する段階;および共通の衣類様式の該注釈を用いて、データベースに記憶された複数の衣料品の中から共通の衣類様式を検索する段階をさらに含む。
【００１３】
別の態様では、非一時的なコンピュータ可読記憶媒体が、上記方法のいずれかに従ってオンラインストアにおいて衣料品を対話形式で検索するための実行可能コンピュータプログラム命令を記憶する。
【００１４】
別の態様では、コンピューティングシステムが、上記方法のいずれかを実行するように構成されたプロセッサを含む。
【００１５】
別の態様では、非一時的なコンピュータ可読記憶媒体は、衣料品を対話形式で検索するための実行可能コンピュータプログラム命令を記憶し、該コンピュータプログラム命令は、売り手によって販売される衣料品の複数の写真を受け取るための命令;衣料品の写真ごとに、該衣料品と関連付けられる複数の特徴構成要素を自動的に検出するための命令;ユーザからの衣料品に関する照会を受け取るための命令;および照会された衣料品の複数の特徴構成要素とマッチする1つまたは複数の衣料品を取り出すための命令を含む。
[本発明1001]
売り手によって販売される衣料品の複数の写真を受け取る段階;
衣料品の写真ごとに、該衣料品と関連付けられる複数の特徴構成要素を自動的に検出する段階;
ユーザからの衣料品に関する照会を受け取る段階;および
照会された衣料品の複数の特徴構成要素とマッチする1つまたは複数の衣料品を取り出す段階
を含む、オンラインストアにおいて衣料品を対話形式で検索するための方法。
[本発明1002]
複数の売り手からの、衣料品の複数の写真と、それらの関連付けられる特徴構成要素とを記憶するためのデータベースを構築する段階をさらに含む、本発明1001の方法。
[本発明1003]
衣料品と関連付けられる複数の特徴構成要素が、
衣料品のタイプ;
衣料品の色;
衣料品の様式;
衣料品の各構成要素の位置;
各構成要素の記述;および
衣料品のデザイン情報
を含む、本発明1001の方法。
[本発明1004]
衣料品と関連付けられる複数の特徴構成要素を自動的に検出する段階が、
衣料品の複数の特徴構成要素を捜し出すために木構造ヒューマンパーシングモデルを訓練する段階;および
衣料品中の、衣料品の複数の特徴構成要素を捜し出しかつ記述する段階
を含む、本発明1001の方法。
[本発明1005]
木構造ヒューマンパーシングモデルを訓練する段階が、
ヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに基づいて個別人体パーツの複数の形状テンプレートを訓練する段階;および
ヒューマンパーシングのための事前にラベル付けされた大量の訓練サンプルに従うことを条件として、人体パーツの木構造化された組み合わせを訓練する段階
を含む、本発明1004の方法。
[本発明1006]
1つまたは複数の衣料品を取り出す段階が、
照会された衣料品から複数の特徴構成要素を検出する段階;および
1つまたは複数の衣料品の、検出された該特徴構成要素の関連性を判定する段階
を含む、本発明1001の方法。
[本発明1007]
共通の衣類様式に注釈を付け、識別された衣料品と共に該注釈を記憶する段階;
共通の衣類様式の該注釈を用いて衣料品の複数の特徴構成要素を評価する段階;および
共通の衣類様式の該注釈を用いて、データベースに記憶された複数の衣料品の中から共通の衣類様式を検索する段階
をさらに含む、本発明1001の方法。
[本発明1008]
オンラインストアにおいて衣料品を対話形式で検索するための実行可能コンピュータプログラム命令を記憶した非一時的なコンピュータ可読記憶媒体であって、該コンピュータプログラム命令が、
売り手によって販売される衣料品の複数の写真を受け取るための命令;
衣料品の写真ごとに、該衣料品と関連付けられる複数の特徴構成要素を自動的に検出するための命令;
ユーザからの衣料品に関する照会を受け取るための命令;および
照会された衣料品の複数の特徴構成要素とマッチする1つまたは複数の衣料品を取り出すための命令
を含む、非一時的なコンピュータ可読記憶媒体。
【図面の簡単な説明】
【００１６】
【図１】一態様に従う衣類検索システムのための環境を示す図である。
【図２】一態様に従う衣料品検索システムにおけるデータフローを示すトランザクション図である。
【図３】衣類構成要素検索を例示するユーザクライアントのためのユーザインターフェースを示す図である。
【図４】一態様に従う、構成要素テンプレートの訓練および新しい画像上の構成要素の識別の概念図である。
【図５】一態様に従う、画像内で識別された構成要素に基づく類似の衣類の選択を示す図である。
【図６】一態様に従う注釈付き衣類属性を例示する図である。
【００１７】
各図には、単に例示を目的として、本発明の様々な態様が示されている。以下の考察を読めば、本明細書で記述する本発明の原理を逸脱することなく本明細書で例示する構造および方法の代替の態様が用いられうることを当業者は容易に理解するであろう。
【発明を実施するための形態】
【００１８】
詳細な説明
オンラインでの衣類の買い物がますます一般的なショッピングモデルになりつつある。本開示では、街頭での人物の写真またはインターネットからの写真の選択といった、ユーザクライアントによって取り込まれた画像に基づいて、類似の衣類を選択することができる衣類識別システムを説明する。オンライン小売業者または他のデータベースからの類似の衣類が、ユーザへの提示のために選択される。
【００１９】
図1は、一態様に従う衣類検索システムのための環境である。衣類検索システム100は、衣類の構成要素の選択に基づいて、または衣類の画像に基づいて衣類を検索し、識別する。衣類検索システム100は、ネットワーク120を介してユーザクライアント130とオンライン衣類小売業者140とに接続される。
【００２０】
ユーザクライアント130は、ユーザによって操作されるコンピューティング機器であり、衣類検索システム100と通信するための任意の適切なシステムである。ユーザクライアント130は、タブレットコンピュータ、モバイル機器、デスクトップコンピュータ、または他のコンピューティングシステムであってよい。ユーザクライアント130は、ユーザに表示を提供し、衣類検索システム100へ送るためのユーザからの入力を受け取る。またユーザクライアント130は、画像を取り込むためのカメラまたは他の撮像機器も含んでいてよい。カメラによって取り込まれた、またはそうでなければユーザクライアント130によってアクセス可能である画像は、類似の衣類の選択のために衣類検索システム100へ送られる。また画像は他の手段によって、例えば、インターネットなどのネットワークから画像を選択することによって選択されてもよい。
【００２１】
オンライン衣類小売業者140は、データベースと、オンラインで衣類を販売するための他のシステムとを維持する。オンライン衣類小売業者140の衣類は、少なくとも1つの画像と関連付けられ、追加のデータと関連付けられうる。追加のデータは、衣類と関連付けられたキーワードを含んでいてよく、様式、衣類のタイプ、衣類の記述、およびデザイン情報をさらに含んでいてよい。衣類検索システム100は、複数のオンライン衣類小売業者140と接続し、各オンライン衣類小売業者140のところの衣類データベースに記憶された衣類にアクセスしうる。ユーザがユーザにとっての関心対象の検索結果を受け取ると、ユーザは、オンライン衣類小売業者140にアクセスして、ユーザにとっての関心対象の衣類を購入することができる。
【００２２】
衣類検索システム100は、ユーザクライアント130およびオンライン衣類小売業者140からの情報を受け取りかつ処理して、ユーザクライアント130のユーザに衣類の提案を提供するための様々なモジュールおよびデータベースを含む。衣類検索システム100は、衣料品/人物が写った写真を受け取り、かつ衣料品構成要素の位置および特徴記述を出力する視覚ベースの認識システムである。よって、衣類検索システム100は、オンライン衣類小売業者140から衣類の画像を受け取り、かつそれらの画像を分析して、様式およびその他の特徴のみならず衣料品の構成パーツも特定する。構成パーツは、首、袖、肩、スカートなどといった、画像の局面に対応する画像のある部分を指し示す。これにより画像を、いくつかの構成要素からなる構成物として分析することができる。例えば、画像は、首、肩、腰を有するが、袖がないものとして認識されうる。構成要素は、構成要素に基づくマッチングを支援するのに使用される。ユーザは、構成要素を選択し、類似の特徴を有するマッチする構成要素によって他の衣類を検索することができる。マッチングに使用される構成要素は、ユーザ選択に基づくものとすることもでき、ユーザによって提供された画像内の構成要素に基づくものとすることもできる。衣類検索システム100は、衣類検索モジュール102と、構成要素検出モジュール104と、テンプレート訓練モジュール106と、特徴モジュール108と、構成要素テンプレートデータベース110および衣料品データベース112などのデータ記憶要素とを含む。図1に例示される衣類検索システム100の各モジュールおよび他の部分は、様々な態様において追加のモジュール、またはより少ないモジュールを伴っていてよく、図1の例に限定されることはない。
【００２３】
構成要素テンプレートデータベース110は、様々なタイプの構成要素についての木ベースのテンプレートを維持する。テンプレートは、分類器とも呼んでもよく、画像の一部分がテンプレートの画像タイプとして認識されるかどうかを判定する。例えば、ある画像が「肩」テンプレートに提供され、このテンプレートは、その画像の一部分が「肩」を含むかどうか、および画像のどの部分が肩を含むかを判定する。テンプレートは、画像の形状ベースの構成要素を使用する木として構造化される。具体的には、一態様は、画像の勾配方向ヒストグラム（HOG: histogram of oriented gradients）を使用して構成要素タイプを決定する。様々な写真は、異なる見方からの、異なる特性を有する、例えば、前方、側方、後方、上方といった異なる角度からの、「肩」構成要素を取り込みうる。これら異なる角度は各々、各画像において異なる特性を提供しうる。木ベースのテンプレートを使用することにより、共通特性の各セットを木の枝として扱うことができ、したがって各セットは、迅速で、他のタイプの「肩」の見え方の特徴からの影響を受けない、構成要素の識別を可能にする。
【００２４】
構成要素のテンプレートは、テンプレート訓練モジュール106によって作成または訓練される。詳細には、構成要素検出システムは、ラベル付けされたヒューマンパーシングデータセットおよび形状記述特徴に基づいて形状テンプレートおよび構成要素組み合わせ規則を訓練する。構成要素検出方法を訓練するのに使用される特徴は、上述のような構成要素を識別するための方法と同じである。したがって、一態様では、勾配方向ヒストグラム特徴が使用される。他の態様では、ラベル付けデータセットを定義するのに他の特徴タイプが使用されてよい。一態様では、アルゴリズムは、勾配方向ヒストグラム（HOG）特徴を用いて、BUFFY上半身データセットおよびPARSE全身データセットに対してテンプレートを訓練する。
【００２５】
構成要素検出モジュール104は、構成要素テンプレートデータベース110内の構成要素テンプレートを画像へと適用して、画像内の衣類構成要素を特定する。構成要素検出モジュール104によって処理される画像は、ユーザクライアント130から得てもよく、オンライン衣類小売業者140によって提供されてもよい。様々な構成要素は、特徴モジュール108または衣類検索モジュール102へ提供されうる。
【００２６】
特徴モジュール108は、構成要素検出モジュールによって検出された構成要素に関連した特徴を抽出する。オンライン衣類小売業者の衣類について、特徴モジュール108は、オンライン衣類小売業者データベース内の衣類と関連付けられたキーワード、記述、様式、および他の用語にアクセスすることができる。画像内の構成要素について、特徴モジュール108は、各構成要素に関連した画像の部分にアクセスし、各構成要素に関連した特徴を抽出する。抽出された特徴は、ある衣料品目の構成要素の、別の衣料品目の構成要素に対する類似性を決定するのに使用される。例えば、明るい赤色で、肩を完全に覆うある衣料品目の肩は、別の衣料品上の別の明るい赤色の完全に覆う構成要素と類似する。一態様では、抽出される特徴は、勾配のヒストグラム、色ヒストグラム、色モーメント、ローカルバイナリパターン、および肌の色を含む。他の態様では、識別された構成要素の局面を記述する任意の適切な特徴が使用されうる。
【００２７】
追加の態様では、キーワードならびに他のキーワード、様式、および記述も、抽出された特徴に対して訓練される。マッチする衣類または構成要素の様式およびキーワードは、照会画像と関連付けるための様式およびキーワードを提示するのに使用されうる。
【００２８】
衣料品データベース112は、オンライン衣類小売業者140と関連付けられた衣類のデータベースを維持する。オンライン衣類小売業者140の衣類の画像は、衣類検索システムによって取り出され、衣類データベース112に追加される。構成要素検出モジュール104は、オンライン衣類小売業者140の衣類を分析し、特徴モジュール108によって識別された画像の構成要素と関連付けられる特徴はもとより、識別された構成要素も衣料品画像に追加する。加えて、オンライン衣類小売業者140で記憶された衣類のキーワード、様式、および他の局面も取り出され、衣類データベース112内の衣料品と関連付けられる。
【００２９】
衣類検索モジュール102は、ユーザクライアント130から検索要求を受け取り、衣料品データベース112上の類似した衣料品またはマッチする衣料品の検索を実行する。新しい照会写真が衣類検索モジュール102によって受け取られると、衣類検索モジュールは、写真内の衣類構成要素を特定するために、写真を構成要素検出モジュール104に提供する。衣類構成要素を特定した後で、衣類構成要素および写真は、上述のように各衣類構成要素と関連付けられる特徴を抽出するために特徴モジュール108に提供される。
【００３０】
衣類検索モジュール102は、衣料品データベース112に照会して、同じ構成要素を有する衣類を特定する。衣類検索モジュール102は、構成要素を、ユーザによって提供される画像とマッチングさせることによって、および、構成要素と関連付けられる特徴を、衣料品データベース112内の衣料品の特徴とマッチングさせることによって、類似の特徴を有する衣類を特定する。衣類検索モジュール102は、照会画像特徴とデータベース112内の衣料品の特徴との間の特徴距離を求める。衣類検索モジュール102は次いで、合計特徴距離に基づいて最も類似した品目を取り出す。一態様では、ユーザは、画像の気に入った構成要素を選択してもよく、またはそうでなければ特定の構成要素に高く重み付けするよう指示してもよい。ユーザが気に入った構成要素を選択すると、その構成要素に関連した類似性測定は、その他の構成要素の類似性と比べて重み付けされる。このようにして、衣類検索モジュール102は、ユーザクライアント130によって提供された画像内で識別された衣類に対して構成要素および特徴が類似しているオンライン衣類小売業者140からの衣類のセットを提供する。衣類検索モジュール102は、ユーザクライアント130に検索結果リストを提供するか、または結果として得られるオンライン衣類小売業者140の衣類にユーザクライアント130がアクセスするためのリンクもしくは他のポインタを提供する。
【００３１】
図2は、一態様に従う衣料品検索システムにおけるデータフローを示すトランザクション図である。ユーザクライアント130は最初に、衣類検索モジュール102にコンタクトし、衣類検索モジュール102が類似した衣類を捜し出すための写真をアップロードし220、または特定の構成要素もしくは様式を指示する。ユーザ検索モジュール102が写真を受け取ると、ユーザ検索モジュール102は、上述のように、構成要素および関連付けられる特徴を特定する230。ユーザによって指示された構成要素もしくは様式または写真から抽出された構成要素および特徴を用いて検索照会210が形成される。検索照会は衣類データベース112に適用され、照会に類似した衣料品が識別される130。類似した衣料品は、ユーザが閲覧しかつ対話するためにユーザクライアント130へ送られる。
【００３２】
図3は、衣類構成要素検索を例示するユーザクライアント130のためのユーザインターフェースである。検索に使用される画像化されたものが選択され、衣類検索システム100へ送られる。結果として得られる検索結果は、ユーザがマッチする衣類を閲覧し、関心対象の衣料品を選択することを可能にするユーザインターフェース上で提供される。加えてユーザは、衣類を選択して、その衣類と関連付けられた画像に基づく新しい検索を開始してもよく、あるいはユーザは、衣類の特定の構成要素を選択して、その構成要素に基づく検索を強調してもよい。ユーザが、衣類の構成要素を強調するための検索を要求すると、強調された構成要素に対する他の衣料品の構成要素の類似性が、上述のようにより高く重み付けされる。
【００３３】
図4は、さらに上述したように、一態様に従う、構成要素テンプレートの訓練および新しい画像上の構成要素の識別の概念図である。構成要素テンプレートの訓練は、ラベル付けされた構成要素位置を有する写真のセット400から開始される。特定の構成要素に関連した各画像の部分が選択され410、テンプレート訓練モジュール106によって、構成要素を識別するためのテンプレートを訓練するのに使用される。同じ構成要素の異なるタイプの見え方を検出するために、例えば同じ構成要素の異なるポーズを特定することによって、木が画像の特徴に基づいて訓練される420。一態様では、特徴は勾配方向ヒストグラムを含む。訓練された後で、構成要素検出モジュール104はテンプレートを使用して新しい画像上の構成要素を識別する430。この図に示すように、画像内で検出される構成要素はオーバーラップしていてよい。
【００３４】
図5に、一態様に従う、画像内で識別された構成要素に基づく類似の衣類の選択を示す。構成要素510が上述のように照会写真500において検出される。構成要素から特徴ベクトルを抽出することによって、肩記述520Aおよびスカート記述520Bなどの構成要素記述520が決定される。構成要素および関連付けられる特徴ベクトルは、マッチする衣類を特定するために衣類データベース112に記憶された衣料品と比較される。マッチする衣類はインターフェース530などのインターフェース上に表示される。
【００３５】
図6に、一態様に従う注釈付き衣類属性を例示する。データベース112内の衣類は、図6に示すように、様々な衣類属性と関連付けられうる。衣類データベース内の属性は、オンライン衣類小売業者140での記述に基づいて決定されてもよく、他の衣類記述に基づく分類器に基づいて決定されてもよい。注釈付き記述は、色、模様、素材といった全体的な記述を含んでいてよい。加えて、図示のように、上半身構成要素の正面またはズボンの形状といった、衣類の特定の部分も記述されうる。ユーザは、検索のための衣類属性を選択して、ユーザにとっての関心対象の衣類の選択をさらに絞り込むこともできる。
【００３６】
ユーザインターフェースは、データベースサーバへユーザ照会を送り、サーバからの取り出した品目をダウンロードし、表示する。照会衣料品の気に入ったパーツ/デザインを、ユーザが対話形式で選択し、インターフェースを介してサーバへ送ることもできる。
【００３７】
したがって、このシステムおよび方法は、衣料品デザインのより包括的な記述を提供する。この記述は、衣料品類似性測定の性能を改善することができる。
【００３８】
前述の態様の高度な衣料品記述は、構成要素および様式に基づく柔軟なきめ細かい衣料品検索における新しい可能性をもたらすものであり、この可能性は、従来のシステムではこれまであまり研究されてこなかった。
【００３９】
結論として、発明者らの提案する衣料品記述は、ポーズと環境の両方の多様性を扱うことによって、特に、ユーザのカメラによって取り込まれる日常的な写真の間での検索のロバスト性において、およびユーザによって提供される画像に基づいてオンラインショッピング在庫を検索する能力において、衣料品構成要素の定位に関してよりよい性能を提供するといえる。そうしたデータセット横断的な構成要素レベルの検索は、くだんのシステムでは解決されない。
【００４０】
これらの態様の使用例として、ユーザは、カメラを用いて街頭でいずれかのファッショナブルな服装の女性の写真を撮影し、インターフェースを使用してショップ内でその女性の衣料品を照会することができる。また、ソーシャルネットワーク上の友人のアルバムをブラウズしているときにウェブ写真を照会することもできる。
【００４１】
本発明の自動衣料品認識システムは、衣料品データマイニングアプリケーションに対して使用することもできる。これらの種類の使用に際しては、所望の衣料品様式（例えば、冬物/春物/夏物衣類、地方または職業の特徴を有する服装など）のサンプルをまず収集し、注釈を付ける必要がある。これらのサンプルを参照して、システムは、オンライン写真への衣料品様式ラベルを自動的に生成することができる。そうしたデータマイニングは、季節ファッション、地方の服装、および写真コンテンツに関する有益な統計情報を提供することができる。ソーシャルネットワークウェブサイトでは、ユーザがアップロードした写真から予測されるそうした情報を、推奨（広告、ファッションなど）のために使用することができる。
【００４２】
さらに、プロによる衣料品マッチングの手引きも提供されれば、衣料品認識システムは、個人向けの衣料品管理およびマッチング推奨を取り扱うこともできる。この用途は、多くの現在のディジタルワードローブサービスにとって有益である。
【００４３】
本発明の態様の以上の説明は例示のために提示したものであり、網羅的であることも、本発明を開示通りの形態に限定することも意図されていない。当業者は、上記の開示に照らして多くの改変および変形が可能であることを理解することができる。
【００４４】
本明細書のいくつかの部分は、本発明の態様を、情報に対する操作のアルゴリズムおよび記号表現として記述している。これらのアルゴリズム記述および表現は、データ処理技術分野の当業者により、自分の作業内容を他の当業者に効果的に伝えるために一般に使用されるものである。これらの操作は、機能的、計算処理的、または論理的に記述されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実装されるものと理解される。さらに、一般性を失うことなく、これらの操作の仕組みをモジュールと呼ぶことが、時には好都合であることも分かっている。前述の操作およびそれらと関連付けられるモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせとして具現化されうる。
【００４５】
本明細書で説明した段階、操作、またはプロセスのいずれも、1つまたは複数のハードウェアモジュールまたはソフトウェアモジュールを、単独で、または他の機器と組み合わせて用いることにより実行または実装されうる。一態様では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品を用いて実装され、コンピュータプログラムコードは、上述した段階、操作、またはプロセスのいずれかまたは全部を実行するためにコンピュータプロセッサによって実行されうる。
【００４６】
また本発明の態様は、本明細書の操作を実行するための装置に関するものであってもよい。装置は、必要な目的のために専用に構築されてもよく、かつ/または、コンピュータに記憶されたコンピュータプログラムによって選択的に活動化または再構成される汎用コンピューティング機器を含んでいてもよい。そうしたコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適した任意のタイプの媒体に記憶されてよく、媒体はコンピュータシステムバスに結合されうる。さらに、本明細書で言及した任意のコンピューティングシステムは、単一のプロセッサを含んでいてもよく、コンピューティング能力を高めるための複数プロセッサ設計を用いたアーキテクチャであってもよい。
【００４７】
また本発明の態様は、本明細書で説明したコンピューティングプロセスによって生成される製品に関するものであってもよい。そうした製品は、コンピューティングプロセスから得られる情報を含んでいてよく、その場合情報は、非一時的な有形のコンピュータ可読記憶媒体に記憶され、コンピュータプログラム製品または本明細書で説明した他のデータ組み合わせの任意の態様を含んでいてよい。
【００４８】
最後に、本明細書で使用した文言は、主として、読みやすさおよび教示のために選択したものであり、本発明の主題を正確に叙述するまたは限定するように選択されたものではない場合もある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づいて出願時に発行される特許請求の範囲によって限定されるものであることが意図されている。したがって、本発明の態様の開示は、添付の特許請求の範囲に記載される本発明の範囲を限定するのではなく、例示するためのものである。
【図１】
0006022681.tif 000002
【図２】
0006022681.tif 000003
【図３】
0006022681.tif 000004
【図４】
0006022681.tif 000005
【図５】
0006022681.tif 000006
【図６】
0006022681.tif 000007