(57)【要約】  本発明は、サービスサーバにおいてコーディネートファッションアイテムを推薦する方法に関し、オンラインマーケットで購入可能な商品について、前記商品の画像に基づいて前記商品の内容を説明するフィーチャー及び／またはラベルを抽出し、それをインデクシングして商品データベースを生成するステップと、人が複数のファッションアイテムを着用しているスタイル画像に関するスタイルデータベースを生成するステップと、ユーザデバイスに表示された画像に関するクエリを受信すると、前記クエリから検索対象ファッションアイテムを抽出し、画像類似度に基づいて前記スタイルデータベースから前記ファッションアイテムに類似したアイテムを検索するステップと、前記類似したアイテムが検索されたスタイル画像において、前記類似したアイテムと他のカテゴリーのアイテムをコーディネートアイテムとして決定するステップと、前記コーディネートアイテムについて、画像類似度に基づいて前記商品データベースを検索し、前記コーディネートアイテムに類似した商品を推薦商品として決定するステップとを含むことを特徴とする。【選択図】図１
2022501726.tif 000002
【特許請求の範囲】
【請求項１】
サービスサーバにおいてコーディネートファッションアイテムを推薦する方法であって、
オンラインマーケットで購入可能な商品について、前記商品の画像に基づいて前記商品の内容を説明するフィーチャー及び／またはラベルを抽出し、それをインデクシングして商品データベースを生成するステップと、
人が複数のファッションアイテムを着用しているスタイル画像に関するスタイルデータベースを生成するステップと、
ユーザデバイスに表示された画像に関するクエリを受信すると、前記クエリから検索対象ファッションアイテムを抽出し、画像類似度に基づいて前記スタイルデータベースから前記ファッションアイテムに類似したアイテムを検索するステップと、
前記類似したアイテムが検索されたスタイル画像において、前記類似したアイテムと他のカテゴリーのアイテムをコーディネートアイテムとして決定するステップと、
前記コーディネートアイテムについて、画像類似度に基づいて前記商品データベースを検索し、前記コーディネートアイテムに類似した商品を推薦商品として決定するステップとを含むことを特徴とする、ファッションアイテム推薦方法。
【請求項２】
前記スタイル画像は、
専門家または準専門家が複数のファッションアイテムを組み合わせて生成した画像データであり、複数のファッションアイテムの組み合わせに対する人の感覚をコンピュータが学習するための機能を果たすことを特徴とする、請求項１に記載のファッションアイテム推薦方法。
【請求項３】
前記検索するステップの前に、
ユーザ識別情報、ユーザ趣向を推定するためのユーザ行動情報、前記行動情報から推定したユーザ趣向情報、及びユーザデバイスから直接受信したユーザ趣向情報のうち少なくとも１つを含むユーザデータベースを生成するステップをさらに含み、
前記決定するステップの後に、
前記推薦商品の露出優先順位を前記ユーザ趣向情報により設定するステップをさらに含み、
前記ユーザ趣向情報は、前記ユーザの体型情報、前記ユーザが好む価格、ブランドまたは用途に関する情報を含むことを特徴とする、請求項２に記載のファッションアイテム推薦方法。
【請求項４】
前記スタイルデータベースを生成するステップは、
前記スタイル画像から、前記スタイル画像に含まれる単一のファッションアイテムの外観、または前記スタイル画像に含まれる複数のファッションアイテムの組み合わせにおいて、人が感じる感覚をコンピュータが認識可能なデータで表現したスタイルラベルを抽出し、前記スタイルラベル情報をインデクシングして前記スタイルデータベースを生成するステップを含むことを特徴とする、請求項３に記載のファッションアイテム推薦方法。
【請求項５】
前記スタイルデータベースを生成するステップは、
前記スタイルラベルを用いて前記スタイル画像をクラスタリングし、任意のスタイルラベルを共有するスタイル画像に関するスタイルブックを少なくとも１つ生成するステップを含むことを特徴とする、請求項４に記載のファッションアイテム推薦方法。
【請求項６】
前記スタイルデータベースを生成するステップは、
前記スタイル画像に出現する頻度が予め設定された比率以上となるファッションアイテムをバズアイテムとして分類するステップと、
前記バズアイテムを含むスタイルブックと前記バズアイテムを除いたスタイルブックを生成するステップとを含むことを特徴とする、請求項５に記載のファッションアイテム推薦方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ファッションアイテムに関するスタイルを推薦する方法に関する。より具体的には、本発明は、単一のファッションアイテムまたは複数のファッションアイテムの組み合わせの特徴、感覚、トレンドなどのスタイルを予め定義しておき、スタイルに基づいてユーザにコーディネート商品を推薦する商品推薦システムに関する。
【背景技術】
【０００２】
近年、有線、無線インターネット環境の拡大を背景として、オンラインを用いた広報、売買などの商取引が活性化されている。これに関連して、購入者は、インターネットに接続されたデスクトップやモバイル端末で雑誌、ブログ、ＹｏｕＴｕｂｅの動画像などを検索していて気に入った商品があると、商品名などを検索して購入することになる。有名な女優が空港で持っていたバッグの名前、バラエティ番組に出てきた育児用品の名前がポータルサイトのリアルタイム検索語順位の上位に入るケースがその例と言える。しかしながら、ここで、ユーザは、検索のためのウェブページを別途に開いて商品名、メーカー、販売元などを検索しなければならず、それらに関する明確な情報がないと容易に検索できないという不便がある。
【０００３】
一方、販売者は、製品の広報のために、商業広告以外にも、メディア協賛、オンラインレビュー募集などに多くの費用を支出する。最近は、オンライン上の口コミが製品の販売に重要な変数として作用するからである。しかしながら、広報費を支出したにもかかわらず、商品名や販売元などのショッピング情報を公開できないケースも多い。商品名の露出に対するメディア視聴者の事前承認を個別に得ることができないため、プロダクトプレイスメントの問題が生じるからである。
【０００４】
このように、ユーザも販売者もオンライン上の商品画像に関して、さらに直観的なＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境でショッピング情報の提供を望むというニーズが存在する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国登録特許第１０−１５１１０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ファッションアイテムの外観、感覚などのルックアンドフィール（ｌｏｏｋ  ａｎｄ  ｆｅｅｌ）、トレンドなどに関する複数のスタイルについて定義しておき、前記スタイルに基づいてユーザに商品を推薦する方法を提供することを目的とする。また、本発明は、ユーザが検索を要求した単一のアイテムだけでなく、前記アイテムによく合う他のアイテムを前記スタイルに基づいて推薦する方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、サービスサーバにおいてコーディネートファッションアイテムを推薦する方法に関し、オンラインマーケットで購入可能な商品について、前記商品の画像に基づいて前記商品の内容を説明するフィーチャー及び／またはラベルを抽出し、それをインデクシングして商品データベースを生成するステップと、人が複数のファッションアイテムを着用しているスタイル画像に関するスタイルデータベースを生成するステップと、ユーザデバイスに表示された画像に関するクエリを受信すると、前記クエリから検索対象ファッションアイテムを抽出し、画像類似度に基づいて前記スタイルデータベースから前記ファッションアイテムに類似したアイテムを検索するステップと、前記類似したアイテムが検索されたスタイル画像において、前記類似したアイテムと他のカテゴリーのアイテムをコーディネートアイテムとして決定するステップと、前記コーディネートアイテムについて、画像類似度に基づいて前記商品データベースを検索し、前記コーディネートアイテムに類似した商品を推薦商品として決定するステップとを含むことを特徴とする。
【発明の効果】
【０００８】
本発明の実施形態によれば、ユーザの趣向とスタイルに基づいてユーザカスタマイズ型商品推薦サービスを提供することができる。また、本発明の実施形態によれば、商品画像に基づいてラベル情報を抽出し、抽出されたラベル情報をテキストに変換して当該商品のタグ情報として活用することができる。こうすることにより、商品のタグ情報を人が介入することなく数学的に抽出することができ、タグ情報の信頼性が高くなり、検索の正確度が向上するという効果がある。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態によりスタイルに基づいてユーザに商品を推薦する過程について説明するためのフローチャートである。
【図２】本発明の実施形態により商品データベースを構成する過程について説明するためのフローチャートである。
【図３】本発明の実施形態によりスタイルデータベースを構成する過程について説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
本発明は以下の実施形態の内容に限定されるものではなく、本発明の技術的要旨を逸脱しない範囲で様々な変形が加えられることは言うまでもない。また、実施形態について説明するにあたり、本発明の属する技術分野で広く知られており、本発明の技術的要旨と直接関連がない技術内容については説明を省略する。
【００１１】
以下、商品情報が表示されるユーザデバイスがモバイル装置であるという前提で説明するが、本発明はこれに限定されるものではない。すなわち、本発明におけるユーザデバイスは、デスクトップ、スマートフォン、タブレットＰＣなど、検索を要求して広告情報を表示することのできるあらゆる形態の電子機器が含まれる概念であると理解されるべきである。
【００１２】
また、本明細書における商品の概念は、有形の財貨に限定されるものではないことに注意すべきである。すなわち、本明細書における商品は、有形の物だけでなく、販売可能な無形のサービスが含まれる概念であると理解されるべきである。
【００１３】
さらに、本明細書における、ユーザデバイスに表示されたページ（ｄｉｓｐｌａｙｅｄ  ｐａｇｅ  ｉｎ  ａｎ  ｅｌｅｃｔｒｏｎｉｃ  ｄｅｖｉｃｅ）は、ユーザのスクロールにより画面に直ちに表示されるように電子機器にローディングされた画面及び／または前記画面の内部のコンテンツなどが含まれる概念である。例えば、モバイルデバイスのディスプレイにおいて、水平または垂直方向に長く延びてユーザのスクロールにより表示されるアプリケーションの実行画面全体が前記ページの概念に含まれ、カメラロール中の画面も前記ページの概念に含まれる。
【００１４】
一方、添付図面において、同一構成要素には同一符号が付与される。また、添付図面において、一部の構成要素を誇張したり、省略したり、概略的に示すこともある。これは、本発明の要旨に関連のない不要な説明を省略することにより、本発明の要旨を明確に説明するためである。
【００１５】
図１は、本発明の実施形態によりスタイルに基づいてユーザに商品を推薦する過程について説明するためのフローチャートである。
【００１６】
本発明の実施形態によれば、ユーザの趣向とスタイルに基づいてユーザカスタマイズ型商品推薦サービスを提供する。例えば、ユーザが新たに購入した白のバッグの写真を撮り、バッグによく合う他のアイテムを要求すると、サービスサーバは、ファッション雑誌から収集した写真のうち、類似した白のバッグとワンピースがマッチングされた写真に基づいて、写真のワンピースに類似した商品をコーディネートアイテムとして提案する。
【００１７】
前記例におけるサービスサーバは、白のバッグについてスタイル推薦を要求するクエリを受信すると、予め生成しておいたスタイルデータベース、商品データベース及びユーザデータベースを参照して、白のバッグによく合い、ユーザの趣向に合致するワンピースカテゴリーのアイテムを推薦し、推薦ワンピースのオンラインマーケット情報を共に提供する。
【００１８】
より具体的には、サービスサーバは、ユーザが任意のファッションアイテムを特定して問い合わせると、オブジェクトの画像類似度に基づいて、まずスタイルデータベースを検索してクエリアイテムに類似したアイテムを決定する。その後、サービスサーバは、スタイルデータベースに含まれる画像において、前記類似したアイテムと共にマッチングされた他のアイテムを確認し、前記他のアイテムの中からユーザ趣向情報を反映してコーディネートアイテムを決定する。
【００１９】
その後、サービスサーバは、前記コーディネートアイテムについて、画像類似度に基づいて商品データベースを検索し、ユーザ趣向情報に応じて優先順位を設定し、推薦商品を決定する。
【００２０】
ステップ１１０〜１３０において、本発明の実施形態によるサービスサーバは、商品推薦の基礎となるデータベースを構成する。前記データベースには、商品情報データベース、スタイルデータベース及びユーザデータベースが含まれ、サービスサーバは、前記データベースを参照して、クエリを検索して推薦商品を決定する機能を実行する。
【００２１】
商品データベースは、オンラインマーケットで販売されている商品の原産地、サイズ、販売元、着用ショットなどの商品詳細情報を含む。また、スタイルデータベースは、ウェブから収集できる画像のうち、ファッションスタイル、複数のアイテムのコーディネートの参考となるファッション画像に関する情報を含む。一方、ユーザデータベースは、ユーザの購入データ、閲覧時間データなどのユーザの趣向を推定できる情報を含む。さらに、ユーザデータベースは、ユーザの体型情報、ファッションアイテムのオンラインショッピング時に好む価格帯、用途、ブランドに関する情報を含む。
【００２２】
特に、本発明の実施形態による商品データベースは、商品の画像に基づいて商品情報を構成することを特徴とする（ステップ１１０）。本発明の実施形態による商品データベースの生成については、図２の説明と共に後述する。
【００２３】
一方、本発明の実施形態によるサービスサーバ１０は、スタイル推薦の基礎となるスタイルデータベースを構成する（ステップ１２０）。
【００２４】
スタイルデータベースは、オンライン上で収集できる画像のうち、複数のファッションアイテムがよく合うように組み合わせられた画像（本明細書においては、これをスタイル画像という）及び前記スタイル画像に関する分類情報を含む。本発明の実施形態によるスタイル画像は、専門家または準専門家が複数のファッションアイテムを予め組み合わせて生成した画像データであり、ウェブから収集できるファッションカタログ、ファッション雑誌のグラビア画像、ファッションショーの撮影画像、アイドルの衣装画像、特定ドラマまたは映画の衣装画像、ＳＮＳ、ブログの有名人の衣装画像、ファッション雑誌のストリートファッション画像、ファッションアイテムの販売のために他のアイテムとコーディネートした画像などが挙げられる。
【００２５】
前記スタイル画像は、本発明の実施形態によるスタイルデータベースに保存され、特定アイテムによく合う他のアイテムの決定に用いられる。こうすることにより、スタイル画像は、一般に「よく合う」という人の感覚をコンピュータが認識可能な参考資料として活用することができる。
【００２６】
本発明の実施形態によるスタイルデータベースを生成する方法については、図３の説明と共に後述する。
【００２７】
図３は、本発明の実施形態によりスタイルデータベースを構成する過程について説明するためのフローチャートである。
【００２８】
ステップ３１０において、サービスサーバは、オンライン上でスタイル画像を収集する。例えば、サービスサーバは、ファッション雑誌、ファッションブランド、ドラマ制作会社、芸能事務所、ＳＮＳ、オンラインショップなどのウェブアドレスリストを収集し、ウェブサイトを確認してリンクを追跡する方法により、ウェブサイトに含まれる画像情報を収集する。
【００２９】
一方、本発明の実施形態によるサービスサーバは、ファッション雑誌、ファッションブランド、ドラマ制作会社、芸能事務所、ＳＮＳ、オンラインショップなどのウェブサイトから画像を収集して索引するようにしてもよく、提携した業者から索引情報と共に画像情報を別途に提供するようにしてもよい。
【００３０】
ステップ３２０において、サービスサーバは、収集した画像のうち、スタイル推薦に適さない画像をフィルタリングする。
【００３１】
例えば、サービスサーバは、収集した画像のうち、人の形のオブジェクトが含まれ、複数のファッションアイテムが含まれる画像だけ残し、残りの画像をフィルタリングする。
【００３２】
スタイル画像は、クエリアイテムとコーディネートする他のアイテムを決定するために用いられるので、単一のファッションアイテムの画像はフィルタリングすることが好ましい。また、データベースを構成する上で、人が複数のファッションアイテムを直接着用している画像のほうが、ファッションアイテム自体の画像より活用度が高い。よって、本発明の実施形態によるサービスサーバは、人の形のオブジェクトが含まれ、複数のファッションアイテムが含まれる画像だけ残し、残りの画像をフィルタリングすることにより、スタイルデータベースに含まれるスタイル画像を決定する。
【００３３】
その後、サービスサーバは、スタイル画像に含まれるファッションアイテムオブジェクト画像の特徴についてプロセシングする（ステップ３４０）。
【００３４】
より具体的には、サービスサーバは、スタイル画像に含まれるファッションアイテムオブジェクトの画像特徴を抽出し、特徴情報をベクトル値で表してファッションアイテムオブジェクトの特徴値を生成することにより、画像の特徴情報を構造化する。
【００３５】
また、本発明の実施形態によるサービスサーバは、スタイル画像からスタイルラベルを抽出し、前記スタイルラベルに基づいてスタイル画像をクラスタリングする（ステップ３５０）。
【００３６】
スタイルラベルとしては、ファッションアイテムの外観、感覚などのルックアンドフィール、トレンドに関するものが抽出されることが好ましい。本発明の好ましい実施形態によれば、スタイル画像に含まれる単一のファッションアイテムの外観、複数のアイテムの組み合わせなどにおいて、人が感じる感覚に関するラベルを抽出し、それをスタイルラベルとして活用する。例えば、芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどがスタイルラベルとして挙げられる。
【００３７】
本発明の実施形態によれば、サービスサーバは、スタイルラベルを予め定義しておき、前記ラベルに対応する画像の特徴を学習したニューラルネットワークモデルを生成し、スタイル画像内のオブジェクトを分類し、当該オブジェクトに関するラベルを抽出する。ここで、サービスサーバは、各ラベルに対応する画像のパターンを学習したニューラルネットワークモデルにより、特定パターンと任意の確率で一致する画像に当該ラベルを付与する。
【００３８】
本発明の他の実施形態によれば、サービスサーバは、各スタイルラベルに対応する画像の特性を学習して初期ニューラルネットワークモデルを形成し、それに大量のスタイル画像オブジェクトを適用することにより、ニューラルネットワークモデルをより精巧に拡張する。
【００３９】
一方、本発明のさらに他の実施形態によれば、サービスサーバは、ラベルについて別途に学習することなく、スタイル画像を複数のレイヤーからなる階層構造に形成されたニューラルネットワークモデルに適用する。また、スタイル画像の特徴情報に当該レイヤーの要求に応じて加重値を付与し、加工された特徴情報を用いて商品画像をクラスタリングし、クラスタリングした画像グループに芸能人ルック、雑誌ルック、サマールック、フェミニンルック、セクシールック、オフィスルック、ドラマルック、シャネルルックなどの事後的に解釈されるラベルを付与する。
【００４０】
ステップ３６０において、サービスサーバは、スタイルラベルを用いてスタイル画像をクラスタリングし、複数のスタイルブックを生成する。これは、ユーザにレファレンスとして提供するためのものである。ユーザは、サービスサーバが提供する複数のスタイルブックのうち特定のスタイルブックを閲覧しながら、気に入ったアイテムを探し、当該アイテムに関する商品情報検索を要求する。
【００４１】
一方、サービスサーバは、ステップ３７０において、白のシャツ、ジーンズ、黒のスカートなどの出現率が非常に高いアイテムを予め分類しておく。
【００４２】
例えば、ジーンズは、ファッションの基礎となるアイテムであるので、スタイル画像における出現率が非常に高い。よって、ユーザがどのアイテムについて問い合わせても、コーディネートアイテムとしてジーンズがマッチングされる確率は、他のアイテムに比べてはるかに高い。
【００４３】
よって、本発明の実施形態によるサービスサーバは、スタイル画像における出現率が非常に高いアイテムをバズアイテムとして予め分類しておき、バズアイテムを含むバージョンとバズアイテムを含まないバージョンに、スタイルブックのバージョンを変えて生成する。
【００４４】
本発明の他の実施形態によれば、前記バズアイテムは、時間情報を反映して分類される。例えば、ファッションアイテムの流行周期に応じて、１、２カ月の短期間の流行で消えるアイテム、季節毎に戻ってくる流行アイテム、所定期間続けて流行するアイテムなどがある。よって、バズアイテムの分類に時間情報を反映し、特定ファッションアイテムが任意の期間中に出現率が非常に高いと、当該期間の情報と共に前記アイテムをバズアイテムとして分類する。このようにバズアイテムを分類すると、その後のアイテム推薦ステップにおいて、推薦対象アイテムが流行中であるか、流行と関係がないかを考慮して推薦できるという効果がある。
【００４５】
図１の説明に戻ると、ステップ１２５において、サービスサーバは、ユーザデータベースを生成する。前記ユーザデータベースは、ユーザ識別情報、ユーザ趣向を推定するためのユーザ行動情報、前記行動情報から推定したユーザ趣向、及びユーザデバイスから直接受信したユーザ趣向情報を含む。
【００４６】
例えば、サービスサーバは、ユーザデバイスにユーザの年齢、性別、職業、関心ファッション分野、既保有アイテムなどに関する質問を行い、前記質問に対するユーザ入力を受信してユーザ趣向情報を生成し、それを前記ユーザデータベースに反映する。
【００４７】
また、サービスサーバは、本発明の実施形態によるアプリケーションにより提供される任意のスタイルブックをユーザが閲覧した時間、グッドタグを生成したアイテム情報、クエリアイテム、前記アプリケーションまたは他のアプリケーションで購入したファッションアイテム情報、前記情報が生成された時間情報などのユーザ趣向を推定するためのユーザ行動情報を組み合わせ、当該ユーザが当該時点で関心のあるスタイルに関する趣向情報を生成し、それをユーザデータベースに反映する。
【００４８】
さらに、サービスサーバは、ユーザの体型情報を生成し、それをユーザデータベースに反映する。
【００４９】
例えば、ユーザデバイスが複数の角度でユーザの身体を撮影した身体画像を生成してサービスサーバに送信すると、サービスサーバは、大量の身体画像から人の身体特徴を学習した機械学習フレームワークからユーザ体型モデルを生成する。ユーザ体型モデルは、ユーザの身体の各部分のサイズ情報だけでなく、ユーザの身体の各部分の比率、肌トーンに関する情報を含む。
【００５０】
本発明のさらなる実施形態によれば、サービスサーバは、ユーザのファッションアイテムに関する好み情報を生成し、それをユーザデータベースに反映する。前記好み情報は、ユーザの好みの価格、好みのブランド、好みの用途に関する情報を含む。例えば、ユーザデバイスにおいてオンラインマーケットによるファッションアイテム閲覧または購入が行われると、サービスサーバは、閲覧または購入に異なる加重値を反映して好みの価格、好みのブランド、好みの用途に関する情報を生成し、それをユーザデータベースに反映する。
【００５１】
特に、本発明の実施形態によるサービスサーバは、人の感覚に該当するユーザの「趣向」を推定し、推定した趣向情報をコンピュータが認識可能な形態に生成し、それをユーザデータベースに反映することを特徴とする。
【００５２】
例えば、サービスサーバは、ユーザの行動情報からユーザの趣向を推定するためのラベルを抽出する。抽出する前記ラベルとは、ユーザが閲覧したスタイルブック、グッドタグを生成したアイテム、クエリアイテム、購入アイテムなどのユーザ行動情報に含まれるファッションアイテムを意味するものである。さらに、前記ラベルは、ユーザ行動情報に含まれるファッションアイテムの外観、感覚などのルックアンドフィール、トレンドに関する情報により生成する。
【００５３】
ユーザ行動情報から生成されたラベルにはユーザ行動に応じた加重値が適用され、サービスサーバは、それを組み合わせてユーザ趣向を推定するユーザ趣向情報を生成し、ユーザデータベースに保存する。前記ユーザデータベースに含まれるユーザ趣向情報、ユーザ体型情報及びユーザ好み情報は、推薦アイテムまたは推薦商品の露出優先順位の設定に用いられる。
【００５４】
ステップ１３０でウェブページまたは任意の画像を閲覧したユーザは、特定ファッションアイテムに関する商品情報を問い合わせるクエリ、または前記アイテムによく合うコーディネートアイテムを問い合わせるクエリをサービスサーバに送信する（ステップ１４０）。
【００５５】
一例として、ユーザは、任意のオンラインショッピングモールを閲覧しながら、特定ファッションアイテムの商品情報を要求するか、またはそれによく合うコーディネートアイテム推薦を要求するクエリをサービスサーバに送信する。
【００５６】
他の例として、ユーザは、オフラインの特定ファッションアイテムの写真を撮影し、当該ファッションアイテムの商品情報を要求するか、またはそれによく合うコーディネートアイテム推薦を要求するクエリをサービスサーバに送信する。
【００５７】
一方、ユーザデバイスは、本発明の実施形態によるアプリケーションにより提供されるスタイルブックを閲覧しながら（ステップ１３５）、特定アイテムに関する商品情報を問い合わせるクエリ、または前記アイテムによく合い、当該スタイルブックに含まれていない他のコーディネートアイテムを問い合わせるクエリをサービスサーバに送信する（ステップ１４０）。
【００５８】
クエリを送信するユーザデバイスは、例えば、ウェブブラウザの記録ログを含むクエリをサービスサーバに送信する。前記記録ログには、ウェブブラウザのブラウジング実行ヒストリー、当該時点で実行したウェブページのＵＲＬ情報が含まれる。また、ユーザデバイスは、ウェブページのＵＲＬに含まれる画像、動画像、テキストデータを抽出し、抽出したデータをクエリとして送信するようにしてもよい。さらに、ＵＲＬ、テキスト、画像または動画像データを抽出できない場合は、スクリーンショットを抽出してクエリとして送信するようにしてもよい。
【００５９】
特に、本発明の好ましい実施形態によるユーザデバイスは、当該時点で表示されている画像をクエリとして送信する。例えば、ユーザデバイスは、サービスサーバから受信したスタイルブックに含まれる画像から検索可能なオブジェクトを抽出してクエリとして送信する。
【００６０】
ユーザデバイスは、ユーザが別途の検索を要求しない場合もクエリを送信するが、ユーザの検索要求を条件にクエリを送信するようにしてもよい。
【００６１】
例えば、ユーザデバイスは、ユーザの検索要求の受信を条件にクエリを送信するようにしてもよい。ユーザが閲覧中の画像に含まれるファッションアイテムについてコーディネートアイテムを問い合わせた場合、ユーザデバイスは、検索要求を受信した画像内のオブジェクトを抽出してクエリとして送信する。あるいは、ユーザデバイスは、表示されている画像において検索可能なオブジェクトを予め特定しておき、ユーザの選択入力を受信したオブジェクトに関するクエリを送信するようにしてもよい。
【００６２】
このために、ユーザデバイスは、表示されている画像に予め設定されたカテゴリーのオブジェクトが含まれるか否かを先に判断し、オブジェクトを特定して当該オブジェクトについての検索要求アイコンを表示するように動作する。
【００６３】
前記実施形態によれば、スタイルブックに含まれる画像においてファッションアイテムに関するオブジェクトを特定し、特定したオブジェクトについてのクエリのみ送信するようにしてもよい。また、画像に複数のファッションアイテムに関するオブジェクトが含まれる場合は、それぞれのオブジェクトを特定し、ユーザが選択したオブジェクトについてのクエリのみ送信するようにしてもよい。
【００６４】
一方、ステップ１５０において、本発明の実施形態によるサービスサーバは、受信したクエリに含まれるファッションアイテムオブジェクトをプロセシングし、画像類似度に基づいてスタイルデータベースを検索する（ステップ１６０）。
【００６５】
より具体的には、本発明の実施形態による広告サービスサーバは、クエリ画像を受信し、クエリ画像に複数のオブジェクトが含まれる場合、各オブジェクトを分割して認識する。ユーザデバイスから受信したクエリは、検索対象オブジェクトが特定されていてもよい。
【００６６】
その後、サービスサーバは、検索対象として特定されている画像オブジェクトをプロセシングする。これは、クエリ画像の内容に基づいて、類似したアイテムをスタイルデータベースから検索するためである。
【００６７】
このために、サービスサーバは、検索対象画像オブジェクトの特徴を抽出し、検索の効率性のために画像の特定情報を構造化するが、より詳細な方法は、図２の説明と共に後述する商品画像プロセシング方法を参照されたい。
【００６８】
また、本発明の実施形態によるサービスサーバは、プロセシングした検索対象オブジェクト画像に、図２の説明と共に後述する商品画像データベース構築に用いるマシンラーニング技法を適用し、検索対象オブジェクト画像の意味に関するラベル及び／またはカテゴリー情報を抽出する。前記ラベルは、抽象化した値で表されるが、抽象化した値を解析してテキスト形式で表されるようにしてもよい。
【００６９】
例えば、本発明の実施形態によるサービスサーバは、クエリオブジェクト画像から女性、ワンピース、ノースリーブ、リネン、白色、カジュアルルックに関するラベルを抽出する。ここで、サービスサーバは、女性、ワンピースに関するラベルをクエリオブジェクト画像のカテゴリー情報として活用し、ノースリーブ、リネン、白色、カジュアルルックに関するラベルをカテゴリー以外のオブジェクト画像の特性について説明するラベル情報として活用する。
【００７０】
その後、サービスサーバは、クエリオブジェクト画像の類似度に基づいてスタイルデータベースを検索する。これは、クエリ画像に類似したアイテムをスタイルデータベースから検索し、スタイル画像において類似アイテムにマッチングされた他のアイテムを確認するためであり、例えば、サービスサーバは、クエリオブジェクト画像とスタイル画像に含まれるファッションアイテムオブジェクト画像の特徴値の類似度を計算し、類似度が予め設定された範囲にあるアイテムを確認する。
【００７１】
また、本発明の実施形態によるサービスサーバは、ステップ１１０の商品データベースのために構成したマシンラーニングのための人工ニューラルネットワークモデルの複数のレイヤーが要求する加重値を反映してクエリ画像の特徴値を加工し、クエリ画像と所定の範囲内の距離値を有するスタイルブックに含まれるファッションアイテムグループを少なくとも１つ選定し、前記グループに属するアイテムを類似アイテムとして決定する。
【００７２】
一方、本発明の好ましい実施形態によれば、サービスサーバは、クエリ画像の類似度に基づいてスタイルデータベースを検索して類似アイテムを決定するが、その際に、画像検索の正確度を向上させるために、画像から抽出したラベル、カテゴリー情報を用いる。
【００７３】
一例として、サービスサーバは、クエリ画像とスタイルデータベース画像の特徴値の類似度を計算し、予め設定された範囲の類似度以上の商品のうち、ラベル及び／またはカテゴリー情報がクエリ画像のラベル及び／またはカテゴリー情報にマッチングされない商品は除くようにして類似アイテムを決定する。
【００７４】
他の例として、サービスサーバは、クエリ画像のラベル及び／またはカテゴリー情報にマッチングされたラベル及び／またはカテゴリー情報を有するスタイルブックにおいてのみアイテム類似度を計算するようにしてもよい。
【００７５】
例えば、本発明の実施形態によるサービスサーバは、クエリ画像からスタイルラベルを抽出し、前記ラベルにマッチングされたスタイルブックにおいて、クエリとの画像類似度に基づいて類似アイテムを特定する。当然ながら、サービスサーバは、クエリ画像からラベルを抽出せず、スタイルデータベースからクエリ画像との画像類似度に基づいて類似アイテムを特定するようにしてもよい。
【００７６】
例えば、クエリに含まれる画像に木の葉の柄のワンピースがある場合、サービスサーバは、トロピカルというラベルをクエリから抽出する。その後、サービスサーバは、トロピカルというラベルでクラスタリングしたスタイルブックにおいて、木の葉の柄のワンピースと予め設定された範囲の類似度を有する類似したアイテムを特定する（ステップ１６０）。
【００７７】
その後、サービスサーバは、スタイルブックから検索された類似アイテムを含み、類似アイテムが他のファッションアイテムと組み合わせられたスタイル画像をユーザデバイスに提供する（ステップ１７０）。木の葉の柄のワンピースがある前記例においては、木の葉の柄のワンピースと共に麦わら帽子、ラタンバッグなどが組み合わせられたスタイル画像をユーザに提供する。
【００７８】
ステップ１８０において、ユーザデバイスは、スタイル画像を閲覧しながら、クエリアイテムとコーディネートするための他のアイテム推薦を要求するようにしてもよく、スタイル画像に含まれる他のカテゴリーのアイテムに関する商品情報を要求するようにしてもよい。
【００７９】
一方、図１におけるステップ１７０及び１８０は、必須の過程ではなく、省略してもよい。すなわち、本発明の実施形態によれば、サービスサーバは、ユーザデバイスがクエリを送信すると、前記クエリに対する応答として、前記クエリによく合う他のカテゴリーの商品情報を提供する。すなわち、ユーザが別途のコーディネートアイテム推薦要求を送信しなくても、サービスサーバは、クエリアイテムに組み合わせられるコーディネートアイテムの商品情報を送信する。
【００８０】
一方、サービスサーバは、クエリアイテムに類似したアイテムがスタイルデータベースから検索されると、コーディネートアイテムを推薦するために、前記類似したアイテムと共に組み合わせられてスタイル画像に含まれる他のカテゴリーのファッションアイテムを確認する（ステップ１８５）。
【００８１】
あるアイテムに「よく合う」というのは人の感覚に関することであるので、あるアイテムに関して人が介入することなく「よく合う」他のアイテムをコンピュータが推薦するためには、複数のファッションアイテムのマッチングについて学習した機械学習フレームワークが必要である。そのために、本発明の実施形態によるサービスサーバは、複数のファッションアイテムが専門家または準専門家により組み合わせられて人が着用したスタイル画像を収集し、それをスタイルデータベースとして生成する。また、サービスサーバは、前記スタイルデータベースを機械学習フレームワークに適用して前記フレームワークを学習させる。例えば、青のシャツと茶色のタイがマッチングされた大量のスタイル画像を学習した機械学習フレームワークは、青のシャツに関するクエリに対して、コーディネートアイテムとして茶色のタイを推薦する。
【００８２】
さらに、サービスサーバは、ユーザが問い合わせたファッションアイテムを前記スタイルデータベースから画像類似度に基づいて検索し、類似したアイテムが含まれるスタイル画像に前記類似したアイテムと共にマッチングされている他のカテゴリーのファッションアイテムを推薦アイテムとして考慮する。これは、本発明の実施形態によるサービスサーバが、スタイル画像においてクエリアイテムと共にマッチングされている他のアイテムはよく合うものであると学習されているからである。
【００８３】
スタイルデータベースを用いて推薦アイテムが決定されると、サービスサーバは、商品データベースから画像内容の類似度に基づいて前記推薦アイテムを検索する（ステップ１９０）。これは、スタイルデータベースが複数のファッションアイテムの組み合わせに関して参考にするための画像データベースであるので、画像に含まれる各ファッションアイテムの価格、販売元、材質などの詳細内容については含まれていないからである。
【００８４】
例えば、木の葉の柄のワンピースのクエリに関する前記例においては、スタイルデータベースから木の葉の柄のワンピースと共に麦わら帽子、ラタンバッグなどが組み合わせられた画像が検索されたとしても、前記麦わら帽子、ラタンバッグは当該時点で購入可能な商品ではなく、スタイリストの個人所蔵品であることもある。あるいは、前記スタイル画像が有名デザイナーのファッショングラビアであり、前記麦わら帽子、ラタンバッグが非常に高価な商品であることもある。
【００８５】
前記の場合、ユーザは、オンラインで購入することのできる一般的な価格の類似商品はないか気になるであろう。よって、本発明の実施形態によるサービスサーバは、クエリアイテムに類似したアイテムをスタイルデータベースから検索し、前記類似したアイテムと共にマッチングされた他のカテゴリーのアイテムを推薦アイテムとして決定し、前記推薦アイテムに関する商品情報を提供するために、前記推薦アイテムに類似した商品を商品データベースから検索する。
【００８６】
より具体的には、サービスサーバは、スタイルデータベースから決定された推薦アイテムについて、画像類似度に基づいて商品データベースを検索する（ステップ１９０）。
【００８７】
このために、サービスサーバは、スタイル画像に含まれる推薦アイテムオブジェクトの特徴を抽出し、検索の効率性のために画像の特定情報を構造化するが、より詳細な方法は前述した商品画像プロセシング方法を参照されたい。
【００８８】
本発明の実施形態によるサービスサーバは、オブジェクト画像の類似度に基づいて商品データベースを検索する。例えば、サービスサーバは、推薦アイテム画像と商品データベースに含まれる商品画像の特徴値の類似度を計算し、類似度が予め設定された範囲にある商品を推薦商品として決定する。
【００８９】
また、本発明の実施形態による広告サービスサーバは、商品データベースのために構成したマシンラーニングのための人工ニューラルネットワークモデルの複数のレイヤーが要求する加重値を反映して推薦アイテム画像の特徴値を加工し、所定の範囲内の距離値を有する商品グループを少なくとも１つ選定し、前記グループに属する商品を推薦商品として決定する。
【００９０】
さらに、本発明の他の実施形態によるサービスサーバは、推薦アイテムオブジェクトから抽出したラベルに基づいて推薦商品を特定する。
【００９１】
一例として、推薦アイテム画像から抽出されたオブジェクトのラベル情報が女性のトップス、ブラウス、白色、縞のように抽出された場合、サービスサーバは、商品データベースにおいて女性のトップスを上位カテゴリー情報として有する商品グループについてのみ検索対象オブジェクト画像との類似度を計算する。
【００９２】
他の例として、サービスサーバは、類似度が予め設定された範囲を超える商品を推薦候補商品とし、推薦候補商品から下位カテゴリー情報がブラウスでない商品を除く。すなわち、下位カテゴリー情報がブラウスで索引された商品を広告アイテムとして選定する。
【００９３】
さらに他の例として、推薦アイテムのオブジェクト画像から抽出されたラベル情報が女性のトップス、ブラウス、長袖、レース、ポロネックである場合、サービスサーバは、商品データベースから女性のトップス、ブラウス、長袖、レース、ポロネックをラベルとして有する商品グループについてのみ推薦アイテムと画像類似度を計算する。
【００９４】
推薦商品が決定されると、ステップ１９５において、サービスサーバは、ユーザ趣向情報を反映して露出の優先順位を決定する。例えば、ユーザ趣向情報がオフィスルックに偏重している場合、オフィスルックラベルに加重値を加えて優先順位を計算し、計算した優先順位に従って推薦商品情報を提供する（ステップ１９８）。
【００９５】
一方、図２は、本発明の実施形態により商品情報データベースを構築する過程について説明するためのフローチャートである。
【００９６】
図２のステップ２１０において、サービスサーバは、商品情報を収集する。
【００９７】
サービスサーバは、予め提携しているオンラインマーケットの商品情報はもとより、任意のオンラインマーケットで販売している商品についても商品情報を収集する。例えば、サービスサーバは、クローラ、パーサ、インデクサを備えており、オンラインショップのウェブ文書を収集し、ウェブ文書に含まれる商品画像、商品名、価格などのテキスト情報にアクセスする。
【００９８】
例えば、クローラは、オンラインショップのウェブアドレスリストを収集し、ウェブサイトを確認してリンクを追跡することにより、商品情報に関するデータをサービスサーバに送信する。ここで、パーサは、クローリング過程中に収集したウェブ文書を解析してページに含まれる商品画像、商品価格、商品名などの商品情報を抽出し、インデクサは、当該位置と意味を索引する。
【００９９】
一方、本発明の実施形態によるサービスサーバは、任意のオンラインショップのウェブサイトから商品情報を収集して索引するが、提携マーケットから予め設定されたフォーマットの商品情報が提供されるようにしてもよい。
【０１００】
ステップ２２０において、サービスサーバは、商品画像をプロセシングする。これは、商品名や販売カテゴリーなどのテキスト情報に依存せず、商品画像が類似しているか否かに基づいて推薦アイテムを決定するためである。
【０１０１】
本発明の実施形態によれば、商品画像が類似しているか否かに基づいて推薦アイテムを決定するが、本発明はこれに限定されるものではない。すなわち、一態様によれば、商品画像はもとより商品名や販売カテゴリーなどを単独または補助クエリとして活用するが、そのためにサービスサーバは、商品の画像以外の商品名、商品カテゴリーなどのテキスト情報を構造化してデータベースを生成する。
【０１０２】
本発明の好ましい実施形態によれば、サービスサーバは、商品画像の特徴を抽出し、検索の効率性のために画像の特徴情報を構造化（ｉｎｄｅｘｉｎｇ）する。
【０１０３】
より具体的には、サービスサーバは、商品画像の特徴領域を探知（Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔ  Ｄｅｔｅｃｔｉｏｎ）する。特徴領域とは、画像同士が同一であるか否かまたは類似しているか否かを判断するために、画像の特徴についての記述子、すなわち特徴記述子（Ｆｅａｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ）を抽出する主要領域を意味する。
【０１０４】
本発明の実施形態によれば、これらの特徴領域は、画像が含む輪郭線、輪郭線の中でもコーナーなどの角、周辺領域と区分されるブロブ（ｂｌｏｂ）、画像の変形に対して不変もしくは共変する領域、または周辺の明るさより暗いもしくは明るいという特徴のある極点であり、画像のパッチ（断片）または画像全体を対象とする。
【０１０５】
また、サービスサーバは、特徴領域から特徴記述子を抽出（Ｄｅｓｃｒｉｐｔｏｒ  Ｅｘｔｒａｃｔｉｏｎ）する。特徴記述子とは、画像の特徴をベクトル値で表したものである。
【０１０６】
本発明の実施形態によれば、これらの特徴記述子は、当該画像の特徴領域の位置、特徴領域の明るさ、色、鮮明度、勾配、スケールまたはパターン情報を用いて計算する。例えば、特徴記述子は、特徴領域の明るさ値、明るさの変化値、分布値などをベクトルに変換して計算する。
【０１０７】
一方、本発明の実施形態によれば、画像に関する特徴記述子は、このような特徴領域に基づいたローカル記述子（Ｌｏｃａｌ  Ｄｅｓｃｒｉｐｔｏｒ）だけでなく、グローバル記述子（Ｇｌｏｂａｌ  ｄｅｓｃｒｉｐｔｏｒ）、頻度記述子（Ｆｒｅｑｕｅｎｃｙ  Ｄｅｓｃｒｉｐｔｏｒ）、バイナリ記述子（Ｂｉｎａｒｙ  Ｄｅｓｃｒｉｐｔｏｒ）またはニューラルネットワーク記述子（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  ｄｅｓｃｒｉｐｔｏｒ）で表される。
【０１０８】
より具体的には、特徴記述子には、画像全体もしくは画像を任意の基準で分割した各区域、または各特徴領域の明るさ、色、鮮明度、勾配、スケール、パターン情報などをベクトル値に変換して抽出するグローバル記述子（Ｇｌｏｂａｌ  ｄｅｓｃｒｉｐｔｏｒ）が含まれる。
【０１０９】
例えば、特徴記述子には、予め区分した特定記述子が画像に含まれる回数、従来定義されている色表などの全域的特徴を含む回数などをベクトル値に変換して抽出する頻度記述子（Ｆｒｅｑｕｅｎｃｙ  Ｄｅｓｃｒｉｐｔｏｒ）、各記述子を含むか否か、または記述子を構成する各要素値の大きさが特定値より大きいか小さいかをビット単位で抽出し、それを整数型に変換して用いるバイナリ記述子（Ｂｉｎａｒｙ  ｄｅｓｃｒｉｐｔｏｒ）、ニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のレイヤーで学習または分類のために用いられる映像情報を抽出するニューラルネットワーク記述子（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  ｄｅｓｃｒｉｐｔｏｒ）が含まれる。
【０１１０】
また、本発明の実施形態によれば、商品画像から抽出した特徴情報ベクトルを低次元に変換する。例えば、人工ニューラルネットワークにより抽出された特徴情報は４万次元の高次元ベクトル情報であるので、検索に求められるリソースを考慮して好適な範囲の低次元ベクトルに変換することが好ましい。
【０１１１】
前記特徴情報ベクトルの変換にはＰＣＡ、ＺＣＡなどの様々な次元縮小アルゴリズムを用い、低次元ベクトルに変換した特徴情報は当該商品画像にインデクシングする。
【０１１２】
さらに、本発明の実施形態によるサービスサーバは、商品画像に基づいてマシンラーニング技法を適用し、当該画像の意味に関するラベルを抽出する。前記ラベルは、抽象化した値で表されるが、抽象化した値を解析してテキスト形式で表されてもよい（ステップ２３０）。
【０１１３】
より具体的には、本発明の第１実施形態によれば、サービスサーバは、ラベルを予め定義しておき、前記ラベルに対応する画像の特徴を学習したニューラルネットワークモデルを生成し、商品画像内のオブジェクトを分類し、当該オブジェクトに関するラベルを抽出する。ここで、サービスサーバは、各ラベルに対応する画像のパターンを学習したニューラルネットワークモデルにより、特定パターンと任意の確率で一致する画像に当該ラベルを付与する。
【０１１４】
本発明の第２実施形態によれば、サービスサーバは、各ラベルに対応する画像の特性を学習して初期ニューラルネットワークモデルを形成し、それに大量の商品画像オブジェクトを適用してニューラルネットワークモデルをより精巧に拡張する。また、サービスサーバは、当該商品がどのグループにも含まれない場合、当該商品を含む新たなグループを生成するようにしてもよい。
【０１１５】
第１実施形態と第２実施形態によれば、サービスサーバは、女性のボトムス、スカート、ワンピース、半袖、長袖、柄の形態、材質、色、抽象的感覚（清純、シック、ビンテージなど）などの商品に関するメタ情報として活用できるラベルを予め定義しておき、前記ラベルに対応する画像の特徴を学習したニューラルネットワークモデルを生成し、前記ニューラルネットワークモデルを広告主の商品画像に適用して広告対象商品画像に関するラベルを抽出する。
【０１１６】
一方、本発明の第３実施形態によれば、サービスサーバは、ラベルについて別途に学習することなく、商品画像を複数のレイヤーからなる階層構造に形成されたニューラルネットワークモデルに適用する。また、商品画像の特徴情報に当該レイヤーの要求に応じて加重値を付与し、加工した特徴情報を用いて商品画像をクラスタリングする。
【０１１７】
この場合、特徴値のどの属性により当該画像がクラスタリングされたのかを確認するためには、すなわち画像のクラスタリング結果を実際の人が認識することのできる概念に繋げるためには、追加分析を必要とする。例えば、サービスサーバが画像プロセシングにより３つのグループに商品を分類し、第１グループの特徴に関するＡ、第２グループの特徴に関するＢ、第３グループの特徴に関するＣというラベルを抽出した場合、例えば、Ａ、Ｂ、Ｃがそれぞれ女性のトップス、ブラウス、チェック柄を意味するものと事後的に解釈される必要がある。
【０１１８】
第３実施形態によれば、サービスサーバは、クラスタリングした画像グループに女性のボトムス、スカート、ワンピース、半袖、長袖、柄の形態、材質、色、抽象的感覚（清純、シック、ビンテージなど）などの事後的に解釈されるラベルを付与し、個別の商品画像が属する画像グループに付与されたラベルを当該商品画像のラベルとして抽出する。
【０１１９】
一方、本発明の実施形態によるサービスサーバは、商品画像から抽出したラベルをテキストで表現し、テキスト形式のラベルを商品のタグ情報として活用する。
【０１２０】
従来、商品のタグ情報は販売者が主観的に直接付与するので、不正確であり、信頼性に欠けていた。販売者が主観的に付与する商品タグはノイズとして作用するので、検索の効率を低くするという問題があった。
【０１２１】
しかしながら、本発明の実施形態のように、商品画像に基づいてラベル情報を抽出し、抽出したラベル情報をテキストに変換して当該商品のタグ情報として活用すると、商品のタグ情報を当該商品の画像に基づいて人が介入することなく数学的に抽出することができ、タグ情報の信頼性が高くなり、検索の正確度が向上するという効果がある。
【０１２２】
また、ステップ２４０において、サービスサーバは、商品画像の内容に基づいて当該商品のカテゴリー情報を生成する。
【０１２３】
図２の例において、ステップ２３０とステップ２４０を別個のステップとしているが、これは説明の便宜のためであり、本発明はこれに限定されるものではない。本発明の実施形態によれば、ラベル情報とカテゴリー情報をそれぞれ生成してもよいが、ラベル情報をカテゴリー情報として活用してもよく、カテゴリー情報をラベル情報として活用してもよい。
【０１２４】
例えば、任意の商品画像に関するラベルとして女性、トップス、ブラウス、リネン、ストライプ、長袖、青、オフィスルックが抽出された場合、サービスサーバは、女性、トップス、ブラウスに関するラベルを当該商品のカテゴリー情報として活用し、リネン、ストライプ、長袖、青、オフィスルックに関するラベルをカテゴリー以外の商品の特性について説明するラベル情報として活用する。あるいは、サービスサーバは、ラベルとカテゴリー情報を区別せずに当該商品にインデクシングする（ステップ２６０）。
【０１２５】
ここで、商品のカテゴリー情報及び／またはラベルは、画像検索の信頼性を向上させるためのパラメータとして活用する。
【０１２６】
また、本発明の他の実施形態によるサービスサーバは、画像類似度を別途に計算することなく、前記ラベルに基づいて推薦アイテムを決定するようにしてもよい。
【０１２７】
一方、本発明の実施形態によるサービスサーバは、収集した商品説明画像をフィルタリングする（ステップ２５０）。これは、画像検索にノイズとして作用する商品画像を除いて商品画像データベースを構成するためである。
【０１２８】
より具体的には、サービスサーバは、商品画像から抽出したラベルと販売者が直接付与したカテゴリー及び／またはタグ情報を比較し、商品画像のフィルタリングの要否を決定する。
【０１２９】
本発明の実施形態によれば、特定商品に関して複数の画像が存在し、それらの１つの画像から抽出したラベルと当該商品に対して販売者が付与したカテゴリーが異なる場合、当該画像または当該画像内の特定オブジェクトをデータベースからフィルタリングする。
【０１３０】
例えば、Ａ商品に関する第１〜第３商品画像が存在し、第１商品画像からは「女性のトップス，ジャケット」、第２商品画像からは「女性のトップス，ジャケット」及び「サングラス，ラウンド」、第３商品画像からは「サングラス，ラウンド」というラベルが抽出されることも考えられる。ここで、Ａ商品の販売カテゴリーが「サングラス」であれば、サービスサーバは、第１商品画像は除き、第２、第３商品画像のみで商品画像データベースを構成する。
【０１３１】
このようなフィルタリングは、画像検索のノイズを減らすためのものである。前記例において、Ａ商品が実際にサングラスに関するものであるのに、第１〜第３商品画像を全て含めてデータベースを構成すると、クエリ画像がジャケットである場合も第１商品画像に類似すると判断し、サングラスに関するＡ商品が広告アイテムとして決定される。よって、検索の正確度を低下させる商品画像をフィルタリングしてデータベースを構築する。
【０１３２】
本明細書と図面に示す本発明の実施形態は、本発明の技術内容を分かりやすく説明して本発明の理解を助けるために特定の例を提示したものにすぎず、本発明を限定するものではない。ここに示した実施形態以外にも、本発明の技術的思想に基づいた他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者にとって明らかであろう。
【図１】
2022501726.tif 000003
【図２】
2022501726.tif 000004
【図３】
2022501726.tif 000005
【国際調査報告】
2022501726.tif 000006
2022501726.tif 000007
2022501726.tif 000008
2022501726.tif 000009