(57)【要約】  本発明は、ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法に関し、その方法は、表示されたページに含まれている画像に検索可能なオブジェクトが存在する場合、前記検索可能なオブジェクトを特定して表示するステップと、特定されたオブジェクトに対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップとを含むことを特徴とする。【選択図】図１
2020522820.tif 000002
【特許請求の範囲】
【請求項１】
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像に検索可能なオブジェクトが存在する場合、前記検索可能なオブジェクトを特定して表示するステップと、
特定されたオブジェクトに対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【請求項２】
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像に対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【請求項３】
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【請求項４】
前記広告領域に対するユーザのスクロールジェスチャーを受信すると、前記広告領域以外の領域は変更せずに、前記スクロールジェスチャーに応じて、前記広告領域内で前記広告画像をスクロールして表示するステップを含むことを特徴とする、請求項１ないし３のいずれか一項に記載の広告を表示する方法。
【請求項５】
前記広告領域は、前記検索可能なオブジェクトが存在する画像の表示領域であることを特徴とする、請求項４に記載の広告を表示する方法。
【請求項６】
前記広告領域は、前記検索可能なオブジェクトが存在する画像と同じサイズであり、前記オブジェクトが存在する画像の表示領域の下部に位置し、
前記広告領域を有効にするステップは、
前記広告領域が前記表示されたページの上部に位置するように、前記ページをスクロールして表示するステップを含むことを特徴とする、請求項５に記載の広告を表示する方法。
【請求項７】
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供する広告媒体のウェブサイトサーバと、
前記広告媒体のウェブサイトサーバに接続し、前記コンテンツを表示して、前記コンテンツに含まれている画像を含むクエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記コンテンツに含まれた前記広告領域に前記広告アイテムに関する広告を表示するユーザデバイスと、
を含むことを特徴とする、広告プラットフォームシステム。
【請求項８】
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供し、前記コンテンツに含まれている画像を含む前記クエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記コンテンツに含まれた前記広告領域に前記広告アイテムに関する広告を含ませ、前記ユーザデバイスに提供する広告媒体のウェブサイトサーバと、
を含むことを特徴とする、広告プラットフォームシステム。
【請求項９】
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供する広告媒体のウェブサイトサーバと、
前記広告媒体のウェブサイトサーバに接続し、前記コンテンツに含まれている画像を含む前記クエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記広告領域に前記広告アイテムに関する情報を挿入して前記ウェブサイトサーバに転送する広告代行サービスサーバと、
を含むことを特徴とする、広告プラットフォームシステム。
【請求項１０】
サービスサーバにおいて、画像に基づいてカスタマイズされた広告を提供する方法であって、
広告対象商品情報に含まれている商品画像と、前記広告対象商品情報とのうちの少なくとも１つに基づいて、前記商品の特徴を説明するラベル情報及び前記商品のカテゴリ情報のうちの少なくとも１つ以上を生成し、前記ラベル情報及び前記カテゴリ情報のうちの少なくとも１つ以上を前記商品画像にインデクシングしてデータベースを作成するステップＡと、
ユーザデバイスに表示された画像に関するクエリを受信すると、検索対象画像を特定し、特定された検索対象画像の特徴を説明するラベル情報及びカテゴリ情報を生成するステップＢと、
前記データベースにおいて、前記検索対象画像と予め設定された範囲の類似度を有する候補画像を検索し、前記候補画像を前記検索対象画像のカテゴリ情報及びラベル情報のうちの少なくとも１つ以上を用いてフィルタリングし、広告アイテムを決定するステップＣと、
前記広告アイテムに関する情報を前記ユーザデバイスに提供するステップＤと、
を含むことを特徴とする、広告を提供する方法。
【請求項１１】
前記ステップＣは、
前記データベースにおいて、前記検索対象画像の上位カテゴリ情報が含まれたカテゴリ情報を有する画像のうち、前記検索対象画像と予め設定された類似度を有する候補画像を検索するステップと、
前記候補画像のカテゴリ情報が前記検索対象画像の下位カテゴリ情報を含まない場合は、その候補画像をフィルタリングするステップと、
を含むことを特徴とする、請求項１０に記載の広告を提供する方法。
【請求項１２】
前記ステップＣは、
前記データベースにおいて、前記検索対象画像のカテゴリ情報と一致するカテゴリ情報を有する画像のうち、前記検索対象画像と予め設定された類似度を有する候補画像を検索するステップと、
前記候補画像のラベル情報と前記検索対象画像のラベル情報の類似度を確認し、前記類似度が予め設定された範囲以下である候補画像をフィルタリングするステップと、
を含むことを特徴とする、請求項１１に記載の広告を提供する方法。
【請求項１３】
サービスサーバにおいて、画像に基づいてカスタマイズされた広告を提供する方法であって、
広告対象商品情報に含まれている商品画像と、前記広告対象商品情報とのうちの少なくとも１つに基づいて、前記商品の特徴を説明するラベル情報を生成し、前記商品画像に前記ラベル情報をインデクシングしてデータベースを作成するステップＡと、
ユーザデバイスに表示された画像に関するクエリを受信すると、検索対象画像を特定し、特定された検索対象画像の特徴を説明するクエリのラベル情報を生成するステップＢと、
前記データベースにおいて、前記クエリのラベル情報に基づいて広告アイテムを決定するステップＣと、
前記広告アイテムに関する情報を前記ユーザデバイスに提供するステップＤと、
を含むことを特徴とする、広告を提供する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広告を提供する方法及び装置に関する。より詳しくは、本発明は、ユーザデバイスに表示されている画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムに関する。
【背景技術】
【０００２】
コンピュータ処理技術の急速な発達によって、近年のインターネットに基づく広告業界は、広告にユーザ属性を反映して提供するように発展しつつある。広告コンテンツが、広告会社からユーザまで一方向に伝達されるのではなく、ユーザの関心領域を推測して興味のあるアイテムに関する広告が提供されている。
【０００３】
例えば、リターゲティング広告は、そのユーザの購入履歴、検索履歴などに基づいてユーザの興味のあるアイテムを推測し、それに基づいた広告を提供する形式である。以前にユーザがネットショッピングでトウモロコシと牛乳を購入した場合、そのユーザにトウモロコシ、牛乳の広告を提供したり、または以前にユーザがサングラスを検索したことがある場合は、そのユーザにはサングラスに関する広告を提供するといったものである。
【０００４】
しかしながら、このような広告は、露出時点における他のコンテンツを考慮していないといった問題がある。以前にトウモロコシと牛乳を購入しているユーザであっても、ファッション雑誌のコンテンツを閲覧している状況でトウモロコシと牛乳の広告が表示されると、そのユーザに対する広告効果はあまり高くないはずである。つまり、結果的に広告が提供される時点におけるユーザの興味とは無関係な広告が提供される虞がある。
【０００５】
また、特定メーカーのウェブサイトを閲覧している場合に、全く関係ない広告が表示されることは、そのメーカーのブランドイメージに否定的な影響を及ぼす虞がある。ウェブサイト運営者は広告会社と契約を結び、自分のウェブサイトに広告領域を提供することで収益を得ることができるが、その広告領域に自分のコンテンツと全く関係ないアイテムの広告が表示されることに懸念が生じる可能性がある。
【０００６】
例えば、ファッション雑誌のウェブサイトにおいて、ファッションに関するコンテンツと共にトウモロコシと牛乳の広告が表示されると、そのファッション雑誌のブランドイメージに良くない影響を与える虞がある。従って、ブランドイメージを大事にするメーカーであれば、ウェブサイトに広告領域を提供しようとせず、オンライン広告媒体が制限されるといった問題が発生する。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前記課題を解決するためのものであって、ユーザデバイスに表示された画像検索に基づいて広告アイテムを決定し、画像検索結果値の精度を高めるためのフィルタリング方法を提供することをその目的とする。
【０００８】
さらに、本発明は、デバイスの限られたディスプレイにおいて、効率的な広告領域を設定するユーザインタフェースを提供することをその目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態に係るユーザデバイスにおいて、画像に基づいてカスタマイズされた広告を表示する方法は、表示されたページに含まれている画像に検索可能なオブジェクトが存在する場合、前記検索可能なオブジェクトを特定して表示するステップと、特定されたオブジェクトに対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップとを含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザデバイスに表示された画像検索に基づいて広告アイテムを決定することができ、画像検索結果値の精度を高めることができる。
【００１１】
さらに、本発明によれば、デバイスの限られたディスプレイにおいて、効率的に広告領域を設定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に従い、画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムを説明するためのフローチャートである。
【図２】本発明の実施形態に基づいて広告対象商品情報及び商品説明画像に関するデータベースを構築する過程を説明するためのフローチャートである。
【図３】クエリ画像に基づいて広告アイテムを決定する過程を説明するためのフローチャートである。
【図４】本発明の実施形態に係るユーザデバイスに広告を表示する方法を説明するためのフローチャートである。
【図５】本発明の実施形態に従い、広告領域を表示するユーザインタフェースの例を示す図である。
【図６】本発明の実施形態に従い、広告領域を表示するユーザインタフェースの他の例を示す図である。
【発明を実施するための形態】
【００１３】
本発明は、以下に記載されている実施形態の説明内容に限定されるものではなく、本発明の技術的要旨を脱しない範囲内で様々な変形が可能であることは言うまでもない。そして、実施形態の説明にあたって、本発明の属する技術の分野で周知であり、本発明の技術的要旨と直接的に関係のない技術内容については説明を省略する。
【００１４】
以下では、商品情報が表示されるユーザデバイスは、モバイルデバイスである場合を前提として説明するが、本発明はこれに限定されるものではない。すなわち、本発明におけるユーザデバイスとは、デスクトップ、スマートフォン、タブレットＰＣなど、検索を要求し、広告情報を表示することができるあらゆる形態の電子装置を含む概念で理解すべきである。
【００１５】
また、本明細書における商品の概念は、有形財に限定されるものではないことに注意されたい。すなわち、本明細書における商品とは、有形のもののみならず、販売可能な無形のサービスを含む概念で理解すべきである。
【００１６】
さらに、本明細書で「ユーザデバイスに表示されたページ（ｄｉｓｐｌａｙｅｄ  ｐａｇｅ  ｉｎ  ａｎ  ｅｌｅｃｔｒｏｎｉｃ  ｄｅｖｉｃｅ）」という用語は、ユーザのスクロールに応じて画面に直ちに表示されるように、電子装置に読み込まれた画面及び／または前記画面内部のコンテンツなどを含む概念として理解することができる。例えば、モバイルデバイスのディスプレイにおいて、水平または垂直方向に長く延長されてユーザのスクロールによって表示されるアプリケーションの実行画面全体が前記ページの概念に含まれてもよく、カメラロール中の画面もまた前記ページの概念に含まれてもよい。
【００１７】
なお、添付図面において、同じ構成要素は同じ符号が付される。そして、添付図面において、一部の構成要素は、誇張されたり、省略されたり、概略的に示されることがある。これは、本発明の要旨とは関係のない不要な説明を省略することにより、本発明の要旨をより明確に説明するためである。
【００１８】
図１は、本発明の実施形態に従い、画像に基づいてカスタマイズされた広告を提供するプラットフォームシステムを説明するためのフローチャートである。
【００１９】
本発明の実施形態に係る広告プラットフォームは、ユーザがデバイスから閲覧している画像と類似のアイテムを選別して広告するといった特徴がある。例えば、ユーザがチェック柄のシャツの写真を閲覧している場合には、類似したチェック柄のシャツの広告を提供する。
【００２０】
そうなると、その時点でユーザが興味を示すアイテムに関するリアルタイム広告が提供されるので、高い広告効果を期待することができる。つまり、ユーザは、リアルタイムに興味のある商品の広告を提供され、広告会社は高い広告収入を期待することができる。さらに、広告領域を提供するウェブサイトは、自分のコンテンツと関連している広告のみが表示されるため、広告領域提供によるブランドイメージの低下リスクを減らすことができる。
【００２１】
そのため、ステップ１１０において、本発明の実施形態に係る広告サービスサーバ１０は、広告のための商品データベースを構築する。例えば、広告サービスサーバは、広告主からの広告依頼のあった商品の情報を収集し、商品画像が含まれたデータベースを構築する。
【００２２】
本発明の実施形態に係る広告サービスサーバは、クエリ画像との類似度に基づいて広告アイテムを決定することができるといった特徴がある。従って、迅速かつ効率的な画像検索のために商品画像データベースを構築してもよく、特に、マッチング失敗率を減らすために、画像検索にノイズとして作用する虞がある画像を除いて画像データベースを構成してもよい。
【００２３】
例えば、広告対象商品が帽子であるのに、商品説明画像に帽子とレディーストップスが含まれている場合は、レディーストップスに関する画像クエリに帽子商品に関する応答が提供される可能性がある。その場合には、レディーストップスに関するコンテンツを閲覧しているユーザに帽子とレディーストップスを含む画像の形で広告が提供され、レディーストップスの広告であると信じ切っていたユーザが、実際にその広告によって販売されているのが帽子であることを確認すれば、カスタマイズされた広告プラットフォームへの信頼性が低下するはずである。
【００２４】
本発明の実施形態に係る広告サービスサーバにおいて、広告対象商品情報及び商品画像に関するデータベースを構築し、商品画像をフィルタリングするより具体的な説明については、添付の図２の説明と共に後述する。
【００２５】
図２は、本発明の実施形態に従い、広告対象商品情報及び商品説明画像のデータベースを構築する過程を説明するためのフローチャートである。
【００２６】
図２のステップ２１０において、広告サービスサーバは、広告対象商品情報を収集する。
【００２７】
そのとき、前記商品は、広告会社に広告依頼のあった商品、広告依頼のあったオンラインショップ、または前記オンラインショップで販売している商品であってもよい。例えば、サービスサーバは、クローラ、パーサ、インデクサを備え、広告主のオンラインショップのウェブページを収集し、ウェブページに含まれている商品画像及び商品名、価格などのテキスト情報にアクセスする。
【００２８】
例えば、クローラは、広告主のオンラインショップのウェブアドレスのリストを収集し、ウェブサイトを確認してリンクを追跡する方法で、商品情報に関するデータをサービスサーバに転送する。そのとき、パーサは、クローリング過程で収集されたウェブページを解析し、ページに含まれている商品画像、商品価格、商品名などの商品情報を抽出し、インデクサは、該位置と意味をインデックスする。
【００２９】
また、本発明の実施形態に係る広告サービスサーバは、広告主のオンラインショップのウェブサイトから商品情報を収集してインデックスを作成してもよいが、広告主から予め設定されたフォーマットの商品情報の提供を受けてもよい。
【００３０】
ステップ２２０において、サービスサーバは、広告主の商品画像を処理する。これは、商品名や販売カテゴリなどのテキスト情報に依存せず、商品画像が類似するか否かを基準に広告アイテムを決定するためである。
【００３１】
このように、本発明の実施形態によると、商品画像が類似するか否かを基準に広告アイテムを決定することができるが、本発明はこれに限定されるものではない。つまり、実現にあたり、商品画像はもちろん、商品名または販売カテゴリなどを単独または補助クエリとして活用してもよく、そのためにサービスサーバは、広告対象商品の画像のほかに商品名、商品カテゴリなどのテキスト情報を構造化してデータベースを作成してもよい。
【００３２】
さらに、サービスサーバは、商品画像の特徴を抽出し、検索の効率を上げるため、画像の特徴情報を構造化（ｉｎｄｅｘｉｎｇ）する。
【００３３】
より具体的に、サービスサーバは、商品画像の特徴領域を検出（Ｉｎｔｅｒｅｓｔ  Ｐｏｉｎｔ  Ｄｅｔｅｃｔｉｏｎ）する。特徴領域とは、画像同士の同一・類似可否を判断するための画像の特徴に対する記述子、すなわち、特徴記述子（Ｆｅａｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ）を抽出する主要な領域をいう。
【００３４】
本発明の実施形態によれば、これらの特徴領域は、画像に含まれている輪郭線、輪郭線の中でもコーナなどの隅部、周辺領域と区分されるブロブ（ｂｌｏｂ）、画像の変形に応じて不変または共変する領域、または周辺の輝度よりも暗いか、または明るいといった特徴がある極点であってもよく、画像のパッチ（断片）または画像全体を対象にしてもよい。
【００３５】
さらに、サービスサーバは、特徴領域から特徴記述子を抽出（Ｄｅｓｃｒｉｐｔｏｒ  Ｅｘｔｒａｃｔｉｏｎ）する。特徴記述子は、画像の特徴をベクトル値で表現したものである。
【００３６】
本発明の実施形態によると、これらの特徴記述子は、その画像に対する特徴領域の位置、または特徴領域の輝度、色、鮮明度、勾配、スケールまたはパターン情報から計算することができる。例えば、特徴記述子は、特徴領域の輝度値、輝度の変化値または分布値などをベクトルに変換して計算してもよい。
【００３７】
なお、本発明の実施形態によれば、画像の特徴記述子は、前述のように特徴領域に基づいた局所記述子（Ｌｏｃａｌ  Ｄｅｓｃｒｉｐｔｏｒ）のみならず、大域記述子（Ｇｌｏｂａｌ  ｄｅｓｃｒｉｐｔｏｒ）、頻繁記述子（Ｆｒｅｑｕｅｎｃｙ  Ｄｅｓｃｒｉｐｔｏｒ）、バイナリ記述子（Ｂｉｎａｒｙ  Ｄｅｓｃｒｉｐｔｏｒ）または神経回路網記述子（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  ｄｅｓｃｒｉｐｔｏｒ）で表現される。
【００３８】
より詳しくは、特徴記述子は、画像全体または画像を任意の基準で分割した各エリア、または各特徴領域の輝度、色、鮮明度、勾配、スケール、パターン情報などをベクトル値に変換して抽出する大域記述子（Ｇｌｏｂａｌ  ｄｅｓｃｒｉｐｔｏｒ）を含む。
【００３９】
例えば、特徴記述子は、予め区分した特定の記述子が画像に含まれている回数、従来定義された色コードのような大域特徴を含む回数などをベクトル値に変換して抽出する頻繁記述子（Ｆｒｅｑｕｅｎｃｙ  Ｄｅｓｃｒｉｐｔｏｒ）、各記述子の包含有無、または記述子を構成する各要素値の大きさが特定の値よりも大きいか小さいかをビット単位で抽出した後、これを整数型に変換して用いるバイナリ記述子（Ｂｉｎａｒｙ  ｄｅｓｃｒｉｐｔｏｒ）、神経回路網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のレイヤから学習または分類のために用いられる映像情報を抽出する神経回路網記述子（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  ｄｅｓｃｒｉｐｔｏｒ）を含む。
【００４０】
さらに、本発明の実施形態によると、商品画像から抽出した特徴情報ベクトルを低次元に変換する。例えば、人工神経回路網を介して抽出された特徴情報は、４万次元高次元ベクトル情報に該当し、検索に必要なリソースを考慮して、適正な範囲の低次元ベクトルに変換することが好ましい。
【００４１】
前記特徴情報ベクトルの変換は、ＰＣＡなどのアルゴリズムを利用してもよく、低次元ベクトルに変換された特徴情報は、その商品の画像にインデックスされてもよい。
【００４２】
さらに、本発明の実施形態に係るサービスサーバは、処理された商品説明の画像を基準にマシンラーニングの手法を適用し、その画像の意味に関するラベルを抽出する。前記ラベルは、抽象化された値で表現されてもよいが、抽象化された値を解釈してテキスト形式で表現されてもよい（ステップ２３０）。
【００４３】
より詳しくは、本発明の第１の実施形態によると、サービスサーバは、予めラベルを定義し、前記ラベルに対応する画像の特徴を学習した神経回路網モデルを構築して、商品画像中のオブジェクトを分類し、そのオブジェクトのラベルを抽出する。そのとき、サービスサーバは、各ラベルに対応する画像のパターンを学習した神経回路網モデルを介して特定のパターンと任意の確率で一致する画像に該ラベルを付ける。
【００４４】
本発明の第２の実施形態によると、サービスサーバは、各ラベルに対応する画像の特性を学習して初期神経回路網モデルを構築し、そこに大量の商品画像オブジェクトを適用して神経回路網モデルをより精巧に拡張してもよい。さらに、サービスサーバは、その商品がどのグループにも含まれていない場合は、その商品を含む新しいグループを作成してもよい。
【００４５】
前記第１の実施形態と第２の実施形態によると、サービスサーバは、レディースボトム、スカート、ワンピース、半袖、長袖、柄の形状、材質、色、抽象的な印象（清純、シーク、ヴィンテージなど）など、商品のメタ情報として活用できるラベルを予め定義し、前記ラベルに対応する画像の特徴を学習した神経回路網モデルを構築して、前記神経回路網モデルを広告主の商品画像に適用して広告対象商品画像のラベルを抽出する。
【００４６】
また、本発明の第３の実施形態によると、サービスサーバは、ラベルに対する別途の学習なしに商品画像を複数のレイヤで形成された階層構造からなる神経回路網モデルに適用する。さらに、商品画像の特徴情報に該レイヤの要求に応じて重みを付け、加工された特徴情報を用いて商品画像をクラスタ化する。
【００４７】
その場合、特徴値のどのような属性によってその画像がクラスタ化されたかを確認するために、すなわち、画像のクラスタ化結果を実際の人間が認識することのできる概念と結びつけるためには、さらなる分析が必要な場合がある。例えば、サービスサーバが画像処理によって商品を３つのグループに分類し、第１のグループの特徴に対するＡ、第２のグループの特徴に対するＢ、第３のグループの特徴に対するＣというラベルを抽出した場合、Ａ、Ｂ、Ｃが、例えば、それぞれレディーストップス、ブラウス、チェック柄を意味するということを事後的に解釈する必要がある。
【００４８】
前記第３の実施形態によると、サービスサーバは、クラスタ化された画像のグループにレディースボトム、スカート、ワンピース、半袖、長袖、柄の形状、材質、色、抽象的な印象（清純、シーク、ヴィンテージなど）などに対するラベルを付け、個々の商品画像が属する画像グループに付けられたラベルをその商品画像のラベルとして抽出する。
【００４９】
なお、本発明の実施形態に係るサービスサーバは、商品画像から抽出したラベルをテキストで表現してもよく、テキスト形式のラベルは、商品のタグ情報として活用されてもよい。
【００５０】
従来、商品のタグ情報は、売り手が主観的に直接付けるものであるので不正確であり、信頼性に劣っていた。売り手が主観的に付ける商品タグは、ノイズとして作用し、検索の効率を低下させるといった問題があった。
【００５１】
しかしながら、本発明の実施形態のように、商品画像に基づいてラベル情報を抽出し、抽出されたラベル情報をテキストに変換してその商品のタグ情報として活用すれば、人間の介入なしに、その商品の画像に基づいて商品のタグ情報を数学的に抽出することができ、タグ情報の信頼性が高くなり、検索の精度が向上するといった効果がある。
【００５２】
さらに、ステップ２４０において、サービスサーバは、商品画像の内容に基づいて、その商品のカテゴリ情報を生成する。
【００５３】
図２の例において、ステップ２３０とステップ２４０は、別個のステップとして示したが、それは説明の便宜のためであり、本発明はこれに限定して解釈されるべきではない。本発明の実施形態によると、ラベル情報とカテゴリ情報は、それぞれ生成されてもよいが、ラベル情報をカテゴリ情報として活用してもよく、カテゴリ情報をラベル情報として活用してもよい。
【００５４】
例えば、任意の商品画像に対するラベルがレディース、トップス、ブラウス、リネン、ストライプ、長袖、青、通勤服と抽出された場合には、サービスサーバは、レディース、トップス、ブラウスのラベルを当該商品のカテゴリ情報として活用し、リネン、ストライプ、長袖、青、通勤服のラベルは、カテゴリのほかの商品の特性を説明するラベル情報として活用してもよい。または、サービスサーバは、ラベルとカテゴリ情報を区別せず、該商品にインデクシングしてもよい（ステップ２６０）。
【００５５】
そのとき、商品のカテゴリ情報及び／またはラベルは、画像検索の信頼性を高めるためのパラメータとして活用されてもよい。
【００５６】
さらに、本発明の他の実施形態に係る広告プラットフォームサービスは、画像類似度を個別に計算せずに、前記ラベルに基づいて広告対象商品を特定してもよい。その場合、本発明の実施形態に係る広告プラットフォームは、前記カテゴリ情報及び／またはラベルを基準に広告主に広告費を策定してもよい。
【００５７】
従来のキーワードに基づいたオンライン広告プラットフォームの場合は、キーワードに基づいて広告費が策定されていた。例えば、眼科、レーシック、ラセックなどのキーワードに広告費を策定し、ユーザが眼科、レーシック、ラセックなどのキーワードを検索すると、そのキーワードの検索結果に広告主の広告を露出させるものである。
【００５８】
本発明の実施形態によると、画像のラベルに対して広告費を策定し、クエリでそのラベルが抽出されると、広告費を支払った広告主の商品を広告アイテムとして特定する。
【００５９】
例えば、美白機能性化粧品を販売している広告主が「顔のくすみ」のラベルを広告対象として特定した場合は、クエリで抽出されたラベルが「顔のくすみ」である場合、サービスサーバは、そのクエリに対して前記広告主の商品を広告アイテムとして特定する。
【００６０】
広告対象アイテムを決定するより具体的な説明は、添付の図３に関する説明で後述する。
【００６１】
また、本発明の実施形態に係るサービスサーバは、収集された商品説明画像をフィルタリングする（ステップ２５０）。これは、画像検索にノイズとして作用する虞がある商品画像を除いて商品画像データベースを構成するためである。
【００６２】
より具体的に、サービスサーバは、商品画像から抽出したラベルと広告主が直接与えたカテゴリ及び／またはタグ情報を比較し、商品画像をフィルタリングするか否かを決定する。
【００６３】
本発明の実施形態によると、特定の商品に関する複数の画像が存在し、そのうちの１つの画像から抽出したラベルとその商品の販売カテゴリが異なると、その画像またはその画像内の特定のオブジェクトをデータベースからフィルタリングする。
【００６４】
例えば、Ａ商品に関する第１ないし第３の商品画像が存在し、第１の商品画像からは「レディーストップス、ジャケット」、第２の商品画像からは「レディーストップス、ジャケット」及び「サングラス、ラウンド」、第３の商品画像からは「サングラス、ラウンド」というラベルが抽出された場合が挙げられる。そのとき、Ａ商品の販売カテゴリが「サングラス」であれば、サービスサーバは、第１の商品画像は除き、第２、第３の商品画像だけで商品画像のデータベースを構成する。
【００６５】
このようなフィルタリングは、画像検索のノイズを低減するためのものである。前記例において、実際にＡの商品がサングラスに関するものなのに、第１ないし第３の商品説明画像をすべて含むデータベースを構成すると、クエリ画像がジャケットである場合も、第１の商品画像と類似していると判断してサングラスに関するＡ商品が広告アイテムとして決定される虞がある。従って、検索の精度を落とし兼ねない商品画像をフィルタリングしてからデータベースを構築する。
【００６６】
再び図１の説明に戻ると、ステップ１２０において、本発明の実施形態に係る広告サービスサーバ１０は、広告領域を提供する広告媒体のウェブサイトサーバ２０から広告領域を特定するためのテンプレートを受信する。前記テンプレートを介して該ウェブサイトにおいて広告が表示される領域が特定されると、広告サービスサーバ１０は、広告領域に広告を表示するための広告ＳＤＫを設計し、ウェブサイトのサーバに転送する（ステップ１３０）。その後、ウェブサイトサーバは、前記広告ＳＤＫを己のウェブサイトに搭載する。
【００６７】
なお、図１に示されてはいないが、本発明の実施形態に係る広告サービスサーバ１０は、広告媒体のウェブサイトサーバ２０からコンテンツそのものまたはコンテンツに含まれる画像を予め設定された周期で収集してもよい。サービスサーバは、収集されたデータに含まれている画像を予め処理し、クエリに対する応答速度を向上させる。
【００６８】
図１に示された例には、前記広告プラットフォームがウェブサイトにＳＤＫの形態で動作する実施形態が含まれているが、本発明はこれに限定されるものではない。すなわち、本発明の実施形態に係る広告プラットフォームは、モバイルデバイスにインストールされているアプリケーションまたはプラグイン、アクティブＸ、広告モジュールなどの形式であってもよく、デスクトップにインストールされるソフトウェアまたはウェブブラウジングツールにインストールされる拡張機能プログラムであってもよい。
【００６９】
すなわち、本発明の実施形態に係るユーザデバイスには、広告領域に広告を表示するための広告アプリケーションがインストールされ（ステップ１２０）、前記広告アプリケーションは、ユーザデバイスに他のアプリケーションが実行されている状態で、表示された画像に関するクエリを広告サービスサーバに転送し、前記他のアプリケーションの実行画面に表示された画像と類似した商品の広告を表示する役割を果たす。
【００７０】
また、ユーザデバイス３０が、広告媒体のウェブサイトサーバ２０に接続してコンテンツにアクセスすると（ステップ１４０）、広告ＳＤＫまたは広告アプリケーションが実行される（ステップ１５０）。
【００７１】
以後、本発明の実施形態に係るユーザデバイスは、広告情報を問い合わせるためのクエリを作成してサービスサーバに転送する（ステップ１６０）。
【００７２】
例えば、ユーザデバイスは、ウェブブラウザの履歴ログを含むクエリをサービスサーバに転送する。前記記録ログには、ウェブブラウザの閲覧実行履歴、その時点で実行されたウェブページのＵＲＬ情報が含まれる。さらに、ユーザデバイスは、ウェブページのＵＲＬに含まれている画像、動画、テキストデータを抽出し、抽出したデータをクエリに転送してもよい。さらに、ＵＲＬ、テキスト、画像、または動画データを抽出することができない場合は、スクリーンショットを抽出してクエリに転送してもよい。
【００７３】
なお、図１の例では、ユーザデバイスからクエリが転送されると示されているが、本発明はこれに限定されるものではない。
【００７４】
つまり、ユーザデバイス３０のみならず、広告媒体のウェブサイトサーバ２０もまたサービスサーバ１０にクエリを転送してもよい。さらに、サービスサーバ１０が、広告媒体のウェブサイトサーバ２０からコンテンツそのものまたはコンテンツに含まれた画像を予め受信し、受信したデータに基づいてサービスサーバからクエリを特定してもよい。
【００７５】
特に、本発明の好ましい実施形態に係るユーザデバイスは、その時点で表示された画像をクエリとして転送する。例えば、ユーザデバイスは、広告媒体のウェブサイトから受信したコンテンツに含まれた画像が表示されると、表示された画像から検索可能なオブジェクトを抽出し、クエリとして転送する。
【００７６】
そのとき、ユーザデバイスは、ユーザの検索要求の受信を条件に、クエリを転送してもよい。例えば、ユーザが閲覧している画像に対する広告を問い合わせた場合には、ユーザデバイスは、検索要求のあった画像中のオブジェクトを抽出してクエリとして転送する。またはユーザデバイスは、表示された画像から検索可能なオブジェクトを予め特定し、ユーザから選択されたオブジェクトのクエリを転送してもよい。
【００７７】
そのため、ユーザデバイスは、まず表示された画像に予め設定されたカテゴリのオブジェクトが含まれているか否かを判断し、オブジェクトを特定して、そのオブジェクトに検索または結果アイコンを表示するように動作する。
【００７８】
前記実施形態によると、ファッション商品の広告のみを提供する広告プラットフォームである場合は、画像からファッションアイテムのオブジェクトのみを特定し、特定されたオブジェクトの広告のみを問い合わせるように動作してもよい。さらに、画像に複数のファッションアイテムのオブジェクトが含まれている場合は、それぞれのオブジェクトを特定し、ユーザが選択したオブジェクトの広告のみを問い合わせるように動作してもよい。
【００７９】
画像から検索対象オブジェクトを区別して検索アイコンを表示する具体的なユーザインタフェースは、添付の図４ないし図６の説明と共に後述する。
【００８０】
なお、ステップ１７０において、本発明の実施形態に係るサービスサーバは、受信したクエリに基づいて広告データベースを検索する。
【００８１】
より詳しくは、本発明の第１の実施形態によると、サービスサーバは、クエリに含まれている画像からラベルまたはカテゴリ情報を抽出し、広告データベースに含まれている商品のうち、前記ラベルまたはカテゴリ情報がマッチする商品から、クエリとの画像類似度に基づいて広告アイテムを特定する。
【００８２】
例えば、クエリに含まれている画像に花柄ワンピースがある場合は、サービスサーバは、花柄というラベル、ワンピースというカテゴリ情報をクエリから抽出する。それからサービスサーバは、広告商品データベースから花柄のラベル、ワンピースのカテゴリ情報でインデックスされた商品を確認し、該商品の画像とクエリ画像の類似度を計算して、類似した商品を広告対象アイテムとして特定する。
【００８３】
本発明の第２の実施形態によると、サービスサーバは、クエリに含まれている画像との類似度に基づいてまずは広告対象候補を選別し、クエリ画像から抽出したラベルまたはカテゴリ情報を用いて広告対象候補をフィルタリングする。それについて、より具体的な説明は、添付の図３を参照して後述する。
【００８４】
さらに、本発明の第３の実施形態によると、サービスサーバは、画像検索を行うことなく、すなわち、広告対象商品を、特定の画像類似度を基準にしないで、画像から抽出されたラベル及び／またはカテゴリ情報のみで広告対象商品を特定する。
【００８５】
このような方法は、視覚的なスタイルに敏感ではない自動車保険の広告、モバイル交通費決済サービスの広告などを提供するのに適している。
【００８６】
例えば、ユーザが閲覧しているページに、自動車のカテゴリ情報が生成され得る画像オブジェクトが含まれている場合、本発明の前記実施形態によると、自動車保険商品の広告を提供する。さらに、前記自動車のラベル情報が乗用車、トラックなどで抽出されたときは、該種類の自動車を対象とした自動車保険商品の広告を提供する。さらに、前記自動車のラベル情報がバスで抽出されたときは、モバイル交通費決済サービスの広告を提供する。
【００８７】
本発明の実施形態に従い、クエリ画像と類似した広告アイテムを決定するより具体的な方法は、添付の図３の説明と共に後述する。
【００８８】
図３は、本発明の実施形態に従い、クエリ画像に基づいて広告アイテムを決定する過程を説明するためのフローチャートである。
【００８９】
ステップ３１０において、本発明の実施形態に係る広告サービスサーバは、クエリ画像を受信し、クエリ画像に複数のオブジェクトが含まれている場合は、それぞれのオブジェクトを分割して認識する（ステップ３２０）。ユーザデバイスから受信したクエリは、検索対象オブジェクトが特定されていてもよい。
【００９０】
それからサービスサーバは、検索対象として特定された画像オブジェクトを処理する。これは、クエリ画像の内容に基づいて類似の商品を広告アイテムとして決定するためである。
【００９１】
そのため、サービスサーバは、検索対象画像オブジェクトの特徴を抽出し、検索の効率を上げるため、画像の特定の情報を構造化してもよく、より詳細な方法は、前述した商品画像を処理する方法を参考にして理解することができる。
【００９２】
さらに、本発明の実施形態に係るサービスサーバは、処理された検索対象オブジェクト画像に、図２の商品画像データベースの構築に用いられたマシンラーニングの手法を適用して、検索対象オブジェクト画像の意味に関するラベル及び／またはカテゴリ情報を抽出する。前記ラベルは、抽象化された値で表現されてもよいが、抽象化された値を解釈してテキスト形式で表現されてもよい（ステップ３３０）。
【００９３】
そのとき、検索対象画像オブジェクトのラベル及び／またはカテゴリ情報は、広告アイテムの決定のために行われる画像検索の信頼性を高めるためのパラメータとして活用される。
【００９４】
さらに、図３の例では、画像オブジェクトから抽出するラベルとカテゴリ情報を別々に示しているが、これは説明の便宜のためであり、本発明はこれに限定して解釈されるべきではない。すなわち、本発明の実施形態によると、広告サービスサーバは、検索対象画像オブジェクトからラベル情報及びカテゴリ情報をそれぞれ抽出してもよいが、ラベル情報をカテゴリ情報として活用してもよく、逆にカテゴリ情報をラベル情報として活用してもよい。
【００９５】
例えば、本発明の実施形態に係る広告サービスサーバは、クエリオブジェクト画像からレディース、ワンピース、ノースリーブ、リネン、白、カジュアルルックに対するラベルを抽出する。その場合に、サービスサーバは、レディース、ワンピースに対するラベルをクエリオブジェクト画像のカテゴリ情報として活用し、ノースリーブ、リネン、白、カジュアルルックに対するラベルは、カテゴリのほかのオブジェクト画像の特性を説明するラベル情報として活用する。
【００９６】
ステップ３４０において、本発明の実施形態に係る広告サービスサーバは、クエリオブジェクト画像の類似度に基づいて広告商品データベースを検索する。これは、クエリ画像と類似した商品を広告対象アイテムに決定するためのもので、例えば、サービスサーバは、クエリオブジェクト画像と商品画像の特徴値の類似度を計算し、類似度が予め設定された範囲内である商品を広告対象候補に決定する。さらに、本発明の実施形態に係る広告サービスサーバは、商品データベース用に構成されたマシンラーニングのための人工神経回路網モデルの複数のレイヤが要求する重みを反映してクエリ画像の特徴値を加工し、クエリ画像と一定範囲内の距離値を有する少なくとも１つ以上の広告商品グループを選定して、前記グループに属する商品を広告候補アイテムに決定してもよい。
【００９７】
また、サービスサーバは、クエリ画像とデータベース内の商品画像が内容からみて類似度の高くない場合でも、画像から抽出したラベルを用いて広告候補アイテムを決定してもよい。例えば、クエリ画像から抽出されたラベルが男、顔のくすみ、ひげである場合、本発明の実施形態に係る広告サービスサーバは、前記ラベルに対応するように予め設定されたひげ管理商品、カミソリまたはスキンケアに対するラベルをインデックスしている商品を広告候補アイテムに決定してもよい。
【００９８】
さらに、本発明の他の実施形態に係る広告プラットフォームサービスは、画像類似度を個別に計算せずに、クエリから抽出したラベルに基づいて広告対象商品を特定してもよい（ステップ３７０）。
【００９９】
例えば、花の配達サービスを提供する広告主がバレンタインデー、花などに対するラベルを広告対象に特定し、クエリから抽出されたラベルがバレンタインデーまたは花である場合、サービスサーバは、そのクエリと類似した商品画像をデータベースから検索することなく、前記広告主の花の配達サービスを広告アイテムとして特定する。
【０１００】
なお、本発明の好ましい実施形態によると、広告サービスサーバは、クエリ画像の類似度に基づいて商品データベースを検索して広告対象候補を決定し、そのときの画像検索の精度を高めるために、画像から抽出したラベル、カテゴリ情報を利用する（ステップ３５０ないしステップ３６０）。
【０１０１】
例えば、広告サービスサーバは、クエリ画像とデータベース画像の特徴値の類似度を計算し、予め設定された範囲の類似度以上である商品のうち、ラベル及び／またはカテゴリ情報がクエリ画像のラベル及び／またはカテゴリ情報とマッチしない商品は除く方法で広告アイテムを決定する（ステップ３７０）。
【０１０２】
別の例として、広告サービスサーバは、クエリ画像のラベル及び／またはカテゴリ情報とマッチするラベル及び／またはカテゴリ情報を有する商品に限って類似度を計算してもよい。
【０１０３】
例えば、クエリ画像から検索対象に特定されたオブジェクトのカテゴリ情報がレディーストップス、ブラウスに抽出された場合には、広告サービスサーバは、商品データベースからレディーストップスを上位カテゴリ情報として有する商品グループに限って検索対象オブジェクト画像との類似度を計算する。
【０１０４】
さらに、広告サービスサーバは、そのグループからクエリの類似度が予め設定された範囲以上である商品を広告候補アイテムにし、下位カテゴリ情報がブラウスでない商品を広告候補アイテムから除外してもよい。つまり、下位カテゴリ情報がブラウスにインデックスされた商品を広告アイテムに選定する。
【０１０５】
別の例として、クエリ画像から検索対象に特定されたオブジェクトのカテゴリ情報がレディーストップス、ブラウスであり、ラベルが長袖、レース、カラーネックに抽出された場合には、広告サービスサーバは、商品データベースからレディーストップス、ブラウスをカテゴリ情報として有する商品グループに限って検索対象オブジェクト画像との類似度を計算する。
【０１０６】
さらに、広告サービスサーバは、商品データベースのレディーストップス、ブラウスのグループに属する商品のうち、検索対象オブジェクト画像との画像類似度が予め設定された範囲以上である商品を広告候補アイテムに決定する。それから、前記広告候補アイテムのラベル情報と検索対象オブジェクト画像のラベル情報を比較し、任意の数以上一致しない商品を広告候補アイテムから除外する。
【０１０７】
つまり、広告サービスサーバは、レディーストップス、ブラウスのグループに属する商品のうち、検索対象オブジェクト画像との画像類似度が予め設定された範囲を超える商品を広告候補アイテムとみなし、広告候補アイテムのラベル情報が長袖、レース、カラーネックである商品を広告アイテムに決定する。
【０１０８】
再び図１の説明に戻ると、図１のステップ１７０において、検索対象オブジェクト画像との類似度に基づいて広告対象アイテムが決定されると、広告サービスサーバは、クエリに対する応答として、広告対象アイテムに関する情報をユーザデバイスに転送する（ステップ１９０）。
【０１０９】
以後、本発明の実施形態に係るユーザデバイスは、予め特定された広告領域に広告を表示する（ステップ１９５）。本発明の実施形態に従い、広告を表示するより具体的な例は、添付の図４ないし図６を参照して後述する。
【０１１０】
図４は、本発明の実施形態に係るユーザデバイスに広告を表示する方法を説明するためのフローチャートである。
【０１１１】
図４は、本発明の実施形態に係る広告アプリケーションがウェブブラウザアプリケーションと連動して広告を表示する機能を果たすプロセスを例示しているが、本発明はこれに限定されるものではない。本発明の実施形態に係る広告アプリケーションは、ウェブブラウザなどの他のアプリケーションベースで動作してもよいが、独立して起動されてもよい。
【０１１２】
ステップ４１０で、本発明の実施形態に係るユーザデバイスは、広告媒体のウェブサイトにアクセスして、ウェブサイトから提供されたコンテンツを表示する。
【０１１３】
そのとき、ユーザデバイスに表示されるコンテンツに画像が含まれている場合、本発明の実施形態に係るユーザデバイスは、表示された画像から検索対象画像オブジェクトを特定し、特定されたオブジェクトを、ユーザ入力を受信することのできる状態で表現する（ステップ４２０）。なお、サービスサーバ１０の制御により、広告媒体のウェブサイトサーバ２０から検索対象画像オブジェクトを特定してユーザデバイスの表示を変更したり、または広告媒体のウェブサイトサーバ２０において、広告ＳＤＫが前記検索対象画像オブジェクトを特定するように動作する。
【０１１４】
例えば、本発明の実施形態に係る広告プラットフォームがファッション商品の広告を提供する場合、本発明の実施形態に係る広告アプリケーションは、ユーザデバイスに表示された画像から、服、眼鏡、バッグなどのファッションアイテムを少なくとも１つ以上特定し、全体画像からそれぞれのオブジェクトを区別して表示する。または、その画像にトップス、ボトムス、眼鏡、バッグがすべて含まれている場合でも、オブジェクトの形状、大きさなどを考慮して、その画像から検索可能なトップス、バッグのみを区別して表示してもよい。
【０１１５】
ユーザデバイスに表示された画像から検索対象画像オブジェクトを特定するユーザインタフェースの具体的な例は、添付の図５及び６を参照して後述する。
【０１１６】
それから、ユーザデバイスは、特定された画像オブジェクトに対するユーザの検索要求を受信すると、クエリを転送する（ステップ４３０）。前記例において、ユーザがバッグを選択した場合、ユーザデバイスは、そのバッグと類似したアイテムに関する広告を問い合わせるクエリを転送するはずである。そのとき、ユーザデバイスは、表示された画像と共にクエリを転送する。
【０１１７】
さらに、ユーザデバイスは、ユーザの選択入力を受信すると、つまり、ユーザが広告を要求すると、予め特定された広告領域を有効にする。広告領域が有効になるということは、ユーザデバイスに表示されたページの一部領域が、広告の表示ができるように切り替わるという意味である。
【０１１８】
本発明の実施形態に係る広告領域は、事前に表示されたコンテンツと同じレイヤ上で有効になることが好ましいが、本発明はこれに限定されるものではない。すなわち、前記広告領域は、前記コンテンツの上位レイヤとして重ねて表示されたり、前記コンテンツとは別途のページを立ち上げて表示されてもよい。
【０１１９】
それから、ユーザデバイスは、有効になって広告領域に広告を表示する。図４の例では、ステップ４４０とステップ４５０を別個のステップに区別しているが、これは説明の便宜のためであり、本発明はこれに限定されるものではない。すなわち、本発明の実施形態に係るユーザデバイスは、ユーザの広告要求を受信すると、予め設定された広告領域にサービスサーバから受信した広告情報を表示する。
【０１２０】
本発明の好ましい実施形態によると、前記広告は、複数の広告アイテムに対する画像と共に検索対象であるオブジェクト画像を含んで構成される（ステップ４５０）。そのとき、広告領域は、限られた領域に複数の広告アイテム画像を含ませるために、ユーザのスクロールジェスチャーに応じて広告アイテムの画像をスクロールして表示してもよい。
【０１２１】
さらに、ユーザが１つの広告アイテムを選択すると、ユーザデバイスは、選択された広告アイテムの詳細ページを表示する（ステップ４７０）。しかしながら、ユーザが元に戻すことを要求すると、広告領域の状態を有効から無効状態に切り替える。つまり、広告を表示するための広告領域を除去することができる（ステップ４６０）。
【０１２２】
図５は、本発明の実施形態に従い、広告領域を表示するユーザインタフェースの例を示す図である。
【０１２３】
例えば、図５Ａのようなコンテンツがユーザデバイスに表示された場合、本発明の実施形態に係る広告アプリケーションは、コンテンツに含まれている画像５１０から検索可能なオブジェクト５２０を特定し、５２０を、ユーザ入力を受信することができるアイコンで区別して表示する。
【０１２４】
そのとき、ユーザが５２０を選択すると、図５Ｂのように、画像５１０に該当する領域を広告領域５３０として有効にしつつ、広告を問い合わせるクエリを画像５１０及び／または画像オブジェクト５２０と共に転送する。
【０１２５】
さらに、本発明の実施形態に係るユーザデバイスは、図５Ｃのように、画像オブジェクト５２０と類似した広告アイテム５５０，５６０，５７０をクエリ画像５４０と共に広告領域５３０に表示する。
【０１２６】
さらに、本発明の他の実施形態によると、５１０に対するユーザ入力がなくても、ユーザデバイスがクエリを転送し、広告領域５３０を有効にしてもよい。つまり、ユーザの明示的な検索要求がなくても、表示される画像に基づいてクエリが転送され、広告領域が有効になってもよい。そのとき、ユーザが広告領域に対してスクロールジェスチャーを入力すると、広告領域以外の他の領域は固定された状態で、広告領域内の広告アイテムの画像のみがスクロールされて表示される。
【０１２７】
図６は、本発明の実施形態に従い、広告領域を表示するユーザインタフェースの他の例を示す図である。
【０１２８】
本発明の実施形態によると、図６Ａのようなコンテンツがユーザデバイスに表示された場合、広告アプリケーションは、コンテンツに含まれている画像６１０から検索可能なオブジェクト６２０を特定し、６２０を、ユーザ入力を受信することができるアイコンで区別して表示する。
【０１２９】
そのとき、ユーザが６２０を選択すると、図６Ｂに示すように、画像６１０の下部の領域を広告領域６３０として有効にする。そのとき、広告領域は、画像６１０と同じサイズであってもよく、ユーザデバイスの広告領域がページの上部に表示されるようにページ全体をスクロールしてもよい。
【０１３０】
さらに、本発明の他の実施形態によると、６２０に対するユーザ入力がなくても、ユーザデバイスが６２０に対するクエリを転送し、広告領域６３０を有効にしてもよい。つまり、ユーザの明示的な検索要求がなくても、表示された画像に基づいてクエリが転送され、広告領域が有効になってもよい。
【０１３１】
そのとき、ユーザが元に戻すアイコン６４０を選択すると、広告領域６３０は無効状態に切り替わってページから消える。さらに、ユーザが広告領域に含まれている任意の広告アイテムを選択すると、商品の詳細説明ページが生成される。
【０１３２】
本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定の例を提示したものに過ぎず、本発明の範囲を限定する意図ではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づいた他の変形例が実施可能であることは、本発明の属する技術の分野における通常の知識を有する者であれば自明である。
【０１３３】
（付記）
（付記１）
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像に検索可能なオブジェクトが存在する場合、前記検索可能なオブジェクトを特定して表示するステップと、
特定されたオブジェクトに対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【０１３４】
（付記２）
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像に対するユーザの検索要求を受信すると、前記オブジェクトが含まれた画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【０１３５】
（付記３）
ユーザデバイスに画像に基づいてカスタマイズされた広告を表示する方法であって、
表示されたページに含まれている画像クエリをサービスサーバに転送し、予め設定された広告領域を有効にするステップと、
前記サービスサーバから少なくとも１つ以上の広告情報を受信すると、前記広告情報に含まれている広告画像を前記広告領域に表示するステップと、
を含むことを特徴とする、広告を表示する方法。
【０１３６】
（付記４）
前記広告領域に対するユーザのスクロールジェスチャーを受信すると、前記広告領域以外の領域は変更せずに、前記スクロールジェスチャーに応じて、前記広告領域内で前記広告画像をスクロールして表示するステップを含むことを特徴とする、付記１ないし３のいずれか一つに記載の広告を表示する方法。
【０１３７】
（付記５）
前記広告領域は、前記検索可能なオブジェクトが存在する画像の表示領域であることを特徴とする、付記４に記載の広告を表示する方法。
【０１３８】
（付記６）
前記広告領域は、前記検索可能なオブジェクトが存在する画像と同じサイズであり、前記オブジェクトが存在する画像の表示領域の下部に位置し、
前記広告領域を有効にするステップは、
前記広告領域が前記表示されたページの上部に位置するように、前記ページをスクロールして表示するステップを含むことを特徴とする、付記５に記載の広告を表示する方法。
【０１３９】
（付記７）
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供する広告媒体のウェブサイトサーバと、
前記広告媒体のウェブサイトサーバに接続し、前記コンテンツを表示して、前記コンテンツに含まれている画像を含むクエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記コンテンツに含まれた前記広告領域に前記広告アイテムに関する広告を表示するユーザデバイスと、
を含むことを特徴とする、広告プラットフォームシステム。
【０１４０】
（付記８）
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供し、前記コンテンツに含まれている画像を含む前記クエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記コンテンツに含まれた前記広告領域に前記広告アイテムに関する広告を含ませ、前記ユーザデバイスに提供する広告媒体のウェブサイトサーバと、
を含むことを特徴とする、広告プラットフォームシステム。
【０１４１】
（付記９）
画像に基づいてカスタマイズされた広告を提供する広告プラットフォームシステムであって、
広告主の広告対象商品に関するデータベースを作成し、広告を問い合わせるクエリを受信すると、前記データベースを検索して広告アイテムを特定する広告サービスサーバと、
広告領域を含むコンテンツをユーザデバイスに提供する広告媒体のウェブサイトサーバと、
前記広告媒体のウェブサイトサーバに接続し、前記コンテンツに含まれている画像を含む前記クエリを前記広告サービスサーバに提供し、前記広告サービスサーバから前記広告アイテムに関する情報を受信すると、前記広告領域に前記広告アイテムに関する情報を挿入して前記ウェブサイトサーバに転送する広告代行サービスサーバと、
を含むことを特徴とする、広告プラットフォームシステム。
【０１４２】
（付記１０）
サービスサーバにおいて、画像に基づいてカスタマイズされた広告を提供する方法であって、
広告対象商品情報に含まれている商品画像と、前記広告対象商品情報とのうちの少なくとも１つに基づいて、前記商品の特徴を説明するラベル情報及び前記商品のカテゴリ情報のうちの少なくとも１つ以上を生成し、前記ラベル情報及び前記カテゴリ情報のうちの少なくとも１つ以上を前記商品画像にインデクシングしてデータベースを作成するステップＡと、
ユーザデバイスに表示された画像に関するクエリを受信すると、検索対象画像を特定し、特定された検索対象画像の特徴を説明するラベル情報及びカテゴリ情報を生成するステップＢと、
前記データベースにおいて、前記検索対象画像と予め設定された範囲の類似度を有する候補画像を検索し、前記候補画像を前記検索対象画像のカテゴリ情報及びラベル情報のうちの少なくとも１つ以上を用いてフィルタリングし、広告アイテムを決定するステップＣと、
前記広告アイテムに関する情報を前記ユーザデバイスに提供するステップＤと、
を含むことを特徴とする、広告を提供する方法。
【０１４３】
（付記１１）
前記ステップＣは、
前記データベースにおいて、前記検索対象画像の上位カテゴリ情報が含まれたカテゴリ情報を有する画像のうち、前記検索対象画像と予め設定された類似度を有する候補画像を検索するステップと、
前記候補画像のカテゴリ情報が前記検索対象画像の下位カテゴリ情報を含まない場合は、その候補画像をフィルタリングするステップと、
を含むことを特徴とする、付記１０に記載の広告を提供する方法。
【０１４４】
（付記１２）
前記ステップＣは、
前記データベースにおいて、前記検索対象画像のカテゴリ情報と一致するカテゴリ情報を有する画像のうち、前記検索対象画像と予め設定された類似度を有する候補画像を検索するステップと、
前記候補画像のラベル情報と前記検索対象画像のラベル情報の類似度を確認し、前記類似度が予め設定された範囲以下である候補画像をフィルタリングするステップと、
を含むことを特徴とする、付記１１に記載の広告を提供する方法。
【０１４５】
（付記１３）
サービスサーバにおいて、画像に基づいてカスタマイズされた広告を提供する方法であって、
広告対象商品情報に含まれている商品画像と、前記広告対象商品情報とのうちの少なくとも１つに基づいて、前記商品の特徴を説明するラベル情報を生成し、前記商品画像に前記ラベル情報をインデクシングしてデータベースを作成するステップＡと、
ユーザデバイスに表示された画像に関するクエリを受信すると、検索対象画像を特定し、特定された検索対象画像の特徴を説明するクエリのラベル情報を生成するステップＢと、
前記データベースにおいて、前記クエリのラベル情報に基づいて広告アイテムを決定するステップＣと、
前記広告アイテムに関する情報を前記ユーザデバイスに提供するステップＤと、
を含むことを特徴とする、広告を提供する方法。
【図１】
2020522820.tif 000003
【図２】
2020522820.tif 000004
【図３】
2020522820.tif 000005
【図４】
2020522820.tif 000006
【図５】
2020522820.tif 000007
【図６】
2020522820.tif 000008
【国際調査報告】
2020522820.tif 000009
2020522820.tif 000010
2020522820.tif 000011
2020522820.tif 000012