(57)【要約】  本発明は放送における映像認識を通じたリアルタイムショッピング方法及びこれを具現するアプリケーションが設けられたスマート機器に関し、放送がされている映像でモデルの身装品や周辺物品を標準となるサンプルイメージ保存部のサンプルイメージと比較してパターン認識技法で抽出するか、または前記映像でモデルの身装品や周辺物品を物体認識技法の特徴ベクトル技術で抽出するイメージ抽出段階と、抽出されたイメージを前記映像の一方面に表示するイメージ表示段階と、表示されたイメージの中から視聴者によって所望するイメージが選択されると、選択されたイメージを基にショッピングモール会社のＤＢが検索されるショッピングモールサーバ検索段階と、検索された結果が前記映像の一方面に表示される検索リスト表示段階と、を含む。【選択図】図１
2019537400.tif 000002
【特許請求の範囲】
【請求項１】
放送がされている映像でモデルの身装品や周辺物品を標準となるサンプルイメージ保存部のサンプルイメージと比較してパターン認識技法で抽出するか、または前記映像でモデルの身装品や周辺物品を物体認識技法の特徴ベクトル技術で抽出するイメージ抽出段階と、
抽出されたイメージを前記映像の一方面に表示するイメージ表示段階と、
表示されたイメージの中から視聴者によって所望するイメージが選択されると、選択されたイメージを基にショッピングモール会社のＤＢが検索されるショッピングモールサーバ検索段階と、
検索された結果が前記映像の一方面に表示される検索リスト表示段階と、
を含んでなることを特徴とする放送における映像認識を通じたリアルタイムショッピング方法。
【請求項２】
前記モデルの身装品または周辺物品の中から関心分野を指定し、前記イメージ抽出段階で指定された関心分野のイメージのみ抽出されるようにする関心分野設定段階を含む、ことを特徴とする請求項１に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項３】
前記イメージ抽出段階で抽出されたイメージに対して映像分析を遂行してパターン、形態、文字、またはロゴのうち少なくとも一つを見つけ出すイメージ分析段階を含み、
前記ショッピングモールサーバ検索段階で前記パターン、形態、文字、またはロゴのうち少なくとも一つを利用して、前記抽出されたイメージと同一製品を検索する、ことを特徴とする請求項１に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項４】
前記イメージ抽出段階は、前記映像の一方に用意された映像認識ボタンがクリックされると作動し、
前記検索リスト表示段階で製品が選択されると、当該製品を販売するショッピングモールサーバの詳細ページが見えるようにする詳細ページ表示段階を含む、ことを特徴とする請求項１に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項５】
前記ショッピングモールサーバ検索段階で前記ショッピングモール会社のＤＢで検索されなければポータルサイトのＤＢを検索し、前記検索リスト表示段階で前記ポータルサイトのＤＢを検索した結果を表示する、ことを特徴とする請求項１に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項６】
前記検索リスト表示段階は前記検索されたイメージとともにアクセサリボタンが表示されて、前記アクセサリボタンがクリックされると前記検索されたイメージと関連するアクセサリ情報が表示される、ことを特徴とする請求項１に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項７】
前記詳細ページ表示段階は前記詳細ページとともに、ポータルサイトで検索された当該製品の関連情報を提供する、ことを特徴とする請求項４に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項８】
前記詳細ページ表示段階は前記詳細ページとともに、前記映像をディスプレイするスマート機器が提供する位置情報を基に把握された、近傍の当該製品に対する販売売場情報を提供する、ことを特徴とする請求項４に記載の放送における映像認識を通じたリアルタイムショッピング方法。
【請求項９】
請求項１ないし８のいずれかに一項に記載の放送における映像認識を通じたリアルタイムショッピング方法が具現されるアプリケーションが設けられたスマート機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は放送における映像認識を通じたリアルタイムショッピング方法及びこれを具現するアプリケーションが設けられたスマート機器に関し、より詳細には、スマート機器でディスプレイされる個人放送でモデルの身装品または周辺物品を自動で抽出し、視聴者が抽出されたイメージを選択すると、これを販売するショッピングモールサーバを検索して最安値のショッピングが可能になるようにした、放送における映像認識を通じたリアルタイムショッピング方法及びこれを具現するアプリケーションが設けられたスマート機器に関する。
【背景技術】
【０００２】
一般的に、放送画面を見ながらリアルタイムで買い物することができる技術は数多く提案されている。特に、ホームショッピングの場合、映像を見ながらショッピングモール会社に電話をかけて注文する方式である。
【０００３】
従来、韓国特許第１４８６５４５号は、スマートＴＶのようなアプリケーションが設けられたＴＶで出力されている放送映像をキャプチャし、キャプチャした映像に対してＱＲコード（登録商標）が含まれているか否かを分析し、ＱＲコードが含まれている場合、ＱＲコードをスキャン処理し、また放送映像で検索ウィンドウの文字をスキャンするかまたは顔をスキャンしてキャプチャされた製品の情報及び人物情報を視聴者に知らせるＴＶアプリケーションを利用した放送映像検索装置、方法及びコンピュータで判読可能な記録媒体を提案している。
【０００４】
従来、韓国特許第１４３６４１３号は、ＳＴＢ−ＴＶ、スマートフォン、携帯電話、タブレットＰＣ、ＰＤＡなどのスマート機器で放送ストリームで提供する情報（広告、芸能人情報、ドラマ内の自動車、家具、芸能人が着ている服など）を知りたい時にリモコン、タッチ、音声認識、文字入力、ＱＲコードを認識する知能型ショッピングエージェントを具備するスマート機器を利用して放送ストリームと連動したオブジェクトの製品イメージのＱＲコードを認識して製品情報を知ることができ、ＴＶ放送ストリームを見ながら衣類の場合、３Ｄモデリングしてみた後にショッピングモールサーバに接続してＴ−ＣｏｍｍｅｒｃｅまたはＭ−Ｃｏｍｍｅｒｃｅを通じて放送ストリームと連動したオブジェクトの製品と関連したＱＲコードイメージと関連する製品情報を照会してリターンパスサーバ（Ｒｅｔｕｒｎ  Ｐａｔｈ  Ｓｅｒｖｅｒ）を通じてインタラクティブに両方向ショッピング情報を提供して、商品注文、購買、決済する機能を提供する、スマート機器を利用したインタラクティブショッピング及び購買システム及び方法を提案している。
【０００５】
しかし、従来特許は映像に表示されたＱＲコード、検索ウィンドウの文字または人物をキャプチャして製品や人物の情報を獲得する方式なので、映像にＱＲコード、検索ウィンドウの文字が含まれなければならず、視聴するのに不便であるなどの短所があった。
【０００６】
従来、韓国公開特許第２００８−００９８４５６号は、広告人が所持した品物に付着された無線自動認識媒体を無線自動認識装置で感知、判読した後に判読されたデータを収集、精製、分析してこれを情報化して、該情報を被広告人が関心を持つであろうと予想される商品やサービスの広告コンテンツを選別、導出して被広告人により適時的かつ意味のある情報をオーダメイド形態として、画面または出力装置を通じて提供する広告掲載代行サービスを提案している。
【０００７】
しかし、広告人の所持した品物にＲＦＩＤ（登録商標）（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｒｕｂｅｅ、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（登録商標）（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）などの無線自動認識装置を付着しなければならないので実効性が劣った。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、以上のような従来の問題点を鑑みて開発したものであって、本発明は映像で見える事物にＱＲコードまたはＲＦＩＤのようなセンサを付着しない状態で、物体認識技法、映像認識技術またはパターン認識（Ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ）技法を利用してモデルの身装品または周辺物品を自動で抽出して映像に表示する一方、抽出された物品のうち視聴者によって選択された物品に対してこれを販売するショッピングモールサーバで最安値でショッピングが可能になるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
このために本発明の一実施例は、放送がされている映像でモデルの身装品や周辺物品を標準となるサンプルイメージ保存部のサンプルイメージと比較してパターン認識技法で抽出するか、または前記映像でモデルの身装品や周辺物品を物体認識技法の特徴ベクトル技術で抽出するイメージ抽出段階と、抽出されたイメージを前記映像の一方面に表示するイメージ表示段階と、表示されたイメージの中から視聴者によって所望するイメージが選択されると、選択されたイメージを基にショッピングモール会社のＤＢが検索されるショッピングモールサーバ検索段階と、検索された結果が前記映像の一方面に表示される検索リスト表示段階と、を含んでなり得る。
【００１０】
ここで、前記モデルの身装品または周辺物品の中から関心分野を指定し、前記イメージ抽出段階で指定された関心分野のイメージのみ抽出されるようにする関心分野設定段階を含み得る。
【００１１】
また、前記イメージ抽出段階で抽出されたイメージに対して映像分析を遂行してパターン、形態、文字、またはロゴのうち少なくとも一つを見つけ出すイメージ分析段階を含み、前記ショッピングモールサーバ検索段階で前記パターン、形態、文字、またはロゴのうち少なくとも一つを利用して、前記抽出されたイメージと同一製品を検索し得る。
【００１２】
一方、前記イメージ抽出段階は前記映像の一方に用意された映像認識ボタンがクリックされると作動し、前記検索リスト表示段階で製品が選択されると、当該製品を販売するショッピングモールサーバの詳細ページが見えるようにする詳細ページ表示段階を含み得る。
【００１３】
また、前記ショッピングモールサーバ検索段階で前記ショッピングモール会社のＤＢで検索されなければポータルサイトのＤＢを検索し、前記検索リスト表示段階で前記ポータルサイトのＤＢを検索した結果を表示するようにし得る。
【００１４】
また、前記検索リスト表示段階は前記検索されたイメージとともにアクセサリボタンが表示されて、前記アクセサリボタンがクリックされると前記検索されたイメージと関連するアクセサリ情報が表示されるようにし得る。
【００１５】
一方、前記詳細ページ表示段階は前記詳細ページとともに、ポータルサイトで検索された当該製品の関連情報を提供し得る。
【００１６】
また、前記詳細ページ表示段階は前記詳細ページとともに、前記映像をディスプレイするスマート機器が提供する位置情報を基に把握された、近傍の当該製品に対する販売売場情報を提供し得る。
【００１７】
本発明の他の実施例は放送における映像認識を通じたリアルタイムショッピング方法が具現されるアプリケーションが設けられたスマート機器を提供し得る。
【発明の効果】
【００１８】
本発明によれば個人放送に出演するモデルの身装品または背景に出る物品が画面の一方にリアルタイムで抽出されて表示されるので、視聴者は関心がある物品を容易に選択することができる。
【００１９】
また、抽出されて表示された物品の中から視聴者によって選択された物品は、これを販売するショッピングモール会社またはポータルサイトにおける当該物品に対する価格などの情報が迅速に検索されて画面に表示されるので、視聴者は関心がある物品を最安値順にリアルタイムで買い物することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の一実施例にかかるスマート機器の表示部を段階的に示した概念図である。
【図２】図２は、本発明の一実施例にかかるショッピング方法を具現する全体システム構成図である。
【図３】図３は、本発明の一実施例にかかるショッピング方法を具現するフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施のための具体的な実施例を添付の図面を参照して説明する。
【００２２】
本発明を説明するにおいて、第１、第２などの用語は多様な構成要素を説明するのに使用され得るが、構成要素は用語によって限定されないこともある。用語は一つの構成要素を他の構成要素から区別する目的でのみなる。例えば、本発明の権利範囲を逸脱せずに第１構成要素は第２構成要素と命名され得て、同様に第２構成要素も第１構成要素と命名され得る。
【００２３】
ある構成要素が他の構成要素に連結されているか接続されていると言及される場合は、その他の構成要素に直接的に連結されているかまたは接続されている場合もあるが、中間に他の構成要素が存在する場合もあると理解され得る。
【００２４】
本明細書で使用した用語は単に特定の実施例を説明するために使用されたものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含み得る。
【００２５】
本明細書で、含むまたは具備するなどの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解され得る。
【００２６】
また、図面における要素の形状及び大きさなどはより明確な説明のために誇張されることがある。
【００２７】
以下、図１ないし図３を参照して本発明について詳細に説明する。図１は本発明の一実施例にかかるスマート機器の表示部を段階的に示した概念図であり、図２は本発明の一実施例にかかるショッピング方法を具現する全体システム構成図である。また、図３は本発明の一実施例にかかるショッピング方法を具現するフローチャートである。
【００２８】
図１ないし図３に示した本発明の一実施例はインターネットを通じた個人放送に適用するためのものであって、個人放送を管理する場所をマルチチャンネルネットワーク（ＭＣＮ：Ｍｕｌｔｉ  Ｃｈａｎｎｅｌ  Ｎｅｔｗｏｒｋ）と呼ぶ。ＭＣＮはユーチューブ（登録商標）生態系で誕生し、ユーチューブで人気が高まり収益を上げるチャンネルが数多く出るや否や、これらをまとめて管理してくれる場所ができたことに始まる。いくつかのユーチューブチャンネルが提携して構成したＭＣＮは一般的に製品、番組企画、決済、クロスプロモーション、パートナ管理、デジタル著作権管理、収益創出販売及び潜在顧客の開発などの領域をコンテンツ制作者に支援する役割を担っている。
【００２９】
個人放送は収益モデルが大部分広告協賛からなるが、映像の下端にバナー広告などが活用される。しかし、かかるバナー広告は放送画面に出てくるモデルまたは周辺の周辺物品と無関係に行なわれると視聴者の興味を誘発し難く、また直接購買に至らないため広告効果が劣る短所があった。
【００３０】
本発明は映像に登場するモデルの身装品または周辺物品を直接選択してインターネットショッピングを行なえるようにし、その収益は個人放送業者とショッピングモール運営会社で分配する方式を具現した。映像を見る視聴者はモデルの身装品または周辺物品に関心を持つので、購買欲求を充たすのに効果的である。
【００３１】
このために本発明の一実施例ではパターン認識技法が利用される。しかし、これに局限されず映像に現れるモデルの身装品または周辺物品のイメージが物体認識技法または映像認識技術を通じて自動で抽出される方式も可能である。
【００３２】
例えば、米国特許ＵＳ８，７９２，７３２はユーチューブまたは検索サイトに上がってきた多様な映像から視聴者が所望する物体を自動で検索して見つけてくれる技術である。前記米国特許の物体認識システムはビデオ及びスチールイメージのような視覚的コンテンツ項目に対する次元減少及び一貫性学習のラウンドを遂行して特定のオブジェクト名で表現された視覚的オブジェクトの存在を正確に予測する一連の特徴ベクトルを生成する技術である。
【００３３】
本発明の一実施例によれば、本発明は本発明のショッピング方法が具現されるアプリケーションをアップルのアップルストアまたはグーグルのプレイストアなどにダウンロードが可能になるように配布して維持するための放送サーバ２００と、前記放送サーバ２００に自社の物品目録をＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｇｒａｍｍｉｎｇ  ｉｎｔｅｒｆａｃｅ）方式で登録して検索及び販売要請がある時にこれに応じる多数のショッピングモールサーバ３００またはポータルサイト４００と、そして前記アプリケーションをアップルストアまたはプレイストアなどでダウンロードし得て、放送を視聴する中間にこれを実行し得る視聴者のスマート機器１００からなり得る。ここで、スマート機器１００はスマートフォン、携帯電話、タブレットＰＣ、ＰＤＡ、ラップトップ、ノートパソコンなどを含み得る。
【００３４】
前記アプリケーションにはパターン認識技法または物体認識技法が内蔵される。前記パターン認識（Ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ）はイメージ処理技術（Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）の一分野であって、入力される動画またはイメージデータを変換、加工してこれを通じて別途の多様な２次的な分野に適用するコンピュータグラフィック技法である。パターン認識のためには事前に情報（イメージ）を記憶させておき、入力情報（入力イメージ）と対照してその特徴を分析することで該入力情報と事前に記憶させた情報を識別する技術である。
【００３５】
かかるイメージ処理技術は既に作られた動画データファイルやイメージファイルを使用する方法以外にもカメラのような別途の入力装置を通じてリアルタイムで入力される映像データに適用する場合もある。最近には警戒及び防犯を目的としたＤＶＲ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒ）装置における侵入探知機能、道路上での速度超過及び特定地域の違法駐停車時に当該車両のナンバープレート部分を認識してナンバープレート内から車両番号を抽出してくれる交通取締システムなどのような領域にも数多く使用されている。また、最近にはｉＰｈｏｎｅ（登録商標）、アンドロイド（登録商標）携帯などのようなスマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、タブレットＰＣ、ＰＤＡなどのスマート機器の発達によって人と事物のイメージパターンを分析して別途の情報データを混合する拡張現実技法を利用した情報提供サービスのような分野に応用されて脚光を浴びている。
【００３６】
上記パターン認識技法を具現するために、前記アプリケーションは事物の標準イメージ（製品写真または輪郭線のみ表示した絵）が保存されたサンプルイメージ保存部１０３を有する。前記サンプルイメージ保存部１０３はモデルの身装品（衣類、帽子、眼鏡、時計、かばん、靴など）または背景に現れる物品（実生活製品である家具類、家電製品類、厨房用品類など）の簡略なイメージが記録される。
【００３７】
そして、サンプルイメージの中から関心がある分野を指定し得る関心分野設定部１０４と、指定されたサンプルイメージと対応されるイメージを映像で対照してパターン認識技法で抽出するかまたは物体認識技法の特徴ベクトル技術で抽出するイメージ抽出部１０５と、抽出されたイメージからパターン、形態、ロゴまたは文字などを見つけ出すイメージ分析部１０６から構成される。前記イメージ抽出部１０５は映像を写真のようにキャプチャし、キャプチャされた停止映像からサンプルイメージと対応される物体をパターン認識技法で比較抽出する。
【００３８】
一方、前記イメージ抽出部１０５は前記物体認識技法の特徴ベクトル技術を利用して映像に現れたすべての物体を直接抽出する場合もあり、または前記物体認識技法の特徴ベクトル技術を利用して関心分野設定部１０４で指定した物品と対応される物体のみ選別して映像から直接抽出する場合もある。
【００３９】
好ましくは、キャプチャイメージからサンプルイメージと対応される事物を抽出することがアプリケーションを簡素化させることができるため有利である。
【００４０】
イメージ分析部１０６は抽出されたイメージに対して映像分析（ｉｍａｇｅ  ａｎａｌｙｓｉｓ）を遂行してイメージに含まれたパターン、形態、文字及びロゴなどを分析する。
【００４１】
一方、前記アプリケーションはユーザのスマート機器１００に具備された画面１０２で放送が進行中である映像表示部１０８の一方にタッチし得る矩形の映像認識ボタン１１３を表示し得る。
【００４２】
また、前記映像表示部１０８と別途で、チャットウィンドウ表示部１０９、イメージ表示部１１０、リスト表示部１１１及び詳細ページ表示部１１２が画面１０２の一方に順次に現れるように制御部１０１によってフロー制御される。
【００４３】
前記チャットウィンドウ表示部１０９は映像表示部１０８の下端に１列または２列程度の文字列が記録されるようにして、前記イメージ表示部１１０は前記イメージ抽出部１０５から抽出された事物（身装品または周辺物品）のイメージが種類別に表示されるように映像表示部１０８の下端に見えるようにする。この時、前記イメージ表示部１１０が画面１０２に見える間チャットウィンドウ表示部１０９は隠れるようにし得る。
【００４４】
前記リスト表示部１１１は前記イメージ分析部１０６を通じて最適化されたイメージが前記ショッピングモールサーバ３００で検索されると、これらのショッピングモールサーバ３００が最安値順に画面１０２に表示されるようにし得る。この時、映像表示部１０８は小さな画面で見え続けるかまたは消える場合がある。
【００４５】
また、前記リスト表示部１１１の下端にはアクセサリボタン１１１ａが具備され得る。前記アクセサリボタン１１１ａを押すと検索された身装品または周辺物品と合うアクセサリ（帽子、ネックレス、靴、ベルト及びスカーフなど）情報が別途項目で表示されるようにし得る。この時、アクセサリ情報は文字またはイメージ形態でリスト表示部１１１の下端に表示され得て、身装品または周辺物品の種類に応じてアクセサリ情報は異なり得る。また、アクセサリ情報を選択すると当該アクセサリをともに買い物することができるようにし得る。
【００４６】
前記詳細ページ表示部１１２は前記リスト表示部１１１で選択されたショッピングモールサーバ３００のホームページに入って製品の詳細情報が見えるようにするものであり、この時は映像表示部１０８が画面から消えるようにし得る。
【００４７】
また、実施形態によっては、前記詳細ページ表示部１１２に製品の詳細情報とともに、ポータルサイト４００で検索された当該製品に対する関連ニュースをともに提供し得る。
【００４８】
また、実施形態によっては、前記詳細ページ表示部１１２にスマート機器１００が提供する機器位置情報を基に把握された近傍の当該製品に対する販売売場情報を提供することもある。
【００４９】
一方、前記スマート機器１００はアプリケーションの実行のための制御部１０１、放送サーバ２００と無線通信するための通信部１０７及び映像を表示する画面１０２を含んで構成され得る。
【００５０】
以下では、図３を参照して本発明にかかる放送における映像認識を通じたリアルタイムショッピング方法について説明する。図３は本発明の一実施例にかかるショッピング方法を具現するフローチャートである。
【００５１】
本発明の一実施例にかかるショッピング方法は次のように進行される。
【００５２】
まず、映像表示部１０８の一方に用意された映像認識ボタン１１３はモデルの身装品または周辺物品を認識するようにアプリケーションを作動させるためのものであって、視聴者によって映像認識ボタン１１３がチェックされると関心分野設定部１０４が作動するが、前記関心分野設定部１０４は身装品または周辺物品を設定する段階である（Ｓ１）。身装品と周辺物品を設定するために画面１０２に身装品及び周辺物品の目録が文字形態で表示されるが、この時に映像表示部１０８の一方に半透明文字が現れるようにすることが好ましい。上記で映像に現れたすべての事物をパターン認識技法で抽出してみると時間が非常に多く所要され得るので、不要な事物は排除させるために関心分野設定部１０４が使用され得る。
【００５３】
実施形態によっては、関心分野は映像を視聴する前に身装品または周辺物品を予め指定し得るので、前記映像認識ボタン１１３がチェックされると関心分野設定部１０４は省略されてイメージ抽出部１０５が作動する場合もある。
【００５４】
実施形態によっては、映像認識ボタン１１３がチェックされると映像に現れたすべての事物をイメージ抽出部１０５から抽出する場合もある。即ち、前記イメージ抽出部１０５は物体認識システムが内蔵されるため映像に現れたすべての物体が関心分野設定部１０４と無関係にすべて抽出される場合もある（Ｓ２）。
【００５５】
上記で関心分野が設定された以後に、イメージ抽出部１０５は映像で見えるモデルの身装品または周辺物品を前記サンプルイメージ保存部１０３に記録されたサンプルイメージとパターン認識技法で比較する（Ｓ２）。万一身装品が指定されたらモデルの服、帽子、靴及びかばんなどがサンプルイメージと比較抽出される。この時、抽出の正確性を高めるために映像がキャプチャされた後に指定したサンプルイメージと比較され得る。
【００５６】
前記イメージ抽出部１０５から抽出されたイメージはイメージ表示部１１０に表示される（Ｓ３）。以後、視聴者によってイメージ表示部１１０に現れたイメージの中から特定イメージが選択されると（Ｓ４）、その選択されたイメージに対してイメージ分析部１０６で映像分析（ｉｍａｇｅ  ａｎａｌｙｓｉｓ）を遂行してパターン、形態、文字及びロゴなどが分析される（Ｓ６）。
【００５７】
上記で分析されたイメージのパターン、形態、文字及びロゴなどの情報は通信部１０７を通じて放送サーバ２００に通報される（Ｓ７）。
【００５８】
放送サーバ２００はショッピングモールサーバ３００のＤＢを検索して特定イメージ情報と一致される製品を検索する（Ｓ８）。
【００５９】
万一、ショッピングモールサーバ３００で検索されなければポータルサイト４００のＤＢを検索する（Ｓ１３）。
【００６０】
ショッピングモールサーバ３００またはポータルサイト４００で特定イメージと一致される製品が検索されると前記リスト表示部１１１に販売会社の目録を表示する（Ｓ１０）。
【００６１】
以後、視聴者が目録で最安値で検索するかまたは所望する会社を選択してクリックすると、特定イメージと一致される製品の詳細情報が詳細ページ表示部１１２に表示される（Ｓ１２）。
【００６２】
実施形態によっては、上述したように、視聴者は前記リスト表示部１１１の下端に具備されたアクセサリボタン１１１ａを押して、検索された身装品または周辺物品と合うアクセサリ（帽子、ネックレス、靴、ベルト及びスカーフなど）情報が別途項目で表示されるようにし得る。ここで、アクセサリ情報は文字またはイメージ形態でリスト表示部１１１の下端に表示され得て、身装品または周辺物品の種類に応じてアクセサリ情報は異なり得る。また、アクセサリ情報を選択すると当該アクセサリをともに買い物するようにする場合もある。
【００６３】
また、実施形態によっては、上述したように前記詳細ページ表示部１１２に製品の詳細情報とともに、ポータルサイト４００で検索された当該製品に対する関連ニュースをともに提供し得て、またスマート機器１００が提供する機器位置情報を基に把握された近傍の当該製品に対する販売売場情報を提供する場合もある。
【００６４】
以上で説明したように、本発明によれば個人放送に出演するモデルの身装品または背景に出る物品が画面の一方にリアルタイムで抽出されて表示されるので、視聴者は関心がある物品を容易に選択することができ、また抽出されて表示された物品の中から視聴者によって選択された物品は、これを販売するショッピングモール会社またはポータルサイトにおける当該物品に対する価格などの情報が迅速に検索されて画面に表示されるので、視聴者は関心がある物品を最安値順にリアルタイムで買い物することができる。
【００６５】
上記の実施例はその説明のためのものであり、その制限のためのものでないことを注意しなければならない。また、本発明の技術分野の通常の専門家であれば本発明の技術思想の範囲で多様な実施例が可能であることを理解することができる。
【符号の説明】
【００６６】
１００…スマート機器、１０１…制御部、１０２…画面、１０３…サンプルイメージ保存部、１０４…関心分野設定部、１０５…イメージ抽出部、１０６…イメージ分析部、１０７…通信部、１０８…映像表示部、１０９…チャットウィンドウ表示部、１１０…イメージ表示部、１１１…リスト表示部、１１２…詳細ページ表示部、１１３…映像認識ボタン、２００…放送サーバ、３００…ショッピングモールサーバ、４００…ポータルサイト。
【産業上の利用可能性】
【００６７】
本発明は放送における映像認識を通じたリアルタイムショッピング方法に関し、オンラインショッピングなどの電子商取引分野で利用可能である。
【図１】
2019537400.tif 000003
【図２】
2019537400.tif 000004
【図３】
2019537400.tif 000005
【手続補正書】
【提出日】令和1年7月5日(2019.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
リアルタイム放送中の映像に映像認識ボタンを表示する第１ボタン表示工程と、
ユーザーが前記前記放送の視聴中に前記映像認識ボタンを選択すると、前記放送中の映像で少なくとも一つ以上のオブジェクトのイメージを検出するイメージ検出工程と、
前記イメージ検出工程で検出したイメージを認識可能に表示するイメージ表示工程と、
前記ユーザーが前記イメージ表示工程で表示されたイメージのうち一つを選択すると、選択されたイメージに該当する商品を少なくとも一つ以上のショッピングモールサーバを介して検索するショッピングモールサーバ検索工程と、
前記ショッピングモールサーバ検索工程で検索された商品のリストを第１検索結果として前記放送中の映像の一部に表示する第１検索結果表示工程と、
前記ショッピングモールサーバ検索工程で前記選択されたイメージに該当する商品が前記ショッピングモールサーバを介して検索されない場合、前記選択されたイメージに該当する商品を少なくとも一つ以上のポータルサイトを介して検索するポータルサイト検索工程と、
前記ポータルサイト検索工程で検索された商品のリストを第２検索結果として前記放送中の映像の一部に表示する第２検索結果表示工程と、
を備える、
リアルタイム放送中ショッピング情報提供方法。
【請求項２】
リアルタイム放送中の映像に映像認識ボタンを表示する第１ボタン表示工程と、
ユーザーが前記前記放送の視聴中に前記映像認識ボタンを選択すると、前記放送中の映像で少なくとも一つ以上のオブジェクトのイメージを検出するイメージ検出工程と、
前記イメージ検出工程で検出したイメージを認識可能に表示するイメージ表示工程と、
前記ユーザーが前記イメージ表示工程で表示されたイメージのうち一つを選択すると、選択されたイメージに該当する商品を少なくとも一つ以上のショッピングモールサーバを介して検索するショッピングモールサーバ検索工程と、
前記ショッピングモールサーバ検索工程で検索された商品のリストを第１検索結果として前記放送中の映像の一部に表示する第１検索結果表示工程と、
前記第１検索結果と共に前記選択されたイメージに該当する商品に関連するアクセサリボタンを表示する第２ボタン表示工程と、
前記ユーザーが前記アクセサリボタンを選択すると、前記選択されたイメージに該当する商品に関連するアクセサリ情報を表示するアクセサリ情報表示工程と、
を備える、
リアルタイム放送中ショッピング情報提供方法。
【請求項３】
前記オブジェクトのうち関心分野を指定して前記イメージ検出工程で前記関心分野に該当するイメージのみを検出するように設定する関心分野指定工程をさらに備える、
請求項１または請求項２に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項４】
前記イメージ検出工程で検出されたイメージからパターン、ロゴ、及び文字のうち少なくとも一つ以上を抽出するイメージ分析工程をさらに備え、
前記ショッピングモールサーバ検索工程は、前記イメージ分析工程で抽出した前記パターン、ロゴ、及び文字のうち少なくとも一つ以上を用いて前記選択されたイメージに該当する商品を検索する工程を含む、
請求項１または請求項２に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項５】
前記第１検索結果と共に前記選択されたイメージに該当する商品に関連するアクセサリボタンを表示する第２ボタン表示工程と、
前記ユーザーが前記アクセサリボタンを選択すると、前記選択されたイメージに該当する商品に関連するアクセサリ情報を表示するアクセサリ情報表示工程と、
をさらに備える、
請求項１に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項６】
前記第１検索結果で前記ユーザーが一つの商品を選択すると、当該商品を販売するショッピングモールサーバの詳細ページを表示する詳細ページ表示工程をさらに備える、
請求項１または請求項２に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項７】
前記ショッピングモールサーバ検索工程で前記選択されたイメージに該当する商品が前記ショッピングモールサーバを介して検索されない場合、前記選択されたイメージに該当する商品を少なくとも一つ以上のポータルサイトを介して検索するポータルサイト検索工程と、
前記ポータルサイト検索工程で検索された商品のリストを第２検索結果として前記放送中の映像の一部に表示する第２検索結果表示工程と、
をさらに備える、
請求項２に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項８】
前記第２検索結果で前記ユーザーが一つの商品を選択すると、当該商品が検索されたポータルサイトを介して当該商品を販売する売場情報を表示する売場情報表示工程をさらに備える、
請求項１または請求項７に記載のリアルタイム放送中ショッピング情報提供方法。
【請求項９】
前記少なくとも一つ以上のオブジェクトは、前記放送中の映像内のモデルの身の回り品及び周辺物品のうち少なくとも一つ以上を含む、
請求項１ないし請求項８の何れか一項に記載のリアルタイム放送中ショッピング情報提供方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
上記の実施例はその説明のためのものであり、その制限のためのものでないことを注意しなければならない。また、本発明の技術分野の通常の専門家であれば本発明の技術思想の範囲で多様な実施例が可能であることを理解することができる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
放送がされている映像でモデルの身装品や周辺物品を標準となるサンプルイメージ保存部のサンプルイメージと比較してパターン認識技法で抽出するか、または前記映像でモデルの身装品や周辺物品を物体認識技法の特徴ベクトル技術で抽出するイメージ抽出段階と、
抽出されたイメージを前記映像の一方面に表示するイメージ表示段階と、
表示されたイメージの中から視聴者によって所望するイメージが選択されると、選択されたイメージを基にショッピングモール会社のＤＢが検索されるショッピングモールサーバ検索段階と、
検索された結果が前記映像の一方面に表示される検索リスト表示段階と、
を含んでなることを特徴とする放送における映像認識を通じたリアルタイムショッピング方法。
［２］
前記モデルの身装品または周辺物品の中から関心分野を指定し、前記イメージ抽出段階で指定された関心分野のイメージのみ抽出されるようにする関心分野設定段階を含む、ことを特徴とする［１］の放送における映像認識を通じたリアルタイムショッピング方法。
［３］
前記イメージ抽出段階で抽出されたイメージに対して映像分析を遂行してパターン、形態、文字、またはロゴのうち少なくとも一つを見つけ出すイメージ分析段階を含み、
前記ショッピングモールサーバ検索段階で前記パターン、形態、文字、またはロゴのうち少なくとも一つを利用して、前記抽出されたイメージと同一製品を検索する、ことを特徴とする［１］の放送における映像認識を通じたリアルタイムショッピング方法。
［４］
前記イメージ抽出段階は、前記映像の一方に用意された映像認識ボタンがクリックされると作動し、
前記検索リスト表示段階で製品が選択されると、当該製品を販売するショッピングモールサーバの詳細ページが見えるようにする詳細ページ表示段階を含む、ことを特徴とする［１］の放送における映像認識を通じたリアルタイムショッピング方法。
［５］
前記ショッピングモールサーバ検索段階で前記ショッピングモール会社のＤＢで検索されなければポータルサイトのＤＢを検索し、前記検索リスト表示段階で前記ポータルサイトのＤＢを検索した結果を表示する、ことを特徴とする［１］の放送における映像認識を通じたリアルタイムショッピング方法。
［６］
前記検索リスト表示段階は前記検索されたイメージとともにアクセサリボタンが表示されて、前記アクセサリボタンがクリックされると前記検索されたイメージと関連するアクセサリ情報が表示される、ことを特徴とする［１］の放送における映像認識を通じたリアルタイムショッピング方法。
［７］
前記詳細ページ表示段階は前記詳細ページとともに、ポータルサイトで検索された当該製品の関連情報を提供する、ことを特徴とする［４］の放送における映像認識を通じたリアルタイムショッピング方法。
［８］
前記詳細ページ表示段階は前記詳細ページとともに、前記映像をディスプレイするスマート機器が提供する位置情報を基に把握された、近傍の当該製品に対する販売売場情報を提供する、ことを特徴とする［４］の放送における映像認識を通じたリアルタイムショッピング方法。
［９］
［１］ないし［８］のいずれかに一項に記載の放送における映像認識を通じたリアルタイムショッピング方法が具現されるアプリケーションが設けられたスマート機器。
【国際調査報告】
2019537400.tif 000006
2019537400.tif 000007
2019537400.tif 000008
2019537400.tif 000009