(57)【要約】【課題】デジタルサービス信号処理装置及び方法を提供する。【解決手段】本発明は、コンテンツを含むデジタルサービス信号を受信し、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するように構成された受信モジュールと、前記コンテンツの各ビデオフレームから、各ビデオフレームの特定領域に位置してコンテンツプロバイダを示すロゴデータを抽出するように構成された抽出モジュールと、前記コンテンツのチャネル情報を取得するために前記抽出されたロゴデータと記憶されたロゴデータとを比較するように構成された比較モジュールと、前記ロゴデータに関連したメタデータから前記コンテンツのチャネル情報を取得し、前記コンテンツと関連した付加データを取得するように構成された取得モジュールと、前記取得したチャネル情報を用いてＵＲＬ情報を取得するための要求を生成するように構成された生成モジュールと、を備え、前記受信モジュールは、前記生成された要求を用いてＵＲＬ情報を受信し、前記取得モジュールは、前記ＵＲＬ情報によってインターネットプロトコルネットワークを通して前記付加データを取得する。【選択図】図２３
2015531189.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを含むデジタルサービス信号を受信するステップと、
前記コンテンツの各ビデオフレームから、各ビデオフレームの特定領域に位置してコンテンツプロバイダを示すロゴデータを抽出するステップと、
前記抽出されたロゴデータと記憶されたロゴデータとを比較して前記コンテンツのチャネル情報を取得するステップと、
前記ロゴデータに関連したメタデータから前記コンテンツのチャネル情報を取得するステップと、
前記取得したチャネル情報を用いて、前記コンテンツに関連した付加データに対するＵＲＬ（ｕｎｉｆｏｒｍ  ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｏｒ）情報を取得するための要求を生成するステップと、
前記生成された要求を用いてＵＲＬ情報を受信するステップと、
前記ＵＲＬ情報によってインターネットプロトコルネットワークを通して前記付加データを取得するステップと、
を含む、デジタルサービス信号処理方法。
【請求項２】
前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記コンテンツのオーディオフレームから抽出するステップと、
前記ウォーターマークから前記プログラム情報を取得するステップと、をさらに含む、請求項１に記載のデジタルサービス信号処理方法。
【請求項３】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成する、請求項２に記載のデジタルサービス信号処理方法。
【請求項４】
前記ビデオフレームが前記コンテンツに関連したプログラムを示すためのシンボルイメージデータを含むと、
前記コンテンツの各ビデオフレームから、前記各ビデオフレームの特定領域に位置している前記シンボルイメージデータを抽出するステップと、
前記抽出されたシンボルイメージデータを処理し、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を取得するステップと、
前記プログラム情報を取得するステップと、
をさらに含む、請求項１に記載のデジタルサービス信号処理方法。
【請求項５】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成する、請求項４に記載のデジタルサービス信号処理方法。
【請求項６】
前記ロゴデータに関連したメタデータを周期的に更新するステップをさらに含む、請求項１に記載のデジタルサービス信号処理方法。
【請求項７】
前記チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記ビデオフレームの特定領域から抽出するステップをさらに含む、請求項１に記載のデジタルサービス信号処理方法。
【請求項８】
コンテンツを含むデジタルサービス信号を生成するステップと、
コンテンツプロバイダを示すロゴデータを前記コンテンツの各ビデオフレームに挿入し、前記ロゴデータは前記各ビデオフレームの特定領域に位置するステップと、
前記デジタルサービス信号を送信するステップと、
を含み、
前記ロゴデータは、前記コンテンツのチャネル情報を取得するためのものであり、前記チャネル情報は、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するためのものである、デジタルサービス信号処理方法。
【請求項９】
前記コンテンツはオーディオフレームを含み、
前記方法は、
ウォーターマークを生成するステップと、
前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを前記コンテンツのオーディオフレームに挿入するステップと、
をさらに含む、請求項８に記載のデジタルサービス信号処理方法。
【請求項１０】
ウォーターマークを生成するステップと、
チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを、前記コンテンツのビデオフレームに挿入するステップと、
をさらに含む、請求項８に記載のデジタルサービス信号処理方法。
【請求項１１】
前記オーディオフレーム又はビデオフレームをサブフレームに分離するステップと、
前記分離されたサブフレームの中から特定サブフレームを検出して前記ウォーターマークを挿入するステップと、
前記ウォーターマークを前記検出された特定サブフレームに挿入するステップと、
前記分離されたサブフレームを前記オーディオフレーム又はビデオフレームとして構成するステップと、
をさらに含む、請求項９又は１０に記載のデジタルサービス信号処理方法。
【請求項１２】
前記コンテンツに関連したプログラムを示すシンボルイメージデータを生成するステップと、
前記生成されたシンボルイメージデータを前記コンテンツの各ビデオフレームに挿入するステップと、
をさらに含み、
前記挿入されたシンボルイメージデータは、前記各ビデオフレームの特定領域に位置する、請求項８に記載のデジタルサービス信号処理方法。
【請求項１３】
コンテンツを含むデジタルサービス信号を受信し、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するように構成された受信モジュールと、
前記コンテンツの各ビデオフレームから、各ビデオフレームの特定領域に位置してコンテンツプロバイダを示すロゴデータを抽出するように構成された抽出モジュールと、
前記コンテンツのチャネル情報を取得するために前記抽出されたロゴデータと記憶されたロゴデータとを比較するように構成された比較モジュールと、
前記ロゴデータに関連したメタデータから前記コンテンツのチャネル情報を取得し、前記コンテンツと関連した付加データを取得するように構成された取得モジュールと、
前記取得したチャネル情報を用いてＵＲＬ情報を取得するための要求を生成するように構成された生成モジュールと、
を備え、
前記受信モジュールは、前記生成された要求を用いてＵＲＬ情報を受信し、
前記取得モジュールは、前記ＵＲＬ情報によってインターネットプロトコルネットワークを通して前記付加データを取得する、デジタルサービス信号処理装置。
【請求項１４】
前記コンテンツのオーディオフレームからウォーターマークを抽出するように構成されたウォーターマーク抽出モジュールと、
前記ウォーターマークからプログラム情報を取得するように構成されたプログラム情報取得モジュールと、
をさらに備え、
前記ウォーターマークは、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達し、
前記生成モジュールは、前記取得したプログラム情報をさらに用いて前記要求を生成する、請求項１３に記載のデジタルサービス信号処理装置。
【請求項１５】
前記ビデオフレームが前記コンテンツに関連したプログラムを示すためのシンボルイメージデータを含むと、
前記コンテンツの各ビデオフレームから、前記各ビデオフレームの特定領域に位置している前記シンボルイメージデータを抽出するように構成されたシンボル抽出モジュールと、
前記抽出されたシンボルイメージデータを処理し、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を取得するように構成された処理モジュールと、
前記プログラム情報を取得するように構成されたプログラム情報取得モジュールと、
をさらに備え、
前記生成モジュールは、前記取得したプログラム情報をさらに用いて前記要求を生成する、請求項１３に記載のデジタルサービス信号処理装置。
【請求項１６】
前記ロゴデータに関連した前記メタデータを周期的に更新する更新モジュールをさらに備える、請求項１３に記載のデジタルサービス信号処理装置。
【請求項１７】
前記抽出モジュールは、前記ビデオフレームの特定領域からウォーターマークをさらに抽出し、
前記ウォーターマークは、前記チャネル情報及び前記コンテンツに関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する、請求項１３に記載のデジタルサービス信号処理装置。
【請求項１８】
コンテンツを含むデジタルサービス信号を生成するように構成された生成モジュールと、
コンテンツプロバイダを示すロゴデータを前記コンテンツの各ビデオフレームに挿入し、前記ロゴデータは前記各ビデオフレームの特定領域に位置するように構成された挿入モジュールと、
前記デジタルサービス信号を送信するように構成された送信モジュールと、
を備え、
前記ロゴデータは、前記コンテンツのチャネル情報を取得するためのものであり、前記チャネル情報は、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するためのものである、デジタルサービス信号処理装置。
【請求項１９】
前記コンテンツがオーディオフレームを含むと、
前記生成モジュールは、ウォーターマークをさらに生成し、前記挿入モジュールは、前記生成されたウォーターマークを前記コンテンツのオーディオフレームにさらに挿入し、
前記ウォーターマークは、前記コンテンツに関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する、請求項１８に記載のデジタルサービス信号処理装置。
【請求項２０】
前記生成モジュールは、ウォーターマークをさらに生成し、前記挿入モジュールは、前記生成されたウォーターマークを前記コンテンツのビデオフレームにさらに挿入し、
前記ウォーターマークは、チャネル情報及び前記コンテンツに関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する、請求項１８に記載のデジタルサービス信号処理装置。
【請求項２１】
前記挿入モジュールは、
前記オーディオフレーム又はビデオフレームをサブフレームにさらに分離し、
前記ウォーターマークを挿入するために、前記分離されたサブフレームの中から特定サブフレームをさらに検出し、
前記ウォーターマークを、前記検出された特定サブフレームにさらに挿入し、
前記分離されたサブフレームを前記オーディオフレーム又はビデオフレームとしてさらに構成する、請求項１９又は２０に記載のデジタルサービス信号処理装置。
【請求項２２】
前記生成モジュールは、前記コンテンツに関連したプログラムを示すシンボルイメージデータをさらに生成し、前記挿入モジュールは、前記生成されたシンボルイメージデータを前記コンテンツの各ビデオフレームにさらに挿入し、前記挿入されたシンボルイメージデータは、前記各ビデオフレームの特定領域に位置する、請求項１８に記載のデジタルサービス信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送プログラムに関連した自動コンテンツ認識サービスを処理する方法及び装置に関し、特に、自動コンテンツ認識環境で放送コンテンツに関連した付加サービスを提供する方法及び装置に関する。
【背景技術】
【０００２】
デジタル衛星放送の導入に伴って、デジタルデータ放送が新しい付加サービスとして現れた。代表的な双方向サービスである双方向データ放送は、様々な付加サービスを提供するために、データ信号だけでなく、既存放送信号も加入者に送信することができる。
【０００３】
デジタルデータ放送は、仮想チャネルを用いた独立型サービスと、ＥＴＶ（ｅｎｈａｎｃｅｄ  ｔｅｌｅｖｉｓｉｏｎ）を通した放送関連サービスとに大別できる。独立型サービスは、放送イメージ信号無しでテキストとグラフィックのみを含み、既存インターネットウェブページと類似のフォーマットで提供される。独立型サービスの代表的な例に、天気及び株式情報提供サービス、ＴＶ金融サービス、商取引サービスなどを挙げることができる。放送関連サービスは、放送イメージ信号の他、付加的なテキスト及びグラフィック情報も送信する。視聴者は、放送関連サービスから、視聴した放送プログラムに関連した情報を得ることができる。例えば、視聴者がドラマを視聴しながら、そのドラマの前のストーリーや撮影場所を確認できるようにするサービスがある。
【０００４】
デジタルデータ放送の放送関連サービスでは、ＥＴＶサービスを自動コンテンツ認識技術に基づいて提供することができる。自動コンテンツ認識とは、装置がオーディオ／ビデオコンテンツを再生する時、コンテンツに隠された情報から自動でコンテンツを認識する技術のことをいう。
【０００５】
自動コンテンツ認識技術を施行するとき、コンテンツに関する情報を得るために、ウォーターマーキング（ｗａｔｅｒｍａｒｋｉｎｇ）（透かし）やフィンガープリンティング（ｆｉｎｇｅｒ  ｐｒｉｎｔｉｎｇ）方式を用いることができる。ウォーターマーキングとは、デジタルコンテンツプロバイダを示す情報をデジタルコンテンツに挿入する技術のことをいう。フィンガープリンティングとは、特定情報がデジタルコンテンツに挿入される点ではウォーターマーキングと同一であるが、コンテンツプロバイダに関する情報に代えてコンテンツ購買者に関する情報が挿入される点でウォーターマーキングと区別される。
【０００６】
しかし、既存の自動コンテンツ認識機能を用いて双方向サービスを提供するシステムにはいくつかの制約がある。
【０００７】
コンテンツプロバイダ（又は、放送局）が実時間サービスのためのコンテンツ及びＥＴＶサービスのためのエンハンスメントデータ（又は、付加データ）を送信し、ＴＶ受信機が当該実時間サービスのためのコンテンツ及びエンハンスメントデータを外部入力を通して受信すると、実時間サービスのためのコンテンツは受信できるが、エンハンスメントデータは受信できない。
【０００８】
また、既存ＥＴＶサービスが自動コンテンツ認識システム上で提供されると、別途の自動コンテンツ認識サーバー（又は、自動コンテンツ認識ソリューションプロバイダ）の介在が必須となる。したがって、別途の自動コンテンツ認識サーバー無しで自動コンテンツ認識機能を実行する受信機が要求される。
【０００９】
また、ＥＴＶサービスを提供するためのウォーターマーキング技術では、ウォーターマーク（透かし）に含まれた情報の量が多いと、ウォーターマークの埋め込まれたコンテンツの質が低下することがある。したがって、ウォーターマーキングの効率的な使用に制約がある。
【００１０】
また、ＥＴＶサービスを提供するためのフィンガープリンティング技術では、コンテンツを認識するための外部自動コンテンツ認識サーバーがさらに必要であるだけでなく、コンテンツ認識結果がレファレンスセットの大きさに依存する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、本発明は、従来技術の制約及び短所による一つ以上の問題点を実質的に除去するデジタルサービス信号処理方法及び装置を提供する。本発明の目的は、放送システムを用いて放送プログラムに関連した情報を確認し、確認された放送プログラムの付加情報を実時間で提供することにある。
【課題を解決するための手段】
【００１２】
ここに含まれ、概略的に記述されるように、上記の目的及び他の利点を達成するために且つ本発明の目的によって、本発明に係るデジタルサービス信号処理方法は、コンテンツを含むデジタルサービス信号を受信するステップと、前記コンテンツの各ビデオフレームから、各ビデオフレームの特定領域に位置してコンテンツプロバイダを示すロゴデータを抽出するステップと、前記抽出されたロゴデータと記憶されたロゴデータとを比較して前記コンテンツのチャネル情報を取得するステップと、前記ロゴデータに関連したメタデータから前記コンテンツのチャネル情報を取得するステップと、前記取得したチャネル情報を用いて前記コンテンツに関連した付加データに関するＵＲＬ情報を取得するための要求を生成するステップと、前記生成された要求を用いてＵＲＬ情報を受信するステップと、前記ＵＲＬ情報によってインターネットプロトコルＩＰネットワークを通して前記付加データを取得するステップと、を含む。
【００１３】
上記方法は、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記コンテンツのオーディオフレームから抽出するステップと、前記ウォーターマークから前記プログラム情報を取得するステップと、をさらに含むことができる。
【００１４】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成することができる。
【００１５】
前記ビデオフレームが前記コンテンツに関連したプログラムを示すためのシンボルイメージデータを含むと、上記方法は、前記コンテンツの各ビデオフレームから、前記各ビデオフレームの特定領域に位置している前記シンボルイメージデータを抽出するステップと、前記抽出されたシンボルイメージデータを処理し、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を取得するステップと、前記プログラム情報を取得するステップと、をさらに含むことができる。
【００１６】
前記要求を生成するステップは、前記取得したプログラム情報をさらに用いて要求を生成することができる。
【００１７】
上記方法は、前記ロゴデータに関連したメタデータを周期的に更新するステップをさらに含むことができる。
【００１８】
上記方法は、前記チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達するウォーターマークを、前記ビデオフレームの特定領域から抽出するステップをさらに含むことができる。
【００１９】
本発明の他の側面において、デジタルサービス信号処理方法は、コンテンツを含むデジタルサービス信号を生成するステップと、コンテンツプロバイダを示すロゴデータを前記コンテンツの各ビデオフレームに挿入し、前記ロゴデータは前記各ビデオフレームの特定領域に位置するステップと、前記デジタルサービス信号を送信するステップと、を含み、前記ロゴデータは、前記コンテンツのチャネル情報を取得するためのものであり、前記チャネル情報は、前記コンテンツに関連した付加データに関するＵＲＬ情報を受信するためのものである。
【００２０】
前記コンテンツは、オーディオフレームを含み、上記方法は、ウォーターマークを生成するステップと、前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを、前記コンテンツのオーディオフレームに挿入するステップと、をさらに含むことができる。
【００２１】
上記方法は、ウォーターマークを生成するステップと、チャネル情報及び前記コンテンツと関連しており、各コンテンツを識別するためのコンテンツ識別子情報を含むプログラム情報を伝達する前記生成されたウォーターマークを、前記コンテンツのビデオフレームに挿入するステップと、をさらに含むことができる。上記方法は、前記オーディオフレーム又はビデオフレームをサブフレームに分離するステップと、前記分離されたサブフレームの中から特定サブフレームを検出して前記ウォーターマークを挿入するステップと、前記ウォーターマークを前記検出された特定サブフレームに挿入するステップと、前記分離されたサブフレームを前記オーディオフレーム又はビデオフレームとして構成するステップと、をさらに含むことができる。
【００２２】
上記方法は、前記コンテンツに関連したプログラムを示すシンボルイメージデータを生成するステップと、前記生成されたシンボルイメージデータを前記コンテンツの各ビデオフレームに挿入するステップと、をさらに含み、前記挿入されたシンボルイメージデータは、前記各ビデオフレームの特定領域に位置する。
【発明の効果】
【００２３】
本発明によれば、自動コンテンツ認識技術を用いて放送プログラムに関連した情報を実時間で確認することができる。
【００２４】
本発明によれば、ＴＶ視聴経験の向上のために、自動コンテンツ認識機能を用いて放送プログラムに関連したエンハンスメントデータを受信することができる。
【００２５】
本発明によれば、放送プログラムに関連した情報を認識し、ウォーターマーキング技術を用いてエンハンスメントデータを受信することによって、ＴＶ受信機は別途の自動コンテンツ認識サーバー無しで自動コンテンツ認識機能を実行することができる。
【００２６】
本発明によれば、ウォーターマークに含まれた情報に基づいてウォーターマークをプロファイリングし、ウォーターマークに含まれた情報の量が多くても効率的にウォーターマーキングを活用することができる。
【００２７】
本発明によれば、ウォーターマーキングとフィンガープリンティングを結合することによって、效率的に自動コンテンツ認識サービスを提供することができる。
【図面の簡単な説明】
【００２８】
【図１】自動コンテンツ認識基盤ＥＴＶサービスシステムを示す図である。
【図２】本発明の一実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図３】本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図４】本発明の一実施例に係る受信機の構造を示す図である。
【図５】本発明の一実施例に係る自動コンテンツ認識サービス処理システムの構造を示す図である。
【図６】本発明の一実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図７】本発明の他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図８】本発明のさらに他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【図９】本発明の一実施例に係るデジタルウォーターマーキング技術のフローを示す図である。
【図１０】本発明の一実施例に係る自動コンテンツ認識クエリ結果フォーマットを示す図である。
【図１１】本発明の一実施例に係るコンテンツＩＤ（ｉｄｅｎｔｉｆｉｅｒ）の構造を示す図である。
【図１２】本発明の一実施例に係るウォーターマーキングを用いた受信機の動作を示す図である。
【図１３】本発明の一実施例に係るウォーターマーク抽出過程を示す図である。
【図１４】本発明の一実施例に係るウォーターマーク情報のプロファイリングを示す図である。
【図１５】本発明の一実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図１６】本発明の他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図１７】本発明のさらに他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【図１８】本発明の一実施例に係るウォーターマークをオーディオフレームに埋め込む方法を示す図である。
【図１９】本発明の一実施例に係るプロファイリングされたウォーターマークを埋め込む方法を示す図である。
【図２０】本発明の一実施例に係るウォーターマークを連続したフレームに埋め込む方法を示す図である。
【図２１】本発明の一実施例に係る連続したフレームに挿入されたウォーターマークを抽出する方法を示す図である。
【図２２】本発明の一実施例に係るウォーターマークを３次元ビデオフレームに埋め込む方法を示す図である。
【図２３】本発明の一実施例に係る自動コンテンツ認識サービス提供システムの構造を示す図である。
【図２４】本発明の一実施例に係る放送局ロゴを用いて自動コンテンツ認識サービスを提供する方法を示す図である。
【図２５】本発明の一実施例に係る放送局ロゴを示す図である。
【図２６】本発明の一実施例に係る放送局ロゴを用いた自動コンテンツ認識サービスを示す図である。
【図２７】本発明の一実施例に係るロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供方法を示す図である。
【図２８】本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図２９】本発明の一実施例に係るロゴ及び／又はウォーターマークを用いた自動コンテンツ認識サービス提供装置の動作の概念を示す図である。
【図３０】本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図３１】本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【図３２】本発明の一実施例に係る自動コンテンツ認識サービス受信装置を示す図である。
【図３３】本発明の一実施例に係る自動コンテンツ認識サービス送信装置を示す図である。
【図３４】本発明の一実施例に係る自動コンテンツ認識サービス受信過程を示す図である。
【図３５】本発明の一実施例に係る自動コンテンツ認識サービス送信過程を示す図である。
【発明を実施するための形態】
【００２９】
本発明を理解を助けるために提供され、本出願に含まれ、本出願の一部を構成する添付の図面は、本発明の原理を説明する詳細な説明と共に本発明の実施例を例示する。
添付の図面は、上記の通りである。
【００３０】
以下、添付の図面を参照して、本発明の好適な実施例について詳しく説明する。図面全体を通じて、同一又は類似の部分には可能な限り同一の参照番号を共通使用するものとする。
【００３１】
本発明の好適な実施例について詳しく述べ、それらの例は添付の図面に示されている。本発明の好適な実施例について、添付の図面を参照して詳しく説明する。図面に示しており、後述される本発明の構成及び動作は、本発明の思想及び範囲を制限するものではなく、少なくとも一つの実施例で説明される。
【００３２】
本発明で使われる用語は、一般に知られて使われている用語から選択されたものであるが、ここに使われた用語は、当業者の意図、技術慣行、新しい技術の登場などによって変更されてもよい。また、本発明の詳細な説明で使われた用語の一部は、出願人の裁量で選択したものもあり、その詳細な意味は、詳細な説明の関連部分で説明する。また、本発明で使われた用語は、単純に使われている辞典的な意味ではなく、各用語に内在された意味によって把握されなければならない。
【００３３】
図１は、自動コンテンツ認識基盤ＥＴＶサービスシステムを示す図である。
【００３４】
図１に示す自動コンテンツ認識基盤ＥＴＶサービスシステムは、放送局又はコンテンツプロバイダ１００、多チャネル放送事業者１０１、セットトップボックス１０２、デジタルＴＶ受信機などの受信機１０３、自動コンテンツ認識サーバー（又は、自動コンテンツ認識ソリューションプロバイダ）１０４を含むことができる。受信機１０３は、ＡＴＳＣ（ａｄｖａｎｃｅｄ  ｔｅｌｅｖｉｓｉｏｎ  ｓｙｓｔｅｍ  ｃｏｍｍｉｔｔｅｅ）の定義によって動作でき、自動コンテンツ認識機能を支援できる。実時間放送サービス１１０は、オーディオ／ビデオコンテンツを含むことができる。
【００３５】
デジタル放送サービスは、放送局１００から提供される地上波放送サービスと、多チャネル放送事業者１０１から提供されるケーブル放送又は衛星放送などの多チャネル放送サービスとに大別できる。放送局１００は、実時間放送サービス１１０及びエンハンスメントデータ（又は、付加データ）１２０を共に送信できる。この場合、図１に示すように、受信機１０３は、多チャネル放送事業者１０１及びセットトップボックス１０２を通して実時間放送サービス１１０は受信できるが、エンハンスメントデータ１２０は受信できないことがある。
【００３６】
したがって、エンハンスメントデータ１２０を受信するために、受信機１０３は、オーディオ／ビデオコンテンツ出力を実時間放送サービス１１０として分析及び処理し、放送プログラム情報及び／又は放送プログラム関連メタデータを確認する。確認された放送プログラム情報及び／又は放送プログラム関連メタデータを用いて、受信機１０３は、放送局１００又は自動コンテンツ認識サーバー１０４からエンハンスメントデータを受信することができる（１４０）。この場合、エンハンスメントデータはインターネットプロトコルネットワーク１５０を通して送信されうる。
【００３７】
エンハンスメントデータが別途の自動コンテンツ認識サーバー１０４から受信されると（１４０）、自動コンテンツ認識サーバー１０４と受信機１０３間のメカニズムにおいて、ＡＴＳＣ ２．０標準で定義したＴＤＯ（ｔｒｉｇｇｅｒｅｄ  ｄｅｃｌａｒａｔｉｖｅ  ｏｂｊｅｃｔ）モデルのうち、要求／応答モデルを自動コンテンツ認識サーバー１０４に適用することができる。ＴＤＯ及び要求／応答モデルについては後述する。
【００３８】
ＴＤＯは、放送コンテンツに含まれた付加情報を表す。ＴＤＯは、放送コンテンツ内で付加情報を適時にトリガリングする役割を持つ。例えば、オーディオプログラムが放送されると、視聴者が好むオーディション参加者の現在順位が放送コンテンツと共に表示される。このとき、オーディション参加者の現在順位の付加情報はＴＤＯになり得る。このようなＴＤＯは視聴者との相互作用によって変更されてもよく、視聴者の意図によって提供されてもよい。
【００３９】
標準ＡＴＳＣ ２．０の要求／応答自動コンテンツ認識モデルにおいて、デジタル放送受信機１０３は、周期的に（例えば、５秒ごとに）コンテンツのシグネチャー（ｓｉｇｎａｔｕｒｅ）を生成し、当該シグネチャーを含む要求を自動コンテンツ認識サーバー１０４に送信するようになっている。自動コンテンツ認識サーバー１０４は、デジタル放送受信機１０３から要求を受けると、応答をする。通信セッションは要求と応答間では開放されない。このモデルで、自動コンテンツ認識サーバー１０４は、クライアントに対するメッセージを開始することができない。
【００４０】
しかし、前述したＥＴＶサービスシステムでは、別途の自動コンテンツ認識サーバーなしでは自動コンテンツ認識機能を提供することができない。そのため、別途の自動コンテンツ認識サーバー無しで受信機で自動コンテンツ認識機能を独立して行う方法が要求される。
【００４１】
図２は、本発明の一実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【００４２】
図２に示す自動コンテンツ認識サービス処理システムによれば、実時間放送に関連したエンハンスメントデータは、自動コンテンツ認識サーバーの介在無しでウォーターマーキングを用いて受信され、双方向サービスを提供することができる。
【００４３】
図２に示す自動コンテンツ認識サービス処理システムは、デジタルサービス信号を生成して送信する送信機２００及び／又はデジタルサービス信号を受信して処理する受信機２１０を含むことができる。送信機２００はコンテンツプロバイダ又は放送局であり、受信機２１０は、デジタルＴＶ受信機のような受信機であってもよい。送信機２００は、生成モジュール２０１、挿入モジュール２０２、及び／又は送信モジュール２０３を含むことができる。受信機２１０は、受信モジュール２１１及び／又は抽出モジュール２１２を含むことができる。
【００４４】
次に、図２に示す自動コンテンツ認識サービス処理システムの各モジュールの動作について説明する。
【００４５】
まず、送信機２００の生成モジュール２０１は、ウォーターマークを生成し、送信されるオーディオ／ビデオコンテンツのフレームに挿入することができる。ウォーターマークは、ウォーターマークが挿入されるコンテンツのチャネルに関する情報及び／又はコンテンツのエンハンスメントデータのＵＲＬ（ｕｎｉｆｏｒｍ  ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｏｒ）情報のようなコンテンツ情報（又は、メタデータ）を含むことができる。送信モジュール２０３は、ウォーターマークの挿入されたコンテンツを受信機２１０に送信することができる。
【００４６】
受信機２１０の受信モジュール２１１は、ウォーターマークの挿入されたコンテンツを受信することができ、コンテンツを抽出モジュール２１２に伝達することができる。抽出モジュール２１２は、伝達されたコンテンツのオーディオ／ビデオフレームから、挿入されたウォーターマークを抽出することができる。
【００４７】
図３は、本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【００４８】
より詳しくは、図３は、自動コンテンツ認識基盤ＥＴＶサービスを支援する放送サービスの構成を示す。
【００４９】
図３に示すように、自動コンテンツ認識サービス処理システムは、コンテンツプロバイダ又は放送局３００、多チャネル放送事業者３０２、セットトップボックス３０３、受信機３０４、アプリケーションＵＲＬルックアップサーバー３０６、アプリケーションサーバー３０７を含むことができる。コンテンツプロバイダ３００は、ウォーターマーク挿入器３０１を含むことができ、受信機３０４は、ウォーターマーク抽出器３０５を含むことができる。アプリケーションＵＲＬルックアップサーバー３０６及びアプリケーションサーバー３０７は物理的に一つのサーバーに従属している。
【００５０】
図３に示す受信機３０４は、自動コンテンツ認識機能を有する。
【００５１】
コンテンツプロバイダ３００は、エンハンスメントデータに関連したメタデータを、実時間で送信されるオーディオ／ビデオコンテンツにウォーターマークの形態で挿入する。オーディオ／ビデオコンテンツを多チャネル放送事業者３０２を通して受信する場合でも、エンハンスメントデータに関連したメタデータがウォーターマークの形態で挿入されたオーディオ／ビデオコンテンツは受信することができる。自動コンテンツ認識機能を持つ受信機３０４は、多チャネル放送事業者３０２を通して受信したオーディオ／ビデオコンテンツからウォーターマークを抽出し、実時間で放送されるプログラムに関連した情報とメタデータを認識することができる。受信機３０４は、インターネットプロトコルネットワークを通してエンハンスメントデータを受信することができる。
【００５２】
次に、図３に示す各構成要素の動作について説明する。
【００５３】
放送局３００は、コンテンツを識別するためのコンテンツＩＤのようなエンハンスメントデータと関連したメタデータをオーディオ／ビデオコンテンツにウォーターマークの形態で挿入する。より具体的に、ウォーターマーク挿入器３０１は、オーディオ／ビデオコンテンツにおいてウォーターマークが適切に挿入される領域を検索し、ウォーターマークを検索された領域に挿入する。
【００５４】
自動コンテンツ認識機能を持つ受信機３０４は、ウォーターマークの挿入されたオーディオ／ビデオコンテンツを、多チャネル放送事業者３０２及びセットトップボックス３０３を通して受信し、オーディオ／ビデオコンテンツからウォーターマークを抽出し、エンハンスメントデータと関連したメタデータを取得することができる。より具体的に、受信機３０４のウォーターマーク抽出器３０５は、オーディオ／ビデオコンテンツからウォーターマークの挿入された領域を検索し、検索された領域に挿入されているウォーターマークを抽出する。
【００５５】
受信機３０４は、抽出されたウォーターマークから取得したメタデータを用いて実時間放送プログラムに関連したエンハンスメントデータをダウンロードできる。より具体的に、受信機３０４は、インターネットプロトコルネットワークを通してアプリケーションＵＲＬルックアップサーバー３０６に接続し、クエリによる関連アプリケーションのＵＲＬを受信することができる。アプリケーションのＵＲＬによって、受信機３０４は、アプリケーションを管理するアプリケーションＵＲＬルックアップサーバー３０６に接続し、アプリケーションＵＲＬルックアップサーバー３０６から、アプリケーションに従属したエンハンスメントデータをダウンロードすることができる。
【００５６】
図４は、本発明の一実施例に係る受信機の構造を示す図である。
【００５７】
具体的に、図４は、ウォーターマーキングを用いて自動コンテンツ認識基盤ＥＴＶサービスを支援する受信機の構成の一例を示す。
【００５８】
図４に示すように、本発明の一実施例に係る自動コンテンツ認識基盤ＥＴＶサービスを支援する受信機は、入力データプロセッサ、ＡＴＳＣメインサービスプロセッサ、ＡＴＳＣ ＭＨ（ｍｏｂｉｌｅ  ｈａｎｄｈｅｌｄ）サービスプロセッサ、及び／又は自動コンテンツ認識サービスプロセッサを含むことができる。入力データプロセッサは、チューナー／復調器４００及び／又は残留側波帯デコーダ４０１を含むことができる。ＡＴＳＣメインサービスプロセッサは、トランスポートプロトコル（ＴＰ）デマルチプレクサ４０２、非実時間ガイド情報プロセッサ４０３、ＤＳＭ−ＣＣ（ｄｉｇｉｔａｌ  ｓｔｏｒａｇｅ  ｍｅｄｉａ  ｃｏｍｍａｎｄａｎｄ  ｃｏｎｔｒｏｌ）アドレス指定可能セクションパーサー４０４、ＩＰ／ＵＤＰ（ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｖｉｄｅｒ／ｕｓｅｒ  ｄａｔａｇｒａｍ  ｐｒｏｔｏｃｏｌ）パーサー４０５、ＦＬＵＴＥ（ｆｉｌｅ  ｄｅｌｉｖｅｒｙ  ｏｖｅｒ  ｕｎｉｄｉｒｅｃｔｉｏｎａｌ  ｔｒａｎｓｐｏｒｔ）パーサー４０６、メタデータモジュール４０７、ファイルモジュール４０８、ＥＳＧ（ｅｌｅｃｔｒｏｎｉｃ  ｓｅｒｖｉｃｅ  ｇｕｉｄｅ）／ＤＣＤ（ｄａｔａ  ｃａｒｒｉｅｒ  ｄｅｔｅｃｔ）ハンドラー４０９、記憶制御モジュール４１０、ファイル／トランスポートプロトコルスイッチ４１１、再生制御モジュール４１２、第１記憶装置４１３、インターネットプロトコルパケット記憶制御モジュール４１４、インターネット接続制御モジュール４１５、インターネットプロトコルインターフェース４１６、ライブレコーディングスイッチ４１７、ファイル（オブジェクト）デコーダ４１８、トランスポートプロトコル／ＰＥＳ（ｐａｃｋｅｔｉｚｅｄ  ｅｌｅｍｅｎｔａｒｙ  ｓｔｒｅａｍ）デコーダ４２０、ＰＳＩ（ｐｒｏｇｒａｍ  ｓｐｅｃｉｆｉｃ  ｉｎｆｏｒｍａｔｉｏｎ）／ＰＳＩＰ（ｐｒｏｇｒａｍ  ａｎｄ  ｓｙｓｔｅｍ  ｉｎｆｏｒｍａｔｉｏｎ  ｐｒｏｔｏｃｏｌ）デコーダ４２１、及び／又はＥＰＧ（ｅｌｅｃｔｒｏｎｉｃ  ｐｒｏｇｒａｍｇ  ｕｉｄｅ）ハンドラー４２２を含むことができる。ＡＴＳＣ ＭＨサービスプロセッサは、メイン／ＭＨ／非実時間スイッチ４１９、ＭＨベースバンドプロセッサ４２３、ＭＨ物理的適応プロセッサ４２４、インターネットプロトコルスタック４２５、ファイルハンドラー４２６、ＥＳＧハンドラー４２７、第２記憶装置４２８、及び／又はストリーミングハンドラー４２９を含むことができる。自動コンテンツ認識サービスプロセッサは、メイン／ＭＨ／非実時間スイッチ４１９、オーディオ／ビデオデコーダ４３０、オーディオ／ビデオ処理モジュール４３１、外部入力ハンドラー４３２、ウォーターマーク抽出器４３３、及び／又はアプリケーション４３４を含むことができる。
【００５９】
次に、各プロセッサの各モジュールの動作について説明する。
【００６０】
入力データプロセッサで、チューナー／復調器４００は、アンテナから受信した放送信号をチューニング及び復調することができる。この過程によって、残留側波帯シンボルを抽出することができる。残留側波帯デコーダ４０１は、チューナー／復調器４００によって抽出された残留側波帯シンボルをデコーティングすることができる。
【００６１】
残留側波帯デコーダ４０１は、デコーティングによるＡＴＳＣメインサービスデータ及びＭＨサービスデータを出力することができる。ＡＴＳＣメインサービスデータはＡＴＳＣメインサービスプロセッサに伝達されて処理され、ＭＨサービスデータはＡＴＳＣ ＭＨサービスプロセッサに伝達されて処理されうる。
【００６２】
ＡＴＳＣメインサービスプロセッサは、ＭＨ信号を除くメインサービスデータを自動コンテンツ認識サービスプロセッサに伝達するためにメインサービス信号を処理することができる。トランスポートプロトコルデマルチプレクサ４０２は、残留側波帯信号を介して送信されたＡＴＳＣメインサービスデータの送信パケットを逆多重化して他の処理モジュールに伝達することができる。すなわち、トランスポートプロトコルデマルチプレクサ４０２は、放送信号の要素がそれぞれ放送受信機のモジュールによって処理されるように、送信パケットに含まれた様々な情報を逆多重化して伝達することができる。逆多重化されたデータは、実時間ストリーム、ＤＳＭ−ＣＣアドレス指定可能セクション、及び／又は非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを含むことができる。より具体的に、図４に示すように、トランスポートプロトコルデマルチプレクサ４０２は、実時間ストリームをライブレコーディングスイッチ４１７に出力でき、ＤＳＭ−ＣＣアドレス指定可能セクションをＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４に出力でき、非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを非実時間ガイド情報プロセッサ４０３に出力することができる。
【００６３】
非実時間ガイド情報プロセッサ４０３は、トランスポートプロトコルデマルチプレクサ４０２から非実時間サービステーブル／Ａ／９０＆９２シグナリングテーブルを受信し、ＦＬＵＴセッション情報を抽出してＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４に伝達することができる。ＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４は、トランスポートプロトコルデマルチプレクサ４０２からＤＳＭ−ＣＣアドレス指定可能セクションを受信し、非実時間ガイド情報プロセッサ４０３からＦＬＵＴセッション情報を受信し、ＤＳＭ−ＣＣアドレス指定可能セクションを処理することができる。ＩＰ／ＵＤＰパーサー４０５は、ＤＳＭ−ＣＣアドレス指定可能セクションパーサー４０４からデータ出力を受信し、ＩＰ／ＵＤＰによって送信されたＩＰデータグラムをパーシングすることができる。ＦＬＵＴＥパーサー４０６は、ＩＰ／ＵＤＰパーサー４０５から出力されたデータを受信し、ＡＬＣ（ａｓｙｎｃｈｒｏｎｏｕｓ  ｌａｙｅｒｅｄ  ｃｏｄｉｎｇ）オブジェクトの形態で送信されたデータサービスを送信するためのＦＬＵＴＥデータを処理することができる。メタデータモジュール４０７及びファイルモジュール４０８は、ＦＬＵＴＥパーサー４０６から出力されたデータを受信し、メタデータ及び復元されたファイルを処理することができる。ＥＳＧ／ＤＣＤハンドラー４０９は、メタデータモジュール４０７から出力されたデータを受信し、放送プログラムに関連した電子サービスガイド及び／又は下りリンクチャネル記述子を処理することができる。復旧されたファイルは、レファレンスフィンガープリント及びＡＴＳＣ ２．０コンテンツのようなファイルオブジェクトの形態で記憶制御モジュール４１０に伝達されうる。ファイルオブジェクトは、記憶制御モジュール４１０によって処理され、正常ファイル及びトランスポートプロトコルファイルに分離されて第１記憶装置４１３に記憶されうる。再生制御モジュール４１２は、記憶されたファイルオブジェクトを更新し、ファイルオブジェクトをファイル／トランスポートプロトコルスイッチ４１１に伝達して、正常ファイル及びトランスポートプロトコルファイルをデコーティングすることができる。ファイル／トランスポートプロトコルスイッチ４１１は、正常ファイル及びトランスポートプロトコルファイルが互いに異なる経路を通じてデコーティングされるように、正常ファイルはファイルデコーダ４１８に伝達し、トランスポートプロトコルファイルはライブレコーディングスイッチ４１７に伝達する。
【００６４】
ファイルデコーダ４１８は、正常ファイルをデコーティングして自動コンテンツ認識サービスプロセッサに伝達することができる。デコーティングされた正常ファイルは、自動コンテンツ認識サービスプロセッサのメイン／ＭＨ／非実時間スイッチ４１９に伝達することができる。トランスポートプロトコルファイルは、ライブレコーディングスイッチ４１７の制御下に、トランスポートプロトコル／ＰＥＳデコーダ４２０に伝達することができる。トランスポートプロトコル／ＰＥＳデコーダ４２０は、トランスポートプロトコルファイルをデコーティングし、ＰＳＩ／ＰＳＩＰデコーダ４２１は、デコーティングされたトランスポートプロトコルファイルを再びデコーティングする。ＥＰＧハンドラー４２２は、デコーティングされたトランスポートプロトコルファイルを処理し、ＡＴＳＣによってＥＰＧサービスを処理することができる。
【００６５】
ＡＴＳＣ ＭＨサービスプロセッサは、ＡＴＳＣ ＭＨサービスデータを自動コンテンツ認識サービスプロセッサに送信するためにＭＨ信号を処理することができる。より具体的に、ＭＨベースバンドプロセッサ４２３は、ＡＴＳＣ ＭＨサービスデータを送信に適したパルス波形に切り替えることができる。ＭＨ物理的適応プロセッサ４２４は、ＡＴＳＣ ＭＨサービスデータをＭＨ物理的階層に適した形態として処理することができる。
【００６６】
インターネットプロトコルスタック４２５は、ＭＨ物理的適応プロセッサ４２４から出力されたデータを受信し、インターネット送信／受信のための通信プロトコルによって処理することができる。ファイルハンドラー４２６は、インターネットプロトコルスタック４２５から出力されたデータを受信し、応用階層のファイルを処理することができる。ＥＳＧハンドラー４２７は、ファイルハンドラー４２６から出力されたデータを受信し、モバイルＥＳＧを処理することができる。また、第２記憶装置４２８は、ファイルハンドラー４２６から出力されたデータを受信し、ファイルオブジェクトを記憶することができる。また、インターネットプロトコルスタックモジュール４２５から出力されたデータの一部は、ＡＴＳＣによるモバイルＥＳＧサービスの代わりに受信機の自動コンテンツ認識サービスのためのデータになり得る。この場合、ストリーミングハンドラー４２９は、ＲＴＰ（ｒｅａｌ−ｔｉｍｅ  ｔｒａｎｓｐｏｒｔ  ｐｒｏｔｏｃｏｌ）を通して受信されたリアルストリーミングを処理して自動コンテンツ認識サービスプロセッサに伝達することができる。
【００６７】
自動コンテンツ認識サービスプロセッサのメイン／ＭＨ／非実時間スイッチ４１９は、ＡＴＳＣメインサービスプロセッサ及び／又はＡＴＳＣ ＭＨサービスプロセッサから出力された信号を受信することができる。オーディオ／ビデオデコーダ４３０はメイン／ＭＨ／非実時間スイッチ４１９から受信された圧縮オーディオ／ビデオデータをデコーティングすることができる。デコーティングされたオーディオ／ビデオデータは、オーディオ／ビデオ処理モジュール４３１に伝達できる。
【００６８】
外部入力ハンドラー４３２は、外部入力を通して受信されたオーディオ／ビデオコンテンツを処理してオーディオ／ビデオ処理モジュール４３１に送信することができる。
【００６９】
オーディオ／ビデオ処理モジュール４３１は、オーディオ／ビデオデコーダ４３０及び／又は外部入力ハンドラー４３２から受信されたオーディオ／ビデオデータを処理してスクリーンに表示することができる。この場合、ウォーターマーク抽出器４３３は、オーディオ／ビデオデータからウォーターマークの形態で挿入されたデータを抽出することができる。抽出されたウォーターマークデータは、アプリケーション４３４に伝達することができる。アプリケーション４３４は、自動コンテンツ認識機能に基づくエンハンスメントサービスを提供し、放送コンテンツを確認し、そこに関連したエンハンスメントデータを提供することができる。アプリケーション４３４がエンハンスメントデータをオーディオ／ビデオ処理モジュール４３１に伝達すると、オーディオ／ビデオ処理モジュール４３１は、受信したオーディオ／ビデオデータを処理して画面に表示することができる。
【００７０】
図５は、本発明の一実施例に係る自動コンテンツ認識サービス処理システムの構造を示す図である。
【００７１】
より具体的に、図５は、受信機５００がセットトップボックスのような外部装置の外部入力を通して地上波チャネルを受信すると、ウォーターマークを用いてプログラム情報を得るための動作を示す。
【００７２】
図５に示す自動コンテンツ認識サービス処理システムは、受信機５００、ＣＥサーバー５０１、放送局又はコンテンツプロバイダ５０２、アプリケーションサーバー５０３を含むことができる。受信機５００は、オーディオ／ビデオプロセッサ５１０、ウォーターマーク抽出器５２０、応用モジュール５３０を含むことができる。オーディオ／ビデオプロセッサ５１０は、ウォーターマーキングマネジャー５１１を含むことができる。また、受信機５００は自動コンテンツ認識機能を持つことができる。
【００７３】
オーディオ／ビデオプロセッサ５１０は、外部入力を通して受信したオーディオ／ビデオコンテンツをウォーターマーク抽出器５２０に伝達し、ウォーターマーク抽出器５２０は、オーディオ／ビデオコンテンツからウォーターマークの形態で挿入されたデータを抽出し、アプリケーションサーバー５０３に接続することができる。このとき、ＣＥサーバー５０１は、ウォーターマーキング関連モジュール及びマイクロコードを管理することができる。
【００７４】
本発明の一実施例に係るマイクロコードとは、オーディオ／ビデオコンテンツに挿入されたウォーターマークを抽出するためのコードを指し、オーディオ／ビデオデコーダチップ及び／又は未加工データ処理チップによって動的にダウンロードすることができる。受信機は、必要によって、一つ又は複数のマイクロコードを圧縮及び記憶してもよく、ダウンロードインターフェースを介して一つ又は複数のマイクロコードをダウンロードしてもよい。ダウンロードインターフェースはチップ種類によって別々に具現されてもよい。
【００７５】
次に、図５に示した各構成要素の動作について説明する。
【００７６】
受信機５００のウォーターマーク抽出器５２０は、オーディオコンテンツ又はビデオコンテンツからウォーターマークを抽出したり、オーディオコンテンツ及びビデオコンテンツを用いてウォーターマークを抽出することができる。抽出されたウォーターマークは、チャネル情報及び／又はコンテンツ情報を含むことができる。コンテンツ情報は、ＡＴＳＣ ２．０サービスで使われるコンテンツに関する情報を含むことができる。
【００７７】
応用モジュール５３０は、チャネルと関連したコンテンツ及び／又はウォーターマークから抽出されたチャネル情報及びコンテンツ情報に基づくメタデータを送信するためのチャネルに同調してコンテンツ情報を受信することができる。また、応用モジュール５３０は、インターネットプロトコルを通してチャネルと関連したコンテンツ及び／又はメタデータを受信することができる。本発明の一実施例によれば、チャネルは、ＡＴＳＣメッセージハンドラーチャネルを含むことができる。
【００７８】
ＣＥサーバー５０１は、ウォーターマーキングと関連したマイクロコード及び／又はソフトウェアを管理及び更新することができる。すなわち、ＣＥサーバー５０１は、放送局５００のプロトコルに基づいて関連のマイクロコード及び／又はソフトウェアを続けて追加、削除、又は更新することができる。受信機５００から要求が受信されたり、又はＣＥサーバー５０１が更新されると、ＣＥサーバー５０１は受信機５００に、要求が受信されたりＣＥサーバー５０１が更新されたということを知らせ、新しいコードをダウンロードする。
【００７９】
ウォーターマーク抽出器５２０は、受信機５００のチップ上で動作するマイクロコード又はソフトウェアモジュールとして具現することができる。新しいマイクロコード又はソフトウェアモジュールはＣＥサーバー５０１から続けてダウンロードすることができる。
【００８０】
図６乃至図８は、本発明の一実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【００８１】
図６乃至図８は、ビデオデコーダ及び／又はオーディオデコーダのチップでマイクロコードに基づいて実時間でコンテンツに挿入されたウォーターマークを抽出し、ウォーターマークに基づいてコンテンツを認識する受信機の構造を示す。次に、本発明の実施例を、図６乃至図８を参照して説明する。
【００８２】
図６は、本発明の一実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【００８３】
図６に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン６００、リモコン受信器６０１、ＵＩ（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）モジュール６０２、ネットワークインターフェース６０３、マイクロコードダウンローダ６０４、ウェブブラウザ６０５、トリガープロセッサ６０６、マイクロプロセッサ６０７、マイクロコードインターフェース６０８、オーディオデコーダ６０９、ビデオデコーダ６１０、グラフィックプロセッサ６１１、アプリケーション６１２、スピーカ６１３、ディスプレイモジュール６１４、アンテナ６１５、チューナー６１６、復調器６１７、及び／又はシステムデコーダ６１８を含むことができる。システムデコーダ６１８は、ＭＰＥＧ−２ ＴＳデコーダであってもよい。復調器６１７は、残留側波帯復調器又はＤＶＢ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｂｒｏａｄｃａｓｔｉｎｇ）復調器であってもよい。それぞれのオーディオデコーダ６０９及びビデオデコーダ６１０は、マイクロコードインターフェース６０８を含むことができる。
【００８４】
図６に示すように、ＥＴＶサービス受信装置は、ビデオデコーダ又はオーディオデコーダのチップ上で実行されるマイクロコードを用いて、実時間で地上波を通して送信されるオーディオ／ビデオコンテンツからウォーターマークを抽出し、抽出されたウォーターマークをアプリケーションに送信し、エンハンスメントサービスを受信することができる。マイクロコードは、マイクロコードダウンローダ６０４を通して外部装置からダウンロードすることができる。マイクロコードは、マイクロコードインターフェース６０８を通してオーディオデコーダ６０９又はビデオデコーダ６１０のチップ上で動的にダウンロードできる。
【００８５】
次に、図６に示すＥＴＶサービス受信装置の構成要素間の動作について説明する。
【００８６】
リモコン受信器６０１は、リモコン６００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール６０２に信号を送信することができる。ＵＩモジュール６０２及び／又はリモコン受信器６０１は、ブラウザキーコードを用いてウェブブラウザ６０５に信号を伝達することができる。ＵＩモジュール６０２を通過した信号は、グラフィックプロセッサ６０１に伝達できる。
【００８７】
チューナー６１６は、アンテナ６１５から受信した信号をチューニングし、復調器６１７は、チューニングされた信号の波形を復元することができる。デコーダ６１８は、復元された信号をデコーティングしてトリガープロセッサ６０６に伝達することができる。トリガープロセッサ６０６は、デコーティングされた信号をトリガーデータとしてウェブブラウザ６０５に送信することができる。
【００８８】
ウェブブラウザ６０５に伝達された信号がマイクロコードダウンローダ６０４に伝達されると、マイクロコードがダウンロードされ、マイクロコードインターフェース６０８に伝達されうる。マイクロコードインターフェース６０８を通過するマイクロコード及びデコーティングされた信号はそれぞれ、オーディオデコーダ６０９及びビデオデコーダ６１０に伝達されるオーディオ信号及びビデオ信号に分離できる。オーディオデコーダ６０９及びビデオデコーダ６１０のマイクロコードインターフェース６０８は、マイクロコードを用いてオーディオ／ビデオコンテンツに挿入されたウォーターマークを抽出することができる。
【００８９】
抽出されたウォーターマークはアプリケーション６１２に伝達でき、オーディオ信号はスピーカ６１３に伝達でき、ビデオ信号は、グラフィックプロセッサ６１１から受信されたグラフィック信号と共にディスプレイモジュール６１４に出力できる。
【００９０】
図７は、本発明の他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【００９１】
図７に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン７００、リモコン受信器７０１、ＵＩモジュール７０２、ネットワークインターフェース７０３、マイクロコードダウンローダ７０４、ウェブブラウザ７０５、トリガープロセッサ７０６、マイクロプロセッサ７０７、マイクロコードインターフェース７０８、オーディオデコーダ７０９、ビデオデコーダ７１０、グラフィックプロセッサ７１１、アプリケーション７１２、スピーカ７１３、ディスプレイモジュール７１４、アンテナ７１５、チューナー７１６、復調器７１７、システムデコーダ７１８、オーディオ後処理プロセッサ＆増幅器７１９、及び／又はビデオディスプレイプロセッサ７２０を含むことができる。本発明の一実施例によれば、システムデコーダ７１８としては、ＭＰＥＧ−２ ＴＳデコーダを含むことができる。本発明の一実施例によれば、復調器７１７としては、残留側波帯復調器及び／又はＤＶＢ復調器を含むことができる。それぞれのオーディオ後処理プロセッサ＆増幅器７１９及びビデオディスプレイプロセッサ７２０は、マイクロコードインターフェース７０８を含むことができる。
【００９２】
図７に示すように、ＥＴＶサービス受信装置は、オーディオデコーダやビデオデコーダのチップの代わりに後処理チップ上で実時間でマイクロコードを用いて、オーディオ／ビデオコンテンツに挿入されるウォーターマークを抽出することができる。本発明の一実施例によれば、後処理チップは、オーディオ後処理プロセッサ＆増幅器７１９及びビデオディスプレイプロセッサ７２０を含むことができる。ＥＴＶサービス受信装置は、抽出されたウォーターマークを用いてオーディオ／ビデオコンテンツを自動で認識することができる。ＥＴＶサービス受信装置は、マイクロコードダウンローダ７０４を通して外部装置からマイクロコードをダウンロードすることができる。また、ＥＴＶサービス受信装置のオーディオ又はビデオ後処理チップは、マイクロコードインターフェース７０８を通してマイクロコードをダウンロードすることができる。
【００９３】
次に、図７に示すＥＴＶサービス受信装置の構成要素間の動作について説明する。
【００９４】
リモコン受信器７０１は、リモコン７００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール７０２に、受信したた信号を送信することができる。ＵＩモジュール７０２及び／又はリモコン受信器７０１は、ブラウザキーコードを用いてウェブブラウザ７０５に信号を伝達することができる。ＵＩモジュール７０２を通過した信号は、グラフィックプロセッサ７１１に伝達できる。
【００９５】
チューナー７１６は、アンテナ７１５から受信した信号をチューニングし、復調器７１７は、チューニングされた信号の波形を復元することができる。デコーダ７１８は、復元された信号をデコーティングしてトリガープロセッサ７０６に伝達することができる。トリガープロセッサ７０６は、デコーティングされた信号をトリガーデータとしてウェブブラウザ７０５に送信することができる。
【００９６】
ウェブブラウザ７０５に伝達された信号がマイクロコードダウンローダ７０４に伝達されると、マイクロコードがダウンロードされ、オーディオ後処理プロセッサ＆増幅器７１８のマイクロコードインターフェース７０８に及び／又はマイクロコードインターフェース７０８を通してビデオディスプレイプロセッサ７２０に伝達されうる。
【００９７】
デコーティングされた信号はそれぞれ、オーディオデコーダ７０９及びビデオデコーダ７１０に伝達されるオーディオ信号及びビデオ信号に分離できる。オーディオデコーダ７０９によってデコーティングされたオーディオ信号は、オーディオ後処理プロセッサ＆増幅器７１９に伝達できる。ビデオデコーダ７１０によってデコーティングされたビデオ信号は、ビデオディスプレイプロセッサ７２０に伝達できる。
【００９８】
オーディオ後処理プロセッサ＆増幅器７１９のマイクロコードインターフェース７０８及び／又はビデオディスプレイプロセッサ７２０のマイクロコードインターフェース７０８を通してオーディオ信号及び／又はビデオ信号を受信すると、オーディオ及び／又はビデオコンテンツに挿入されたウォーターマークを、マイクロコードを用いて抽出することができる。
【００９９】
抽出されたウォーターマークはアプリケーション７１２に伝達でき、オーディオ信号はスピーカ７１３に出力でき、ビデオ信号はディスプレイモジュール７１４に出力できる。
【０１００】
図８は、本発明のさらに他の実施例に係るＥＴＶサービス受信装置の構造を示す図である。
【０１０１】
図８に示す本発明の一実施例に係るＥＴＶサービス受信装置は、リモコン８００、リモコン受信器８０１、ＵＩモジュール８０２、ネットワークインターフェース８０３、マイクロコードダウンローダ８０４、ウェブブラウザ８０５、トリガープロセッサ８０６、マイクロプロセッサ８０７、マイクロコードインターフェース８０８、オーディオデコーダ８０９、ビデオデコーダ８１０、グラフィックプロセッサ８１１、アプリケーション８１２、スピーカ８１３、ディスプレイモジュール８１４、オーディオ後処理プロセッサ＆増幅器８１５、セットトップボックス８１７、外部入力ハンドラー８１８を含むことができる。外部入力ハンドラー８１８は、ＨＤＭＩ（ｈｉｇｈ  ｄｅｆｉｎｉｔｉｏｎ  ｍｕｌｔｉｍｅｄｉａ  ｉｎｔｅｒｆａｃｅ）を介して外部入力を受信することができる。
【０１０２】
図８に示すように、ＥＴＶサービス受信装置は、オーディオ／ビデオコンテンツが地上波を通して送信されず、セットトップボックス８１７のような外部装置を通して受信されても、マイクロコードを用いてオーディオ／ビデオコンテンツを自動で認識し、ＥＴＶサービスを受信することができる。すなわち、オーディオ／ビデオコンテンツが外部装置から受信されると、ＥＴＶサービス受信装置は実時間でマイクロコードを用いてオーディオ／ビデオコンテンツからウォーターマークを抽出することができる。このとき、ビデオ又はオーディオ後処理チップは、マイクロコードインターフェース８０８を通してマイクロコードをダウンロードすることができる。抽出されたウォーターマークはアプリケーション８１２に伝達され、受信機は、ウォーターマークに含まれたデータを用いてエンハンスメントデータを取得することができる。本発明の一実施例によれば、後処理チップは、オーディオ後処理プロセッサ＆増幅器８１５及び／又はビデオディスプレイプロセッサ８１６を含むことができる。
【０１０３】
次に、図８に示したＥＴＶサービス受信装置の構成要素間の動作について説明する。
【０１０４】
リモコン受信器８０１は、リモコン８００から赤外線を介して視聴者の要求信号を受信し、キーコードを用いてＵＩモジュール８０２に、受信された信号を送信することができる。ＵＩモジュール８０２及び／又はリモコン受信器８０１は、ブラウザキーコードを用いてウェブブラウザ８０５に信号を伝達することができる。ウェブブラウザ８０５に伝達された信号がマイクロコードダウンローダ８０４に伝達されると、ＥＴＶサービス受信装置は、マイクロコードをダウンロードしてマイクロコードインターフェース８０８に伝達することができる。ＵＩモジュール８０２を通過した信号は、グラフィックプロセッサ８１１に伝達できる。
【０１０５】
セットトップボックスを通して外部装置から受信された信号は、外部入力ハンドラー８１８を通してデコーティングされず、トリガープロセッサ８０６を通してトリガーデータとして処理され、ウェブブラウザ８０５に伝達できる。又は、外部入力ハンドラー８１８を通過した外部入力信号はそれぞれ、オーディオデコーダ８０９及びビデオデコーダ８１０に伝達されるオーディオ信号及びビデオ信号に分離できる。このとき、オーディオデコーダ８０９はオーディオ信号をデコーティングすることができる。
【０１０６】
デコーティングされたオーディオ信号は、オーディオ後処理プロセッサ＆増幅器８１５に伝達でき、デコーティングされたビデオ信号は、ビデオディスプレイプロセッサ８１６に伝達できる。オーディオ後処理プロセッサ＆増幅器８１９及びビデオディスプレイプロセッサ８１６のマイクロコードインターフェース８０８は、マイクロコードを用いて、オーディオ及び／又はビデオコンテンツに挿入されたウォーターマークを抽出することができる。
【０１０７】
抽出されたウォーターマークは、アプリケーション８１２に伝達でき、オーディオ信号はスピーカ８１３に出力でき、ビデオ信号はディスプレイモジュール８１４に出力できる。
【０１０８】
図９は、本発明の一実施例に係るデジタルウォーターマーキング技術のフローを示す図である。
【０１０９】
デジタルウォーターマーキングは、除去し難い方式でデジタル信号に情報を埋め込む過程である。例えば、信号は、音声、画面、又は映像でありうる。信号が複製されると、情報も複製された信号に乗せられる。一つの信号は同時に複数の異なったウォーターマークを乗せることができる。
【０１１０】
視覚的ウォーターマーキングで、情報は画面又は映像において可視的である。一般に、情報は、メディアの所有者を確認するテキストやロゴである。ＴＶ放送局が、送信される映像の隅部にロゴを追加すると、これもまた視覚的ウォーターマークである。
【０１１１】
視覚的ウォーターマーキングで、情報はデジタルデータとして音声、画面、又は映像に追加されるが、若干の情報が隠されているということを感知できても、その自体は認知されない。ウォーターマークは広く使われるためのものであるから、検索しやすくなっていてもよく、ある団体がデジタル信号に埋め込まれた秘密メッセージをやりとりするステガノグラフィの形態であってもよい。いずれの場合であれ、視覚的ウォーターマーキングと同様に、目的は、所有主や他の記述情報を除去し難い方式で信号に付けることである。隠された埋め込まれた情報を個人間の通信を切り替えるための手段として使用することもできる。
【０１１２】
ウォーターマーキングの一つの応用としては、デジタルメディアの非承認複製を防止又は阻止するための著作権保護システムがある。この用途では、複製装置が複製前に信号からウォーターマークを検索し、ウォーターマークのコンテンツによって複製をするか否かを決定する。他の応用としては、ソース追跡がある。ウォーターマークは配布の度にデジタル信号に埋め込まれる。著作物の複製物が後で発見されると、ウォーターマークが複製物から検索され、配布のソースが知らされる。報道によれば、この技術は、不正に複製された映画のソースを見つけるために用いられてきた。
【０１１３】
記述情報を持つデジタル写真のアノテーションは、視覚的ウォーターマーキングの更に他の応用である。
【０１１４】
デジタルメディアに対するファイル形式の一部がメタデータと呼ばれる付加情報を含むことができるのに対し、デジタルウォーターマーキングは、データが信号自体で伝達されるという点で異なる。
【０１１５】
一部の文脈でデジタルウォーターマークという語句がウォーターマーキングされた信号とカバー信号間の差異を意味することもあるが、埋め込まれる情報は、デジタルウォーターマークと呼ばれる。ウォーターマークが埋め込まれる信号は、ホスト信号と呼ばれる。
【０１１６】
ウォーターマーキングシステムは、主に、埋め込み９０１、攻撃９０２、検出又は抽出９０３の３つの別個の段階に区別される。
【０１１７】
埋め込み９０１で、アルゴリズムは、ホスト及び埋め込まれるデータを取り込み、ウォーターマーキングされた信号を生成する。
【０１１８】
ウォーターマーキングされた信号は送信又は記憶されるが、主に他の人に送信される。この人が変更を加えると、これは攻撃９０２と呼ばれる。変更が悪意的でないこともあるが、攻撃というものは、著作権侵害者が変更によってデジタルウォーターマークを除去しようとする著作権保護アプリケーションから発生する。色々な変更がありうる。例えば、データの非可逆圧縮、イメージ又は映像のクロッピング、又は意図的に加える雑音などがありうる。
【０１１９】
検出９０３は、攻撃された信号からウォーターマークを抽出するために、攻撃された信号に適用されるアルゴリズムである。信号が送信中に変更されなかった場合は、ウォーターマークは依然として存在し、抽出されることが可能である。堅固なウォーターマーキングアプリケーションでは、変更が強力であっても抽出アルゴリズムはウォーターマークを正しく生成できるはずである。脆弱なウォーターマーキングでは、信号にいかなる変更が加えられても抽出アルゴリズムは失敗するだろう。
【０１２０】
埋め込まれた情報が数回の変形によって低下してもマーキングされた信号から確実に検出されることが可能であれば、デジタルウォーターマークは変形に対して堅固であるという。典型的なイメージ低下は、ＪＰＥＧ圧縮、回転（ｒｏｔａｔｉｏｎ）、クロッピング、付加的な雑音及び量子化である。ビデオコンテンツにおいて、一時的変更及びＭＰＥＧ圧縮が主としてここに含まれる。ウォーターマーキングされたコンテンツが本来のウォーターマーキングされていないコンテンツと知覚的に同等であると、ウォーターマークは感知できないという。一般に、堅固なウォーターマークや感知できないウォーターマークは生成しやすいが、堅固で且つ感知できないウォーターマークは生成し難いと知られている。堅固で且つ感知できないウォーターマークは、デジタルコンテンツの保護のための道具、例えば、専門的なビデオコンテンツにおいて埋め込まれた「複製不許可」フラグとして提案された。
【０１２１】
デジタルウォーターマーキング技術は、いくつかの方式に分類できる。
【０１２２】
第一に、ウォーターマークは、若干の変形後に検出されないと脆弱であるという（堅固性）。脆弱なウォーターマークは通常、タンパー検出完全性立証のために使われる。明らかに明確な原著作物に加えた変形は、普通、ウォーターマークと呼ばれず、一般化したバーコードと呼ばれる。陽性変形には抵抗力があるが、悪性変形後には検出に失敗するウォーターマークは、やや脆弱であるという。やや脆弱なウォーターマークは、通常、悪性変形を検出するために使われる。指定された部類の変形に抵抗力があるウォーターマークは堅固であるという。堅固なウォーターマークは、複製物を伝達し、制御情報に接続するために、複製防止アプリケーションで用いることができる。
【０１２３】
第二に、元来のカバー信号とマーキングされた信号とが知覚的に区別されないと（区別され難いと）、ウォーターマークは感知できないという（知覚性）。マーキングされた信号での存在が明らかであるが、非侵害的であると、ウォーターマークは感知できるという。
【０１２４】
第三に、容量に関して、埋め込まれたメッセージの長さは、２種類の異なる主部類(main classes)のウォーターマーキング方式を決定する。
【０１２５】
メッセージは概念上０ビットの長さを有し、システムは、マーキングされたオブジェクトからウォーターマークの存在有無を検出するために設計される。この種のウォーターマーキング方式は、主に、イタリック０ビット又はイタリック存在ウォーターマーキング方式と呼ばれる。しばしばこの種のウォーターマーキング方式は、１がウォーターマークの存在を示すため（０は不在）、１ビットウォーターマークと呼ばれる。
【０１２６】
メッセージはｎビット長のストリーム（ｎ＝｜ｍ｜又はＭ＝｛０，１｝ｎ）であり、ウォーターマークで変調される。この種の方式は主に、多重ビットウォーターマーキング又は非零ビットウォーターマーキング方式と呼ばれる。
【０１２７】
第四に、埋め込み段階にはいくつかの方式がある。マーキングされた信号が付加的な変形によって得られると、ウォーターマーキング方法は帯域拡散と呼ばれる。帯域拡散ウォーターマークは適当に堅固であると知られているが、ホスト干渉によって低い情報容量を有すると知られている。マーキングされた信号が量子化によって得られると、ウォーターマーキング方法は、量子化タイプのものという。量子化ウォーターマークは低い堅固性を有するが、ホスト干渉の排除によって高い情報容量を有する。マーキングされた信号が帯域拡散法と類似の付加的な変形によって埋め込まれるが、特別に空間領域で埋め込まれると、ウォーターマーキング方法は振幅変調と呼ばれる。図１０は、本発明の一実施例に係る自動コンテンツ認識クエリ結果フォーマットを示す図である。
【０１２８】
既存の自動コンテンツ認識サービス処理システムによれば、放送局が実時間サービスのためのコンテンツとＥＴＶサービスのためのエンハンスメントデータを共に送信し、ＴＶ受信機がコンテンツとＥＴＶサービスを受信する場合、実時間サービスのためのコンテンツは受信できるが、エンハンスメントデータは受信できない。
【０１２９】
この場合、本発明の一実施例によれば、インターネットプロトコルネットワークを用いた独立したインターネットプロトコルシグナリングチャネルを用いて既存の自動コンテンツ認識処理システムの問題を解決することができる。すなわち、ＴＶ受信機は、多チャネル放送事業者を通して実時間サービスのためのコンテンツを受信することができ、独立したインターネットプロトコルシグナリングチャネルを通してエンハンスメントデータを受信することができる。
【０１３０】
この場合、本発明の一実施例によれば、インターネットプロトコルシグナリングチャネルは、ＰＳＩＰストリームがバイナリストリームの形態で伝達及び処理されるように構成される。このとき、インターネットプロトコルシグナリングチャネルは、プル（ｐｕｌｌ）方法やプッシュ（ｐｕｓｈ）方法を利用するように構成される。
【０１３１】
プル方法のインターネットプロトコルシグナリングチャネルは、ＨＴＴＰ要求／応答方法によって構成されうる。ＨＴＴＰ要求／応答方法によれば、ＰＳＩＰバイナリストリームは、ＨＴＴＰ要求信号に対するＨＴＴＰ応答信号に含まれ、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬを通して送信されうる。この場合、ポーリングサイクルは、自動コンテンツ認識クエリ結果として伝達されたメタデータでＰｏｌｌｉｎｇ＿ｃｙｃｌｅによって周期的に要求されうる。また、更新される時間及び／又は周期に関する情報は、シグナリングチャネルに含まれて送信されうる。この場合、受信機は、インターネットプロトコルシグナリングチャネルから受信した更新時間及び／又は周期情報に基づいてサーバーにシグナリング情報を要求することができる。
【０１３２】
プッシュ方法のインターネットプロトコルシグナリングチャネルは、ＸＭＬＨＴＴＰＲｅｑｕｅｓｔアプリケーションプログラミングインターフェースを用いて構成されうる。ＸＭＬＨＴＴＰＲｅｑｕｅｓｔアプリケーションプログラミングインターフェースが用いられると、サーバーから非同期で最新情報を受信することができる。これは、受信機にとっては、ＸＭＬＨＴＴＰＲｅｑｕｅｓｔオブジェクトを通してサーバーに非周期的にシグナリング情報を要求する方法であり、サーバーにとっては、シグナリング情報が変更された場合は、要求に応答してこのチャネルを通してシグナリング情報を提供する方法である。セッションの待ち時間に制限があると、セッションタイムアウト応答が生成され、受信機はセッションタイムアウト応答を認識し、シグナリング情報を再び要求し、受信機とサーバー間でシグナリングチャネルを維持できる。
【０１３３】
インターネットプロトコルシグナリングチャネルを通してエンハンスメントデータを受信するために、受信機はウォーターマーキングとフィンガープリンティングを用いて動作することができる。フィンガープリンティングは、コンテンツ購買者に関する情報をコンテンツプロバイダの代わりにコンテンツに挿入する技術のことを指す。フィンガープリンティングが用いられると、受信機は、コンテンツを確認するために参照データベースを検索することができる。コンテンツを確認した結果は、自動コンテンツ認識クエリ結果と呼ばれる。自動コンテンツ認識クエリ結果は、ＴＶ視聴者に提供されたクエリを含み、自動コンテンツ認識機能を実行するためにクエリの情報に対して対応することができる。受信機は、自動コンテンツ認識クエリ結果に基づいてＥＴＶサービスを提供することができる。
【０１３４】
自動コンテンツ認識クエリ結果に関する情報は、ウォーターマーク基盤自動コンテンツ認識システム上でオーディオ／ビデオコンテンツに挿入／埋め込みされて送信されうる。受信機は、ウォーターマーク抽出器を通して自動コンテンツ認識クエリ結果情報を抽出及び取得した後、ＥＴＶサービスを提供することができる。この場合、ＥＴＶサービスを別途の自動コンテンツ認識サーバー無しで提供することができ、インターネットプロトコルネットワークを通したクエリは省略することができる。
【０１３５】
図１０は、本発明の一実施例に係る自動コンテンツ認識クエリ結果を示すＸＭＬ方式の図である。図１０に示すように、自動コンテンツ認識クエリ結果のＸＭＬフォーマットは、結果コード部１０１０を含むことができ、自動コンテンツ認識クエリ結果タイプ１０００は、コンテンツＩＤ部１００１、ＮＴＰ（ｎｅｔｗｏｒｋ  ｔｉｍｅ  ｐｒｏｔｏｃｏｌ）タイムスタンプ部１００２、シグナリングチャネル情報部１００３、サービス情報部１００４、その他識別子部１００５を含むことができる。シグナリングチャネル情報部１００３は、シグナリングチャネルＵＲＬ部１０１３、更新モード部１０２３、ポーリングサイクル部１０３３を含むことができ、サービス情報部１００４は、サービスネーム部１０１４、サービスロゴ部１０２４、サービス記述部１０３４を含むことができる。
【０１３６】
次に、図１０に示す自動コンテンツ認識クエリ結果のＸＭＬ方式の図面を詳しく説明し、ＸＭＬ方式の例を説明する。
【０１３７】
結果コード部１０１０は、自動コンテンツ認識クエリの結果値を示すことができる。これはクエリ成功又は失敗、クエリが失敗すると失敗理由をコード値の形態で示すことができる。例えば、結果コード部１０１０の値が２００であれば、これはクエリが成功し、それに該当するコンテンツ情報が返還されたということを示す。結果コード部１０１０の値が４０４であれば、これは、コンテンツが発見されなかったということを示す。
【０１３８】
コンテンツＩＤ部１００１は、全世界的に唯一にコンテンツを識別するための識別子を示し、サービスを識別するための識別子であるグローバルサービス識別子部を含むことができる。
【０１３９】
ＮＴＰタイムスタンプ部１００２は、自動コンテンツ認識クエリに用いられるサンプルフレーム間隔の特定時点がＮＴＰタイムスタンプの形態で提供されるということを示すことができる。ここで、特定時点は、サンプルフレームの始点又は終点であってもよい。ＮＴＰは、インターネットを通してコンピュータの時間をレファレンスクロックに合わせるためのプロトコルのことをいい、タイムサーバーとコンピューターネットワーク上に分配されたクライアント間の時間同期化のために用いることができる。ＮＴＰがＵＴＣ（ｕｎｉｖｅｒｓａｌ  ｔｉｍｅ  ｃｏｏｒｄｉｎａｔｅｄ）時間を使用し、１０ｍｓの正確度を保障することから、受信機はフレーム同期化動作を正確に処理することができる。
【０１４０】
シグナリングチャネル情報部１００３は、ＥＴＶサービスのためのインターネットプロトコルネットワーク上の独立したシグナリングチャネルのアクセス情報を示すことができる。
【０１４１】
より具体的に、シグナリングチャネル情報部１００３の下位部であるシグナリングチャネルＵＲＬ部１０１３は、シグナリングチャネルのＵＲＬ情報を示すことができる。シグナリングチャネルＵＲＬ部１０１３は、更新モード部１０２３及びポーリングサイクル部１０３３を下位部として含むことができる。更新モード部１０２３は、インターネットプロトコルシグナリングチャネルを通して情報を取得する方法を示す。例えば、プルモードで、受信機は情報を取得するためにプル方法によって周期的にポーリングを行うことができ、プッシュモードで、サーバーはプッシュ方法によって受信機に情報を送信することができる。ポーリングサイクル部１０３３は、更新モード部１０２３がプルモードであればプル方法によって受信機の基本ポーリングサイクル値を示すことができる。そして、受信機は基本ポーリングサイクル値を特定し、任意時間間隔で要求信号をサーバーに送信することで、サーバーが要求によって過負荷となることを防止することができる。
【０１４２】
サービス情報部１００４は、放送チャネルに関する情報を示すことができる。コンテンツＩＤ部１００１は、視聴者によって現在視聴されているサービスの識別子を示すことができ、サービス情報部１００４は、放送チャネルに関する具体的な情報を示すことができる。例えば、サービス情報部１００４が示す具体的な情報は、チャネル名、ロゴ、又はテキスト説明であってもよい。
【０１４３】
より具体的に、サービス情報部１００４の下位部であるサービスネーム部１０１４は、チャネル名を示すことができ、サービスロゴ部１０２４は、チャネルロゴを示すことができ、サービス記述部１０３４は、チャネルテキスト説明を示すことができる。
【０１４４】
次に、本発明の一実施例に係る図１０に示した自動コンテンツ認識クエリ結果の要素のＸＭＬ概要を示す。
【０１４５】
<xs:complexType name="ACR-ResultType">
<xs:sequence>
<xs:element name="ContentID" type="xs:anyURI"/>
<xs:element name="NTPTimestamp" type="xs:unsignedLong"/>
<xs:element name="SignalingChannelInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="SignalingChannelURL" maxOccurs="unbounded">
<xs:complexType>
<xs:simpleContent>
<xs:extension base="xs:anyURI">
<xs:attribute name="UpdateMode">
<xs:simpleType>
<xs:restriction base="xs:string">
<xs:enumeration value="Pull"/>
<xs:enumeration value="Push"/>
</xs:restriction>
</xs:simpleType>
</xs:attribute>
<xs:attribute name="PollingCycle" type="xs:unsignedInt"/>
</xs:extension>
</xs:simpleContent>
</xs:complexType>
</xs:element>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:element name="ServiceInformation">
<xs:complexType>
<xs:sequence>
<xs:element name="ServiceName" type="xs:string"/>
<xs:element name="ServiceLogo" type="xs:anyURI" minOccurs="0"/>
<xs:element name="ServiceDescription" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
</xs:complexType>
</xs:element>
<xs:any namespace="##other" processContents="skip" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
<xs:attribute name="ResultCode" type="xs:string" use="required"/>
<xs:anyAttribute processContents="skip"/>
</xs:complexType>
【０１４６】
図１１は、本発明の一実施例に係るコンテンツＩＤの構造を示す図である。
【０１４７】
図１１は、本発明の一実施例に係るＡＴＳＣ標準に基づくコンテンツＩＤの構文（ｓｙｎｔａｘ）構造を示す。ＡＴＳＣコンテンツＩＤは、受信機によって受信したコンテンツを識別するための識別子として用いることができる。
【０１４８】
ＡＴＳＣ Ｃｏｎｔｅｎｔ Ｉｄｅｎｔｉｆｉｅｒは唯一の周期を有し、ＴＳＩＤ（Ｔｒａｎｓｍｉｔｔｉｎｇ  Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びハウスナンバーで構成された構造である。ハウスナンバーは、ここに制約された通り、ＴＳＩＤの保有者が所望するいずれかのナンバーである。ナンバーは、ＴＳＩＤのそれぞれの値に対して唯一である。ＡＴＳＣ Ｃｏｎｔｅｎｔ Ｉｄｅｎｔｉｆｉｅｒ構造の構文は、図１１に定義した通りである。
【０１４９】
１６ビットの符号無し整数フィールドであるＴＳＩＤは、ｔｒａｎｓｐｏｒｔ＿ｓｔｒｅａｍ＿ｉｄの値を含むだろう。米国においてこの値の割当権限はＦＣＣにある。メキシコ、カナダ、米国に対する範囲は、これら国家間の公式協約によって設定された。他の地域の値は任意の権限によって設定される。
【０１５０】
５ビットの符号無し整数であるｅｎｄ＿ｏｆ＿ｄａｙフィールドは、放送日が終了するＵＴＣでその日の時間と設定されるはずであり、暫くしてｃｏｎｔｅｎｔ＿ｉｄ値がｕｎｉｑｕｅ＿ｆｏｒによって再使用されうる。このフィールドの値は、０乃至２３の範囲にあるだろう。このとき、このフィールドの値は放送局ごとに固定されると予想される。
【０１５１】
９ビットの符号無し整数であるｕｎｉｑｕｅ＿ｆｏｒフィールドは、日数と設定され、最後桁の数が切り上げられ、ｃｏｎｔｅｎｔ＿ｉｄ値が他のコンテンツに再割当されないｅｎｄ＿ｏｆ＿ｄａｙが示す時間に関して測定される。その値は１乃至５１１の範囲にあるだろう。０は禁止されるだろう。５１１は「無期限」という特別な意味がある。このとき、このフィールドの値は、ハウスナンバリング方法が変更される時にのみ変更され、放送局ごとに本質的に固定されると予想される。また、デコーダは、ｕｎｉｑｕｅ＿ｆｏｒフィールドが満了するまで、記憶されたｃｏｎｔｅｎｔ＿ｖａｌｕｅｓを唯一のものと取扱うことができ、これは、記憶された全てのｕｎｉｑｕｅ＿ｆｏｒフィールドが０になるまで、ｅｎｄ＿ｏｆ＿ｄａｙに毎日１ずつ減少させることによって実行できる。
【０１５２】
可変長フィールドであるｃｏｎｔｅｎｔ＿ｉｄフィールドは、ハウスナンバーシステムやＴＳＩＤの値のためのシステムによって識別子の値に設定できる。このような各値は、ｅｎｄ＿ｏｆ＿ｄａｙ及びｕｎｉｑｕｅ＿ｆｏｒフィールドの値によって設定された唯一期間内で他のコンテンツに割り当てることができない。当該識別子は、人が読み取りでき、及び／又は２進である値のいずれかの組合せになることができ、２４２バイトを越えないようにハウスナンバーの形態と完全に一致する必要はない。
【０１５３】
図１２は、本発明の一実施例に係るウォーターマーキングを用いた受信機の動作を示す図である。
【０１５４】
本発明で、自動コンテンツ認識機能を支援するＥＴＶサービスを提供する方法として、ウォーターマーキングを用いた方法が提案される。図１２は、ウォーターマーキングを用いて自動コンテンツ認識機能を実行する受信機のモジュール間の動作を示す図である。
【０１５５】
図１２に示すように、ウォーターマーキングを用いた受信機は、Ｍ／Ｈ受信モジュール１２００、インターネットモジュール１２０１、記憶モジュール１２０２、外部入力モジュール１２０３、ウォーターマーク抽出モジュール１２０４、アプリケーションモジュール１２０５、オーディオ／ビデオ処理モジュール１２０６、表示モジュール１２０７を含むことができる。
【０１５６】
図１２に示すように、受信機は、ウォーターマークを用いてコンテンツプロバイダを認識し、認識されたコンテンツプロバイダによって提供されたエンハンスメントサービスを処理することができる。
【０１５７】
本発明の一実施例に係る受信機において、ウォーターマーク抽出モジュール１２０４は、外部入力を通してＭ／Ｈ受信モジュール１２００によって受信されたオーディオ／ビデオ信号からウォーターマークを抽出し、オーディオ／ビデオ信号に含まれたコンテンツ情報を取得することができる。本発明の一実施例に係るウォーターマークに含み得るコンテンツ情報については後述する。
【０１５８】
抽出されたコンテンツ情報は、アプリケーションモジュール１２０５を通して視聴者に表示することができ、視聴者は、表示されたコンテンツ情報を用いてＭ／Ｈ又はインターネットを通してエンハンスメントサービスのためのエンハンスメントデータを選択的に受信することができる。
【０１５９】
図１２には示していないが、受信されたエンハンスメントデータは、自動コンテンツ認識サービスのために用いられる記憶モジュール１２０２に記憶させることができる。この場合、コンテンツ情報及びメタデータは、記憶モジュール１２０２に記憶され、記憶されたコンテンツ情報及びメタデータは、オーディオ／ビデオ再生時に、関連したエンハンスメントデータを受信するために用いることができる。又は、受信機は、コンテンツプロバイダに接続したり、オーディオ／ビデオ再生時にＭ／Ｈチューニングを通して新しくエンハンスメントデータを受信することができる。
【０１６０】
次に、図１２に示した各モジュールの動作を説明した後、ウォーターマークから抽出できるコンテンツ情報について説明する。
【０１６１】
Ｍ／Ｈ受信モジュール１２００は、Ｍ／Ｈ信号を通してコンテンツプロバイダからエンハンスメント情報を受信することができる。
【０１６２】
インターネットモジュール１２０１は、インターネットを通してコンテンツプロバイダからエンハンスメント情報を受信することができる。
【０１６３】
記憶モジュール１２０１は、オーディオ／ビデオ情報を含むデータ及び／又はコンテンツプロバイダから受信したエンハンスメントデータを記憶することができる。ウォーターマーク抽出モジュール１２０４がウォーターマークを抽出すると、ウォーターマークは特別メタデータとして表示され、記憶装置に記憶されうる。
【０１６４】
外部入力モジュール１２０３は、外部入力を通してコンテンツプロバイダのオーディオ／ビデオ信号を受信することができる。
【０１６５】
ウォーターマーク抽出モジュール１２０４は、外部入力モジュール１２０３によって受信されたオーディオ／ビデオ信号からウォーターマークを抽出することができる。コンテンツがＴＶの記憶装置に記憶された後に再生されると、ウォーターマークは再生時に抽出されうる。
【０１６６】
アプリケーションモジュール１２０５は、オーディオ／ビデオ情報を含むデータ及び／又はコンテンツプロバイダから受信され、記憶モジュール１２０１に記憶されたエンハンスメントデータからウォーターマーク抽出モジュール１２０４によって抽出されたウォーターマークを受信し、ウォーターマークに関する情報を用いて、オーディオ／ビデオ情報を含むデータ及び／又はエンハンスメントデータを処理することができる。
【０１６７】
オーディオ／ビデオ処理モジュール１２０６は、オーディオデコーダ及び／又はビデオデコーダを介してオーディオ／ビデオ信号をデコーティングして、アプリケーションモジュール１２０５から受信されたデータを処理する。
【０１６８】
表示モジュール１２０７は、オーディオ／ビデオ処理モジュール１２０６によって処理されたデータをＯＳＤ（ｏｎ  ｓｃｒｅｅｎ  ｄｉｓｐｌａｙ）方式で受信機の画面に表示することができる。
【０１６９】
次に、本発明の一実施例に係るコンテンツ情報について説明する。
【０１７０】
ウォーターマークを用いて抽出されたコンテンツ情報は、コンテンツプロバイダに関する情報を含むことができる。より具体的に、コンテンツ情報は、コンテンツプロバイダ又は放送局のＩＤ情報、コンテンツのＩＤ情報、コンテンツの時間に関する情報、コンテンツライフサイクル情報、及び／又はエンハンスメントデータに関する情報を含むことができる。本発明の一実施例に係るフィンガープリンティングを用いた自動コンテンツ認識サービスで、自動コンテンツ認識クエリ結果は、自動コンテンツ認識機能によって得られたコンテンツのためのメタデータとして用いることができる。
【０１７１】
コンテンツプロバイダＩＤ情報は、コンテンツプロバイダ又は放送局を識別するための識別子を意味できる。本発明の一実施例によれば、コンテンツプロバイダＩＤ情報は一次識別子の役割を持つことができる。コンテンツプロバイダＩＤ情報は、製作者名及び製作者を識別するための一連番号及び／又は国家、地域、サービス特性（ジャンル）を識別するための一連番号の集合を含むことができる。本発明の一実施例によれば、ＡＴＳＣ ＰＳＩＰのために用いられるＴＳ−ｉｄは、コンテンツプロバイダＩＤ情報として用いることができる。
【０１７２】
コンテンツＩＤ情報は、コンテンツプロバイダの代わりにコンテンツを識別するための識別子を意味することもできる。より具体的に、コンテンツＩＤ情報は、コンテンツ名及びコンテンツを識別するための一連番号及びコンテンツ特性（ジャンル）を識別するための一連番号の集合を含むことができる。本発明の一実施例によれば、ＡＴＳＣ ＰＳＩＰのために用いられるｅｖｅｎｔ−ｉｄは、コンテンツＩＤ情報として用いることができる。
【０１７３】
コンテンツプロバイダＩＤ情報は、コンテンツＩＤ情報よりも高い頻度でウォーターマークに含まれ、より容易に抽出されるように構成すことができる。この場合、コンテンツプロバイダＩＤ情報は、より圧縮された情報又はより詳細な情報を含むことができる。
【０１７４】
時間情報は、コンテンツと関連した時間情報を示すことができる。より具体的に、時間情報は、開始時刻、持続時間、終了時刻、及び／又は総サービス再生時間を示すリードタイムを含むことができる。本発明の一実施例によれば、時間情報はＵＴＣやＧＰＳに基づくし、ＡＴＳＣ ＰＳＩＰのＳＴＴのような他のフォーマットで構成することができる。また、時間情報は、同期化したウィジェットのようなサービスが提供される際、表示過程で同期化のために用いられてもよい。また、時間情報は、ケーブルや衛星ＰＶＲ（ｐｅｒｓｏｎａｌ  ｖｉｄｅｏ  ｒｅｃｏｒｄｅｒ）セットトップボックスによって再スケジューリングされるコンテンツのために用いられる。
【０１７５】
コンテンツライフサイクル情報は、サービスが有効であるライフサイクルに関する情報を含む。
【０１７６】
エンハンスメントデータに関する情報は、エンハンスメントデータの存在有無、ウォーターマークの使用、及び／又はエンハンスメントデータを受信する経路に関する情報を含むことができる。より具体的に、エンハンスメントデータに関する情報は、コンテンツプロバイダによって提供されるエンハンスメントデータの存在に関する情報、ウォーターマークが不正複製又は配布を防止するためのライセンス、視聴率調査、又は付加サービスのためのコンテンツプロバイダ承認のために用いられるかを示す情報を含むことができる。エンハンスメントデータを受信する経路に関する情報は、インターネットプロトコルネットワークが用いられるか否か又はモバイル機器のような他の媒体が用いられるか否かを示す情報を含むことができる。より具体的に、エンハンスメントデータがインターネットプロトコルネットワークを通して受信されると、インターネットプロトコルアドレス及び／又はＵＲＬ情報を含むことができ、エンハンスメントデータがモバイル機器を通して受信されると、頻度情報、標準（ＡＴＳＣ ＭＨ、ＤＭＢ、Ｍｅｄｉａ Ｆｌｏｗ、ＤＶＢ−Ｈ、ＮＧＨなど）情報、及び／又はチャネル情報を含むことができる。
【０１７７】
図１３は、本発明の一実施例に係るウォーターマーク抽出過程を示す図である。
【０１７８】
一般的なデジタルＴＶ受信機のような受信機１３２０は、ＨＤＭＩ又はコンポーネント接続を通して受信機１３２０に装着されたケーブル又は衛星セットトップボックス１３１０からオーディオ／ビデオ信号を受信する。次に、図１３に示す本発明の一実施例によって、ウォーターマークを抽出しコンテンツプロバイダを認識する動作をセットトップボックス１３１０及び受信機１３２０において段階的に説明する。
【０１７９】
受信機１３２０の入力モードが外部入力モードに設定されると、受信機１３２０は、コンテンツプロバイダ又は放送局を識別するためのコンテンツプロバイダ識別子を検索することができる。セットトップボックス１３１０がオン状態になり、チャネルがチューニングされると、受信機１３２０は、コンテンツプロバイダ識別子を検出することができる。受信機１３２０は、検出されたコンテンツプロバイダによって提供されるコンテンツのコンテンツ識別子及び時間情報を検出することができる。セットトップボックス１３１０から受信されたサービスのチャネルが変更されると、セットトップボックス１３１０は、変更されたチャネルによるコンテンツプロバイダを識別するためのコンテンツプロバイダ識別子を新しく検索する。
【０１８０】
図１４は、本発明の一実施例に係るウォーターマーク情報のプロファイリングを示す図である。
【０１８１】
図１２及び１３を参照して説明した通り、本発明の一実施例に係る受信機は、オーディオ／ビデオコンテンツに含まれたコンテンツプロバイダ情報を送信するためのウォーターマークを用いてコンテンツプロバイダを認識する。この場合、ウォーターマークに記憶された情報の量が増加すると、ウォーターマークの挿入されたオーディオ／ビデオコンテンツの質が低下することがある。そこで、本発明では、このような問題を解決するために、ウォーターマークに記憶された情報の属性によってウォーターマークをプロファイリング及びレベリングし、レベリングされたウォーターマークをオーディオ／ビデオコンテンツに挿入する方法を提案する。この場合、レベリングされたウォーターマークは、記憶された情報の属性によって区別されてオーディオ／ビデオコンテンツに挿入されるために、挿入されたウォーターマークに関する情報の量は、コンテンツの質が低下することを防止するために調節することができる。
【０１８２】
したがって、本発明では、プロファイリングによってウォーターマークをレベリングするために、ウォーターマークを、ウォーターマークに記憶された情報の属性によって、基本プロファイルウォーターマークと拡張プロファイルウォーターマークとに区別できる。基本プロファイルウォーターマークは、自動コンテンツ認識機能を果たすために実時間放送プログラムを認識する上で基本的に必要な情報を含むことができる。拡張プロファイルウォーターマークは、自動コンテンツ認識機能を果たす上で基本的に必要な情報の代わりに付加情報を含むことができる。複数の拡張プロファイルウォーターマークが存在し、情報の属性によってさらにレベリングを行うことができる。この場合、基本プロファイルウォーターマークと拡張プロファイルウォーターマークは、互いに異なった周期でオーディオ／ビデオコンテンツに挿入できる。
【０１８３】
図１４は、前述したようにレベリングされたウォーターマークをオーディオ／ビデオコンテンツに挿入する過程を示す図である。
【０１８４】
前述したように、コンテンツプロバイダ１４００は、オーディオ／ビデオのような原信号１４１０を受信し、ウォーターマークが挿入される領域を検索し（１４０１）、提供されるコンテンツと関連したメタデータ１４２０をウォーターマークに埋め込むことができる（１４０２）。その後、コンテンツプロバイダ１４００は、ウォーターマーキングされた信号１４３０を受信機に送信することができる。ウォーターマーキングされた信号１４３０で、原信号１４１０及びメタデータ１４２０はウォーターマークの形態で記憶されうる。一実施例で、図１４のウォーターマークは、基本プロファイルウォーターマークＷ１１４４０、並びに第１及び第２拡張プロファイルウォーターマークＷ２及びＷ３１４５０及び１４６０を含むことができる。
【０１８５】
基本プロファイルウォーターマーク１４４０は、コンテンツプロバイダ識別子部と拡張指示子を含むことができる。
【０１８６】
コンテンツプロバイダ識別子部は、コンテンツを提供する放送局やコンテンツプロバイダを識別するための情報を示すことができる。
【０１８７】
拡張指示子部は、次のレベルのウォーターマーク、すなわち、第１拡張プロファイルウォーターマーク１４５０がさらに挿入されるかを示す。拡張指示子部の値が１であれば、次のレベルの第１拡張プロファイルウォーターマーク１４５０が挿入されるということを示す。
【０１８８】
第１拡張プロファイルウォーターマーク１４５０は、コンテンツ識別子部、タイムスタンプ部、拡張指示子部を含むことができる。
【０１８９】
コンテンツ識別子部は、コンテンツ名やコンテンツを識別するための一連番号情報を示すことができる。
【０１９０】
タイムスタンプ部は、コンテンツの時間情報を示す。
【０１９１】
拡張指示子部は、前述したように、次のレベルのウォーターマーク、すなわち、第２拡張プロファイルウォーターマーク１４６０がさらに挿入されるかを示すことができる。図１４に示すように、第２拡張プロファイルウォーターマーク１４６０は、ウォーターマーク挿入使用部、付加情報のＵＲＬ部、拡張指示子部を含むことができる。
【０１９２】
ウォーターマーク挿入使用部は、ウォーターマーク挿入使用に関する情報を示すことができる。
【０１９３】
付加情報のＵＲＬ部は、サービスを受けるための付加情報又はＵＲＬ情報を示すことができる。
【０１９４】
拡張指示子部は、次のレベルのウォーターマークが挿入されるかを示すことができる。
【０１９５】
図１４に示すように、コンテンツプロバイダや放送局は、レベリングされたウォーターマークがオーディオ／ビデオコンテンツに挿入されるとき、ウォーターマークプロファイリングによってオーディオ／ビデオコンテンツにウォーターマークを挿入する回数を区別することができる。例えば、基本プロファイルウォーターマーク１４４０が放送プログラムの重要な基本情報を含んでいるため、コンテンツプロバイダや放送局は、受信者ができるだけ迅速に情報を正確に認識するように基本プロファイルウォーターマークを挿入する回数を設定することができる。
【０１９６】
すなわち、コンテンツプロバイダや放送局は、ウォーターマーキングされた信号１４３０の送信周期の間に、第１及び第２拡張プロファイルウォーターマーク１４５０及び１４６０よりも基本プロファイルウォーターマーク１４４０を多く挿入することができる。したがって、受信機は、優先的に基本プロファイルウォーターマーク１４４０を抽出した後、必要によって、拡張プロファイルウォーターマーク１４５０及び１４６０を抽出することができる。この場合、受信機は、拡張指示子部の値によって拡張プロファイルウォーターマークの存在を確認し、拡張プロファイルウォーターマークを抽出することができる。すなわち、受信機は、ウォーターマークのプロファイルによって差別的に挿入されたウォーターマークを差別的に抽出し、ウォーターマークに含まれた情報を効率的に記憶及び管理することができる。
【０１９７】
以上、本発明の一実施例に係るウォーターマーキングを用いた自動コンテンツ認識サービスを提供する方法及びシステムについて説明した。以下では、本発明の一実施例によってコンテンツプロバイダ側でコンテンツにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法について詳しく説明する。
【０１９８】
コンテンツプロバイダ側でビデオフレームにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法を、図１５乃至１７を参照して説明し、コンテンツプロバイダ側でオーディオフレームにウォーターマークを埋め込む方法、及び受信機側でコンテンツからウォーターマークを抽出する方法を、図１８を参照して説明する。
【０１９９】
図１５は、本発明の一実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【０２００】
コンテンツプロバイダは、まず、一つのビデオフレーム１５００をサブフレーム１５０１に細分化し、細分化されたサブフレーム１５０２を検索し、ウォーターマークが適切に埋め込まれる領域を決定する。ウォーターマークの埋め込まれるサブフレーム領域が決定されると、ウォーターマークがサブフレーム領域１５１０に埋め込まれ、サブフレームが結合して一つのビデオフレーム１５２０を再生成する。
【０２０１】
受信機側で一つのビデオフレームの全体領域に埋め込まれたビデオフレームからウォーターマークを抽出するために、まず、受信機は、一つのビデオフレームをサブフレームに細分化する。ウォーターマークが埋め込まれていてもよい領域は、細分化したサブフレームから検出される。ウォーターマークは、検出されたサブフレーム領域から抽出され、これらの抽出されたウォーターマークは最終的に一つのウォーターマークを決定するために比較される。エンハンスメントデータを、決定されたウォーターマークによるコンテンツ情報を用いてダウンロードできる。
【０２０２】
図１６は、本発明の他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【０２０３】
より具体的に、図１６は、本発明の一実施例によってウォーターマークをビデオフレームのバー（ｂａｒ）データ領域に埋め込む方法を示す。
【０２０４】
ウォーターマークが一つのビデオフレームの全体領域に埋め込まれると、ウォーターマーキング堅固性は向上するが、受信機側でウォーターマークを抽出するために必要な処理が増加することがある。したがって、ビデオフレームの一部領域にウォーターマークを埋め込むことによって、受信機側でウォーターマークを抽出するために必要な処理を減少させ、受信機の動作効率を向上させることができる。ビデオフレームの全体領域のうち、ウォーターマークが埋め込まれる一部領域は、送信機／受信機の規則によってあらかじめ定めることもできる。その後、本発明の一実施例によれば、コンテンツプロバイダは、ビデオフレームの全体領域の一部であるバーデータ領域にウォーターマークを埋め込むことができる。
【０２０５】
コンテンツプロバイダが受信機にコンテンツを送信する際、コンテンツの映像比（ｉｍａｇｅ  ｒａｔｉｏ）が送信フォーマットと合わないと、バーデータ領域１６００がスクリーン上に生成されることがある。例えば、図１６に示すように、１６：９の画面比を有するビデオフレームを４：３の画面比に切り替える場合、スクリーンの左縁及び右縁を切り取らないために、４：３の画面比を有するスクリーンの上縁及び下縁に黒い帯を生成してもよい。黒い帯の領域が、レターボックス（ｌｅｔｔｅｒ  ｂｏｘ）と呼ばれるバーデータ領域１６００となり得る。
【０２０６】
図１６に示すように、バーデータ領域１６００が存在するビデオフレームの場合は、ウォーターマークがバーデータ領域１６００に埋め込まれて送信されてもよい。ウォーターマークをバーデータ領域に埋め込む方法は、図１５を参照して説明したウォーターマークをビデオフレームに埋め込む過程と同一にすればよい。
【０２０７】
より具体的に、コンテンツプロバイダは、ウォーターマークの埋め込まれるビデオフレームのバーデータ領域１６００を検索し（１６１０）、ウォーターマークをバーデータ領域１６００に埋め込む（１６２０）。
【０２０８】
ビデオフレームの一部領域に埋め込まれたウォーターマークを抽出するために、まず、受信機は、一つのビデオフレームをサブフレームに細分化する。ウォーターマークが埋め込まれていてもよい領域は、細分化したサブフレームから検出される。図１６に示す本発明の一実施例によれば、受信機は、細分化したサブフレームからバーデータ領域を検出する。ウォーターマークは、検出されたサブフレーム領域から抽出され、これらの抽出されたウォーターマークは最終的に一つのウォーターマークを決定するために比較される。エンハンスメントデータは、決定されたウォーターマークによるコンテンツ情報を用いてダウンロードできる。
【０２０９】
図１７は、本発明のさらに他の実施例に係るウォーターマークをビデオフレームに埋め込む方法を示す図である。
【０２１０】
より具体的に、図１７は、他のコンテンツ情報（又は、メタデータ）を含む複数のウォーターマークを一つのビデオフレームの異なる領域に埋め込む方法を示す。
【０２１１】
例えば、図１７に示すように、コンテンツプロバイダ識別子情報を含むウォーターマークはスクリーンの右上側に位置しているロゴ領域１７００に埋め込み、コンテンツ識別子及びタイムスタンプ情報を含むウォーターマークは、同スクリーンの中央領域１７０１に埋め込むことができる。
【０２１２】
異なるコンテンツ情報を含む複数のウォーターマークを一つのビデオフレームに埋め込む方法は、本発明の一実施例によって、２種類の方法に大別できる。
【０２１３】
複数の異なるウォーターマークは、ビデオフレームの異なった領域１７００及び１７０１に埋め込むことができる。このとき、ウォーターマークが埋め込まれるビデオフレームの２以上の領域１７００及び１７０１は、送信機／受信機の規則によってあらかじめ定めることができる。
【０２１４】
又は、ビデオフレームの異なった領域１７００及び１７０１に関する情報を含む別途のウォーターマークがまず埋め込まれてもよい。コンテンツ情報を含むウォーターマークが埋め込まれる互いに異なる領域１７００及び１７０１は、別途のウォーターマークを用いて検出でき、それぞれのウォーターマークを領域１７００及び１７０１に埋め込むことができる。別途のウォーターマークは、ビデオフレームの特定領域又はロゴ部分に埋め込むことができ、送信機／受信機の規則によってあらかじめ定めることができる。
【０２１５】
受信されたビデオフレームが領域によって異なるコンテンツ情報を有するウォーターマークを含むと、受信機は、まず、他の経路を通して又は送信機／受信機の規則によって、ウォーターマークの埋め込まれる領域に関する情報を取得する。取得した情報を用いて、ウォーターマークはビデオフレームの各領域から抽出される。図１７に示す本発明の一実施例によれば、コンテンツプロバイダに関する情報を含むウォーターマークは、ロゴ領域１７００から抽出でき、コンテンツ識別子及び時間情報を含むウォーターマークはスクリーンの中央領域１７０１から抽出できる。又は、抽出されたウォーターマークから互いに異なるウォーターマークを抽出するための情報（例えば、ウォーターマークが埋め込まれた領域に関する情報）が含まれると、その情報を用いて互いに異なるウォーターマークを抽出することができる。
【０２１６】
図１８は、本発明の一実施例に係るウォーターマークをオーディオフレームに埋め込む方法を示す図である。
【０２１７】
より具体的に、一つのウォーターマークをオーディオフレームに埋め込む過程を示す。
【０２１８】
原オーディオ信号は一定の長さを有するフレームに分離され（１８００）、分離されたオーディオフレームはサブフレームに細分化する（１８０１）。細分化したサブフレームを用いて、ウォーターマークの埋め込まれる領域が検索される（１８０２）。例えば、人の耳に敏感な４ｋＨｚを越える周波数帯域が検索され、これをウォーターマーク埋め込み領域として決定することができる。ウォーターマークは、検索された領域に埋め込まれ（１８０３）、サブフレームが一つのオーディオ信号に再結合する（１８０３）。
【０２１９】
また、本発明の一実施例によれば、複数のウォーターマークが、図１８に示したウォーターマーク埋め込み過程に基づいてオーディオ信号に埋め込まれてもよい。埋め込み方法は、ウォーターマークを２つ以上の互いに異なる周波数帯域にそれぞれ埋め込み、サブフレームを一つのオーディオ信号に再結合する方法と、一つのウォーターマークを連続したオーディオフレームに埋め込み、残りのウォーターマークを互いに異なる周波数帯域に埋め込む方法と、を含むことができる。
【０２２０】
前述した本発明の実施例によれば、ウォーターマークの埋め込まれたオーディオ信号が受信されると、受信機は、オーディオ信号からウォーターマークを抽出するために、まず、オーディオ信号を一定の長さを有するフレームに分離できる。分離されたフレームはサブフレームに細分化でき、ウォーターマーク抽出領域をサブフレームから検出することができる。ウォーターマークは、検出された領域から抽出される。複数のウォーターマークがオーディオ信号に埋め込まれると、ウォーターマークを、送信機／受信機の規則によって定められた２つ以上の周波数帯域で受信されたオーディオ信号から抽出することができる。又は、一つのウォーターマークは、連続したオーディオフレームから抽出され、残りのウォーターマークは、送信機／受信機の規則によって定められた互いに異なる周波数帯域の信号から抽出されてもよい。また、図１５乃至１８を参照して説明したウォーターマークを埋め込む方法の本発明の一実施例によれば、ウォーターマークを、オーディオコンテンツとビデオコンテンツの両方に埋め込むことができる。
【０２２１】
同一のコンテンツ情報を含むウォーターマークをオーディオフレームとビデオフレームの両方に埋め込むことができれば、同一のウォーターマークを所定の周期でオーディオフレームとビデオフレームに反復して埋め込むことができる。このような方法によれば、受信機は、ウォーターマークの埋め込まれたビデオフレーム及びオーディオフレームから同一のウォーターマークを同時に抽出できるため、ウォーターマーク抽出結果の正確度を上げ、最終的に正確な結果を得るためにかかる時間を削減することができる。
【０２２２】
又は、ウォーターマークは、ウォーターマークに含まれたコンテンツ情報によって分離でき、分離されたウォーターマークは、ビデオフレームとオーディオフレームに埋め込むことができる。例えば、ウォーターマークに含まれたコンテンツ情報は、コンテンツプロバイダ識別子やコンテンツ識別子のような放送プログラムを認識するための必須情報と付加情報とに分離される。必須情報はビデオフレームに埋め込まれ、付加情報はオーディオフレームに埋め込まれる。逆に、必須情報はオーディオフレームに埋め込まれ、付加情報はビデオフレームに埋め込まてれもよい。一つのビデオフレーム又はオーディオフレームに埋め込まれる情報の量は制限されるため、このような方法を用いてウォーターマークが埋め込まれると、所定時間に埋め込まれるメタデータの量を増加させることができる。
【０２２３】
図１９は、本発明の一実施例に係るプロファイリングされたウォーターマークを埋め込む方法を示す図である。
【０２２４】
図１４を参照して説明した通り、ウォーターマークに記憶されたコンテンツ情報の量が増加するほどオーディオ／ビデオコンテンツの質が低下するため、ウォーターマークに記憶された情報の種類によってウォーターマークがレベリングされると、コンテンツの質を維持しながらウォーターマークを効率的に利用することができる。
【０２２５】
本発明の一実施例によれば、ウォーターマークに記憶された情報の属性によってウォーターマークがプロファイリングされると、所定周期の間にコンテンツフレームにウォーターマークを埋め込む回数を異なるように設定できる。
【０２２６】
例えば、ウォーターマークに記憶された情報は放送プログラムを認識するための必須情報と付加情報、又は短い変更周期を有する情報と長い変更周期を有する情報に区別できる。必須情報及び／又は短い変更周期を有する情報を含むウォーターマークを所定周期の間にフレームに埋め込む回数は増加させることができ、付加情報及び／又は長い変更周期を有する情報を含むウォーターマークを所定周期の間にフレームに埋め込む回数は減少させることができる。
【０２２７】
より具体的に、図１９に示すように、コンテンツプロバイダ識別子やコンテンツ識別子のようなプログラムを認識するために必要な情報を含むウォーターマークは、ロゴ領域１９００に埋め込むことができ、ＵＲＬ情報のような付加情報を含むウォーターマークは、フレームの他の特定領域１９０１に埋め込むことができる。この場合、ロゴ領域１９００のウォーターマークはプログラムを認識するために必要なデータであるから、全てのビデオフレーム１９１０，１９２０，１９３０に埋め込むことができ、付加情報を提供するためのフレームの特定領域１９０１のウォーターマークは、２つのフレーム１９１０，１９３０に１回埋め込むことができる。
【０２２８】
図２０及び図２１は、本発明の一実施例に係るウォーターマークを埋め込み及び抽出する方法を示す図である。
【０２２９】
図２０は、本発明の一実施例に係るウォーターマークを連続したフレームに埋め込む方法を示す図である。
【０２３０】
図２１は、本発明の一実施例に係る連続したフレームに挿入されたウォーターマークを抽出する方法を示す図である。
【０２３１】
一つのオーディオ／ビデオフレームに埋め込み可能なコンテンツ情報の量は制約している。図２０及び図２１に示す本発明の一実施例によれば、ウォーターマークは多量のコンテンツ情報を含むことができる。
【０２３２】
図２０に示すように、コンテンツプロバイダは、コンテンツ情報を含むウォーターマークを連続したフレームに埋め込むことができる。コンテンツの情報の開始及び終了を示すために、コンテンツ情報の開始情報を示す開始タグ２００１及び終了タグ２００２をコンテンツ情報に埋め込んだ後、コンテンツ情報はサブコンテンツ情報２００３に分離される。サブコンテンツ情報２００３を含むウォーターマークはそれぞれ連続したオーディオ／ビデオフレーム２０００に埋め込むことができる。また、所定周期の間にウォーターマークを連続したオーディオ／ビデオフレーム２０００に反復して埋め込むと、受信機は、ウォーターマークを効率的に抽出することができる。
【０２３３】
図２１に示すように、受信機は、ウォーターマークの埋め込まれた連続したフレームからウォーターマークを抽出することができる。まず、受信機は、連続したオーディオ／ビデオフレームに埋め込まれたウォーターマークを抽出する。コンテンツ情報の開始タグ２１０１及び終了タグ２１０２は、抽出されたウォーターマークから検出することができる。コンテンツ情報の開始情報が開始タグ２１０１から取得されると、サブコンテンツ情報２１０３を得るために、開始タグ２１０１が検出された後、受信されたオーディオ／ビデオコンテンツからウォーターマークが抽出され、取得されたサブコンテンツ情報２１０３は結合される。コンテンツ情報の終了情報が終了タグ２１０２から取得されると、一つのコンテンツ情報を取得するためにサブコンテンツ情報２１０３を結合する過程が終わる。
【０２３４】
図２２は、本発明の一実施例に係るウォーターマークを３次元ビデオフレームに埋め込む方法を示す図である。
【０２３５】
フル３次元（ｆｕｌｌ  ３Ｄ）ビデオ映像は、２つのカメラを用いて左映像と右映像を得、左眼が左映像を見るようにし、右眼が右映像を見るようにすることによって具現することができる。本発明では、３次元ビデオフレームにウォーターマークを埋め込み、３次元ビデオフレームからウォーターマークを抽出する方法が提案される。
【０２３６】
図２２に示すように、３次元ビデオフレームは、左フレーム２２００と右フレーム２２０１を含むことができる。コンテンツプロバイダは、コンテンツ情報（又は、メタデータ）２２０２を左フレーム２２００及び右フレーム２２０１に埋め込み、ウォーターマークが埋め込まれた左フレーム（以下、ウォーターマーキングされた左フレームという。）２２０３及びウォーターマークの埋め込まれた右フレーム（以下、ウォーターマーキングされた右フレームという。）２２０４を生成できる。
【０２３７】
標準画質又は高画質イメージを生成して送信することができる。
【０２３８】
第一に、コンテンツプロバイダは、ウォーターマークを左フレーム２２００又は右フレーム２２０１のいずれか一方にのみ埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。この場合、図１５乃至１７を参照して説明した通り、ウォーターマークをビデオフレームに埋め込む方法及びウォーターマークをビデオフレームから抽出する方法を適用することができる。ウォーターマーキングされたビデオフレームは、送信機／受信機の規則によってあらかじめ定めることができる。
【０２３９】
第二に、コンテンツプロバイダは、同一のコンテンツ情報を含むウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。ウォーターマークが同一であるか、又はウォーターマーク間のズレが許容誤差範囲内にあると、抽出されたウォーターマークは比較されて修正されうる。この場合、図１５乃至図１７を参照して説明した方法は、ウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込む方法及び埋め込まれたウォーターマークを抽出する方法に適用することができる。ウォーターマークを、同一の方法又は異なる方法を用いて左フレーム２２００又は右フレーム２２０１に埋め込むことができる。このような方法は、受信機がウォーターマークを抽出する際に複雑度を増加させるが、ウォーターマーク抽出堅固性は増大することができる。
【０２４０】
第三に、コンテンツプロバイダは、互いに異なるウォーターマークを左フレーム２２００又は右フレーム２２０１に埋め込み、ウォーターマーキングされた左フレーム及び右フレームを受信機に送信することができる。受信機は、ウォーターマーキングされた左フレーム２２０３又はウォーターマーキングされた右フレーム２２０４からウォーターマークを抽出することができる。抽出されたウォーターマークは一つのコンテンツ情報を含むことができる。又は、抽出されたウォーターマークに含まれたコンテンツ情報は結合して一つの新しいコンテンツ情報を生成することができる。後者の場合、一つのビデオフレームを通して送信可能なコンテンツ情報の量よりも多いコンテンツ情報をビデオフレームに埋め込むことができる。又は、ビデオフレームに含み得るコンテンツ情報は分離されて左フレーム２２００又は右フレーム２２０１に埋め込まれてもよい。この場合、映像の質が低下する可能性を減らすことができる。
【０２４１】
図２３は、本発明の一実施例に係る自動コンテンツ認識サービス提供システムの構造を示す図である。
【０２４２】
より具体的に、図２３は、本発明の一実施例によってウォーターマーキング及びフィンガープリンティング技術の両方を用いて放送コンテンツを認識する自動コンテンツ認識サービス提供システムを示す。
【０２４３】
ウォーターマーキングでは、一つのフレームに埋め込まれたコンテンツの認識率は高いが、多量のコンテンツ情報がウォーターマークに埋め込まれるとコンテンツの質が低下することがある。すなわち、埋め込まれるメタデータの量に制約がある。
【０２４４】
フィンガープリンティングでは、コンテンツの質は影響を受けないが、コンテンツを認識するための自動コンテンツ認識サーバーが必要である。コンテンツを認識するためにかかる時間とコンテンツ認識結果がレファレンスセットの大きさに依存する。
【０２４５】
図２３に示す本発明の一実施例によれば、放送コンテンツがウォーターマーキング及びフィンガープリンティング技術の組合せによって認識されると、両技術の問題点を解決する一方で効率的に自動コンテンツ認識サービスを提供することができる。
【０２４６】
本発明は、両技術を用いて現在視聴中の放送プログラムを認識する方法を含む。コンテンツプロバイダ又は放送局の識別子のようなプログラムを認識するために用いられ、最も正確に認識される必要があるメタデータは、放送オーディオ／ビデオコンテンツに埋め込んで送信することができる。
【０２４７】
次に、図２３に示した自動コンテンツ認識サービス提供システムの構成要素間のメカニズムについて詳しく説明する。
【０２４８】
コンテンツプロバイダ２３００がウォーターマーキングされたオーディオ／ビデオコンテンツ及びエンハンスメントデータを多チャネル放送事業者２３０１に送信すると（２３１０及び２３３０）、受信機２３０３は、セットトップボックス２３０２を通してオーディオ／ビデオコンテンツは受信するが、エンハンスメントデータは受信できない（２３２０）。そのため、受信機２３０３が他の経路を通じてエンハンスメントデータを受信できるようにするために、コンテンツプロバイダ２３００は、オーディオ／ビデオコンテンツの付加情報を自動コンテンツ認識サーバー２３０４に送信し（２３４０）、エンハンスメントデータをアプリケーションサーバー２３０５に送信することができる（２３５０）。オーディオ／ビデオコンテンツの付加情報は、オーディオ／ビデオコンテンツと関連したエンハンスメントデータを受信機２３０３に伝達するための情報であってもよく、コンテンツ識別子、タイムスタンプ、ＵＲＬなどを含むことができる。
【０２４９】
受信機２３０３のウォーターマーク抽出器２３０６は、受信されたオーディオ／ビデオコンテンツからウォーターマークを抽出でき、同時にフィンガープリント抽出器２３０７はオーディオ／ビデオコンテンツからフィンガープリントシグネチャーを抽出することができる。受信機２３０３は、ウォーターマークに含まれたコンテンツ情報を含むクエリとフィンガープリントシグネチャーを自動コンテンツ認識サーバー２３０４に送信し（２３６０）、自動コンテンツ認識サーバー２３０４からオーディオ／ビデオコンテンツの付加情報を取得することができる（２３６０）。その後、受信機２３０３は、オーディオ／ビデオコンテンツの付加情報を用いてアプリケーションサーバー２３０５からエンハンスメントデータを受信することができる（２３８０）。ウォーターマーキング結果をクエリに含めることによって、自動コンテンツ認識サーバーでコンテンツを認識するためにかかる時間を減らすことができ、自動コンテンツ認識サーバーのコンテンツ認識正確度を向上させることができる。
【０２５０】
図２４は、本発明の一実施例に係る放送局ロゴを用いて自動コンテンツ認識サービスを提供する方法を示す図である。
【０２５１】
図２５は、本発明の一実施例に係る放送局ロゴを示す図である。
【０２５２】
図２６は、本発明の一実施例に係る放送局ロゴを用いた自動コンテンツ認識サービスを示す図である。
【０２５３】
コンテンツプロバイダ（又は、放送局）は、自身のロゴを表すコンテンツを有する。例えば、コンテンツプロバイダは、図２５に示すロゴを有することができる。放送局又はコンテンツプロバイダは、コンテンツを表示するために、図２６に示すスクリーンの右上側、左側上、右下側、又は左下側にロゴを挿入する。スクリーンに表示されたビデオシーン（ｖｉｄｅｏ  ｓｃｅｎｅ）が変更されても、ロゴは変更されないまま表示し続けられる。本発明では、ロゴの特性を用いてスクリーンの特定部分に表示し続けられる情報を自動で認識する自動コンテンツ認識サービス方法を提案する。
【０２５４】
図２４に示すように、本発明の一実施例によれば、自動コンテンツ認識サービスを提供するためにウォーターマークをロゴに挿入できる。受信機はロゴを認識し、ロゴを表すコンテンツプロバイダ情報を取得し、サービスを受けるためにコンテンツプロバイダに接続できる。これで、自動コンテンツ認識サービスを提供することができる。その後、ロゴを用いて自動コンテンツ認識サービスを提供する方法について詳しく説明する。
【０２５５】
まず、受信機は、ロゴ認識段階２４０１及びロゴ比較段階２４０２によってロゴ情報を取得することができる。受信機は、コンテンツプロバイダ情報を比較結果として取得してコンテンツプロバイダを認識し（２４０３）、コンテンツプロバイダサーバーに接続する（２４０４）。コンテンツの付加情報をコンテンツプロバイダサーバーから受信し（２４０５）、付加サーバーに提供することができる（２４０６）。
【０２５６】
受信機のロゴ認識段階２４０１及びロゴ比較段階２４０２は、受信機によって認識されたロゴと受信機にあらかじめ記憶されたコンテンツプロバイダのロゴとを比較することによって実行できる。
【０２５７】
記憶されたロゴに関する情報は、インターネットプロトコルネットワークやＭＨを通して受信機で受信及び記憶された情報、又は受信機に記憶されたデフォルト情報である。ロゴの新しいバージョン情報を維持することができる。インターネットプロトコルネットワークやＭＨを通して受信された情報の場合、新しいロゴ情報はインターネットプロトコルネットワークやＭＨを通して連続してロゴ情報を受信することによって維持でき、デフォルト情報の場合、新しいロゴ情報は、連続した更新によって維持できる。
【０２５８】
ロゴ比較段階２４０２で認識されたロゴを受信機に記憶された全てのロゴ情報と比較すると、情報の量が多い。そのため、受信機に負担となる。本発明の一実施例によれば、抽出、記憶、比較をロゴの具体的な特性に基づいて実行できるため、このような制約を克服することができる。例えば、比較のために、ロゴ色、文字（ＳＢＳ、ＣＮＮなど）、輪郭のようなロゴの特性を認識することができる。輪郭を用いると、ロゴが表示される領域が座標によって区別され、座標特性を用いてロゴを認識することができる。
【０２５９】
図２７は、本発明の一実施例に係るロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供方法を示す図である。
【０２６０】
図２７に示すように、自動コンテンツ認識サービスで、受信機は、ロゴ情報２７０１又はウォーターマーク２７０２を抽出してコンテンツプロバイダに関する情報を得ることができ、インターネットプロトコルネットワークやＭＨを通してコンテンツプロバイダによって提供される付加サービスを受けることができる。
【０２６１】
前述したように、ウォーターマークがコンテンツに埋め込まれると、そのコンテンツのデータは変更されることがある。そこで、本発明では、コンテンツに含まれたロゴ領域にウォーターマークを埋め込む方法を提案する。
【０２６２】
次に、図２７に示す本発明の一実施例に係る自動コンテンツ認識サービスのために受信機側でロゴ情報及びウォーターマークを活用する方法について詳しく説明する。
【０２６３】
前述したように、本発明の一実施例に係る受信機は、コンテンツが再生される際、オーディオ／ビデオフレームデータの特定フィールドに挿入された特定アルゴリズムによって所定量のコンテンツ情報を含むウォーターマークを抽出及び活用することができる。例えば、秒当たり３０フレームを含むビデオコンテンツを受信する受信機は、Ｍフレームから各フレームの特定フィールド又は特定位置に該当するＮビットのデータを含むウォーターマークを抽出することができる。この場合、抽出されたウォーターマークデータの総量は、Ｎ＊Ｍビットとなり得る。ウォーターマーキングされたフレームの数が増加すると、抽出されるウォーターマークデータの量が増加する。そのため、受信機側でウォーターマークを抽出のためにかかる時間が増加し、受信機によって処理されるオーディオ／ビデオコンテンツの質が低下することがある。
【０２６４】
したがって、本発明では、ウォーターマークをビデオフレームに含まれたロゴ領域に埋め込む方法を提案する。全てのビデオフレームに含まれるロゴ領域は、再生スクリーンが変更されてもスクリーン上の同一位置で表示される。したがって、データの量が多くとも、ウォーターマークがロゴ領域に埋め込まれると、ウォーターマークを抽出のためにかかる時間を減らすことができ、オーディオ／ビデオコンテンツの質が低下する可能性を減らすことができる。
【０２６５】
次に、本発明の一実施例によってウォーターマークをロゴに埋め込む方法を説明する。本発明の一実施例によってウォーターマークをロゴに埋め込む方法は、バーコードデータをロゴの所定位置に埋め込む方法、ロゴ情報のメタデータパケットをウォーターマークとして活用する方法、ウォーターマークをロゴのイメージデータの一部に埋め込む方法を含むことができる。
【０２６６】
バーコードデータをロゴの所定位置に埋め込む方法では、受信機は、特定位置にあるバーコードデータをウォーターマークとして認識することができる。この場合、バーコードデータは表示されない。
【０２６７】
ロゴ情報のメタデータパケットをウォーターマークとして活用する方法では、ロゴのイメージデータの原形態は維持されながらロゴを表現するメタデータパケットはウォーターマークとして用いられる。この場合、メタデータパケットは、コンテンツプロバイダ識別子、コンテンツ識別子、時間情報などを含むことができる。
【０２６８】
ウォーターマークをロゴ情報に埋め込む方法では、Ｎ個のロゴフレームがロゴのイメージデータの一部のビットを用いて結合し、Ｎ個のウォーターマークビットがロゴイメージデータに埋め込まれる。この場合、ウォーターマークに含まれたコンテンツ情報又はメタデータは、前述した通りである。
【０２６９】
図２８は、本発明の他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【０２７０】
図２８は、ロゴ及びウォーターマークを用いて自動コンテンツ認識サービスを処理するシステムであって、図２７とは違い、ビデオコンテンツからロゴデータを抽出する方法を用いて、ロゴデータを認識し、ロゴデータが示すコンテンツプロバイダに関する情報を認識するシステムを示す。図２８の自動コンテンツ認識サービス処理システムは、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５を含むことができる。本発明の一実施例に係る受信機は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２を含んだり、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、アプリケーションサーバー２８０５のうち少なくとも一つを含むことができるが、これは設計者の意図によって変更されてもよい。
【０２７１】
図２８に示すように、ロゴ及びウォーターマークを用いた自動コンテンツ認識サービス提供装置は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５を含むことができる。ここで、ロゴサーバー２８０２、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、及び／又はアプリケーションサーバー２８０５は、端末に内部構成要素として内蔵されてもよく、又は端末と別個に提供されてもよい。
【０２７２】
本発明の一実施例に係る自動コンテンツ認識サービス受信装置（受信機）は、セットトップボックス２８００、端末２８０１、ロゴサーバー２８０２を含んだり、メタデータサーバー２８０３、アプリケーションルックアップサーバー２８０４、アプリケーションサーバー２８０５のうち少なくとも一つを含むことができるが、これは設計者の意図によって変更されてもよい。
【０２７３】
より具体的に、図２８は、本発明の一実施例に係る受信機がセットトップボックス２８００を通して放送コンテンツを受信すると、ロゴデータ及びウォーターマークを用いて、放送コンテンツと関連した付加データ（又は、エンハンスメントデータ）を受信する受信機の構成要素間の関係を示している。ロゴデータは、コンテンツプロバイダを示し、コンテンツの特定領域に表示される放送局エンブレム（ｅｍｂｌｅｍ）のようなロゴイメージに該当する。次に、図２８に示した構成要素を説明する。
【０２７４】
端末２８０１は、セットトップボックス２８００を通して受信した放送コンテンツの未加工データのビデオフレームからロゴデータを認識及び抽出することができる。本発明の一実施例に係るロゴデータは、コンテンツの特定領域に表示されるロゴイメージに該当する。端末２８０１は、抽出したロゴデータ及びチャネル情報検索信号をロゴサーバー２８０２に送信し、コンテンツが送信されるチャネルのチャネル情報を、ロゴサーバー２８０２から受信することができる。本発明の一実施例に係るチャネル情報検索信号は、抽出されたロゴデータに基づいて生成することができ、要求構文であってもよい。また、本発明の一実施例に係るチャネル情報は、ロゴデータが示すコンテンツプロバイダを示す情報を含むことができる。また、端末２８０１は、放送コンテンツのオーディオフレームからウォーターマークを抽出して放送コンテンツのプログラム情報を取得することができる。本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。
【０２７５】
端末２８０１は、取得したチャネル情報及び／又はプログラム情報を用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを取得するための要求を生成することができる。端末２８０１は、アプリケーションルックアップサーバー２８０４に要求を送ってＵＲＬアドレス及び／又はインターネットプロトコルアドレスを取得でき、取得したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてアプリケーションサーバー２８０５に接続し、コンテンツの付加データを受信することができる。
【０２７６】
ロゴサーバー２８０２は、メタデータサーバー２８０３からロゴデータに関連したメタデータを受信し、メタデータをデータベースに記憶させて管理することができる。メタデータは、ロゴデータが示しているコンテンツのチャネル情報を含むことができる。
【０２７７】
ロゴサーバー２８０２は、端末２８０１からロゴデータ及びチャネル情報検索信号を受信し、受信したロゴデータに関連したチャネル情報をデータベースから検索することができる。
【０２７８】
本発明の一実施例に係るロゴサーバー２８０２は、受信したロゴデータを、データベースにあらかじめ記憶されたロゴデータと比較し、受信したロゴデータが示すコンテンツプロバイダを確認することができる。より具体的に、ロゴサーバー２８０２は、受信したロゴデータが、データベースに記憶されたロゴデータと同一であるか否か判断できる。本発明の一実施例に係るロゴサーバー２８０２は、図２４を参照して説明した通り、ロゴデータに該当するロゴイメージ、ロゴイメージ色、テキスト、及び／又は輪郭を比較し、受信したロゴデータに該当するロゴイメージがデータベースに記憶されたロゴデータのロゴイメージと同一であるか否かを判断できる。
【０２７９】
受信したロゴデータがデータベースに記憶されたロゴデータと同一であれば、受信したロゴデータが示すコンテンツプロバイダは、データベースに記憶されたロゴデータが示すコンテンツプロバイダと同一である。したがって、ロゴサーバー２８０２は、同一のデータベースに記憶されたロゴデータに関連したメタデータを、データベースから受信したロゴデータとして取得することができる。前述したように、メタデータはチャネル情報を含むことができる。
【０２８０】
ロゴサーバー２８０２は、ロゴデータに関連したメタデータのチャネル情報を端末２８０１に送ることができる。チャネル情報がロゴサーバー２８０２のデータベースに存在しないと、ロゴサーバー２８０２は、メタデータサーバー２８０３からチャネル情報を受信することができる。
【０２８１】
メタデータサーバー２８０３は、ロゴデータに関連したメタデータを更新することができる。より具体的に、メタデータサーバー２８０３は、メタデータを追加、更新、及び／又は削除し、周期的に更新されたメタデータをロゴサーバー２８０２のデータベースに送ってロゴサーバー２８０２のデータベースを更新することができる。メタデータサーバー２８０３は、コンテンツプロバイダ（放送局又は第三者）によって管理され、端末２８０１は製造社（受信機メーカー）又はＳＤＰ（ｓｅｒｖｉｃｅ  ｄｅｌｉｖｅｒｙ  ｐｌａｔｆｏｒｍ）サーバーによって管理されるようにすることができるが、これは設計者の意図によって変更されてもよい。
【０２８２】
アプリケーションルックアップサーバー２８０４は、端末２８０１から受信した要求を分析し、要求に含まれたチャネル情報及び／又はプログラム情報を取得することができる。分析結果から、アプリケーションルックアップサーバー２８０４は、チャネル情報及び／又はプログラム情報に該当するコンテンツのためのアプリケーションが存在するか否かを判断することができる。コンテンツのためのアプリケーションが存在すると、アプリケーションルックアップサーバー２８０４は、アプリケーションサーバー２８０５のＵＲＬアドレス及び／又はインターネットプロトコルアドレスを端末２８０１に送ることができる。
【０２８３】
アプリケーションサーバー２８０５は、アプリケーションに関連したコンテンツ及び／又はデータのためのアプリケーションを管理することができる。
【０２８４】
前述した通り、端末２８０１は、ロゴデータ及びウォーターマークを用いて要求を生成し、生成された要求に応じて、アプリケーションルックアップサーバーからＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。その後、端末２８０１は、受信したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてアプリケーションサーバー２８０５に接続してアプリケーションをダウンロードすることができる。アプリケーションサーバー２８０５は、受信機によってダウンロードされたアプリケーションを管理することができる。その後、受信機は、アプリケーションを用いてコンテンツの付加データを受信することができる。
【０２８５】
受信機がオーディオ信号に接続できず、オーディオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、ビデオフレームから抽出されたロゴデータのみを用いて要求を生成することができる。より具体的に、本発明の一実施例に係る端末２８０１は、ロゴデータを通して取得したチャネル情報を含む要求をアプリケーションルックアップサーバー２８０４に送ることができる。本発明の一実施例に係る要求は、ＨＴＴＰプロトコルを用いることができる。アプリケーションルックアップサーバー２８０４は、ＨＴＴＰのヘッダーに含まれたデータフィールド値を用いて受信した要求の時間情報を確認することができる。その後、アプリケーションルックアップサーバー２８０４は、チャネル情報及び／又は時間情報を用いて端末２８０１によって接続可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、受信機に送ることができる。その後、受信機は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通して付加データを受信することができる。
【０２８６】
受信機がオーディオ信号に接続できず、オーディオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、ビデオフレームに含まれたシンボルデータを用いて要求を生成することができる。本発明の一実施例に係るシンボルデータは、スクリーン上に表示されるシンボルイメージに該当し、コンテンツに関連したプログラムを示すことができる。より具体的に、シンボルデータがビデオフレームに含まれると、端末２８０１はシンボルデータを抽出し、ロゴデータ及びシンボルデータを用いて要求を生成することができる。シンボルデータを用いる自動コンテンツ認識サービスシステムについては後述する。
【０２８７】
受信機がビデオ信号に接続できず、ビデオフレームに挿入されたウォーターマークを抽出できない場合は、本発明の一実施例に係る端末２８０１は、オーディオフレームから抽出されたウォーターマークのみを用いて要求を生成することができる。端末２８０１は、ウォーターマークから取得した情報を含む要求を生成してアプリケーションルックアップサーバー２８０４に送ることができる。その後、アプリケーションルックアップサーバー２８０４は、受信した要求を用いて、端末２８０１によって接続可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、受信機に送ることができる。その後、受信機は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通して付加データを受信することができる。
【０２８８】
図２９は、本発明の一実施例に係るロゴ及び／又はウォーターマークを用いた自動コンテンツ認識サービス提供装置の動作の概念を示す図である。
【０２８９】
図２９は、図２８を参照して説明したロゴ及びウォーターマークを用いて自動コンテンツ認識サービスを提供する自動コンテンツ認識サービス提供装置の動作、すなわち、端末２９０１、ロゴサーバー２９０２、メタデータサーバー２９０３、アプリケーションルックアップサーバー２９０４、アプリケーションサーバー２９０５間の動作の概念を示す。以下、構成要素間の動作について説明する。
【０２９０】
まず、端末２９０１は、ビデオフレームからロゴデータを抽出することができる。その後、端末２９０１は、前述したように、ロゴデータ及びチャネル情報検索信号をロゴサーバー２９０２に送ることができる。
【０２９１】
ロゴサーバー２９０２は、端末の要求信号に応じてチャネル情報を検索し、検索されたチャネル情報を端末２９０１に送信することができる。
【０２９２】
メタデータサーバー２９０３は、ロゴデータに関連したメタデータを周期的に更新し、更新されたメタデータをロゴサーバー２９０２に送ることができる。メタデータサーバー２９０３は、ロゴデータを受信する前又はロゴデータを受信した後にメタデータを更新することができる。
【０２９３】
また、端末２９０１は、オーディオフレームからウォーターマークを抽出し、ウォーターマークからプログラム情報を取得することができる。本発明の一実施例に係る端末２９０１は、ビデオフレームからロゴデータを抽出する過程及びオーディオデータからウォーターマークを抽出する過程を同時に又は順次に実行できるが、これは設計者の意図によって変更可能である。
【０２９４】
その後、端末２９０１は、ロゴデータから抽出されたチャネル情報及び／又はウォーターマークから抽出されたプログラム情報を用いて要求を生成することができる。端末２９０１は当該要求をＨＴＴＰプロトコルを用いてアプリケーションルックアップサーバー２９０４に送ることができる。
【０２９５】
アプリケーションルックアップサーバー２９０４は、受信した要求を分析し、チャネル及び／又はプログラムの付加データを提供可能なアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを端末２９０１に送ることができる。
【０２９６】
端末２９０１は、受信したＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通してアプリケーションサーバー２９０５に接続し、アプリケーションをダウンロードすることができる。ダウンロードされたアプリケーションは、アプリケーションサーバー２９０５で管理でき、付加データは、ダウンロードされたアプリケーションを通して端末２９０１に伝送できる。
【０２９７】
図３０は、本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【０２９８】
図３０は、図２９を参照して説明した動作による自動コンテンツ認識サービス処理システムを示すもので、このシステムは、セットトップボックス、端末、ロゴサーバー、メタデータサーバー、アプリケーションルックアップサーバー、及び／又はアプリケーションサーバーを含むことができる。端末は、ロゴ抽出器３００１及び／又はウォーターマーク抽出器３００２をさらに含むことができる。図３０に示すように、ビデオフレームに含まれたロゴデータに該当するロゴイメージ３０００は、表示されたコンテンツの特定部分に含まれてもよい。図２８及び２９を参照して説明した通り、端末は、要求３００３をアプリケーションルックアップサーバーに送ることができる。図３０に示す基本構成要素は、図２８を参照して説明したそれと同一であり、図２８を参照して説明したものと同一の構成要素の動作については説明を省略する。
【０２９９】
図３０に示すように、端末は、独立した経路を通じてセットトップボックスから受信した放送信号に含まれたビデオ信号及びオーディオ信号を処理することができる。以下、端末に含まれたロゴ抽出器３００１及び／又はウォーターマーク抽出器３００２を中心に説明する。
【０３００】
ロゴ抽出器３００１は、ビデオフレームから、ロゴイメージ３０００に該当するロゴデータを自動で認識及び抽出することができる。より具体的に、ロゴ抽出器３００１は、ビデオフレームの特定領域を認識し、特定領域に位置しているロゴデータを抽出することができる。ロゴ抽出器３００１は、イメージ処理によって抽出されたロゴデータに該当するロゴイメージ３０００を認識することができる。
【０３０１】
端末は、ロゴサーバーがロゴ抽出器３００１によって抽出されたロゴデータをロゴサーバーのデータベースに記憶されたロゴデータと比較するように、抽出されたロゴデータをロゴサーバーに送ることができる。その詳細な比較方法は、図２８を参照して説明した通りである。抽出されたロゴデータに該当するロゴイメージ３０００が、ロゴデータに記憶されたロゴイメージと同一であれば、ロゴサーバーは、ロゴデータのチャネル情報を検索して端末に送ることができる。本発明の一実施例によれば、チャネル情報は、「チャネル番号（主−副）」−「短縮番号」の形式で示すことができる。
【０３０２】
ロゴサーバーは、メタデータサーバーから更新されたロゴデータを周期的に受信し、ロゴサーバーのデータベースを続けて更新することができる。ロゴデータのチャネル情報がロゴサーバーのデータベースに現在存在していなければ、ロゴサーバーは、メタデータサーバーからチャネル情報を受信することができる。
【０３０３】
ウォーターマーク抽出器３００２は、オーディオフレームに挿入されたウォーターマークを認識及び抽出することができる。オーディオフレームに挿入されたウォーターマークは、コンテンツ識別子情報及び／又は時間情報を含むプログラム情報を含むことができ、図１２を参照して説明したコンテンツ識別子情報及びコンテンツライフサイクル情報をさらに含むことができるが、これは設計者の意図によって変更されてもよい。したがって、ウォーターマーク抽出器３００２は、抽出されたウォーターマークからプログラム情報を取得することができる。
【０３０４】
端末は、オーディオフレームのウォーターマークから抽出されたプログラム情報及びビデオフレームのロゴデータから抽出されたチャネル情報を用いて要求を生成し、アプリケーションルックアップサーバーに送ることができる。
【０３０５】
本発明の一実施例に係る要求３００３は、チャネル情報、プログラム情報、アプリケーションサーバーのＵＲＬアドレスの組合せで構成することができる。図３０では、本発明の一実施例に係る要求３００３である「ｈｔｔｐ：／／ｗｗｗ．ｏｈｔｖ．ｏｒｇ？ｃｈ＝７−１−ＫＢＳ２ＨＤ＆ＣｏｎｔｅｎｔＩＤ＝１２−２３４５＆．．．」を示している。
【０３０６】
図３０に示す要求は、チャネル情報及びプログラム情報をパラメータの形態で示す要求である。「ｈｔｔｐ：／／ｗｗｗ．ｏｈｔｖ．ｏｒｇ？」は、アプリケーションルックアップサーバー２９０４のＵＲＬアドレスを表すことができ、「ｃｈ＝７−１−ＫＢＳ２ＨＤ＆」は、チャネル情報を表すことができ、「ＣｏｎｔｅｎｔＩＤ＝１２−２３４５＆．．．」は、プログラム情報を表すことができる。
【０３０７】
アプリケーションルックアップサーバーは、端末から受信された要求のパラメータを用いて付加データを取得できるアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを検索し、検索結果を端末に送ることができる。
【０３０８】
図３１は、本発明のさらに他の実施例に係る自動コンテンツ認識サービス処理システムを示す図である。
【０３０９】
図３１は、ロゴデータ及びシンボルデータを用いて生成された要求を用いて付加データを受信するための自動コンテンツ認識サービス処理システムを示す。図３１に示す自動コンテンツ認識サービス処理システムは、図３０と同様に、セットトップボックス、端末、ロゴサーバー、メタデータサーバー、アプリケーションルックアップサーバー、及び／又はアプリケーションサーバーを含むことができる。図３１の自動コンテンツ認識サービス処理システムは、シンボル抽出器３１０２及び／又はコンテンツメタデータサーバー３１０３をさらに含むことができる。
【０３１０】
図３１に示す基本構成は、図２８及び３０を参照して説明したそれと同一であり、それに関する説明は省略する。以下、シンボル抽出器３１０２及び／又はコンテンツメタデータサーバー３１０３を中心に説明する。
【０３１１】
図３１に示すように、シンボル抽出器３１０２を端末に内蔵することができる。コンテンツメタデータサーバー３１０３は、端末に内蔵されてもよく、端末と別個として位置してもよいが、これは設計者の意図によって変更可能である。図３１に示すように、シンボルイメージ３１００及び／又はロゴイメージ３１０１が、表示されたコンテンツの特定領域に含まれてもよい。
【０３１２】
図２８を参照して説明した通り、本発明の一実施例に係る受信機がオーディオ信号に接続すると、端末は、ビデオフレームに含まれたシンボルデータを取得し、ロゴデータ及びシンボルデータを用いて要求を生成することができる。
【０３１３】
より具体的に、図３１に示す端末のシンボル抽出器３１０８は、ビデオフレームからシンボルイメージ３１００に該当するシンボルデータを抽出し、イメージ処理方法を用いて抽出されたシンボルデータに該当するシンボルイメージ３１００を認識することができる。その後、端末は、認識されたシンボルイメージ３１００又はシンボルイメージ３１００に該当するシンボルデータをコンテンツメタデータサーバー３１０３に送ることができる。
【０３１４】
コンテンツメタデータサーバー３１０３は、シンボルイメージ３１００が示すプログラムのプログラム情報を取得して端末に送ることができる。コンテンツメタデータサーバー３１０３は、メタデータサーバーからシンボルイメージ３１００に関連したプログラム情報を含むメタデータを受信し、データベースに記憶、及び管理することができる。コンテンツメタデータサーバー３１０３は、プログラム情報を得るためにコンテンツメタデータサーバー３１０３のデータベースを通して検索し、プログラム情報がデータベースに存在しないと、メタデータサーバーからプログラム情報を受信することができる。前述したように、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。プログラム情報を含むメタデータは、メタデータサーバーによって追加、訂正、更新、及び／又は削除することができる。更新されたメタデータは、コンテンツメタデータサーバー３１０３のデータベースに周期的に送ることができる。
【０３１５】
図３１に示すように、端末は、ビデオフレームからロゴデータを抽出することができる。図３０を参照して説明した通り、端末に含まれたロゴ抽出器は、ビデオフレームからロゴイメージ３１０３に該当するロゴデータを抽出してロゴサーバーに送り、ロゴサーバーからロゴデータのチャネル情報を受信することができる。
【０３１６】
前述したロゴ抽出器及びシンボル抽出器３１０２の動作は、順次に又は同時に実行できるが、これは、設計者の意図によって変更されてもよい。端末は、シンボルデータを用いて取得したプログラム情報及び／又はロゴデータを用いて取得したチャネルプログラムを含む要求を生成することができる。生成された要求を用いて端末で付加データを受信する方法は、図２９を参照して説明した通りであり、その説明は省略する。
【０３１７】
図３２は、本発明の一実施例に係る自動コンテンツ認識サービス受信装置を示す図である。
【０３１８】
図３２に示すように、本発明の一実施例に係る自動コンテンツ認識サービス受信装置は、受信モジュール３２０１、抽出モジュール３２０２、比較モジュール３２０３、取得モジュール３２０４、及び／又は生成モジュール３２０５を含むことができる。
【０３１９】
図３２に示す受信モジュール３２０１、抽出モジュール３２０２、取得モジュール３２０４、及び／又は生成モジュール３２０５は、図２８乃至３１を参照して説明した端末２８０１に内蔵され、図３２に示す比較モジュール３２０３は、図２８乃至３１を参照して説明したロゴサーバー２８０２に内蔵されうるが、これは、設計者の意図によって変更されてもよい。次に、図３２のモジュールを説明する。
【０３２０】
受信モジュール３２０１は、コンテンツを含むデジタルサービス信号を受信することができる。また、受信モジュール３２０１は、コンテンツの付加データを受信するためのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信する詳細な過程は、図２８乃至図３１を参照して説明した通りである。
【０３２１】
抽出モジュール３２０２は、受信したコンテンツの各ビデオフレームに含まれたロゴデータを抽出することができる。ロゴデータは、図２８乃至図３１を参照して説明した通り、ビデオフレームの特定領域に含まれ、コンテンツの特定領域に表示されたロゴイメージに該当する。抽出モジュール３２０２は、ビデオフレームの特定領域からウォーターマークを抽出することができる。本発明の一実施例で、ビデオフレームから抽出されたウォーターマークは、チャネル情報及び／又はプログラム情報を含むことができる。
【０３２２】
比較モジュール３２０３は、抽出モジュール３２０２によって抽出されたロゴデータを、自動コンテンツ認識サービス受信装置３２００に記憶されたロゴデータと比較することができる。抽出されたロゴデータを記憶されたロゴデータと比較する詳細な方法は、図２８乃至図３１を参照して説明した通りである。
【０３２３】
取得モジュール３２０４は、比較モジュール３２０３の比較結果を用いて、ロゴデータに関連したメタデータからチャネル情報を取得することができる。取得モジュール３２０４は、受信モジュール３２０１によって受信されたＵＲＬアドレス及び／又はインターネットプロトコルアドレスを用いてコンテンツの付加データを取得することができる。
【０３２４】
生成モジュール３２０５は、取得モジュール３２０４によって取得したチャネル情報を用いて要求を生成することができる。図２８乃至図３１を参照して説明した通り、生成モジュール３２０５は、取得したロゴデータのチャネル情報及び／又はオーディオフレームに含まれたウォーターマークのプログラム情報を用いて要求を生成することができる。オーディオフレームに接続できない場合は、生成モジュール３２０５は、ビデオフレームに含まれたシンボルデータ又は取得したロゴデータのチャネル情報のみを用いて要求を生成することができる。ビデオフレームに接続できない場合は、生成モジュール３２０５は、オーディオフレームに含まれたウォーターマークのプログラム情報のみを用いて要求を生成することができる。
【０３２５】
受信モジュール３２０１は、生成モジュール３２０５が生成した要求を用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。取得モジュール３２０４は、受信モジュール３２０１によって受信されたＵＲＬアドレス及び／又はインターネットプロトコルアドレスによってインターネットプロトコルネットワークを通して付加データを取得することができる。
【０３２６】
図３２には示していないが、本発明の一実施例に係る自動コンテンツ認識サービス受信装置３２００は、ウォーターマーク抽出モジュール、プログラム情報取得モジュール、シンボル抽出モジュール、処理モジュール、及び／又は更新モジュールをさらに含むことができる。ウォーターマーク抽出モジュール、プログラム情報取得モジュール、及び／又はシンボル抽出モジュールは、図２８乃至図３１を参照して説明した端末２８０１に含めることができる。処理モジュールは、図２８乃至図３１を参照して説明した端末２８０１又はコンテンツメタデータサーバー３１０３に含めることができる。更新モジュールは、図２８乃至図３１を参照して説明した端末２８０１又はメタデータサーバー２８０３に含めることができる。但し、これは設計者の意図によって変更されてもよい。
【０３２７】
本発明の一実施例に係るウォーターマーク抽出モジュールは、受信モジュール３２０１によって受信されたコンテンツのオーディオフレームからウォーターマークを抽出することができる。その後、プログラム情報取得モジュールは、抽出されたウォーターマークに含まれたプログラム情報を取得することができる。図２８を参照して説明した通り、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。端末側でオーディオフレームからウォーターマークを抽出する詳細な方法は、図３０を参照して説明した通りである。
【０３２８】
シンボルデータがビデオフレームに含まれると、本発明の一実施例に係るシンボル抽出モジュールは、ビデオフレームからシンボルデータを抽出することができる。その後、本発明の一実施例に係るプログラム情報取得モジュールは、抽出されたウォーターマークからプログラム情報を取得することができる。シンボルデータは、各ビデオフレームの特定領域に含むことができる。シンボル抽出モジュール及び／又はプログラム情報取得モジュールの具体的な動作は、図３１を参照して説明した通りである。
【０３２９】
本発明の一実施例に係る更新モジュールは、ロゴデータに関連したメタデータを周期的に更新することができる。図２８乃至図３１を参照して説明した通り、メタデータサーバー２８０３は、メタデータルックアップサーバー２８０４に記憶されたロゴデータを続けて追加、更新、及び／又は削除することができる。
【０３３０】
図３３は、本発明の一実施例に係る自動コンテンツ認識サービス送信装置を示す図である。
【０３３１】
図３３に示すように、本発明の一実施例に係る自動コンテンツ認識サービス送信装置は、生成モジュール３３０１、挿入モジュール３３０２、及び／又は送信モジュール３３０３を含むことができる。
【０３３２】
生成モジュール３３０１は、コンテンツを含むデジタルサービス信号を生成することができる。より具体的に、本発明の一実施例によって生成されたコンテンツは、ビデオコンテンツとオーディオコンテンツの両方を含むことができる。生成モジュール３３０１は、オーディオフレーム及び／又はビデオフレームに挿入されるウォーターマークを生成することができる。生成モジュール３３０１は、コンテンツのプログラムを示すシンボルデータを生成することができる。
【０３３３】
挿入モジュール３３０２は、ロゴデータをコンテンツの各ビデオフレームに挿入できる。より具体的に、ロゴデータは、各ビデオフレームの同一の特定領域に挿入され、コンテンツの特定領域に表示されたロゴイメージに該当する。
【０３３４】
また、挿入モジュール３３０２は、ウォーターマークをオーディオフレーム及び／又はビデオフレームに挿入できる。より具体的に、挿入モジュール３３０２は、オーディオフレーム及び／又はビデオフレームをサブフレームに分離し、分離されたサブフレームから、ウォーターマークの挿入される特定サブフレームを検出することができる。その後、挿入モジュール３３０２は、ウォーターマークを特定サブフレームに挿入し、サブフレームを結合してオーディオフレーム及び／又はビデオフレームを生成することができる。
【０３３５】
挿入モジュール３３０２は、生成モジュール３３０１によって生成されたシンボルデータをコンテンツの各ビデオフレームの特定領域に挿入することができる。
【０３３６】
送信モジュール３３０３は、挿入モジュール３３０２でロゴデータ及び／又はウォーターマークが挿入されたコンテンツを含むデジタルサービス信号を、図３２を参照して説明した自動コンテンツ認識サービス受信装置３２００に送信することができる。本発明の一実施例に係るロゴデータは、図３２を参照して説明した取得モジュール３２０４でチャネル情報を受信するために用いることができる。本発明の一実施例に係るチャネル情報は、図３２を参照して説明した受信モジュール３２０１でＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信するために用いることができる。
【０３３７】
図３４は、本発明の一実施例に係る自動コンテンツ認識サービス受信過程を示す図である。
【０３３８】
本発明の一実施例に係る受信モジュール３２０１は、コンテンツを含むデジタルサービス信号を受信することができる（Ｓ３４０１）。前述したように、受信モジュール３２０１は、図２８乃至図３２を参照して説明した端末２８０１に含まれうる。より具体的に、図２８を参照して説明した通り、端末２８０１は、セットトップボックス２８００を通して受信した放送コンテンツの未加工データのビデオフレームからロゴデータを認識することができる。
【０３３９】
本発明の一実施例に係る抽出モジュール３２０２は、受信したコンテンツの各ビデオフレームの特定領域からロゴデータを抽出できる（Ｓ３４０２）。前述したように、抽出モジュール３２０２は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【０３４０】
より具体的に、図３０を参照して説明した通り、端末のロゴ抽出器３００１は、イメージ処理によってビデオフレームからロゴデータを抽出することができる。ロゴデータは、図２８乃至図３１を参照して説明した通り、ビデオフレームの特定領域に含まれ、コンテンツの特定領域に表示されたロゴイメージに該当し得る。
【０３４１】
本発明の一実施例に係る端末２８０１は、オーディオフレームでウォーターマークを抽出し、抽出されたウォーターマークを用いてプログラム情報を取得することができる。抽出されたウォーターマークは、プログラム情報を含むことができる。図２８を参照して説明した通り、本発明の一実施例に係るプログラム情報は、コンテンツ識別子情報及び／又は時間情報を含むことができる。端末側でオーディオフレームからウォーターマークを抽出する具体的な方法は、図３０を参照して説明した通りである。
【０３４２】
本発明の一実施例に係る端末２８０１は、各ビデオフレームの特定領域からシンボルデータを抽出することができる。その後、端末２８０１は、抽出されたシンボルデータを処理してプログラム情報を取得することができる。シンボルデータは、図３１を参照して詳細に説明したプログラム情報を含むことができる。
【０３４３】
図２８乃至図３１を参照して説明した通り、本発明の一実施例に係る端末２８０１は、各ビデオフレームの特定領域からシンボルデータを抽出することができる。本発明の一実施例でビデオフレームから抽出されたウォーターマークは、チャネル情報及び／又はプログラム情報を含む。
【０３４４】
本発明の一実施例に係る比較モジュール３２０３は、抽出されたロゴデータを、ロゴサーバー２８０２のデータベースに記憶されたロゴデータと比較する（Ｓ３４０３）。前述した通り、比較モジュール３２０３は、図２８乃至図３２を参照して説明した端末に内蔵されうる。抽出されたロゴデータを記憶されたロゴデータと比較する詳細な方法は、図２８乃至図３１を参照して説明した通りである。
【０３４５】
本発明の一実施例に係る取得モジュール３２０４は、ロゴデータに関連したメタデータからチャネル情報を取得することができる（Ｓ３４０４）。前述したように、取得モジュール３２０４は、図２８乃至図３１を参照して説明した端末２８０１に内蔵されうる。
【０３４６】
より具体的に、図２８乃至図３０を参照して説明した通り、抽出されたロゴデータのイメージと記憶されたロゴデータのイメージが同一であれば、ロゴサーバーは、データベースからロゴデータのチャネル情報を検索して端末に送ることができる。
【０３４７】
また、本発明の一実施例に係る更新モジュールは、ロゴデータに関連したメタデータを周期的に更新することができる。図３２を参照して説明した通り、更新モジュールは、端末又はメタデータサーバーに内蔵されうる。本発明の一実施例に係るメタデータサーバーは、ロゴサーバーのデータベースに記憶されたメタデータを周期的に更新することができる。
【０３４８】
本発明の一実施例に係る生成モジュール３２０５は、チャネル情報を用いて要求を生成することができる（Ｓ３４０５）。前述したように、生成モジュール３２０５は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【０３４９】
より具体的に、図３０を参照して説明した通り、端末は、ロゴサーバーから受信したチャネル情報を用いて要求を生成することができる。図２９を参照して説明した通り、端末は、生成された要求をＨＴＴＰプロトコルを通してアプリケーションルックアップサーバー２９０４に送ることができる。
【０３５０】
図２８乃至図３１を参照して説明した通り、生成モジュール３２０５は、取得したロゴデータのチャネル情報及びオーディオフレームに含まれたウォーターマークのプログラム情報を用いて要求を生成することができる。また、オーディオフレームに接続できない場合は、生成モジュール３２０５は、取得したロゴデータのチャネル情報のみを用いて又はビデオフレームに含まれたシンボルデータを用いて要求を生成することができる。ビデオフレームに接続できない場合は、生成モジュール３２０５は、オーディオフレームに含まれたウォーターマークのプログラム情報のみを用いて要求を生成することができる。
【０３５１】
本発明の一実施例に係る受信モジュール３２０１は、要求に用いてＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる（Ｓ３４０６）。前述したように、受信モジュール３２０１は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【０３５２】
より具体的に、図２９を参照して説明した通り、端末２９０１は、アプリケーションルックアップサーバー２９０４で要求を用いて検索したアプリケーションのＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信することができる。ＵＲＬアドレス及び／又はインターネットプロトコルアドレスの具体的な過程は、図２８乃至図３１を参照して説明した通りである。
【０３５３】
本発明の一実施例に係る取得モジュール３２０４は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスによってインターネットプロトコルネットワークを通して付加データを取得することができる（Ｓ３４０７）。前述したように、取得モジュール３２０４は、図２８乃至図３２を参照して説明した端末２８０１に内蔵されうる。
【０３５４】
より具体的に、図２９を参照して説明した通り、端末２９０１は、ＵＲＬアドレス及び／又はインターネットプロトコルアドレスを通してアプリケーションサーバー２９０５に接続し、アプリケーションをダウンロードすることができる。ダウンロードされたアプリケーションは、アプリケーションサーバー２９０５によって管理され、付加データは、ダウンロードされたアプリケーションを通して端末２９０１に送信されうるが、これは、図２８乃至図３１を参照して説明した通りである。
【０３５５】
図３５は、本発明の一実施例に係る自動コンテンツ認識サービス送信過程を示す図である。
【０３５６】
本発明の一実施例に係る生成モジュール３３０１は、コンテンツを含むデジタルサービス信号を生成することができる（Ｓ３５０１）。より具体的に、本発明の一実施例によって生成されたコンテンツは、ビデオコンテンツとオーディオコンテンツの両方を含むことができる。
【０３５７】
生成モジュール３３０１は、オーディオフレーム及び／又はビデオフレームに挿入されるウォーターマークを生成することができる。また、生成モジュール３３０１は、コンテンツのプログラムを示すシンボルデータを生成することができる。
【０３５８】
本発明の一実施例に係る挿入モジュール３３０２は、ロゴデータをコンテンツの各ビデオフレームに挿入することができる（Ｓ３５０２）。より具体的に、ロゴデータは、各ビデオフレームの同一の特定領域に挿入され、コンテンツの特定領域に表示されたロゴイメージに該当し得る。
【０３５９】
挿入モジュール３３０２は、ウォーターマークをオーディオフレーム及び／又はビデオフレームに挿入することができる。より具体的に、挿入モジュール３３０２は、オーディオフレーム及び／又はビデオフレームをサブフレームに区分し、区分されたサブフレームからウォーターマークの挿入される特定サブフレームを検出することができる。その後、挿入モジュール３３０２は、ウォーターマークを特定サブフレームに挿入し、サブフレームを結合してオーディオフレーム及び／又はビデオフレームを生成することができる。
【０３６０】
また、挿入モジュール３３０２は、シンボルデータをコンテンツの各ビデオフレームの特定領域に挿入できるが、これは図３１を参照して詳細に説明した通りである。
【０３６１】
本発明の一実施例に係る送信モジュール３３０３は、デジタルサービス信号を送信することができる（Ｓ３５０３）。送信モジュール３３０３は、ウォーターマーク及び／又はロゴデータが挿入モジュール３３０２で挿入されたコンテンツを含むデジタルサービス信号を、図３２を参照して説明した自動コンテンツ認識サービス受信装置３２００に送信することができる。本発明の一実施例に係るロゴデータは、図３２を参照して説明した取得モジュール３２０４でチャネル情報を受信するために用いることができる。本発明の一実施例に係るチャネル情報は、図３２を参照して説明した受信モジュール３２０１でＵＲＬアドレス及び／又はインターネットプロトコルアドレスを受信するために用いることができる。
〔実施例〕
【０３６２】
発明の実施例は、前述した通り、発明を実施するための形態で詳述された。
【０３６３】
本発明の思想や範囲から逸脱することなく当業者にとって本発明の様々な変形及び変更が可能であることは明らかである。したがって、本発明は、添付の特許請求の範囲及びその同等範囲内にある本発明の変形及び変更を含むように意図される。
【産業上の利用可能性】
【０３６４】
前述した通り、本発明は、デュアルディスプレイのための装置に全体的に又は部分的に適用可能である。
【図２５】
2015531189.tif 000003
【図２６】
2015531189.tif 000004
【図１】
2015531189.tif 000005
【図２】
2015531189.tif 000006
【図３】
2015531189.tif 000007
【図４】
2015531189.tif 000008
【図５】
2015531189.tif 000009
【図６】
2015531189.tif 000010
【図７】
2015531189.tif 000011
【図８】
2015531189.tif 000012
【図９】
2015531189.tif 000013
【図１０】
2015531189.tif 000014
【図１１】
2015531189.tif 000015
【図１２】
2015531189.tif 000016
【図１３】
2015531189.tif 000017
【図１４】
2015531189.tif 000018
【図１５】
2015531189.tif 000019
【図１６】
2015531189.tif 000020
【図１７】
2015531189.tif 000021
【図１８】
2015531189.tif 000022
【図１９】
2015531189.tif 000023
【図２０】
2015531189.tif 000024
【図２１】
2015531189.tif 000025
【図２２】
2015531189.tif 000026
【図２３】
2015531189.tif 000027
【図２４】
2015531189.tif 000028
【図２７】
2015531189.tif 000029
【図２８】
2015531189.tif 000030
【図２９】
2015531189.tif 000031
【図３０】
2015531189.tif 000032
【図３１】
2015531189.tif 000033
【図３２】
2015531189.tif 000034
【図３３】
2015531189.tif 000035
【図３４】
2015531189.tif 000036
【図３５】
2015531189.tif 000037
【国際調査報告】
2015531189.tif 000038
2015531189.tif 000039