(57)【特許請求の範囲】
【請求項１】
ディスプレー部を含む映像表示装置の動作方法であって、
非圧縮視聴覚コンテンツを獲得するステップと、
前記非圧縮視聴覚コンテンツから第１特徴情報を抽出するステップと、
前記第１特徴情報に基づくコンテンツ情報を含む第１応答を第１サーバから受信するステップであって、前記コンテンツ情報は前記非圧縮視聴覚コンテンツのジャンルを決定するためのコンテンツ識別子を含む、ステップと、
前記コンテンツ識別子に基づく第１質疑を第２サーバに伝送するステップであって、前記第２サーバは前記非圧縮視聴覚コンテンツのジャンルに基づいて特徴情報について推奨タイプ情報を決定する、ステップと、
前記第１質疑に基づいて前記推奨タイプ情報を獲得するステップであって、前記推奨タイプ情報はビデオタイプ又はオーディオタイプの少なくとも一つを示す、ステップと、
前記推奨タイプ情報にしたがって抽出すべき前記特徴情報のタイプを決定するステップと、
前記非圧縮視聴覚コンテンツから前記特徴情報のタイプに対応した第２特徴情報を抽出するステップと、
前記第２特徴情報を含む第２質疑に対する第２応答を受信するステップと、を含み、
前記特徴情報のタイプを決定するステップは、
前記映像表示装置のハードウエアの制限のために、前記映像表示装置が前記推奨タイプ情報にしたがった前記第２特徴情報を抽出することができない時、前記推奨タイプ情報にしたがった前記特徴情報のタイプ以外の前記特徴情報の他のタイプを決定するステップを含み、
前記特徴情報のタイプにしたがって前記第２特徴情報を抽出するステップは、
前記特徴情報のタイプが前記オーディオタイプを示す時、オーディオデータからオーディオ特徴情報を抽出するステップ、又は
前記特徴情報のタイプが前記ビデオタイプを示す時、ビデオデータからビデオ特徴情報を抽出するステップとを含む、映像表示装置の動作方法。
【請求項２】
前記第１応答はコンテンツ認識の正確度を含み、
前記特徴情報のタイプを決定するステップは、
前記コンテンツ認識の正確度に基づいて前記特徴情報のタイプを決定するステップを含む、請求項１に記載の映像表示装置の動作方法。
【請求項３】
前記コンテンツ認識の正確度に基づいて前記特徴情報のタイプを決定するステップは、
前記コンテンツ認識の正確度が予め設定された基準値より大きいか否かに基づいて前記特徴情報のタイプを決定するステップを含む、請求項２に記載の映像表示装置の動作方法。
【請求項４】
前記第１応答はサンプリングウィンドウの情報を含み、
前記サンプリングウィンドウの情報は特徴情報を抽出するための領域を示し、
前記領域は字幕の位置を含まず、
前記第２特徴情報のタイプを決定するステップは、
前記サンプリングウィンドウの情報に基づいて前記第２特徴情報のタイプを決定するステップを含む、請求項１に記載の映像表示装置の動作方法。
【請求項５】
映像表示装置であって、
非圧縮視聴覚コンテンツを獲得する受信部と、
前記非圧縮視聴覚コンテンツを表示するディスプレー部と、
前記非圧縮視聴覚コンテンツから第１特徴情報を抽出し、
前記第１特徴情報に基づいたコンテンツ情報を含む第１応答を第１サーバから受信し、前記コンテンツ情報は前記非圧縮視聴覚コンテンツのジャンルを決定するためのコンテンツ識別子を含み、
前記コンテンツ識別子に基づいた第１質疑を第２サーバに伝送し、前記第２サーバは前記非圧縮コンテンツのジャンルに基づいた特徴情報の推奨タイプ情報を決定し、
前記第１質疑に基づいた前記推奨タイプ情報を獲得し、前記推奨タイプ情報はビデオタイプとオーディオタイプの少なくとも一つを示し、
前記推奨タイプ情報にしたがって抽出する前記特徴情報のタイプを決定し、
前記非圧縮視聴覚コンテンツから前記特徴情報のタイプに対応する第２特徴情報を抽出し、
前記第２特徴情報を含む第２質疑に対する第２応答を受信する、付加サービス管理部を含み、
前記特徴情報のタイプを決定することは、
前記映像表示装置のハードウエアの制限により、前記映像表示装置が前記推奨タイプ情報にしたがった前記第２特徴情報を抽出できない時、前記推奨タイプ情報にしたがって前記特徴情報のタイプ以外の前記特徴情報の他のタイプを決定することを含み、
前記特徴情報のタイプにしたがった前記第２特徴情報を抽出することは、
前記特徴情報のタイプが前記オーディオタイプを示す時、オーディオデータからオーディオ特徴情報を抽出すること、又は
前記特徴情報のタイプが前記ビデオタイプを示す時、ビデオデータからビデオ特徴情報を抽出することを含む、映像表示装置。
【請求項６】
前記第１応答はコンテンツ認識の正確度を含み、
前記付加サービス管理部は、
前記コンテンツ認識の正確度に基づいて前記特徴情報のタイプを決定する、請求項５に記載の映像表示装置。
【請求項７】
前記付加サービス管理部は、
前記コンテンツ認識の正確度が予め設定された基準値より大きいか否かに基づいて前記特徴情報のタイプを決定する、請求項６に記載の映像表示装置。
【請求項８】
前記第１応答はサンプリングウィンドウの情報を含み、
前記サンプリングウィンドウの情報は前記特徴情報を抽出するための領域を示し、
前記領域は字幕の位置を含まず、
前記付加サービス管理部は、前記サンプリングウィンドウの情報に基づいて第２特徴情報を決定する、請求項５に記載の映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置及びその動作方法に関するものである。
【背景技術】
【０００２】
デジタル放送が活性化されるにつれ、放送局はメイン視聴覚コンテンツを送出しながら、このメイン視聴覚コンテンツと連携して利用するかこのメイン視聴覚コンテンツとは独立した付加サービスデータ（ｅｎｈａｎｃｅｄ  ｓｅｒｖｉｃｅ  ｄａｔａ）を一緒に送出する。
【０００３】
しかし、現在の放送環境では各過程の映像表示装置が放送信号を地上波を介して直接受信する場合が少ない。むしろ各家庭の映像表示装置はセットトップボックスのような放送受信装置に連結されているため、この放送受信装置が提供する非圧縮視聴覚コンテンツを再生することが多い。
【０００４】
一方、放送受信装置は多チャネルビデオ番組配布企業（ｍｕｌｔｉｃｈａｎｎｅｌ  ｖｉｄｅｏ  ｐｒｏｇｒａｍｍｉｎｇ  ｄｉｓｔｒｉｂｕｔｏｒ，ＭＶＰＤ）と呼ばれるサーバからコンテンツを提供される。この多チャネルビデオ番組配布企業は放送局から放送信号を受信し、受信した放送信号からコンテンツを抽出した後、自らが送出するに適合した形態の信号に変換し、変換された信号を放送受信装置に提供する。この過程で、多チャネルビデオ番組配布企業は抽出した付加サービスデータを除去してもよく他の付加サービスデータを追加してもよいため、放送受信装置はＭＶＰＤに従属された付加サービスを提供されるしかない。
【０００５】
放送受信装置も多チャネルビデオ番組配布企業から受信した信号からメイン視聴覚データを抽出して非圧縮視聴覚データのみを映像表示装置に提供するため、放送受信装置の統制下の付加サービスのみ利用可能であって映像表示装置の統制下の付加サービスは行われない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は正確なコンテンツの識別を可能にする映像表示装置とその動作方法を提供するためのものである。
【課題を解決するための手段】
【０００７】
本発明の一実施例によるディスプレー部を含む映像表示装置の動作方法は、非圧縮視聴覚コンテンツを獲得するステップと、前記非圧縮視聴覚コンテンツから第１特徴情報タイプに当たる第１特徴情報を抽出するステップと、前記第１特徴情報を含む第１質疑（質問)に対する応答を受信するステップと、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、前記非圧縮視聴覚コンテンツから前記第２特徴情報タイプに当たる第２特徴情報を抽出するステップと、前記第２特徴情報を含む第２質疑（質問）に対する応答を受信するステップと、を含む。
【０００８】
この際、前記第２特徴情報タイプは前記非圧縮視聴覚コンテンツのジャンルに基づいて決定される。
【０００９】
この際、前記第１質疑に対する応答は前記非圧縮視聴覚コンテンツのコンテンツ識別子を含み、前記非圧縮視聴覚コンテンツのジャンルは前記非圧縮視聴覚コンテンツのコンテンツ識別子に基づいて獲得される。
【００１０】
この際、前記第１質疑に対する応答に基づいて第２特徴情報タイプを決定するステップは、前記コンテンツ識別子を含む第３質疑（質問）を伝送するステップと、前記第３質疑に対する応答に基づいて第２特徴情報タイプを決定するステップと、を含む。
【００１１】
この際、前記第３質疑に対する応答は前記非圧縮視聴覚コンテンツのジャンルを含み、前記第３質疑に対する応答に基づいて前記第２特徴情報タイプを決定するステップは、前記非圧縮視聴覚コンテンツのジャンルに基づいて前記第２特徴情報タイプを決定するステップを含む。
【発明の効果】
【００１２】
本発明の一実施例による映像表示装置は、コンテンツのジャンルに基づいてＡＣＲ質疑（質問）に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
【００１３】
また、本発明の一実施例による映像表示装置は、コンテンツ認識の正確度に基づいてＡＣＲ質疑に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
【００１４】
また、本発明の一実施例による映像表示装置は、映像表示装置の制約に基づいてＡＣＲ質疑に含まれる特徴情報タイプを変更して該当コンテンツを正確に識別することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例によるネットワークトポロジーを示すブロック図である。
【図２】本発明の一実施例によるウォーターマーク(watermark)基盤のネットワークトポロジーを示すブロック図である。
【図３】本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【図４】本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。
【図５】本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
【図６】本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【図７】本発明の一実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラム（ｓｃｈｅｍａ  ｄｉａｇｒａｍ）である。
【図８】本発明の一実施例によるウォーターマークとフィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）基盤のネットワークトポロジーを示すブロック図である。
【図９】本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【図１０】本発明の一実施例による映像表示装置の構造を示すブロック図である。
【図１１】本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
【図１２】本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
【図１３】本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
【図１４】本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
【図１５】本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す図である。
【図１６】本発明の実施例による映像表示装置の動作方法示すフローチャートである。
【図１７】本発明の実施例によるネットワークトポロジーを示す図である。
【図１８】本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。
【図１９】本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す図である。
【図２０】本発明の実施例によるＬｉｖｅ＋アプリケーションのタブの機能を示す図である。
【図２１】本発明の一実施例による第三者サーバ９０のアーキテクチャを示す図である。
【図２２】本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
【図２３】本発明の一実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
【図２４】本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
【図２５】本発明の実施例による映像表示装置の概念図を示す図である。
【図２６】本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すラダーダイアグラムである。
【図２７】本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すＸＭＬスキーマダイアグラムである。
【図２８】本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すラダーダイアグラム図である。
【図２９】本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。
【図３０】本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。
【図３１】本発明の他の実施例によるフィンガープリントの周期変化を説明するための図である。
【図３２】本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【図３３】本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【図３４】本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。
【図３５】本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【図３６】本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【図３７】本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【図３８】本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【図３９】本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すブロック図である。
【図４０】本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【図４１】本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。
【図４２】本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。
【図４３】本発明の実施例によって映像表示装置がコンテンツ認識正確度に基づいて特徴情報タイプを変更することを示す順序図である。
【図４４】本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。
【図４５】本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。
【図４６】本発明の実施例による映像表示装置の概念図である。
【図４７】本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
【図４８】本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明に関する移動端末機について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に関する接尾辞「エンジン」、「モジュール」及び「部」は明細書を容易に作成するためにのみ考慮されて付与されるか混用されるものであって、それ自体で互いに区別される意味又は役割を有することはない。
【００１７】
以下、図１乃至図９を参照して本発明の一実施例によるネットワークトポロジーを説明する。
【００１８】
図１は、本発明の一実施例によるネットワークトポロジーを示すブロック図である。
【００１９】
図１に示したように、本発明の一実施例によるネットワークトポロジーはコンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、多チャネルビデオ番組配布サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０、放送受信サーバ６０、ネットワーク７０、映像表示装置１００を含む。
【００２０】
コンテンツ提供サーバ１０は放送局などであり、メイン視聴覚コンテンツ（ｍａｉｎ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｃｏｎｔｅｎｔ）を含む放送信号を放送する。放送信号は付加サービスを更に含む。付加サービスはメイン視聴覚コンテンツに関してもよく、関しなくてもよい。付加サービスはサービス情報（Ｓｅｒｖｉｃｅ  ｉｎｆｏｒｍａｔｉｏｎ）、メタデータ（ｍｅｔａｄａｔａ）、付加データ、コンパイルされた実行ファイル、ウェブアプリケーション、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）文書、ＸＭＬ文書、ＣＳＳ（ｃａｓｃａｄｉｎｇ  ｓｔｙｌｅ  ｓｈｅｅｔ）文書、オーディオファイル、ビデオ不リアル、ＡＴＳＣ２．０コンテンツ、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）などのようなアドレスなどの形態を有する。一つ以上のコンテンツ提供サーバが存在する。
【００２１】
コンテンツ認識サービス提供サーバ２０は映像表示装置１００がメイン視聴覚コンテンツに基づいてコンテンツを認識するようにするコンテンツ認識サービスを提供する。コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに修正を加えてもよく、加えなくてもよい。一つ以上のコンテンツ認識サービス提供サーバが存在する。
【００２２】
コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォーターマーク（ｖｉｓｉｂｌｅ  ｗａｔｅｒｍａｒｋ）を挿入するウォーターマークサーバである。このウォーターマークサーバはメイン視聴覚コンテンツの各フレームの左上又は右上にコンテンツ提供者のロゴをウォーターマークで表示する。
【００２３】
また、コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を不可視ウォーターマーク（ｉｎｖｉｓｉｂｌｅ  ｗａｔｅｒｍａｒｋ）として挿入するウォーターマークサーバである。
【００２４】
また、コンテンツ認識サービス提供サーバ２０はメイン視聴覚コンテンツの一部のフレーム又は一部のオーディオサンプルから特徴情報を抽出して記憶するフィンガープリントサーバである。この特徴情報はシグネチャとも呼ばれる。
【００２５】
多チャネルビデオ番組配布サーバ３０は複数の放送局から放送信号を受信し多重化して多重化された信号を放送受信装置６０に提供する。特に、多チャネルビデオ番組配布サーバ３０は受信した放送信号に対して復調とチャネル復号化を行ってメイン視聴覚コンテンツと付加サービスを抽出した後、抽出したメイン視聴覚コンテンツと付加サービスに対するチャネル復号化を行って配布のための多重化信号を生成する。この際、多チャネルビデオ番組配布サーバ３０は抽出した付加サービスを除外してもよく他の付加サービスを抽出してもよいため、放送局は放送局が主導するサービスを提供することができない。一つ以上の多チャネルビデオ番組配布サーバが存在する。
【００２６】
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信した信号に対して復調とチャネル復号を行ってメイン視聴覚コンテンツを抽出する。そして、放送受信装置６０は抽出したメイン視聴覚コンテンツをＨ．２６５／ＭＰＥＧ−４  ＡＶＣ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４  ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）、Ｄｏｌｂｙ  ＡＣ−３、ＭＰＥＧ−２  ＡＡＣ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−２  ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ）アルゴリズムなどを利用し復号して非圧縮メイン視聴覚コンテンツ（ｕｎｃｏｍｐｒｅｓｓｅｄ  ｍａｉｎ  ＡＶ  ｃｏｎｔｅｎｔ）を生成する。放送受信装置６０は生成した非圧縮メイン視聴覚コンテンツを映像表示装置１００の外部入力ポートなどを介して映像表示装置１００に提供する。
【００２７】
付加サービス情報提供サーバ４０は映像表示装置の要求に応答してメイン視聴覚コンテンツに関する一つ以上の利用可能な付加サービスのための付加サービス情報を提供する。一つ以上の負荷サービスアドレス提供サーバが存在する。付加サービス情報提供サーバ４０は複数の利用可能な付加サービスのうち最も優先順位が高い付加サービスのための付加サービス情報を提供してもよい。
【００２８】
付加サービス提供サーバ５０は映像表示装置の要求に応答してメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供する。一つ以上の付加サービス提供サーバが存在する。
【００２９】
映像表示装置１００はテレビ、ノートブックＰＣ、携帯電話、スマートフォンなどのようにディスプレー装置である。映像表示装置１００は放送受信装置ｔ６０から非圧縮メイン視聴覚コンテンツを受信してもよく、コンテンツ提供サーバ１０又は多チャネルビデオ番組配布サーバ３０から符号化されたメイン視聴覚コンテンツを含む放送信号を含んでもよい。映像表示装置１００はネットワーク７０を介してコンテンツ認識サービス提供サーバ２０からコンテンツ認識サービスを提供され、ネットワーク７０を介して付加サービス情報提供サーバ４０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスのアドレスを受信し、付加サービス提供サーバ５０からメイン視聴覚コンテンツに関して利用可能な一つ以上の付加サービスを提供される。
【００３０】
コンテンツ提供サーバ１０、コンテンツ認識サービス提供サーバ２０、多チャネルビデオ番組配布サーバ３０、付加サービス情報提供サーバ４０、複数の付加サービス提供サーバ５０のうち２つ以上は一つのサーバの形態で結合されもよく、一つの事業者によって運営されてもよい。
【００３１】
図２は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジーを示すブロック図である。
【００３２】
図２に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１を含む。
【００３３】
図２に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにコンテンツ情報を挿入する。多チャネルビデオ番組配布サーバ３０は変形されたメイン視聴覚コンテンツを含む放送信号を受信して配布する。特に、ウォーターマークサーバは後述するようなデジタルウォーターマーキング技術を利用する。
【００３４】
デジタルウォーターマークは削除しにくい方法でデジタル信号に情報を挿入するプロセスである。例えば、デジタル信号はオーディオ、写真又はビデオである。このデジタル信号がコピーされると、挿入された情報も写本に保持される。一つのデジタル信号が同時に他の多くのウォーターマークを運搬する。
【００３５】
可視ウォーターマーキング（ｖｉｓｉｂｌｅ  ｗａｔｅｒｍａｒｋｉｎｇ）において、挿入される情報は写真又はビデオで目で識別可能である。典型的に挿入された情報はメディアの所有者を識別するテキスト又はロゴである。テレビ局が自らのロゴを伝送されるビデオのコーナーに追加すると、これは目で識別可能なウォーターマークになる。
【００３６】
不可視ウォーターマーキング（ｉｎｖｉｓｉｂｌｅ  ｗａｔｅｒｍａｒｋｉｎｇ）において、情報はデジタルデータとしてオーディオ、写真又はビデオに追加されるか、一定量の情報が隠されていることを感知することはできてもそのような情報を認知することはできない。このような目で識別不可能なウォータマーキングを介して秘密メッセージが伝達される。
【００３７】
ウォータマーキングのある応用は、デジタルメディアの不法コピーを防ぐための著作権保護システムである。例えば、コピー装置はデジタルメディアをコピーする前にデジタルメディアからウォーターマークを得て、ウォーターマークの内容に基づいてコピーするのか否かを決定する。
【００３８】
ウォータマーキングの他の応用はメディアの出処追跡にある。配布経路上の各地点でウォータマークがデジタルメディアにインべーディングされる。後にこのようなデジタルメディアが発見されたらこのデジタルメディアからウォーターマークが抽出され、ウォーターマークの内容から配布の出処を把握することができる。
【００３９】
デジタルメディアに関する説明が目で識別不可能なウォーターマーキングの他の応用である。
【００４０】
デジタルメディアのためのファイルフォーマットがメタデータと呼ばれる追加的な情報を含むが、デジタルウォーターマークはデジタルメディアの視聴覚信号自体で伝達されることからメタデータとは区別される。
【００４１】
ウォーターマーキング方法としてはスプレッドスペクトル、量子化、アンプリチュード（振幅）変調がある。
【００４２】
マーキングされる信号が追加的な修正によって得られるのであれば、ウォーターマーキング方法はスプレッドスペクトルに当たる。スプレッドスペクトルウォーターマークはかなり強いと知られているが、ウォーターマークがインべーディングされるホスト信号に干渉を与えるため多くの情報が含まれることはない。
【００４３】
マーキングされる信号が量子化によって得られるのであれば、ウォーターマーキング方法は量子化タイプに当たる。量子化ウォーターマークの強靭性は低いが多くの情報を含ませることができる。
【００４４】
マーキングされる信号が空間ドメインからスプレッドスペクトルと類似した追加の修正方法で得られるのであれば、ウォーターマーキング方法はアンプリチュード変調に当たる。
【００４５】
図３は、本発明の一実施例によるウォーターマーク基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【００４６】
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ１０１。
【００４７】
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ１０３。
【００４８】
不可視ウォーターマークを介して挿入されるウォーターマーク情報はウォーターマークの用途、コンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。ウォーターマークの用途は無断コピーの防止、視聴率の調査、付加サービスの獲得のうち一つを示す。
【００４９】
コンテンツ情報はメイン視聴覚コンテンツを提供するコンテンツ提供者の識別情報、メイン視聴覚コンテンツの識別情報、メイン視聴覚コンテンツの等級情報、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報、メイン視聴覚コンテンツが放送されるチャネル名、メイン視聴覚コンテンツが放送されるチャネルのロゴ、メイン視聴覚コンテンツが放送されるチャネルの説明、利用情報を報告するアドレス、利用情報の報告周期、利用情報を獲得する耐えの最小の利用時間、メイン視聴覚コンテンツに関して利用可能な付加サービス情報のうち一つ以上を含む。
【００５０】
映像表示装置１００がコンテンツ情報を獲得するためにウォーターマークを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は利用されたウォーターマークが内挿（ｅｍｂｅｄｄｉｎｇ）されたコンテンツ区間の時間情報である。映像表示装置１００がコンテンツ情報を獲得するためにフィンガープリントを利用したのであれば、コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報は特徴情報が抽出されたコンテンツ区間の時間情報である。コンテンツ情報の獲得に使用されたコンテンツ区間の時間情報はコンテンツ情報の獲得に使用されたコンテンツ区間の開始時間、コンテンツ情報の獲得に使用されたコンテンツ区間の持続時間（ｄｕｒａｔｉｏｎ）、コンテンツ情報の獲得に使用されたコンテンツ区間の終了時間のうち一つ以上を含む。
【００５１】
利用情報の報告アドレスはメイン視聴覚コンテンツの視聴情報の報告アドレス、付加サービス利用情報の報告アドレスのうち一つ以上を含む。利用情報の報告周期はメイン視聴覚コンテンツの視聴情報の報告周期、付加サービス利用情報の報告周期のうち一つ以上を含む。利用情報を獲得するための最小の利用時間はメイン視聴覚コンテンツの視聴情報を獲得するための最小の視聴時間、付加サービス利用情報を抽出するための最小の使用時間のうち一つ以上を含む。
【００５２】
メイン視聴覚コンテンツが最小時長時間以上視聴された場合に基づいて映像表示装置１００はメイン視聴覚コンテンツの視聴情報を獲得し、メイン視聴覚コンテンツ視聴情報の報告周期からメイン視聴覚コンテンツ視聴情報の報告アドレスとして抽出した視聴情報を報告する。
【００５３】
付加サービスが最小使用時間以上使用された場合に基づいて映像表示装置１００は付加サービス利用情報を獲得し、付加サービス利用情報の報告周期から付加サービス利用情報の報告アドレスとして抽出した利用情報を報告する。
【００５４】
付加サービス情報は付加サービスが存在するのかに関する情報、付加サービスアドレス提供サーバーのアドレス、それぞれの利用可能な付加サービスの獲得経路、それぞれの利用可能な付加サービスのためのアドレス、それぞれの利用可能な付加サービスの開始時間、それぞれの利用可能な付加サービスのための終了時間、それぞれの利用可能な付加サービスの寿命（ｌｉｆｅｔｉｍｅ）、それぞれの利用可能な付加サービスの獲得モード、それぞれの利用可能な付加サービスのための要求周期、それぞれの利用可能な付加サービスの優先順位情報、それぞれの利用可能な付加サービスの説明、それぞれの利用可能な付加サービスの項目（ｃａｔｅｇｏｒｙ）、利用情報の報告アドレス、利用情報の報告周期、利用情報を獲得するための最小利用時間のうち一つ以上を含む。
【００５５】
利用可能な付加サービスの獲得経路はＩＰ又はＡＴＳＣ  Ｍ／Ｈ（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈｎａｄｈｅｌｄ）を示す。利用可能な付加サービスの獲得経路がＡＴＳＣ  Ｍ／Ｈであれば付加サービス情報は周波数情報、チャネル情報を更に含む。それぞれの利用可能な付加サービスの獲得モードはＰｕｓｈ又はＰｕｌｌを示す。
【００５６】
一方、ウォーターマークサーバ２１はメイン視聴覚コンテンツのロゴにウォーターマーク情報を不可視ウォーターマークとして挿入する。
【００５７】
例えば、ウォーターマークサーバ２１はロゴの一定位置にバーコードを挿入する。この際、ロゴの一定値はロゴがディスプレーされる区域の下端の１ラインに当たる。映像表示装置１００はこのようにバーコードが挿入されたロゴを含むメイン視聴覚コンテンツを受信する場合、バーコードをディスプレーしなくてもよい。
【００５８】
また、ウォーターマークサーバ２１はロゴのメタデータの形態にウォーターマーク情報を挿入する。この際、ロゴの形状は維持される。
【００５９】
また、ウォーターマーク２１はＭ個のフレームのロゴそれぞれにＮビットのウォーターマーク情報を挿入する。即ち、ウォーターマークサーバ２１はフレームを介してＭ＊Ｎ個のウォーターマーク情報を挿入する。
【００６０】
ＭＶＰＤ３０はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ１０５。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
【００６１】
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化（ｃｈａｎｎｅｌ  ｄｅｃｏｄｉｎｇ）して視聴覚復号（ＡＶ  ｄｅｃｏｄｉｎｇ）を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ１０６。
【００６２】
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ１０７。
【００６３】
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む放送信号を伝送してもよいＳ１０８。
【００６４】
映像表示装置１００はセットトップボックスのような放送受信装置６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ２１にアクセスして第１質疑を伝送するＳ１０９。
【００６５】
ウォーターマークサーバ２１は第１質疑に対する第１応答を提供するＳ１１１。この第１応答はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
【００６６】
ウォーターマーク情報と第１応答が付加サービスアドレスを含んでいなければ、映像表示装置１００は付加サービスを獲得することができない。しかし、ウォーターマーク情報と第１応答が付加サービスアドレス提供サーバのアドレスを含む。このように、映像表示装置１００はウォーターマーク情報と第１応答を介して付加サービスアドレスや付加サービスを獲得できず付加サービスアドレス提供サーバのアドレスを獲得したのであれば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第２質疑を伝送するＳ１１９。
【００６７】
付加サービス情報提供サーバ４０は第２質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを研削する。次に、付加サービス情報抵抗サーバ４０は第２質疑に対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ１２１。
【００６８】
映像表示装置１００はウォーターマーク情報、第１応答又は第２応答を介して一つ以上の利用可能な付加サービスアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスアドレスにアクセスして付加サービスを要求しＳ１２３、付加サービスを獲得するＳ１２５。
【００６９】
図４は、本発明の一実施例によるウォーターマーク基盤のコンテンツの認識タイミングを示す図である。
【００７０】
図４に示したように、放送受信装置６０がターンオンされてチャネルをチューニングし、映像表示装置１００が外部入力ポート１１を介して放送受信装置６０からチューニングされたチャネルのメイン視聴覚コンテンツを受信すると、映像表示装置１００はメイン視聴覚コンテンツのウォーターマークからコンテンツ提供者識別子（または放送局識別子）を感知する。次に、映像表示装置１００は感知したコンテンツ提供者識別子に基づいてメイン視聴覚コンテンツのウォーターマークからコンテンツ情報を感知する。
【００７１】
この際、図４に示したように、コンテンツ識別子の感知可能周期とコンテンツ情報の感知可能周期は異なり得る。特に、コンテンツ提供者識別子の感知可能周期はコンテンツ情報の感知可能周期より短い。それを介し、映像表示装置１００は必要な情報のみを感知するための効率的な構成を有する。
【００７２】
図５は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
【００７３】
図５に示したように、本発明の一実施例によるネットワークトポロジーはフィンガープリントサーバ２２を更に含む。
【００７４】
図５に示したようなフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信したら、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
【００７５】
図６は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【００７６】
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ２０１。
【００７７】
フィンガープリントサーバ２２はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツの複数のフレーム区間または複数のオーディオ区間から複数の特徴情報を抽出し、複数の特徴情報にそれぞれ対応する複数の質疑結果のためのデータベースを構築するＳ２０３。質疑結果はコンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。
【００７８】
ＭＶＰＤ３０はメイン視聴覚コンテンツ付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ２０５。この際、多重化信号は付加サービスを排除するか新しい付加サービスを含む。
【００７９】
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を不調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ２０６。
【００８０】
一方、コンテンツ提供サーバ１０も視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ２０７。
【００８１】
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送するＳ２０８。
【００８２】
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信する。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するＳ２１３。
【００８３】
映像表示装置１００は予め設定されたフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した情報を含む第１質疑を伝送するＳ２１５。
【００８４】
フィンガープリントサーバ２２は第１質疑に対する応答として質疑結果を提供するＳ２１７。もし第１応答が失敗に当たれば、映像表示装置１００は他のフィンガープリントサーバアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した特徴情報を含む第１質疑を伝送する。
【００８５】
フィンガープリントサーバ２２は質疑結果としてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）文書を提供する。質疑結果を保持するＸＭＬ文書の例を図７と表１を参照して説明する。
【００８６】
図７は、本発明の一実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【００８７】
図７に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎ、ＳｅｒｖｉｃＩｎｆｏｒｍａｉｏｎエレメントを有する。
【００８８】
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑（質問）結果が失敗であることを意味する。
【００８９】
ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＩｎｆｏｒｍａｔｉｏｎエレメントはＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントを有し、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはＵｐｄａｔｅＭｏｄｅ、ＰｏｌｌｉｎｇＣｙｃｌｅ属性を有する。属性はＰｕｌｌ値またはＰｕｓｈ値を有する。
【００９０】
ＳｅｒｖｉｃＩｎｆｏｒｍａｉｏｎエレメントはＳｅｒｖｉｃｅＮａｍｅ、ＳｅｒｖｉｃｅＬｏｇｏ、ＳｅｒｖｉｃｅＤｅｓｃｒｉｐｔｉｏｎエレメントを有する。
【００９１】
表１は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ  Ｓｃｈｅｍａを示す。
【００９２】
【表１】
0006290935.tif 000002
【００９３】
ＣｏｎｔｅｎｔＩＤエレメントとして、下記表２で示したようなＡＴＳＣコンテンツ識別子（ＡＴＳＣ  ｃｏｎｔｅｎｔ  ｉｄｅｎｔｉｆｉｅｒ）が利用される。
【００９４】
【表２】
0006290935.tif 000003
【００９５】
表２に示したように、ＡＴＳＣ  ｃｏｎｔｅｎｔ  ｉｄｅｔｉｆｉｅｒはＴＳＩＤとハウス番号で構成された構造を有する。
【００９６】
１６ビットの符号のない整数ＴＳＩＤはトランスポートストリーム識別子（ｔｒａｎｓｐｏｒｔ  ｓｔｒｅａｍ  ｉｄｅｎｔｉｆｉｅｒ）を保持する（ｃａｒｒｙ）。
【００９７】
５ビットの符号のない整数ｅｎｄ＿ｏｆ＿ｄａｙは放送が終わってｃｏｎｔｅｎｔ＿ｉｄ値が再使用される日の時（ｈｏｕｒ）としてセッティングされる。
【００９８】
９ビットの符号のない整数ｕｎｉｑｕｅ＿ｆｏｒはｃｏｎｔｅｎｔ＿ｉｄ値が再使用できない日の数（ｎｕｍｂｅｒ  ｏｆ  ｄａｙ）に設定される。
【００９９】
ｃｏｎｔｅｎｔ＿ｉｄはコンテンツ識別子を示す。映像表示装置１００は毎日ｅｎｄ＿ｏｆ＿ｄａｙに当たる時間からｕｎｉｑｕｅ＿ｆｏｒを１ずつ減少し、ｕｎｉｑｕｅ＿ｆｏｒが０になっていなければｃｏｎｔｅｎｔ＿ｉｄが唯一であるとみなす。
【０１００】
一方、ＣｏｎｔｅｎｔＩＤエレメントとして、後述するようなＡＳＴＣ−Ｍ／Ｈ  ｓｅｒｖｉｃｅのためのグローバルサービス識別子（Ｃｌｏｂａｌ  Ｓｅｒｖｉｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）が利用される。
【０１０１】
グローバルサービス識別子は以下のようなフォームを有する。
【０１０２】
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：＜ｒｅｇｉｏｎ＞：＜ｘｓｉｄ＞：＜ｓｅｒｖｉｃｅｉｄ＞
【０１０３】
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ  ６３９−２によって規定される２桁の文字の国際コードである。ローカルサービス（ｌｏｃａｌ  ｓｅｒｖｉｃｅ）のための＜ｘｓｉｄ＞は＜ｒｅｇｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、地域サービス（ｒｅｇｉｏｎａｌ  ｓｅｒｖｉｃｅ）（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は「０」である。＜ｓｅｒｖｉｃｅｉｄ＞は＜ｍａｊｏｒ＞や＜ｍｉｎｏｔ＞に定義される。＜ｍａｊｏｒ＞はメジャーチャネル番号（Ｍａｊｏｒ  Ｃｈａｎｎｅｌ  Ｎｕｍｂｅｒ）を示し、＜ｍｉｎｏｒ＞はマイナーチャネル番号（Ｍｉｎｏｒ  Ｃｈａｎｎｅｌ  Ｎｕｍｂｅｒ）を示す。
【０１０４】
グローバル識別子の例は以下のようである。
【０１０５】
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：１２３４：５．１
【０１０６】
−ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｓｅｒｖｉｃｅ：ｕｓ：０：１００．２００
【０１０７】
一方、ＣｏｎｔｅｎｔＩＤエレメントとして、後述するようなＡＴＳＣコンテンツ識別子が利用される。
【０１０８】
ＡＴＳＣコンテンツ識別子は以下のようなフォームを有する。
【０１０９】
ｕｒｎ：ｏｍａ：ｂｃａｓｔ：ｉａｕｔｈ：ａｔｓｃ：ｃｏｎｔｅｎｔ：＜ｒｅｇｉｏｎ＞：＜ｘｓｉｄｚ＞：＜ｃｏｎｔｅｎｔｉｄ＞：＜ｕｎｉｑｕｅ＿ｆｏｒ＞：＜ｅｎｄ＿ｏｆ＿ｄａｙ＞
【０１１０】
ここで、＜ｒｅｇｉｏｎ＞はＩＳＯ  ６３９−２によって規定される２桁の文字の国際コードである。ローカルサービスのための＜ｘｓｉｄ＞は＜ｒｅｇｉｏｎ＞で定義するようなＴＳＩＤの十進数であり、「．」＜ｓｅｒｖｉｃｅｉｄ＞が後に続く。地域サービス（ｍａｊｏｒ＞６９）のための＜ｘｓｉｄ＞は＜ｓｅｒｖｉｃｅｉｄ＞である。＜ｃｏｎｔｅｎｔ＿ｉｄ＞は表２に定義されているｃｏｎｔｅｎｔ＿ｉｄ  ｆｉｅｌｄはｂａｓｅ６４符合であり、＜ｕｎｉｑｕｅ＿ｆｏｒ＞は表２に定義されているｕｎｉｑｕｅ＿ｆｏｒ  ｆｉｅｌｄの十進数の符号であり、＜ｅｎｄ＿ｏｆ＿ｄａｙ＞は表２に定義されているｅｎｄ＿ｏｆ＿ｄａｙ  ｆｉｅｌｄの十進数の符号である。
【０１１１】
以下、更に図６を説明する。
【０１１２】
質疑結果が付加サービスや付加サービスを含まず付加サービスアドレス提供サーバのアドレスを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第２質疑を伝送するＳ２１９。
【０１１３】
付加サービス情報提供サーバ４０は第２質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーバ４０は第２質疑に対する第２応答として一つ以上の利用可能な付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ２２１。
【０１１４】
映像表示装置１００は第１応答または第２応答に応じて一つ以上の利用可能な付加サービスのアドレスを獲得したのであれば、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しＳ２２３、付加サービスを獲得するＳ２２５。
【０１１５】
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｌｌ値を有する場合、映像表示装置１００はＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬを介してＨＴＴＰ  ｒｅｑｕｅｓｔを付加サービス提供サーバ５０に伝送し、それに対する応答としてＰＳＩＰバイナリストリームを含むＨＴＴＰ  ｒｅｓｐｏｎｓｅを付加サービス提供サーバ５０から受信する。この場合、映像表示装置１００はＰｏｌｌｉｎｇＣｙｃｌｅ属性として指定されるＰｏｌｌｉｎｇ周期に応じてＨＴＴＰ  ｒｅｑｕｅｓｔを伝送する。また、ＳｉｇｎａｌｉｎｇＣｈａｎｎｅｌＵＲＬエレメントはアップデート時間属性を有してもよい。この場合、映像表示装置１００はアップデート時間属性として指定されるアップデート時間からＨＴＴＰ  ｒｅｑｕｅｓｔを伝送する。
【０１１６】
ＵｐｄａｔｅＭｏｄｅ属性がＰｕｓｈ値を有する場合、映像表示装置１００はＸＮＬＨＴＴＰＲｅｑｕｅｓｔ  ＡＰＩを活用して非同期的にサーバからアップデートを受信する。映像表示装置１００がサーバにＸＭＬＨＴＴＰＲｅｑｕｅｓｔ  ｏｂｊｅｃｔを介して非同期的なｒｅｑｕｅｓｔをした後、シグナリング情報に変更があればこのチャネルを介してサーバがｒｅｓｐｏｎｓｅにシグナリング情報を提供する方案である。セッションの待機時間に制限があればｓｅｓｓｉｏｎ  ｔｉｍｅｏｕｔ  ｒｅｓｐｏｎｄを発生し、受信機は直ちにそれを認知し再要求して受信機とサーバ間のシグナリングチャネルを常に維持する。
【０１１７】
図８は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
【０１１８】
図８に示したように、本発明の一実施例によるネットワークトポロジーはウォーターマークサーバ２１とフィンガープリントサーバ２２を更に含む。
【０１１９】
図８に示したようなウォーターマークサーバ２１はメイン視聴覚コンテンツにコンテンツ提供者識別情報を挿入する。ウォーターマークサーバ２１はロゴのように可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよく、不可視ウォーターマークとしてコンテンツ提供者識別情報をメイン視聴覚コンテンツに挿入してもよい。
【０１２０】
フィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置１００からの特徴情報を受信すると、受信した情報に当たる視聴覚コンテンツの識別子と時間情報を提供する。
【０１２１】
図９は、本発明の一実施例によるウォーターマークとフィンガープリント基盤のネットワークトポロジー内のデータの流れを示すラダーダイアグラムである。
【０１２２】
まず、コンテンツ提供サーバ１０はメイン視聴覚コンテンツと付加サービスを含む放送信号を伝送するＳ３０１。
【０１２３】
ウォーターマークサーバ２１はコンテンツ提供サーバ１０が提供する放送信号を受信し、メイン視聴覚コンテンツに変形を加えてメイン視聴覚コンテンツにロゴのような可視ウォータマークを挿入するか、メイン視聴覚コンテンツにウォーターマーク情報を不可視ウォーターマークとして挿入し、ウォーターマーキングとして表示されたメイン視聴覚コンテンツと付加サービスをＭＶＰＤ３０に提供するＳ３０３。不可視ウォーターマークを介して挿入されるウォーターマーク情報はコンテンツの情報、付加サービスの情報、利用可能か付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
【０１２４】
ＭＶＰＤ３０はウォーターマーキングで表示されたメイン視聴覚コンテンツと付加サービスを含む放送信号を受信し、多重化信号を生成して放送受信装置６０に提供するＳ３０５。この際、多重化信号は受信した付加サービスを排除するか新しい付加サービスを含む。
【０１２５】
放送受信装置６０はユーザが選択したチャネルをチューニングし、チューニングしたチャネルの信号を受信し、受信された放送信号を復調しチャネル復号化して視聴覚復号を行って非圧縮メイン視聴覚コンテンツを生成した後、生成された非圧縮メイン視聴覚コンテンツを映像表示装置１００に提供するＳ３０６。
【０１２６】
一方、コンテンツ提供サーバ１０もメイン視聴覚コンテンツを含む放送信号を無線チャネルなどを介して放送するＳ３０７。
【０１２７】
また、ＭＶＰＤ３０は放送受信装置６０を介せずに直接映像表示装置１００にメイン視聴覚コンテンツを含む信号を伝送してもよいＳ３０８。
【０１２８】
映像表示装置１００はセットトップボックス６０を介して非圧縮メイン視聴覚コンテンツを受信する。または、映像表示装置１００は無線チャネルを介して放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを得る。または、映像表示装置１００はＭＶＰＤ３０から放送信号を受信し、受信した放送信号を復調し復号してメイン視聴覚コンテンツを受信してもよい。映像表示装置１００は獲得したメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルからウォーターマーク情報を抽出する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００は複数のロゴと複数のウォーターマークサーバのアドレスの対応関係から抽出したロゴに当たるウォーターマークサーバのアドレスを確認する。ウォーターマーク情報がロゴに当たる場合、映像表示装置１００はロゴのみではメイン視聴覚コンテンツを識別することができない。また、ウォーターマーク情報がコンテンツ情報を含んでいない場合にも映像表示装置１００はメイン視聴覚コンテンツを識別することができないが、ウォーターマーク情報がコンテンツ提供者識別情報やウォーターマークサーバーのアドレスを含む。ウォーターマーク情報がコンテンツ提供者識別情報を含む場合、映像表示装置１００は複数のコンテンツ提供者識別情報と複数のウォーターマークサーバのアドレスの対応関係から抽出したコンテンツ提供者識別情報に当たるウォーターマークサーバのアドレスを確認する。このように、映像表示装置１００はウォーターマーク情報のみでメイン視聴覚コンテンツを識別することができない場合、獲得したウォーターマークサーバーアドレスに当たるウォーターマークサーバ２１にアクセスして第１質疑を伝送するＳ３０９。
【０１２９】
ウォーターマークサーバ２１は第１質疑に対する第１応答を提供するＳ３１１。この第１応答はフィンガープリントサーバのアドレス、コンテンツ情報、付加サービス情報、利用可能な付加サービスのうち一つ以上を含む。コンテンツ情報と付加サービス情報は上述したようである。
【０１３０】
ウォーターマーク情報と第１応答が付加サービスアドレスを含んでいれば、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルから特徴情報を抽出するＳ３１３。
【０１３１】
映像表示装置１００は第１応答内のフィンガープリントサーバのアドレスに当たるフィンガープリントサーバ２２にアクセスして抽出した情報を含む第２質疑を伝送するＳ３１５。
【０１３２】
フィンガープリントサーバ２２は第２質疑に対する第２応答として質疑結果を提供するＳ３１７。
【０１３３】
質疑結果が付加サービスアドレスや付加サービスを含まずに付加サービスアドレス提供サーバのアドレスのみを含めば、映像表示装置１００は獲得した付加サービスアドレス提供サーバのアドレスに当たる付加サービス情報提供サーバ４０にアクセスしてコンテンツ情報を含む第３質疑を伝送するＳ３１９。
【０１３４】
付加サービス情報提供サーバ４０は第３質疑のコンテンツ情報に関する一つ以上の利用可能な付加サービスを検索する。次に、付加サービス情報提供サーｂ４０は第３質疑に対する第３応答として一つ以上の利用可能は付加サービスのための付加サービス情報を映像表示装置１００に提供するＳ３２１。
【０１３５】
映像表示装置１００は第１応答、第２応答または第３応答を介して一つ以上の利用可能な付加サービスのアドレスを獲得したら、この一つ以上の利用可能な付加サービスのアドレスにアクセスして付加サービスを要求しＳ３２３、付加サービスを獲得するＳ３２５。
【０１３６】
次に図１０を参照して、本発明の一実施例による映像表示装置１００を説明する。
【０１３７】
図１０は、本発明の一実施例による映像表示装置の構造を示すブロック図である。
【０１３８】
図１０に示したように、本発明の実施例による映像表示装置１００は放送信号受信部１０１、復調部１０３、チャネル復号部１０５、逆多重化部１０７、視聴覚復号部１０９、外部入力ポート１１１、再生制御部１１３、再生装置１２０、付加サービス管理部１３０、データ送受信部１４１、メモリ１５０を含む。
【０１３９】
放送信号受信部１０１はコンテンツ提供サーバ１０またはＭＶＰＤ３０から放送信号を受信する。
【０１４０】
復調部１０３は受信した放送信号を復調し、復調された信号を生成する。
【０１４１】
チャネル復号部１０５は復調された信号をチャネル復号し、チャネル復号されたデータを生成する。
【０１４２】
逆多重化部１０７はチャネル復号されたデータからメイン視聴覚コンテンツと付加サービスを分離する。分離された付加サービスは付加サービス記憶部１５２に記憶される。
【０１４３】
視聴覚復号部１０９は分離されたメイン視聴覚コンテンツを視聴覚復号して日圧縮メイン視聴覚コンテンツを生成する。
【０１４４】
一方、外部入力ポート１１１は放送受信装置６０、ＤＶＤ（ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）プレーヤー、ブルーレイディスク（Ｂｌｕ−ｒａｙ  ｄｉｓｃ）プレーヤーなどから非圧縮メイン視聴覚コンテンツを受信する。外部入力ポート１１１はＤＳＵＢポート、ＨＤＭＩ（Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）ポート、コンポジット（ｃｏｍｐｏｓｉｔｅ）ポート、コンポーネント（ｃｏｍｐｏｎｅｎｔ）ポート、Ｓ−Ｖｉｄｅｏポートのうち一つ以上を含む。
【０１４５】
再生制御部１１３は視聴覚復号部１０９が生成する非圧縮メイン視聴覚コンテンツまたは外部入力ポート１１１から受信した非圧縮メイン視聴覚コンテンツのうち少なくとも一つをユーザの選択によって再生装置１２０に再生する。
【０１４６】
再生装置１２０はディスプレー部１２１とスピーカ１２３を含む。ディスプレー部１２１は液晶ディスプレー（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ，ＬＣＤ）、薄膜トランジスタ液晶ディスプレー（ｔｈｉｎ  ｆｉｌｍ  ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ，ＴＦＴ  ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ  ｌｉｓｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ，ＯＬＥＤ）、フレキシブルディスプレー（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、３次元ディスプレー（３Ｄ  ｄｉｓｐｌａｙ）のうち少なくとも一つを含む。
【０１４７】
付加サービス管理部１３０はメイン視聴覚コンテンツのコンテンツ情報を獲得し、獲得したコンテンツ情報に基づいて利用可能な付加サービスを獲得する。特に、上述したように付加サービス管理部１３０は非圧縮メイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルに基づいてメイン視聴覚コンテンツの識別情報を獲得するが、本明細書ではそれを自動コンテンツ認識（ａｕｔｏｍａｔｉｃ  ｃｏｎｔｅｎｔｓ  ｒｅｃｏｇｎｉｔｉｏｎ，ＡＣＲ）と称することもある。
【０１４８】
データ送受信部１４１はＡＴＳＣ−Ｍ／Ｈ（Ａｄｖａｎｃｅｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｃｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）チャネル送受信部１４１ａとＩＰ送受信部１４１ｂを含む。
【０１４９】
メモリ１５０はフラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（Hard  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（Ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えばＳＤまたはＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含む。映像表示装置１００はインターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリ１５０の記憶機能を行うウェブストレッジ（ｗｅｂ  ｓｔｏｒａｇｅ）に関して動作してもよい。
【０１５０】
メモリ１５０はコンテンツ情報記憶部１５１、付加サービス記憶部１５２、ロゴ記憶部１５３、設定情報記憶部１５４、ブックマーク記憶部１５５、ユーザ情報記憶部１５６、利用情報記憶部１５７を含む。
【０１５１】
コンテンツ情報記憶部１５１は複数の特徴情報に対応する複数のコンテンツ情報を記憶する。
【０１５２】
付加サービス記憶部１５２は複数の特徴情報に対応する複数の付加サービスを記憶してもよく、複数のコンテンツ情報に対応する複数の付加サービスを記憶してもよい。
【０１５３】
ロゴ記憶部１５３は複数のロゴを記憶する。また、ロゴ記憶部はこの複数のロゴに対応するコンテンツ提供者識別子または複数のロゴに対応するウォーターマークサーバのアドレスを更に含む。
【０１５４】
設定情報記憶部１５４はＡＣＲのための設定情報を記憶する。
【０１５５】
ブックマーク記憶部１５５はブックマークを記憶する。
【０１５６】
ユーザ情報記憶部１５６はユーザ情報を記憶する。ユーザ情報は一つ以上のサービスのための一つ以上のアカウント情報、地域情報、家族構成員の情報、好みのジャンルの情報、映像表示装置の情報、利用情報提供範囲のうち一つ以上を含む。一つ以上のアカウント情報は利用情報測定サーバのためのアカウント情報、ツイッター（ｔｗｉｔｔｅｒ）、フェースブック（ｆａｃｅｂｏｏｋ）のようなソーシャルネットワークサービス（ｓｏｃｉａｌ  ｎｅｔｗｏｒｋ  ｓｅｒｖｉｃｅ）のアカウント情報を含む。地域情報は住所情報、郵便番号を含む。家族構成員の情報は家族構成員の数、各構成員の年齢、各構成員の性別、各構成員の宗教、各構成員の職業などを含む。好みのジャンルの情報はスポーツ、映画、ドラマ、教育、ニュース、エンタテインメント、その他のジャンルのうち一つ以上に設定される。映像表示装置の情報は映像表示装置の種類、製造会社、ファームウェアのバージョン、解像度、モデル名、ＯＳ、ブラウザ、記憶装置の有無、記憶装置の容量、ネットワークの速度に関する情報を含む。利用情報提供範囲が設定されると、映像表示装置１００は設定された範囲内でメイン視聴覚コンテンツ視聴情報と付加サービス利用情報を収集し報告する。利用情報提供範囲は仮想チャネルそれぞれに対して設定される。また、利用情報測定許容範囲は物理チャネル全体に対して設定されてもよい。
【０１５７】
利用情報記憶部１５７は映像表示装置１００によって収集されるメイン視聴覚コンテンツ視聴情報と付加サービス使用情報を記憶する。また、映像表示装置１００は収集したメイン視聴覚コンテンツの視聴情報と収集した付加サービス使用情報に基づいてサービス利用パターンを分析し、分析されたサービス利用パターンを利用情報記憶部１５７に記憶する。
【０１５８】
付加サービス管理部１３０はフィンガープリントサーバ２２またはコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。コンテンツ情報記憶部１５１に抽出した特徴情報に当たるコンテンツ情報がないか十分なコンテンツ情報がない場合、付加サービス管理部１３０はデータ送受信部１５１を介して追加にコンテンツ情報を受信する。また、付加サービス管理部１３０は持続的にコンテンツ情報をアップデートする。
【０１５９】
付加サービス管理部１３０は付加サービス提供サーバ５０または付加サービス記憶部１５３から利用可能な付加サービスを獲得する。付加サービス記憶部１５３に付加サービスがないか十分な付加サービスがない場合、付加サービス管理部１３０はデータ送受信部１５１を介して付加サービスをアップデートする。また、付加サービス管理部１３０は持続的に付加サービスをアップデートする。
【０１６０】
付加サービス管理部１３０はメイン視聴覚コンテンツからロゴを抽出し、ロゴ記憶部１５５に質疑して抽出したロゴに対応するコンテンツ提供者識別子またはウォーターマークサーバのアドレスを獲得する。ロゴ記憶部１５５に抽出したロゴと一致するロゴがないか十分なロゴがない場合、付加サービス管理部１３０はデータ送受信部１５１を介して追加のロゴを受信する。また、付加サービス管理部１３０は持続的にロゴをアップデートする。
付加サービス管理部１３０はメイン視聴覚コンテンツから抽出したロゴとロゴ記憶部１５５内の複数のロゴとの比較を行うが、演算の負担を減らすための多様な方法を行う。
【０１６１】
例えば、付加サービス管理部１３０は色相特性に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの色相特性とロゴ記憶部１５５内のロゴの色相特性を比較してその一致可否を判断する。
【０１６２】
また、付加サービス管理部１３０は文字認識に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴから認識される文字とロゴ記憶部１５１内のロゴから認識される文字を比較してその一致可否を判断する。
【０１６３】
それだけでなく、付加サービス管理部１３０はロゴの輪郭に関する形状に基づいて比較を行う。即ち、付加サービス管理部１３０は抽出したロゴの輪郭形状とロゴ記憶部１５５内のロゴの輪郭形状を比較してその一致可否を判断する。
【０１６４】
次に、図１１及び図１２を参照し、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を説明する。
【０１６５】
図１１は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示すフローチャートである。
【０１６６】
付加サービス情報は付加サービスの開始時間を含む。この際、映像表示装置１００はこの開始時間に付加サービスを開始する必要がある。しかし、映像表示装置１００はタイムスタンプを有しない非圧縮メイン視聴覚コンテンツを伝送する信号を受信するため、メイン視聴覚コンテンツの再生時間の基準と付加サービスの開始時間の基準は互いに異なる。  映像表示装置１００が時間情報を有するメイン視聴覚コンテンツを受信しても、再放送のようにメイン視聴覚コンテンツの再生時間の基準と付加サービスの再生時間の基準は異なり得る。よって、映像表示装置１００はメイン視聴覚コンテンツの基準時間と付加サービスの基準時間を同期化する必要がある。特に、映像表示装置１００はメイン視聴覚コンテンツの再生時間と付加サービスの開始時間を同期化する必要がある。
【０１６７】
まず、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ８０１。メイン視聴覚コンテンツの一部区間はメイン視聴覚コンテンツの一部のビデオフレームと一部のオーディオフレームのうち一つ以上を含む。付加サービス管理部１３０がメイン視聴覚コンテンツの一部区間を抽出する時間をＴｎと称する。
【０１６８】
付加サービス管理部１３０は抽出された区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ８０３。詳しくは、付加サービス管理部１３０は抽出された区間に不可視ウォーターマークとして符号化された情報を復号してコンテンツ情報を獲得する。また、付加サービス管理部１３０は抽出された区間の特徴情報を抽出し、抽出された特徴情報に基づいてフィンガープリントサーバ２２またはコンテンツ情報記憶部１５１からメイン視聴覚コンテンツのコンテンツ情報を獲得する。付加サービス管理部１３０がコンテンツ情報を獲得した時間をＴｍと称する。
【０１６９】
一方、コンテンツ情報は抽出された区間の開始時間Ｔｓを含む。付加サービス管理部１３０はコンテンツ情報獲得時間Ｔｍの後からは時間Ｔｓ、時間Ｔｍ、時間Ｔｎに基づいてメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化するＳ８０５。詳しくは、付加サービス管理部１３０はコンテンツ情報獲得時間Ｔｍを下記数式１で計算される時間Ｔｐとみなす。
【０１７０】
【数１】
0006290935.tif 000004
【０１７１】
そして、付加サービス管理部１３０はコンテンツ情報獲得時間から時間Ｔｘが経過した時間をＴｐ＋Ｔｘとみなす。
【０１７２】
次に、付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスと付加サービスの開始時間Ｔａを獲得するＳ８０７。
【０１７３】
メイン視聴覚コンテンツの同期化された再生時間が付加サービスの開始時間Ｔａと一致すれば、付加サービス管理部１３０は獲得した付加サービスを開始するＳ８０９。詳しくは、付加サービス管理部１３０は下記数式２を満足する場合に付加サービスを開始する。
【０１７４】
【数２】
0006290935.tif 000005
【０１７５】
図１２は、本発明の実施例によってメイン視聴覚コンテンツの再生時間と付加サービスの再生時間を同期化する方法を示す概念図である。
【０１７６】
図１２に示したように、映像表示装置１００はシステム時間Ｔｎで視聴覚サンプルを抽出する。
【０１７７】
映像表示装置１００は抽出した視聴覚サンプルから特徴情報を抽出し、フィンガープリントサーバ２２に抽出した特徴情報を含む質疑を伝送して質疑結果を受信する。映像表示装置１００は質疑結果をパーシングし、抽出した視聴覚サンプルの開始時間Ｔｓが１１０００ｍｓに当たることを時間Ｔｍで確認する。
【０１７８】
よって、映像表示装置は数式１によって抽出した視聴覚サンプルの開始時間を確認した時点をＴｓ＋（Ｔｍ−Ｔｎ）とみなし、その後からメイン視聴覚コンテンツの再生時間を付加サービスの開始時間と同期化する。
【０１７９】
次に、図１３及び図１４を参照し、本発明の多様な実施例によるＡＣＲアプリケーションを説明する。
【０１８０】
本発明の多様な実施例によるＡＣＲアプリケーションであって、自動再生アプリケーション、コンテンツ提供者アプリケーション、映像表示装置製造会社アプリケーションなどが挙げられる。
【０１８１】
図１３は、本発明の実施例による自動再生アプリケーションの実行画面を示す図である。
【０１８２】
自動再生アプリケーションはユーザがいかなるアクションを取らなくても付加サービスを自動的に再生する。このような意味で、本明細書で自動再生アプリケーションをリーンバックアプリケーション（ｌｅａｎ  ｂａｃｋ  ａｐｐｌｉｃａｔｉｏｎ）と称することもある。
【０１８３】
自動再生アプリケーションはメイン視聴覚コンテンツの再生中にコンテンツ提供者または放送局が提供する場面連関情報のような付加サービスをメイン視聴覚コンテンツの再生時間に応じてユーザの入力がなくても自動的に再生する。即ち、コンテンツ提供者または放送局が全的に自動再生アプリケーションを統制する。例えば、自動再生アプリケーションが特定チャネルまたは特定コンテンツに関する場合、映像表示装置１００が自動再生アプリケーションに関するチャネルまたはコンテンツに進入すると、映像表示装置１００は該当自動再生アプリケーションをユーザが入力がなくても自動的に実行する。そして、映像表示装置１００が自動再生アプリケーションに関するチャネルまたはコンテンツから逸脱すると、映像表示装置１００は該当自動再生アプリケーションをユーザの入力がなくても自動的に終了する。このような意味で、本明細書で自動再生アプリケーションをチャネル従属アプリケーションまたはコンテンツ従属アプリケーションと称することもある。
【０１８４】
図１３に示したように、自動再生アプリケーションが再生されると、画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２００を含む。付加情報がディスプレーされるサブ画面２２０はメイン視聴覚コンテンツが再生されるサブ画面２１０と空間的に分けられる。
【０１８５】
一方、自動再生アプリケーションが実行される際、付加情報がディスプレーされる領域は半透明である。この場合、付加情報がディスプレーされる領域はメイン視聴覚コンテンツが再生される領域の上にオーバーレイ（ｏｖｅｒｌａｙ）される。
【０１８６】
図１４は、本発明の実施例によるコンテンツ提供者アプリケーションの実行画面を示す図である。
【０１８７】
本明細書において、コンテンツ提供者アプリケーションをフルインタラクティブアプリケーション（ｆｕｌｌ  ｉｎｔｅｒａｃｔｉｖｅ  ａｐｐｌｉｃａｉｔｏｎ）と称することもある。
【０１８８】
図１４の（Ａ）に示したように、映像表示装置１００は複数のアプリケーションをダウンロードして記憶する。図１４の（Ａ）は複数のアプリケーションのアイコン２３０である。このようなアプリケーションのうちコンテンツ提供者アプリケーションはコンテンツ提供者によって製作され配布されるアプリケーションであって、コンテンツ提供者の統制下にある。
【０１８９】
映像表示装置１００のユーザはコンテンツ提供者アプリケーションをアプリケーションストアからダウンロードし、ダウンロードされたコンテンツ提供者アプリケーションの実行を決定する。
【０１９０】
図１４の（Ｂ）はコンテンツ提供者アプリケーションの実行画面を示す図である。図１４の（Ｂ）に示したように、画面２００は縮小されたメイン視聴覚コンテンツが再生されるサブ画面２１０と付加情報がディスプレーされるサブ画面２２０、メニュがディスプレーされるサブ画面を含む。
【０１９１】
映像表示装置製造会社アプリケーションは映像表示装置の製造会社によって製作され、映像表示装置の製造会社によって制御され、映像表示装置１００の生産の際に予め記憶される。即ち、映像表示装置製造会社アプリケーションはコンテンツ提供者やコンテンツに関係なく同じサービスを提供し、コンテンツ提供者やコンテンツに関係なく同じユーザインタフェースを提供する。
【０１９２】
映像表示装置製造会社アプリケーションはコンテンツ提供者が提供する付加サービスが表示される領域と映像表示装置製造会社が提供する付加サービスが表示される領域を分離して有する。映像表示装置製造会社アプリケーションは映像表示装置１００のユーザによって実行するか否かが決定される。
【０１９３】
映像表示装置製造会社アプリケーションは２つのタイプを有する。
【０１９４】
第１タイプの映像表示装置製造会社アプリケーションはサイズ調節ユーザインタフェース（ｒｅｓｉｚｉｎｇ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）を有する。サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、メイン視聴覚コンテンツがディスプレーされる領域のサイズを減らし、減らした領域内でメイン視聴覚コンテンツの内容全てがディスプレーされるようにする。また、サイズ調節ユーザインタフェースを有する映像表示装置製造会社アプリケーションは、アプリケーションがディスプレーされる領域をアルファベットのＬの字や逆のＬの字のような構造にする。
【０１９５】
第２タイプの映像表示装置製造会社アプリケーションはオーバレイユーザインタフェース（ｏｖｅｒｌａｙ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）を有する。オーバレイユーザインタフェースを有する映像表示装置製造会社アプリケーションはメイン視聴覚コンテンツがディスプレーされる領域のサイズはそのまま維持しながらアプリケーションがディスプレーされる領域をメイン視聴覚コンテンツの上に重ねる。アプリケーションがディスプレーされる領域がメイン視聴覚コンテンツを隠すため、アプリケーション領域は半透明である。
【０１９６】
このように、映像表示装置製造会社アプリケーションはいかなる単一のコンテンツ提供者やいかなる単一のチャネルにも従属しない。このようなアプリケーションは映像表示装置製造会社によって製作されると説明したが、それに限る必要はない。このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションはチャネル変更によっては実行されず、チャネル変更によっては終了されない。本明細書では説明の便宜上、このようないかなる単一のコンテンツ提供者やいかなる単一のチャネルに従属しないアプリケーションをチャネル独立アプリケーション、映像表示装置製造会社アプリケーションまたはＬｉｖｅ＋ａｐｐと称する。
【０１９７】
次に、図１５及び図１６を参照して本発明の実施例によるＡＣＲ機能のオンオフ制御を説明する。
【０１９８】
図１５は、本発明の実施例によるＡＣＲ機能を制御するためのユーザインタフェースを示す図である。
【０１９９】
図１５に示したように、再生制御部１１３はＡＣＲ機能設定ウィンドウをディスプレーする。ユーザはＡＣＲ機能設定ウィンドウを介してＡＣＥ機能を活性化するか非活性化する。
【０２００】
ＡＣＲ機能が活性化された場合、ユーザはＡＣＲモードを選択する。本発明の実施例によるＡＣＲモードは自動再生アプリケーションモード、コンテンツ提供者アプリケーションモード、製造表示装置製造会社アプリケーションモードのうち一つとして設定される。
【０２０１】
このようにＡＣＲ機能のモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
【０２０２】
図１６は、本発明の実施例による映像表示装置の動作方法示すフローチャートである。
【０２０３】
付加サービス管理部１３０はＡＣＲ機能がターンオンされているのかを確認するＳ１９０１。
【０２０４】
ＡＣＲ機能が非活性化されていれば、付加サービス管理部１３０はそれ以上コンテンツ情報獲得の手続を行わない。
【０２０５】
ＡＣＲ機能が活性化されていれば、付加サービス管理部１３０はメイン視聴覚コンテンツの一部区間を抽出するＳ１９０２。
【０２０６】
付加サービス管理部１３０は抽出した区間に基づいてメイン視聴覚コンテンツのコンテンツ情報を獲得するＳ１０９３。
【０２０７】
付加サービス管理部１３０はメイン視聴覚コンテンツの基準時間を代替広告の基準時間と同期化するＳ１９０５。
【０２０８】
付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービスを獲得するＳ１９０７。付加サービス管理部１３０は獲得したコンテンツ情報に基づいて付加サービス情報を獲得し、獲得した付加サービス情報に基づいて付加サービスを獲得してもよい。
【０２０９】
次に、付加サービス管理部１３０はＡＣＲモードを確認するＳ１９０９。
【０２１０】
付加サービス管理部１３０はＡＣＲモードに応じて付加サービスを再生するＳ１９１１。
【０２１１】
詳しくは、ＡＣＲモードが自動再生アプリケーションモードであれば付加サービス管理部１３０は自動再生アプリケーションを実行し、実行された自動再生アプリケーションは獲得した付加サービスを再生する。
【０２１２】
ＡＣＲモードがコンテンツ提供者アプリケーションモードであれば、付加サービス管理部１３０は獲得したコンテンツ情報に対応するコンテンツ提供者アプリケーションをバックグラウンドで実行する。付加サービス管理部１３０は付加サービスの利用に当たるユーザ入力を受信すると、コンテンツ提供者アプリケーションをディスプレーする。このコンテンツ提供者アプリケーションが獲得した付加サービスを再生する。コンテンツ提供者アプリケーションが自動的にバックグラウンドで実行される代わりに、コンテンツ提供者アプリケーションはユーザ入力によって実行されてもよい。
【０２１３】
ＡＣＲモードが映像表示装置製造会社アプリケーションモードであれば、付加サービス管理部１３０は映像表示装置製造会社アプリケーションをバックグラウンドで実行する。付加サービス管理部１３０は付加サービスの利用に当たるユーザ入力を受信すると、映像表示装置製造会社アプリケーションをディスプレーする。この映像表示装置製造会社アプリケーションが獲得した付加サービスを再生する。映像表示装置製造会社アプリケーションが自動的にバックグラウンドで実行される代わりに、映像表示装置製造会社アプリケーションはユーザ入力によって実行されてもよい。
【０２１４】
次に、図１７乃至図２５を参照し、本発明の実施例による第三者付加サービスについて説明する。
【０２１５】
次は、図１７〜図４２を参照して、本発明の実施形態に係る第３者の付加サービスについて説明する。
【０２１６】
図１７は、本発明の実施例によるネットワークトポロジーを示す図である。
【０２１７】
図１７に示したように、本発明の実施例によるネットワークトポロジーはＢｒｏａｄｃａｓｔｅｒ／ＣＰ  Ｂａｃｋｅｎｄサーバのようなコンテンツ提供サーバ１０、付加サービス提供サーバ５０の一種である第三者サーバ９０、ＡＣＲサーバのようなコンテンツ認識サービス提供サーバ２０、ＡＣＲ  Ｓｍａｒｔ  ＴＶのような映像表示装置１００を含む。
【０２１８】
映像表示装置１００はチャネル従属アプリケーションまたはコンテンツ従属アプリケーションであるＬｅａｎｂａｃｋアプリケーションを利用してコンテンツ提供サーバ１０から放送局付加サービスを得て、チャネル独立アプリケーションであるＬｉｖｅ＋アプリケーションを利用して第三者サーバ９０から第三者付加サービスを得る。
【０２１９】
チャネル従属アプリケーションであるＬｅａｎｂａｃｋ  ａｐｐは放送局やＣＰ（Ｃｏｎｔｅｎｔ  Ｏｗｎｅｒ）が提供するアプリケーションであってプログラム単位またはｓｃｅｎｅ（場面）単位の同期化されたサービスを提供する。放送局はプログラムを製作する主体であり、プログラム内にいかなる場面があるのかをよく知っているため特定場面に最も適合した内容を示すことができる。映像表示装置１００がプログラムを認識すると、映像表示装置１００は該当プログラムのコンテンツ提供サーバ１０からＬｅａｎｂａｃｋ  ａｐｐをダウンロードした後、ダウンロードされたＬｅａｎｂａｃｋ  ａｐｐを自動的に実行する。しかし、映像表示装置１００が実行されたＬｅａｎｂａｃｋ  ａｐｐとは関係のない他のチャネルに移動すると映像表示装置１００は該当Ｌｅａｎｂａｃｋ  ａｐｐを自動的に終了し、移動されたチャネルのＬｅａｎｂａｃｋ  ａｐｐがあれば該当Ｌｅａｎｂａｃｋ  ａｐｐを実行する。
【０２２０】
Ｌｉｖｅ＋ａｐｐは第三者（例えば製造会社）が提供するアプリケーションであってＴＶ内に事前に設置されており、Ｌｅａｎｂａｃｋ  ａｐｐとは異なってユーザが視聴中のチャネルまたはプログラムに関係なく常に実行される。本特許で提示するＡＣＲ  ａｒｃｈｉｔｅｃｔｕｒｅはＬｉｖｅ＋  ａｐｐがプログラムに関する付加情報及び場面単位の同期化された内容を示すようにする。Ｌｉｖｅ＋ａｐｐはい一貫したユーザインタフェースを有し、プログラムに関係なく常に実行され使用されるアプリケーションである。Ｌｉｖｅ＋ａｐｐは放送局がプログラムに関する付加情報を与えなくても、プログラムに関するメタデータを利用した多様なサービスを提供する。例えば、プログラムに関する基本情報及びプログラムの出演者が登場した映画のお勧めなどを提供する。Ｌｉｖｅ＋ａｐｐは放送局／ＣＰに割り当てられた領域を有しているため、放送局がプログラムに関する付加情報を提供する場合にＬｉｖｅ＋ａｐｐは該当プログラムに関するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａを該当領域に示す。例えば、放送局が提供するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａとしてはユーザが視聴中のプログラムの前回の再視聴、場面同期化された内容（例えば商品の購入、場所の予約、音源の購入及びダウンロード、商品の広告など）がある。
【０２２１】
映像表示装置１００はＡＣＲ  ｍｏｄｕｌｅを搭載して非圧縮視聴覚コンテンツからシグネチャを抽出し、抽出したシグネチャを介してコンテンツ認識サービス提供サーバ２０に質疑してプログラムを認識する。そして、映像表示装置１００は認識されたプログラムに基づいてプログラムに関するアプリケーションを駆動する。Ｌｅａｎａｃｋ  ａｐｐはプログラムを認識してからダインロードされ実行される。Ｌｉｖｅ＋ａｐｐはＴＶの発売の際に製造会社によって事前に設置されてもよく、アップストアからダウンロードされて設置されてもよい。
【０２２２】
コンテンツ認識サービス提供サーバ２０は放送されるプログラムのオーディオ及び／またはビデオのシグネチャを記憶する。コンテンツ認識サービス提供サーバ２０はシグネチャｃａｐｔｕｒｅシステムを利用してリアルタイプ放送のシグネチャを抽出して記憶し、特定プログラムに当たるシグネチャを含むＡＣＲ  ＤＢを放送局から提供されて記憶する。コンテンツ認識サービス提供素あー場２０のＡＣＲ  ＤＢにはプログラムｃｏｎｔｅｎｔ  ＩＤ、シグネチャ、ｔｉｍｅｓｔａｍｐ、ＵＲＬなどが記憶されている。本明細書では２つのタイプのｃｏｎｔｅｎｔ  ＩＤが利用される。
【０２２３】
第１タイプのｃｏｎｔｅｎｔ  ＩＤは放送局が直接与えるＩＤであって、放送局内でプログラムを一意的に認識するための識別子である。放送局は自らが望むフォーマットにプログラムにｃｏｎｔｅｎｔ  ＩＤを与える。ｃｏｎｔｅｎｔ  ＩＤはコンテンツ提供サーバ１０にプロウグラムに関するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａを要求する際に使用される。
【０２２４】
第２タイプのｃｏｎｔｅｎｔ  ＩＤはｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤであって、全国的にまたは全世界的にプログラムを一意的に認識するための識別子である。プログラムは全国放送チャネル、地域放送チャネル、ケーブル放送または衛星放送から送出されるため、この全てのプログラムのシグネチャを抽出するために複数の地域のために多数のシグネチャｃａｐｔｕｒｅ装備が設置される。そして、各プログラムを全国または全世界で一意的に認識し区分するためにプログラムにｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤが割り当てられる。各プログラムとｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤをマッピングするためにはメタデータデータベースが利用される。メタデータデータベースはプログラムに関する付加情報であるメタデータだけでなくプログラムスケジュール情報を含むため、望ましいデータデータベースを利用してｃａｐｔｕｒｅシステムから伝達されるシグネチャがいかなるプログラムであるのかマッピングされる。ｃａｐｔｕｒｅシステムは抽出したシグネチャがどの地域、どのチャネル、どの時間であるのかを知っているため、この情報を参照してメタデータデータベースを検索するとプログラムが検索される。メタデータデータベースはコンテンツ認識サービス提供サーバ２０と第三者サーバ９０に一緒に使用され、コンテンツ認識サービス提供サーバ２０と第三者サーバ９０はメタデータデータベースを利用してｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤを介してプログラムを認識する。ｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤのフォーマットはサーバを運営する第三者が指定するフォーマットであってもよく、メタデータデータベースが提供するフォーマットであってもよい。
【０２２５】
Ｌｉｖｅ＋ａｐｐが提供する全てのサービスは第三者サーバ９０から提供される。第三者サーバ９０はコンテンツ認識サーバ提供サーバ２０が伝達したｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤを映像表示装置１００から受信する。第三者サーバ９０はｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤを介してメタデータデータベースからｇｌｏｂａｌ  ｕｎｉｑｕｅ  ｃｏｎｔｅｎｔ  ＩＤに当たるプログラムに関するメタデータを抽出し、抽出したメタデータに基づいてプログラムと連携された多様なサービスを映像表示装置１００に提供する。また、認識されたプログラムに対して放送局が提供する付加情報があれば第三者サーバ９０は放送局サーバに接近してプログラムに関するＥｎｈａｎｃｅｄ  Ｄａｔａを受信し、それを加工して映像表示装置１００に提供する。Ｌｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ  ＤａｔａはＬｅａｎｂａｃｋ  ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａと内容は同じであるが形態（ＵＩ）は異なり得る。しかし、他の実施例において、放送局によってＬｉｖｅ＋ａｐｐを介して放送局が提供するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａの内容はＬｅａｎｂａｃｋ  ａｐｐが提供するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａと内容が異なり得る。
【０２２６】
複数の放送局または複数のＣＰのための複数のコンテンツ提供サーバ１０が存在する。コンテンツ提供サーバ１０はプログラムターゲッティングされたＬｅａｎｂａｃｋアプリケーションと、このＬｅａｎｂａｃｋ  ａｐｐが出力するプログラムに関するＥｎｈａｎｃｅｍｅｎｔ  Ｄａｔａを有する。
【０２２７】
図１８は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを示す図である。
【０２２８】
Ｌｉｖｅ＋ａｐｐはメイン視聴覚メディアコンテンツをサイズ変更（ｒｅｓｉｚｅ）して画面の左側上端の領域で示し、画面の右側領域でプログラムに関する付加情報を示し、画面の下端領域でプログラムに関する広告を示す。Ｌｉｖｅ＋ａｐｐは右側領域であるコンテンツ領域の上端には複数のタブを示す。複数のタブはプログラム（Ｐｒｏｇｒａｍ）タブ、お勧め（Ｒｅｃｏｍｍｅｎｄｓ）タブ、チャット（Ｔａｌｋ）タブ、プラス（Ｐｌｕｓ）タブを含む。
【０２２９】
図１９は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションを実行する方法を示す図である。
【０２３０】
映像表示装置１００はホーム画面またはＭｙ  Ａｐｐｓ画面をディスプレーする。Ｍｙ  Ａｐｐｓ画面は映像表示装置１００内に設置されたアプリケーションのリストを示す画面である。
【０２３１】
映像表示装置１００はホーム画面またはＭｙ  Ａｐｐｓ画面で示す複数のアプリケーションのうちＬｉｖｅ＋ａｐｐアプリケーションを選択するユーザ入力を受信すると、Ｌｉｖｅ＋アプリケーションを実行する。
【０２３２】
また、映像表示装置１００は放送を再生しながらＬｉｖｅ＋ａｐｐがあることを知らせるグラフィックをタイマーを介して一定時間間隔にディスプレーし、このグラフィックに関するユーザ入力を受けるとＬｉｖｅ＋ａｐｐを実行してもよい。
【０２３３】
図２０は、本発明の多様な実施例によるＬｉｖｅ＋アプリケーションのタブの機能を示す図である。
【０２３４】
プログラムタブは現在視聴者が見ているプログラムに対する基本情報と、プログラムの再視聴サービスを提供する。映像表示装置１００はプログラム基本情報を第三者サーバ９０のＭｅｔａ  ＤＢからインポートする。映像表示装置１００はプログラムの再視聴サービスに関する情報を第三者サーバ９０を経て該当プログラムを製作するコンテンツ提供サーバ１０からファイルをインポートする。
【０２３５】
Ｒｅｃｏｍｍｅｎｄｓ  ｔａｂは現在のプログラムに関する他の視聴覚コンテンツである映画やビデオ（例えばＹｏｕｔｕｂｅ）を勧めるか、現在のプログラムに関するアプリケーションを勧める。第三者サーバ９０は現在のプログラムのタイトル、ジャンルや出演者に基づいて勧める映画やビデオを決定し、それに関する情報を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのお勧めタブに提供する。
【０２３６】
Ｔａｌｋ  ｔａｂは現在のプログラムに関するチャットの内容に当たるツイッター記事を提供する。第三者サーバ９０は現在のプログラムのタイトル、ジャンルや出演者に基づいて現在のプログラムに関する記事を検索した後、検索した記事を加工して映像表示装置１００のＬｉｖｅ＋アプリケーションのチャットタブに提供する。
【０２３７】
Ｐｌｕｓ  ｔａｂは放送局がプログラムに関するデータを示す領域であり、放送局サーバから受信した情報をそのまま提供するか、または第三者サーバ９０が放送局サーバーから受信した情報を加工した情報を提供する。Ｐｌｕｓ  ｔａｂから提供されるデータの種類と個数には制限がない。プラスタブは商品の購入、場所の予約、音源の購入、商品の広告などの多様な付加サービスデータを提供する。但し、放送局サーバから受信した情報がそのままプラスタブに提供される場合、第三者サーバ９０は放送局サーバから受信した情報をＬｉｖｅ＋ａｐｐのコンテンツ領域（即ち、画面の右側領域）の位置及びサイズに合わせて情報を加工した後、映像表示装置１００に提供する。
【０２３８】
図２１は、本発明に一実施例による第三者サーバ９０のアーキテクチャを示す図である。
【０２３９】
図２１に示したように、本発明の一実施例による第三者サーバ９０はアプリケーション階層（Ａｐｐｌｉｃａｔｉｏｎ  Ｌａｙｅｒ）、サービスコンポーネント階層（Ｓｅｒｖｉｃｅ  Ｃｏｍｐｏｎｅｎｔ  Ｌａｙｅｒ）、バックエンドシステム階層（Ｂａｃｋ−ｅｎｄ  Ｓｙｓｔｅｍ  Ｌａｙｅｒ）、データコンポーネント階層（Ｄａｔａ  ｃｏｍｐｏｎｅｎｔ  Ｌａｙｅｒ）を含む。
【０２４０】
アプリケーション階層はＤｅｌｉｖｅｒｙ  Ｉｎｔｅｒｆａｃｅを介して映像表示装置１００を含む多様なディバイスと通信する。アプリケーション階層はアップストアコンポーネント（ＡｐｐＳｔｏｒｅ  ｃｏｍｐｏｎｅｎｔ）を含む。アップストアコンポーネントは開発者がＡｐｐを登録するインタフェースを支援するだけでなく、一般ユーザがＡｐｐを検索、ダウンロード及びインストールするインタフェースも支援する。また、Ｌｉｖｅ＋アプリケーションは第三者サーバ９０にある広告、検索、お勧めなどのサービスをアップストアコンポーネントを介して受信する。
【０２４１】
サービスコンポーネント階層はアプリケーション階層とサービス統合インタフェース（Ｓｅｒｖｉｃｅ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）を介して通信する。サービスコンポーネント階層は広告サービスコンポーネント、統合サービスコンポーネント、お勧めコンポーネント、ＡＣＲコンポーネントを含む。バックエンドシステム階層から加工されたデータを受けてそれをアプリケーション階層に伝達する。ＡＣＲコンポーネントは映像表示装置１００から受信したＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬでバックエンドシステム階層のメタデータコンポーネントを介してプログラムに関する基本付加情報を得る。また、ＡＣＲコンポーネントはメタデータから得たプログラムｔｉｔｌｅまたは俳優に関する情報を統合検索コンポーネントに伝達してプログラムに関する検索結果を得る。
【０２４２】
バックエンドシステム階層は原本データをデータコンポーネント階層から読み込み、それを加工してサービスコンポーネント階層に伝達する。バックエンドシステム階層は検索エンジン、保安（Ｓｅｃｕｒｉｔｙ）コンポーネント、ＤＲＭコンポーネント、メタデータコンポーネント、広告プラットフォームコンポーネント、ＡＣＲコンポーネントを含む。
【０２４３】
データコンポーネント階層は実際のデータを有する。そこにはデータコンポーネント階層はファイル記憶所（Ｆｉｌｅ  Ｒｅｐｏｓｉｔｏｒｙ）、統合データベース（Ｉｎｔｅｇｒａｔｅｄ  ＤＢ）、ユーザプロファイル（Ｕｓｅｒ  Ｐｒｏｆｉｌｅ）記憶所、メタデータ記憶所、広告データ記憶所を含む。ユーザプロファイル記憶所には視聴者またはユーザの性別、年齢、地域、所得、家族構成、好みのジャンル、好みのチャネル、好みの番組などの情報が記憶されている。メタデータ記憶所にはコンテンツに対するｔｉｔｌｅ、ｅｐｉｓｏｄｅ、ｄｉｒｅｃｔｏｒ、ｓｙｎｏｐｓｉｓ、ｃａｓｔｓ、ｇｅｎｒｅ、ｃｈａｎｎｅｌ、ａｉｒ  ｔｉｍｅなどの情報が記憶されている。第三者サーバ９０はｍｅｔａｄａｔａ  ｐｒｏｖｉｄｅｒまたはリアルタイム放送のガイド情報（例えば、ＡＴＳＣ地上波の場合にはＰＳＩＰ）からコンテンツに関する情報を受信してメタデータ記憶所に記憶する。
【０２４４】
図２２は、本発明の実施例による自動実行アプリケーションのための映像表示装置の動作を示すラダーダイアグラムである。
【０２４５】
まず、映像表示装置１００はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特長情報を含むＡＣＲ質疑要求メッセージ（ＡＣＲ  ｑｕｅｒｙ  ｒｅｑｕｅｓｔ  ｍｅｓｓａｇｅ）をＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２１０５。
【０２４６】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ  ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２１０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識成功可否に関する情報と、コンテンツ情報、リーンバックアプリケーションのＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのＣｏｎｔｅｎｔ  ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。ここでのＣｏｎｔｅｎｔ  ＩＤのフォーマットは該当放送局のみ認識可能なフォーマットであり、特にこの場合には放送局が該当プログラムのＡＣＲ  ＤＢをコンテンツ認識サービス提供サーバ２０に提供した場合に当たる。
【０２４７】
映像表示装置１００がＡＣＲ質疑を介してプログラムの識別に成功し、ｌｅａｎｂａｃｋ  ＵＲＬが有効であれば、映像表示装置１００は該当ｌｅａｎｂａｃｋ  ａｐｐ  ＵＲＬにｌｅａｎｂａｃｋアプリケーションを要求するＳ２１０９。
【０２４８】
コンテンツ提供サーバ１０は映像表示装置１００が要求するｌｅａｎｂａｃｋアプリケーションを映像表示装置１００に提供しＳ２１１１、映像表示装置１００はリーンバックアプリケーションをダウンロードする。
【０２４９】
映像表示装置１００がリーンバックアプリケーションのダウンロードに成功すると、映像表示装置１００は自動的に該当リーンバックアプリケーションを実行するＳ２１１３。
【０２５０】
映像表示装置１００内で実行されたリーンバックアプリケーションは映像表示装置１００内のＡＣＲエンジンから周期的にＣｏｎｔｅｎｔ  ＩＤとｔｉｍｅｓｔａｍｐを獲得し、獲得したＣｏｎｔｅｎｔ  ＩＤとｔｉｍｅｓｔａｍｐを含む付加データ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２１１５、Ｃｏｎｔｅｎｔ  ＩＤとｔｉｍｅｓｔａｍｐに当たる場面に関する付加データ（Ｅｎａｈｎｃｅｍｅｎｔ  Ｄａｔａ）を要求する。
【０２５１】
コンテンツ提供サーバ１０は要求された付加データをｌｅａｎｂａｃｋ  ａｐｐに伝達するＳ２１１７。ｌｅａｎｂａｃｋ  ａｐｐは放送局が提供するアプリケーションであるため、ある放送局のコンテンツ提供サーバ１０のインタフェースは他の放送局のコンテンツ提供サーバ１０のインタフェースと異なり得る。場面に関する付加情報があれば、ｌｅａｎｂａｃｋ  ａｐｐはＳ２１１３とＳ２１１７を繰り返し行う。
【０２５２】
図２３は、本発明の一実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
【０２５３】
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザ入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２２０１。
【０２５４】
ＡＣＲ機能がターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＥモジュールをターンオンするＳ２２０３。
【０２５５】
映像表示装置１００はメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２２０５。
【０２５６】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ  ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２２０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報を含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ  ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。
【０２５７】
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザ入力を受信するＳ２２０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスなどになり得る。
【０２５８】
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関するコンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２２１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報を含む。
【０２５９】
Ｌｉｖｅ＋アプリケーションは第三者サーバ９０にａｊａｘ  ｃａｌｌを使用してＨＴＴＰ基盤のＲｅｑｕｅｓｔを送る。この際、伝達するパラメータとしてはサービスタイプ、Ｃｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐ、放送局サーバＵＲＬなどがある。ＨＴＴＰ  ｒｅｑｕｅｓｔはＨＴＴＰ  ＧＥＴ基盤であって、表３のようなシンタックス（ｓｙｎｔａｘ）にパラメータを伝達する。
【０２６０】
【表３】
0006290935.tif 000006
【０２６１】
表３において、＜ｓｅｒｖｉｃｅ  ｎａｍｅ＞にはＬｉｖｅ＋ａｐｐが要求するサービス名が入力される。本実施例は以下のような、＜ｓｅｒｖｉｃｅ  ｎａｍｅ＞を使用する。
【０２６２】
−「ｇｅｔＰｒｏｇｒａｍ」：プログラムに関する基本情報と以前のｅｐｉｓｏｄｅを受信するためのｓｅｒｖｉｃｅ  ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのｐｒｏｇｒａｍ  ｔａｂに使用される。
【０２６３】
−「ｇｅｔＲｅｃｏｍｍｅｎｄｓ」：プログラムに関するお勧め（ＶＯＤ、Ａｐｐのお勧め）データを受信するためのｓｅｒｖｉｃｅ  ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＲｅｃｏｍｍｅｎｄｓ  ｔａｂに使用される。
【０２６４】
−「ｇｅｔＴａｌｋ」：プログラムに関するリアルタイムの記事やツイットを受信するためのｓｅｒｖｉｃｅ  ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＴａｌｋ  ｔａｂに使用される。
【０２６５】
−「ｇｅｔＰｌｕｓ」：放送局が提供するプログラムに関する付加データを受信するためのｓｅｒｖｉｃｅ  ｎａｍｅであって、Ｌｉｖｅ＋ａｐｐのＰｌｕｓ  ｔａｂに使用される。
【０２６６】
＜Ｃｏｎｔｅｎｔ  ＩＤ＞は放送局がコンテンツ認識サービス提供サーバ２９に伝達した値であって、放送局内部でプログラムを唯一に識別するために使用するＣｏｎｔｅｎｔ  ＩＤである。
【０２６７】
＜Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ＞は放送局の区分なしにグローバルにプログラムを唯一に識別するために使用され、そのためにコンテンツ認識提供サーバ２０と第三者サーバ９０は同じＭｅｔａ  ＤＢを使用する必要がある。Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤはＭｅｔａ  ＤＢのＣｏｎｔｅｎｔ  ＩＤフォーマットに従ってもよい。
【０２６８】
＜ｔｉｍｅｓｔａｍｐ＞は認識されたプログラムの現在の視聴時間を知らせるが、これはコンテンツ認識サービス提供サーバ２０から伝達された値である。
【０２６９】
＜放送局サーバＵＲＬ＞は放送局がプログラムに関する付加データを提供する場合に伝達されるが、この値で第三者サーバ９０は放送局サーバに接近することができる。
【０２７０】
第三者サーバ９０は伝達されたＧｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するＳ２２１３。メタデータ記憶所はＧｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤに当たるプログラムの付加データに関する検索結果を第三者サーバ９０にリターンする。
【０２７１】
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データを加工し、加工された付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２２２１。第三者サーバ９０はａｊａｘ  ｃａｌｌを使用してＨＴＴＰ基盤のｒｅｓｐｏｎｓｅとして加工された付加データを伝達する。
【０２７２】
図２４は、本発明の他の実施例によるチャネル独立アプリケーションのための映像表示装置を示すラダーダイアグラムである。
【０２７３】
映像表示装置１００が設置されているＬｉｖｅ＋ａｐｐを実行するためのユーザ入力を受信すると、映像表示装置１００は設置されているＬｉｖｅ＋ａｐｐを実行するＳ２３０１。
【０２７４】
ＡＣＲエンジンがターンオフされている場合、映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはＡＣＲエンジンをターンオンするＳ２３０３。
【０２７５】
映像表示装置１００のＡＣＲエンジンはメイン視聴覚コンテンツの一部のフレーム又は一部区間のオーディオサンプルから特徴情報を抽出し、抽出した特徴情報を含むＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に当たるＡＣＲサーバに伝送するＳ２３０５。
【０２７６】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内の特徴情報をＡＣＲ  ＤＢから照会して特徴情報に当たるプログラムを識別し、この識別したプログラムに関するコンテンツ情報を含むＡＣＲ質疑応答メッセージを映像表示装置１００のＡＣＲエンジンに提供するＳ２３０７。この際、ＡＣＲ質疑応答メッセージはプログラム認識に成功したか否かに関する情報とコンテンツ情報及びコンテンツ提供サーバ１０のＵＲＬを含む。上述したように、コンテンツ情報は認識されたプログラムのグローバルユニークＣｏｎｔｅｎｔ  ＩＤ、認識されたプログラムの放送局が識別し得るＣｏｎｔｅｎｔ  ＩＤと認識されたプログラムのｔｉｍｅｓｔａｍｐを含む。他の実施例において、映像表示装置１００はコンテンツ提供サーバ１０のＵＲＬをＡＣＲ質疑応答メッセージから獲得するのではなく、予め有していてもよい。
【０２７７】
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションはサービスタイプを選択するためのユーザ入力を受信するＳ２３０９。この際、サービスタイプはプログラムタイプ、お勧めタイプ、チャットタイプ及びプラスタイプのうち少なくとも一つに当たる。例えば、選択されたサービスタイプに当たる付加データはプログラムの出演者に関するリアルタイムのニュース記事やプログラムの出演者が主演に登場する映画を勧めるサービスになり得る。
【０２７８】
映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションは映像表示装置１００内のＡＣＲエンジンから現在認識されたプログラムのコンテンツ情報を獲得し、プログラムに関する関連コンテンツ要求メッセージを第三者サーバ９０に伝送してＳ２３１１、選択されたサービスタイプに当たる付加データを要求する。この際、プログラムに関するコンテンツ要求メッセージは現在認識されたプログラムのコンテンツ情報と選択されたサービスタイプに関する情報及び放送局コンテンツ提供サーバ１０のＵＲＬを含む。
【０２７９】
第三者サーバ９０は伝達されたＧｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤに当たるプログラムの付加データを見つけるためにメタデータ記憶所を検索するＳ２３１３。メタデータ記憶所はＧｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤに当たるプログラムの付加データに関する検索結果を第三者サーバ９０にリターンする。
【０２８０】
第三者サーバ９０は伝達された放送局コンテンツ提供サーバ１０のＵＲＬにアクセスし、伝達された放送局Ｃｏｎｔｅｎｔ  ＩＤとｔｉｍｅｓｔａｍｐを含むメタデータ要求メッセージをコンテンツ提供サーバ１０に伝送してＳ２３１７、現在の場面に関する付加データをコンテンツ提供サーバ１０に要求する。
【０２８１】
第三者サーバ９０はコンテンツ提供サーバ１０から現在の場面に関する付加データを受信するＳ２３１９。
【０２８２】
第三者サーバ９０はメタデータ記憶所から受信したプログラム付加データ及びコンテンツ提供サーバ１０から受信したプログラム付加データのうち一つ又は両方の結合を加工し、加工された付加データを映像表示装置１００内で実行されたＬｉｖｅ＋アプリケーションに提供するＳ２３２１。
【０２８３】
図２５は、本発明の実施例による映像表示装置の概念図を示す図である。
【０２８４】
図２５に示したように、本発明の実施例による概念図の映像表示装置１００はオーディオ／ビデオドライバ（Ａｕｄｉｏ／Ｖｉｄｅｏ  ｄｒｉｖｅｒ）６０１、ＡＣＲエンジン６０３、ＡＣＲミドルウェア６０５、ＡＣＲユーザインタフェース６０７、ＡＣＲプラグイン６０９を含む。
【０２８５】
オーディオ／ビデオドライバ６０１はＴＶの外部入力に入っているオーディオ／ビデオ信号をキャプチャしＡＣＲエンジン６０３に伝達する。オーディオ／ビデオドライバ６０１はＡＣＲエンジンがオーディオ／ビデオバッファに接近するようにＡＰＩを提供してもよい。オーディオ／ビデオドライバ６０１はＨＤＭＩのような外部入力に入ってくるオーディオ／ビデオの特性情報を一緒に提供する。例えば、オーディオ／ビデオドライバ６０１は、オーディオの場合ｓａｍｐｌｅ  ｄｅｐｔｈ、ｓａｍｐｌｅ  ｒａｔｅ、ｃｈａｎｎｅｌの数（ｍｏｎｏ／ｓｔｅｒｅｏなの）、ｓａｍｐｌｅの数、ｓａｍｐｌｅの時間などの情報を提供する。ビデオの場合、オーディオ／ビデオドライバ６０１はｖｉｄｅｏ  ｆｏｒｍａｔ、ｉｎｐｕｔ  ｖｉｄｅｐのｖｉｄｔｈ、ｈｅｉｇｈｔ、ｓｔｒｉｄｅ、ｓｔｒｅａｍ時間、ｉｎｐｕｔ  ｔｙｐｅ（ＨＤＭＩ１、ＨＤＭＩ２、ｃｏｍｐｏｓｉｔｅ、ｃｏｍｐｏｎｅｎｔなど）、秒当たりのｆｒａｍｅの数などの情報を提供する。
【０２８６】
ＡＣＲエンジン６０３は別途のｐｒｏｃｅｓｓで実行されるが、上述した多様な方式を利用してプログラムを認識する。ＡＣＲエンジン６０３はＡｕｄｉｏ／Ｖｉｄｅｏサンプルからシグネチャを抽出し、抽出したシグネチャをＡＣＲサーバに伝達してコンテンツを認識する。上述したように、ＡＣＲエンジン６０３はプラットフォームの具現によってＡｕｄｉｏ／Ｖｉｄｅｏバッファに接近可能なＡＰＩを呼び出してもよく、オーディオ／ビデオドライバ６０１がキャプチャ（ｃａｐｔｕｒｅ）したオーディオ／ビデオストリームをｓｏｃｋｅｔのような方法を介してＡＣＲ  ｐｒｏｃｅｓｓに伝達してもよい。ＡＣＲエンジン６０３はＡＣＲサーバにシグネチャと共にＡＣＲ質疑要求を送ってｃｏｎｔｅｎｔ認識に成功したか否か、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐ、ｌｅａｎｂａｃｋ  ａｐｐ  ＵＲＬ、放送局サーバＵＲＬなどを含むＡＣＲ  ｑｕｅｒｙ  ｒｅｓｐｏｎｓｅをＡＣＲサーバから受信する。ＡＣＲエンジン６０３はＡＣＲサーバから伝達された結果をＡＣＲミドルウェア６０５に伝達する。
【０２８７】
ＡＣＲミドルウェア６０５はＤＴＶ  ｐｒｏｃｅｓｓのミドルウェアに当たるモジュールであり、ＡＣＲ制御を処理しＡＣＲエンジン６０３からのＡＣＲ質疑応答を処理する。ＡＣＲミドルウェア６０５はＡＣＲプロセスを実行するか、終了するか、ＡＣＲエンジン６０３を始めるか中断することでＡＣＲを制御する。また、ＡＣＲミドルウェア６０５はＡＣＲ質疑応答をパーシングしてＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどの値も記憶している。ＡＣＲミドルウェア６０５はこの記憶された値をＡＣＲ  ＵＩに送るようにＡＰＩを提供するか、ｍｅｓｓａｇｅ  ｑｕｅｕｅ、ｇｌｏｂａｌ変数などの方法を介してＡＣＲユーザインタフェース６０７に伝達する。また、ＡＣＲミドルウェア６０５はＬｉｖｅ＋アプリケーションやリーンバックアプリケーションのようなＡＣＲアプリケーションにＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなＩＰＣ（Ｉｎｔｅｒ−Ｐｒｏｃｅｓｓ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介してＷｅｂブラウザに伝達する。
【０２８８】
ＡＣＲユーザインタフェース（ＡＣＲ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ、ＡＣＲ  ＵＩ）６０７はユーザにＡＣＲ  Ｏｎ／ＯｆｆのようなＡＣＲ制御を行うＵＩを表出するか、認識されたプログラムの名称及び時間のような情報をＴＶの状態バーＵＩを介してユーザに示す。
【０２８９】
ＡＣＲミドルウェア６０５がＡＣＲアプリケーションに伝達するためのＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータをブラウザに伝達すると、ＡＣＲプラグインはこのような値を伝達される。ＡＣＲプラグイン６０９はＰｌｕｇｉｎ  Ｏｂｊｅｃｔ  Ｉｎｔｅｒｆａｃｅを介してＡＣＲアプリケーション該当値を伝達する。表４は、ＡＣＲプラグイン６０９のＩｎｔｅｒｆａｃｅのある実施例を示している。
【０２９０】
【表４】
0006290935.tif 000007
【０２９１】
表４において、ｍａｔｄａｔａは認識されたプログラムに関する基本的なメタデータを提供する。
【０２９２】
ｂａｃｋｅｎｄＵＲＬは放送局／ＣＰサーバのＵＲＬを示す。
【０２９３】
ｇｅｔＡＣＲＭｅｔａｄａｔａ（）は認識されたプログラムに関する基本的なメタデータを獲得するための関数であり、ｍｅｔａｄａｔａ  Ｐｒｏｐｅｒｔｙと同じ値をリターンする。
【０２９４】
ｇｅｔＢａｃｋｅｎｄＵＲＬは放送局／ＣＰサーバのＵＲＬをリターンする関数である。
【０２９５】
ＮｏｔｉｆｙＡＣＲＡｐｐＬａｕｎｃｈｅｄ（）は移動端末機のような２ｎｄ  Ｓｃｒｅｅｎ及びＴＶがｐａｉｒｉｎｇされた際、ＴＶ上でのＡＣＲアプリケーションが特定ＵＲＬ又はＡｐｐを実行した場合にそれを２ｎｄ  Ｓｃｒｅｅｎのアプリケーションに知らせるための関数である。
【０２９６】
ＳｅｔＡｐｐＩｎｆｏ（）はＡＣＲアプリケーションの現在の状態と該当アプリケーションの２ｎｄ  ＳｃｒｅｅｎバージョンのＡｐｐ  ＵＲＬを示す関数である。
【０２９７】
ｏｎＣｏｎｔｅｎｔＣｈａｎｇｅｄ（）は認識されるプログラムが変更される場合に呼び出される関数である。
【０２９８】
ｏｎＭｅｄｉａＴｉｍｅＵｐｄａｔｅｄ（）はＡＣＲを介してｔｉｍｅｓｔａｍｐが変更されるたびに呼び出されるｃａｌｌｂａｃｋ関数である。
【０２９９】
ｏｎＡｐｐＳｈｏｗ（）はＴＶと２ｎｄ  Ｓｃｒｅｅｎとがｐａｉｒｉｎｇされた状態で２ｎｄ  ＳｃｒｅｅｎにあるアプリケーションがＴＶに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
【０３００】
ｏｎＡｐｐＨｉｄｅ（）はＴＶと２ｎｄ  Ｓｃｒｅｅｎとがｐａｉｒｉｎｇされた状態でＴＶにあるアプリケーションが２ｎｄ  Ｓｃｒｅｅｎに移動する際に呼び出されるｃａｌｌｂａｃｋ関数である。
【０３０１】
図２６は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
【０３０２】
図２６に示したように、本発明の他の実施例によるネットワークトポロジーはビデオフィンガープリントサーバ２３及びオーディオフィンガープリントサーバ２４を更に含む。
【０３０３】
図２６に示したようなビデオフィンガープリントサーバ２３はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報を抽出して記憶する。次に、ビデオフィンガープリントサーバ２３は映像表示装置１００からのビデオ特徴情報を受信すると、受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
【０３０４】
一方、図２６に示したようなオーディオフィンガープリントサーバ２４はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから聴覚的なオーディオ特徴情報を抽出して記憶する。次に、オーディオフィンガープリントサーバ２４は映像表示装置１００からのオーディオ特徴情報を受信すると、受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
【０３０５】
この際、図２６に示したような映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオフィンガープリントサーバ２３又はオーディオフィンガープリントサーバ２４にそれぞれ別に接続すべきである。
【０３０６】
図２７は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジーを示すブロック図である。
【０３０７】
図２７に示したように、本発明の他の実施例によるネットワークトポロジーはビデオ特徴情報及びオーディオ特徴情報をそれぞれ記憶したフィンガープリントサーバ２２を更に含む。
【０３０８】
図２７に示したようなフィンガープリントサーバ２２はメイン視聴覚コンテンツに変形を加えず、メイン視聴覚コンテンツから視覚的なビデオ特徴情報又は聴覚的なオーディオ特徴情報を抽出して記憶する。次に、フィンガープリントサーバ２２は映像表示装置２００からのビデオ特徴情報を受信すると受信したビデオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供し、映像表示装置２００からのオーディオ特徴情報を受信すると受信したオーディオ特徴情報に当たる視聴覚コンテンツ識別子と時間情報を提供する。
【０３０９】
この際、図２７に示したような映像表示装置１００はビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にも一つのフィンガープリントサーバ２２にアクセスすればよい。
【０３１０】
図２８は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
【０３１１】
図２８において、Ｔｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１は受信された地上波放送信号（ＲＦ、Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）をアナログオーディオビデオ信号に復元した後、復元されたアナログオーディオビデオ信号をＡＤＣ／ＡＶ  Ｄｅｃｏｄｅｒ３０３に伝送する。
【０３１２】
ＡＤＣ／ＡＶ  Ｄｅｃｏｄｅｒ３０３はアナログオーディオビデオ信号、アナログビデオ信号またはアナログオーディオ信号をデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号に転換した後、転換されたデジタル信号をデコーディングする。
【０３１３】
アナログオーディオビデオ信号は、例えばＴｕｎｅｒ／Ｄｅｍｏｄｕｌａｔｏｒ／Ｄｅｍｕｘ３０１が復元したアナログオーディオビデオ信号であってもよく、アナログビデオ信号は、例えば外部入力装置から伝送されたアナログビデオ信号（Ｃｏｍｐｏｓｉｔｅ／Ｓ−ｖｉｄｅｏ／Ｃｏｍｐｏｎｅｎｔ／ＲＧＢ）であってもよく、アナログオーディオ信号は、例えば外部入力装置から伝送されたアナログオーディオ信号（Ａｕｄｉｏ）信号である。
【０３１４】
Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。
【０３１５】
Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はＡＤＣ／ＡＶ  Ｄｅｃｏｄｅｒ３０３がデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号などを処理する。また、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はＨＤＭＩまたはＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒａｃｔｉｖｅ）を介して外部入力装置から伝送されたデコーディングしたデジタルオーディオビデオ信号、デジタルビデオ信号またはデジタルオーディオ信号のうち少なくとも一つを処理してもよい。
【０３１６】
Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はオーディオストリームをキャプチャしオーディオサンプル（Ａｕｄｉｏ  ｓａｍｐｌｅ）を生成した後、生成されたオーディオサンプルをＡｕｄｉｏ  ＦＰ  ｍｏｄｕｌｅ３０７に伝送する。また、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はビデオストリームをキャプチャしオーディオサンプル（Ｖｉｄｅｏ  ｓａｍｐｌｅ）を生成した後、生成されたビデオサンプルをＶｉｄｅｏ  ＦＰ  ｍｏｄｕｌｅ３０９に伝送する。また、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ３０５はＤｉｓｐｌａｙ３２１に画面情報を伝送する。
【０３１７】
Ａｕｄｉｏ  ＦＰ  ｍｏｄｕｌｅ３０７は、オーディオサンプルを分析及び処理してオーディオ特徴情報（Ａｕｄｉｏ  Ｓｉｇｎａｔｕｒｅ）を抽出する。
【０３１８】
Ｖｉｄｅｏ  ＦＰ  ｍｏｄｕｌｅ３０９、ビデオサンプルを分析及び処理してオーディオ特徴情報（Ｖｉｄｅｏ  Ｓｉｇｎａｔｕｒｅ）を抽出する。
【０３１９】
Ｎｅｔｗｏｒｋ  Ｉ／Ｆ３１１は上述したオーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２にオーディオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、オーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービス可能なフィンガープリントサーバ２２から質疑結果を受信する（Ｑｕｅｒｙ／Ｒｅｓｐｏｎｓｅ）。
【０３２０】
Ｎｅｔｗｏｒｋ  Ｉ／Ｆ３１３は上述したビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２にビデオ特徴情報を伝送しながら現在再生中のメイン視聴覚コンテンツのコンテンツ情報を質疑し、ビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービス可能なフィンガープリントサーバ２２から質疑結果を受信する（Ｑｕｅｒｙ／Ｒｅｓｐｏｎｓｅ）。
【０３２１】
Ａｕｄｉｏ  ＱｕｅｒｙＲｅｓｕｌｔ  Ｐａｒｓｅｒ３１５はオーディオフィンガープリントサーバ２４またはオーディオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された質疑結果（Ｑｕｅｒｅ  Ｒｅｓｕｌｔ）分析し、映像表示装置１００が必要とするメタデータを抽出する。
【０３２２】
Ｖｉｄｅｏ  ＱｕｅｒｙＲｅｓｕｌｔ  Ｐａｒｓｅｒ３１７はビデオフィンガープリントサーバ２３またはビデオフィンガープリントサービスが可能なフィンガープリントサーバ２２から伝送された質疑結果分析し、映像表示装置１００が必要とするメタデータを抽出する。
【０３２３】
Ｍｅｔａｄａｔａ  Ｓｔｏｒａｇｅ３１９は抽出されたメタデータを記憶する。
【０３２４】
Ｄｉｓｐｌａｙ３２１は場面に関する情報を画面上に示す。
【０３２５】
図２９は、本発明の実施例によるフィンガープリント機能を制御するためのユーザインタフェースを示す図である。
【０３２６】
図２９に示したように、再生制御部１１３はフィンガープリント機能設定ウィンドウをディスプレーする。ユーザはフィンガープリント機能設定ウィンドウを介してフィンガープリント機能を活性化するか非活性化する。
【０３２７】
フィンガープリント機能が活性化された場合、ユーザはフィンガープリント設定モードを選択してもよい。実施例によるフィンガープリント設定モードは不手動設定モード、自動設定モードのうち一つに設定される。
【０３２８】
フィンガープリントの手動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオシグネチャモード、ビデオシグネチャモード、オーディオ及びビデオシグネチャモードのうち一つに設定される。
【０３２９】
また、フィンガープリントの手動設定モード活性化された場合、ユーザはシグネチャ伝送周期を選択してもよい。シグネチャ伝送周期は映像表示装置１００の機能に応じて異なるが、映像表示装置１００が自動的にシグネチャ伝送周期を設定してもよい。映像表示装置１００が自動的にシグネチャ伝送周期を設定する場合、映像表示装置１００は予め決められたデフォルト値をシグネチャ伝送周期に設定するか、シグネチャが伝送されるネットワーク環境の状態に応じてシグネチャ伝送周期を設定してもよい。
【０３３０】
フィンガープリントの自動設定モードが活性化された場合、ユーザはシグネチャモードを選択してもよい。本発明の実施例によるシグネチャモードはオーディオ優先モード、ビデオ優先モード、オーディオビデオ同時モードのうち一つに設定される。
【０３３１】
オーディオ優先モードはオーディオ特徴情報に関する質疑結果が失敗すると自動的にビデオ特徴情報が含まれた質疑を伝送するモードである（Ａｕｄｉｏ  ｆｉｒｓｔ，ｔｈｅｎ  Ｖｉｄｅｏ  ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）。ビデオ優先モードはビデオ特徴情報に関する質疑結果が失敗すると自動的にオーディオ特徴情報が含まれた質疑を伝送するモードである（Ｖｉｄｅｏ  ｆｉｒｓｔ，ｔｈｅｎ  Ａｕｄｉｏ  ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）。オーディオビデオ同時モードはオーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑を同時に伝送するモードである（Ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ  ｃｏｎｃｕｒｒｅｎｔｌｙ）。本発明の実施例によるシグネチャモードにおけるシグネチャ周期は、上述したように映像表示装置１００によって自動的に設定されるが、それに限ることはない。
【０３３２】
このようにフィンガープリントモードが設定されると、再生制御部１１３は設定情報を設定情報記憶部１５４に記憶する。
【０３３３】
一方、オーディオ特徴情報が含まれた質疑及びビデオ特徴情報が含まれた質疑が同時に伝送される場合、映像表示装置１００のリソース使用が増加して性能が阻害される恐れがある。映像表示装置１００の性能低下を防ぐために、シグネチャ伝送周期がネットワーク環境に応じて変更される必要がある。以下、図３０及び図３１を参照して本発明の実施例によるシグネチャ伝送周期の変化を説明する。
【０３３４】
図３０は、本発明の一実施例によるフィンガープリントの周期変化を説明するための図である。
【０３３５】
図３０において、映像表示装置１００はコンテンツが認識されなければＡフィンガープリント（Ａ  ＦＰ）周期及びＢフィンガープリント（Ｂ  ＦＰ）周期を全て速く設定し、コンテンツが認識されるとＢフィンガープリント（Ｂ  ＦＰ）周期を下げて映像表示装置１００のリソースの使用を減少する。この際、Ａフィンガープリント（Ａ  ＦＰ）またはＢフィンガープリント（Ｂ  ＦＰ）はそれぞれオーディオ特徴情報またはビデオ特徴情報を意味し、Ａフィンガープリント（Ａ  ＦＰ）周期、Ｂフィンガープリント（Ｂ  ＦＰ）周期はシグネチャ伝送周期を意味する。
【０３３６】
図３１は、本発明の他の実施例によるフィンガープリントの周期変化を説明するための図である。
【０３３７】
図３１において、映像表示装置１００はコンテンツが認識された後にＡフィンガープリント（Ａ  ＦＰ）周期及びＢフィンガープリント（Ｂ  ＦＰ）周期を全て下げ、Ｂフィンガープリンティングが失敗するとＡフィンガープリント（Ａ  ＦＰ）周期のみを更に速く設定する。この際、Ｂフィンガープリンティングはオーディオ特徴情報またはビデオ特徴情報が含まれた質疑の伝送を意味し、Ｂフィンガープリンティングの失敗はオーディオ特徴情報またはビデオ特徴情報に対する質疑結果が失敗したことを意味する。
【０３３８】
結果的に、本発明の実施例によるフィンガープリントの周期変化によると、服すのフィンガープリンティングを適用した映像表示装置１００が失敗したフィンガープリンティングのためのリソースの使用を減らし成功したフィンガープリンティングのためのリソースの使用を増やすことで、コンテンツ認識の効率を増加する長所がある。
【０３３９】
コンテンツ情報を獲得するためにフィンガープリントを利用する際には多様な要素が影響を及ぼし、状況によって多様な設定がそれぞれ適用される。そのためのフィンガープリント基板のＡＣＲのための設定情報も上述した設定情報記憶部１５４に記憶される。このようなＡＣＲのための設定情報に基づいてビデオ特徴情報とオーディオ特徴情報が同時に使用される場合、ビデオ特徴情報とオーディオ特徴情報を組み合わせる方式などが導出される。ＡＣＲのための設定情報はユーザ入力または映像表示装置１００の探知を介して獲得されるか、コンテンツ提供サーバ１０またはフィンガープリントサーバ２２のようなコンテンツ認識サービス提供サーバ２０から提供される。
【０３４０】
再生制御部１１３は設定情報記憶部１５４に記憶されたＡＣＲのための設定情報に基づいて動作する。または、再生制御部１１３は外部から例えばコンテンツ提供サーバ１０またはフィンガープリントサーバ２２から提供されたＡＣＲ動作に影響を及ぼす情報に基づいて動作してもよい。
【０３４１】
ＡＣＲのための設定情報は外部入力インタフェースの種類に応じた信号の入力に関する情報、シグネチャ伝送周期に関する情報、ビデオ特徴情報抽出領域であるサンプリングウィンドウ（ｓａｍｐｌｉｎｇ  ｗｉｎｄｏｗ）に関する情報、オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に関する質疑結果が互いに異なる場合には優先順位判断に関する情報などを含む。
【０３４２】
外部入力インタフェースの種類に応じた信号入力に関する情報は、複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報、オーディオ信号及びビデオ信号それぞれのフォーマット情報を含む。
【０３４３】
映像表示装置１００は複数の外部入力インタフェースそれぞれを介して入力された信号がオーディオ信号及びビデオ信号を含むのか否かに関する情報に基づいて動作する。例えば、映像表示装置１００は第１外部入力インタフェースを介して入力された信号がオーディオ信号を含んでいないという情報に基づいて、第１外部入力インタフェースから受信されるビデオ特徴情報のみを抽出し利用する。また、映像表示装置１００は設定情報記憶部１５４に記憶されたオーディオ信号及びビデオ信号それぞれのフォーマットを利用し、コンテンツ認識動作をより速く行う。
【０３４４】
映像表示装置１０はこのような外部入力インタフェースの種類に応じた信号入力に関する情報を外部入力インタフェースの種類に応じてそれぞれ収集及び記憶し、最も最近に入力された信号に関する情報を記憶する。また、映像表示装置１００は外部入力インタフェースに連結された外部入力装置の識別が可能であれば、各外部入力装置の種類による信号入力に関する情報も記憶する。例えば、映像表示装置１００はＨＤＭＩを介して連結された外部入力装置の情報を獲得するため、各外部入力装置の種類に応じて該当外部入力装置の情報を記憶する。一方、映像表示装置１００はこのような外部入力装置の情報を知らなければ、最も最近に入力された信号に関する情報を記憶してもよい。
【０３４５】
シグネチャ伝送周期に関する情報はどれだけよくシグネチャ伝送を行うのかに関する情報を意味し、例えば５秒のような時間周期に設定される。シグネチャ伝送周期は基本的なシグネチャ伝送周期だけでなく、ビデオ特徴情報とオーディオ特徴情報が同時に使用される場合にビデオ特徴情報とオーディオ特徴情報を組み合わせて利用する周期を含む。ビデオ特徴情報がシグネチャとして利用されれば映像表示装置１００のコンテンツ認識速度は速い一方、大容量データを処理するためにＣＰＵ使用量などのリソースの消耗量が大きくなる短所がある。よって、映像表示装置１００のコンテンツ認識速度とリソースの消耗量を適切に調節するためにシグネチャ伝送周期を動的に設定し、このようなシグネチャ伝送周期の設定に関する情報などがＡＣＲのための設定情報として記憶される。
【０３４６】
シグネチャ伝送周期の設定に関する情報は、例えば初期コンテンツを認識するためにビデオ特徴情報またはオーディオ特徴情報が同時に利用されること、コンテンツが利用された後にはオーディオ特徴情報を介して同じサービスまたは同じコンテンツが視聴中であると確認される場合に限って、ビデオ特徴情報伝送周期が徐々に延長されること、オーディオ特徴情報などを介して視聴中のサービスまたはコンテンツの変更か探知されたとたんビデオ特徴情報またはオーディオ特徴情報を介して正確なコンテンツ認識が試みられることに関する情報などを含む。この際、ビデオ特徴情報伝送周期は、例えば同じコンテンツ視聴時点から５分以内には５秒、同じコンテンツ視聴時点から５分が経過してから１０分以内には１０秒、同じコンテンツ視聴時点から１０分が経過してから１５分以内には２０秒に増加され、同じコンテンツ視聴時点から１５分が経過した後には視聴時間が５分ずつ増加することによって２倍に増加される方式に延長されるが、これに限ることはない。
【０３４７】
ビデオ特徴情報抽出領域であるサンプリングウィンドウに関する情報は、事業者によって互いに異なる放送受信装置のＧＵＩ特性情報に応じて指定される。即ち、フィンガープリントサーバ２２は映像表示装置１００から伝送されたビデオ特徴情報に対応する質疑結果が失敗に当たると、映像表示装置１００のパターンヒストリを分析して放送受信装置またはビデオ分配者の事業者を推定し、該当事業者の放送受信装置またはマルチチャネルビデオ分配者のＧＵＩ特性情報を考慮してサンプルウィンドウを指定する。よって、映像表示装置１００は映像表示装置１００自体の種類、放送受信装置またはマルチチャネルビデオ分配者の種類に応じてそれぞれ異なるサンプリングウィンドウを利用することができる。映像表示装置１００はこのようなサンプリングウィンドウに関する情報をＡＣＲのための設定情報として記憶した後、サンプリングウィンドウが含まれた質疑を最初から要求してもよい。
【０３４８】
オーディオ特徴情報に対応する質疑結果とビデオ特徴情報に対応する質疑結果が互いに異なる場合、優先順位の判断に関する情報は優先順位と判断される情報を予め指定する方法または優先順位として判断される情報をアルゴリズムを介して計算する方法を含む。特に、一つの情報を予め指定する方法とアルゴリズムを介して優先順位情報を判断する方法が互いに異なる場合、映像表示装置１００はＡＣＲのための設定情報として記憶された優先順位の判断に関する情報に基づいていずれか一つの情報をシグネチャとして決定する。
【０３４９】
図３２は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【０３５０】
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、ＡＣＲ質疑周期を決定するＳ２４０１。
【０３５１】
放送局／ＣＰは自らが保有した全てのプログラムに対してＡＣＲ  ＤＢを構築してもよく、特定プログラムに対してＡＣＲ  ＤＢを構築してもよい。特定プログラム、例えば放送局／ＣＰが保有したプログラムのうち人気のあるプログラムについてＡＣＲ  ＤＢを構築する場合、サーバを維持するコストを減らしプログラムを識別するための紹介にかかる時間を減少することができる。
【０３５２】
放送局／ＣＰはＡＣＲ事業者が提供するツール（ｔｏｏｌ）を使用してプログラムのフィンガープリントを抽出し、該当プログラムのＡＣＲ質疑周期を決定して抽出されたフィンガープリントと共に記憶する。
【０３５３】
該当プログラムのＡＣＲ質疑周期はコンテンツの特性に応じて決定される。
【０３５４】
例えば、ＡＣＲ質疑周期はコンテンツに関する付加サービスの有無に応じて決定される。コンテンツに関する付加サービスがない場合、ＡＣＲ質疑周期は該当プログラムが終了される時間に決定されるに対し、コンテンツに関する付加サービスがある場合、ＡＣＲ質疑周期はより短縮される。コンテンツに関する付加サービスがなければ不必要はＡＣＲ質疑が伝送されないように該当プログラムが終了される場合にのみＡＣＲ質疑が伝送され、コストが節減される。一方、コンテンツに関する付加サービスがあればＡＣＲ質疑周期が短く設定されて該当プログラムに対して同期化された付加サービスが提供される。
【０３５５】
他の例をあげると、ＡＣＲ質疑誘起は放送局の視聴率調査のようなＡＣＲ質疑目的に応じて決定される。よって、放送局はコンテンツに関する付加サービスがなくても視聴率を調査するためにＡＣＲ質疑周期を３秒などに短く決定してもよい。
【０３５６】
このように、コンテンツ提供サーバ１０はチャネル別またはコンテンツ別に放送局のＡＣＲ質疑活用目的、コンテンツの特徴などに適合するようにＡＣＲ質疑周期をそれぞれ異なるように決定する。
【０３５７】
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたＡＣＲ質疑周期を伝送するＳ２４０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤフィンガープリントとマッピングして伝達する。
【０３５８】
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びＡＣＲ質疑周期を伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及びＡＣＲ質疑周期を該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びＡＣＲ質疑周期をフィンガープリントサーバ２２に伝送する。
【０３５９】
フィンガープリントサーバ２２は受信されたフィンガープリント及びＡＣＲ質疑周期を記憶するＳ２４０５。フィンガープリントサーバ２２はＡＣＲ  ＤＢに該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、ＡＣＲ質疑周期を記憶する。
【０３６０】
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２４０７。
【０３６１】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第１ＡＣＲ質疑周期を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２４０９。この際、ＡＣＲ質疑応答メッセージには第１ＡＣＲ質疑周期以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３３と表５を参照して説明する。
【０３６２】
図３３は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【０３６３】
図３３に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＱｕｅｒｙＩｎｔｅｒｖａｌ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
【０３６４】
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
【０３６５】
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
【０３６６】
ＱｕｅｒｙＩｎｔｅｒｖａｌエレメントはＡＣＲ質疑周期を意味し、次のＡＣＲ質疑（Ｎｅｘｔ  ＡＣＲ  Ｑｕｅｒｙ）の伝送時間を示す。次のＡＣＲ質疑時間は絶対時間または相対時間を意味する。絶対的なＡＣＲ質疑時間は次のＡＣＲ質疑が伝送される時刻を示し、相対的なＡＣＲ質疑時間は次のＡＣＲ質疑が伝送されるまで待つべき時間（ｗａｉｔ  ｔｉｍｅ）を示す。
【０３６７】
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
【０３６８】
表５は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ  Ｓｃｈｅｍａを示す。
【０３６９】
【表５】
0006290935.tif 000008
【０３７０】
更に図３２を説明する。
【０３７１】
次に、第１ＡＣＲ質疑周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１１、フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２質疑応答メッセージを映像表示装置１００に提供するＳ２４１３。
【０３７２】
また、第２ＡＣＲ質疑周期に当たる時間が経過した後、映像表示装置１００がメイン視聴覚コンテンツの他の一部のフレームまたは他の一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するとＳ２４１５、フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第３質疑応答メッセージを映像表示装置１００に提供するＳ２４１７。
【０３７３】
この際、第１乃至第３ＡＣＲ質疑周期は同じであるかそれぞれ異なってもよい。
【０３７４】
次に、図３４と表６乃至表７を参照して本発明の実施例によるＡＣＲ質疑周期決定方法を説明する。
【０３７５】
図３４は、本発明の一実施例によるフィンガープリント基盤のネットワークトポロジーに含まれた複数の映像表示装置それぞれのフィンガープリント周期を説明するための図である。
【０３７６】
図３４において、Ｐｒｏｇｒａｍ  Ａは関連する付加サービスがない１時間分量のプログラムであり、Ｐｒｏｇｒａｍ  Ｂは関連する付加サービスがある３０分分量のプログラムである。それによって放送局はＰｒｏｇｒａｍ  Ａ及びＰｒｏｇｒａｍ  Ｂに対してＡＣＲ  ＤＢを構築したが、Ｐｒｏｇｒａｍ  Ａに対するＡＣＲ質疑頻度が最低に設定されたことに対し、人気のあるプログラムであるＰｒｏｇｒａｍ  Ｂに対するＡＣＲ質疑頻度はより高く設定されている状態である。
【０３７７】
図３４を参照すると、第１映像表示装置（装置１）は第１時点（ｔ１）にチャネルを変更してＰｒｏｇｒａｍ  Ａの再生を開始すると、フィンガープリントサーバ２２から表６のようなＡＣＲ質疑応答を受信する。
【０３７８】
【表６】
0006290935.tif 000009
【０３７９】
表６において、ＱｕｅｒｙＩｎｔｅｒｖａｌは次のＡＣＲ質疑が伝送されるまで待つべき相対的なＡＣＲ質疑時間であって秒（ｓｅｃｏｎｄ）の単位を有する。また、ＮＴＰＴｉｍｅｓｔａｍｐはコンテンツの現在の再生時間を示し、コンテンツの開始時間から相対的な時間として表示され、ミリ秒（ｍｉｌｉｓｅｃｏｎｄ）の単位を有する。因みに、ＱｕｅｒｙＩｎｔｅｒｖａｌ及びＮＴＰＴｉｍｅｓｔａｍｐが示す内容及び単位は以下の表７乃至図９で同じである。
【０３８０】
表６を参照すると、第１映像表示装置（装置１）はＡＣＲ質疑応答を受信してから２７００秒、即ち４５分が経過した時点である第３ａ時点（ｔ３ａ）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ  Ａの開始時点から９０００００ミリ秒、即ち１５分が経過した時点であることが分かる。
【０３８１】
更に図３４を参照すると、第２映像表示装置（装置２）は第２時点（ｔ２）にチャネルを変更してＰｒｏｇｒａｍ  Ａの再生を開始すると、フィンガープリントサーバ２２から表７のようなＡＣＲ質疑応答を受信する。
【０３８２】
【表７】
0006290935.tif 000010
【０３８３】
表７を参照すると、第２映像表示装置（装置２）はＡＣＲ質疑応答を受信してから９０５秒、即ち１５分５秒が経過した時点である第３ｂ時点（ｔ３ｂ）に次のＡＣＲ質疑を要求する。また、第２映像表示装置（装置２）の現在の視聴時点はＰｒｏｇｒａｍ  Ａの開始時点から２７０００００ミリ秒、即ち４５分が経過した時点であることが分かる。
【０３８４】
この際、放送局は複数の映像表示装置から複数のＡＣＲ質疑が同時に伝送されることを防止するために、各映像装置ごとにＡＣＲ質疑周期をそれぞれ異なるように決定してもよい。例えば、表６及び表６に示したように第１映像表示装置（装置１）が次のＡＣＲ質疑を伝送する時間及び第２映像表示装置（装置２）が次のＡＣＲ質疑を伝送する時間の間に５秒の時間差が発生するようにＡＣＲ質疑周期が設定されてもよい。
【０３８５】
更に図３４を参照すると、第１映像表示装置（装置１）が第３ａ時点（ｔ３ａ）に次のＡＣＲ質疑を要求すると、フィンガープリントサーバ２２から表８のようなＡＣＲ質疑応答を受信する。この際、第３ａ時点（ｔ３ａ）はＰｒｏｇｒａｍ  Ｂの再生が開始される時点である。
【０３８６】
【表８】
0006290935.tif 000011
【０３８７】
表８を参照すると、第１映像表示装置（装置１）はＡＣＲ質疑応答を受信してから３００秒、即ち５分が経過した時点である第４時点（ｔ４）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ  ｂの開始時点であることが分かる。
【０３８８】
更に図３４を参照すると、第２映像表示装置（装置２）が第３ｂ時点（ｔ３ｂ）に次のＡＣＲ質疑を要求すると、フィンガープリントサーバ２２から表９のようなＡＣＲ質疑応答を受信する。この際、第３ｂ時点（ｔ３ｂ）はＰｒｏｇｒａｍ  Ｂの再生が開始されてから５秒が経過した時点である。
【０３８９】
【表９】
0006290935.tif 000012
【０３９０】
表９を参照すると、第２映像表示装置（装置２）はＡＣＲ質疑応答を受信してから３００秒、即ち５分が経過した時点（図示せず）に次のＡＣＲ質疑を要求する。また、第１映像表示装置（装置１）の現在の視聴時点はＰｒｏｇｒａｍ  Ｂの開始時点から５０００ミリ秒、即ち５秒が経過した時点であることが分かる。
【０３９１】
図３５は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【０３９２】
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、フィンガープリントタイプを決定するＳ２５０１。
【０３９３】
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムのフィンガープリントタイプを決定して抽出されたフィンガープリントと共に記憶する。
【０３９４】
該当プログラムのフィンガープリントタイプはコンテンツの特性に応じてビデオフィンガープリント、オーディオフィンガープリントのうち一つ以上を含むタイプとして決定される。
【０３９５】
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び決定されたフィンガープリントタイプを伝送するＳ２５０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
【０３９６】
コンテンツ提供サーバ１０はプログラムが放送として送出される前にまたはフィンガープリントを抽出すると同時にフィンガープリント及びフィンガープリントタイプを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及びフィンガープリントタイプを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びフィンガープリントタイプをフィンガープリントサーバ２２に伝送する。
【０３９７】
フィンガープリントサーバ２２は受信されたフィンガープリント及びフィンガープリントタイプを記憶するＳ２５０５。フィンガープリントサーバ２２はＡＣＲ  ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、フィンガープリントタイプを記憶する。
【０３９８】
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５０７。
【０３９９】
この際、映像表示装置１００が抽出したフィンガープリントはデフォルト（ｄｅｆａｕｌｔ）タイプのフィンガープリントである。映像表示装置１００から抽出されたフィンガープリントのデフォルトタイプは該当コンテンツを保有した放送局によってそれぞれ異なり、ネットワークに含まれた複数の映像表示装置それぞれから抽出されたフィンガープリントのデフォルトタイプもそれぞれ異なり得る。
【０４００】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する次のフィンガープリントを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２５０９。
【０４０１】
この際、ＡＣＲ質疑応答メッセージには次のフィンガープリントタイプ以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３６と表１０を参照して説明する。
【０４０２】
表３６は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【０４０３】
図３６に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＮｅｘｔＦＰＴｙｐｅ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
【０４０４】
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
【０４０５】
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
【０４０６】
ＮｅｘｔＦＰＴｙｐｅエレメントは次のフィンガープリントタイプを意味し、映像表示装置１００から抽出されてフィンガープリントサーバ２２でマッピングの対象になるフィンガープリントの種類を示す。ＮｅｘｔＦＰＴｙｐｅエレメントは図面符号Ｓ２５０１で放送局がコンテンツの促成に応じて予め設定した該当プログラムのフィンガープリントタイプを意味する。この際、次のフィンガープリントのタイプはビデオフィンガープリント、オーディオフィンガープリントのうちいずれか一つ以上を含むタイプである。コンテンツの特性に応じて一つのコンテンツ当たり一つのフィンガープリントタイプが決定されてもよく、一つのコンテンツ当たりそれぞれ異なるタイプの複数のフィンガープリントタイプが決定されてもよい。
【０４０７】
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
【０４０８】
表１０は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ  Ｓｃｈｅｍａを示す。
【０４０９】
【表１０】
0006290935.tif 000013
【０４１０】
更に、図３５を説明する。
【０４１１】
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２５１１。
【０４１２】
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２５０９で受信されたＡＣＲ質疑応答メッセージに含まれた次のフィンガープリントタイプのフィンガープリントである。
【０４１３】
フィンガープリントサーバ２２は図面符号Ｓ２５１１で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する次のフィンガープリントタイプを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２５１３。
【０４１４】
次に、表１３乃至表１５を参照して本発明の実施例によるフィンガープリントタイプの決定基準とＡＣＲ質疑応答を説明する。
【０４１５】
第一、スポーツ中継などのように類似した映像を多くのチャネルで放送するコンテンツはビデオ特性情報でプログラムを識別することが難しい特性がある。但し、類似した映像を多くのチャネルから放送するコンテンツは放送局ごとに中継解説によってオーディオ信号が異なるため、オーディオ特性情報で該当プログラムを識別することができ、各放送局はフィンガープリントタイプをオーディオフィンガープリントとして予め設定する。
【０４１６】
このような第一の場合、プログラムが始まるかチャネルが変更されることで該当プログラムが視聴対象になると、ＴＶのような映像表示装置１００は該当プログラムから抽出されたフィンガープリントが含まれたＡＣＲ質疑要求メッセージをフィンガープリントサーバ２２に伝送する。この際、映像表示装置１００は予め決められたデフォルトタイプのフィンガープリントを抽出するかオーディオフィンガープリント及びビデオフィンガープリントを一緒に抽出するが、それに限ることはない。
【０４１７】
ＡＣＲ質疑要求メッセージを受信したフィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムの予め定められた次のフィンガープリントタイプを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供する。表１１は、第一の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
【０４１８】
【表１１】
0006290935.tif 000014
【０４１９】
表１１に示したように、第一の場合の次のフィンガープリントタイプはオーディオフィンガープリントタイプである。
【０４２０】
第二、祝日の記念式や演説または一つの放送局が他の放送局から製作及び訪欧したコンテンツを購入して再放送するなどのシンジケーテッドプログラム（ｓｙｎｄｉｃａｔｅｄ  ｐｒｏｇｒａｍ）はオーディオのみでコンテンツ自体を識別することができるが、放送主体である放送局を識別することができないため、放送局によるコンテンツを識別することができない。
【０４２１】
このような第二の場合、ビデオフィンガープリントでコンテンツ及び放送局のロゴが識別される必要がある。または、オーディフィンガープリントでコンテンツ識別されながら追加にビデオフィンガープリントで放送局のロゴが識別されてもよいが、それに限ることはない。
【０４２２】
表１２は、第二の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
【０４２３】
【表１２】
0006290935.tif 000015
【０４２４】
表１２に示したように、第二の場合の次のフィンガープリントタイプはオーディオ及びビデオ（ａｕｄｉｏａｎｄｖｉｄｅｏ）フィンガープリントタイプである。
【０４２５】
第三、ドラマや映画でＢＧＭが流れる間には該当コンテンツを識別することができない瞬間がある。第三の場合、コンテンツのタイムラインに応じてフィンガープリントタイプを変更すると該当コンテンツをより明確に識別することができる。この際、映像表示装置１００が予め決められた周期によってＡＣＲ質疑要求を伝送すると、フィンガープリントサーバ２２は該当コンテンツの種類に応じて予め決められたフィンガープリントタイプが含まれたＡＣＲ質疑応答を伝送する。この際、映像表示装置１００は受信されたＡＣＲ質疑応答に含まれたフィンガープリントタイプのフィンガープリントを抽出して次のＡＣＲ質疑要求に含ませる。
【０４２６】
表１３は、第３の場合にフィンガープリントサーバ２２が映像表示装置１００に提供するＡＣＲ質疑応答を示す。
【０４２７】
【表１３】
0006290935.tif 000016
【０４２８】
表１３に示したように、第三の場合の次のフィンガープリントタイプはコンテンツの再生時間（ＮＴＰＴｉｍｅｓｔａｍｐ）に応じて変更される。例えば、コンテンツの現在の再生時間が３０００００秒、即ち５分であれば次のフィンガープリントタイプはオーディオフィンガープリントタタイプであり、コンテンツの現在の再生時間が９０００００秒、即ち１５分であれば次のフィンガープリントタイプはビデオフィンガープリントタタイプである。
【０４２９】
一方、キャプション（ｃａｐｔｉｏｎ）またはサブタイトル（ｓｕｂｔｉｔｌｅ）のような字幕情報が含まれたコンテンツの識別のためにビデオフィンガープリントが使用される場合、ビデオ映像の上に字幕情報がオーバーレイされるとビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。
【０４３０】
もしこのような場合にもコンテンツの識別に成功したらｎｏｉｓｅが含まれたコンテンツの識別を意味するため、ｆａｌｓｅ  ｐｏｓｉｔｉｖｅが発生する。ｆａｌｓｅ  ｐｏｓｉｔｉｖｅは互いに異なるコンテンツを同じコンテンツとして認識する場合を意味し、例えば互いに異なるプログラムの間に類似した場面が現れると同じプログラムとして識別されてもよい。
【０４３１】
このようなビデオフィンガープリントによるエラーを防止するためのサンプリングウィンドウを利用したフィンガープリント技法を図３７乃至図４０を参照して説明する。
【０４３２】
図３７は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【０４３３】
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出し、サンプリングウィンドウ（ｓａｍｐｌｉｎｇ  ｗｉｎｄｏｗ）を指定するＳ２６０１。
【０４３４】
サンプリングウィドウはコンテンツの全体のビデオが面のうちからビデオフィンガープリントを抽出するための領域を意味する。この際、サンプリングウィンドウはプログラムで字幕情報が出力される空間を避けて指定されたビデオ領域である。放送局／ＣＰはコンテンツを生成するだけでなくビデオ映像で字幕情報が表示される位置も決定するため、ビデオフィンガープリントのためにサンプリングする領域が分かる。
【０４３５】
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムの字幕情報出力位置によるサンプリングウィンドウを指定して抽出したフィンガープリントと共に記憶する。
【０４３６】
この際、字幕情報がプログラムの全体区間にわたって同じ位置で出力される場合、サンプリングウィンドウは該当プログラムに対して常に同じように指定される。一方、字幕情報がプログラムの時間区間によって互いに異なる領域から出力される場合、サンプリングウィンドウはプログラムの区間に応じて互いに異なるように指定される。
【０４３７】
次に、コンテンツ提供サーバ１０はフィンガープリントサーバ２２に抽出されたフィンガープリント及び指定されたサンプリングウィンドウを伝送するＳ２６０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
【０４３８】
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリント及び指定されたサンプリングウィンドウを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリント及びサンプリングウィンドウをフィンガープリントサーバ２２に伝送してもよい。
【０４３９】
フィンガープリントサーバ２２は受信されたフィンガープリント及び指定されたサンプリングウィンドウを記憶するＳ２６０５。フィンガープリントサーバ２２はＡＣＲ  ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリント、ＡＣＲ質疑周期を記憶する。
【０４４０】
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６０７。
【０４４１】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに関する第１ＡＣＲ質疑周期を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２６０９。
【０４４２】
この際、ＡＣＲ質疑応答メッセージにはサンプリングウィンドウ意外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図３８と表１４を参照して説明する。
【０４４３】
図３８は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【０４４４】
図３８に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
【０４４５】
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。
【０４４６】
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
【０４４７】
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ質疑のために必要なサンプリングウィンドウの有効時間、位置及びサイズなどを示す。
【０４４８】
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＸ  ｅｌｅｍｅｎｔ、Ｙ  ｅｌｅｍｅｎｔ、ｗｉｄｔｈ  ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ  ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセル（ｐｉｘｅｌ）である。Ｘ  ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｘ座標である。Ｙ  ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｙ座標である。ｗｉｄｔｈ  ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ  ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
【０４４９】
また、図３８のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＶａｌｉｄＦｒｏｍ  ｅｌｅｍｅｎｔ、ＶａｌｉｄＴｏ  ｅｌｅｍｅｎｔを含む。ＶａｌｉｄＦｒｏｍ  ｅｌｅｍｅｎｔはサンプリングウィンドウの有効開始時点の時間である。ＶａｌｉｄＴｏ  ｅｌｅｍｅｎｔはサンプリングウィンドウの有効終了時点の時間である。映像表示装置１００はサンプリングウィンドウの有効時間、即ちサンプリングウィンドウのサンプリング有効開始時間からサンプリングウィンドウの有効終了時点に至る時間に該当サンプリングウィンドウを利用する。
【０４５０】
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
【０４５１】
表１４は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ  Ｓｃｈｅｍａを示す。
【０４５２】
【表１４】
0006290935.tif 000017
【０４５３】
更に、図３７を説明する。
【０４５４】
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２６１１。
【０４５５】
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２６０９で受信されたＡＣＲ質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
【０４５６】
フィンガープリントサーバ２２は図面符号Ｓ２６１１で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、この識別したプログラムに対する第２サンプリングウィンドウを含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２６１３。
【０４５７】
この際、プログラムが同一であるか否か、プログラムの字幕情報有無、字幕情報位置が変更されたか否かなどに応じて第１サンプリングウィンドウと第２サンプリングウィンドウのＳａｍｐｌｉｎｇＷｉｎｄｏｗ  ｅｌｅｍｅｎｔが同じであるかまたは互いに異なり得る。
【０４５８】
一方、コンテンツを識別するためにフィンガープリントを利用する場合、映像表示装置１００に伝送されるプログラム映像に該当コンテンツには含まれていないオンスクリーンディスプレー（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ，ＯＳＤ）がオーバーレイされると、ビデオフィンガープリントアルゴリズムに従ってコンテンツの識別に失敗する可能性がある。オンスクリーンディスプレーはメニュ、電子プログラムガイド（ＥＰＧ，Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）、チャネルバー、ウィジェットなどを含む。オンスクリーンディスプレーはコンテンツ提供サーバ１０とフィンガープリントサーバ２２を除いた事業者から提供される情報を意味する。以下では事業者はＭＶＰＤ事業者３０または放送受信装置６０のようにコンテンツ提供サーバ１０とフィンガープリントサーバ２２の除いた事業者を意味する。このようなオンスクリーンディスプレーなどによって上述したｆａｌｓｅ  ｐｏｓｉｔｉｖｅが発生する。
【０４５９】
次に、ｆａｌｓｅ  ｐｏｓｉｔｉｖｅなどの発生を防止するために映像表示装置１００と連結されたＭＶＰＤ３０事業者などを推定し、推定されたＭＶＰＤ３０事業者のＧＵＩ特性情報に応じてサンプリングウィンドウを指定する方法を図３９乃至図４０を参照して説明する。
【０４６０】
図３９は、本発明の他の実施例によるフィンガープリント基盤のネットワークトポロジー内のコンテンツを認識するためのデータの流れを示すラダーダイアブラムである。
【０４６１】
まず、放送局／ＣＰのようなコンテンツ提供サーバ１０はコンテンツのフィンガープリントを抽出するＳ２７０１。
【０４６２】
放送局／ＣＰはＡＣＲ事業者が提供するｔｏｏｌを使用してプログラムのフィンガープリントを抽出し、該当プログラムのコンテンツＩＤ、タイプスタンプなどを抽出したフィンガープリントと共に記憶する。
【０４６３】
次に、コンテンツ提供サーバ１０はフィンガープリント２２に抽出されたフィンガープリントを伝送するＳ２７０３。この際、コンテンツ提供サーバ１０は該当プログラムに関するコンテンツＩＤをフィンガープリントとマッピングして伝達する。
【０４６４】
コンテンツ提供サーバ１０はプログラムが放送として送出される前またはフィンガープリントの抽出と同時にフィンガープリント及びサンプリングウィンドウを伝送する。例えば、放送局／ＣＰは事前に製作されたプログラムに関するフィンガープリントを該当プログラムが放送として放出される前にフィンガープリントサーバ２２に伝送する。または、放送局／ＣＰはライブプログラムが放送されている場合、リアルタイムで該当ライブプログラムに関するフィンガープリントを抽出し、抽出されたフィンガープリントをフィンガープリントサーバ２２に伝送してもよい。
【０４６５】
フィンガープリントサーバ２２は受信されたフィンガープリントを記憶するＳ２７０５。フィンガープリントサーバ２２はＡＣＲ  ＤＢに放送局から伝送された該当プログラムのコンテンツＩＤ、タイムスタンプ、フィンガープリントを記憶する。
【０４６６】
また、フィンガープリントサーバ２２はコンテンツ提供サーバ１０から事業者別ＧＵＩ特性情報を獲得するＳ２７０７。ＧＵＩ特性情報はオンスクリーンディスプレーに対する位置、サイズ、形態などに関する情報を意味する。ＧＵＩ特性情報は放送局から提供されてもよく、第三の事業者から伝達されてもよく、ＡＣＲ事業者が直接把握してもよい。
【０４６７】
次に、映像表示装置１００はメイン視聴覚コンテンツの一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７０９。
【０４６８】
フィンガープリントサーバ２２はＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別するＳ２７１１。
【０４６９】
フィンガープリントサーバ２２はフィンガープリントにマッチングされるプログラムがない場合、映像表示装置１００が伝送したフィンガープリントのうちから失敗したフィンガープリントリストを分析してオンスクリーンディスプレーを提供した事業者を推定するＳ２７１３。フィンガープリントサーバ２２は失敗したフィンガープリントリストを分析して事業者別ＧＵＩ特性情報を比較した結果、該当音スクリーンディスプレーを提供した事業者を推定する。
【０４７０】
また、フィンガープリントサーバ２２は推定された事業者のＧＵＩ特性情報を検索し、検索されたＧＵＩ特性情報によるサンプリングウィンドウを生成するＳ２７１５。
【０４７１】
次に、フィンガープリントサーバ２２は認識失敗及び生成されたサンプリングウィンドウが含まれたＡＣＲ質疑要求メッセージを映像表示装置１００に伝送するＳ２７１７。
【０４７２】
この際、ＡＣＲ質疑応答メッセージには認識失敗及びサンプリングウィンドウ以外にも多様な種類のコンテンツ情報が含まれる。以下、ＡＣＲ質疑応答メッセージに含まれた該当プログラムのコンテンツ情報の例を図４０と表１５を参照して説明する。
【０４７３】
図４０は、本発明の他の実施例による質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅのＸＭＬスキーマダイアグラムである。
【０４７４】
図４０に示したように、質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔｔｙｐｅはＲｅｓｕｌｔＣｏｄｅ属性とＣｏｎｔｅｎｔＩＤ、ＮＴＰＴｉｍｅｓｔａｍｐ、ＳａｍｐｌｉｎｇＷｉｎｄｏｗ、Ｃｏｎｆｉｄｅｎｃｅエレメントを有する。
【０４７５】
例えば、ＲｅｓｕｌｔＣｏｄｅ属性が２００の値を有すると、これは質疑結果が成功であることを意味する。ＲｅｓｕｌｔＣｏｄｅ属性が４０４の値を有すると、これは質疑結果が失敗であることを意味する。図３９の図面符号Ｓ２７１７で伝送されるＡＣＲ質疑応答メッセージに含まれたＲｅｓｕｌｔＣｏｄｅ属性は４０４の値を有する。
【０４７６】
ＮＴＰＴｉｍｅｓｔａｍｐエレメントはフィンガープリントが抽出された区間の開始時間、終了時間のうち一つ以上を含む。
【０４７７】
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＡＣＲ質疑のために必要なサンプリングウィンドウの位置及びサイズなどを示す。
【０４７８】
ＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはＸ  ｅｌｅｍｅｎｔ、Ｙ  ｅｌｅｍｅｎｔ、ｗｉｄｔｈ  ｅｌｅｍｅｎｔ、ｈｅｉｇｈｔ  ｅｌｅｍｅｎｔを含み、各ｅｌｅｍｅｎｔの単位はピクセルである。Ｘ  ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｘ座標である。Ｙ  ｅｌｅｍｅｎｔはサンプリングウィンドウの左側上端のｙ座標である。ｗｉｄｔｈ  ｅｌｅｍｅｎｔはサンプリングウィンドウの幅である。ｈｅｉｇｈｔ  ｅｌｅｍｅｎｔはサンプリングウィンドウの高さである。
【０４７９】
また、図４０のＳａｍｐｌｉｎｇＷｉｎｄｏｗエレメントはｇｕｉＴｙｐｅ  ｅｌｅｍｅｎｔを含む。ｇｕｉＴｙｐｅ  ｅｌｅｍｅｎｔはメニュ、電子プログラムガイドなどのオンスクリーンディスプレーのＧＵＩタイプを文字列に表示する。この際、該当コンテンツはｇｕｉＴｙｐｅ  ｅｌｅｍｅｎｔに応じて互いに異なる複数のサンプリングウィンドウを有する。
【０４８０】
Ｃｏｎｆｉｄｅｎｃｅエレメントはコンテンツ認識の正確度を示す。Ｃｏｎｆｉｄｅｎｃｅエレメントはマッピングの程度に応じて０乃至１００のうちいずれか一つの値を有する。例えば、フィンガープリントがプログラムに正確にマッピングされたと確認される場合、Ｃｏｎｆｉｄｅｎｃｅエレメントは１００の値を有する。
【０４８１】
表１５は、このような質疑結果を保持するＡＣＲ−ＲｅｓｕｌｔＴｙｐｅのＸＭＬ  Ｓｃｈｅｍａを示す。
【０４８２】
【表１５】
0006290935.tif 000018
【０４８３】
更に、図３９を説明する。
【０４８４】
次に、映像表示装置１００はメイン視聴覚コンテンツの他の一部のフレームまたは一部区間のオーディオサンプルからフィンガープリントを抽出し、抽出したフィンガープリントを含むＡＣＲ質疑要求メッセージをＡＣＲサーバに当たるフィンガープリントサーバ２２に伝送するＳ２７１９。
【０４８５】
この際、映像表示装置１００が抽出したフィンガープリントは図面符号Ｓ２７１７で受信されたＡＣＲ質疑応答メッセージに含まれたサンプリングウィンドウによるフィンガープリントである。
【０４８６】
フィンガープリントサーバ２２は図面符号Ｓ２７１９で受信されたＡＣＲ質疑要求メッセージ内のフィンガープリントをＡＣＲ  ＤＢから照会してフィンガープリントに当たるプログラムを識別し、認識成功を含むＡＣＲ質疑応答メッセージを映像表示装置１００に提供するＳ２７２１。
【０４８７】
各コンテンツごとにコンテンツの特性が異なり得る。それによってコンテンツごとにコンテンツを効率的に認識するための情報タイプが異なり得る。例えばニュースコンテンツの場合、各放送局は同じ資料映像に基づいて資料映像を説明するオーディオを異なるようにして放送する。また、スポーツコンテンツの場合、放送局は同じ映像に基づいてスポーツ解説のみを異なるようにして放送する。よって、ニュースコンテンツとスポーツコンテンツの場合、映像表示装置のオーディオ特徴情報に基づいてコンテンツを認識することが効率的である。また、映画コンテンツの場合複数のオーディオトラックを含み、同じ映画であってもオーディオトラックの選択に応じてオーディオ特徴情報が異なり得る。よって、映画コンテンツの場合、映像表示装置がビデオ特徴情報に基づいてコンテンツを認識することが効率的である。よって、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置が必要である。特に、このような問題点はコンテンツの種類が異なる場合に発生するためコンテンツのジャンルに基づいて特徴情報タイプを決定する必要がある。
【０４８８】
図４１乃至図４６を介して、各コンテンツ別にコンテンツを効率的に認識するための特徴情報を決定する映像表示装置を説明する。
【０４８９】
図４１は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。
【０４９０】
本発明の実施例によるネットワークトポロジーは映像表示装置１００、コンテンツ認識サービス提供サーバ２０及び第三者サーバ９０を含む。
【０４９１】
映像表示装置１００は外部入力から獲得した非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特定情報を抽出する。この際、映像表示装置１００は第１特定情報タイプ（ｔｙｐｅ）に基づいて非圧縮ビデオ及び非圧縮オーディを農地いずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置１００は特徴情報に基づいて第１ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。映像表示装置１００はコンテンツ認識提供サーバ２０から第１ＡＣＲ質疑要求メッセージに対する第１ＡＣＲ質疑応答メッセージを受信する。この際、第１ＡＣＲ質疑応答メッセージはコンテンツ情報を含む。コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図３３または図３８の実施例のような形態である。映像表示装置１００は第１ＡＣＲ質疑応答メッセージに基づいて第２特徴情報タイプを決定する。詳しくは、映像表示装置１００は第１応答メッセージからコンテンツ識別子を抽出する。映像表示装置１００はコンテンツ識別子に基づいてコンテンツのジャンルを獲得する。詳しくは、映像表示装置１００はコンテンツ識別子に基づく質疑要求メッセージを第三者サーバ９０に伝送する。映像表示装置１００はお勧めの特徴情報タイプに基づく質疑応答メッセージを第三者サーバ９０から受信する。映像表示装置１００は第２特徴情報タイプに基づいて第２特徴情報タイプを決定する。映像表示装置１００は第２特徴情報タイプに基づいて非圧縮ビデオ及び非圧縮オーディオのうち少なくともいずれか一つを含む放送コンテンツから特徴情報を抽出する。映像表示装置１００は第２特徴情報タイプに基づいて第２ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。詳しくは、映像表示装置１００は第２特徴情報タイプに当たる特徴情報を含む第２ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。映像表示装置１００はコンテンツ認識サービス提供サーバ２０から第２ＡＣＲ質疑応答メッセージを受信する。
【０４９２】
コンテンツ認識サービス提供サーバ２０はコンテンツの特徴情報を含む。コンテンツ認識サービス提供サーバ２０は映像表示装置１００にＡＣＲ質疑要求メッセージを受信する。コンテンツ認識サービス提供サーバ２０はコンテンツ特徴情報に基づいてＡＣＲ質疑応答メッセージを伝送する。詳しくは、コンテンツ認識提供サーバ２０は映像表示装置１００にコンテンツ情報を含むＡＣＲ質疑応答メッセージを伝送する。
【０４９３】
第三者サーバ９０は映像表示装置１００からコンテンツ識別子に基づく質疑要求メッセージを受信する。詳しくは、第三者サーバはコンテンツ識別子を含む質疑要求メッセージを受信する。第三者サーバ９０は映像表示装置１００にお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。第三者サーバ９０は映像表示装置１００にお勧めの特徴情報タイプを含む質疑応答メッセージを伝送する。
【０４９４】
映像表示装置１００、コンテンツ認識サービス提供サーバ２０及び第三者サーバ９０の具体的な動作は図４２を介して詳しく説明する。
【０４９５】
図４２は、本発明の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。
【０４９６】
映像表示装置１００は電源がオンされて動作を開始するＳ２８０１。映像表示装置１００は外部入力端子を介して非圧縮視聴覚コンテンツを獲得する。この際、非圧縮視聴覚コンテンツは非圧縮オーディオ及び非圧縮ビデオのうち少なくともいずれか一つを含む。映像表示装置１００は非圧縮視聴覚コンテンツをディスプレー部１２１を介して表示する。
【０４９７】
映像表示装置１００は第１特徴情報タイプに基づいて第１ＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送するＳ２８０３。詳しくは、映像表示装置１００は外部入力を介して入力された非圧縮視聴覚コンテンツから第１特徴情報のタイプに当たる特徴情報を抽出し、特徴情報を含むＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。この際、第１特徴情報タイプはデフォルト特徴情報タイプである。
【０４９８】
コンテンツ認識サービス提供サーバ２０は第１ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送するＳ２８０５。詳しくは、コンテンツ認識サービス提供サーバ２０はコンテンツ情報を含む第１ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイムスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。この際、コンテンツ情報は図３３または図３８の実施例のような形態である。
【０４９９】
映像表示装置１００はコンテンツ識別子に基づいて質疑要求メッセージを第三者サーバ９０に伝送するＳ２８０７。詳しくは、映像表示装置１００はコンテンツ識別子を含む質疑要求メッセージを第三者サーバ９０に伝送する。
【０５００】
映像表示装置１００はコンテンツ識別子に基づいてコンテンツのジャンル及び第２特徴情報タイプのうち少なくともいずれか一つを獲得する。
【０５０１】
第三者サーバ９０はコンテンツのお勧めの特徴情報タイプに基づいて質疑応答メッセージを映像表示装置１００に伝送するＳ２８０９。詳しくは、第三者サーバ９０はお勧めの特徴情報タイプを含む質疑応答メッセージを映像表示装置１００に伝送する。具体的な実施例において、第三者サーバ９０はコンテンツ飲めたデータを含む。第三者サーバ９０はコンテンツ識別子に当たるコンテンツのメタデータからコンテンツのジャンルを抽出する。
【０５０２】
この際、コンテンツ識別子はＴＭＳ  ｉｄである。ＴＭＳはコンテンツに関するメタデータを提供するサービス提供会社である。多くの放送局と放送受信機会社はＴＭＳが提供する放送データを利用して付加サービスを提供する。特に、放送事業者と放送受信機会社はＴＭＳ  ｉｄを利用してＥＰＧサービスを提供する。ＴＭＳ  ｉｄはＴＭＳがコンテンツを識別するために使用する識別子である。複数のコンテンツのＴＭＳ  ｉｄが同じであれば放送受信機または映像表示装置は複数のコンテンツが同じであると判断する。詳しくは、第三者サーバ９０はＴＭＳ  ｉｄに基づいてＴＭＳが提供するＴＭＳデータからコンテンツのジャンルを獲得する。他の具体的な実施例において、コンテンツ識別子はＣＲＩＤ（Ｃｏｎｔｅｎｔｓ  Ｒｅｆｅｒｅｎｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）である。ＣＲＩＤはＴＶ−Ａｎｙｔｉｍｅで定義したコンテンツ識別子であって、一部国家の放送局と放送受信機会社がＥＰＧサービス及び予約録画サービスとしてこれを使用している。詳しくは、第三者サーバ９０はＣＲＩＤに基づいてＥＰＧデータからコンテンツのジャンルを獲得する。この際、ＥＰＧデータはＥＩＴである。また、詳しくは、ＥＰＧデータはＡＴＳＣ標準で定義するジャンルディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）である。また、ＥＰＧデータはＤＶＢ標準で定義するコンテンツディスクリプタである。
【０５０３】
具体的な実施例によっては、第三者サーバ９０はコンテンツジャンルに基づいて映像表示装置１００の第２特徴情報の決定の基礎となるお勧めの特徴情報タイプを決定する。詳しくは、第三者サーバ９０は以下のような表を参照してお勧めの特徴情報タイプを決定する。
【０５０４】
【表１６】
0006290935.tif 000019
【０５０５】
例えば、コンテンツジャンルがニュースまたはスポーツであれば、第三者サーバ９０はお勧めの特徴情報タイプをオーディオ特徴情報に決定する。例えば、コンテンツジャンルが音楽またはドキュメンタリであれば、第三者サーバ９０はお勧めの特徴情報タイプをビデオ特徴情報に決定する。例えば、コンテンツジャンルがドラマであれば、第三者サーバ９０はお勧めの特徴情報タイプをオーディオ特徴情報とビデオ特徴情報の両方を含むと決定する。第三者サーバ９０はお勧めの特徴情報タイプに基づいて質疑応答メッセージを伝送する。このように決定されたお勧めの特徴情報タイプを介して映像表示装置１００は各コンテンツ別にコンテンツを効率的に認識する。他の具体的な実施例において、第三者サーバ９０は特徴情報タイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置１００に伝送する。それについては図４４乃至図４５を介して説明する。
【０５０６】
映像表示装置１００はお勧めの特徴情報、特徴情報に抽出に関する契約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定するＳ２８１１。コンテンツ認識サービス提供サーバ２０及びｍａｔｃｈｉｎｇアルゴリズムなどは共通に使用されるが、映像表示装置１００の場合、製造会社ごとにハードウェアに差がある。よって、映像表示装置１００は製造段階でオーディ特徴情報及びビデオ特徴情報のためのハードウェア的制約事項を有する。また、映像表示装置１００が動作する途中、特徴情報の抽出ではなく他の機能がオーディオドライバまたはビデオドライバなどを使用する際、映像表示装置１００はオーディオ特徴情報またはビデオ特徴情報を一時的に抽出できない可能性がある。よって、このような場合に備えて映像表示装置１００は映像表示装置１００の特徴情報の抽出に関する制約事項に基づいて第２特徴情報タイプを決定する。具体的な実施例において、お勧めの特徴情報タイプに当たる特徴情報を抽出することができない場合、映像表示装置１００は特徴情報を抽出可能な特徴情報タイプとして第２特徴情報タイプを決定する。例えば、現在映像表示装置１００のビデオドライバが全て使用中であるためビデオ特徴情報を抽出することができず、お勧めの特徴情報タイプがビデオ特徴情報を示す場合、映像表示装置１００は第２特徴情報タイプをオーディオ特徴情報に決定する。
【０５０７】
第２特徴情報タイプがオーディオ特徴情報であるが、コンテンツに無音があるかＢＧＭのように一般的な音声情報のみでは表現される区間が長い場合、映像表示装置１００はオーディオ特徴情報に基づいたコンテンツ認識に失敗する可能性がある。また、第２特徴情報タイプがビデオ特徴情報と指定されているが、静止画像のようにコンテンツのフレーム間の差が殆どない場合、映像表示装置１００はコンテンツの認識に失敗する可能性がある。それを防ぐために、他の具体的な実施例において、映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。それについては図４３を参照して説明する。図４３は、本発明の実施例によって映像表示装置がコンテンツ認識正確度に基づいて特徴情報タイプを変更することを示す順序図である。
【０５０８】
映像表示装置１００は、第１ＡＣＲ質疑応答メッセージに基づいてコンテンツ認識の正確度を抽出するＳ２８５１。具体的な実施例において、第１ＡＣＲ質疑応答メッセージはコンテンツ認識の正確度を含む。具体的に上述したように、ｃｏｎｆｉｄｅｎｃｅエレメントの形態に含む。
【０５０９】
映像表示装置１００はコンテンツ認識の正確度が予め設定された認識基準値より小さいか否かを判断するＳ２８５３。この際、予め設定された認識基準値はユーザ入力に基づいて変更される。
【０５１０】
コンテンツ認識の正確度が予め設定された認識基準値より小さければ、映像表示装置１００は第２特徴情報タイプを第１特徴情報タイプとは異なるタイプと決定するＳ２８５５。例えば、第１特徴情報タイプがビデオ特徴情報タイプで、コンテンツ認識の正確度が６０％で、予め設定された認識基準値が７０%である場合、映像表示装置１００は第２特徴情報タイプをオーディオ特徴情報タイプと決定する。
【０５１１】
特徴情報の抽出に関する制約事項及びコンテンツ認識の正確度のうち少なくともいずれか一つに基づいて特徴情報タイプを決定する動作は、第２ＡＣＲ質疑要求メッセージ伝送の後にＡＣＲ質疑要求メッセージを伝送しＡＣＲ質疑応答メッセージを受信する過程のうち繰り返し行われる。
【０５１２】
映像表示装置１００は、第２特徴情報タイプに基づいて第２ＡＣＲ質疑要求メッセージを伝送するＳ２８１３。詳しくは、映像表示装置１００は外部入力を介して入力された非圧縮視聴覚コンテンツから第２特徴情報タイプに当たる特徴情報を抽出し、特徴情報を含むＡＣＲ質疑要求メッセージをコンテンツ認識サービス提供サーバ２０に伝送する。
【０５１３】
コンテンツ認識サービス提供サーバ２０は第２ＡＣＲ質疑応答メッセージを伝送するＳ２８１５。詳しくは、コンテンツ認識サービス提供サーバ２０はコンテンツ情報を含む第２ＡＣＲ質疑応答メッセージを映像表示装置１００に伝送する。この際、コンテンツ情報はコンテンツのためのリーンバックアプリケーションのＵＲＬ、コンテンツ識別子、コンテンツのタイプスタンプ及びコンテンツ認識の正確度のうち少なくともいずれか一つを含む。
【０５１４】
この際、コンテンツ認識サービス提供サーバ２０は第２特徴情報タイプとコンテンツ情報を一緒に伝送する。特に、第２特徴情報タイプをコンテンツ認識サービス提供サーバ２０が支援しない場合、コンテンツ認識サービス提供サーバ２０はコンテンツ認識サービス提供サーバ２０が支援する特徴情報としてお勧めの特徴情報タイプで伝送する。次に、コンテンツ認識サービス提供サーバ２０はお勧めの特徴情報タイプとコンテンツ情報を一緒に伝送する。例えば、第２特徴情報タイプがオーディオ特徴情報であるがコンテンツ認識サービス提供サーバ２０がオーディオ特徴情報を支援しない場合、コンテンツ認識サービス提供サーバ２０はビデオ特徴情報をお勧めの特徴情報として伝送する。
【０５１５】
図４４乃至図４５を介し、第三者サーバ９０は特徴情報のタイプを決定せずにコンテンツのジャンルに基づいて質疑応答メッセージを映像表示装置１００に伝送することを説明する。
【０５１６】
図４４は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すためのネットワークトポロジーを示す図である。図４４の実施例は図４１の実施例と他の構成は全て同じであるが、映像表示装置１００がお勧めの特徴情報を第三者サーバ９０から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ９０から受信することが異なる。よって、同じ構成と動作については説明を省略する。
【０５１７】
映像表示装置１００は第三者サーバ９０からコンテンツジャンルを受信する。映像表示装置１００はコンテンツジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定する。映像表示装置１００は図４１乃至図４２の実施例の第三者サーバ９０がお勧めの特徴情報タイプを決定するようにコンテンツジャンルに応じて第２特徴情報タイプを決定する。また、図４１乃至図４２の実施例のように映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。また、映像表示装置１００は映像表示装置の特徴情報抽出の制約に基づいて第２特徴情報タイプを決定する。
【０５１８】
第三者サーバ９０はコンテンツのジャンルに基づいて第１ＡＣＲ質疑応答メッセージを伝送する。詳しくは、第三者サーバ９０はコンテンツのジャンルを含む第１ＡＣＲ質疑応答メッセージを伝送する。
【０５１９】
図４５は、本発明の他の実施例によって映像表示装置が特徴情報タイプを決定することを示すラダーダイアグラムである。図４５の実施例は図４２の実施例と他のところは全て同じであるが、映像表示装置１００がお勧めの特徴情報を第三者サーバ９０から獲得せずにコンテンツのジャンルに基づいた質疑応答メッセージを第三者サーバ９０から受信することが異なる。よって、同じ構成と動作については説明を省略する。
【０５２０】
第三者サーバ９０はコンテンツのジャンルに基づいて質疑応答メッセージを伝送するＳ２９０９。詳しくは、第三者サーバ９０はコンテンツのジャンルを含む質疑応答メッセージを伝送する。
【０５２１】
映像表示装置１００はコンテンツのジャンル、コンテンツ認識の正確度及び映像表示装置の特徴情報抽出の制約のうち少なくともいずれか一つに基づいて第２特徴情報タイプを決定するＳ２９１１。映像表示装置１００は図４１乃至図４２の実施例の第三者サーバ９０がお勧めの特徴情報タイプを決定するようにコンテンツのジャンルに応じて第２特徴情報タイプを決定する。また、図４１乃至図４２の実施例のように映像表示装置１００はコンテンツ認識の正確度に基づいて第２特徴情報タイプを決定する。また、映像表示装置１００は映像表示装置の特徴情報抽出の制約に基づいて決定した第２特徴情報タイプを決定する。
【０５２２】
図４６は、本発明の実施例による映像表示装置の概念図である。
【０５２３】
図４６に示したように、本発明の実施例による概念図の映像表示装置１００はオーディオ／ビデオドライバ（Ａｕｄｉｏ／Ｖｉｄｅｏ  ｄｒｉｖｅｒ）６０１、ＡＣＲエンジン６０３、ＡＣＲミドルウェア６０５、ＡＣＲユーザインタフェース６０７、ＡＣＲプラグイン（Ｐｌｕｇｉｎ）６０９を含む。
【０５２４】
オーディオ／ビデオドライバ６０１やＴＶの外部入力に入力されるオーディオ／ビデオ信号をキャプチャしてＡＣＲエンジン６０３に伝達する。オーディオ／ビデオドライバ６０１はＡＣＲエンジン６０３がオーディオ／ビデオバッファに接近するようにＡＰＩを提供してもよい。オーディオ／ビデオドライバ６０１はＨＤＭＩのような外部入力に入力されるオーディオ／ビデオ特性情報を共に提供する。例えば、オーディオ／ビデオドライバ６０１はオーディオの場合にはｓａｍｐｌｅ  ｄｅｐｔｈ、ｓａｍｐｌｉｎｇ  ｒａｔｅ、ｃｈａｎｎｅｌの数（ｍｏｎｏ／ｓｔｅｒｅｏなど）、ｓａｍｐｌｅの数、ｓａｍｐｌｅ時間などの情報を提供する。ビデオの場合にはオーディオ／ビデオドライバ６０１はｖｉｄｅｏ  ｆｏｒｍａｔ、ｉｎｐｕｔ  ｖｉｄｅｏのｗｉｄｔｈ、ｈｅｉｇｈｔ、ｓｔｒｉｄｅ、ｓｔｒｅａｍ時間、ｉｎｐｕｔ  ｔｙｐｅ（ＨＤＭＩ１、ＨＤＭＩ２、Ｃｏｍｐｏｓｉｔｅ、ｃｏｍｐｏｎｅｎｔなど）、秒当たりのｆｒａｍｅの数などの情報を提供する。
【０５２５】
ＡＣＲエンジン６０３は別途のｐｒｏｃｅｓｓで実行されるが、上述した多用な方式を利用してプログラムを認識する。ＡＣＲエンジン６０３はＡｕｄｉｐ／Ｖｉｄｅｏサンプルからシグネチャを抽出し、抽出したシグネチャをＡＣＲサーバに伝達してコンテンツを認識する。上述したように、ＡＣＲエンジン６０３はフラットフォームの具現に応じてＡｕｄｉｏ／Ｖｉｄｅｏバッファに接近可能なＡＰＩを呼び出してもよく、オーディオ／ビデオドライバ６０１がキャプチャしたオーディオ／ビデオストリームをｓｏｃｋｅｔのような方法を介してＡＣＲ  ｐｒｏｃｅｓｓに伝達してもよい。ＡＣＲエンジン６０３はＡＣＲサーバにシグネチャと共にＡＣＲ質疑要求を伝送してｃｏｎｔｅｎｔ認識に成功したか否か、Ｃｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐ、ｌｅａｎｂａｃｋ  ａｐｐ  ＵＲＬ、放送局サーバＵＲＬプロモーションアプリケーションＵＲＬ、コンテンツ通知アプリケーションＵＲＬなどを含むＡＣＲ  ｑｕｅｒｙ  ｒｅｓｐｏｎｓｅをＡＣＲサーバから受信する。ＡＣＲエンジン６０３はＡＣＲサーバから伝達された結果をＡＣＲミドルウェア６０５に伝達する。
【０５２６】
ＡＣＲミドルウェア６０５はＤＴＶ  ｐｒｏｃｅｓｓのミドルウェアに当たるモジュールであり、ＡＣＲ制御を処理してＡＣＲエンジン６０３からのＡＣＲ質疑応答を処理する。ＡＣＲミドルウェア６０５はＡＣＲプロセスを実行するか終了するかＡＣＲエンジン６０３を開始するか中断することでＡＣＥを制御する。また、ＡＣＲミドルウェア６０５はＡＣＥ質疑応答をパーシングしてＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどの値も記憶している。ＡＣＲミドルウェア６０５は記憶された値をＡＣＲ  ＵＩに伝送するようにＡＰＩを提供するかｍｅｓｓａｇｅ  ｑｕｅｕｅ、ｇｌｏｂａｌ変数などの方法を介してＡＣＲユーザインタフェース６０７に伝達する。また、ＡＣＲミドルウェア６０５はＬｉｖｅ＋アプリケーションやリーンバックアプリケーションのようなＡＣＲアプリケーションにＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータを伝達するためにｓｈａｒｅｄ  ｍｅｍｏｒｙ、ｓｏｃｋｅｔなどのＩＰＣ（Ｉｎｔｅｒ−Ｐｒｏｃｅｓｓ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を介してＷｅｂブラウザに伝達する。
【０５２７】
ＡＣＲユーザインタフェース（ＡＣＲ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ，ＡＣＲ  ＵＩ）６０７はユーザにＡＣＲ  Ｏｎ／ＯｆｆのようなＡＣＲを制御するＵＩを表出するか、認識されたプログラム名及び時間のような情報をＴＶの状態バーＵＩからユーザに示す。
【０５２８】
ＡＣＲミドルウェア６０５がＡＣＲアプリケーションに伝達するためのＣｏｎｔｅｎｔ  ＩＤ、Ｇｌｏｂａｌ  Ｃｏｎｔｅｎｔ  ＩＤ、ｔｉｍｅｓｔａｍｐなどのようなデータをブラウザに伝達すると、ＡＣＲプラグイン６０９はこのような値を伝達される。ＡＣＲプラグイン６０９はＰｌｕｇｉｎ  Ｏｂｊｅｃｔ  Ｉｎｔｅｒｆａｃｅを介してＡＣＲアプリケーションに該当値を伝達する。
【０５２９】
実施例によって、第三者サーバ９０は上述したようにｃｏｎｔｅｎｔｓのメタデータを含む。また、第三者サーバ９０はＡＣＲ設定情報を含む。第三者サーバ９０はコンテンツのジャンル及びお勧めの特徴情報タイプのうち少なくともいずれか一つを映像表示装置１００に伝送する。詳しい動作方法は上述したため、それについては省略する。
【０５３０】
次に、図４７乃至図４８を介して本発明の多様な実施例による映像表示装置の構造を説明する。
【０５３１】
図４７は、本発明の他の実施例によるフィンガープリント基盤の映像表示装置の構造を示すブロック図である。
【０５３２】
図４７において、Ｔｕｎｅｒ５０１はａｉｒチャネルを介して伝送される８−ＶＳＢ  ＲＦシングからＳｙｍｂｏｌを抽出する。
【０５３３】
８−ＶＳＤ  Ｄｅｍｏｄｕｌａｔｏｒ５０３はＴｕｎｅｒ５０１が抽出した８−ＶＳＤ  Ｓｙｍｂｏｌを復調し、意味のあるデジタルデータを復元する。
【０５３４】
ＶＳＢ  Ｄｅｃｏｄｅｒ５０５は８−ＶＳＤ  Ｄｅｍｏｄｕｌａｔｏｒ５０３が復元したデジタルデータを復号し、ＡＴＳＣメインサービスとＡＴＳＣ  Ｍ／Ｈサービスを復元する。
【０５３５】
ＭＰＥＧ−２  ＴＰ  Ｄｅｍｕｘ５０７は８−ＶＳＤ信号を介して伝送されるＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  ＰａｃｋｅｔまたはＰＶＲ  Ｓｔｏｒａｇｅに記憶されたＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｐａｃｋｅｔのうちから映像表示装置１００が処理しようとするＴｒａｎｓｐｏｒｔ  Ｐａｃｋｅｔをフィルタリングし、適切な処理モジュールに中継する。
【０５３６】
ＰＥＳデコーダ５３９はＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍを介して伝送されたＰａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｔｒａｒｙ  ＳｔｒｅａｍをＢｅｆｆｅｒｉｎｇし復元する。
【０５３７】
ＰＳＩ／ＰＳＩＰデコーダ５４１はＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ  Ｓｅｃｔｉｏｎ  ＤａｔａをＢｅｆｆｕｒｉｎｇし分析する。分析されたＰＳＩ／ＰＳＩＰデータはＳｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）によって収集され、Ｓｅｒｖｉｃｅ  Ｍａｐ及びＧｕｉｄｅ  ｄａｔａの形態にＤＢに記憶される。
【０５３８】
ＤＳＭＣＣ  Ｓｅｃｔｉｏｎ  Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１１はＭＰＥＧ−２  ＴＰを介して伝送されるファイルの伝送及びＩＰ  Ｄａｔａｇｒａｍ  ｅｎｃａｐｓｕｌａｔｉｏｎなどのためのＤＳＭＣＣ  Ｓｅｃｔｉｏｎ  Ｄａｔａをバッファリング（Ｂｅｆｆｅｒｉｎｇ）し処理する。
【０５３９】
ＩＰ／ＵＤＰ  Ｄａｔａｇｒａｍ  Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ  Ｐａｒｓｅｒ５３１はＤＳＭＣＣ  Ａｄｄｒｅｓｓａｂｌｅ  ｓｅｃｔｉｏｎを介してｅｎｃａｐｓｕｌａｔｅされてＭＰＥＧ−２  ＴＰを介して伝送されるＩＰ  Ｄａｔａｇｒａｍをバッファリングし復元して各ＤａｔａｇｒａｍのＨｅａｄｅｒを分析する。また、ＩＰ／ＵＤＰ  Ｄａｔａｇｒａｍ  Ｂｕｆｆｅｒ／Ｈｅａｄｅｒ  Ｐａｒｓｅｒ５３１はＩＰ  Ｄａｔａｇｒａｍを介して伝送されるＵＤＰ  ＤａｔａｇｒａｍをＢｕｆｆｅｒｉｎｇ及び復元し、復元されたＵＤＰ  Ｈｅａｄｅｒを分析及び処理する。
【０５４０】
Ｓｔｒｅａｍ  ｃｏｍｐｏｎｅｎｔ  ｈａｎｄｌｅｒ５７７はＥＳ  Ｂｕｆｆｅｒ／ｈａｎｄｌｅｒ、ＰＣＲ  Ｈａｎｄｌｅｒ、ＳＴＣモジュール、Ｄｅｓｃｒａｂｌｅｒ、ＣＡ  Ｓｔｒｅａｍ  Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ、Ｓｅｒｖｉｃｅ  Ｓｉｇｎａｌｉｎｇ  Ｓｅｎｃｉｔｏｎ  Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒを含む。
【０５４１】
ＥＳ  Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＰＥＳ形態に伝送されたＶｉｄｅｏ、ＡｕｄｉｏデータなどのＥｌｅｍｅｎｔａｒｙ  ＳｔｒｅａｍをＢｕｆｆｅｒｉｎｇ及び復元し、適切なＡ／Ｖ  Ｄｅｃｏｄｅｒに伝達する。
【０５４２】
ＰＣＲ  ＨａｎｄｌｅｒはＡｕｄｉｏ及びＶｉｄｅｏ  ＳｔｒｅａｍのＴｉｍｅ  ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎなどのために使用されるＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）  Ｄａｔａを処理する。
【０５４３】
ＳＴＣモジュールはＰＣＲ  Ｈａｎｄｌｅｒを介して伝達されたＲｅｆｅｒｅｎｃｅ  Ｃｌｏｃｋ値を利用し、Ａ／Ｖ  ＤｅｃｏｄｅｒのＣｌｏｃｋ値を補正してＴｉｍｅ  ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎを行う。
【０５４４】
受信されたＩＰ  ＤａｔａｇｒａｍのＰａｙｌｏａｄにＳｃｒａｍｂｌｉｎｇが適用された場合、ＤｅｓｃｒａｍｂｌｅｒはＣＡ  Ｓｔｒｅａｍ  Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ  ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
【０５４５】
ＣＡ  Ｓｔｒｅａｍ  Ｂｕｆｆｅｒ／ＨａｎｄｅｌｒはＭＰＥＧ−２  ＴＳまたはＩＰ  Ｓｔｒｅａｍを介して伝送されるＣｏｎｄｉｔｉｏｎａｌ  Ａｃｃｅｓｓ機能のために伝送されるＥＭＭ、ＥＣＭなどのＤｅｓｃｒａｍｂｌｉｎｇのためのｋｅｙ値などのＤａｔａをＢｕｆｆｅｒｉｎｇ及び処理する。ＣＡ  Ｓｔｒｅａｍ  Ｂｕｆｆｅｒ／ＨａｎｄｅｌｒのＯｕｔｐｕｔはＤｅｓｃｒａｍｂｌｅｒに伝達され、ＤｅｓｃｒａｍｂｌｅｒはＡ／Ｖ  Ｄａｔａ及びＦｉｌｅ  Ｄａｔａなどを伝送するＭＰＥＧ−２  ＴＰまたはＩＰ  Ｄａｔａｇｒａｍの暗号化解除作業を行う。
【０５４６】
Ｓｅｒｖｉｃｅ  Ｓｉｇｎａｌｉｎｇ  Ｂｕｆｆｅｒ／ＨａｎｄｌｅｒはＩＰ  Ｄａｔａｇｒａｍの形態に伝送されるＮＲＴ  Ｓｅｒｖｉｃｅ  Ｓｉｇｎａｌｉｎｇ  Ｃｈａｎｎｅｌ  Ｓｅｃｔｉｏｎ  ＤａｔａをＢｕｆｆｅｒｉｎｇし復元して分析する。Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）は分析されたＮＲＴ  Ｓｅｒｖｉｃｅ  Ｓｉｇｎａｌｉｎｇ  Ｃｈａｎｎｅｌ  Ｓｅｃｔｉｏｎデータを収集し、Ｓｅｒｖｉｃｅ  Ｍａｐ及びＧｕｉｄｅ  ｄａｔａの形態にＤＢに記憶する。
【０５４７】
Ａ／Ｖ  Ｄｅｃｏｄｅｒ５６１はＥＳ  Ｈａｎｄｌｅｒを介して伝達されたＡｕｄｉｏ／Ｖｉｄｅｏデータの圧縮を復号化してユーザにＰｒｅｓｅｎｔａｔｉｏｎする。
【０５４８】
ＭＰＥＧ−２  Ｓｅｒｖｉｃｅ  Ｄｅｍｕｘ（図示せず）はＭＰＥＧ−２  ＴＰ  Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、Ｄｅｓｃｒａｍｂｌｅｒ、ＰＶＲ  Ｓｔｏｒａｇｅモジュールを含む。
【０５４９】
ＭＰＥＧ−２  ＴＰ  Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ（図示せず）は８−ＶＳＢ信号を介して伝送されるＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  ＰａｃｋｅｔをＢｕｆｆｅｒｉｎｇ及び復元し、Ｔｒａｎｓｐｏｒｔ  Ｐａｃｋｅｔ  Ｈｅａｄｅｒを検出及び処理する。
【０５５０】
ＤｅｓｃｒａｍｂｌｅｒはＭＰＥＧ−２  ＴＰのうちＳｃｒａｍｂｌｅが適用されたＰａｃｋｅｔ  ｐａｙｌｏａｄに対し、ＣＡ  Ｓｔｒｅａｍ  Ｈａｎｄｌｅｒから伝達されたＥｎｃｒｙｐｔｉｏｎ  ｋｅｙなどを利用してＰａｙｌｏａｄのデータを復元する。
【０５５１】
ＰＶＲ  Ｓｔｏｒａｇｅモジュールはユーザの要求などに応じて８−ＶＳＢ信号を利用して受信されたＭＰＥＧ−２  ＴＰを記憶し、またユーザの要求によってＭＰＥＧ−２  ＴＰを出力する。ＰＶＲ  ＳｔｏｒａｇｅモジュールはＰＶＲ  Ｍａｎａｇｅｒ（図示せず）によって制御される。
【０５５２】
Ｆｉｌｅ  Ｈａｎｄｌｅｒ５５１はＡＬＣ／ＬＣＴ  Ｂｕｆｆｅｒ／Ｐａｒｓｅｒ、ＦＤＴ  Ｈａｎｄｌｅｒ、ＸＭＬ  Ｐａｒｓｅｒ、Ｆｉｌｅ  Ｒｅｃｏｓｔｒｕｃｔｉｏｎ  Ｂｕｆｆｅｒ、Ｄｅｃｏｍｐｒｅｓｓｏｒ、Ｆｉｌｅ  Ｄｅｃｏｄｅｒ、Ｆｉｌｅ  Ｓｔｏｒａｇｅを含む。
【０５５３】
ＡＬＣ／ＬＣＴ  Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＵＤＰ／ＩＰ  Ｓｔｒｅａｍに伝送されるＡＬＣ／ＬＣＴデータをＢｕｆｆｅｒｉｎｇ及び復元し、ＡＬＣ／ＬＣＴのＨｅａｄｅｒ及びＨｅａｄｅｒ  ｅｘｔｅｎｓｉｏｎを分析する。ＡＬＣ／ＬＣＴ  Ｂｕｆｆｅｒ／ＰａｒｓｅｒはＮＲＴ  Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）によって制御される。
【０５５４】
ＦＤＴ  ＨａｎｄｌｅｒはＡＬＣ／ＬＣＴ  ｓｅｓｓｉｏｎを介して伝送されるＦＬＵＴＥ  ｐｒｏｔｏｃｏｌのＦｉｌｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｔａｂｌｅを分析及び処理する。ＦＤＴ  ＨａｎｄｌｅｒはＮＲＴ  Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）によって制御される。
【０５５５】
ＸＭＬ  ＰａｒｓｅｒはＡＬＣ／ＬＣＴ  ｓｅｓｓｉｏｎを介して伝送されるＸＭＬ  Ｄｏｃｕｍｅｎｔを分析し、ＦＤＴ  Ｈａｎｄｌｅｒ、ＳＧ  Ｈａｎｄｌｅｒなど適切なモジュールに分析されたデータを伝達する。
【０５５６】
Ｆｉｌｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ＢｕｆｆｅｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ  ｓｅｓｓｉｏｎに伝送されるファイルを復元する。
【０５５７】
ＤｅｃｏｍｐｒｅｓｓｏｒはＡＬＣ／ＬＣＴ、ＦＬＵＴＥ  ｓｅｓｓｉｏｎに伝送されるファイルが圧縮されている場合、その圧縮を解除するプロセスを行う。
【０５５８】
Ｆｉｌｅ  ＤｅｃｏｄｅｒはＦｉｌｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｂｕｆｆｅｒで復元されたＦｉｌｅまたはＤｅｃｏｍｐｒｅｓｓｏｒで圧縮解除されたファイル、またはＦｉｌｅ  Ｓｔｏｒａｇｅから抽出されたＦｉｌｅをＤｅｃｏｄｉｎｇする。
【０５５９】
Ｆｉｌｅ  Ｓｔｏｒａｇｅは復元されたファイルを必要に応じて記憶するか抽出する。
【０５６０】
Ｍ／Ｗ  Ｅｎｇｉｎｅ（図示せず）はＤＳＭＣＣ  Ｓｅｃｔｉｏｎ、ＩＰ  Ｄａｔａｇｒａｍなどを介して伝送されるＡ／Ｖ  ＳｔｒｅａｍではないファイルなどのＤａｔａを処理する。Ｍ／Ｗ  Ｅｎｇｉｎｅは処理されたデータをＰｒｅｓｅｎｔａｔｉｏｎ  Ｍａｎａｇｅｒモジュールに伝達する。
【０５６１】
ＳＧ  Ｈａｎｄｌｅｒ（図示せず）はＸＭＬ  Ｄｏｃｕｍｅｎｔの形態に伝送されるＳｅｒｖｉｃｅ  Ｇｕｉｄｅデータを収集し分析してＥＰＧ  Ｍａｎａｇｅｒに伝達するプロセスを行う。
【０５６２】
Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）はＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍを介して伝送されるＰＳＩ／ＰＳＩＰ  Ｄａｔａ、ＩＰ  Ｓｔｒｅａｍに伝送されるＳｅｒｖｉｃｅ  Ｓｉｇｎａｌｉｎｇ  Ｓｅｃｔｉｏｎ  Ｄａｔａを収集し分析してＳｅｒｖｉｃｅ  Ｍａｐを製作する。Ｓｅｒｖｃｉｅ  Ｍａｎａｇｅｒ（図示せず）は製作したＳｅｒｖｉｃｅ  ｍａｐをＳｅｒｖｉｃｅ  Ｍａｐ＆Ｇｕｉｄｅ  Ｄａｔａｂａｓｅに記憶し、ユーザの望みのＳｅｒｖｉｃｅに対するａｃｃｅｓｓを制御する。Ｏｐｅｒａｔｉｏｎ  Ｃｏｎｔｒａｏｌｌｅｒ（図示せず）によって制御され、Ｔｕｎｅｒ５０１、ＭＰＥＧ−２  ＴＰ  Ｄｅｍｕｘ５０７、ＩＰ  Ｄａｔａｇｒａｍ  Ｂｕｆｆｅｒ／Ｈａｎｄｌｅｒ５１３などに関する制御を行う。
【０５６３】
ＮＲＴ  Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）はＩＰ  ｌａｙｅｒ上でＦＬＵＴＥ  ｓｅｓｓｉｏｎを介してｏｂｊｅｃｔ／ｆｉｌｅの形態に伝送されるＮＲＴサービスに関する全般的な管理を行う。ＮＲＴ  Ｓｅｒｖｉｃｅ  Ｍａｎａｇｅｒ（図示せず）はＦＤＴ  Ｈａｎｄｌｅｒ、Ｆｉｌｅ  Ｓｔｏｒａｇｅなどを制御する。
【０５６４】
Ａｐｐｌｉｃａｔｉｏｎ  Ｍａｎａｇｅｒ（図示せず）はＯｂｊｃｅｔ、Ｆｉｌｅなどの形態で伝送されるＡｐｐｌｉｃａｔｉｏｎデータの処理に関する全般的な管理を行う。
【０５６５】
ＵＩ  Ｍａｎａｇｅｒ（図示せず）はＵｓｅｒ  Ｉｎｔｅｒｆａｃｅを介してユーザのＩｎｐｕｔをＯｐｅｒｔｉｏｎ  Ｃｏｎｔｒｏｌｌｅｒに伝達し、ユーザが要求するサービスのためのＰｒｏｃｅｓｓの動作を開始する。
【０５６６】
Ｏｐｅｒｔｉｏｎ  Ｃｏｎｔｒｏｌｌｅｒ（図示せず）はＵＩ  Ｍａｎａｇｅｒを介して伝達されたユーザのＣｏｍｍａｎｄを処理し、必要なモジュールのＭａｎａｇｅｒが該当Ａｃｔｉｏｎを行うようにする。
【０５６７】
Ｆｉｎｇｅｒｐｒｉｎｔ  Ｅｘｔｒａｃｔｏｒ５６５はＡｕｄｉｏ／Ｖｉｄｅｏストリームからｆｉｎｇｅｒｐｒｉｎｔ特徴情報を抽出する。
【０５６８】
Ｆｉｎｇｅｒｐｒｉｎｔ  Ｃｏｍｐａｒａｔｏｒ５６７はＦｉｎｇｅｒｐｒｉｎｔ  Ｅｘｔｒａｃｔｏｒが抽出した特徴情報とＲｅｆｅｒｅｎｃｅ  ｆｉｎｇｅｒｐｒｉｎｔを比較して一致するコンテンツを見つける。Ｆｉｎｇｅｒｐｒｉｎｔ  Ｃｏｍｐａｒａｔｏｒ５６７はＬｏｃａｌに記憶されたＲｅｆｅｒｅｎｃｅ  ｆｉｎｇｅｒｐｒｉｎｔ  ＤＢを利用してもよく、インターネット上のＦｉｎｇｅｒｐｒｉｎｔ質疑サーバに質疑して結果を受信してもよい。比較結果でマッチングされた結果データはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
【０５６９】
Ａｐｐｌｉｃａｔｉｏｎ５６９はＡＣＲ機能を管掌するモジュールまたはＡＣＲに基づいてＥｎｈａｎｃｅｄサービスを提供するアプリケーションモジュールであって、視聴中の放送コンテンツを識別子それと連携された拡張されたサービスを提供する。
【０５７０】
図４８は、本発明の他の実施例によるウォーターマーク基盤の映像表示装置の構造を示すブロック図である。
【０５７１】
図４８に示したウォーターマーク基盤の映像表示装置は図４１に示したフィンガープリント基盤の映像常時装置と類似しているが、フィンガープリント基盤の映像表示装置のＦｉｎｇｅｒｐｒｉｎｔ  Ｅｘｔｒａｃｔｏｒ５６５とＦｉｎｇｅｒｐｒｉｎｔ  Ｃｏｍｐａｒａｔｏｒ５６７を含まず、代わりにＷａｔｅｒｍａｒｋ  Ｅｘｔｒａｃｔｏｒ５６６を更に含む。
【０５７２】
Ｗａｔｅｒｍａｒｋ  Ｅｘｔｒａｃｔｏｒ５６６はＡｕｄｉｏ／Ｖｉｄｅｏストリームからｗａｔｅｒｍａｒｋの形態に挿入されたデータを抽出する。このように抽出されたデータはＡｐｐｌｉｃａｔｉｏｎに伝達されて利用される。
【０５７３】
本発明の一実施例によれば、MVPDに依存せずに付加サービスを利用することができる。特に、放送局やコンテンツプロバイダーが付加サービスを提供していなくても、放送局やコンテンツプロバイダーに依存しない第３のサーバーが付加サービスを提供することができる。
【０５７４】
さらに、一実施形態によれば、情報検索、チャット、ニュース検索、デジタルメディアのダウンロード、商品カタログダウンロード、および商品購入をリモートコントローラを用いた不快なテキスト入力せずに行うことができ利用できる。
【０５７５】
さらに、一実施形態によれば、無線チャネルの帯域幅を超過する付加サービスも利用可能である。
【０５７６】
本発明の一実施例によると、上述した方法はプログラムが記録された媒体にプロセッサが読み込めるコードとして具現することができる。プロセッサが読み込める媒体の例としては、ＲＯＭ，ＲＡＭ，ＣＤ−ＲＯＭ，磁気テープ、フロッピーディスク、光データ記憶装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態に具現されることも含む。
【０５７７】
前記のように記載された実施例は説明した実施例の構成と方法が限定されて適用されるのではなく、前記実施例は多様な変形が行われるように各実施例の全部又は一部が選択的に組み合わせられて構成されてもよい。
【０５７８】
実施形態は、その例示的な実施形態の数を参照して説明したが、それは多くの他の修正及び実施形態は、本開示の原理の精神および範囲内に入る第当業者によって考案され得ることが理解されるべきです。より具体的には、様々な変形及び変更は、構成部品、および/または開示、図面および添付の特許請求の範囲内の被写体の組み合わせの配置の配置が可能です。構成部品および/または構成において変形及び変更に加えて、代替的な用途は、当業者には明らかであろう。
【図１】
0006290935.tif 000020
【図２】
0006290935.tif 000021
【図３】
0006290935.tif 000022
【図４】
0006290935.tif 000023
【図５】
0006290935.tif 000024
【図６】
0006290935.tif 000025
【図７】
0006290935.tif 000026
【図８】
0006290935.tif 000027
【図９】
0006290935.tif 000028
【図１０】
0006290935.tif 000029
【図１１】
0006290935.tif 000030
【図１２】
0006290935.tif 000031
【図１３】
0006290935.tif 000032
【図１４】
0006290935.tif 000033
【図１５】
0006290935.tif 000034
【図１６】
0006290935.tif 000035
【図１７】
0006290935.tif 000036
【図１８】
0006290935.tif 000037
【図１９】
0006290935.tif 000038
【図２０】
0006290935.tif 000039
【図２１】
0006290935.tif 000040
【図２２】
0006290935.tif 000041
【図２３】
0006290935.tif 000042
【図２４】
0006290935.tif 000043
【図２５】
0006290935.tif 000044
【図２６】
0006290935.tif 000045
【図２７】
0006290935.tif 000046
【図２８】
0006290935.tif 000047
【図２９】
0006290935.tif 000048
【図３０】
0006290935.tif 000049
【図３１】
0006290935.tif 000050
【図３２】
0006290935.tif 000051
【図３３】
0006290935.tif 000052
【図３４】
0006290935.tif 000053
【図３５】
0006290935.tif 000054
【図３６】
0006290935.tif 000055
【図３７】
0006290935.tif 000056
【図３８】
0006290935.tif 000057
【図３９】
0006290935.tif 000058
【図４０】
0006290935.tif 000059
【図４１】
0006290935.tif 000060
【図４２】
0006290935.tif 000061
【図４３】
0006290935.tif 000062
【図４４】
0006290935.tif 000063
【図４５】
0006290935.tif 000064
【図４６】
0006290935.tif 000065
【図４７】
0006290935.tif 000066
【図４８】
0006290935.tif 000067