(57)【要約】本発明は、テレビ放送システムにハイパーリンクされた情報を追加するためのシステムおよび方法を特徴とする。本システムは、ビデオ情報および注釈システムを提供するビデオソースを含む。この注釈システムは、ビデオ情報と結び付くように注釈データを生成して、注釈データのタイミング情報を生成する。ハイパーリンクされた放送システムはまた、拡張されたビデオ情報の伝送生成器を含む。この発生器は、注釈データ、ビデオ情報、および注釈データのタイミング情報を受信する。拡張されたビデオ情報の伝送生成器は、注釈データ、注釈データタイミング情報、およびビデオ情報を含む拡張されたビデオ伝送信号を生成する。動作の際、拡張されたビデオ情報の伝送生成器は、注釈データのタイミング情報を用いてビデオ情報と注釈データとを結び付ける。受信器は、フレームベースによって、ビデオ信号と結び付いた注釈情報をフレーム上に表示する。
2004507989.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ情報を提供するビデオソースと、
該ビデオ情報に関連付けられた注釈データを生成し、注釈データタイミング情報を生成する注釈システムと、
該注釈データ、該ビデオ情報、および該注釈データタイミング情報を受信する強化された映像情報伝送生成器であって、該強化された映像情報伝送生成器は、該注釈データ、該注釈データタイミング情報、および該ビデオ情報を含む強化されたビデオ伝送信号を生成する、強化された映像情報伝送生成器と
を備え、該強化された映像情報伝送生成器は、該注釈データタイミング情報を用いて、該ビデオ情報を該注釈データと関連付ける、ハイバーリンクされた放送システム。
【請求項２】
前記強化された映像情報伝送生成器は、垂直帰線消去期間挿入デバイスを含む、請求項１に記載のシステム。
【請求項３】
強化された映像情報伝送生成器は、垂直補助データ挿入デバイスおよびデジタルビデオデータマルチプレクサのうちの１つを含む、前記請求項１に記載のシステム。
【請求項４】
前記注釈データタイミング情報は、タイムスタンプ情報、タイムコード情報、フレーム番号付け情報、その日の世界標準時間情報、注釈データデバイスコマンドおよびビデオプログラム識別子のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項５】
前記ビデオ情報は、デジタルビデオ情報を含む、請求項１に記載のシステム。
【請求項６】
前記ビデオ情報は、アナログビデオ情報を含む、請求項１に記載のシステム。
【請求項７】
生成後の環境と、
前記強化されたビデオ情報伝送生成器を含むヘッドエンドと
をさらに備え、前記ビデオ情報および前記注釈データタイミング情報は、該生成後の環境によって結合され、該ヘッドエンドに伝送される、請求項１に記載のシステム。
【請求項８】
前記ヘッドエンドは、ケーブルヘッドエンドである、請求項７に記載のシステム。
【請求項９】
前記ヘッドエンドは、衛星ヘッドエンドである、請求項７に記載のシステム。
【請求項１０】
生成後の環境と、
放送ネットワークと、
前記強化されたビデオ情報伝送生成器を含むヘッドエンドと
をさらに備え、前記ビデオ情報および前記注釈データタイミング情報は、該生成後の環境によって結合され、該放送ネットワークに伝送され、その後、続いて、該ヘッドエンドに伝送される、請求項１に記載のシステム。
【請求項１１】
前記ヘッドエンドは、ケーブルヘッドエンドである、請求項１０に記載のシステム。
【請求項１２】
前記ヘッドエンドは、衛星ヘッドエンドである、請求項１０に記載のシステム。
【請求項１３】
前記強化されたビデオ情報伝送生成器と通信する受信器と、
該受信器と通信するディスプレイデバイスと
をさらに備え、該受信器は、フレームごとに、該注釈データを該ビデオ情報と同期させる、請求項１に記載のシステム。
【請求項１４】
前記表示デバイスは、視聴者のリクエストに応答して、前記注釈データを表示する、請求項１３に記載のシステム。
【請求項１５】
前記注釈データは、マスクデータ、テキストデータ、および図形データのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項１６】
前記マスクデータは、図形表現およびテキスト表現のうちの少なくとも１つを含む、請求項１５に記載のシステム。
【請求項１７】
前記マスクデータは、注釈付きのビデオフレーム内に、オブジェクトの位置情報を含む、請求項１５に記載のシステム。
【請求項１８】
前記位置情報は、前記オブジェクトに関連付けられた画素のセットとの固定された関係を表す図形位置レファレンスを含む、請求項１７に記載のシステム。
【請求項１９】
前記図形位置レファレンスは、前記関連付けられた画素セット内の最も左上の画素を含む、請求項１８に記載のシステム。
【請求項２０】
前記図形位置レファレンスは、前記関連付けられた画素セット内の中心画素を含む、請求項１８に記載のシステム。
【請求項２１】
前記マスクデータは、注釈されるビデオフレーム内のオブジェクトの位置および形状情報を含む、請求項１５に記載のシステム。
【請求項２２】
ハイパーリンクされた伝送アセンブリシステムであって、
注釈データにアクセスすることができる注釈データストリーム生成器と、
ビデオ情報を提供するビデオ情報源と、
該注釈データストリーム生成器および該ビデオ情報源と通信する注釈データタイミング情報デコーダであって、該注釈データタイミング情報デコーダが該ビデオ情報から注釈データタイミング情報を抽出する、注釈データタイミング情報デコーダと、
該注釈データストリーム生成器および該ビデオ情報源と通信する強化されたビデオ情報伝送生成器と、
を備えたハイパーリンクされた伝送アセンブリシステムであって、
該ビデオ情報伝送生成器が、該ビデオ情報を、該注釈データタイミング情報に基づいて該注釈データと同期する、ハイパーリンクされた伝送アセンブリシステム。
【請求項２３】
前記ビデオ情報伝送生成器が、前記ビデオ情報を、フレームごとに前記注釈データと同期する、請求項２２に記載のシステム。
【請求項２４】
前記注釈データタイミング情報デコーダが、垂直帰線消去期間デコーダである、請求項２２に記載のシステム。
【請求項２５】
前記注釈データタイミング情報デコーダが、垂直補助データデコーダとデジタル搬送ストリームデコーダのうちの少なくとも１つである、請求項２２に記載のシステム。
【請求項２６】
前記注釈データ格納デバイスが、少なくとも前記注釈データストリーム生成器が前記注釈データタイミング情報を受け取るとすぐに、前記注釈データにアクセスすることができる、請求項２２に記載のシステム。
【請求項２７】
前記注釈データストリーム生成器が、内部格納デバイスから前記注釈データにアクセスする、請求項２２に記載のシステム。
【請求項２８】
前記注釈データストリーム生成器が、外部格納デバイスから前記注釈データにアクセスする、請求項２２に記載のシステム。
【請求項２９】
前記注釈データストリーム生成器が、前記注釈データタイミング情報に応答して前記注釈データをストリーミングする、請求項２２に記載のシステム。
【請求項３０】
前記注釈データタイミング情報が、タイムスタンプ情報と、タイムコード情報と、フレーム番号情報と、その日の世界標準時間情報と、注釈データデバイスコマンドと、ビデオプログラム識別子の少なくとも１つを含む、請求項２２に記載のシステム。
【請求項３１】
前記注釈データが、マスクデータと、テキストデータと、図形データの少なくとも１つを含む、請求項２２に記載のシステム。
【請求項３２】
ハイパーリンクされた受信システムであって、
放送チャネルと通信する受信器と、
該受信器と通信する表示デバイスと、
を備え、該受信器が、タイミング情報に応答して、マスクデータをフレームごとに、関連するビデオ情報と同期させる、ハイパーリンクされた受信システム。
【請求項３３】
前記受信器が、前記タイミング情報からのオフセットを計算して前記マスクデータを前記関連するビデオ情報と同期させるタイマを備えた、請求項３２に記載のシステム。
【請求項３４】
前記タイミング情報が、タイムスタンプ情報と、タイムコード情報と、フレーム番号情報と、その日の世界標準時間情報と、受信器コマンドと、ビデオプログラム識別子の少なくとも１つを含む、請求項３２に記載のシステム。
【請求項３５】
ハイパーリンクされたビデオ信号を生成する方法であって、
ビデオ情報から注釈データタイミング情報を生成する工程と、
該ビデオ情報から注釈データを生成する工程と、
該注釈データタイミング情報と、該注釈データと、該ビデオ情報とを、強化されたビデオ情報伝送生成器に通信する工程と、
該注釈データタイミング情報に応答して、該強化されたビデオ情報伝送生成器によって該ビデオ情報を該注釈データに同期させる工程と、
を包含する方法。
【請求項３６】
前記強化されたビデオ情報伝送生成器が、垂直帰線消去期間挿入デバイスを含む、請求項３５に記載の方法。
【請求項３７】
前記強化されたビデオ情報伝送生成器が、垂直補助データ挿入デバイスとデジタルビデオデータマルチプレクサの少なくとも１つを含む、請求項３５に記載の方法。
【請求項３８】
前記注釈データタイミング情報が、タイムスタンプ情報と、タイムコード情報と、フレーム番号情報と、その日の世界標準時間情報と、注釈データデバイスコマンドと、ビデオプログラム識別子の少なくとも少なくとも１つを含む、請求項３５に記載の方法。
【請求項３９】
前記ビデオ情報が、デジタルビデオデータを含む、請求項３５に記載の方法。
【請求項４０】
前記ビデオ情報が、アナログビデオ信号を含む、請求項３５に記載の方法。
【請求項４１】
前記注釈データタイミング情報を、アナログビデオ信号の垂直帰線消去期間に挿入する工程をさらに包含する、請求項３５に記載の方法。
【請求項４２】
前記注釈データタイミング情報を、デジタルビデオ信号の垂直補助データ領域に挿入する工程をさらに包含する、請求項３５に記載の方法。
【請求項４３】
前記通信する工程が、前記タイミング情報および前記ビデオ情報を放送ネットワークに伝送し、その後前記強化されたビデオ情報伝送生成器に伝送する、請求項３５に記載の方法。
【請求項４４】
前記注釈データが、マスクデータと、テキストデータと、図形データの少なくとも１つを含む、請求項３５に記載の方法。
【請求項４５】
前記マスクデータが、図形表現とテキスト表現の少なくとも１つを含む、請求項４４に記載の方法。
【請求項４６】
前記マスクデータが、注釈ビデオフレーム内のオブジェクトの位置情報を含む、請求項４４に記載の方法。
【請求項４７】
前記位置情報が、前記オブジェクトに関連する画素セットに対する固定された関係を表す図形位置レファレンスを含む、請求項４６に記載の方法。
【請求項４８】
前記図形位置レファレンスが、前記関連する画素セット内の最も左上の画素を含む、請求項４７に記載の方法。
【請求項４９】
前記図形位置レファレンスが、前記関連する画素セットの中心画素を含む、請求項４８に記載の方法。
【請求項５０】
前記マスクデータが、注釈ビデオフレーム内のオブジェクトの位置および形状情報を含む、請求項４４に記載の方法。
【請求項５１】
前記形状情報が、前記オブジェクトの図形的オーバーレイによって表される、請求項５０に記載の方法。
【請求項５２】
前記形状情報が、前記オブジェクトの輪郭によって表される、請求項５０に記載の方法。
【発明の詳細な説明】
【０００１】
（関連出願の相互参照）
本出願は、「Ａ　Ｍｅｔｈｏｄ　ａｎｄ　Ａｐｐａｒａｔｕｓ　ｆｏｒ　Ｈｙｐｅｒｌｉｎｋｉｎｇ　ｉｎ　ａ　Ｔｅｌｅｖｉｓｉｏｎ　Ｂｒｏａｄｃａｓｔ」と称される米国仮出願シリアルナンバー第６０／２２９，２４１号（２０００年８月３０日出願）、「Ａ　Ｍｅｔｈｏｄ　ａｎｄ　Ａｐｐａｒａｔｕｓ　ｆｏｒ　Ｈｙｐｅｒｌｉｎｋｉｎｇ　ｉｎ　ａ　Ｔｅｌｅｖｉｓｉｏｎ　Ｂｒｏａｄｃａｓｔ」と称されるシリアルナンバー第６０／２３３，３４０号（２０００年９月１８日出願）の利益を主張する。これらの仮出願の各々は、参考のため、その全体を本明細書中で援用する。本出願は、米国実用特許出願シリアルナンバー第０９／６９４，０７９号（２０００年１０月２０日出願）の利益もまた主張する。
【０００２】
（発明の分野）
本発明は、放送テレビ、より具体的にはテレビ放送におけるハイパーリンクの分野に関する。
【０００３】
（発明の背景）
テレビ信号を介する情報の放送は従来技術において周知である。テレビ放送は一方向性であり、視聴者がテレビディスプレイ上に現れる素材と双方向通信する機会を提供しない。表示された素材に視聴者が遠隔制御を用いて応答することは公知であるが、通常、利用可能な放送のリスト項目から視聴するための番組を選択することに制限される。特に、情報が画面の１つ以上の領域と関連付けられるハイパーリンクテレビ番組を生成することは困難であることが判明した。本発明は、このニーズに応える。
【０００４】
（発明の要旨）
本発明は、双方向式で視聴者に提供される情報を用いてテレビ放送素材を増補する方法およびシステムを提供する。
【０００５】
１局面において、本発明はハイパーリンク放送システム（ｈｙｐｅｒｌｉｎｋｅｄ　ｂｒｏａｄｃａｓｔ　ｓｙｓｔｅｍ）に関する。ハイパーリンク放送システムは、ビデオ情報および注釈システムを提供するビデオソースを含む。注釈システムは、ビデオ情報と関連する注釈データを生成し、かつ注釈データタイミング情報を生成する。ハイパーリンク放送システムは、さらに、増補ビデオオ情報伝送生成器を含み、これは、注釈データ、ビデオ情報、および注釈データタイミング情報を受信する。増補ビデオ情報伝送生成器は、注釈データ、注釈データタイミング情報およびビデオ情報を含む増補されたビデオ伝送信号を生成する。動作中、増補ビデオ情報伝送生成器は、注釈データタイミング情報を用いて、ビデオ情報を注釈データと関連付ける。
【０００６】
１実施形態において、システムの増補ビデオ情報伝送生成器は、垂直帰線消去期間挿入デバイスを含む。別の実施形態において、システムの増補ビデオ情報伝送生成器は、垂直補助データ挿入デバイスおよびデジタルビデオデータマルチプレクサの少なくとも１つを含む。さらなる実施形態において、システムの注釈データタイミング情報は、タイムスタンプ情報、タイムコード情報、フレームナンバリング情報、日付情報のグローバル時刻、注釈データデバイスコマンドおよびビデオ番組識別子のうちの少なくとも１つを含む。さらなる実施形態において、ビデオ情報は、デジタルビデオデータを含む。さらに別の実施形態において、ビデオ情報は、アナログビデオ信号を含む。
【０００７】
さらに別の実施形態において、システムは、さらに、生成後の環境およびヘッドエンドを含む。ヘッドエンドは、増補ビデオ情報伝送生成器を含む。動作中、ビデオ情報および注釈データタイミング情報は、生成後の環境によって合成され、ヘッドエンドに伝送される。さらに別の実施形態において、システムは、生成後の環境、放送ネットワーク、および増補ビデオ情報伝送生成器を含むヘッドエンドを含む。動作中、ビデオ情報および注釈データタイミング情報は、生成後の環境によって合成されて、ヘッドエンドへの次の伝送のために放送ネットワークに伝送される。２つの先行する実施形態の代替的実施形態において、ヘッドエンドは、ケーブルヘッドエンドである。これらの２つの実施形態のさらなる代替的実施形態において、ヘッドエンドは、衛星ヘッドエンドである。
【０００８】
さらに別の実施形態において、システムは、さらに、増補ビデオ情報伝送生成器と通信する受信器ならびにこの受信器と通信するディスプレイデバイスを含む。動作中、受信器は、注釈データを、フレーム毎にフレームにおけるビデオ情報と同期化させる。さらに別の実施形態において、ディスプレイデバイスは、視聴者のリクエストに応答して、注釈データを表示する。さらに別の実施形態において、注釈データは、マスクデータ、テキストデータおよびグラフィックデータのうちの少なくとも１つを含む。別の実施形態において、マスクデータは、グラフィックプレゼンテーションおよびテキストプレゼンテーションのうちの少なくとも１つを含む。さらなる実施形態において、マスクデータは、注釈ビデオフレーム内のオブジェクトの位置情報を含む。さらなる実施形態において、位置情報は、そのオブジェクトと関連するピクセルのセットとの固定された関係を表すグラフィック位置リファレンスを含む。さらに別の実施形態において、グラフィック位置リファレンスは、関連するピクセルセット内に最左上ピクセルを含む。さらに別の実施形態において、グラフィック位置リファレンスは、関連するピクセルセットの中心ピクセルを含む。さらに別の実施形態において、マスクデータは、注釈が付けられるべきビデオフレーム内のオブジェクトの位置および形状情報を含む。
【０００９】
１実施形態において、本発明は、ハイパーリンク伝送アセンブリシステムに関する。このシステムは、注釈データ、およびビデオ情報を提供するビデオ情報ソースにアクセスすることができる注釈データストリーム生成器を含む。伝送アセンブリシステムは、さらに、注釈データストリーム生成器およびビデオ情報ソースと通信する注釈データタイミング情報復号器を含む。注釈データタイミング情報復号器は、ビデオ情報から注釈データタイミング情報を抽出する。さらに、伝送アセンブリシステムは、注釈データストリーム生成器およびビデオ情報ソースと通信する増補ビデオ情報伝送生成器を含む。動作中、ビデオ情報伝送生成器は、ビデオ情報を、注釈データタイミング情報に基づいて注釈データと同期化させる。
【００１０】
伝送アセンブリシステムのさらに別の実施形態において、ビデオ情報伝送生成器は、ビデオ情報をフレーム毎にフレームにおける注釈データと同期化させる。伝送アセンブリシステムの別の実施形態において、注釈データタイミング情報復号器は、垂直帰線消去期間復号器である。伝送アセンブリシステムのさらなる実施形態において、注釈データタイミング情報復号器は、垂直補助データ復号器およびデジタル搬送ストリーム復号器のうちの少なくとも１つである。伝送アセンブリシステムのさらなる実施形態において、注釈データ格納デバイスは、少なくとも、注釈データストリーム生成器が注釈データタイミング情報を受信するとすぐに、注釈データにアクセスすることができる。
【００１１】
伝送アセンブリシステムのさらに別の実施形態において、注釈データストリーム生成器は、内部格納デバイスからの注釈データにアクセスする。伝送アセンブリシステムのさらに別の実施形態において、注釈データストリーム生成器は、外部格納デバイスからの注釈データにアクセスする。伝送アセンブリシステムのさらに別の実施形態において、注釈データストリーム生成器は、注釈データタイミング情報に応答して注釈データを流す。伝送アセンブリシステムのさらに別の実施形態において、注釈データタイミング情報は、タイムスタンプ情報、タイムコード情報、フレームナンバリング情報、日付情報のグローバル時刻、注釈データデバイスコマンドおよびビデオ放送識別子のうちの少なくとも１つを含む。伝送アセンブリシステムのさらに別の実施形態において、注釈データは、マスクデータ、テキストデータおよびグラフィックデータのうちの少なくとも１つを含む。
【００１２】
１実施形態において、本発明は、ハイパーリンク受信システムに関する。このシステムは、放送チャネルと通信する受信器およびこの受信器と通信するディスプレイデバイスを含む。動作中、受信器は、タイミング情報に応答して、フレーム毎にフレームにおける関連するビデオ情報であるマスクデータを同期化する。受信システムの別の実施形態において、受信器は、タイミング情報からのオフセットを計算して、マスクデータを関連するビデオ情報と同期化させるタイマーを含む。受信システムのさらなる実施形態において、タイミング情報は、タイムスタンプ情報、タイムコード情報、フレームナンバリング情報、日付情報のグローバル時刻、受信器コマンドおよびビデオ番組識別子のうちの少なくとも１つを含む。
【００１３】
別の局面において、本発明は、ハイパーリンクビデオ信号を生成する方法に関する。この方法は、ビデオ情報から注釈データタイミング情報を生成し、ビデオ情報の注釈データを生成する工程を包含する。本方法は、さらに、注釈データタイミング情報、注釈データおよびビデオ情報を増補ビデオ情報伝送生成器に通信する工程を包含する。本方法は、さらに、増補ビデオ情報伝送生成器が、注釈データタイミング情報に応答して、ビデオ情報を注釈データと同期化させる工程を包含する。
【００１４】
本発明の、上述のオブジェクトおよび他のオブジェクト、局面、機能、ならびに利点は、以下の説明および上記の請求項からさらに明らかになる。
【００１５】
（好適な実施形態の説明）
簡単な概観において、本発明は、注釈情報が放送ビデオのフレームに表示され、視聴者のコマンドに基づいて表示されるオブジェクトと関連付けられる方法を提供する。例えば、図１を参照して、商店、価格および入手可能な商品の情報の形式での注釈情報は、テレビ放送において俳優によって着用される特定のシャツ２と関連付けられ得る（図１Ａ）。これを達成するために、シャツ２は、最初にオーサリングシステム（ａｕｔｈｏｒｉｎｇ　ｓｙｓｔｅｍ）と呼ばれるシステムの１部を動作する設計者によってシステムに識別される。設計者は、所与のフレーム内のシャツ２を例えば、シャツの色合いによって（図１Ｂ）識別し（３）、システムは、シャツ２の位置のトラックを前および次のフレームに保持する。この設計者は、さらに、シャツ２と関連する注釈データ５になるテキストを生成する。従って、この例において、注釈データはシャツ２が購買され得る商店の名称、シャツ２の価格および入手可能な色を含み得る。システムは、その後、例えば、フレーム内で異なった色で輪郭を描くことによって（４）、シャツ２がこれと関連する注釈データを有することを示す（図１Ｃ）。
【００１６】
システムの伝送部分によって視聴者にショーが放送されるとき、ビデオだけでなく、シャツ２の輪郭を描くマスクおよびシャツ２に伴う注釈データも放送される。視聴者の位置にあるシステムの受信器部分は、このデータを受信し、関連する注釈データを有するオブジェクトの輪郭を描くマスクと一緒にビデオフレームを表示する。この例において、ビデオフレームにおけるシャツ２の輪郭が描かれる。放送されるビデオの視聴者が注釈データを見ることを所望する場合、この視聴者は、ただ、標準遠隔制御ハンドセット上のボタンを制御し、注釈データの表示が所望されることをシステムの受信器部分に通知する。システムは、その後、オブジェクトと一緒に注釈データ５を画面上に表示する（図１Ｄ）。このようにして、通知されたオブジェクトは、追加的情報へのハイパーリンクとして機能する。
【００１７】
示されるように、上述の例は、アウトラインマスクを説明する。通常、マスクは、ビデオフレームと同期化された態様で視聴者に提供される任意の映像情報である。例えば、ビデオフレーム内のオブジェクトを全体または部分的に覆うオーバーレイあるいはビデオフレームのセットはマスクである。ビデオフレーム内のオブジェクト（単数または複数）と視覚的に区別される、視聴者へのグラフィックまたはテキストのプレゼンテーション、あるいは視聴者に情報を提供するビデオフレームのセットもまた、マスクである。視聴者へのグラフィックまたはテキストのプレゼンテーションは、例えば、購買され得るビデオフレーム内のオブジェクトについての地域の店舗の住所を提供する、視聴者のＴＶディスプレイ５８のコーナにおけるテキストボックス等のフレーム（単数または複数）内のオブジェクト（単数または複数）と関連し得る。さらに、視聴者へのグラフィックまたはテキストのプレゼンテーションは、同期的であるが、ビデオフレーム内の特定のオブジェクトに依存しない、例えば、応答が競争者によって提供される前に視聴者にクエリするゲームショーの間、プレゼンテーションに関する視聴者のＴＶディスプレイ５８のコーナにおけるテキストボックス等のフレームであり得る。視聴者に提供されるマスクは、視聴者の相互通信に対する応答においてのみ提供され得るか、またはシステムは、マスクおよび関連するデータのすべてまたは部分を自動的に表示するように構成され得る。
【００１８】
図２を参照して、本発明により構成されたハイパーリンクビデオ放送システムは、伝送部分１０、通信チャネル部分１２および受容部分１４を含む。伝送部分１０は、ビデオソース２０、オーサリングツール２４、データベース格納システム２８および送信器３２を含む。種々の実施形態におけるビデオソース２０は、ビデオカメラ、ビデオディスク、テープまたはカセット、ビデオフィード（ｖｉｄｅｏ　ｆｅｅｄ）または当業者に公知の任意の他のソースである。注釈ソースであるオーサリングツール２４は、ビデオソース２０からビデオデータを受信し、後述されるように、これをビデオ設計者が見て操作するように表示する。注釈データは、例えば、ビデオ画像を用いて表示されるべきテキストであり、オブジェクトデータベース２８に格納され、システムの通信チャネル部分１２を介して伝送するために送信器３２に送信される。
【００１９】
送信器３２は、ビデオ符号器３６、データパケットストリーム生成器４０およびマルチプレクサ（ｍｕｘ）４４を含み、通信チャネル１２を介して伝送するためにビデオ符号器３６およびデータパケットストリーム生成器４０からの信号を組み合わせる。ビデオ符号器３６は、当業者に公知のように輸送ストリームを生成するための、ＭＰＥＧまたはＭＰＥＧ２符号器等の任意の符号器であり得る。データパケットストリーム生成器４０は、後述のように、さらなるデータを符号化する。このデータは、視聴者に伝送されるときビデオデータに伴うべきデータである。データパケットストリーム生成器４０は、符号化されたデータパケットを生成する。ｍｕｘ４４は、アーギュメント輸送ストリームを生成する。
【００２０】
通信チャネル部分１２は、ケーブル、地上放送インフラストラクチャ、マイクロ波リンクまたは衛星リンク等の伝送媒体だけでなく、受容部分１４によって受信されるまで、ビデオデータを保持する任意の中間格納も含む。このような中間放送格納は、当業者に公知のビデオディスク、テープまたはカセット、メモリあるいは他の記憶デバイスを含み得る。通信チャネル部分は、複数のサービスオペーレータによって供給されるヘッドエンド送信器５０も含む。
【００２１】
受容部分１４は、テレビディスプレイ５８上に表示するための信号を復号するデジタルセットトップボックス等のデジタル受信器５４を含む。デジタル受信器ハードウェア５４は、当業者に公知の任意のデジタル受信器ハードウェア５４である。
【００２２】
動作中、および図２Ａも参照して、設計者はビデオソース２０からオーサリングツール２４へビデオデータ２２をロードする。ビデオデータ２２は、さらに、例えば、ＭＰＥＧ標準を用いて符号化するために、ビデオソース２０からビデオ符号器３６へ送信される。オーサリングツール２４を用いて、設計者は、ビデオ画像の部分を選択して、画面注釈（ｓｃｒｅｅｎ　ａｎｎｏｔａｔｉｏｎ）と関係付ける。例えば、設計者は、ビデオ画像において俳優によって着用されるシャツ２を選択し得、シャツ２の製造業、販売価格および地域の販売店を示す注釈データを割り当てる。逆に、注釈データは、オブジェクトについてのさらなるテキスト情報を含み得る。例えば、ドキュメンタリー番組における注釈データは、画面上の個人についての伝記ふうの情報を有し得る。後述されるように、マスク画像である画像におけるシャツ２の形状およびシャツ２の位置と一緒に、注釈データ５はデータ構造２５、２５‘としてデータベース２８に格納される。
【００２３】
設計者が一度、所与のプログラムをオーサリングすると、オーサリングツールは、オブジェクトは現れ、データ構造は注釈付きプログラムにおいて利用される範囲を決定する。この情報は、本発明のシステムによって用いられ、オブジェクトが視聴者に提供される前に、視聴者のオブジェクトとの双方向通信を可能にするデータが伝送されることを保証する。この情報は、本発明のシステムによっても用いられ、データがプログラムによってもはや必要とされず、後述されるメモリ１２８から消去され得るのはいつかを決定する。
【００２４】
上述のように、この注釈データは、さらに、符号化されたデータパケットストリーム２７に変換するためにデータパケットストリーム生成器４０に送信される。ビデオ符号器３６からの輸送ストリーム２９におけるタイムスタンプデータは、さらに、データパケットストリーム生成器４０への入力信号でもあり、マスクおよび注釈データを画像データと同期化するために用いられる。データパケットストリーム生成器４０は、プログラムの手順を経て（ｓｔｅｐ　ｔｈｒｏｕｇｈ）、ビデオの各フレームのタイミング情報を対応するマスクと関連付けることによって同期化を達成する。タイミング情報は、ビデオおよびマスク情報の同期化を可能にする任意の種類の情報であり得る。例えば、タイミング情報は、ＭＰＥＧ符号器、ビデオのＳＭＰＴＥ時間コード標準によって提供されるような時間コード情報、フレームまたはフレームの連続番号、世界の時間等の一意的識別子のようなフレームナンバリング情報によって生成されるようなタイムスタンプ情報であり得る。本発明のこの図示において、タイムスタンプ情報は、例示的実施形態として用いられる。
【００２５】
ビデオ符号器３６からの符号化されたビデオデータは、マルチプレクサ４４におけるデータパケット生成器４０からの符号化されたデータパケットストリーム２７と組合され、その結果生じるアーギュメント輸送システム４６は、マルチプレクサシステム４８への入力である。この例示的実施形態において、マルチプレクサシステム４８は、さらなる輸送ストリーム２９’およびアーギュメント輸送ストリーム（ａｒｇｕｍｅｎｔｅｄ　ｔｒａｎｓｐｏｒｔ　ｓｔｒｅａｍ）４６’’を受信することが可能である。輸送ストリーム２９’およびアーギュメント輸送ストリーム４６’’は、デジタル符号化されたビデオ、音声、および当業者に公知の他の方法によって生成されたデータストリームを含む。マルチプレクサシステム４８からの出力は格納および／または放送用の通信チャネル１２に送信される。放送信号は、デジタル受信器５４によって送信され、この受信器によって受信される。デジタル受信器５４は、多重化された信号の符号化されたビデオ部分を表示用のテレビ５８に送信する。デジタル受信器５４は、さらに、ハンドヘルド遠隔制御ユニットを用いて視聴者からのコマンドを受取り、ビデオ画像に伴う任意の注釈を表示する。１実施形態において、デジタル受信器５４は、さらに、代替的ネットワーク接続５６と直接的に通信する（図２）。
【００２６】
代替的実施形態において、オブジェクトデータベース２８からの情報は、インターネット等のネットワーク３１を通じてか、またはデータベース３０に直接的にアクセスするために図２における第２のデータベース３０に転送される。本実施形態において、ヘッドエンド５０は、視聴者によってそのようにリクエストされると、第２のデータベース３０に格納された注釈オブジェクトデータにアクセスする。この構成は、視聴者が後で見るための番組を記録し、記録媒体が注釈データを記録し得ないときか、またはデータが番組中に帯域内で伝送され得ないとき等の場合に有用である。従って、記録された画像がデジタル受信器５４を通じて再生され、視聴者が注釈データをリクエストするとき、デジタル受信器５４は、ネットワーク３１を通じてデータを入手するようにヘッドエンド５０に命令し得る。さらに、ヘッドエンド５０は、デジタル受信器５４の制御のもとで、ネットワーク３１上のデータベース３３か、またはヘッドエンドデータベース５２にデータを書き込むことができる。ヘッドエンド５０によって書き込まれたこのようなデータは、どのオブジェクトが見られているかを示すマーケティングデータであり得るか、またはネットワーク上で表示された品目を注文するために、視聴者によって必要とされる注文情報であり得る。第３の実施形態は、１部の情報は元の放送に含まれ、１部は視聴者によるリクエストに応答して取出される、先行する実施形態の属性を組合せる。
【００２７】
符号化されたデータパケットストリーム２７に関するさらなる詳細において、および図２Ｂ、図２Ｃおよび図２Ｄを参照して、データパケットストリーム生成器４０は、ビデオフレームに対応するマスクデータおよび注釈データの大きさに相違はあるが、一定のデータレートストリームを生成するように設計される。データパケットストリーム生成器４０は、これを、３つのステッププロセスによって達成する。第１のデータパケットストリーム生成器４０は、マルチプレクサ４４に入力され得るパケットレートの許容範囲を決定する。次に、データパケットストリーム生成器４０は、符号化されるプログラムにおける最大のマスクによって満たされるパケットの数を決定する。これは、各マスクパケットセット３９におけるパケットの数を決定する。すなわち、各マスクの輸送のために割当てられるパケットの数である。図２Ｂ、図２Ｃおよび図２Ｄに示される例において、各マスクパケットセット３９に８個のパケットが存在する。この数を用いて、データパケットストリーム生成器４０は、符号化されたデータパケットストリーム２７’の初期バージョンを生成し、パケットの定数を各マスクに割当てる。特定のマスクを保持するために必要とされるパケットの数が定数よりも少ない場合、データパケットストリーム生成器４０は、ヌルパケットの最初に符号化されたデータパケットストリーム２７’をバッファする。ヌルパケットの数は、マスクデータが書き込まれた後に残っているパケットの数に依存する。図２Ｃにおいて、フレーム１０００のマスクデータ４２は、４つのパケットを満たし、これによって５つのパケットがヌルパケットによって満たされるべき４つのパケットが残る。同様に、データ４２’、４２’’、４２’’’は、マスク９９９、マスク９９８、およびマスク９９７に関して、３つ、５つおよび２つのパケットをそれぞれ必要とする。これで、ヌルパケットによって満たされるべきそれぞれ５つ、３つ、および６つのパケットが残る。
【００２８】
最後に、データパケットストリーム生成器４０は、オブジェクトデータを付加することによって、最終的に符号化されたデータパケットストリーム２７’’を生成する。データパケットストリーム生成器４０は、オーサリングツール２４によって提供される情報から、所与のオブジェクトがプログラム内に有する第１の情報（ｏｃｃｕｒｒｅｎｃｅ）を決定することによってこれを行なう。このオブジェクトに対応するデータは、その後、そのオブジェクトの第１の例の前の特定のポイントで開始する最初に符号化されたデータパケットストリーム２７’に挿入される。データパケットストリーム生成器４０は、最初に符号化されたデータパケットストリーム２７’の手順を逆に経て、必要に応じて、ヌルパケットをオブジェクトデータと置き換える。例えば、図２Ｄにおいて、オブジェクト９８は、フレーム１００１に現れることが決定される。これは、オブジェクト９８と関連するすべてのデータがフレーム１００１の前に到着しなければならないことを意味する。オブジェクト９８のデータ４３は、５つのパケットＯ９８Ａ、Ｏ９８Ｂ、Ｏ９８Ｃ、Ｏ９８ＤおよびＯ９８Ｅを満たし、マスクデータ１０００およびマスクデータ９９９に割当てられたパケットのセットに付加される。オブジェクト９７のデータ４３’は、２つのパケットＯ９７ＡおよびＯ９７Ｂを満たし、マスクデータ９９８に割当てられたパケットのセットに付加される。
【００２９】
１実施形態における輸送ストリームからデータを抽出するプロセスを容易にするために、マルチプレクサ４４は、ＭＰＥＧ２標準において基本ストリームを識別するために用いられるように、マスクデータおよびオブジェクトデータを異なったパケット識別子（ＰＩＤ）と関連付ける。この方法で、デジタル受信器５４は、マスクおよびオブジェクトデータを主にそれらのＰＩＤに基づく異なった計算スレッドに送られ得る。これによって、パケットのコンテンツの初期分析を実行する必要を除去する。マスクおよびオブジェクトデータの再組立てにおいて、デジタル受信器５４は適切な数のパケットをストリームから抽出できる。なぜなら、この情報は符号化プロセスの部分としてデータパケットストリーム生成器４０によって提供されるからである。例えば、図２Ｄを参照して、データパケットストリーム生成器４０は、マスク１０００は４つのパケット４２を満たし、オブジェクト９８のデータ４３が５つのパケットを満たすことを指定する。このデータは、パケットのヘッダ３８、３８’、３８’’、３８’’’部分に含まれ、この部分は、各マスクパケットセットの第１のパケットの第１の１６バイトを占める。
【００３０】
図２Ｄにおいてマスクヘッダ３８の拡大された図に示されるように、ヘッダパケットは、マスク情報を搬送するパケットの数に関する情報を含み、特定のマスクと関連する情報、タイムスタンプ情報、可視性ワード情報（ｖｉｓｉｂｉｌｉｔｙ　ｗｏｒｄ　ｉｎｆｏｒｍａｔｉｏｎ）および一意的識別子（ＵＩＤ）を符号化する。ＵＩＤおよびオブジェクトマッピングテーブルは、図５に関してより詳細に後述される。同様に、各オブジェクトの第１のパケットは、１６バイトヘッダ４５、４５’で始まる。これはデジタル受信器５４がオブジェクトパケット４３、４３’においてデータを抽出、格納および操作することを可能にする情報を含む。さらに、図２Ｄにおいてオブジェクトデータヘッダ４５の拡大された図に示されるように、オブジェクトデータヘッダ情報は、特定のオブジェクト、オブジェクトのデータタイプ、オブジェクトのＵＩＤ、およびオブジェクトデータがプログラムにおいて用いられる最後の例のようなタイムスタンプのような情報を搬送するパケットの数を含む。タイムスタンプのシステムおよびシステムの使用によって用いられるデータ構造のタイプは、図５、図６および図７に関してより詳細に後述される。
【００３１】
図３を参照して、マルチプレクサシステム４８’は、図２Ａに示されるマルチプレクサシステムの強化されたバージョンである。マルチプレクサシステム４８’は、複数の輸送２９’およびアーギュメント輸送ストリーム４６、４６’’を電波媒体に渡す単一信号を生成するための入力として用いることができる。例示的マルチプレクサシステム４８’は、３つの輸送ストリームマルチプレクサ６０、６０’、６０’’、３つの変調器６８、６８’、６８’’、３つのアップコンバータ７２、７２’、７２’’およびミキサ７８を含む。マルチプレクサシステム４４’は、輸送ストリームの複数セットをミキサ７８への入力へ変換する３つの重複サブシステム（ｄｕｐｌｉｃａｔｅ　ｓｕｂｓｉｙｓｔｅｍ）を含む。各サブシステムは、輸送ストリームのセット（ＴＳ１対ＴＳＮ）、（ＴＳ１’対ＴＳＮ’）、（ＴＳ１’’対ＴＳＮ）を（北米デジタルケーブルシステムの場合の直交振幅変調（ＱＡＭ）または地上放送の場合の８ＶＳＢ等の）デジタル変調器６８、６８’、６８’’への入力信号として用いられるべき単一の輸送ストリーム（ＴＳ、ＴＳ’、ＴＳ’’）に組合せるためのマルチプレクサ６０、６０’、６０’’を含む。１実施形態において、輸送ストリームの各々、例えば、ＴＳ１対ＴＳＮは、テレビ番組を表す。変調器６８、６８’、６８’’の出力信号は、アップコンバータ７２、７２’、７２’’への中間周波数入力信号であり、このアップコンバータは、変調器６８、６８’、６８’’の出力信号を放送のための適切なチャネル周波数に変換する。これらの変換されたチャネル周波数は、周波数ミキサ７８への入力周波数であり、この周波数ミキサ７８は、組合された信号を電波媒体上に配置する。
【００３２】
図４を参照して、デジタル受信器５４は、関心の対象である放送チャネルを入力放送ストリームから選択するための同調器を含み、チャネル用のビデオおよび注釈データを含む中間周波数（ＩＦ）信号を生成する。ＩＦ信号は、変調器１０４への入力信号であり、ＩＦ信号を復調し、情報を輸送ストリーム（ＴＳ）に抽出する。輸送ストリームは、ＭＰＥＧ復号器等のビデオ復号器１０８への入力信号である。ビデオ復号器１０８は、フレームバッファ１１２において受信されたビデオフレームをバッファする。復号器１０８からの復号されたビデオ１１４および音声１１８の出力信号は、テレビディスプレイ５８への入力信号である。
注釈データは、ビデオ復号器１０８により分離され、処理のためＣＰＵ１２４に伝送される。データはメモリ１２８に格納される。メモリは、注釈データおよび視聴者からの命令を処理するためのコンピュータプログラムも格納する。デジタル受信器５４は、視聴者からの命令を受信し、注釈素材を表示し、注釈データは、１部またはすべてのフレームバッファ１１２をオーバーレイするコンピュータグラフィック画像としてレンダリングされる。復号器１０８は、その後、対応するビデオ信号１１４をテレビディスプレイ５８に伝送する。
【００３３】
ケーブルまたは光ファイバ等、信号を双方向性で搬送し得る媒体によって搬送される放送に関しては、デジタル受信器５４から放送システムのヘッドエンド５０に接続され得る。従来のテレビ放送またはテレビ衛星通信等の１方向性媒体により搬送される放送の代替的実施形態において、電波媒体を用いることなく、デジタル受信器５４から、放送局または別のエンティティと通信する代替的ネットワーク接続５６への接続がなされ得る。電波媒体の一部ではない放送局または別のエンティティと通信するための通信チャネルは、電話、インターネットまたは類似のコンピュータ接続等であり得る。双方向性電波媒体が利用可能であっても、このような非電波（ｎｏｎ−ｂｒｏａｄｃａｓｔ）通信チャネルが用いられ得ることが理解されるべきである。このような通信接続は、視聴者の位置から放送局または広告主等別のエンティティに送信されるメッセージを搬送する。このような通信接続は、集合的にバックチャネル（ｂａｃｋｃｈａｎｎｅｌｓ）と呼ばれる。
【００３４】
バックチャネル通信は、放送局または広告主にとって価値があり得る情報の収集、および視聴者に放送局、広告主またはその他との双方向通信を可能にすることを含む種々の目的のために用いられ得る。
【００３５】
１実施形態において、デジタル受信器５４は、遠隔制御デバイスを介して視聴者と注釈情報との双方向通信に関するレポートを生成する。バックチャネルを介して放送局に伝送されるこのレポートは、エラーレポートまたはアクションレポート等の遠隔操作に関するレポートを含み得る。このエラーレポートは、「不法」または未定義のアクションを実行する試み等、視聴者に利用可能な選択の範囲を超えた不適切な遠隔操作の使用に関する情報であり、アクションレポートは、視聴者によって行なわれるアクションを含み、タグが付けられて素材のタイムスタンプを示し、このタイムスタンプは、その後、テレビディスプレイ上で表示される。広告主によって供給された素材が利用可能であるとき、視聴者がそのような素材を取得するアクション、および、例えば、視聴者が取得の試みを取消すポイントを認識することといった、視聴者がその素材を取得することを終了するアクション等の、視聴者のアクションに関するレポートを含む。ある実施形態において、バックチャネルは、蓄積転送チャネルであり得る。
【００３６】
認識および伝送され得る情報は、例えば、単位量、大きさ、色、視聴者のクレジット情報および／または個人識別番号（ＰＩＮ）ならびに出荷情報を含む、放送において広告が出された品目（例えば、シャツ）の注文を行なうこと等、視聴者が関与することを所望する取引に関する情報をさらに含む。認識および伝送され得る情報は、例えば、サービスの識別、そのサービスの時間および配達の場所、支払い情報等を含む、ペイパービュー方式の放送を見せてほしいというリクエスト等、サービスに対するリクエストに関する情報をさらに含む。認識および伝送され得る情報は、さらに、国営ラジオ放送（Ｎａｔｉｏｎａｌ　Ｐｕｂｌｉｃ　Ｒａｄｉｏ）によって提供されるような、政治情報、公共放送情報、および米国特許商標庁の特許および商標データベースのようなデータリポジトリへのアクセスのリクエスト等の非営利的情報に関する情報を含む。
【００３７】
バックチャネルはさらに、潜在的購買者が在庫切れの品目を選択する場合、および代替的選択を行なう可能性、または視聴者が補充されるまで品目を待つ気があるかどうか、およびどれくらい待つ気があるのかに関して一連の通信が続くような双方向通信にも用いられ得る。双方向通信の他の例示的実施例は、現在の価格、特定の商品またはサービスの入手可能性（２０００年ワールドシリーズの第３試合等の、スタジアムでの特定のスポーツイベントで利用可能な座席の位置等）、および購買の確認の表示である。
【００３８】
視聴者が注釈システムとの双方向通信を開始すると、受信器５４はフラグをセットし得る。このフラグは、視聴者が双方向通信を継続する間中、視聴者との双方向通信を行なうことを必要とするデータを保存する。これは、ビデオディスプレイ上に表示され得る番組素材に関係なく、および双方向通信がなされていない場合にデータが視聴者によって廃棄される時に関係なく行われる。１実施形態において、受信器５４は、視聴者に情報を提供するデータ構造において現れる各データ（単数または複数）構造の「使用中ビット」をセットする。「使用中ビット」は、受信器５４がデータ（単数または複数）構造を廃棄するのを防ぐ。視聴者が双方向通信を終了すると、「使用中ビット」はゼロにリセットされ、データ構造（単数または複数）は、その有効利用期限が切れると廃棄され得る。図５には示されないが、本システムのデータ構造にも、各データ構造の有効タイムスタンプが存在する。プログラムの時間が有効タイムスタンプを一度越えると、システムはこのタイムスタンプによってそのデータ構造を廃棄する。この廃棄プロセスは、ゴミ収集器５３２によって制御される。
【００３９】
注釈システムと双方向通信する経過において、視聴者はカタログを生成し、変更し得る。カタログは、視聴者が購買することを決定し得る品目、および視聴者が取得することを所望する情報の記述を含み得る。視聴者は、１つ以上の放送からカタログに含めるための選択を行ない得る。視聴者は、カタログのコンテンツを変更し得、カタログに品目を付加するとすぐに、または後から商取引を開始し得る。
【００４０】
カタログは、視聴者が見ていた番組についての入力情報を含み得る。最高レベルで、遠隔操作等のデバイスを用いることによって、視聴者はシステムと双方向通信し、関心のある品目、かつ量、価格、型、大きさ、色等、関心のある注文の詳細、および早急な発注またはカタログにおける関心のある品目のリストに選択した品目を単に付加すること等の注文の状況を識別する。
【００４１】
さらなる詳細なレベルで、視聴者は、番組への入力を選択し得、「保存済」または「発注済」等の入力の状況を含むカタログリストへの個別入力をリビューし得る。入力「保存済」は、品目がリスト上に入力されたが発注されていないことを意味する（すなわち、品目に関するデータはロックされている）。「発注済」は、その名称が示すように、リスト上の品目に関する実際の注文がバックチャネルを介して行なわれたことを示す。視聴者は、依然として詳細な下位レベルでリストに呼び掛け得、（例えば、製造元、型、説明、価格、発注量、色等）の品目の細目を見る。品目が商品でないが、例えば、あるシーンに登場する俳優に関する伝記的な情報等、視聴者の関心の対象となる情報である場合、下位レベルでの照会によりその情報が表示される。１実施形態において、カタログにわたるナビゲーションは遠隔操作によって実行される。
【００４２】
視聴者は、上述のような取引を行なう際に用いるための口座を開設し得る。１実施形態において、視聴者は、自分の名前、配達先、およびクレジットカード番号、またはデビットカード番号等の金融情報等の情報を入力し得る。これは、視聴者が、友人宅またはホテルの部屋の受信器といった、システムにより操作する任意の受信器から発注することを可能にする。別の実施形態において、視聴者は、例えば、放送局によるサービスの供給と関連付けられた契約口座番号等の契約口座番号およびパスワード等の識別子を用い得る。このような状態では、放送局は、視聴者の自宅の住所および他の配達に関する情報ならびに視聴者との取引口座（ｏｐｅｎ　ｆｉｎａｎｃｉａｌ　ａｃｃｏｕｎｔ）を既に有している。このような例において、視聴者は、パスワードを使用することによって、自分が所望する発注および確認を行なうだけである。さらに別の実施形態において、視聴者は個人用カタログ（ｐｅｒｓｏｎａｌｉｚｅｄ　ｃａｔａｌｏｇ）を設け得る。このような状態の例のように、家族構成員には個人用カタログが与えられ得、支出限度まで、および家族の中の経済的責任を負う個人と予め取り決められたルールによって商品およびサービスを注文し得る。
【００４３】
視聴者および放送システムの位置に依存して、バックチャネルを介して伝達された情報のフォーマットは、（米国で用いられるような）ＱＰＳＫ変調、（欧州で用いられるような）ＤＶＢ変調、または他のフォーマットのうちの１つであり得る。伝送におけるセキュリティの必要性に依存して、バックチャネルを介して伝送されるメッセージは、任意の暗号法を用いて全体または部分的に暗号化され得る。バックチャネルを介して通信される情報は、（例えば、一意の識別子またはデジタルサイン等）送り手の認証に関する情報、（例えば、エラー訂正法またはＣＲＣのようなシステム等）通信の統合、取引の否認防止（ｎｏｎ−ｒｅｐｕｄｉａｔｉｏｎ）に関する情報、サービスの拒否の予防に関するシステムおよび方法、および通信のプライバシー、認証、および法的拘束力のある通信の性質に関する他の類似の情報を含み得る。
【００４４】
通信されている情報の種類に依存して、例えば、視聴者の放送素材に対する応答およびペイパービュー素材へのリクエストに関する情報は、放送局に向けられ得る。例えば、シャツの注文等の情報は、広告主に向けられ得る。例えば、第３者によって制御されるデータベースへアクセスするリクエスト等の情報は、第３者に向けられ得る。
【００４５】
図４Ａを参照して、本発明の実施形態の詳細が示される。上述のように、本発明により構成されたハイパーリンクされたビデオ放送システムは、伝送部分１０、通信チャネル部分１２、および受信部分１４を含む。図４Ａに示されるように、伝送部分１０は、ビデオソース２０、オーサリングツール２４および生成後の環境３２’を含む。通信チャネル部分１２は、オブジェクトデータベース２８、データベース３３、第２のデータベース３０、ネットワーク３１、ヘッドエンド５０およびヘッドエンドデータベース５２を含む。受信部分１４は、デジタル受信器５４、代替的ネットワーク接続５６およびＴＶディスプレイ５８を含む。ヘッドエンド５０およびデジタル受信器５４は、上述のバックチャネル通信を備える通信接続５５によって接続される。
【００４６】
ビデオソース２０によって生成されるビデオデータは、第１のデジタルビデオデッキ（ＶＴＲ１）３６’、第２のデジタルビデオデッキ（ＶＴＲ２）３６’、オーサリングツール２４およびＶＡＮＣデータ符号エンコーダ４０’を含む生成後の環境３２’への入力である。当業者に公知のように、ＶＡＮＣ符号エンコーダ４０’は、データをデジタルで符号化されたビデオ信号の特定の領域に挿入するように設計される。通常、ＶＡＮＣデータは、ベースバンドビデオおよびオーディオ信号を伴ない、これらと同期化された状態で保持される。これは、ベースバンドビデオおよびオーディオ信号は、放送および通信インフラストラクチャによってルーティングされ、記録され、かつスイッチングされるからである。なかでも、ＶＡＮＣデータのプロトコルは、標準仕様ＳＤＩ（ＳＭＰＴＥ　２５９Ｍ）およびＨＤ−ＳＤＩ（ＳＭＰＴＥ　２９２Ｍ）にて使用可能である。ＶＡＮＣデータは、アナログビデオ信号の垂直帰線消去期間（ＶＢＩ）内に格納されたデータと類似である。当業者に公知のように、ビデオデータのデジタルバージョンは、ＨＤＣＡＭ、ＤＶＣ−ＰＲＯといった固有のフォーマットまたは非固有のフォーマットのどちらかであり得る。当業者にさらに公知であるように、ＶＡＮＣデータ領域は、ユーザ供給データが挿入され得る唯一のデータ領域である。
【００４７】
上述のように、ビデオソース２０からのビデオデータは、オーサリングツール２４への入力である。オーサリングツール２４は、ビデオデータと関連する注釈情報を生成し、その後、オブジェクトデータベース２８に格納する。オーサリングツール２４は、さらに、ＶＡＮＣ符号エンコーダ４０’にタイミング情報を提供する。本実施形態によると、タイミング情報は、１）ビデオデータのフレーム番号および／またはタイムスタンプ情報、２）予定された放送の日およびチャネルを含むビデオデータに含まれる番組を一意的に特定する番号といった、ビデオデータを識別する識別子、および３）その詳細は後述される、ヘッドエンド５０にて用いられるコマンドデータ、を含む。代替的実施形態において、ビデオソース２０からのビデオデータが、オーサリングツール２４への入力ではなく、タイムコードといったタイミング情報が、自動または手動の手段による、オーサリングツール２４への入力である。
【００４８】
同期データの生成がタイミング情報のみを必要とし、グラフィック情報は必要としない場合、注釈データはオーサリングツール２４によって提供されるが、入力としてのビデオデータを含まない。例えば、現在のシステムを用いるオーサがゲストに提供される応答期間の終了と一致するようにゲームショーにカウントダウンタイマを付加することを考慮されたい。カウントダウンタイマと関連するマスクおよび注釈データを挿入するために、オーサリングツールは、同期化の目的で、タイムコード情報のみを必要とする。オーサリングツール２４は、ビデオデータ内に含まれるグラフィック情報を必要としない。
【００４９】
動作時では、オーサリングツール２４は、ＶＡＮＣデータエンコーダ４０’によって挿入されたタイミング情報とビデオソース２６からのデータとを同期化させる。オーサリングツール２４は、ビデオソース２６とＶＴＲ１　３６’とを制御することによってこれを達成する。オーサリングツール２４は、その制御を使用して、ビデオの特定のフレームのためのタイミング情報が、ビデオデータの対応するフレームと同時にＶＡＮＣデータエンコーダ４０’によって受信されることを確実にする。ビデオデータおよびタイミング情報を受信する際に、ＶＡＮＣデータエンコーダ４０’は、ＶＡＮＣフォーマットによる適切なビデオフレームの垂直補助空間にタイミング情報を挿入する。一実施形態では、ＶＡＮＣデータエンコーダ４０’からの出力は、通信チャネル部１２に伝達される（３７’）前に、ＶＴＲ２　３６’によって記録される（３７）。この実施形態の改変では、データは閉じた捕獲データのために保存されたＶＡＮＣフォーマット内のフィールドに挿入される。別の実施形態では、ＶＡＮＣデータエンコーダ４０’からの出力は、ＶＴＲ２　３６’によって記録されることとは対照的に、通信チャネル部１２に直接伝搬される（４１）。
【００５０】
別の実施形態では、タイミング情報等のユーザデータはビデオデータに直接挿入される。この実施形態では、ビデオソース２６からのビデオデータのコピーは、ファイルとしてオーサリングツール２４にロードされ、オーサリングツール２４は、タイミング情報等のユーザデータをファイルに挿入するようにファイルのＶＡＮＣ部分を操作する。本実施形態は、ビデオデータのバージョンがＶＴＲ１　３６’によって再生されること、タイミング情報がＶＡＮＣエンコーダ４０’によって挿入されること、またはＶＡＮＣエンコーダ４０’の出力がＶＴＲ２　３６’によって記録されることを要求しない。別の実施形態では、タイミング情報等のユーザデータがビデオソース２６から読み出され、ビデオデータ信号のＶＡＮＣ部分への挿入のためにＶＡＮＣデータエンコーダ４０’に提供される。本実施形態では、オーサリングツール２４は、ビデオソース２６およびＶＴＲ１　３６’の動作を制御しない。
【００５１】
ＶＡＮＣデータの挿入の後に、デジタルビデオデータ信号は、点線５１によって示されるように種々のメディアによって、通信チャネル部１２（特に、ヘッドエンド５０）に伝搬される。上述したように、通信チャネル部１２の伝搬メディアは、ケーブルインフラストラクチャ、地上放送インフラストラクチャ、マイクロ波リンク、または衛星リンクを含む。このメディアはまた、受領部１４によって受信されるまで、ビデオデータを保持する任意の中間格納媒体を含み得る。このような中間格納媒体は、ビデオディスク、テープまたはカセット、コンピュータメモリ、あるいは当業者に公知の他の格納媒体を含み得る。伝搬部１０の一実施形態では、デジタルビデオデータが点線３７’によって示されるようにテレビ放送ネットワークに伝搬されるテープ上に格納される。ビデオデータを放送する前に、ネットワークは、例えばＭＰＥＧエンコーダを用いてビデオデータをデジタルにエンコードする。このエンコードは、ＶＡＮＣエンコードから対応するＭＰＥＧエンコードまでのタイミング情報を伝搬することを含む。一実施形態では、ＶＡＮＣデータは、ＭＰＥＧストリーム内のプライベートデータパケットとしてエンコードされる。別の実施形態では、ＶＡＮＣデータは、閉じた捕獲フィールド等のＭＰＥＧビデオパケット内のデータフィールドにエンコードされる。通信チャネル部１２の一実施形態では、エンコードされたビデオデータは、さらなる処理および配信のためにケーブルヘッドエンド５０に伝搬される。通信チャネル部１２の別の実施形態では、示されないが、エンコードされたビデオデータが、個人用衛星反射器等による受領のために受領部１４に直接伝搬される。
【００５２】
図４Ｂを参照すると、デジタル信号を受信できるヘッドエンド５０の１実施形態の詳細が示されている。ヘッドエンド５０は、デジタルデコーダ１０８’（例えば、ＭＰＥＧデコーダ）、秘密データ受信機／デコーダ１３０（例えばクローズドキャプショニング受信機／デコーダ）、ＭＰＥＧエンコーダ等のデジタルエンコーダ３６’、オブジェクトストリーマ１３２、ネットワーク接続１３４（例えば、上述されたバックチャネル通信と共に用いられる）およびマルチプレクサ１３６を含む。デジタルデコーダ１０８’は、通信チャネルポーション１２のいずれか５１から受信された入来デジタル暗号化画像データを復号化し、復号化された画像データを秘密データデコーダ／受信機１３０およびデジタルエンコーダ３６’に通過させる。秘密データデコーダ／受信機１３０は、タイミング情報を抽出し、タイミング情報をオブジェクトストリーマ１３２に通過させる。ＭＰＥＧデコーダ１０８’およびＭＰＥＧエンコーダ３６’は冗長なステップと思われるかもしれないが、当業者は、現在のデジタルケーブルまたはサテライトヘッドエンド５０のこのようなコンフィギュレーションを認めている。このようなセットアップにより、ヘッドエンド５０のオペレータは、例えば、アナログ画像（グラフィック挿入等）を意図した旧型の機器を用いて画像信号上の操作を実行できるか、または、バンド幅の最適な使用を確実にするために統計型マルチプレクサを用いて画像を再暗号化できる。
【００５３】
１実施形態において、オブジェクトストリーマ１３２は、タイミング情報を受信する前に、ネットワーク３１を介して第２のデータベース３０から、ファイルが含んでいる注釈データを受信する。上述されたように、注釈データは、画像データにおいて識別されたオブジェクトとのビューワの相互作用を可能にする。注釈データは、オブジェクトストリーマ１３２自体に格納され得るか、または、オブジェクトストリーマ１３２によってローカルヘッドエンドデータベース５２からアクセスされ得る。一般に、ファイルのコンテンツは、図２Ｂ、２Ｃおよび２Ｄを参照にして上述されたように、生成され、フォーマット化される。上記で示されたように、このフォーマットは、注釈データがビューワへの提示のために必要とされる画像送信の任意のポイント前に、注釈データがデジタル受信機５４によって受信されることを確実にする。
【００５４】
上述された１実施形態において、秘密データにより、または、画像フレーム内のフィールドにより、転送されるタイミング情報は、タイムスタンプおよび／またはフレーム番号、プログラム識別子およびコマンドデータを含む。コマンドデータは、例えば、注釈データのセットのストリーミングを開始または停止させるための、オブジェクトストリーマ１３２への命令を提供する。ストリーミングを開始するためのコマンドを受信すると、オブジェクトストリーマ１３２は、現在の画像データに対応する注釈データのファイルの位置を探すために、プログラム識別子を用いる。次いで、オブジェクトストリーマ１３２は、図２Ｄに示されるように、注釈データおよびタイミング情報の送信と、デジタルエンコーダ３６’からのデジタル暗号化された画像データ送信とを同期化するために、タイミング情報内のタイムスタンプ情報およびヘッダ３８内のタイムスタンプ情報を用いる。デジタル暗号化された画像データ、タイミング情報および注釈データから、マルチプレクサ１３６は、増大した転送ストリーム４６を生成し、この転送ストリーム４６は、デジタル受信機５４に送信される。デジタル受信機５４は、ビューワへの提示について上述されたように、増大した転送ストリーム４６を処理する。上記で示されたように、デジタルデコーダ１０８’およびデジタルエンコーダ３６’は、本実施形態に必ずしも必要ではないが、ヘッドエンド５０において共通である。例えば、デジタルデータデコーダ１３０およびマルチプレクサ１３６に直接に入力される入来ＭＰＥＧ転送ストリームを考えてみよ。
【００５５】
図４Ｃを参照すると、本発明の実施形態の詳細が示されている。さらに、上述のように、本発明にしたがって構成されたハイパーリンクされたビデオ放送システムは、送信部１０、通信チャネル部１２、および受信部１４を含む。図４Ｃに示されるように、送信部１０は、ビデオソース２０、オーサリングツール２４、および製作後環境３２’’を含む。通信チャネル部１２は、オブジェクトデータベース２８、データベース３２、第二のデータべータベース３０、ネットワーク３１、ヘッドエンド５０、およびヘッドエンドデータベース５２を含む。受信部１４は、デジタル受信器５４’、代替ネットワーク接続５６およびＴＶディスプレイ５８を含む。ヘッドエンド５０およびデジタル受信器５４’は、通信接続５５によって接続される。この通信接続５５は、上記のバックチャネル通信を含む。
【００５６】
上記のように、ビデオソース２０によって製作されたビデオデータは、オーサリングツール２４および製作後環境３２’’への入力になる。製作後環境３２’’は、第一のアナログビデオデッキ（ＶＴＲ１）３６’’、第二のアナログビデオデッキ（ＶＴＲ２）３６’’、オーサリングツールソフトウェア２４およびＶＢＩインサータ４０’’を含む。当業者に公知のように、ＶＢＩインサータ４０’’は、アナログビデオ信号のＶＢＩ内のデータを記録する。ＶＢＩ内の送信のために指定された情報は、閉じられた表題情報（ｃａｐｔｉｏｎｉｎｇ　ｉｎｆｏｒｍａｔｉｏｎ）および小量のユーザ供給データを含む。ＮＴＳＣビデオシステムにおいて、ＶＢＩラインナンバー２１に含まれる情報（ＶＢＩの閉じられた表題フィールドとして知られている）は、ビデオ信号が視聴者に送信されるので、通常、通信および放送基盤によって変更されない。これによって、ＶＢＩライン２１は、ビデオを厳密に同期させなければならないデータに対して理想的な位置にされる。上記のように、タイミング情報に加えてグラフィカル情報がオーサリングプロセスの一部として要求される場合に、ＶＴＲ１　３６’’からのビデオデータは、デジタル化され、そして、入力としてオーサリングツール２４に与えられる。タイミング情報のみがオーサリングプロセスの一部として要求される場合、ＳＭＰＴＥタイムコード等のタイミング情報は、自動的または手動のいずれかの手段によってオーサリングツール２４に入力され得る。オーサリングツール２４は、ビデオデータに関連する注釈データをオブジェクトデータベース２８内にネットワーク３１を介するアクセスのために格納する。
【００５７】
動作において、ＶＴＲ１　３６’’は、オーサリングツール２４によって制御され、ビデオソース２０からＶＢＩインサータ４０’’へのアナログバージョンのビデオデータを再生するために用いられる。ＶＴＲ１　３６’’に入力されたビデオデータは、アナログフォーマットまたはデジタルフォーマットのいずれかであり得る。ＶＴＲ１　３６’’からのアナログビデオ信号との同調性において、オーサリングツール２４は、タイミング情報をＶＢＩインサータ４０’’に提供する。ＶＢＩインサータ４０’’は、タイミング情報をアナログビデオ信号のＶＢＩにおいてアナログフォーマットで符号化する。一実施形態では、ビデオ信号における各フレームのＶＢＩは、フレームに対応するタイミング情報とともにロードされる。別の実施形態では、定期的な間隔での所定のフレームのＶＢＩは、対応するタイミング情報とともにロードされる。ある例示的な例では、６０番目の領域毎のＶＢＩは、タイミング情報とともにロードされる。ＮＴＳＣ−Ｍ環境において、これは、オーサリングツール２４によって秒毎に提供されるタイミング情報に対応する。関連のさらなる実施形態において、タイミング情報を含まないＶＢＩラインは、アナログビデオ信号に対応する注釈データとともにロードされる。ＶＢＩインサータ４０’’によるタイミング情報出力３７’’’を含むアナログビデオ信号は、ＶＴＲ２　３６’’によって記録される。
【００５８】
ＶＴＲ２　３６’’によって出力されたアナログビデオ信号は、点線５１によって示されるように、様々な媒体により、通信チャネル部分１２、詳細にはヘッドエンド５０に転送される３７’’’’。一実施形態において、ＶＴＲ２　３６’’を通りすぎること４１’によってアナログビデオ信号は、通信チャネル部分１２に直接転送される。上述されるように、通信チャネル部分１２の伝達媒体は、ケーブル基盤、地上波放送基盤、マイクロ波リンク、または衛星リンクを含む。媒体はまた、受信部分１４によって受信されるまで、ビデオデータを維持する任意の中間記憶装置を含み得る。このような中間記憶装置は、ビデオディスク、テープまたはカセット、コンピュータメモリ、または当業者に公知の他の格納デバイスを含み得る。
【００５９】
伝達部分１０の一実施形態において、アナログビデオデータは、テレビ放送ネットワークに転送される３７’’’’テープに格納される。テレビ放送ネットワークを含む通信チャネル部分１２のさらなる実施形態において、アナログビデオ信号は、ヘッドエンド５０に直接伝達される。テレビ放送ネットワークを含む通信チャネル部分１２のさらなる別の実施形態において、アナログビデオ信号は、ヘッドエンド５０に伝達される前にデジタルにエンコードされる。本実施形態において、ヘッドエンド５０は、図４Ｂについて上述されるヘッドエンド５０である。別の実施形態において、アナログビデオ信号は、伝達部分１０からヘッドエンド５０に直接転送される４１’。さらなる実施形態において、伝達部分１０（例えば、トランスミッタ３２’）から受信されるデジタルにエンコードされるビデオデータは、ヘッドエンド５０または受信部分１４に伝達される前にアナログフォーマットに転送される。
【００６０】
図４Ｄについて、アナログ信号を受信できるヘッドエンド５０の一実施形態の詳細を示す。ヘッドエンド５０は、例えば、上述されるバックチャネル通信で用いられる、ＶＢＩデータの受信器１３０’、ＶＢＩ挿入器４０’’’、オブジェクトストリーマ１３２、およびネットワーク接続１３４を含む。ＶＢＩデータ受信器１３０’は、通信チャネル部分１２の他の部分から（例えば、テレビネットワーク）伝達されるか、または伝達部分１０から直接伝達されるアナログビデオ信号を入力するときに受信する。ＶＢＩデータ受信器１３０’は、ビデオ伝送のＶＢＩ部分に格納されるデータの存在を検出して、そのデータを抽出する。タイミング情報がアナログビデオ伝達において存在する場合、タイミング情報は、オブジェクトストリーマ１３２に通される。
【００６１】
上述されるように、タイミング情報を受信する以前に、オブジェクトストリーマ１３２は、第２のデータベース３０からネットワーク３１を介して、注釈データを含むファイルを受信している。本実施形態において、オブジェクトストリーマ１３２の操作は、図４Ｂに関する上述に類似する。特に、オブジェクトストリーマ１３２は、タイミング情報のタイムスタンプ情報、およびヘッダ３８のタイムスタンプ情報を用いて、ＶＢＩ挿入器４０’’’に通されたアナログビデオ信号と注釈データの伝達とを同期させる。ＶＢＩ封入器４０’’’は、ビデオ信号のＶＢＩ部分において既に存在するタイミング情報と注釈データとを組み合わせて、拡張されたアナログビデオ信号を生成する。この信号は、デジタル受信器５４’に送信される。別の実施形態において、図示されないが、注釈データは、帯域外サーバに入力され、帯域外チャネルを介してヘッドエンド５０からデジタル受信器５４’に放送される。デジタル受信器５４’がＶＢＩデータ受信器を有していない場合、または注釈データがあまりに大きすぎて、ビデオ信号のＶＢＩに挿入できない場合のどちらかにおいて、この方法が使用される。
【００６２】
図４Ｅを参照して、デジタル受信器５４’の詳細が示される。ケーブルテレビ技術の当業者に公知であるように、用語「デジタル受信器」は、デジタルおよびアナログ信号を扱うことのできるケーブルセットトップボックスに関する。デジタル受信器５４’において、チューナ１００は、アナログ信号とデジタル信号とを受信し、かつ、見分ける。
【００６３】
チューナ１００がデジタル信号である場合、デジタル信号は、トランスポートストリームを生成する、ＱＡＭ復調器等のデジタル復調器１０４に伝送される。このトランスポートストリームは、次に、ＭＰＥＧデコーダ等のビデオデコーダ１０８リーダによって復号化される。ビデオデコーダ１０８は、フレームバッファ１１２で受信されたビデオフレームをバッファする。また、ビデオデコーダ１０８は、注釈データおよびタイミング情報を抽出して、処理するためにそれらをＣＰＵ１２４に送る。
【００６４】
チューナ１００がアナログ信号を受信する場合、アナログ信号は、ＮＴＳＣ復調器等のアナログ復調器１０４’に伝送される。アナログ復調器１０４’から出力されたオーディオ信号１１８’は、ＴＶディスプレイ５８への入力である。アナログ復調器１０４’からのビデオ信号出力１１９は、ＶＢＩデコーダ１０８’およびフレームバッファ１１２への入力である。デジタルの場合に類似して、フレームバッファは、それらがＴＶディスプレイ５８に送られるまでビデオフレームをバッファする。ＶＢＩ１０８’は、タイミング情報および注釈データを抽出し、処理するためにこの情報をＣＰＵ１２４に送る。以前に述べたように、注釈データは、また、帯域外チャネルチューナによって受信され、次いで、帯域外チャネルチューナは、処理するためにデータをＣＰＵ１２４に送る。
【００６５】
注釈データは、メモリ１２８に格納される。メモリ１２８は、また、注釈データおよび視聴者からの命令を処理するためのコンピュータプログラム格納する。デジタル受信器５４が注釈されたマテリアルを表示する命令を受信するとき、注釈データは、フレームバッファ１１２のうちのいくつかまたは全てを覆うコンピュータグラフィック画像とされる。タイミング情報を用いるビデオ信号とグラフィック画像との同期が図６に関して以下でより詳細に説明される。
【００６６】
図５は、注釈されたデータ情報を格納するために、本発明において用いられるデータ構造を示す。このデータ構造は、ビデオフレームで識別されたオブジェクトの位置および／または形に関する情報、ならびに、視聴者が識別されたオブジェクトと相互作用することを可能にする情報を格納する。特に、図５はビデオのフレーム２００を示す。このフレームは、第１のオブジェクトとしてシャツ２０５の画像、第２のオブジェクトとして帽子２０６の画像、および第３のオブジェクトとして半ズボン２０７を含む。１実施形態において、これらのオブジェクトの形状および／または位置を表すために、オーサリングツール２４はマスク２１０を生成する。異なった実施形態によると、このマスクは、２次元ピクセルアレイであり、各ピクセルは、ピクセルの色または強度値に関係なく、関連する整数値を有する。マスクは、オブジェクト（または表示の領域）を輪郭表示または強調表示することに、オブジェクト（または領域）が表示されるための視覚上の効果を変更および強化すること、オブジェクトとの固定的関係でグラフィックを配置すること、またはオブジェクトとの固定的関係で数を配置することで種々の方法を包括して位置情報を表す。上述のような代替的実施形態において、マスクは、ビデオフレーム内のオブジェクトの形状および／または位置を表す必要がなく、単に、グラフィックおよび／またはテキストデータを含み得る。
【００６７】
図５に示される現在の例示の実施形態において、システムは各フレームまたはビデオ画像に対して単一のマスク２１０を生成する。共通の構成要素および共通のカメラ遠近法（ｃａｍｅｒａ　ｐｅｒｓｐｅｃｔｉｖｅ）を共有するビデオ画像の収集がショットとして定義される。例示的マスク２１０において、４つの識別領域が存在する。すなわち、整数０によって識別される背景領域２１２、整数１によって識別されるシャツ領域２１３、整数２によって識別される帽子領域２１４、および整数３によって識別される半ズボン領域２１５である。当業者は、画像の輪郭の数学的記述等の、表示しているオブジェクトの代替的形態が同様に良好に用いられることを認識する。マスク２１０は、一意的識別子（ＵＩＤ）２１６、タイムスタンプ２１８、および認知の単語（ｖｉｓｉｂｉｌｉｔｙ　ｗｏｒｄ）２１９をそのオブジェクトと関連付ける。ＵＩＤ２１６は、特定のマスクと関連付けられたオブジェクトマッピングテーブル２１７を参照する。この同期化プロセスは、図６に関して、より詳細に後述される。認知の単語２１９は、システムによって用いられ、特定のビデオフレームにおいて認知できる、特定のショットにおけるこれらのオブジェクトを識別する。図５には示されないが、システムの他のすべてのデータ構造も、上述のように使用中ビットを含む。
【００６８】
図５に示されるデータ構造の例示的セットは、視聴者が以下のものを含む識別されたオブジェクトとの双方向通信を可能にする。すなわち、オブジェクトマッピングテーブル２１７、オブジェクトプロパティテーブル２２０、２２０’、１次ダイアログテーブル２３０、ダイアログテーブル２５０、２５０’、２５０’’、セレクタ２９０、２９０’、２９０’’、アクション識別子２５７、２５７’、２５７’’、書式シート２４０、およびストリング２３５、２３５’、２３５’’、２３５’’’、２５６、２５６’、２５６’’、２５９、２５９’、２５９’’、２５９’’’、２５９’’’’、２９２、２９２’、２９２’’、２９２’’’である。
【００６９】
オブジェクトマッピングテーブル２１７は、マスク２１０における識別された領域２１２、２１３、２１４、２１５の各々の領域数、および関心の対象となる各領域の対応するＵＩＤ２１６を含む。例えば、オブジェクトマッピングテーブル２１７において、シャツ領域２１３は整数値「１」として格納され、ＵＩＤ０１２３４を関連付ける。ＵＩＤ０１２３４は、オプジェクトプロパティテーブル２２０を示す。オブジェクトマッピングテーブル２１７においても、帽子領域２１４は整数値２として格納され、ＵＩＤ１０３２４を関連付ける。ＵＩＤ１０３２４は、オブジェクトプロパティテーブル２２０’を示す。オブジェクトマッピングテーブルは、整数１で始まる。なぜなら、背景のデフォルト値が０だからである。
【００７０】
通常、オブジェクトプロパティテーブルは、特定のオブジェクトに関する情報についての参照を格納し、視聴者のそのオブジェクトとの双方向通信を容易にする。例えば、オブジェクトプロパティテーブル２２０は、ＵＩＤ５６７８を有するタイトルフィールド２２１、ＵＩＤ９１０１１２を有する価格フィールド２２２、およびＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３を含む。第２のオブジェクトプロパティテーブル２２０’は、ＵＩＤ２３２３２３を有するタイトルフィールド２２１’、１次ダイアログフィールド２２３と同じＵＩＤ１３１４１５１６を有する１次ダイアログフィールド２２３’、およびＵＩＤ９１０１１３を有する価格フィールド２２２’を含む。タイトルフィールド２２１のＵＩＤおよびオブジェクトプロパティテーブル２２０の価格フィールド２２２は、それぞれストリング２３５、２３５’を示す。これらのストリングは、「クルーポロシャツ」という名称のシャツおよびその価格「＄１４．９５」についての情報を含む。オブジェクトプロパティテーブル２２０’のタイトルフィールド２２１’は、ストリング２３５’’を示す。このストリングは、「スポーツキャップ」という名称の帽子についての情報を含む。オブジェクトプロパティテーブル２２０’の価格フィールドは、ストリング２３５’’’を示す。当業者は、オーサリングされたビデオの所与のセクションに関して、オーサリングツール２４によって識別されたオブジェクトに対応して、多数のオブジェクトプロパティテーブルが存在することを容易に認識する。
【００７１】
オブジェクトプロパティテーブル２２０の１次ダイアログフィールド２２３のＵＩＤは、１次ダイアログテーブル２３０を示す。ダイアログテーブル２３０は、さらに、第２のオブジェクトプロパティテーブル２２０’の１次ダイアログフィールド２２３’のＵＩＤによって参照される。当業者は、第２のオブジェクトプロパティテーブル２２０’がビデオフレーム２００を含むプログラム内で識別される別のオブジェクトに対応することを容易に認識する。通常、ダイアログテーブル２３０は、視聴者と双方向通信するシステムによって用いられるテキストボックスおよびグラフィックボックスを構造化する。ダイアログテーブル２３０は、モデル表示制御器プログラミングパラダイム（ｍｏｄｅｌ−ｖｉｅｗ−ｃｏｎｔｒｏｌｌｅｒ　ｐｒｏｇｒａｍｍｉｎｇ　ｐａｒａｄｉｇｍ）でのデータモデルとして機能する。視聴者によって見られる表示は、ＵＩＤ１３５７９を有する書式シートテーブル２４０によって表され、制御器コンポーネントは、デジタル受信器５４上のソフトウェアによって供給される。例示的１次ダイアログテーブル２３０は、視聴者との双方向通信を開始するために用いられる。ダイアログテーブルのさらなる実施例は、特定の品目に関して入手可能な色２５０または大きさ２５０’、視聴者が購買したい品目の数を示すためのボックス、購買２５０’’を確認するためのボックス、および視聴者の購買について視聴者に礼を述べるボックスを含む。当業者は、このリストが網羅的ではないこと、および可能なダイアログテーブルの範囲が広範囲にわたることを認識する。
【００７２】
視聴者の画面上に表示される特定のダイアログテーブルの外観と感触は、書式シートによって制御される。書式シートは、モデル表示制御器プログラミングパラダイム、すなわち当業者に公知のソフトウェア開発パラダイムにおいて表示パラメータを制御する。ダイアログテーブル２３０の書式シートフィールド２３２は、書式シートテーブル２４０を示すＵＩＤ１３５７９を含む。書式シートテーブル２４０は、フォントフィールド２４１、形状フィールド２４２、およびグラフィックフィールド２４３を含む。動作中、これらのフィールドの各々は、適切なデータ構造リソースを示すＵＩＤを有する。フォントフィールド２４１は、フォントオブジェクトを指し、形状フィールド２４２は、異なった書式シートを有し、グラフィックフィールド２４３は画像オブジェクトを指し、これらは後述される。異なった書式シートを有することによって、本システムは、情報の提示を特定のプログラムに合わせることが容易にできる。例えば、人口統計学的に異なった分類の視聴者に対象を絞った２つの番組で１着のシャツの広告をすることを所望する小売業者は、製品情報を１度入力するだけでよい。これらの番組により支援される視聴者の双方向通信は、異なった書式シートが用いられるが、同じデータを参照する。
【００７３】
本実施形態の複数のデータ構造の名称とＵＩＤの対構成は、システムとの適合性の利点を提供する。特に、固定フィールドではなく、名称とＵＩＤの対を用いることによって、データタイプおよびプロトコルは、旧式のデジタル受信器ソフトウェアに影響を与えることなく拡張され得、同じ注釈のテレビ番組を複合的に用いることを可能にする。
【００７４】
本発明のシステムの柔軟性は、ＵＩＤが包括的に一意に定まるというシステムの要求によって強化される。例示的実施形態において、ＵＩＤは、ビットの第１のセットが特定のデータベースライセンスを表し、ビットの第２のセットが特定のデータ構造の構成要素を表す数として定義される。当業者は、これが特定の実施形態であり、ＵＩＤが包括的に一意に定まることを保証するための複数の方法が存在することを認識する。
【００７５】
ＵＩＤの包括的な一意性は、例えば、同じケーブルシステム上で放送する２つの放送網において、それらの放送の番組において識別される品目が区別され得ることが確実であり得るということである。これはさらに、ヘッドエンド受信器５０が特定のオブジェクトに関してネットワーク３１を介して、データベース３０、３３からデータを取出すことができることを意味する。なぜなら、オブジェクトはシステムのすべてのコンポーネントにわたって一意に定まる識別子を有するからである。ＵＩＤの包括的な性質は、異なったオブジェクトが区別できることをシステムが保証し得ることを意味し、さらに、本発明のシステムのユーザは、品目を区別しないという動作がより効率的である場合、品目を区別しないことを選択し得ることを意味する。例えば、複数の番組で同じシャツを販売する販売業者は、適切なオブジェクトデータを１度だけ入力するだけでよく、さらに、その販売業者はＵＩＤおよび参照されたデータを供給業者とともに用い得る。これにより、さらなるデータの入力オーバーヘッドを取除く。
【００７６】
本システムの本実施形態において、ＵＩＤの定義された４つのクラスが存在する。すなわち、空ＵＩＤ、リソースＵＩＤ、非リソースＵＩＤ、および拡張ＵＩＤである。空ＵＩＤは、ＵＩＤが任意のリソースを指さないことを示すシステムによって用いられ得る。リソースＵＩＤは、９つの別個のタイプのリソースを識別し得る。すなわち、オブジェクトマッピングテーブル、オブジェクトプロパティテーブル、ダイアログテーブル、セレクタ、書式シート、画像、フォント、ストリングおよびベクトルである。セレクタデータ構造およびベクトルリソースは後述される。画像リソース参照グラフィックはシステムによって用いられる。非リソースＵＩＤは、４つの種類の値を含む。すなわち、色値、アクション識別子、整数値およびシンボルである。視聴者によって行なわれるアクションの中で、アクション識別子は、「保存／ブックマーク」、「取消し」、「次の品目」、「前の品目」、「発注」および「終了」を含む。シンボルは、一対の名称ＵＩＤ名称を表し得る。システムは、スタック内で名称をルックアップし、関連するＵＩＤを表す。非リソースＵＩＤは、リテラル値を含む。拡張ＵＩＤは、システムがＵＩＤの大きさを増加させるようにするメカニズムを提供する。拡張ＵＩＤは、現在のＵＩＤがより長いＵＩＤの接頭語であることをシステムに示す。
【００７７】
システムが視聴者からの入力を必要とすると、このシステムはセレクタ２９０のデータ構造を用いる。セレクタ２９０のデータ構造は、一対のＵＩＤのテーブルであり、ここで第１のカラムは視聴者に表示されるべき品目のＵＩＤを含み、第２のカラムは各品目と関連付けられたアクションのＵＩＤを含む。デジタル受信器５４におけるソフトウェアがセレクタ２９０のデータ構造に遭遇すると、このソフトウェアは第１のカラムにおいて視聴者の画面上にすべての品目をレンダリングする。通常、選択は視聴者によって行なわれる。これらの品目は、ストリング、画像または非リソースＵＩＤの任意の組合せであり得る。画面上では、視聴者が品目をスクロールアップおよびスクロールダウンすることができる。視聴者が品目の１つを選択した場合、デジタル受信器５４におけるソフトウェアはその品目と関連するアクションを実行する。これらのアクションは、ダイアログボックスをレンダリングし、非リソースアクション識別子を実行するか、または別のセレクタ２９０’のデータ構造をレンダリングすることを含む。セレクタはメニュー１のフィールド２５３、２５３’、２５３’’、２５３’’’により参照される。
【００７８】
動作中、視聴者がオブジェクトを選択し、一連のデータ構造にわたってナビゲートすると、システムは、視聴者に情報を表示するために用いられる各連続データ構造をメモリ１２８におけるスタック上に配置する。例えば、図５に示されるデータ構造により支援される以下の視聴者双方向通信を考察されたい。最初に、視聴者は、オブジェクトマッピングテーブル２１７を介してオブジェクトプロパテイテーブル２２０’にシステムを配置し、オブジェクトプロパティテーブル２２０’をスタック上に配置させて帽子２１４を選択する。以下の議論において、視聴者によって参照される各データ構造がスタック上に配置されることが暗に示される。
【００７９】
次に、システムは、１次ダイアログテーブルを表示する。このダイアログテーブルは、帽子のタイトル２３５’’および価格２３５’’’を含み、ここで、視聴者に提供される情報の様式は書式シート２４０によって制御される。さらに、視聴者への初期の表示は、セレクタ２９０に含まれる情報に基づいてレンダリングされる一連の選択を含む。セレクタ２９０に基づいて、システムは、視聴者にストリング「終了」２５６、「購買」２５６’および「保存」２５６’’によって表される選択を提供し、これらの各々はそれぞれ、ＵＩＤ９９９９、８８８８および７７７７によって表される。アクション識別子の終了２５７’および保存２５７は、ＵＩＤ１０１２および１０２０それぞれによってシステムに照会される。
【００８０】
視聴者が「購買」ストリング２５６’を選択すると、システムはダイアログテーブル２５０、ＵＩＤ１０１１を用い、色のオプションを視聴者に表示する。特に、セレクタ２９０’は、システムを配向し、視聴者にストリング「赤」２９２、「青」２９２’、「緑」２９２’’および「黄」２９２’’’、ＵＩＤ１１１１、２２２２、３３３３、４４４４をそれぞれ表示する。ダイアログテーブル２５０のタイトルは、システムによって種々のシンボル１　２６６を通じて配置される。オブジェクトプロパティテーブル２２０’がスタック上に配置されると、シンボル１　２６６はＵＩＤ２００１と関連付けられる。従って、システムがシンボル１　２６６’に遭遇すると、このシステムは、シンボル１　２６６を配置するまで、スタックにわたってトレースアップし、次に、システムを配向してＵＩＤ２００１を介してストリング「色選択」２５９を表示する。
【００８１】
視聴者が「青」２２２２ストリング２９２’を選択すると、システムはＵＩＤ５５５５と関連付けられたアクション識別子を実行し、シンボル２、ＵＩＤ２００２を通じて配置されたストリング「大きさ選択」２５９と標識化されたダイアログテーブルを表示する。ＵＩＤ２００４によって配置されたセレクタ２９０’’に基づいて、ワンサイズのみ入手可能であるので、システムはストリング「大」２５９’’、ＵＩＤ１１２２をレンダリングする。視聴者が別の色を選択した場合、帽子は大きさでのみ入手可能であるので、この視聴者は同じダイアログテーブル、ＵＩＤ５５５５に向けられる。視聴者がストリング「大」２５９’’を選択した後、システムは視聴者にダイアログテーブル２５０’’、ＵＩＤ６６６６を提供し、購買を確認する。ダイアログテーブル２５０’’がセレクタ２９０’’、ＵＩＤ２００３を用い、視聴者にストリング「はい」ＵＩＤ１１１３および「いいえ」ＵＩＤ１１１４をそれぞれ提供する。視聴者が「はい」ストリング２５９’’を選択した後、アクション識別子の発注２５７’’、ＵＩＤ１０１３によって向けられ、システムは取引を伝送する。確認依頼に応答して、視聴者が「いいえ」ストリング２５９’’’を選択した場合、システムはアクション識別子の終了２５７’を実行することによって、特定の視聴者双方向通信を終了する。終了動作の一部として、システムは、スタックからオブジェクトプロパティテーブル２２０’を取り除き、次に続くすべてのデータ構造は、視聴者によるシステムとの特定の双方向通信に基づいてスタック上に配置される。同様に、システムによる購買リクエストの実行の後、システムは、データ構造をスタックから取り除く。
【００８２】
アクションが１つ以上の工程を必要とする場合、システムは、ＵＩＤの順序化ＵＩＤのセットであるベクトルリソースを用いる。例えば、視聴者が、自分が見つけた品目の参照を保存することを所望する場合、システムは、２つの動作を実行する必要がある。第１に、システムは、非リソース保存ＵＩＤによって示された実際の保存動作を実行しなければならず、第２に、システムは、視聴者に、品目が保存されたことを示すダイアログボックスを提供しなければならない。従って、保存することができるベクトルＵＩＤは、非リソース保存ＵＩＤおよびダイアログテーブルＵＩＤを含み、ダイアログテーブルＵＩＤは、適切なテキストを参照するダイアログテーブルを示す。
【００８３】
本発明のシステムの特定の利点は、データ構造が操作上効率的および柔軟であるように設計されていることである。例えば、データ構造の分散型の性質は、最小量のデータのみが伝送される必要があることを意味する。例えば、オブジェクトプロパティテーブル２２０、２２０’等の複数のデータ構造の構成要素は、例えば、ダイアログテーブル２３０等の同じデータ構造の構成要素を示し得、このデータ構造の構成要素は、１度伝送されるだけでよい。スタック動作は、データ構造の分散型の性質に呼応する機能を表し、例えば、帽子２１４はそれ自体のセレクタ２９０を有しないが、帽子が表示されたときは、セレクタ２９０は、依然として帽子２１４のために用いられ得る。データ構造の分散型の性質も、データの個別の要素が他のデータ構造に格納された情報を分散することなく、独立して変更され得るという利点も有する。
【００８４】
柔軟性を提供する本発明のシステムの別の局面は、可変データタイプとしてのシンボルをさらに用いることである。スタック上の参照によって供給される値を有することに加えて、シンボルは、初期のオーサリングプロセスの後の特定の時間に供給され得るリソースを参照し得る。例えば、シンボルは、ＤＴＶ放送基盤１２を方向づけ得、放送時間において価格を供給する。これは、例えば、販売業者が特定の伝送ケーブルシステムに依存してオブジェクトに異なった値段をつけることを可能にする。
【００８５】
本発明の分散型データ構造によって提供される柔軟性のさらなる局面は、これが複数の視聴者の相互通信の実例をサポートする点である。例えば、対話表およびその連結の順序付けにおける広い変化は、視聴者の相互通信の構造が適応性があり、作成者によって容易に制御されることを意味する。
【００８６】
このシステムによってサポートされる視聴者の経験が種々にわたっているという別の例は、複数のビデオストリーム間を切替える能力である。この特徴は、複数のプログラムストリーム（各プログラムストリームはビデオ情報、音声情報およびデータ情報から成り得る）から成るＭＰＥＧ２のトランスポートストリームの構造を用いる。ＭＰＥＧ２のトランスポートストリーム内で特定の周波数で１回伝達すると、同時に複数のデジタルテレビプログラムが得られ得る。当業者であれば、ＰＭＴと呼ばれるプログラムマッピング表をストリーム内の各プログラムに関連付けることによってこれが達成されることを理解する。ＰＭＴは、特定のプログラムに対応するストリーム内のパケットのパケット識別子（ＰＩＤ）を識別する。これらのパケットは、各プログラムのビデオパケット、音声パケットおよびデータパケットを含む。
【００８７】
図５Ａを参照すると、オブジェクトの特性表２２０’’が示されている。オブジェクトの特性表２２０’’は、対応するリンクタイプのエントリをＵＩＤフィールド内に有するリンクタイプフィールド２７０、および対応するＰＩＤ２２８を有するｓｔｒｅａｍ＿ｎｕｍ　ｆｉｅｌｄ２２７を含む。ビデオストリームの切替をイネーブルにするには、オーサリングツール２４は特定のプログラムストリームのＰＭＴ２２９のＰＩＤに対応するＰＩＤ２２８を選択する。オブジェクトの特性表２２０’’に対応するオブジェクトが選択されると、デジタル受信機５４はリンクタイプフィールド２７０のビデオリンクエントリ２７１を用いて、オブジェクトがビデオリンクオブジェクトであるか否かを判定する。次いで、デジタル受信機５４は、現在のＰＭＴのＰＩＤをＰＭＴ２２９のＰＩＤ２２８と交換する。続いて、デジタル受信機５４は、ＰＭＴ２２９を用いて新しいプログラムに対応するデータを抽出する。特に、ＰＭＴ２２９によって参照されるプログラムは、ＰＩＤ１７によって識別されるビデオストリーム２６０、ＰＩＤ１８およびＰＩＤ１９によって識別される２つの音声ストリーム２６１、２６２、およびＰＩＤ２０によって識別されるプライベートデータストリーム２６３を含む。このように、視聴者は、これらのストリームに関連付けられたオブジェクトを選択することによって、異なるプログラムストリーム間で切替ることが可能である。
【００８８】
図６は、図２に示すシステムの一実施形態のデータフローおよびフロー制御のフロー図５００である。図６は、視聴者がシステムのハードウェアおよびソフトウェアと相互通信する場合に行われる一連の工程を示す。図６において、マスク用のデータのストリーム５０２はマスク復号器５０４において復号される。復号されたマスク情報５０６は、マスク５０８、５０８’、５０８’’などのバッファまたはキュー内に置かれる。マスク情報５０６と同時に、イベントのストリーム５１０（割り込みと考えられ得る）は、イベント５１２、５１２’、５１２’’などのイベントキュー内に置かれ、イベント５１２は１対１の対応でマスク５０８に対応する。マスク５１４と呼ばれるスレッドはマスク５０８上で動作する。マスク５１４のスレッドは、マスクヘッダを探し出し、１つ以上のバッファを組み立て、そしてキュー内のマスク情報を処理して、マスク情報のディスプレイに対処する。
【００８９】
マスク情報を表示するには、解凍器５２８と呼ばれるスレッドは、例えば、（６４０×４８０）のピクセルの解像度を用いて、ビデオ画面５３０上で表示するのに適切なサイズ（例えば、（３２０×２４０）のピクセルの解像度）で維持されるマスクを復号して拡大する。１実施形態において、デジタル受信器５４、５４’によって受信されたマスク情報は、復元される必要がなく、受信されると表示する用意ができている。解凍器５２８のスレッドはまた、マスク情報にエンコードされたタイムスタンプを調べ、そして現在のビデオフレームのタイムスタンプとこれを比較することによって、マスク情報の表示とビデオとの同期を取る。マスクフレームがビデオフレームの前にある場合、解凍器のスレッドはビデオタイムスタンプとマスクタイムスタンプとの間の差を表す計算された時間量の間スリープする。この機構により、マスクがビデオオブジェクトにオーバーレイするように現れるように、マスクはビデオとちょうど同期が取られている状態が保たれる。
【００９０】
拡大されたビデオ伝送がデジタルフォーマットまたはアナログフォーマットでデジタル受信器５４、５４’に送信され、ここで、すべてのＶＢＩラインがタイミング情報を含む場合、現在のビデオフレームのタイムスタンプまたはフレーム数が、拡大された伝送内のタイミング情報から直接的に抽出され得る。拡大されたビデオ伝送が、周期的タイミング情報を含むアナログ信号を介してデジタル受信器５４、５４’に送信された場合、システムは、タイマーを用いて、各フレームのタイムスタンプおよび／またはフレーム数を回復する。１実施形態において、ＶＢＩにてタイミング情報を含むフレームが受信される毎に、タイムスタンプおよび／またはフレーム数が格納され、タイマーは再同期化される。各連続するフレームの、次のタイムスタンプおよび／またはフレーム数は、タイマーに基づいて格納されたタイムスタンプからオフセットとして計算される。これは、タイミング情報が受信され、プロセスが反復されるまで続く。
【００９１】
注釈データの第２のストリーム５１６は、オブジェクト５１８と呼ばれる第２のソフトウェアに提供される。オブジェクトデータストリーム５１６は、オブジェクト５１８のスレッドによって分析および復号される。オブジェクト５１８のスレッドは、各オブジェクトを復号し、これをオブジェクトの階層内に組み込む。オブジェクト５１８のスレッドの出力は、形状およびサイズなどの変化する特徴を有するオブジェクト５１９のストリームである。
【００９２】
モデル５２０と呼ばれるスレッドは、マスク５０８およびオブジェクト５１９を組み合わせて、システムのモデルを形成する。１実施形態において、マスク情報は、マスクオーバーレイ内に表される各オブジェクトの一意的なＩＤを含む。一意的なＩＤはモデル内に格納されるオブジェクトに対応する。モデル５２０のスレッドは、これらの一意的なＩＤを用いて、対応する情報の同期を取るかまたは照合する。
【００９３】
モデル５２０のスレッドは、スタック、ハッシュ表およびキューなどのハウスキーピング構造を含み、これらはすべて、ソフトウェア技術の分野の当業者に周知である。例えば、スタックを用いて、再構成され得る状態の一時的な表示を、メモリまたは呼び出され得るメモリ位置内に保持し得る。ハッシュ表を用いて、特定の種類のデータまたはデータへのポインターを格納し得る。キューを用いて、連続するビット、バイトまたはデータなどを格納し得る。モデル５２０はビュー５２６と呼ばれるスレッドと相互通信し、このスレッドは、テレビ画面などの画面５３０上に表示される情報を制御する。ビュー５２６のスレッドはモデル５２０のスレッドに含まれる情報を用いる。モデル５２０のスレッドは、相互通信コンテンツを有するまたは有さない特定の画像を表示するために必要な情報の追跡を保持する。ビュー５２６のスレッドはさらに、マスク５１４のスレッドとも相互通信して、適切な情報が正しい時間に表示画面５３０に利用可能にされることを保証する。
【００９４】
ソフト５２２と呼ばれるスレッドは、状態５２４と呼ばれる状態機械の機能を制御する。状態５２４の詳細を図７を参照してより完全に説明する。状態５２４はスレッドビュー５２６と相互通信する。
【００９５】
ごみコレクタ５３２は、古くなったデータおよび他の情報（例えば、すでに経過した時間に対応する、最後に用いたタイムスタンプを有するデータ）を集めて処分するように設けられる。ごみコレクタ５３２はシステムのメモリを定期的に一掃して、このような不必要なデータおよび情報を排除し、そして新しいデータおよび情報を格納するメモリ空間を回復し得る。このようなごみコレクタソフトウェアはソフトウェア技術分野において公知である。
【００９６】
図７は、状態機械の状態５２４内の状態間の相互通信を示す。状態機械の状態５２４は、作動されると、状態機械の状態５２４をリフレッシュされたスタートアップ状態にし、メモリコンテンツおよびスタックポインタなどのすべての調整可能な値をデフォルト値（必要な場合、ＲＯＭ、ＳＤＲＡＭ、磁気記憶装置、ＣＤ−ＲＯＭまたはメモリのプロテクト領域内に格納され得る）に設定するリセット６０２を含む。システムがリセットされた後、矢印６２０が示すように、その状態機械の状態５２４の状態を相互通信コンテンツアイコン６０４と呼ばれる状態に移行する。図７を参照されたい。
【００９７】
相互通信コンテンツアイコン６０４は、ロゴに類似した視覚画像が、テレビディスプレイ５８の規定された領域内に現れる状態である。視覚画像は「アイコン」と呼ばれる。したがって、アクティブな視覚画像の名が、相互通信コンテンツアイコンである。アイコンは、外観を変更したりまたは視覚効果を変更または強化することができる。相互通信情報が利用可能である場合、視覚効果を用いて、例えば、色を変更し、透明度を変更し、光度を変更し、明滅または点滅させ、または移動するように見せることによって、アイコンが表示される。
【００９８】
システムの視聴者は、手持ち式デバイス上のキーを押すことによって情報があることを示す表示に応答し得る。例えば、一実施形態において、右矢印または左矢印（コンピュータキーボード上の矢印または手持ち式ＴＶのリモートデバイスの音量ボタンに類似する矢印）を押すと、状態機械の状態５２４の状態が相互通信コンテンツアイコン６０４からマスクの強調表示（ＭＨ）６０６に変更する。相互通信コンテンツアイコン６０４からＭＨ６０６への状態の移行は矢印６２２によって示される。
【００９９】
状態ＭＨ６０６において、画像の１つ以上の領域が視聴者に表示されることが可能な素材に対応する場合、例えば、ビデオディスプレイ上に現れる領域の輪郭を描く外周ラインを有させることによって（図１Ｄ参照）、またはその領域またはその領域の一部分の外観を変更することによって、１つのこのような領域を強調表示する。一実施形態において、ある男性が着るシャツが強調表示されるオブジェクトである場合、キーを押すことに応答してシャツの輪郭が視覚的にくっきりと現れるか、キーを押すことに応答してシャツの外観が変化する。キーを繰り返し押したり、または他の矢印キーを押すと、テーブル上にあるワインボトルなどの別のオブジェクトが同様の方法で強調表示される。通常、強調表示されることが可能なオブジェクトは、キーを連続的に押すことによって連続的に強調表示される。
【０１００】
視聴者が所定の時間期間（例えば、１０秒間）どんな行為も行わない場合、状態機械の状態５２４の状態は、矢印６２４が示す相互通信コンテンツアイコン６０４に戻される。あるいは、視聴者が横方向を指す矢印以外のボタン（例えば、リモートコントロール上のナビゲーション矢印の中心に現れることが多い「選択」ボタン）を作動させると、状態は状態ＭＨ６０６から情報ボックス６０８と呼ばれる状態に進む。情報ボックス６０８は、情報がポップアップボックス（すなわち、情報ボックス）内に現れる状態である。ＭＨ６０６から情報ボックス６０８への状態の移行は矢印６２６によって示される。現れる情報は、情報の広告主または宣伝主によって指定され、そして例えば、強調表示されるオブジェクトのブランド名、モデル、価格、地方のベンダーおよび仕様を含み得る。一実施例として、メンズのシャツの場合、情報は、シャツのブランド名、価格、利用可能なサイズの範囲、利用可能な色の例、１つ以上のベンダーに関する情報、特別販売の提供に関する情報、および注文を行う際に連絡するための電話番号または電子メールアドレスに関する情報等を含み得る。
【０１０１】
視聴者が行い得る多くの応答が可能であり、これらの応答は、通常、矢印６２８によって示されるように、相互通信コンテンツアイコン６０４の状態に複数のパスを介して戻り得る。応答は、例えば、視聴者が、記載されたアイテムの購入を行ったり、さらなる情報に関して問い合わせたり、またはこのような購入を撤回することなどによって、視聴者が提供される情報に興味を有することを含み得る。
【０１０２】
システムが相互通信コンテンツアイコン６０４の状態にある間、視聴者は、バーストボタンを押して、バースト６１０と呼ばれる状態が作動され、相互通信コンテンツアイコン６０４からバースト６１０に移行する（６３０）。バースト６１０の状態において、ビデオディスプレイは、視聴者に提示され得る関連付けられた情報を現在有するオブジェクトすべてを連続して自動的に強調表示する。任意の１つのオブジェクトの強調表示期間は短く、０．０３〜５秒のオーダーであり、これにより、視聴者が短い時間内にどのオブジェクトが提示される関連付けられた情報を有し得るかを評価し得る。好適な強調表示期間は０．１〜０．５秒の範囲内である。バースト６１０の状態はラジオ受信機を走査する走査状態に類似している。ラジオ受信機内で、適切な信号の強度で受信され得る信号は短い時間で連続してチューニングされる。
【０１０３】
バースト６１０の状態は、関連付けられた情報を有する種々のオブジェクトが強調表示された後に、相互通信コンテンツアイコン６０４の状態に自動的に戻る（６３２）。システムが相互通信コンテンツアイコン６０４の状態に返った後、上述したように、視聴者は、関連付けられた情報を有する対象のオブジェクトを自由に作動させる。
【０１０４】
別の実施形態において、バースト６１０の状態は通信内に埋め込まれた命令によって呼び出され得る。さらに別の実施形態において、バースト６１０の状態は、定期的に呼び出されて視聴者にアクティブであり得る領域を通知し得、または１セットの可視性ビットを有する領域を含む新しいショットが開始する場合に、バースト６１０の状態が呼び出され得る。
【０１０５】
相互通信コンテンツアイコンを用いて、視覚の手がかりを視聴者に提供し得る。一実施形態において、画像の１つ以上の領域と共に視聴者に表示される素材がある場合のみ、相互通信コンテンツアイコンは現れる。
【０１０６】
一実施形態において、相互通信コンテンツアイコンは、バースト６１０の状態が呼び出された場合にアクティブである。相互通信コンテンツアイコンは、例えば、強化された視覚効果（これは、外見上は各可視領域が仮定する強化された視覚効果に類似している）で相互通信コンテンツアイコン自体を表示することによって、バースト６１０の状態が開始しているという信号の形態を取り得る。異なる実施形態において、強化された視覚効果は、色の変化、光度の変化、アイコン自体の変化、あるいはディスプレイ領域の点滅または明滅などであり得る。
【０１０７】
一実施形態において、領域が増えると相互通信コンテンツアイコンが増やされ、このアイコンを、コンパス上の点のように、またはデジタル受信機のリモートコントロールのキーのように形成し得る。増やされた領域は、同時または連続して、強化された視覚効果を用いて表示される。種々の実施形態の例示の実施例を、図８Ａから図８Ｇまで模式的に示す。図８Ａは非アクティブな相互通信コンテンツアイコンを示す。図８Ｂは、視覚的に強化されたアクティブな相互通信コンテンツアイコンを示す。図８Ｃは、バースト状態に入る相互通信コンテンツアイコンを示し、バースト状態において、北（Ｎ）、東（Ｅ）、南（Ｓ）および西（Ｗ）のコンパス位置を指す４つの矢じりが追加される。例えば、増やされた領域は、手持ち式デバイス上のボタンの形状を思い出させる形態で提示され得る。一実施形態において、北（Ｎ）および南（Ｓ）の矢じりはビデオの手持ち式リモート上でチャネルを変更するボタンに対応し得、東（Ｅ）および西（Ｗ）の矢じりはビデオの手持ち式リモート上で音量を変更するボタンに対応し得、これにより、これらのボタンを押すとバースト状態応答が呼び出されることを視聴者は思い出す。
【０１０８】
図８Ｄは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および北（Ｎ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｅは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および東（Ｅ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｆは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および南（Ｓ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。図８Ｇは、アクティブなバースト状態の相互通信コンテンツアイコンを示し、相互通信コンテンツアイコン自体および西（Ｗ）のコンパス位置を指す矢じりが強化された視聴効果と共に表示されている。
【０１０９】
上述したように、テレビ番組および利用可能にされ得る任意の注釈情報を含む、ビデオディスプレイ５８上に現れる情報は、ヘッドエンド５０からデジタル受信機５４に伝達される。ビデオ画像は通常多くの情報を含む。現代の高解像度のテレビのフォーマットにおいて、一つのビデオフレームは１０００本より多いラインを含み得る。各ラインは１０００ピクセルより多いピクセルを含み得る。所定のフォーマットで、２４ビットの整数が、各ピクセルを表示するのに必要である。このような大量の情報を伝達することは相当な負担である。伝達しなければならないデータ量を減らし得る圧縮方法は、テレビ通信技術において有用な役割を果たす。データファイルの圧縮は通常、コンピュータ技術の分野において周知である。しかし、画像圧縮の分野で特に用いられる新しい形態のファイル圧縮を本発明において用いる。
【０１１０】
１つの従来の圧縮プロセスは「ランレングス符号化」と呼ばれる。このプロセスにおいて、ビデオラインに連続して現れる各ピクセルまたは同一のピクセルのグループは順番になったペアとして符号化される。このペアは、同一のピクセルがいくつレンダリングされるかを示す第１の数、およびこのような同一のピクセルそれぞれの外観を規定する第２の数を含む。同一のピクセルのランが長い場合、このようなコード化プロセスは伝達される必要があるビットの総数を減らし得る。しかし、病理学の例において、例えば、各ピクセルがその前およびその後のピクセルとは異なり、コード化体系は実際には、ピクセルのシーケンス自体を表すために必要なビット数より多いビットを必要とし得る。
【０１１１】
一実施形態において、ランレングス符号化を改良したものは、「セクションランレングス符号化」と呼ばれ、これは、２つ以上の連続したラインが、同じ外観または色について同じランレングスのシーケンスを有するものとしてカテゴリー化され得る場合に得られる。２つ以上のラインはビデオ画像のセクションとして処理される。このようなセクションの一実施例は、背景をモノクロにして見られる人物である。トランスミッタは、セクション内のすべてのラインに有効である色のシーケンスを一つ提供し、次いで、それぞれ連続した色を有するラインごとのピクセル数を符号化することによって、このセクションを符号化する。この方法により、色ごとに長ったらしいビットパターンを必要とする冗長な色情報を繰り返し伝達することが防がれる。
【０１１２】
図９Ａは、背景７１０をモノクロ（例えば、青色の背景）にして示される人物７０５の画像７００を示す。図９Ａは、ビデオ画像の圧縮方法のいくつかの実施形態を示す。図９Ａにおいて、人物は皮膚の色を有し、これは領域７２０内に見られる。人物は紫色のシャツ７３０および緑色のパンツ７４０を着用している。符号器および復号器がルックアップテーブルを用いて、コード化された数を全（例えば、２４ビット）表示値に変換する場合、異なる色または外見が小さい値を有する数として符号化され得る。一実施形態として、背景色を、マスクを目的として、無効な視覚効果または透過的な視覚効果として規定し得、これにより、画像の元の視覚外観が改変することなく表示されることが可能になる。
【０１１３】
「セクションランレングス符号化」のこの実施形態において、符号器は各行７５２、７５４、７６２、７６４を走査し、そして各ランの色の値および長さを記録する。ランの数およびビデオフレームの第１の行７５２の色のシーケンスは、続く行７５４の色のシーケンスと合致しない場合、第１の行７５２はレングス１のセクションであるように符号化され、続く行７５４は次の続く行と比較される。２つ以上の行が同じ色のシーケンスを含む場合、セクションは同じ色のシーケンスを有する複数の行として符号化され、セクションの第１の行の色およびランレングスを表す一連の順序付けられたペアが続く。図９Ｂに示す３つの行を有する一実施例に関して、第１の行は色およびランレングスのペアの値（ｎ）を含む。残りの２つの行はランレングスのみとして符号化され、セクションの第１の行内で用いられる色は復号器によって用いられて、セクションの後の行を表示するための情報を再生する。一実施形態において、セクションをビデオラインまたは行の全範囲より小さく規定し得る。
【０１１４】
図９Ａを参照して説明する一実施例として、例示の行７５２および７５４は、ビデオ走査ラインに対応し、背景７１０、人物の皮膚７２０のセグメント、およびさらなる背景７１０を含む。例示の行７５２および７５４は両方、青色のピクセルのラン、皮膚の色のピクセルおよびさらに青色のピクセルを含む。したがって、行７５２および７５４、ならびに人物の皮膚の色の頭または首の部分を交差する他の隣接する行は、以下のように符号化される。すなわち、数は、ライン７５２、７５４に類似する行が正確には何本セクション（これは、青色の背景の、色−皮膚、色−青色の背景色パターンによって規定されている）内にあるかを示し；第１の行の符号化は、青色の背景色および関連付けられたピクセル計数を示す値、皮膚の色７２０および関連付けられたピクセル計数を示す値、および青色の背景色および別の関連付けられたピクセル計数を示す値を含む。セクション内の残りの行は、青色の背景色のピクセル計数を表す数として、皮膚の色７２０にレンダリングされるピクセル計数を表す数として、そして残りの青色の背景色のピクセルを表す数として符号化される。
【０１１５】
別の実施形態において、符号化される必要がある情報を減らすプロセスは、「Ｘランレングス符号化」と呼ばれ、これは識別されたオブジェクト内の情報のみを符号化することを含む。この実施形態において、符号化されるピクセルは、規定されたオブジェクト内、またはオブジェクトの輪郭内に現れるピクセルだけである。トランスミッタ内の符号器は順序付けトリプル（ｏｒｄｅｒｅｄ　ｔｒｉｐｌｅ）としてピクセルを表す。順序付けトリプルは、ラインの開始などの既知のピクセルに対してランの開始位置を規定する、値、ランレングスおよびオフセットを含む。受信機において、復号器は、順序付けトリプルを読み出して、符号化された情報によってピクセルをレンダリングすることによって、符号化された情報を回復する。
【０１１６】
図９Ａを再度参照すると、例示のライン７５２および７５４はそれぞれ、順序付けトリプルの数としてＸランレングス符号化プロセスで表される。順序付けトリプルの数は、皮膚の色７２０を示す数、いくつのピクセルが皮膚の色７２０にレンダリングされるべきかを示す数、および皮膚の色７２０にレンダリングされたピクセルが位置付けられるべき画像７００の一端部７１２からの距離を示す数である。例示的な一実施例を図９Ｃに示す。
【０１１７】
さらに別の実施形態において、セクションランレングス符号化プロセスおよびＸランレングス符号化プロセスの特徴を組み合わせた「Ｘセクションランレングス符号化」と呼ばれるプロセスを用いる。Ｘセクションランレングス符号化プロセスはコード化パラメータとして色値およびランレングスを用いるが、背景の符号化を無視する。この符号化体系の各エントリは、Ｘランレングス符号化と同様、順序付けトリプルの色値、ランレングス値およびオフセット値である。
【０１１８】
例示のライン７６２および７６４は、以下に示され得る連続したラインのセクションの一部である。すなわち、例示のライン７６２、７６４は順に、青色の背景７１０ｂのセグメント、紫色のシャツ７３０の腕部分、青色の背景７１０、紫色のシャツ７３０の主部、青色の背景７１０、紫色のシャツ７３０の他方の腕部分、および青色の背景の最後のセグメントである。例示のライン７６２、７６４および同じ色のパターンを有する他の隣接したラインは以下のように符号化される。すなわち、セクション内のライン数を規定する整数；第１のラインは色、ランレングスおよびオフセットを示す３つのトリプルの数として符号化され；そしてセクション内の残りのラインはランレングスおよびオフセットを示す３つの順序付けダブル（ｏｒｄｅｒｅｄ　ｄｏｕｂｌｅ）として符号化される。色値はセットのトリプルの数から復号され、そして以後、セクションの残りのラインに用いられる。順序付けダブルまたは順序付けトリプルによって規定されないピクセルは、背景色にレンダリングされる。例示の一実施例を、３つの行を用いて図９Ｄに示す。
【０１１９】
さらなる実施形態は、「スーパーランレングス符号化」と呼ばれるプロセスに関する。この実施形態において、ビデオ画像は、ＣＰＵによってセクションを含み得る複数の領域に分解される。ＣＰＵは上述の圧縮プロセスを種々の領域に適用して、セクションごとに最も効率的な圧縮プロセスの符号化を決定する。次いで、ＣＰＵは、各セクションが符号化されるプロセスを示すプリペンディッド（ｐｒｅｐｅｎｄｅｄ）整数または記号を加えて、最も効率的なプロセスの合成としてセクションごとに画像を符号化する。このスーパーランレングス符号化の例示的な一実施例は、画像７００の所定のラインのランレングス符号化、画像７００の他のライン（例えば、７５２、７５４）のＸランレングス符号化、画像７００のさらに他のライン（例えば、７６２、７６４）のＸセクションランレングス符号化などの組み合わせを用いた画像７００の符号化である。
【０１２０】
符号化体系の他の実施形態を用いてもよい。用いられ得る一実施形態は、前のラインからこの１本のラインのピクセルのオフセットを計算すること、例えば、続きのライン（例えば、図９Ａに示す人物の首の近位にあるラインなど）に少数のピクセルだけ移行して、背景を表すピクセルを有する移行されたラインのいずれかの端部で任意の規定されていないピクセルを満たすことに関する。このアプローチを、ランレングスおよび行位置情報の両方に適用し得る。この実施形態は、７個以下のピクセルのオフセットを、符号付きの４ビットの値として表して、このように符号化されるラインを規定するために伝達される必要がある情報量を大きく節約し得る利点を提供する。オブジェクトの多くの画像は、ラインからラインへの比較的少なめのオフセットを含み、そしてこのような符号化により、伝達されるデータが著しく減少し得る。
【０１２１】
別の実施形態は、輪郭の一端部において開始する順序付けペア（ｏｒｄｅｒｅｄ　ｐａｉｒ）として、輪郭の境界内にあるラン値を符号化することを含む。このような符号化体系の他の実施形態は、データ圧縮技術の分野の当業者に明らかである。
【０１２２】
本発明の目的を実行するために、画像コンテンツを効率的に表すことに加えて、画像コンテンツの分析を実行する能力が有用である。選択した人物、オブジェクトおよび特徴に注釈が割り当てられ得るように、複数のピクセルを含むテレビ画像を分析して、人物、オブジェクトおよび特徴の有無を決定し得る。人物、オブジェクトおよび特徴の動きも分析され得る。１つ以上の人物、オブジェクトおよび／または特徴に対する画像またはフレーム内のピクセルの割り当ては、このような分析が実行される前に実行される。
【０１２３】
分析は、画像を操作して、ぎざぎざまたはでこぼこの端部を有する画像ではなく、滑らかな画像、すなわち、見る人にとって好ましい画像を生成する際に有用である。分析をさらに用いて、ピクセルの規定された厚さを有する輪郭によって回りに線が描かれた画像領域を規定し得る。さらに、数学的関係を用いて領域を規定する能力により、領域が可視性または不可視性であるかを示す可視性ビットを用いて、そして、領域内のすべてのピクセルを特定の色または視覚効果にレンダリングすることを可能にする技術を用いて、このような領域を視覚的に改変することが可能になる。画像は、所定の内容を規定する領域に対して調べられる。例えば、図９Ａにおいて、シャツ領域７３０、頭領域７２０およびパンツ領域７４０が識別されている。
【０１２４】
一実施形態において、画像またはフレーム内のピクセルはある領域に属していると分類される。分類は、コンピュータのモニターなどの、デジタル表示デバイス上にデジタルの形態で提示されている画像と相互通信し得る閲覧者の観察に基づき得る。一実施形態において、作成者／注釈者は、マウス、または他のコンピュータポインティングデバイス、タッチ画面またはライトペンなどの入力デバイスを用いて画像領域に印付けし得る。別の実施形態において、ソフトウェアと共に、デジタルコンピュータまたはデジタル信号プロセッサなどの演算デバイスによって、領域を規定し得る。いずれかの実施例において、例えば、複数の領域が相互に接している場合、ある領域に属するものとして分類することが困難であるピクセルがあり得る。
【０１２５】
一実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、いくつかの工程を含むプロセスによって分類し得る。まず、ピクセルの分類を排除または中止する。分類解除したピクセルを、分類解除したピクセルの近位にある複数のピクセル（すなわち、近隣ピクセル）をカバーするように延びる分類形状の起点として用いる。このようにカバーされたピクセルを、その分類に関して調べ、そしてあいまいなピクセルを、近隣ピクセルの中で最も大きい表示を有するクラスに割り当てる。一実施形態において、近隣ピクセルはあいまいなピクセルの、次に近い近隣ピクセルを含む。一実施形態において、表示している関係の場合に、規則を適用して割り当てを行う。一実施形態において、規則は、最も重く表されたクラスに属する画像の左上の角にある最も近い隣接ピクセルのクラスなど、ピクセルに対する特定の位置にピクセルのクラスを割り当てるものであり得る。
【０１２６】
別の実施形態において、分類することが困難であるピクセル、またはその分類があいまいであるピクセルを、数学的形態学の原理の新しい実現を特徴とするプロセスによって分類し得る。数学的形態学は、数学的観点から画像のピクセルを表し、そして、例えば、デジタルコンピュータまたはデジタル信号プロセッサおよび適切なソフトウェアを用いた、プロパティのアルゴリズム演算および画像の変換を可能にする。数学的形態学の原理を用いて、種々の画像処理アプリケーションを作成し得る。本明細書において、原理のいくつかの非常に簡単な説明を提示する。具体的には、拡張および浸食として公知の方法を記載し、説明する。通常、拡張および浸食を用いて、領域の形状、サイズおよびいくつかの特徴を変更し得る。さらに、数学的形態学の原理を画像処理に適用するいくつかの例示的な例を説明する。
【０１２７】
拡張および侵食はピクセルのセット上で動作する基本的な数学的動作である。２次元空間の画像の観点からの一例示的な説明として、領域Ｒの点および２次元形態学的マスクＭのセットを考えられたい。バイナリの数学的形態学の観点から提示する例示の説明を、図１０Ａおよび図１０Ｂに関して与える。図１０Ａにおいて、形態学的マスクＭは、例えば、符号「＋」の形状の５ピクセルアレイの形状を有する。異なる形状の形態学的マスクを、得ようと思う効果に依存して選択し得る。領域Ｒは任意の形状であり得るが、例示を目的として、領域Ｒを図１０Ａに図示する不規則な形状にする。
【０１２８】
形態学的マスクＭは図１０Ａ内の画像にわたって移動する。この動作の結果は、アレイ内に記録され、図１０Ｂに示すフレームとして視覚的に表され得る。例示の形態学的マスクに関して、符号「＋」の垂直線および水平線の交点にあるピクセルを、「テスト」ピクセル、すなわち、適用される動作の結果によって、「点灯される」（例えば、１に設定される）または「消灯される」（例えば、０に設定される）ピクセルとして選択する。
【０１２９】
バイナリ侵食に関して、セット理論の観点から表される数学的規則は、形態学的マスクＭの１つ以上のピクセルと領域Ｒとの交点が、アレイ内に格納されるピクセルの状態、または図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定するものであり得る。この規則は、形態学的マスクを一度に１ピクセル移動させると、すべての指定のピクセル、すなわち、形態学的マスクＭのピクセルが領域Ｒのピクセルと交差する場合、テストピクセルは点灯され、そして図１０Ｂの対応するピクセルは点灯されたままの状態であることを意味する。マスクの走査を、例えば、画像の各行にわたって左から右、一番上の行から開始して下まで移動させて行い得る。数学的形態学の技術分野における当業者によって理解されるように、画像全体（または、少なくとも対象の領域）をカバーする他の走査経路を用い得る。この動作により、領域が滑らかになることが多く、形態学的マスクのサイズおよび形状に依存して、領域の等高線に沿った突起状の投影が取り除かれることが多い。さらに、形態学的マスクのサイズおよび形状に依存して、画像のサイズを縮小し得る。
【０１３０】
バイナリ拡張は、セット理論の観点から表される数学的規則を有し得る。この数学的規則は、形態学的マスクＭと領域Ｒとの結合が、図１０Ａのテストピクセルの位置に対応する図１０Ｂの位置にプロットされるピクセルの状態を規定する。形態学的マスクＭの所与の位置に関して、ＲのピクセルおよびＭのピクセルを調べて、Ｍ内の点灯された任意のピクセルがＲ内の点灯されたピクセルに対応する場合、テストピクセルが点灯される。この規則はさらに、上述したように、画像にわたって形態学的マスクを、例えば、画像の各行にわたって左から右、そしてここでも、一番上の行から下の行まで走査することによって適用する。この動作は、領域を拡大し、そして小さい穴を埋める傾向を有する場合がある。拡張および侵食の動作は可換的ではなく、これは通常、侵食に次ぐ拡張を適用することを拡張に次ぐ侵食を適用することと比べると、異なる結果が得られることを意味する。
【０１３１】
ちょうど説明したように、侵食および拡張の動作、ならびにこれらの基本的動作に基づいた他の動作を、２次元画像に見られるような空間内に規定されたピクセルのセットに適用し得る。図１１Ａおよび図１１Ｂに示す画像の時間シーケンスのピクセルのセットに対しても、同じ動作を等しく適用し得る。図１１Ａにおいて、時間は第３の次元として見られ得、各画像またはフレームを規定する２次元に対して直交する。図１１Ａは、Ｎ−１、ＮおよびＮ＋１として示される、３つの画像またはフレームを示し、フレームＮ−１が最初に表示され、フレームＮが次に現れ、そして最後にフレームＮ＋１が現れる。各フレームは、ｘ軸およびｙ軸を有するものと考えられ得る。例示的な一実施例において、各フレームは、４８０の水平行×６４０のピクセル（または４８０×６４０の列）を含む。行を上から下に番号付け、そして列を左端から右に進むように番号付けることが普通である。右上の角は行０、列０、すなわち（０、０）である。ｘ軸は、フレームの左側に沿って下へと移動するとｘ値が増加する行を規定し、ｙ軸は、フレームの上端に沿って右へと移動するとｙ値が増加する行ごとの列番号を規定する。次いで、時間軸（これに沿って時間が増加する）を、図１１Ａにおいて左から右へと水平に進むものとして見られる。
【０１３２】
２次元空間における侵食および拡張の動作は、画像またはフレームの平面内で方向付けられた、５ピクセルの符号「＋」などの形態学的マスクを用いた。続く説明に示すように、１次元の符号「＋」は時間軸に沿ってあり、他方は空間軸に沿ってあることを認識するならば、２次元の５ピクセルの符号「＋」を形態学的マスクとして用いる時間次元における動作が理解され得る。他の実施形態において、時間軸に沿ってのみ１次元の形態学的マスクを用い得、または２つの非共線空間方向において次元を有し、そして時間軸に沿って１つの次元を有する、３次元の形態学的マスクを用い得る。
【０１３３】
２次元の５ピクセルの符号「＋」の形態学的マスクの「テスト」ピクセルを、図１１ＡのフレームＮの行ｒ、列ｃ、すなわち位置（ｒ、ｃ）に配置する。符号「＋」の垂直線のピクセルは、フレームＮの行ｒ−１（行ｒの上の行）の列ｃ、そしてフレームＮの行ｒ＋１（行ｒの下の行）の列ｃにある。「テスト」ピクセルの「左」のピクセルは、図１１ＡのフレームＮ−１（フレームＮの前のフレーム）の行ｒ、列ｃにあり、「テスト」ピクセルの「右」のピクセルは、図１１ＡのフレームＮ＋１（フレームＮの次のフレーム）の行ｒ、列ｃにある。したがって、この形態学的マスクを用いた動作は、フレームＮに対応するフレームの行ｒ、列ｃにおいて視覚的に記録された結果を有し、この結果は、対応する位置にあるアレイ内に記録され得る。しかし、この実施例において、演算は、フレームＮ内にある３つのピクセル、フレームＮ−１内にある１つのピクセル、およびフレームＮ＋１内にある１つのピクセルに依存する。図１１Ａは、時間的に連続した画像を表す３つの画像またはフレーム上における５ピクセルの「＋」のマスクの使用を模式的に示し、図１１Ｂは、フレームＮに対応するフレーム内での演算の結果を示す。
【０１３４】
この発明のシステムにおいて、侵食および拡張の新しい形態を適用する。この形態において、一度に１つの領域（領域は「１」とラベル付けされ、非領域は「０」とラベル付けされる）上で作用させて、処理する領域が複数ある場合に、このプロセスを複数回繰り返すのではなく、すべての領域を１回で侵食および拡張する。侵食の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、形態学的マスク内のセットピクセル下にあるすべてのピクセルが３とラベル付けされる場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。拡張の場合、入力画像がＲ領域を含む（この領域のピクセルはそれぞれ、１、２、．．．ｒとラベル付けされる）場合には、例えば、ピクセルの中で最も大きい番号を有する領域がラベル３を有するピクセルである場合に限り、テストピクセルは「３」とラベル付けされる。そうでない場合、テストピクセルに０すなわち「分類無し」が割り当てられる。
【０１３５】
２次元フラッドフィル（ｆｌｏｏｄｆｉｌｌ）は、２次元表面の特徴を規定の特徴に変更する当該技術分野において周知の技術である。例えば、２次元フラッドフィルを用いて、画像の結合された領域の視覚効果を変更して、例えば、領域のすべてのピクセルを赤色に変更するなどの、規定された方法で変更し得る。３次元フラッドフィルを用いて、ボリュームのすべての素子を規定の特徴に変更し得る。例えば、ボリュームを用いて、シリアル番号が異なるか、または第３の次元としての時間の表示が異なる一連の連続した２次元画像内に現れる領域を表し得る。
【０１３６】
効率的な新しいアルゴリズムが開発されており、ボリュームの一部である領域を含む画像から開始する関連のある３次元ボリュームにフラッドフィルを実行する。概略すると、本方法は、ボリューム内の２次元表面において素子を選択することを可能にし、この選択した素子を含む領域上に２次元フラッドフィルを実行する。本方法は、第３の次元に沿った方向を選択し、連続的な表面がボリューム内に素子を含むか否かを判定し、そして素子を含む場合には、このような素子を含む領域の２次元フラッドフィルを実行する。本方法は、さらなる素子が見つからなくなるまで繰返し、そしてはじめにフラッドフィルが実行された領域に戻り、そして処理を繰り返しながら、反対の方向で第３の次元に沿って移動する。
【０１３７】
３次元フラッドフィル演算子を用いたアルゴリズムの画像処理技術が開発されており、作成者は不正確に分類された点グループ内の点を選択する。選択した点を、上述したように、分類方法を用いて再度分類し得る。次いで、選択した点と接触したピクセルのグループ全体を、選択した点の分類に再度分類する。前のフレームおよび次のフレーム内の再度分類したピクセルに隣接するピクセルも再度分類し得る。
【０１３８】
一実施形態において、再度分類される３次元ボリュームは、像平面を表す２次元、および時間を表す３次元を含む。この実施形態において、図１１ＡのフレームＮ内のすべてのピクセル（ｒ、ｃ）に関して、これらのピクセルは、フレームＮ内の２次元フラッドフィル動作に起因して、色Ａから色Ｂに変化している。図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）が現在、色Ａを割り当てられている場合、図１１ＡのフレームＮ＋１内のピクセル（ｒ、ｃ）で開始する２次元フラッドフィルが実行され、これにより、フレームＮ＋１内の色Ａを割り当てられたすべての接触ピクセルが変化する。図１１Ａを再度参照すると、フレームＮにおけるこのような処理を開始して、時間次元において後退して、フレームＮ−１に進むことが等しく可能である。一実施形態において、３次元フラッドフィル処理が、フラッドフィル動作の結果、ピクセルが変更を必要とするラベルを有さないフレームにおいて終了する。一実施形態において、時間的にある方向に進む３次元フラッドフィルが終了した後、最初のフレームＮで開始し、そしてプロセスが再度終了するまで、時間的に反対の方向に進めることによって、プロセスは続く。
【０１３９】
図１１Ｃは、本発明の一実施形態による、３次元フラッドフィルが達成される例示的なプロセスを示す流れ図１１５０である。プロセスは、「開始」とラベル付けされたサークル１１５２から開始する。工程１１５４によって示すように、オーサリングツールの演算子などのプロセスを行うエンティティ、あるいは、画像を分析してオブジェクトに対応する１つ以上の領域を画像内から探し出すコンピュータは、３次元フラッドフィルプロセスで満たされるボリュームの境界線を描く複数の連続した２次元セクションを選択する。一実施形態において、３次元ボリュームは第３の次元に対して直交して配置されている２次元のセクションを含み、各２次元セクションは、第１の座標および第２の座標によって識別される位置を含む。例えば、一実施形態において、２次元セクションは画像フレームであり得、第３の次元は、時間、すなわち連続的なフレームを識別するフレーム番号を表し得る。一実施形態において、第１の座標および第２の座標は、ディスプレイ上の画像フレーム内のピクセルの位置を規定する行位置および列位置を表し得る。
【０１４０】
工程１１５６において、プロセス演算子は、２次元セクションのうちの少なくとも１つのセクション内で複数の領域を規定し、各領域は少なくとも１つの位置を含む。これ以後のプロセスにおいて、プロセスは、ソフトウェアで符号化され得るような一連の命令を実行し得るコンピュータなどの機械を用いて実行される。コンピュータは、例えば、機械読み出し可能メモリ内で後に用いる定義に対応する情報を記録し得る。例えば、画像内において、演算子は、背景、およびシャツ２などの対象のオブジェクトを規定し得る。
【０１４１】
工程１１５８において、コンピュータは２次元セクションのうちの１つのセクション内で第１の領域を選択し、この領域はボリューム内に含まれており、このボリュームは選択された記号で満たされている。一実施形態において、記号は、色、強調表示または光度の変化などの、ディスプレイ上にレンダリングされた場合の視覚効果であり得るか、あるいは英数字の文字またはディスプレイ上でレンダリングされ得る記号などであり得る。
【０１４２】
工程１１６０において、ディスプレイを実行するコンピュータは、第１の領域を選択された記号で満たす。２次元の領域を記号で満たすには、ディスプレイ画面の規定された領域を規定された色にするなど、多くの異なる周知のグラフィックルーチンがある。任意のこのような周知の２次元グラフィックルーチンを実現して、２次元のフィリング（ｆｉｌｌｉｎｇ）工程を実行し得る。
【０１４３】
工程１１６２において、コンピュータは、第３の次元に沿って第１の方向で連続的な２次元セクションに移動する。一実施形態において、プロセス演算子は、第１の画像が選択される直前または直後に画像を移動させ、これにより、時間、すなわち画像シーケンスの方向が規定される。
【０１４４】
工程１１６４において、前の２次元セクションの２次元セクション内の満たされた位置に対応する連続的な２次元セクション内の位置がボリュームに属するか否かを判定する。プロセス演算子は、工程１１５６において達成された２次元領域の定義に記録された情報を探索する。
【０１４５】
工程１１６６において、コンピュータは工程１１６４で実行された判定結果に基づいて選択を行う。判定する工程１１６４の結果が肯定である場合、工程１１６８に示すように、コンピュータは、連続的な２次元セクション内に位置を含む領域を選択された記号で満たす。工程１１７０に示すように、コンピュータは、連続的な２次元セクション内の新しく満たされた領域から開始して、判定する工程が否定的な結果を出すまで、移動する工程１１６２、判定する工程１１６４、および満たす工程１１６８（すなわち、直前に挙げた工程）を繰り返す。
【０１４６】
上述の任意の判定する工程１１６４の結果が否定的であると、コンピュータは、工程１１５８で識別された第１の領域（これは、すでに満たされている）に戻って、第１の方向とは反対の方向で第３の次元に沿って移動し、上述したように、判定する工程の結果が否定的になるまで、移動する工程（例えば、工程１１６２に類似するが、反対の方向に進む工程）、判定する工程（例えば、工程１１６４などの工程）および満たす工程（例えば、工程１１６８などの工程）を繰り返す。このシーケンスは工程１１７２において、概略する形態で示されている。工程１１７４において、プロセスは、判定する工程の結果が否定的になると終了する。
【０１４７】
別の用途は、領域の輪郭を生成することを含む。これにより、例えば、領域のエンティティ内を強調表示したり、または領域の輪郭に関連付けられた視覚効果、または２つの効果の所定の組み合わせを変更することによって、領域を強調表示することが可能になる。一実施形態において、ラベル付けされた領域から輪郭を構築する方法を、図１２Ａ〜図１２Ｂに示すように実現する。入力画像１２１８内に輪郭１２１５を有するように輪郭が描かれた領域１２１０を図１２Ａに示す。奇数のピクセルを有する正方形の形態学的マスク１２２０は、そのサイズが所望の輪郭の厚さに比例し、そして領域１２１０上を通過する。入力領域１２１０内のあらゆる位置において、形態学的マスク内に入るピクセルは、それらがすべて同じであるか否かがチェックされる。同じである場合、図１２Ｂの出力画像１２３０内のテストピクセルに「０」が割り当てられる。ピクセルが形態学的マスク内の他のいずれのピクセルとも同じではない場合、形態学的マスクの中央ピクセル下に入るラベルが出力画像１２３０内のテストピクセルに割り当てられる。形態学的マスク１２２０が領域１２１０上を通過すると、結果得られる輪郭１２１５’が出力画像１２３０に生成される。他の実施形態において、偶数のピクセルを有する正方形の形態学的マスク、正方形以外の形状を有する形態学的マスク、および奇数のピクセルを有する正方形の形態学的マスクを用いて、出力画像１２３０内のテストピクセル１２２２に対応するピクセルのように、形態学的マスク内の特定のピクセルを選択し得る。
【０１４８】
当業者が、数学的形態学の原理を用いる際に、別の形態学的マスクおよび別の規則を用いて、上述の用途の実施例を解釈し得、そしてこのような原理に基づいた他の多くの同様の用途を理解することが理解される。
【０１４９】
一連の関連した画像において、または公園のベンチに座っている人物を示す画像のシーケンスなど、上述した１ショットにおいて、１つ以上の選択されたオブジェクトが複数のフレームにおいて続き得る。他の状況、例えば、公園のベンチに座っている人物が知覚した視野に場面が変わる場合など、画像が突然変わる状況において、第１の場面またはショットで識別されたいくつかまたはすべての領域は、第２の場面またはショットにはない場合がある。本発明のシステムおよび方法は、場面が変わった（例えば、新しいショットが開始する）こと、および第１の場面にある１つ以上の領域が第２の場面にないことの両方を判定し得る。
【０１５０】
一実施形態において、システムおよび方法は、ある画像から次の画像に変わったピクセルのヒストグラムを計算し、そして次のインスタンス（すなわち、時間展開）によるヒストグラムの傾斜を所定の傾斜値と比較することによって、場面またはショットが変わったことを判定する。図１３は、連続的なフレームにわたって（すなわち、経時的）ヒストグラムの展開の３つの例示的な実施例を示す。１番上の曲線１３１０は、０からの傾斜の変異が小さく、これは適度な速度の動きを表す。真中の曲線１３２０は、傾斜の変異がやや大きく、これは突然の動きを表す。１番下の曲線１３３０は、傾斜の変異が大きく、これはフレームＦにおけるショットの変化または場面の変化を表す。ヒストグラム評価プロットの傾斜が、１番下の曲線１３３０のように、所定の値を越えた場合、システムはショットの変化が生じたと判定する。
【０１５１】
本発明を特定の好適な実施形態を参照しながら、特に図示および説明してきたが、当業者であれば、上掲の特許請求の範囲に規定される本発明の意図および範囲から逸脱せずに、本明細書における形態および詳細を種々に変更し得ることを理解するべきである。
【図面の簡単な説明】
【図１Ａ】
図１Ａは、本発明のシステムによって生成されたようなビデオのフレームの列を示す。
【図１Ｂ】
図１Ｂは、本発明のシステムによって生成されたようなビデオのフレームの列を示す。
【図１Ｃ】
図１Ｃは、本発明のシステムによって生成されたようなビデオのフレームの列を示す。
【図１Ｄ】
図１Ｄは、本発明のシステムによって生成されたようなビデオのフレームの列を示す。
【図２】
図２は、本発明によって構成されたハイパーリンクされたビデオシステムの実施形態のブロック図である。
【図２Ａ】
図２Ａは、図２に示されたシステムの実施形態のデータフローのブロック図である。
【図２Ｂ】
図２Ｂは、マスクパケットセットの図である。
【図２Ｃ】
図２Ｃは、最初にエンコードされたデータパケットストリームの図である。
【図２Ｄ】
図２Ｄは、最後にエンコードされたデータパケットストリームの図である。
【図３】
図３は、図１に示されたマルチプレクサシステムの実施形態のブロック図である。
【図４】
図４は、図２に示されたデジタルレシーバの実施形態のブロック図である。
【図４Ａ】
図４Ａは、本発明によって構成されたハイパーリンクされたビデオシステムの実施形態のブロック図である。
【図４Ｂ】
図４Ｂは、本発明によって構成されたヘッドエンドの実施形態のブロック図である。
【図４Ｃ】
図４Ｃは、本発明によって構成されたハイパーリンクされたビデオシステムの実施形態のブロック図である。
【図４Ｄ】
図４Ｄは、本発明によって構成されたヘッドエンドの実施形態のブロック図である。
【図４Ｅ】
図４Ｅは、図４Ｃに示されたデジタルレシーバの実施形態のブロック図である。
【図５】
図５は、注釈データを格納するために、図２のシステムによって使用されたデータ構造の実施形態の図である。
【図５Ａ】
図５Ａは、オブジェクトプロパティテーブルデータ構造およびプログラムマッピングテーブルデータ構造のブロック図である。
【図６】
図６は、図２に示されたシステムの実施形態のデータフローの状態図である。
【図７】
図７は、本発明の実施形態の図６に示された状態マシン内の状態間の相互作用を示す。
【図８Ａ】
図８Ａは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｂ】
図８Ｂは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｃ】
図８Ｃは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｄ】
図８Ｄは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｅ】
図８Ｅは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｆ】
図８Ｆは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図８Ｇ】
図８Ｇは、本発明による双方向性コンテンツのアイコンの実施形態の種々の例示的な例を図解的に示す。
【図９Ａ】
図９Ａは、本発明の原理によるビデオイメージの圧縮方法の例示的な実施形態を示す。
【図９Ｂ】
図９Ｂは、本発明の原理によるビデオイメージの圧縮方法の例示的な実施形態を示す。
【図９Ｃ】
図９Ｃは、本発明の原理によるビデオイメージの圧縮方法の例示的な実施形態を示す。
【図９Ｄ】
図９Ｄは、本発明の原理によるビデオイメージの圧縮方法の例示的な実施形態を示す。
【図１０Ａ】
図１０Ａは、本発明による、数学的形態学（ｍｏｒｐｈｏｌｏｇｙ）解析による二次元画像を説明するために使用される例示的なフレームの領域および例示的なマスクを示す。
【図１０Ｂ】
図１０Ｂは、本発明の原理による二次元数学的形態学解析の例示的なイメージおよび単一のピクセルを示す。
【図１１Ａ】
図１１Ａは、本発明による、１つの次元として時間を用いる数学的形態学についての三次元イメージを説明するために使用される例示的なフレームおよび例示的なマスクのシーケンスを示す。
【図１１Ｂ】
図１１Ｂは、本発明の原理による、１つの次元として時間を用いる三次元数学的形態学解析の例示的なフレームおよび単一のピクセルを示す。
【図１１Ｃ】
図１１Ｃは、本発明の実施形態による、三次元塗りつぶし（ｆｌｏｏｄｆｉｌｌ）が達成されることによる例示的なプロセスを示すフローチャートである。
【図１２Ａ】
図１２Ａは、本発明の原理による、領域の輪郭を作成する数学的形態学解析の例示的用途を示す図である。
【図１２Ｂ】
図１２Ｂは、本発明の原理による、領域の輪郭を作成する数学的形態学解析の例示的用途を示す図である。
【図１３】
図１３は、本発明による運動を示す連続的なフレームを介したヒストグラムの発展の３つの例を示す図である。
【図１Ｄ】
2004507989.tif 000003
【図２】
2004507989.tif 000004
【図２Ａ】
2004507989.tif 000005
【図２Ｄ】
2004507989.tif 000006
【図３】
2004507989.tif 000007
【図４】
2004507989.tif 000008
【図４Ａ】
2004507989.tif 000009
【図４Ｂ】
2004507989.tif 000010
【図４Ｃ】
2004507989.tif 000011
【図４Ｄ】
2004507989.tif 000012
【図４Ｅ】
2004507989.tif 000013
【図５】
2004507989.tif 000014
【図５Ａ】
2004507989.tif 000015
【図６】
2004507989.tif 000016
【図７】
2004507989.tif 000017
【図９Ｂ】
2004507989.tif 000018
【図９Ｃ】
2004507989.tif 000019
【図９Ｄ】
2004507989.tif 000020
【図１０Ａ】
2004507989.tif 000021
【図１０Ｂ】
2004507989.tif 000022
【図１１Ａ】
2004507989.tif 000023
【図１１Ｂ】
2004507989.tif 000024
【図１１Ｃ】
2004507989.tif 000025
【図１３】
2004507989.tif 000026
【国際公開パンフレット】
2004507989.tif 000027
2004507989.tif 000028
2004507989.tif 000029
2004507989.tif 000030
2004507989.tif 000031
2004507989.tif 000032
2004507989.tif 000033
2004507989.tif 000034
2004507989.tif 000035
2004507989.tif 000036
2004507989.tif 000037
2004507989.tif 000038
2004507989.tif 000039
2004507989.tif 000040
2004507989.tif 000041
2004507989.tif 000042
2004507989.tif 000043
2004507989.tif 000044
2004507989.tif 000045
2004507989.tif 000046
2004507989.tif 000047
2004507989.tif 000048
2004507989.tif 000049
2004507989.tif 000050
2004507989.tif 000051
2004507989.tif 000052
2004507989.tif 000053
2004507989.tif 000054
2004507989.tif 000055
2004507989.tif 000056
2004507989.tif 000057
2004507989.tif 000058
2004507989.tif 000059
2004507989.tif 000060
2004507989.tif 000061
2004507989.tif 000062
2004507989.tif 000063
2004507989.tif 000064
2004507989.tif 000065
2004507989.tif 000066
2004507989.tif 000067
2004507989.tif 000068
2004507989.tif 000069
2004507989.tif 000070
2004507989.tif 000071
2004507989.tif 000072
2004507989.tif 000073
2004507989.tif 000074
2004507989.tif 000075
2004507989.tif 000076
2004507989.tif 000077
2004507989.tif 000078
2004507989.tif 000079
2004507989.tif 000080
2004507989.tif 000081
2004507989.tif 000082
2004507989.tif 000083
2004507989.tif 000084
2004507989.tif 000085
2004507989.tif 000086
2004507989.tif 000087
2004507989.tif 000088
2004507989.tif 000089
2004507989.tif 000090
2004507989.tif 000091
2004507989.tif 000092
2004507989.tif 000093
2004507989.tif 000094
2004507989.tif 000095
2004507989.tif 000096
2004507989.tif 000097
2004507989.tif 000098
2004507989.tif 000099
2004507989.tif 000100
2004507989.tif 000101
2004507989.tif 000102
2004507989.tif 000103
2004507989.tif 000104
2004507989.tif 000105
2004507989.tif 000106
2004507989.tif 000107
2004507989.tif 000108
2004507989.tif 000109
2004507989.tif 000110
2004507989.tif 000111
2004507989.tif 000112
2004507989.tif 000113
2004507989.tif 000114
2004507989.tif 000115
2004507989.tif 000116
2004507989.tif 000117
2004507989.tif 000118
2004507989.tif 000119
2004507989.tif 000120
2004507989.tif 000121
2004507989.tif 000122
2004507989.tif 000123
2004507989.tif 000124
2004507989.tif 000125
2004507989.tif 000126
2004507989.tif 000127
2004507989.tif 000128
2004507989.tif 000129
2004507989.tif 000130
2004507989.tif 000131
2004507989.tif 000132
【国際調査報告】
2004507989.tif 000133
2004507989.tif 000134
2004507989.tif 000135
2004507989.tif 000136
2004507989.tif 000137