(57)【特許請求の範囲】
【請求項１】
オブジェクトを表わすデータをデジタルビデオ番組に対応付ける装置であって、
少なくとも一部がオブジェクトを取り入れている複数の個別のフレームを有するデジタルビデオ番組を提供する手段と、
編集リストを作成するために前記デジタルビデオ番組内の個別のショットを識別することで前記デジタルビデオ番組をパースする手段と、
関連コンテンツを含む一連のショットを形成するために、関連コンテンツを含むショットを前記編集リストから識別する手段と、
前記一連のショットそれぞれの内から、前記オブジェクトを含む少なくとも１つのキーフレームを選択する手段と、
データが対応付けられるキーフレーム内で前記オブジェクトを選択する手段と、
前記キーフレームから前記オブジェクトの属性を抽出する手段と、
対話型データを、前記キーフレーム内の前記オブジェクトに対応付ける手段と、
前記一連のショットを通して前記オブジェクトを追跡するために前記オブジェクトの属性を利用する追跡手段とを含み、
前記対話型データは、前記一連のショット内の前記オブジェクトに対応付けられ、データ・シーケンス内の前記オブジェクトを表すデータとともに、前記対話型コンテンツデータは埋め込まれ、
前記オブジェクトを追跡するために前記オブジェクトの属性を利用する前記追跡手段が、異なるタイプの視覚環境において前記オブジェクトを自動的に追跡するために、或るシーケンスの視覚的複雑さに応じて、オブジェクトを追跡するための異なるアルゴリズムにより追跡を行うこと
を特徴とする装置。
【請求項２】
関連コンテンツを含む一連のショットを形成するために、関連コンテンツを含むショットを識別する手段が、ショット群の階層を生成する手段を含むこと
を特徴とする請求項１記載の装置。
【請求項３】
前記パースする手段が、ショットの変化を認識するのに用いられる基準を入力する手段を含むこと
を特徴とする請求項１または２に記載の装置。
【請求項４】
前記オブジェクトの属性を抽出する手段が、フレーム上に形成された境界線内にオブジェクトを隔離する手段と、前記オブジェクトのエッジを識別し突き止めるために、前記境界線内でエッジ検出を行う手段と、および、前記オブジェクトの形状モデルを蓄積する記憶手段とを含むこと
を特徴とする請求項１乃至３のいずれかに記載の装置。
【請求項５】
前記オブジェクトの属性を抽出する前記手段が、前記オブジェクトの形状、サイズ、位置、色、テクスチャ、輝度勾配の属性の少なくとも１つ、および前記属性に基づく時系列統計量を記録する手段も含むこと
を特徴とする請求項１乃至４のいずれかに記載の装置。
【請求項６】
前記オブジェクトの属性を抽出する前記手段が、前記オブジェクトが以前に蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトの属性を比較する手段と、
前記オブジェクトが区別できないと判定されるときに、当該オブジェクトに関する追加の情報を与えるようにユーザに指示する手段と、
ユーザからの当該オブジェクトを定義し直す指示を受け付けた場合、受け付けた指示に従って定義し直す手段と、を提供することを特徴とする請求項１乃至５のいずれかに記載の装置。
【請求項７】
前記オブジェクトの属性を抽出する前記手段が、前記オブジェクトがそのフレームにすでに蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトのフレーム内の位置を比較する手段と、
前記オブジェクトの位置が、別のオブジェクトの位置とは区別できない場合、どのオブジェクトが、そのような位置に対応づけられるか判定するために、前記オブジェクトにランクを割当てるようユーザに指示を行う手段と、
を提供することを特徴とする請求項１乃至６のいずれかに記載の装置。
【請求項８】
前記オブジェクトを追跡するために前記オブジェクトの属性を利用する手段が、前記オブジェクトの属性がフレームからフレームへと変わると、前記オブジェクトのこれらの蓄積された属性を更新する手段を含むこと
を特徴とする請求項１乃至７のいずれかに記載の装置。
【請求項９】
前記オブジェクトを追跡するために前記オブジェクトの属性を利用する前記追跡手段が、
追跡されるすべてのフレームを下位の表現に変換する手段と、
各フレーム内に各オブジェクトを突き止めるために、距離測度を最小限に抑えることでフレーム内の各オブジェクトの位置を決定する手段と、
各オブジェクトの隠蔽された部分、出口および入口を、平滑化する後処理を行う手段と、
追跡されたシーケンス内の前記オブジェクトの位置に関し、ユーザから訂正の入力を受け付け、当該訂正に従って前記オブジェクトの位置の属性を訂正する手段と、を含むこと
を特徴とする請求項１乃至８のいずれかに記載の装置。
【請求項１０】
対話型データを、前記キーフレーム内の前記オブジェクトに対応付ける手段が、
ＵＲＬ、ＨＴＭＬページ、ビデオクリップ、オーディオクリップ、テキストファイル、マルチメディア・カタログの１つまたは複数を含め、異なるタイプのデータのデータベースを提供する手段と、
前記オブジェクトに対応付けるために、前記データベースから前記対話型コンテンツデータを選択する手段と、を含むこと
を特徴とする請求項１乃至９のいずれかに記載の装置。
【請求項１１】
対話型データを、前記キーフレーム内の前記オブジェクトに対応付ける手段は、前記埋め込まれた対話型コンテンツデータが或るフレーム内のオブジェクトの位置、形状、ランク、ポインタに対応付けられるフレーム同期データであるか、または、或るグループ内のすべてのオブジェクトに対応付けられる群同期データであるか、あるいは、ジャストインタイム式にストリーム再生されるデータであるかどうか判定する手段を用いて前記データ・シーケンスを生成し、
前記フレーム同期データを該当するフレームに対応付ける手段と、
前記群同期データを、グループが変わるときのフレームに対応付ける手段と、
該当するオブジェクトに対応付けられる必要がある前に、ユーザにデータをジャストインタイム式にストリーム再生する手段と、を備えること
を特徴とする請求項１乃至１０のいずれかに記載の装置。
【請求項１２】
異なる対話型コンテンツデータを、それぞれ異なるオブジェクトに対応付ける手段を備えること
を特徴とする請求項１乃至１１のいずれかに記載の装置。
【請求項１３】
或るオブジェクトを表わす対話型データを、デジタルビデオ番組に対応付ける方法であって、
ａ）受信したデジタルビデオ番組内の個別のショットを予め定めた基準に従って識別し編集リストを作成する工程と、
ｂ）前記作成した編集リストから、関連コンテンツを含むショットを識別し、関連コンテンツを含む一連のショットを形成する工程と、
ｃ）前記一連のショットそれぞれの内から、前記オブジェクトを含む少なくとも１のキーフレームを選択する工程と、
ｄ）キーフレーム内のオブジェクトの選択を受け付ける工程と、
ｅ）前記選択を受け付けたオブジェクトの属性を抽出して記録する工程と、
ｆ）前記選択されたオブジェクトに対応付ける対話型データを受け付ける工程と、
ｇ）前記選択されたオブジェクトに前記受け付けた対話型データを埋め込む工程と、
ｈ）前記オブジェクトの属性を利用して、前記一連のショットを通して前記オブジェクトを追跡する工程と、
ｉ）前記追跡により突き止められたオブジェクトが含まれるフレームに前記オブジェクトに対応付ける対話型データを埋め込む工程と、を備え、
工程ｈ）が、異なるタイプの視覚環境において前記オブジェクトを自動的に追跡するために、或るシーケンスの視覚的複雑さに応じて、オブジェクトを追跡するための異なるアルゴリズムにより追跡を行う工程を含むこと
を特徴とする方法。
【請求項１４】
工程ａ）の前記基準は、ショットの変化を認識するのに用いられる基準であること
を特徴とする請求項１３記載の方法。
【請求項１５】
工程ｂ）が、ショットのシーケンス群の階層を生成する工程を含むこと
を特徴とする請求項１３または１４に記載の方法。
【請求項１６】
工程ｄ）が、
前記選択を受け付けたオブジェクトを隔離するために、前記キーフレーム上に境界線を形成する工程と、
前記境界線で囲まれたオブジェクトを区分するためにエッジ検出を行う工程と、を含み、
工程ｅ）が、前記オブジェクトの形状モデルを蓄積する工程を含むこと
を特徴とする請求項１３乃至１５のいずれかに記載の方法。
【請求項１７】
工程ｅ）が、前記オブジェクトの形状、サイズ、位置、色、テクスチャ、輝度勾配の属性の少なくとも１つ、および前記属性に基づく時系列統計量を記録する工程を含むこと
を特徴とする請求項１３乃至１６のいずれかに記載の方法。
【請求項１８】
工程ｅ）が、
前記オブジェクトが以前に蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトの属性を比較する工程と、
前記オブジェクトが区別できないと判定されるときに、前記オブジェクトに関するついかの情報を与えるようユーザに指示する工程と、
ユーザから前記オブジェクトを定義し直す指示を受け付けた場合、受け付けた指示に従って定義し直す工程と、を含むこと
と特徴とする請求項１３乃至１７のいずれかに記載の方法。
【請求項１９】
工程ｅ）が、
前記オブジェクトがすでにそのフレーム内に蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトのフレーム内の位置を比較する工程と、
前記オブジェクトの位置が、別のオブジェクトの位置とは区別できない場合には、どのオブジェクトが、そのような位置に対応付けられるか判定するために、前記オブジェクトにランクを割当てるようユーザに指示を行う工程とを含むこと
を特徴とする請求項１３乃至１８のいずれかに記載の方法。
【請求項２０】
工程ｈ）が、前記オブジェクトの属性がフレームからフレームへと変わると、前記オブジェクトのこれらの蓄積された属性を更新する工程を含むことを特徴とする請求項１３乃至１９のいずれかに記載の方法。
【請求項２１】
工程ｈ）が、
追跡されるすべてのフレームを下位の表現に変換する工程と、
各フレーム内に各オブジェクトを突き止めるために、距離測度を最小限に抑えることでフレーム内の各オブジェクトの位置を決定する工程と、
各オブジェクトの隠蔽された部分、出口および入口を、平滑化する後処理を行う工程と、
追跡されたシーケンス内の前記オブジェクトの位置に関し、ユーザから訂正の入力を受け付け、当該訂正に従って前記オブジェクトの位置の属性を訂正する工程と、を含むこと
を特徴とする請求項１３乃至２０のいずれかに記載の方法。
【請求項２２】
工程ｆ）の対応型データは、ＵＲＬ、ＨＴＭＬページ、ビデオクリップ、オーディオクリップ、テキストファイル、マルチメディア・カタログの１つまたは複数を含む、異なるタイプのデータのデータベースとして提供されるデータの中から選択されること
を特徴とする請求項１３乃至２１のいずれかに記載の方法。
【請求項２３】
工程ｉ）が、
前記埋め込まれた対話型データが或るフレーム内のオブジェクトの位置、形状、ランク、ポインタに対応付けられるフレーム同期データであるか、または、或るグループ内のすべてのオブジェクトに対応付けられる群同期データであるか、あるいは、ジャストインタイム式にストリーム再生されるデータであるかどうか判定する工程と、
フレーム同期データを該当するフレームに対応付ける工程と、
群同期データを、グループが変わるときのフレームに対応付ける工程と、
該当するオブジェクトに対応付けられる必要がある前に、ユーザにデータをジャストインタイム式にストリーム再生する工程と、をそれぞれ含むこと
を特徴とする請求項１３乃至２２のいずれかに記載の方法。
【請求項２４】
工程ｃ）〜工程ｉ）において、異なる対話型データが、それぞれ異なるオブジェクトに対応付けられること
を特徴とする請求項１３乃至２３のいずれかに記載の方法。
【請求項２５】
或るオブジェクトを表わす対話型データを、デジタルビデオ番組に対応付けるためにコンピュータに、
ａ）受信したデジタルビデオ番組内の個別のショットを予め定めた基準に従って識別し編集リストを作成する手順と、
ｂ）前記作成した編集リストから、関連コンテンツを含むショットを識別し、関連コンテンツを含む一連のショットを形成する手順と、
ｃ）前記一連のショットそれぞれの内から、前記オブジェクトを含む少なくとも１のキーフレームを選択する手順と、
ｄ）キーフレーム内のオブジェクトの選択を受け付ける手順と、
ｅ）前記選択を受け付けたオブジェクトの属性を抽出して記録する手順と、
ｆ）前記選択されたオブジェクトに対応付ける対話型データを受け付ける手順と、
ｇ）前記選択されたオブジェクトに前記受け付けた対話型データを埋め込む手順と、
ｈ）前記オブジェクトの属性を利用して、前記一連のショットを通して前記オブジェクトを追跡する手順と、
ｉ）前記追跡により突き止められたオブジェクトが含まれるフレームに前記オブジェクトに対応付ける対話型データを埋め込む手順と、を実行させ、
手順ｈ）が、異なるタイプの視覚環境において前記オブジェクトを自動的に追跡するために、或るシーケンスの視覚的複雑さに応じて、オブジェクトを追跡するための異なるアルゴリズムにより追跡を行う手順を含めて実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
本発明は、対話型システム、特にデジタルビデオ信号内にデータを多重化するシステムに関するものである。
【０００２】
ブロードキャストされるか、あるいは、デジタルビデオディスク（ＤＶＤ）またはビデオテープ上に与えられる場合があるデジタル信号形式のビデオ番組を提供することが知られているが、本発明は、放送番組用のビデオ信号を与える形式に限定されることはない。
【０００３】
テレビ放送チャンネルの数が増すにつれて、広告収入が減少する。すなわち、商業上の理由で、広告主は、そのマーケッティング努力を、限られた数の放送チャンネルに限定しているからである。さらに、望ましくない広告を受信できないようにするための、テレビ視聴者が利用できる装置（例えば、Ｖチップ）の稼働率も増してはいるが、ただし、現在のところ、選択的に広告を阻止する方法はなく、その結果、テレビ視聴者に興味のありそうな広告までも、阻止されてしまう。
【０００４】
インターネットの利用が高まるにつれて、ユーザは、パーソナルコンピュータ（ＰＣ）、あるいは、例えばテレビとリモコンまたはマウスといっしょに使用されるデジタル・セットトップ・ボックスを用いて、広範囲にわたる様々なデータソースや情報源にアクセスすることに慣れてきている。
【０００５】
本発明は、インターネット上で行われることがある情報転送および／またはトランザクションを容易にするために、テレビ視聴者が、ブロードキャストされ得るビデオ信号と対話できるようにするシステムを提供しようとしている。
【０００６】
本発明の一面により、ビデオ番組信号を提供する手段、少なくとも１つのオブジェクトに対応付けられる対話形コンテンツデータであって、前記オブジェクトが現れる前記ビデオ番組信号のフレームに対応付けられる前記データを生成する手段、前記ビデオ番組信号で前記データを多重化する手段、ビデオ番組信号を見る手段、前記データを検索する手段、および前記オブジェクトの詳細を得るために前記データを使用する手段を含む対話型システムが提供される。
【０００７】
好ましくは、前記使用する手段は、前記オブジェクトの前記詳細を得るために対話型Ｗｅｂサイトにアクセスする手段を含む。好都合なことに、前記使用する手段は、前記オブジェクトの詳細のリストを生成する手段と、前記リストから選択する手段をさらに含む。
【０００８】
好都合なことに、前記対話型Ｗｅｂサイトにアクセスする手段は、前記オブジェクト用の購入トランザクション、または広告カタログのブラウジングを含むことがある前記オブジェクトの詳細を入手するようにしている。
【０００９】
好ましくは、前記生成する手段は、前記オブジェクトが現れる前記ビデオ番組信号のフレームごとに前記オブジェクトを追跡する手段と、それぞれの各フレーム内の前記オブジェクトの位置を識別する手段を含む。
【００１０】
好ましくは、前記ビデオ番組の各フレームは、前記対話型コンテンツデータを含む。
【００１１】
好都合なことに、前記追跡手段は、シーンブレーク（中断）を決定する手段と、前記オブジェクトが現れる次のフレーム内で前記オブジェクトを探す手段を含む。
【００１２】
好都合なことに、前記多重化手段は、トランスポート・ストリーム（例えば、ＭＰＥＧ−２／ＤＶＢトランスポート・ストリーム）を生成するために、前記データを、前記番組信号のオーディオデータおよびビデオデータと同期化する手段を含む。
【００１３】
好都合なことに、前記システムは、前記トランスポート・ストリームを、例えば衛星ネットワーク、地上ネットワーク、ケーブルネットワークの少なくとも１つを通じてブロードキャスト（放送）する手段を含む。
【００１４】
好都合なことに、前記検索する手段は、マウス、キーボード、リモコン装置の１つを含む。
【００１５】
本発明の第２の面により、少なくとも一部がオブジェクトを取り入れている複数の個別のフレームを有するデジタルビデオ番組を提供する手段、前記オブジェクトがキーフレームを与えると思われるビデオ番組の１フレームを選択する手段、データが対応付けられるキーフレーム内で前記オブジェクトを選択する手段、キーフレームからオブジェクトの属性を抽出する手段、対話型データを、キーフレーム内の前記オブジェクトに対応付ける手段、ビデオ番組の後続フレームを通して前記オブジェクトを追跡するために前記オブジェクトの属性を利用する手段を含む、前記オブジェクトを表わすデータをデジタルビデオ番組に対応付ける装置であって、前記オブジェクトが追跡されているビデオ番組の後続フレーム内で、前記オブジェクトに前記対話型データを対応付けさせ、また或るデータ・シーケンス内で、前記オブジェクトを表わすデータとともに前記対話型コンテンツデータを埋め込ませる装置が提供される。
【００１６】
好都合なことに、前記データ・シーケンスを、標準データ・シーケンス（例えば、ＭＰＥＧ−２／ＤＶＢ適合のデータ・シーケンス）に変換する手段が提供される。
【００１７】
ビデオ番組が、アナログ形式である場合には、好ましくは、そのビデオ番組を、デジタル化形式に変換する手段が提供される。
【００１８】
好ましくは、ビデオ番組の１フレームを選択する手段は、そのデジタル化ビデオ番組を、複数の関連ショットのシーケンスに分けるために編集リストを作成する手段と、各シーケンス内から少なくとも１つのキーフレームを選択する手段を含む。
【００１９】
好都合なことに、編集リストを作成する手段は、編集リストを作成するためにビデオ番組内の個別のショットを識別することでビデオ番組をパースする手段、関連コンテンツを含む一連のショットを形成するために、関連コンテンツを含むショットを識別する手段、および、ショット群の階層を生成する手段をさらに含む。
【００２０】
好都合なことに、前記パースする手段は、ショットの変化を認識するのに用いられる基準を入力する手段を含む。
【００２１】
好ましくは、前記オブジェクトの属性を抽出する手段は、フレーム上に形成された境界線内にオブジェクトを隔離する手段、前記オブジェクトのエッジを識別し突き止めるために、この境界線内でエッジ検出を行う手段、および、前記オブジェクトの形状モデルを蓄積する記憶手段を含む。
【００２２】
好都合なことに、前記オブジェクトの属性を抽出する前記手段はまた、前記オブジェクトの形状、サイズ、位置、色、テクスチャ、輝度勾配の属性の少なくとも１つ、および前記属性に基づく時系列統計量を記録する手段も含む。
【００２３】
好都合なことに、前記オブジェクトの属性を抽出する前記手段は、前記オブジェクトが、以前に蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトの属性を比較する手段を含み、また前記オブジェクトが区別できないと判定されるときには、例えば前記境界線を定義し直すことで、前記オブジェクトを定義し直す手段を提供する。
【００２４】
好ましくは、前記属性を抽出する前記手段は、前記オブジェクトが、すでに蓄積されたオブジェクトと区別できるかどうか判定するために、双方のオブジェクトのフレーム内の位置を比較する手段を含み、また前記オブジェクトの位置が、別のオブジェクトの位置とは区別できない場合には、どのオブジェクトが、そのような位置に対応付けられるか判定するために、オブジェクトにランクを割当てる手段を提供する。
【００２５】
好ましくは、前記オブジェクトを追跡する手段は、オブジェクトが、異なるフレーム内に位置を移すと、オブジェクトのこれらの蓄積された属性を更新する手段を含む。
【００２６】
好都合なことに、前記追跡する手段は、異なるタイプの視覚環境においてオブジェクトを自動的に追跡するために、或るシーケンスの視覚的複雑さに応じて使用する複数のアルゴリズム手段を含む。
【００２７】
好都合なことに、前記追跡手段は、追跡されるすべてのフレームを下位の表現に変換する手段、各フレーム内に各オブジェクトを突き止めるために、距離測度を最小限に抑えることでフレーム内の各オブジェクトの位置を決定する手段、閉塞の障害を除く前記オブジェクトの位置と、オブジェクトが前記フレームに出入りする入口や出口を処理する手段、および、追跡されたシーケンス内のオブジェクトを再検討し、不適切な位置に置かれたオブジェクトがあれば、その位置の属性を訂正する手段を含む。
【００２８】
好ましくは、前記対応付ける手段は、ＵＲＬ、ＨＴＭＬページ、ビデオクリップ、オーディオクリップ、テキストファイル、マルチメディア・カタログの１つまたは複数を含め、異なるタイプのデータのデータベースを提供する手段と、前記オブジェクトに対応付けるために、前記データベースから前記対話型コンテンツデータを選択する手段を含む。
【００２９】
好ましくは、前記対応付ける手段は、埋め込まれた対話型コンテンツデータが、或るフレーム内のオブジェクトの位置、形状、ランク、ポインタに対応付けられるフレーム同期データであるか、または、或るグループ内のすべてのオブジェクトに対応付けられる群同期データであるか、あるいは、ジャストインタイム式にストリーム再生されるデータであるかどうか判定する手段を用いて前記データ・シーケンスを生成し、そこでは、フレーム同期データを該当するフレームに対応付ける手段が提供され、また群同期データを、グループが変わるときのフレームに対応付ける手段が提供され、さらに、該当するオブジェクトに対応付けられる必要がある前に、ユーザにデータをジャストインタイム式にストリーム再生する手段が提供される。
【００３０】
対話型コンテンツデータを或るオブジェクトに対応付けることに関して、上記のものを定義してきたが、異なる対話型コンテンツデータは、それぞれ異なるオブジェクトに対応付けられるはずである。
【００３１】
本発明の第３の面により、デジタル化ビデオ信号内の或るオブジェクトに対応付けられる対話型コンテンツデータのデータ・シーケンスを受け取る手段、さらなるトランスポート・ストリームを生成するために、そのデータ・シーケンスを、そのデジタル化ビデオ信号のビデオおよびオーディオと同期化する手段、および、パケット識別子を、そのさらなるトランスポート・ストリームに対応付ける手段を含み、総称デジタル・トランスポート・ストリーム（例えば、ＤＶＢ／ＭＰＥＧ−２またはＡＴＳＣ／ＭＰＥＧ−２）中にデータ・シーケンスを埋め込む装置が提供される。
【００３２】
好ましい実施例では、さらなるトランスポート・ストリームをテレビ視聴者にブロードキャスト（放送）する手段が提供される。
【００３３】
好ましくは、データ・シーケンスを受け取る手段は、デジタルビデオ信号ストリーム、デジタルオーディオ信号ストリーム、デジタルデータ・シーケンス・ストリーム、デジタル制御データストリームから成るエレメンタリーストリームを受け取る手段、これらのデータストリームのそれぞれをパケット化して固定サイズ・ブロックにし、プロトコルヘッダを付加して、パケット化エレメンタリーストリームを生成する手段、および、これらのデータストリームの相互の関係を確立するために、そのパケット化エレメンタリーストリームをタイムスタンプと同期化する手段を含む。
【００３４】
好ましくは、このデータ・シーケンスを同期化する手段は、パケット化エレメンタリーストリームを多重化して、同期バイトのヘッダが付けられたトランスポート・パケットにする手段と、異なるパケット識別子を各パケット化エレメンタリーストリームに割当てる手段を含む。
【００３５】
好都合なことに、前記パケット化エレメンタリーストリームをタイムスタンプと同期化する手段は、現在時間を示すために基準タイムスタンプでスタンプする手段と、データ・シーケンス・ストリームを、いつビデオストリームおよびオーディオストリームと同期化する必要があるか示すために、デコーディング・タイムスタンプでスタンプする手段を含む。
【００３６】
好都合なことに、さらなるトランスポート・ストリームをユーザにブロードキャスト（放送）する手段は、放送で使えるように、すべてのチャンネルをリストした番組対応付けテーブルを提供する手段、放送チャンネル内のすべてのエレメンタリーストリームを識別する番組マップ・テーブルを提供する手段、および、さらなるトランスポート・ストリーム中の個別のパケットとして、この番組対応付けテーブルと番組マップ・テーブルを送る手段を含む。
【００３７】
本発明の第４の面により、総称デジタル・トランスポート・ストリームに埋め込まれたデータが、総称デジタル・トランスポート・ストリームで表わされるオブジェクトに対応付けられるデータのデータ・シーケンスを含む、前記埋込みデータを検索する装置が提供され、また、前記装置には、ビデオ信号内のパケット識別子を認識する手段、総称デジタル・トランスポート・ストリームから、そのデータ・シーケンスを抽出する手段、対応付けられるデータを検索するビデオ・シーケンス内のオブジェクトを識別する手段、前記データシーケンスを、前記識別されたオブジェクトと同期させる手段、および、前記対応付けられるデータを対話形式で利用する手段が含まれる。
【００３８】
好ましくは、前記オブジェクトを識別する手段は、或るフレーム内の或るオブジェクトを選択する手段、前記オブジェクトに対応付けられるデータを表示する手段、表示されたデータのリストからデータを選択する手段、および、前記オブジェクトに関するデータに対応付けられる埋込みデータを抽出する手段を含む。
【００３９】
好都合なことに、埋め込まれた対応付けデータを有するオブジェクトを表示するために１フレームを選択する手段、前記オブジェクトに対応付けられるデータのリストを表示するために、これらの表示されたオブジェクトの１つを選択する手段、および、前記リストから選択する手段が提供される。
【００４０】
好都合なことに、前記選択する手段は、そのフレームを蓄積して、後で表示し、また後でフレームを呼び戻す手段を含む。
【００４１】
好ましい実施例では、その抽出された埋め込まれたデータは、ｅコマースなどの対話型通信を容易に行うために、インターネットｗｅｂサイトにアクセスする手段に用いられる。
【００４２】
本発明を用いることで、広告主により作成される広告は目立たなくなる。すなわち、テレビ視聴者は、もし要求があれば、対話なしで、その番組を見ることができる。別法として、テレビ視聴者は、番組を見て、その番組のフレームをこま止めし、マウス、キーボード、またはＴＶのリモコンを用いてオブジェクトをクリックして、インターネット上で、ｅコマースのトランザクションを容易に実行できる。このような機能を果たすとき、テレビ視聴者は、ＶＤＵ画面を分割して、一方の部分が、その流れている番組を引き続き表示し、また他方の部分が静止画像を表示し、またインターネット情報が転送されるようにする場合がある。
【００４３】
本発明は、デジタルビデオの娯楽の多数の面（特に、以下に示される放送）に使用できる。すなわち、
１．正規のテレビ番組または映画における対話型製品配置。
２．ファッションＴＶ。
３．音楽ＴＶ。
４．教育番組。
【００４４】
ｅコマースは、例えば、チケット販売を促進する場合がある。
【００４５】
本発明は、テレビ視聴者が、関連のない情報でまごつくことなく、ビデオ信号番組内の興味のある品目について、さらなる情報を選択できるという利点がある。これは、その情報が広告の形式を取る場合に特に役立つものであって、ビデオ番組において見られるオブジェクトに、対応付けられる多重化（埋込み）データを持たせて、これらのオブジェクトに関係のあるさらなる情報（ビデオ信号内の情報か、または、データベースに蓄積された情報のいずれか）にリンクを与えることで、あるいは、インターネットｗｅｂサイトにアクセスすることで、得られる。
【００４６】
広告主に関する限り、本発明は、広告のターゲットを正確に関連視聴者にしぼることができ、また広告を阻止する装置（例えば、Ｖチップ）では、広告がユーザに届くのを阻止できないという利点がある。複数の広告主は、その広告を、ビデオ番組シーケンスの各フレームに対応付けるから、本発明は、番組制作者や番組提供者に対して広告収入を維持または増加させながら、個々の広告主には、広告費用を減らす可能性がある。このようなやり方で、ビデオ番組信号の各フレームのデータ搬送潜在力が最大限に活用され、また放送チャンネルのデータ搬送容量が最大限利用される場合がある。本発明は、例えば、ゴールデンアワーのときに、放送用ＴＶに２分の割当て時間も与えるだけの余裕のない場合がある広告主に対して、新たな民主主義を生み出す方法を導くものと思われる。これは、本発明により、１オブジェクト当たりの複数の広告主、および／または、１フレーム当たりの複数のオブジェクトが、広告収入モデルの柔軟性を高めることができるからである。
【００４７】
例えば、音楽ビデオの分野では、そのコンテンツは、レコード会社のバンドの音楽を売り込む目的で使用される場合があり、またミュージシャンとの対話により、ユーザは、音楽を買い付けて、じかに音楽をダウンロードする場合がある。
【００４８】
さらに、複数の広告主は、同一の時間枠を買っている場合があり、言い換えれば、広告主のコンテンツは、番組コンテンツ内に完全に融合されていて、この広告コンテンツがユーザによりダウンロードされるまで、読まれることはない。したがって、デジタルＴＶ番組のあらゆるフレームは、広告収入として使用される場合がある。ｅコマースのデータベースは、ＷｅｂサイトのＵＲＬアドレスからカタログ、パンフレット、ビデオプロモーションまで、広告主に関するあらゆる関連データを、ｅコマース・トランザクション設備に蓄積する場合がある。
【００４９】
テレビ視聴者が、例えばマウスを用いてオブジェクトをクリックして、そのオブジェクトを選択するときには、そのオブジェクトは、多数の広告主を表わす場合がある。例えば、ミュージシャンは、衣類、腕時計、化粧品、楽器を宣伝して、テレビ視聴者が、このオブジェクトに対応付けられる宣伝販売品のリストから選択することがある。したがって、衛星放送の伝送速度を最大にするプッシュ技術の手法が提示される。ユーザは、実際にトランザクションを行いたいと思う場合には、インターネットを介するリターンパスしか必要としない。
【００５０】
本発明は、ここでは、例示として、添付図面を参照して説明される。添付図面において、
図１は、本発明の対話型システムのブロック模式図を示す。
【００５１】
図２は、或る番組の関連フレーム内の１オブジェクトに対応付けられる対話型コンテンツデータを生成するビデオ番組処理のブロック模式図を示す。
【００５２】
図３は、関連カメラ・ショット群によって得られた番組シーケンスを示す模式図を示す。
【００５３】
図４は、ショット群を生成させる、図２に示されるパーサのブロック模式図を示す。
【００５４】
図５は、ビデオ番組のキーフレームを示す。
【００５５】
図６は、図５のキーフレーム内で選択された１オブジェクトを示す。
【００５６】
図７は、ビデオ番組内のオブジェクトを１フレームずつ識別する流れ図を示す。
【００５７】
図８は、このオブジェクトを１フレームずつ追跡する、図２に示されるオブジェクト・トラッカの流れ図を示す。
【００５８】
図９は、図２に示されるストリーマの流れ図を示す。
【００５９】
図１０は、対話型コンテンツデータをビデオ番組信号と組み合わせるブロック模式図を示す。
【００６０】
図１１は、本発明に用いられるデータパケットの構造を示す。
【００６１】
図１２は、ビデオ番組信号から対話型コンテンツデータを抽出するやり方を、ブロック模式図で示す。
【００６２】
以上の図では、同じ参照番号は、同じ部分を示す。
【００６３】
図１に示される対話型システムは、少なくとも１つのオブジェクトに対応付けられる対話型コンテンツデータを表わすデータ・シーケンスを生成する装置２００を持ち、また、この対話型コンテンツデータは、デジタルビデオ番組を表わすビデオデータとオーディオデータで多重化１０８０されている。この説明された実施例では、データトランスポート・ストリーム１００１が、衛星放送装置２０のヘッドエンド装置１０に与えられ、衛星放送装置２０が衛星２５に送信し、次に、それぞれが衛星放送受信用のパラボラアンテナ３１を備えている複数のユーザ／テレビ視聴者３０に、衛星２５が、その放送信号を再送する。この受信信号は、ＴＶカードを備えたＰＣ４０に加えられて、テレビ視聴者が対話を行う場合がある。この受信放送信号はまた（あるいは、別法として）、デジタルテレビジョン５５のセットトップ・ボックス５０、またはセットトップ・ボックスの電子回路を組み入れたテレビジョンに与えられる場合がある。テレビ視聴者がＴＶ上のアイコンを操作して、オブジェクトを選択し、かつ提供されることのあるメニューや操作と対話するために、このセットトップ・ボックスには、キーボード（図には示されてない）またはマウス５６が備えられる場合がある。同様に、ＰＣ４０は、キーボードを備えるが、慣習になっている通り、使用方法がセットトップ・ボックスと同じであるようにマウスも備えることがあり、したがって、テレビ視聴者／ユーザは、オブジェクトを選択して、対話型通信を行うことができる。ＰＣへの入力やＰＣからの出力は、モデム４５を通じて、公衆電話網６０（例えば、ＰＳＴＮ、ＩＳＴＮ、ｘＤＳＬ、または衛星の場合がある）に対して行われ、同様に、セットトップ・ボックス５０も公衆電話網６０に接続される。公衆電話網６０により、複数のテレビ視聴者が、ｅコマース管理システム７０（専用管理システム、または、インターネット・サービス・プロバイダと相互にリンクされたシステムの場合がある）と相互接続される。ビデオ番組が放送されるシステムでは、ｅコマース管理システム７０は、放送提供システムに接続されて、ｅコマース管理システム７０が、その放送番組と結びついて、テレビ視聴者に送られるオブジェクト間の関係を持続させることができるようにしている。
【００６４】
本発明のシステムでは、例えば人であることもあり、衣類、腕時計、化粧品、楽器などの物理的なオブジェクト、あるいは、例えば商標などであることもあるオブジェクトは、そのオブジェクトを搬送する該当番組のビデオ番組信号に多重化された（埋め込まれた）オブジェクトと対応付けられるデータを持っている。これを達成するためには、ビデオ番組全体にわたって、１フレームずつオブジェクトを識別し、追跡する必要がある。この説明された実施例では、ビデオ番組が放送されるが、このビデオ番組は、ビデオ番組を蓄積するデジタルビデオディスク（ＤＶＤ）、テープ、または任意の公知手段上にあるはずである。次に、１オブジェクトを選択するときに、テレビ視聴者は、そのオブジェクトに関する細部と対話することができる。例えば、このオブジェクトが、ポップ音楽ビデオのミュージシャンである場合には、その音楽レコード、このミュージシャンが着て宣伝する衣類が、インターネット上で入手される場所に関して、情報が得られることもある。
【００６５】
第１の段階は、そのオブジェクトまたは各オブジェクトが現れる番組のあらゆるフレームに、そのようなオブジェクトに動的に対応付けられる対話型データを生成することである。例えば、５分のビデオ・シーケンスは、一般に、７，５００のフレームから成るが、それに対して、９０分の映画は、１３５，０００のフレームであることもある。
【００６６】
入力ビデオ番組がデジタル形式を取らない場合には、この番組は、まず最初に、それ自体公知の手段により、デジタル化されなければならない。
【００６７】
図２を参照して、或る番組の関連フレーム内の１オブジェクトに対応付けられる対話型コンテンツデータを生成する装置２００が示されている。デジタルビデオソース２０１からのデジタル化番組は、図４に詳細に示されるパーサ４００により、関連ショット３００（図３に示される）に分けられる。本発明に関連して、「ショット」は、或るシーンの一回のカメラ「撮影」である。５分のビデオ・シーケンスは、一般に、一連のフレームＦｎから成る１００の上記ショットまたは編集を持つ場合がある。この場合、例えば、Ｆｎ＝２５×６０×５＝７，５００のフレームであるが、それに対して、９０分のビデオは、何千ものショットを持つ場合がある。どのフレームにおいてショット３００が変わるかを示すオプション編集リスト２０２といっしょに、デジタル化ビデオ番組を提供する場合には、これを利用して、その番組を別々のショット３００に分けることがある。
【００６８】
基本的には、パーサ４００は、このビデオを分解して、一群のシーケンス３２１、３２２、３２３にする（図３）。これらのシーケンスは、意味的に関係のある一連のショットから成り、例えば、或るシーケンスは、ポップ音楽ビデオのリードシンガーを呼び物にするすべてのショットを含む場合がある。それゆえ、パーサ４００の働きは、この番組を分解して、共通のスレッドにより統合されるシーケンスにすることである。後述されるトラッカ８００が、オブジェクトが見つかりそうなシーケンス内で、オブジェクトだけを探すような操作が必要である。パーサ４００は、ショットの変化、カメラアングルの変化、ワイプ、ディゾルブ、および、他の可能な任意の編集機能または光遷移効果を検出する。図４に示されるパーサ４００は、デジタル番組を受け取り、また、例えば、そのビデオ番組のそれぞれの連続するフレームのエッジマップを比較して、所定のしきい値を超えるような前記エッジマップの位置変化が発生するときに、ショットの終わりが現れると定めることで、ショットの終わりが検出される４１０。ショットの終わりを判定するのに用いられる基準４２０は、或るオブジェクトに対応付けられるデータをビデオ番組シーケンスに埋め込んでいるユーザにより、カット／ショット検出プログラムに入力される。異なるショットの情報は、編集リスト４３０に入れられる。
【００６９】
次に、いくつかのフレームは、各ショット３００からのキーフレーム識別子４４０の中で選択されて、そのショット３００を表わすキーフレーム５００となる（図５も参照のこと）。ショットごとに、２つ以上のキーフレームを必要とする場合があり、そこでは、ショット３００が、例えば、パンまたはズームなどの複雑なカメラ移動を含んで、１つのキーフレーム５００が、全コンテンツを表わさないようにしている。さらに、ビデオ番組がポップ・グループのものであって、そのシーケンスが、すべてのバンドメンバのロングショットから始まって、すみやかにリードシンガーをズームし、最後に、そのリードシンガーの顔を画面いっぱいに映し出す場合には、いかなる単一のフレームも、ショット全体を表わさないであろうが、ただし、例えば３つのキーフレームの妥当な選択は、最初のフレーム３１１、ズームのほぼ半ばのフレーム３１２、および最後のフレーム３１３（図３に示される）であろう。したがって、ショット３００のビデオコンテンツを表わすキーフレーム３１１、３１２、３１３が自動的に選択される。
【００７０】
図３と図４に示されるように、ショット３００は、シーン・グルーパ４５０により、シーケンスにまとめられて、シーン・グルーパ４５０が、各ショット３００からのキーフレーム３１１〜３１３を、他のそれぞれのショット３０４、３０７からのキーフレーム３１１〜３１３と比較する。これは、色相関図表(colour correlelograms)、データマップ、テクスチャなどの下位の特徴を用いて、それらのショットからのキーフレームを比較することで行われる。同様なコンテンツを持つショットは、シーン・グルーパ４５０により階層構造にまとめられて、共通のテーマを持つショット群にする。例えば、ポップ音楽ビデオでは、いくつかの異なるセットが使用されることもあるが、ビデオ内の多数の個所に１セットが現れる場合がある。シーン・グルーパ４５０は、或る水準の同一セットと、別の水準での同一セットの同様なタイプのショット／シーケンスを用いて、ショット３００、３０４、３０７のシーケンスをまとめる。このようなやり方で、シーケンスの階層構造（コンテンツ・ツリー４６０と呼ばれる）が構築される。このようにまとめる目的は、対話型コンテンツデータで識別されるオブジェクトを選択するのに役立て、さらに、この映画のすべてのショットを通じてではなく、関連ショット３００、３０４、３０７内でのみ、特定のオブジェクトを確実に探せるようにすることで、後述されるように、後で、ビデオ番組を通じて、その選択されたオブジェクトを追跡する効率も高めることである。したがって、パーサ４００は、或るオブジェクトの追跡を関連ショット（すなわち、シーケンス３２１、３２２、３２３内のショット）に限定することで、このトラッカの効率を高めるだけでなく、強力なブラウジング・オブジェクト選択装置を提供することによっても、ビデオ番組の全構造と複雑さをユーザに理解させるのに役立てる。
【００７１】
ショット３００をシーケンス３２１、３２２、３２３にまとめた後で、シーケンス・キーフレームは、各ショットのキーフレーム３１１、３１２、３１３から選択されて、そのシーケンスを表わす。次に、或るオブジェクトを表わす対話型コンテンツデータをビデオ番組に入力したいと思っているユーザは、これらの上位のキーフレームを使用して、ユーザに興味のあるオブジェクトを含むショットのシーケンスを選択する場合がある。これらのキーフレームは、好ましくは、シーケンス３２１、３２２、３２３のコンテンツ・ツリー４６０の階層構造を表わす形式でユーザに提示される。シーン・グルーパ４５０の出力４７０は、単一ショットのシーケンスの数、これらのシーケンスを表わすキーフレーム３１１、３１２、３１３、および、キーフレームで反映される通り、これらのシーケンスの相互の階層関係を示すコンテンツ・ツリーである。
【００７２】
対話型コンテンツデータをビデオ番組に挿入するつもりのユーザは、図５に示されるように、キーフレームの階層構造を見て、第１のキーフレーム３１１を選択する。好ましい実施例では、すべてのキーフレームは、縮小化された形式で画面上でユーザに提示され、またユーザは、その縮小化キーフレーム上にカーソルを置いて、そのキーフレームを選択する場合がある。次に、キーフレーム３１１からオブジェクトを選択するために、そのキーフレームのフルサイズ版をユーザに提示する。次に、ユーザは、この番組ビデオに埋め込まれた対話型コンテンツデータに対応付けるつもりのキーフレーム３１１内のオブジェクト６００に、マウスなどのポインティング・デバイスを用いてマークを付ける（図６に示される通り）。オブジェクトの周りに境界線囲み６１０を描くことで、このオブジェクトにマークが付けられる場合がある。キーフレーム３１１内のオブジェクト６００を選択するためには、ユーザは、カーソルが左上の角にあるときにマウスボタンをクリックし、そのマウスのカーソルを、オブジェクト６００の右下の角までドラッグする。このようにして、その選択されたオブジェクト６００の周りに境界線囲み６１０が表示される。
【００７３】
例えば、ポップグループのツアー日程に関するデータ情報を埋め込むためには、キーフレーム全体を選択する場合がある。このキーフレームがキーボードを含む場合には、このキーボードを選択して、キーボードメーカーに代って、キーボードを宣伝し、かつ／またはキーボードを販売する場合がある。さらに、キーフレーム内に現れるリードシンガーも選択される場合がある。図６に示される境界線囲み６１０は長方形であり、これは、好ましいデフォルト形状であるが、ただし、平行四辺形またはユーザ定義の多角形などの他の形状を使用することもある。
【００７４】
オブジェクトが選択され、図７に詳しく示される通りに、そのオブジェクトが識別される６００。このように、ユーザは、オブジェクト７１０を識別し、オブジェクト６００をポイントしクリックして、初期オブジェクト選択を行う７１５。各オブジェクト６００が、キーフレーム３１１内で選択されると、連続フレームを通してオブジェクトを追跡するのに用いられる属性を計算して、それを、すでに記録されたオブジェクト７２０の属性と比較し、新規オブジェクトが、そのフレームに関して、すでに記録された他のすべてのオブジェクトとはっきり異なることを保証する。これらの属性は、これらの属性に基づく時系列統計量だけでなく、このオブジェクトの形状、サイズ、位置、色、テクスチャ、輝度勾配の任意のものも含むことがある。新規オブジェクトが、以前に記録されたオブジェクトにあまりにも似ている場合には、この新規オブジェクトに関する追加情報を与えるようにユーザに指示する。そうでない場合には、このオブジェクトの属性が記録される。
【００７５】
ブロック７２５における選択されたオブジェクトは、そのフレームの他の部分から隔離されていると考えられる。次に、ユーザは、境界線囲み６１０を変更して、他のオブジェクトに対して、さらに正確に区別する７３０ことで、オブジェクト６００を定義するか、または、２つのオブジェクトが、画面上の同一場所を占有するように重なり合う場合には、ユーザは、その重なり合ったオブジェクトのそれぞれにランクを割り当てることで、どちらのオブジェクトが優先するか示すことがある。例えば、上に示された例では、ポップグループのツアー日程に関する情報は、フレーム全体に対応付けられものであって、その情報には低いランクが与えられて、例えば、このフレーム内のどこにでも現れる任意の他のオブジェクトが、さらに高いランクをつねに持ち、フレーム３１１全体に対応付けられるデータにより無効にされないようにしている場合がある。このような処理は、シーケンス３２１、３２２、３２３をそれぞれ表わすキーフレーム３１１のそれぞれに対して繰り返される。
【００７６】
このキーフレーム内で、各オブジェクトが選択されると、次のステップは、このオブジェクトをデータを用いて識別して、このデータを、そのオブジェクトとともに埋め込むことである。好ましくは、データのレコード・アドレスは、データベースに保持され、そのデータが、特定のオブジェクトに対応付けられるか、あるいは、別法として、レコード・アドレスを使用しないで、データ自体が埋め込まれる場合がある。好ましくは、グラフィカル・ユーザ・インタフェース７５０を用いて、そのデータを表わすアイコンを、フレーム３１１内のオブジェクト６００上にドラッグする。
【００７７】
それにより、ユーザは、「ドロップ・アンド・ドラッグ」技法を用いて、その区分化されたフレーム内の各オブジェクトに、広告コンテンツを追加して、例えば、広告主を表わすアイコンを、マウスを用いてオブジェクト上にドラッグして、関連データは、そのオブジェクトに自動的に埋め込まれるようになっている。この処理は、すべてのオブジェクトが、対話型データとともに埋め込まれるまで続けられる。それにより、或るオブジェクトを表わすデータが、ビデオ番組信号に埋め込まれて７６０、オブジェクト７６５に対応付けられる対話型コンテンツデータと、出力７７０としてそれぞれの埋め込まれたコンテンツデータに対応付けられるキーフレームの数とを提供する。
【００７８】
したがって、識別子７００は、これらのオブジェクトを識別して、各シーケンスからの少数のキーフレームにアクセスし、コンテンツを埋め込むことにより、そのコンテンツを、それらのオブジェクトに埋め込ませる。
【００７９】
オブジェクト・デスクリプタをキーフレームに埋め込んで、コンテンツを提供した後で、ビデオ番組の連続フレームを通して、オブジェクトを追跡することが必要である。
【００８０】
図８を参照して、ビデオ番組全体にわたって、或るオブジェクトを追跡することが必要であり、さらに、或るオブジェクトが、フレーム内で移動して、時折、他のオブジェクトにより覆い隠されるか、あるいは、見られているフレームから完全に去るときにも、その追跡の必要がある。基本的には、これらのオブジェクトは、一連の境界線形状と下位の特徴機能（例えば、形状、エッジ、色、テクスチャ、輝度勾配の情報）を組合わせたものとして定義される。このようなオブジェクトの表現を用いて、これらのオブジェクトが、ビデオ・シーケンスの残りのフレームを通して、対話形式で追跡される。複数のオブジェクトが追跡されて、それらのオブジェクトが現れるすべてのフレーム内に突き止められたときには、最初のキーフレーム３１１に埋め込まれた関連コンテンツが、すべてのシーケンスの残りのフレームに自動的に追加される。これは、特に図８に示されるオブジェクト・トラッカ８００の働きである。
【００８１】
カットされてないシーケンスや選択されたオブジェクト８１０は、フレーム内のオブジェクトを比較するのに用いられる下位の表現８２０に変換される８１５。すべてのフレームでは、距離測度を利用して、各フレーム内に各オブジェクトを突き止める。都合の良い距離測度は、それ自体公知のハウスドルフ測度であるが、ただし、この測度は、他の技法を用いると、大きくなる場合がある。順次フレームを通してのオブジェクトの追跡８２５が、繰り返して行われ、それにより、このオブジェクトは、当初、キーフレームでは、エッジ検出を行って、境界囲み６１０に囲まれたエッジを区分化することで得られた二次元幾何学形状として定義される。次に、オブジェクト６１０が、次のフレーム３１２内に突き止められて、そのオブジェクトの属性が、フレーム間に発生した位置と形状の変化を反映するために更新される。次に、これらの新たな属性を持つオブジェクトが、次のフレーム内に突き止められて、トラッカ８００の処理が続く。
【００８２】
一連のショットのすべてのフレーム内の各オブジェクトの位置が決定されると、閉塞の障害を除く位置と、オブジェクトの出口や入口の後処理が行われる。
【００８３】
このシステムは、照明変化、閉塞、カメラ移動、ショット、ブレーク（中断）、光遷移効果（例えば、ワイプ、フェード、ディゾルブ）に耐えうる。このシステムは、様々な公知技法を使用して（例えば、選択が、このシーケンスの視覚的な複雑さによって決まるようなアルゴリズム群を用いて）、あらゆるタイプの視覚環境において自動的に追跡できるようにしている。これらのアルゴリズムは、それ自体公知のものであるが、ただし、当業者は、ヒューリスティックスを使用して、追跡用に性能を最適化する場合がある。次に、キーフレーム内のオブジェクトに追加されるデータは、ビデオ・シーケンス８３０全体にわたって、オブジェクトを追跡するときに、すべてのフレーム内のオブジェクトに自動的に追加される。
【００８４】
ユーザは、生成されたトラックを再検討し、訂正があれば、入力する８３５。このような訂正は、その再検討されたシーケンスを、誤りのあるフレームの所で停止し、誤っているオブジェクトをクリックして、そのオブジェクトを、その正しい位置までドラッグして、行われる。このように、グラフィカル・ユーザ・インタフェースを用いて、オブジェクトの位置が誤って識別された位置でビデオを停止して、境界線囲み６１０を、その正しい位置にドラッグ・アンド・ドロップし、それにより、そのフレームに対して、このオブジェクトの属性を定義し直して、後続フレーム用のオブジェクトの定義を、その新規定義に基づかせ、それにより、検証済みのトラック８４５を生成する。
【００８５】
最後に、このビデオのすべてのシーケンス内のすべてのフレームは、その関連オブジェクトが、識別され、かつ対話型コンテンツデータ８５０とともに埋め込まれる。
【００８６】
トラッカ８００からの出力は、図９に示されるストリーマ９００に加えられ、ストリーマ９００内で、その埋め込まれたコンテンツデータの妥当性がチェックされ、必要であれば、その埋め込まれた対話型コンテンツデータを出力する順序が、視聴覚フレームと同期化される。
【００８７】
ストリーマは、すべてのフレーム内のすべてのオブジェクトが、埋め込まれたコンテンツデータ８５０を持つかどうか、また、そのコンテンツにラベルが付けられ、かつ、このコンテンツが妥当であって、エンコーダ設定９２０を用いて、エンコーダとエラーチェッカ９１０に作用するかどうか確かめる。コンテンツに正しくラベルが付けられ、かつコンテンツが妥当であることの検証９４０が行われ、また出力９３０は、完全な放送適合のトランスポート・ストリーム（例えば、ＭＰＥＧ−２／ＤＶＢのオーディオ、ビデオ、および、埋め込まれたオブジェクトとコンテンツデータ）であるか、あるいは、埋め込まれたオブジェクトとコンテンツデータ単独としてのものである。
【００８８】
ストリーマ９００は、埋め込まれたコンテンツデータが、３つの種類（すなわち、フレーム同期データ、セグメント同期データ、または、ジャストインタイム式にストリーム再生されるデータ）のどれに属するか判定しなければならない。フレーム同期データは、オブジェクトの位置、形状、ランクから成り、またデータを指すポインタの１テーブルを指すポインタは、ソース２０１からのビデオ番組内の正確なフレーム番号に対応付けられる場合がある。セグメント同期データは、オブジェクトが変わると、埋め込まれたコンテンツデータも変わるように、その埋め込まれたコンテンツデータを指すポインタのテーブルを更新する目的で使用される。このデータは、コンテンツが変わるときのフレーム番号に対応付けられることもある。「ジャストインタイム」式にストリーム再生されるデータは、これらのオブジェクトのどれかにより求められる前に、エンドユーザにストリーム再生されなければならない。次に、このトランスポート・ストリームは、ＭＰＥＧ−２／ＤＶＢ適合のパケットにパケット化される。
【００８９】
完全に埋め込まれた視聴覚番組が求められる場合には、図１０に示されるように、パケット化トランスポート・ストリームとビデオ番組がいっしょに多重化される。
【００９０】
図１０を参照して、この埋め込まれたビデオ番組を構成する異なる要素は、組合わされて単一のトランスポート・ストリーム１００１にして、ネットワーク・オペレータによる放送に備えている。この番組は、ビデオストリーム１０１０とオーディオストリーム１０２０から成り、それらのストリームは両方とも、圧縮されてない。ビデオデータ１０１０もオーディオデータ１０２０も、それぞれのＭＰＥＧ−２基本エンコーダ１０１５と１０２５において符号化され、圧縮されて、それぞれ、データ１０３０、１０３５のエレメンタリーストリームを生成する。ＭＰＥＧ−２適合のデータ・シーケンス９３０は、エラー検査されて１０３７、データ１０４０のエレメンタリーストリームを生成する。エレメンタリーストリーム１０３０、１０３５、１０４０は、パケット化装置１０５０、１０５５、１０６０に加えられ、それらのパケット化装置はそれぞれ、データを蓄積して、固定サイズ・ブロックにし、さらに、それらのブロックには、プロトコルヘッダが追加される。それらのパケット化装置からの出力は、パケット化エレメンタリーストリーム（ＰＥＳ）１０７０と呼ばれる。パケット化エレメンタリーストリーム１０７０は、デジタル制御データ（ＰＳＩ）１０７５と組み合わせて、システムクロック１０８５を有するシステム層多重化装置１０８０に加えられる。ＰＥＳパケットは、情報１０３０、１０３５とデータ・シーケンス９３０の連続エレメンタリーストリームを、パケットのストリームに変換する機構である。このエレメンタリーストリームは、ＰＥＳパケットに埋め込まれると、タイムスタンプと同期化される場合がある。これは、受像機（ＰＣまたはＴＶ）が、その埋め込まれたビデオ番組を構成するすべてのビデオストリーム、オーディオストリーム、データストリームの相互の関係を決定できるようにするために必要である。
【００９１】
各ＰＥＳパケットは、システム多重化装置１０８０に送られる。そこでは、これらのパケットは、トランスポート・パケットにカプセル化されて、放送に使用されるトランスポート・ストリーム１００１を形成する。この点で、トランスポート・ストリーム１００１は、１８８バイトのブロックでパケットを搬送し、またトランスポート・ストリーム１００１は、放送のために、ネットワーク・オペレータに送られる完全ないわゆるｅＭＵＳＥチャンネルを構成する。本質的に、このトランスポート・ストリームは、固定長のパケットを用いて、複数のストリームを組み合わせる汎用方式である。
【００９２】
パケットの構造は、図１１に示されている。図１１に示されるパケット１１００は、１バイトの同期バイト、１３ビットのパケット識別子（ＰＩＤ）、およびこのパケットを処理すべき方法を示す一組のフラグを有するヘッダ１１１０を持っている。このトランスポート多重化装置は、異なるパケット識別子を各ＰＥＳ１０７０に割り当てて、個々のストリームを一意的に識別する。このようなやり方で、このパケット化データ・シーケンス９３０が一意的に識別される。これらのエレメンタリーストリームの同期化は、タイムスタンプをトランスポート・ストリーム１００１で送ることで、容易となる。
【００９３】
以下の２つのタイプのタイムスタンプが用いられる場合がある：
１．現在時間を示す基準タイムスタンプ、すなわち、クロック１０８５の情報。
２．デコーディング・タイムスタンプ。
【００９４】
デコーディング・タイムスタンプは、ＰＥＳに挿入されて、データストリームが、ビデオストリームおよびオーディオストリームと同期化される必要のある厳密な時間を示す。デコーディング・タイムスタンプは、動作では、基準タイムスタンプに頼っている。トランスポート・ストリームがブロードキャスト（放送）された後で、ＰＣまたはＴＶは、これらのタイムスタンプを使用して、ビデオストリームとオーディオストリームに関して、そのデータ・シーケンスを処理する。
【００９５】
受像機（ＰＣまたはＴＶ）が、このチャンネルをデコードする方法を知るためには、受像機は、パケット自体のＰＩＤテーブルとともに、トランスポート・ストリーム１００１内で別々のパケットとして送られる特定番組向け情報（ＰＳＩ）ラベルとして知られた一組の信号テーブルにアクセスする必要がある。受像機が或るチャンネルをデコードできるようにするのに必要なテーブルが２つある。第１のテーブルは、番組対応付けテーブル（ＰＡＴ）１１３０であって、これは、衛星放送の範囲内で使えるすべてのチャンネルをリストし、かつ、そのテーブルの識別を容易にする０のパケットＩＤ（ＰＩＤ）を持っている。この例では、ｅＭＵＳＥチャンネル、すなわち、ビデオ番組を搬送するチャンネルが、ＰＩＤ１１１として表わされている。
【００９６】
番組テーブル・マップ（ＰＭＴ）１１４０は、埋め込まれたビデオ信号に入っているすべてのエレメンタリーストリームを識別する。各エレメンタリーストリームは、ＰＩＤ値により識別される。例えば、ビデオカメラ１からのビデオはＰＩＤ７１である。データ・シーケンス９３０は、図１１の例においてＰＩＤ値９２を持っている。受像機のビデオデコーダとオーディオデコーダは、ＰＭＴテーブルを探索して、デコードするのに適したパケットを見つける。同様に、埋め込まれたデータを検索するプログラムが、ＰＭＴを探索して、図１１の例ではＰＩＤ９２であるデータシーケンスを見つける。次に、このデータ検索プログラムは、これらのパケットをフィルタリングして選別し、選別されたパケットを、適切なビデオおよびオーディオと同期化させて、ユーザが様々なオブジェクトを選択できるようにしている。
【００９７】
対話型コンテンツデータをビデオ番組信号に埋め込んだ後で、このビデオ番組信号が、ブロードキャスト（放送）される。ここでは、このデータを受け取って、検索する方法を、図１２を参照して説明する。
【００９８】
ユーザのＰＣ４０またはデジタル・セットトップ・ボックス５０上にある衛星放送受信カード１２１０にハードウェアが設けられており、また、ソフトウェア（例えば、インターネットへのアクセスを容易に行うもの、Ｉｎｔｅｒｎｅｔ  ＥｘｐｌｏｒｅｒやＮｅｔｓｃａｐｅなどのインターネットブラウザ、また、ＴＶ用として、Ｓｕｎ社のオープンＴＶオペレーティング・システムと互換性のあるもの）により、テレビ視聴者は、放送中の動的オブジェクトと対話することができる。
【００９９】
受け取られたＭＰＥＧ−２／ＤＶＢ信号は、ＭＰＥＧ−２ビデオ１２１５、ＭＰＥＧ−２オーディオ１２２０、データ・シーケンス９３０に分けられ、またデコードされたビデオ１２２５、オーディオ、データ・シーケンスは、シンクロナイザ１２３０に加えられる。対話型コンテンツデータが埋め込まれているビデオ番組を含め、シンクロナイザから出力されるものは、ＰＣのＶＤＵまたはＴＶ画面により、表示される１２４０。
【０１００】
ユーザは、興味のある１オブジェクトを含む１フレームにおいて、マウス５６をクリックするか、または、リモコンボタンを押し、それにより、画面上の表示が２つに分割される。例えば、左側の画面では、ビデオ番組が、常態として流れ続け、また右側の画面では、マウスをクリックしたときにアクティブであったフレーム内にあるオブジェクトが、カットされた部分として表示されて、それらの介在スペースが空白になる。次に、ユーザは、興味のあるオブジェクトをクリックして、そのオブジェクトがどの広告主を表わしているのか知る。例えば、ユーザがリードシンガーをクリックする場合には、画面は、そのリードシンガーだけを表示し、また文字の広告主リスト、あるいは、アイコンベースの広告主表示が見られる。ユーザが広告主の名前またはアイコンをクリックする場合には、ユーザは、宣伝された製品をじかに見ることになる。
【０１０１】
このサイトと対話した後で、ユーザは、ｅコマースのトランザクションを通じて、製品を購入することに決める場合がある。さらに、ユーザが、リードシンガーのスーツをクリックすると、ストリーム再生されたデジタル放送の一部として、スーツメーカーの全カタログが入手できるようになっていてもよい。このようなインターネットを介するリターンパスは、ユーザがフレーム内の多数のオブジェクトの中から選択すると、広告情報をストリーム再生するプッシュ技術の手法が、データ・シーケンス９３０により起動されるから、トランザクションをまったく容易にする。
【０１０２】
ユーザは、上に説明されるようなオンラインの手法で放送と対話できるが、別法として、データは、オフラインで見られることもある。すなわち、テレビ視聴者が、引き続き、或る番組を見ているときに、ユーザは、放送中に様々なフレームを選択し、それらのフレームを蓄積して、後で、その関連データを検索する場合がある。このデータを蓄積するのに充分なローカル・メモリがない場合には、ローカル・データベースまたはリモート・データベース（例えば、Ｗｅｂサイト）に前記データのアドレスを蓄積して、後で、エンドユーザは、それらのデータベースにアクセスして、このデータを検索することができる。つぎに、ユーザは、興味のあるオブジェクト６００を、マウスまたはリモコンを用いて選択し、次に、オブジェクト６００と、そのオブジェクトに対応付けられるデータ要素のメニューを示す別の画面を表示することがある。ユーザは、メニュー項目の１つをクリックし、その宣伝された製品上のデータを直接に見るか、あるいは、インターネット上のＷｅｂサイトにアクセスすることができる。別法として、ユーザがメニュー項目を選択するとすぐ、放送信号に埋め込まれているカタログが見られる場合がある。
【０１０３】
エンドユーザがアクセスするデータは、放送信号でストリーム再生される場合があるか、あるいは、ビデオ・シーケンスを見る前に、エンドユーザの装置に前もってインストールされるローカル・データベースに保持される場合がある。放送でストリーム再生された情報を見ているときに、特定の番組に対応付けられる情報は、その番組と同時にストリーム再生されて、ユーザのマシンに蓄積される。ユーザが或るオブジェクトを選択すると、このようなローカルデータが表示される。
【図面の簡単な説明】
【図１】  図１は、本発明の対話型システムのブロック模式図を示す。
【図２】  図２は、或る番組の関連フレーム内の１オブジェクトに対応付けられる対話型コンテンツデータを生成するビデオ番組処理のブロック模式図を示す。
【図３】  図３は、関連カメラ・ショット群によって得られた番組シーケンスを示す模式図を示す。
【図４】  図４は、ショット群を生成させる、図２に示されるパーサのブロック模式図を示す。
【図５】  図５は、ビデオ番組のキーフレームを示す。
【図６】  図６は、図５のキーフレーム内で選択された１オブジェクトを示す。
【図７】  図７は、ビデオ番組内のオブジェクトを１フレームずつ識別する流れ図を示す。
【図８】  図８は、このオブジェクトを１フレームずつ追跡する、図２に示されるオブジェクト・トラッカの流れ図を示す。
【図９】  図９は、図２に示されるストリーマの流れ図を示す。
【図１０】  図１０は、対話型コンテンツデータをビデオ番組信号と組み合わせるブロック模式図を示す。
【図１１】  図１１は、本発明に用いられるデータパケットの構造を示す。
【図１２】  図１２は、ビデオ番組信号から対話型コンテンツデータを抽出するやり方を、ブロック模式図で示す。
【図１】
0004059631.tif 000002
【図２】
0004059631.tif 000003
【図３】
0004059631.tif 000004
【図４】
0004059631.tif 000005
【図５】
0004059631.tif 000006
【図６】
0004059631.tif 000007
【図７】
0004059631.tif 000008
【図８】
0004059631.tif 000009
【図９】
0004059631.tif 000010
【図１０】
0004059631.tif 000011
【図１１】
0004059631.tif 000012
【図１２】
0004059631.tif 000013