(57)【特許請求の範囲】
【請求項１】
オーディオ、ビデオおよびグラフィックのユニットの表示のための所定の位置および時間を示すホールを有するマルチメディア表示内に、前記オーディオ、ビデオ、およびグラフィックのユニットのコンテンツを表示するための方法において、
前記方法が、
マルチメディア表示ストリームを受信装置に通知するステップと、
前記ホール情報が前記マルチメディア表示ストリームに埋め込まれているかどうかを判定するステップと、
前記ホール情報を抽出するステップと、及び
前記マルチメディア表示内に、前記マルチメディア表示の前記ホール内に前記オーディオ、ビデオおよびグラフィックのユニットを表示するステップと、
を含み、
ここで、前記ホール情報が、前記オーディオ、ビデオおよびグラフィックのユニットを表示することが前記マルチメディア表示のオブジェクトを見ることの妨げにならないようように定義される、前記方法。
【請求項２】
前記オーディオ、ビデオおよびグラフィックのユニットが前記受信装置に記憶される、請求項１に記載の方法。
【請求項３】
前記オーディオ、ビデオおよびグラフィックのユニットが前記マルチメディア表示とともに通知される、請求項１又は２のいずれか一に記載の方法。
【請求項４】
前記通知ステップの前にオーサリング・ステップで、前記ホール情報の所定の位置および時間が決定され、そしてマルチメディア表示ストリーム中に埋め込まれる、請求項１乃至３のいずれか一に記載の方法。
【請求項５】
前記ホール情報が、ユーザ・インタフェースを介して前記受信装置において変更されることができる、請求項１乃至４のいずれか一に記載の方法。
【請求項６】
前記ホール情報が、
挿入アプリケーションとの調整用の識別子と、
媒体タイプと、
開始時間と、
終了時間と、
開始画面位置と、
終了画面位置と、
ビデオ内における前記ホールの移動用の運動ベクトルと、
前記ビデオを挿入する場合のビットマップの記述と、及び
オーディオを挿入する場合のボリューム・レベルと、
を含む、請求項１乃至５のいずれか一に記載の方法。
【請求項７】
前記ホール情報が、前記マルチメディア表示内の可視オブジェクトとフレームに同期された調整で定義される、請求項１に記載の方法。
【請求項８】
前記ホール情報は、オーディオ再生が前記マルチメディア表示の音声の妨げにならないように実行されうるような方法で定義される、請求項７に記載の方法。
【請求項９】
前記ホール情報は、前記オーディオのユニットが前記マルチメディア表示のオーディオのユニットと調整されて導入され得るような方法で定義される、請求項８に記載の方法。
【請求項１０】
前記ホール情報が、前記マルチメディア表示の視聴を妨げないように前記オーディオ、ビデオおよびグラフィックのユニットを表示するのに使用される、請求項９に記載の方法。
【請求項１１】
前記ホール情報が、前記マルチメディア表示のオーディオ、ビデオおよびグラフィックのユニットと調整された前記オーディオ、ビデオおよびグラフィックのユニットを表示する際に使用されて、前記マルチメディア表示のコンテンツと前記オーディオ、ビデオおよびグラフィックのユニットの各コンテンツとの結合から、調整された表示の混成を形成する、請求項１０に記載の方法。
【請求項１２】
個別化情報が前記ユーザ・インタフェースを介して前記受信装置に記憶される、請求項１乃至１１のいずれか一に記載の方法。
【請求項１３】
オーディオ、ビデオおよびグラフィックのユニットの表示のための所定の位置および時間を示すホールを有するマルチメディア表示内に、前記オーディオ、ビデオおよびグラフィックのユニットのコンテンツを表示するための方法を実行するためにマシンによって実行可能な命令からなるコンピュータ・プログラムを記録した記録媒体において、
マルチメディア表示ストリームを受信装置に通知するステップと、
前記ホール情報が前記マルチメディア表示ストリームに埋め込まれているかどうかを判定するステップと、及び
前記ホール情報を抽出するステップと、
前記マルチメディア表示内に、前記マルチメディア表示の前記ホール内に前記オーディオ、ビデオおよびグラフィックのユニットを表示するステップと、
を含むプログラムが記録され、
ここで、前記ホール情報が、前記オーディオ、ビデオおよびグラフィックのユニットを表示することが前記マルチメディア表示のオブジェクトを見ることの妨げにならないように定義されるところのプログラムを記録した前記記録媒体。
【請求項１４】
前記オーディオ、ビデオおよびグラフィックのユニットが前記受信装置に記憶されるところのプログラムを記録した請求項１３に記載の記録媒体。
【請求項１５】
前記オーディオ、ビデオおよびグラフィックのユニットが前記マルチメディア表示とともに通知されるところのプログラムを記録した請求項１３又は１４のいずれか一に記載の記録媒体。
【請求項１６】
前記通知ステップの前にオーサリング・ステップで、前記ホール情報の所定の位置および時間が決定され、そしてマルチメディア表示ストリームに埋め込まれる、請求項１３乃至１５のいずれか一に記載のプログラムを記録した記録媒体。
【請求項１７】
前記ホール情報が、ユーザ・インタフェースを介して前記受信装置内で変更されることができるところのプログラムを記録した請求項１３乃至１６のいずれか一に記載の記録媒体。
【請求項１８】
前記ホール情報が、
挿入アプリケーションとの調整用の識別子と、
媒体タイプと、
開始時間と、
終了時間と、
開始画面位置と、
終了画面位置と、
ビデオ内における前記ホールの移動用の運動ベクトルと、
前記ビデオが挿入される場合のビットマップの記述と、及び
オーディオが挿入される場合のボリューム・レベルと、
を含むところのプログラムを記録した請求項１３乃至１７のいずれか一に記載の記録媒体。
【請求項１９】
前記ホール情報が、前記マルチメディア表示内の可視オブジェクトとフレームに同期された調整で定義されるところのプログラムを記録した請求項１３に記載の記録媒体。
【請求項２０】
前記ホール情報は、オーディオ再生が前記マルチメディア表示の音声の妨げにならないように実行されうるような方法で定義されるところのプログラムを記録した請求項１９に記載の記録媒体。
【請求項２１】
前記ホール情報は、前記オーディオのユニットが前記マルチメディア表示のオーディオのユニットと調整されて導入され得るような方法で定義されるところのプログラムを記録した請求項２０に記載の記録媒体。
【請求項２２】
前記ホール情報は、前記マルチメディア表示の視聴を妨げないように前記オーディオ、ビデオおよびグラフィックのユニットを表示するのに使用されるところのプログラムを記録した請求項２１に記載の記録媒体。
【請求項２３】
前記ホール情報が、前記マルチメディア表示のオーディオ、ビデオおよびグラフィックのユニットと調整された前記オーディオ、ビデオおよびグラフィックのユニットを表示する際に使用されて、前記マルチメディア表示のコンテンツと前記オーディオ、ビデオおよびグラフィックのユニットの各コンテンツとの結合から、調整された表示の混成を形成するところのプログラムを記録した請求項２２に記載の記録媒体。
【請求項２４】
個別化情報が前記ユーザ・インタフェースを介して受信装置に記憶されるところのプログラムを記録した請求項１３乃至２３のいずれか一に記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア・テレビジョン表示にオーバレイするテキストまたはスプライトなどのグラフィック・オブジェクトの表示に関し、より具体的にはマルチメディア表示（以下「マルチメディア提示」と云う場合がある）に合わせて調整されたビデオまたはオーディオを含むアニメーション・グラフィックまたは再生の表示に関する。
【０００２】
【従来の技術】
対話式およびマルチメディア・アプリケーションを含む多くのビデオ・アプリケーションは、ＴＶまたはＰＣモニタなどのビデオ画面上にグラフィック・オーバレイを表示するためにビデオ視聴者用機器機能を利用している。このようなグラフィック表示は、多くの電子番組ガイドまたはメニューの場合のように画面全体またはそのセクションを支配する。このようなグラフィック・オーバレイの後ろにあるビデオは全部または一部が覆い隠され、それにより、視聴を妨げている。米国特許第５７３７０３０号、第５５９２５５１号、第５５４１７３８号、第５３５３１２１号に記載されているような電子番組ガイドを提示するためのシステムは、ビデオがまったくない画面または単に背景として静止画フレームまたは動画ビデオを使用する画面上にこのようなガイドを表示し、ビデオ内の項目の位置とグラフィック・オーバレイの位置との調整はまったく行われていない。
【０００３】
現在、セットトップ・ボックス（ＳＴＢ）などの視聴者用機器は、ビデオ内のどこにオブジェクトを配置するかを決定する機能を備えていない。ビデオ提示内に現れるオブジェクトを妨げないような位置に画面上のテキストまたはアニメーション・キャラクタなどのグラフィック・オブジェクトを配置するためには、ビデオ内のオブジェクトの位置の決定が必要である。
【０００４】
米国特許第５５８５８５８号に記載されているようなシステムは、ビデオ・コンテンツとの互換性がとれるように設計されたグラフィック・オーバレイ画面を放送ストリームに含めるかまたは視聴者用機器に事前記憶することにより、ビデオおよびグラフィック表示を調整しようと試みる。しかし、このような画面は、提示より十分先立って作成しておかなければならず、したがって、妨げにならないグラフィック・オーバレイを適応的に作成し表示するための柔軟性が欠落する。さらに、このようなシステムは、提示全体にわたる任意のポイントではなく、提示内の特定の「トリガ・ポイント」にグラフィックを表示する。
【０００５】
米国特許第５７０８７６４号に記載されているような既存の提示にグラフィックまたはオーディオ・コンテンツを追加する他のシステムでは、提示中に視聴者の積極的な関与が必要である。たとえば、視聴者は、提示前または提示中にいくつかの質問に回答することを要求される場合があり、その応答は所定の時期に画面上に表示される。
【０００６】
個々のユーザ向けにコンテンツを個別化することが可能なシステムは、ウェブ・ブラウジングの情況では周知のものである。米国特許第５５８５８５８号および第４６１６３２７号に記載されているような他のシステムでは、所定のテキストまたはグラフィックに関する視聴者用機器による導入の回数が限られている。米国特許第４８３９７４３号、第４７８６９６７号、第４８４７７００号に記載されているような一部のシステムでは、同時に放送される少数のビデオおよびオーディオの交互トラック間の選択によりオーディオまたはビデオあるいはその両方の個別化が行われる。この選択は視聴者用機器で行われる。
【０００７】
【発明が解決しようとする課題】
必要とされているのは、ビデオ・オブジェクトおよびオーディオ・イベントの位置およびタイミングが視聴者用表示機器に使用可能になり、限られたポイントではなくマルチメディア表示全体にわたって適応的にそれが適当と思われる時期および場所で妨げにならないグラフィックまたはオーディオを追加するための柔軟性をその機器に付与するシステムである。このような能力により、視聴者用機器はマルチメディア表示プロセス中に視聴者の積極的な関与を必要とせずにビデオ／オーディオ／グラフィックを作成できるようになるだろう。このシステムは、放送ニュース掲示板など事前記憶されていないグラフィック・コンテンツの調整を可能にし、ビデオの静止画またはアニメーション・グラフィック・オーバレイ、ビデオの追加または置換え、マルチメディア表示の既存のビデオおよびオーディオ・コンテンツと調整されたオーディオ置換えを実行するものでなければならない。
【０００８】
【課題を解決するための手段】
本発明は、ディジタル・ビデオ提示のビデオおよびオーディオ再生とともにタンデム方式でオーディオ、ビデオ、またはグラフィック・オブジェクトの表示または再生を可能にする、情報を定義し使用するためのシステムである。このように強化された提示は、放送によるかまたはビデオオンデマンド・シナリオで使用可能になる可能性がある。それによりビデオが使用可能になるビデオ配布システムは、地上テレビジョン放送などの一方向システムにするかまたは戻りチャネル機能を備えたハイブリッド・ファイバ／同軸ケーブル・システムなどの両方向通信にすることができる。
【０００９】
本発明は、ビデオまたはオーディオの重要なアクティビティが一切存在しないビデオまたはオーディオ提示内のビデオおよびオーディオ「ホール」を定義することにより、追加オーディオ、ビデオ、またはグラフィックのタンデム提示を可能にするものである。「ホール」とは、ビデオ提示内の位置および時間である。グラフィックまたはオーディオ・オブジェクトは、その「ホール」内にＳＴＢによって適切に提示される。ＳＴＢは、このような「ホール」に関連する位置または時間あるいはその両方ならびにＳＴＢが提示しなければならない素材を特徴づけるその他の情報について通知を受ける。
【００１０】
この情報により、本発明は、ＳＴＢが画面上のグラフィック・オブジェクトを適切に配置するかまたはオーディオまたはビデオ・コンテンツを再生し、ビデオ・オブジェクトまたはオーディオ・イベントへの妨害を回避できるようにする。ＳＴＢによって表示されるグラフィック・オブジェクトは、静的なものにするかまたは動的なもの、すなわち、アニメーションにすることができる。したがって、本発明は、元のビデオまたはアニメーション内のオブジェクトが視聴者用機器によって追加されるビデオまたはグラフィック・オブジェクトと対話し、それとともにタンデム方式で移動するようなビデオ提示の作成も可能にする。たとえば、複数のキャラクタが一度に画面上で見られ、ＳＴＢなどの視聴者用機器によって追加されるアニメーション・キャラクタの追加用の「ホール」が残されるような漫画を作成することができる。
【００１１】
あるいは、ＳＴＢアニメーション・キャラクタによって覆い隠すことができる比較的重要性が低いキャラクタの位置に「ホール」を定義することができるだろう。本発明をサポートしていないＳＴＢを有する視聴者は、依然としてビデオ「ホール」がまったくない提示を見るかもしれない。どのタイプのキャラクタをどの画面位置にいつ追加できるかに関する情報と、追加キャラクタの動作は、キャラクタの表示に先立ってＳＴＢに送達しなければならない。
【００１２】
同様に、本発明は、提示のオーディオ・コンテンツとＳＴＢによって導入されるオーディオ・コンテンツとの間のタンデム・オーディオ再生を可能にする。
【００１３】
本発明は、ＳＴＢによって導入されるビデオ、グラフィック、またはオーディオ・コンテンツの個別化を可能にする。この個別化は、視聴者が視聴者用インタフェースにより名前および年齢などの複数の個人的パラメータを指定するときに視聴者によって達成される。上記の例を続行するため、ＳＴＢの個別化情報に子供の名前を入力することができる。作成された提示を視聴する前に、ＳＴＢアニメーション・キャラクタは、このキャラクタがビデオ「ホール」の位置に提示されるときにこの子供の名前を表示することができる。あるいは、ＳＴＢは、オーディオ「ホール」中に子供の名前のオーディオ・クリップを再生することができる。個別化したオーディオまたはビデオ・クリップは、タンデム再生で使用するためにＳＴＢに記録し記憶することができる。
【００１４】
したがって、本発明は、漫画提示などの単一バージョンの素材を作成して放送し、様々な視聴者によって様々に視聴し、様々な視聴者に応じて具体的に調整できるようにする。実際には、視聴者のＳＴＢによって「ホール」内に導入されるグラフィックまたはオーディオあるいはその両方と元の提示との結合（すなわち、和）である混成（以下、「ハイブリッド」という場合がある）表示が作成される。
【００１５】
したがって、本発明では、個別化情報、オーディオおよびビデオ・セグメント、ならびにおそらく「ホール」情報がＳＴＢに記憶される。ＳＴＢは、「ホール」情報とともに埋め込まれたマルチメディア提示ストリームを受信する。この「ホール」情報はオーサリング段階中にストリーム内に埋め込まれ、そこで提示の作成者は「ホール」の位置および時間を決定する。その「ホール」情報はＳＴＢ上で抽出され、前にＳＴＢに記憶されたオーディオおよびビデオ・セグメントと個別化情報は、「ホール」に合わせて調整され、マルチメディア提示とともにタンデム方式で表示される。
【００１６】
【発明の実施の形態】
本発明によるタンデムＳＴＢビデオ・グラフィック表示またはオーディオまたはビデオ再生あるいはその両方とともに提示を作成し再生するために必要な諸ステップは、以下の通りである。
１．オーサリング段階中にビデオおよびオーディオ「ホール」を定義し、ビデオおよびオーディオを含む表示ストリーム内に制御情報の一部としてそれらを埋め込む。
２．視聴者のＳＴＢ上で個別化を実行する。
３．表示ストリームを視聴者のＳＴＢに送達する。
４．表示ストリームから制御情報を抽出し、ＳＴＢによって解析する。
５．「ホール」の時間中およびその位置にＳＴＢによって提供されるグラフィック、オーディオ、またはビデオ・オブジェクトともに表示ストリームのビデオおよびオーディオを表示する。
【００１７】
オーサリング段階
ビデオおよびオーディオ「ホール」の位置および時間を指定するため、ビデオ提示には制御情報でマークを付けなければならない。好ましい実施の形態では、これは、このマーキング・プロセスのために設計され、米国特許出願第０９／０３２４９１号に記載されているオーサリング・システムの使用により、オフラインで行われる。
【００１８】
また、制御情報は、ＳＴＢに対してビデオ「ホール」を指定することにより、進行中のライブ提示にリアルタイムで追加することもできる。ＳＴＢは、この情報を使用して、その番組、たとえば、ニュースまたはスポーツ番組に関連するテキストを表示し、ビデオおよびオーディオとともに放送することになる。表示用のテキストの選択は、ＳＴＢにすでに記憶された個別化情報に基づいて行うことができる。
【００１９】
オーサリング・システムは、入力としてビデオ／オーディオ・コンテンツを受け入れる。オーサは、コンテンツを１ステップずつ進み、ビデオまたはオーディオあるいはその両方の「ホール」の位置にマークを付ける。このように作成されたマーキングは、ビデオ／オーディオ・コンテンツに挿入される、このような「ホール」を記述する制御情報を作成するためにオーサリング・システムによって使用される。
【００２０】
好ましい実施の形態では、制御情報は、以下のものを示すＨＴＭＬタグの形を取る。
１．挿入アプリケーションに合わせて「ホール」を調整するために使用する「ホール」の識別子
２．「ホール」のタイプ、たとえば、ビデオまたはオーディオ
３．「ホール」の開始時間
４．「ホール」の終了時間
５．「ホール」の開始画面位置、たとえば、ビデオ内のｘ、ｙ座標
６．「ホール」の終了画面位置、たとえば、ビデオ内のｘ、ｙ座標
７．ビデオ内の「ホール」の移動用の運動ベクトル
８．ビデオ「ホール」内に挿入すべきビットマップ（複数も可）の記述
９．挿入されたオーディオ用のボリューム・レベル
【００２１】
オーサリング・プロセスを簡単にするために、自動オブジェクト認識をオーサリング・システムに取り入れることができる。オーサはビデオ・オブジェクト、たとえば、重要性の低いキャラクタの初期位置を指定し、その後の位置はオーサリング・システムによって検出され、そのシステムはオブジェクトが移動するにつれて適切な制御情報をストリーム内に挿入する。すなわち、ホール情報が、オーディオ、ビデオおよびグラフィックのユニットを表示することがマルチメディア表示の見ることの妨げにならないような方法で定義されている。
【００２２】
ディジタル・ビデオ・ストリームの場合、オーディオおよびビデオ信号用のＭｏｔｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ−２）圧縮と、このような信号の移送用にＭＰＥＧ−２システム移送を使用することができる。ディジタル・ビデオのビット・レート要件が高いので、ネットワークにより伝送する前に通常、何らかの圧縮方式がビデオに適用される。好ましい実施の形態では、ビデオおよびオーディオ・コンテンツは、ビデオ用のＩＳＯ／ＩＥＣ１３８１８−２およびオーディオ用のＩＳＯ／ＩＥＣ１３８１８−３に指定されているようにＭＰＥＧ−２圧縮を使用して圧縮される。
【００２３】
また、ＭＰＥＧ−２規格では、オーディオおよびビデオ基本ストリームからなる提示をどのようにまとめて多重化して「移送ストリーム」にすることができるかも指定している。これは、ＭＰＥＧ−２システム規格であるＩＳＯ／ＩＥＣ１３８１８−１に指定されている。このＭＰＥＧ−２システム規格は、「プライベート・データ」ストリームの使用により、非ビデオおよび非オーディオ・ストリームを提示の移送ストリームに含めることに対処するものである。すべての移送ストリーム・パケットは、コンテンツにかかわらず、均一サイズ（１８８バイト）および均一フォーマットのものである。「プログラム固有情報」も移送ストリーム内で伝達されるが、これはどの基本ストリームが移送ストリームに多重化されているか、どのタイプのコンテンツをそれが伝達するか、どのようにそれをデマルチプレクシングできるかに関する情報を伝達する。この実施の形態では、制御情報はＭＰＥＧ−２移送ストリームのプライベート・データ・ストリームで伝達される。
【００２４】
ＭＰＥＧ−２ビデオを使用する実施の形態では、「ホール」指定用の開始時間および終了時間は、「ホール」が現れるフレームの提示タイム・スタンプ（ＰＴＳ）によって指定される。ＰＴＳは、通常、フレームごとないし３フレームごとに存在し、これは同期化には十分なものである。というのは、ＮＴＳＣビデオ用のフレーム・レートは３０フレーム／秒であるからである。ビデオ「ホール」は矩形であり、したがって、１対の（ｘ，ｙ）座標によって指定される。他の実施の形態では、より複雑な多角形を使用してビデオ「ホール」の形状を記述することができ、より多くの座標と、どの多角形を使用するかという指定が必要になる場合がある。ビデオ「ホール」の移動は開始画面位置と終了画面位置との間の直線である。この場合も、他の実施の形態ではビデオ「ホール」の移動を記述するためにより複雑な機能を指定することができる。
【００２５】
送達段階
制御情報は本発明の機能に応じて明白に作成し、ＳＴＢによってコンテンツを挿入するためにビデオまたはオーディオあるいはその両方に「ホール」を残すことができる。本発明をサポートしていないＳＴＢを有する視聴者に対して完全な提示を示すため、「ホール」は実際にはデフォルト単位のビデオまたはオーディオ・コンテンツにすることができる。本発明用に設計されていない提示はそれに対処するように改装することができ、すなわち、オーバレイ可能な既存のコンテンツ・エリアまたは音声あるいはその両方で「ホール」を見つけることができる。
【００２６】
制御情報の形成後、以下のように送信することにより、このような制御情報とともにビデオ提示を視聴者のＳＴＢに移送することができる。
ａ．アナログ・ビデオ信号のビデオ・ブランキング間隔で送信し、有線テレビ字幕情報に使用するものと同様に視聴者用機器によって抽出する。
ｂ．個別の残留側波帯チャネルで送信する。
ｃ．ディジタル・ビデオ／オーディオ・ストリーム内で送信し、埋込みデータの抽出はビデオまたはオーディオ・ストリームの抽出に使用するものと同様に視聴者用機器によって実行する。
【００２７】
ＳＴＢ
図４は、本発明に必要な典型的な機器を示している。これは、テレビ受像機またはモニタ画面４と、マルチメディア提示を受信するためのケーブル６と、モニタ画面４上に表示するために結果として得られる提示を受け入れ、処理し、ケーブル７により転送するためのＳＴＢ５とを含む。ＭＰＥＧ−２デマルチプレクサ、ＭＰＥＧ−２オーディオ・デコーダ、ＭＰＥＧ−２ビデオ・デコーダは、現在、広く使用可能になっている。Ｃ−ＣｕｂｅのＣ１９１１０移送デマルチプレクサ、Ｃ−ＣｕｂｅのＣ１９１００  ＭＰＥＧ−２ビデオ・デコーダ、Ｃｒｙｓｔａｌ  ＳｅｍｉｃｏｎｄｕｃｔｏｒのＣＳ４９２０  ＭＰＥＧオーディオ・デコーダがその例である。好ましい実施の形態では、ＩＢＭのＣＤ２１  ＭＰＥＧ−２オーディオ／ビデオ・デコーダのように、ビデオ・デコーダとオーディオ・デコーダを単一チップにまとめて実現することができる。そのオーディオおよびビデオ・デコーダに取り入れられていない場合、ディジタルからアナログに変換するために、また、ビデオの場合はＮＴＳＣ、ＰＡＬ、またはＳＥＣＡＭなどの所望のビデオ・アナログ信号フォーマットにコード化するために、デコーダの出力側に中間ＩＣが必要である。このようなＩＣからのＳビデオ出力は任意選択である。
【００２８】
ビデオ・コンテンツにオーバレイする画面上のグラフィック・オブジェクトは、ＳＴＢ内のＭＰＥＧ−２ビデオ・デコーダの画面上表示（ＯＳＤ）機能を使用してレンダリングする。このようなデコーダは、それらが提供するＯＳＤの高度化ならびにＯＳＤを制御するために使用するアプリケーション・プログラム・インタフェース（ＡＰＩ）の点で様々である。個々のピクセルをアドレス指定することができ、多くのテキストおよびグラフィック・オブジェクトにビットマップを使用する。最低レベルのＯＳＤグラフィック機能では１６色を提供する。好ましい機能では、２５６色と、マルチレベル・ブレンド機能を提供する。ＯＳＤのブレンド機能は、グラフィック・オーバレイ用の不透明度の変化を見込んだものである。
【００２９】
オーディオ・コンテンツのオーバレイは、ＭＰＥＧオーディオの場合にＳＴＢのオーディオ・デコーダによって行われるか、またはメディア・プレーヤへのＡＰＩを使用するＳＴＢのプロセッサによって行われる。このプレーヤがサポートするファイル・フォーマットは、「．ｗａｖ」、「．ｒｍｉ」、「．ｍｉｄ」を含む。あるいは、ＳＴＢのアプリケーション自体にオーディオ再生機能を取り入れることができる。
【００３０】
ビデオのユニットの置換えまたは追加は、ＳＴＢ内の追加のビデオ・デコーダによって行うことができる。「ピクチャインピクチャ」機能を備えたシステムは、ビデオ・オブジェクトの追加または置換えにこの機能を使用することができる。
【００３１】
いずれの場合も、再生中のオーディオは、ＳＴＢのオーディオ出力を使用して、提示の元のオーディオとミキシングされるかまたは元のオーディオに取って代わる。他の実施の形態は、音楽用の１本と対話用の１本という２本のオーディオ・トラックが用意されているものであり、ＳＴＢは、前者が通常通り続行できるようにしながら、コンテンツを置き換えることができる。
【００３２】
本発明の提示は、表示すべきものであり、アナログの場合はＮＴＳＣまたはＰＡＬを使用して放送し、ディジタル・テレビジョン規格の場合はＡＴＳＣまたはＤＶＢを使用して放送することができる。他の実施の形態では、ビデオオンデマンド・システムまたはビデオ・テープからの視聴のように、ユーザごとに提示を表示し制御することができる。
【００３３】
本発明を実現するために必要な処理能力は、約１ＭＩＰから始まる最新のＳＴＢ内のプロセッサの処理能力によって対処することができる。このプロセッサは、ビデオ／オーディオ・コンテンツ挿入アプリケーションを実行し、ＯＳＤおよびオーディオ機能の使用を制御する。
【００３４】
ＳＴＢ５は、通常、１〜４ＭＢのＲＡＭを有する。本発明のプログラムは、ＳＴＢのＲＡＭにダウンロードするかまたはそこに記憶する必要があり、最高で約０．５ＭＢを占めるだろう。
【００３５】
１世帯の全視聴者に関する個別化情報を記憶するために必要なＳＴＢ５の記憶域は少量にすぎない。好ましい実施の形態では、各視聴者の個別化情報としては以下のものを包含する。
１．名前
２．年齢
３．コンテンツ制限、たとえば、ＰＧ−１３
４．テキストの好み、たとえば、大型活字
５．オーディオ置き換え使用可能スイッチ（マルチメディア表示内のホールの時間をオーディオのユニットに置換えが可能か否か）、
６．ビデオ置き換え使用可能スイッチ（マルチメディア表示内のホールの位置をビデオのユニットに置換えが可能か否か）。
【００３６】
視聴者のＳＴＢの電源をオフにした場合または電源障害中に持続するために、この情報は不揮発性メモリに記憶する必要がある。典型的なＳＴＢは、この目的のために不揮発性ＲＡＭを備えている。
【００３７】
図１および図２は、タンデム再生のために最初に作成された提示による画面表示例を示している。図１は、１つのビデオ・キャラクタ２０を含むアニメーション・プログラムの画面１０を示している。「ホール」３０の位置は点線４０によって示されている。「ホール」３０の周りの点線４０は単に例示にすぎず、実際のプログラムでは現れないだろう。「ホール」３０の位置に関する制御情報は、ビデオ・ストリームに埋め込まれ、ＳＴＢによって抽出される。
【００３８】
図２は、同じ画面であって、「ホール」３０の位置に示されているＳＴＢアニメーション・キャラクタ５０の追加を含む画面を示している。あるいは、ＳＴＢは、たとえば、そのキャラクタを記述するグラフィック・テキストを表示するために「ホール」３０を使用することもある。
【００３９】
また、オーディオおよびビデオ提示内に当然発生する「ホール」３０の位置を探すメカニズムを使用して、提示の準備をすることも可能である。あるいは、既存のオーディオ・トラックのセクションをブランクにするかまたはビデオ画面のセクションを覆い隠すことにより、「ホール」３０を提示内に作成することができる。
【００４０】
ＳＴＢにロードされ、ビデオ提示ストリームの制御データを解析し、ＳＴＢに記憶された情報を提示の「ホール」３０に表示するために使用するアプリケーションの論理の流れを図３に示す。ステップ８０では、現行提示のプログラム指定情報（ＰＳＩ）を解析する。ステップ８１では、「ホール」位置を含む制御情報がこの提示とともに到着するかどうかの判定を行う。その情報が到着しない場合、プログラム制御はステップ８０に戻り、次の提示を解析する。その情報が到着する場合、ステップ８２では、それを受信するようにデマルチプレクサ照会をセットアップする。ステップ８３では、制御データがデマルチプレクサ照会で到着したかどうかの判定を行い、到着していない場合、ステップ８３でテストを繰り返す。その情報がその照会で到着した場合、ステップ８４でＨＴＭＬタグを確認するためにそれを解析する。ステップ８５では、ＨＴＭＬタグを「ホール」情報と突き合わせる。まったく一致していない場合、プログラム制御はステップ８３に戻る。一致がある場合、ステップ８６では受信したデータを関連変数に割り当て、プログラム制御をステップ８３に戻す。
【００４１】
「ホール」に関するすべての情報およびオーバレイ情報を解析し、ＳＴＢにアセンブルすると、ビデオ・モニタ上に提示ストリームを表示しながら、所与の「ホール」座標のコンテンツにオーバレイ・データをオーバレイすることは、簡単かつ一般に知られたＳＴＢのタスクになる。同様のプロセスはオーディオ「ホール」に適用される。
【００４２】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００４３】
（１）  オーディオ、ビデオおよびグラフィックのユニットの表示のための所定の位置および時間を示すホールを有するマルチメディア表示内に、前記オーディオ、ビデオ、およびグラフィックのユニットのコンテンツを表示するための方法において、
前記方法が、
マルチメディア表示ストリームを受信装置に通知するステップと、
前記ホール情報が前記マルチメディア表示ストリームに埋め込まれているかどうかを判定するステップと、
前記ホール情報を抽出するステップと、及び
前記マルチメディア表示内に、前記マルチメディア表示の前記ホール内に前記オーディオ、ビデオおよびグラフィックのユニットを表示するステップと、
を含み、
ここで、前記ホール情報が、前記オーディオ、ビデオおよびグラフィックのユニットを表示することが前記マルチメディア表示のオブジェクトを見ることの妨げにならないようように定義される、前記方法。
（２）  前記オーディオ、ビデオおよびグラフィックのユニットが前記受信装置に記憶される、（１）に記載の方法。
（３）  前記オーディオ、ビデオおよびグラフィックのユニットが前記マルチメディア表示とともに通知される、（１）又は（２）のいずれかに記載の方法。
（４）  前記通知ステップの前にオーサリング・ステップで、前記ホール情報の所定の位置および時間が決定され、そしてマルチメディア表示ストリーム中に埋め込まれる、（１）乃至（３）のいずれか一に記載の方法。
（５）  前記ホール情報が、ユーザ・インタフェースを介して前記受信装置において変更されることができる、（１）乃至（４）のいずれか一に記載の方法。
（６）  前記ホール情報が、
挿入アプリケーションとの調整用の識別子と、
媒体タイプと、
開始時間と、
終了時間と、
開始画面位置と、
終了画面位置と、
ビデオ内における前記ホールの移動用の運動ベクトルと、
前記ビデオを挿入する場合のビットマップの記述と、及び
オーディオを挿入する場合のボリューム・レベルと、
を含む、（１）乃至（５）のいずれか一に記載の方法。
（７）  前記ホール情報が、前記マルチメディア表示内の可視オブジェクトとフレームに同期された調整で定義される、（１）に記載の方法。
（８）  前記ホール情報は、オーディオ再生が前記マルチメディア表示の音声の妨げにならないように実行されうるような方法で定義される、（７）に記載の方法。
（９）  前記ホール情報は、前記オーディオのユニットが前記マルチメディア表示のオーディオのユニットと調整されて導入され得るような方法で定義される、（８）に記載の方法。
（１０）  前記ホール情報が、前記マルチメディア表示の視聴を妨げないように前記オーディオ、ビデオおよびグラフィックのユニットを表示するのに使用される、（９）に記載の方法。
（１１）  前記ホール情報が、前記マルチメディア表示のオーディオ、ビデオおよびグラフィックのユニットと調整された前記オーディオ、ビデオおよびグラフィックのユニットを表示する際に使用されて、前記マルチメディア表示のコンテンツと前記オーディオ、ビデオおよびグラフィックのユニットの各コンテンツとの結合から、調整された表示の混成を形成する、（１０）に記載の方法。
（１２）  個別化情報が前記ユーザ・インタフェースを介して前記受信装置に記憶される、（１）乃至（１１）のいずれか一に記載の方法。
（１３）  オーディオ、ビデオおよびグラフィックのユニットの表示のための所定の位置および時間を示すホールを有するマルチメディア表示内に、前記オーディオ、ビデオおよびグラフィックのユニットのコンテンツを表示するための方法を実行するためにマシンによって実行可能な命令からなるコンピュータ・プログラムを記録した記録媒体において、
マルチメディア表示ストリームを受信装置に通知するステップと、
前記ホール情報が前記マルチメディア表示ストリームに埋め込まれているかどうかを判定するステップと、及び
前記ホール情報を抽出するステップと、
前記マルチメディア表示内に、前記マルチメディア表示の前記ホール内に前記オーディオ、ビデオおよびグラフィックのユニットを表示するステップと、
を含むプログラムが記録され、
ここで、前記ホール情報が、前記オーディオ、ビデオおよびグラフィックのユニットを表示することが前記マルチメディア表示のオブジェクトを見ることの妨げにならないように定義されるところのプログラムを記録した前記記録媒体。
（１４）  前記オーディオ、ビデオおよびグラフィックのユニットが前記受信装置に記憶されるところのプログラムを記録した（１３）に記載の記録媒体。
（１５）  前記オーディオ、ビデオおよびグラフィックのユニットが前記マルチメディア表示とともに通知されるところのプログラムを記録した（１３）又は（１４）のいずれか一に記載の記録媒体。
（１６）  前記通知ステップの前にオーサリング・ステップで、前記ホール情報の所定の位置および時間が決定され、そしてマルチメディア表示ストリームに埋め込まれる、（１３）乃至（１５）のいずれか一に記載のプログラムを記録した記録媒体。
（１７）  前記ホール情報が、ユーザ・インタフェースを介して前記受信装置内で変更されることができるところのプログラムを記録した（１３）乃至（１６）のいずれか一に記載の記録媒体。
（１８）  前記ホール情報が、
挿入アプリケーションとの調整用の識別子と、
媒体タイプと、
開始時間と、
終了時間と、
開始画面位置と、
終了画面位置と、
ビデオ内における前記ホールの移動用の運動ベクトルと、
前記ビデオが挿入される場合のビットマップの記述と、及び
オーディオが挿入される場合のボリューム・レベルと、
を含むところのプログラムを記録した（１３）乃至（１７）のいずれか一に記載の記録媒体。
（１９）  前記ホール情報が、前記マルチメディア表示内の可視オブジェクトとフレームに同期された調整で定義されるところのプログラムを記録した（１３）に記載の記録媒体。
（２０）  前記ホール情報は、オーディオ再生が前記マルチメディア表示の音声の妨げにならないように実行されうるような方法で定義されるところのプログラムを記録した（１９）に記載の記録媒体。
（２１）  前記ホール情報は、前記オーディオのユニットが前記マルチメディア表示のオーディオのユニットと調整されて導入され得るような方法で定義されるところのプログラムを記録した（２０）に記載の記録媒体。
（２２）  前記ホール情報は、前記マルチメディア表示の視聴を妨げないように前記オーディオ、ビデオおよびグラフィックのユニットを表示するのに使用されるところのプログラムを記録した（２１）に記載の記録媒体。
（２３）  前記ホール情報が、前記マルチメディア表示のオーディオ、ビデオおよびグラフィックのユニットと調整された前記オーディオ、ビデオおよびグラフィックのユニットを表示する際に使用されて、前記マルチメディア表示のコンテンツと前記オーディオ、ビデオおよびグラフィックのユニットの各コンテンツとの結合から、調整された表示の混成を形成するところのプログラムを記録した（２２）に記載の記録媒体。
（２４）  個別化情報が前記ユーザ・インタフェースを介して受信装置に記憶されるところのプログラムを記録した（１３）乃至（２３）のいずれか一に記載の記録媒体。
【図面の簡単な説明】
【図１】ビデオ「ホール」の位置が示されたアニメーション提示を表示するモニタ画面の図である。
【図２】ビデオ「ホール」位置にＳＴＢアニメーション・キャラクタが追加された図１と同じ画面の図である。
【図３】マルチメディア提示ストリームから「ホール」情報を抽出し処理する際に関係する諸ステップを示す流れ図である。
【図４】「ホール」情報の抽出およびタンデム・コンテンツの表示に必要な典型的な機器を示す図である。
【符号の説明】
４  モニタ画面
５  セット・トップ・ボックス（ＳＴＢ）
６  ケーブル
７  ケーブル
１０  画面
２０  ビデオ・キャラクタ
３０  「ホール」
４０  点線
【図１】
0003544502.tif 000002
【図２】
0003544502.tif 000003
【図３】
0003544502.tif 000004
【図４】
0003544502.tif 000005