(57)【要約】  再生が開始される前に、プレイリストおよびクリップファイルのすべてが再生機構から利用できるようにすること。オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法であって、シーケンスのオーディオ／ビデオデータフラグメントが、可変ビット長および所定のプレゼンテーション時間長を有し、オーディオ／ビデオデータフラグメントをリアルタイムで生成または受信するステップと、オーディオ／ビデオデータフラグメントを、これらが生成または受信される順序で1つに組み立てることによって、オーディオ／ビデオトランスポートストリームを生成するステップと、以降のオーディオ／ビデオデータフラグメントに対応するオーディオ／ビデオトランスポートストリームの以降の部分の間にパディングデータを挿入するステップであって、以降の部分の間のパディングデータの量が、オーディオ／ビデオトランスポートストリームの以降の部分の先頭の位置の間の距離が所定のビット長に一致するように選択される、ステップと、を備える方法。
2008530938.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法であって、前記シーケンスのオーディオ／ビデオデータフラグメントが、可変ビット長および所定のプレゼンテーション時間長を有し、前記方法が、
−  前記オーディオ／ビデオデータフラグメントをリアルタイムで生成または受信するステップと、
−  前記オーディオ／ビデオデータフラグメントが生成または受信される順序で前記オーディオ／ビデオデータフラグメントを1つに組み立てることによって、前記オーディオ／ビデオトランスポートストリームを生成するステップと、
を備える方法において、
−  以降のオーディオ／ビデオデータフラグメントに対応するオーディオ／ビデオトランスポートストリームの以降の部分の間にパディングデータを挿入し、前記以降の部分の間の前記パディングデータの量が、前記オーディオ／ビデオトランスポートストリームの前記以降の部分の先頭の位置の間の距離が所定のビット長に一致するように選択される、
ことを特徴とする方法。
【請求項２】
オーディオ／ビデオデータフラグメントの予測される最大ビット長よりも大きい、前記所定のビット長の定数値を選択することを特徴とする、請求項１に記載の、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法。
【請求項３】
第二オーディオ／ビデオトランスポートストリームからのオーディオ／ビデオデータと、前記受信または生成されるオーディオ／ビデオデータフラグメントとをさらに1つに組み立てることによって、前記オーディオ／ビデオトランスポートストリームが生成されることを特徴とする、請求項１に記載の、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法。
【請求項４】
前記オーディオ／ビデオフラグメントが、前記第二オーディオ／ビデオトランスポートストリームにおけるビデオデータに対応するオーディオデータを備えることを特徴とする、請求項１に記載の、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法。
【請求項５】
パディングデータがヌルパケットであることを特徴とする、請求項１〜３に記載の、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法。
【請求項６】
リアルタイムで受信または生成されるオーディオ／ビデオデータフラグメントのシーケンスから生成することのできるオーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法であって、前記オーディオ／ビデオデータフラグメントが、可変ビット長および所定のプレゼンテーション時間長を有し、前記オーディオ／ビデオトランスポートストリームの前記生成が、請求項１の方法に従って行われ、前記方法が、
前記シーケンスのオーディオ／ビデオデータフラグメントに関連付けられる前記オーディオ／ビデオトランスポートストリームの部分の先頭の予測される位置および予測されるプレゼンテーション時間に関する情報を備えるメタデータ、を生成するステップを備える方法において、
前記オーディオ／ビデオデータフラグメントの少なくとも1つが生成または受信される前に、前記メタデータを生成することを特徴とする方法。
【請求項７】
デジタル信号をデータストリームによってリアルタイムで送出する方法であって、前記方法が、
−  オーディオ／ビデオデータフラグメントのシーケンスをリアルタイムで生成するステップであって、前記オーディオ／ビデオデータフラグメントが、可変ビット長および所定のプレゼンテーション時間長を有する、前記ステップと、
−  前記オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームをリアルタイムで生成するステップであって、前記オーディオ／ビデオトランスポートストリームの前記生成が請求項１の方法に従って行われる、前記ステップと、
−  前記オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成するステップであって、前記関連付けられるメタデータの生成が請求項６の方法に従って行われる、前記ステップと、
−  前記生成されたオーディオ／ビデオトランスポートストリームの少なくとも一部を送出する前に、前記関連付けられるメタデータを送出するステップと、
−  前記オーディオ／ビデオトランスポートストリームをリアルタイムで送出するステップと、
を備える方法。
【請求項８】
デジタル信号をデータストリームによってリアルタイムで送出する方法であって、前記方法が、
−  オーディオ／ビデオデータフラグメントのシーケンスをリアルタイムで生成するステップであって、前記オーディオ／ビデオデータフラグメントが、可変ビット長および所定のプレゼンテーション時間長を有する、前記ステップと、
−  請求項１の方法に従って当該シーケンスから生成することのできるオーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成するステップであって、前記メタデータの生成が請求項６の方法に従って行われる、前記ステップと、
−  オーディオ／ビデオデータフラグメントの少なくとも1つを生成する前に、前記メタデータを送出するステップと、
−  前記オーディオ／ビデオデータフラグメントのシーケンスを生成の順序でリアルタイムで送出するステップと、
を備える方法。
【請求項９】
前記オーディオ／ビデオトランスポートストリームを生成するための情報であって、前記所定のビット長に関する情報を少なくとも備える、前記情報、をさらに送出することを特徴とする、請求項８に記載の、デジタル信号を送出する方法。
【請求項１０】
前記オーディオ／ビデオデータフラグメントの中にマーカーをさらに含めることを特徴とする、請求項８に記載の、デジタル信号を送出する方法。
【請求項１１】
受信されるデジタル信号をリアルタイムで再生する方法であって、前記デジタル信号が請求項７の方法に従って送出され、前記方法が、
−  前記生成されたメタデータを受信するステップと、
−  前記オーディオ／ビデオトランスポートストリームをリアルタイムで受信するステップと、
−  前記オーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの部分を再生するステップと、
を備える方法。
【請求項１２】
受信されるデジタル信号をリアルタイムで再生する方法であって、前記デジタル信号が請求項８または９のいずれかの方法に従って送出され、前記方法が、
−  前記生成されたメタデータを受信するステップと、
−  前記オーディオ／ビデオデータフラグメントのシーケンスをリアルタイムで受信するステップと、
−  前記オーディオ／ビデオデータフラグメントのシーケンスから請求項１に従ってオーディオ／ビデオトランスポートストリームを生成するステップと、
−  前記オーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの部分を再生するステップと、
を備える方法。
【請求項１３】
オーディオ／ビデオトランスポートストリームをリアルタイムで生成する、請求項１による方法、または、オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する、請求項５による方法のゲームエンジンにおける使用。
【請求項１４】
オーディオ／ビデオトランスポートストリームを備えるデジタル信号であって、
前記オーディオ／ビデオトランスポートストリームが、オーディオ／ビデオデータフラグメントのシーケンスから請求項１による方法によって生成され、前記オーディオ／ビデオデータフラグメントが可変ビット長および所定のプレゼンテーション時間長を有することを特徴とするデジタル信号。
【請求項１５】
オーディオ／ビデオデータフラグメントのシーケンスを備えるデジタル信号であって、前記オーディオ／ビデオデータフラグメントが可変ビット長および所定のプレゼンテーション時間長を有し、
前記デジタル信号が、当該シーケンスから生成することのできるオーディオ／ビデオトランスポートストリームに関連付けられるメタデータをさらに含んでおり、前記オーディオ／ビデオトランスポートストリームの前記生成が請求項１による方法によって行われ、前記メタデータの前記生成が請求項４による方法によって行われる、
ことを特徴とするデジタル信号。
【請求項１６】
オーディオ／ビデオトランスポートストリームを生成する装置であって、
−  オーディオ／ビデオデータフラグメントのシーケンスをリアルタイムで受信または生成する入力手段であって、前記オーディオ／ビデオデータフラグメントが可変ビット長および所定のプレゼンテーション時間長を有する、前記入力手段と、
−  前記オーディオ／ビデオデータフラグメントが生成／受信される順序で、前記オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームを組み立てる組み立て手段と、
を備えている、装置において、
前記装置が、
−  以降のオーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの以降の部分の間にパディングデータを追加するパディング手段と、
−  前記パディング手段が、以降のオーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの以降の部分の間に、前記オーディオ／ビデオトランスポートストリームの前記以降の部分の先頭の位置の間の距離が所定のビット長に一致するように、ある量の前記パディングデータを追加できるようにする、制御手段と、
をさらに備えている、ことを特徴とする装置。
【請求項１７】
前記所定のビット長がオーディオ／ビデオデータフラグメントの予測される最大ビット長よりも大きい一定の値を有するように、前記パディング手段がパディングデータを追加できるように、前記制御手段がさらにされていることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記パディング手段が、ヌルパケットの形式におけるパディングデータを追加するようにされていることを特徴とする請求項１６または１７に記載の装置。
【請求項１９】
前記装置が、
−  第二オーディオ／ビデオトランスポートストリームをリアルタイムで受信または生成する第二入力手段、
をさらに備えており、
前記組み立て手段が、前記第二オーディオ／ビデオトランスポートストリームと、前記受信または生成されるオーディオ／ビデオデータフラグメントとを、前記オーディオ／ビデオトランスポートストリームに組み立てるようにさらにされている、
ことを特徴とする請求項１６に記載の装置。
【請求項２０】
オーディオ／ビデオデータフラグメントのシーケンスに関連付けられるメタデータを生成する装置であって、前記オーディオ／ビデオデータフラグメントが所定のプレゼンテーション時間長および可変ビット長を有し、前記装置が、
−  前記オーディオ／ビデオデータフラグメントのシーケンスをリアルタイムで受信または生成する入力手段、
を備えている装置において、
前記装置が、
−  以降のオーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの以降の部分の間にパディングデータを追加することによって生成することのできるオーディオ／ビデオトランスポートストリーム、に関連付けられるメタデータを生成するメタデータ生成手段であって、前記パディングデータの量が、以降の部分の先頭の位置の間の距離が前記所定のビット長に一致するように選択される、前記メタデータ生成手段と、
−  前記オーディオ／ビデオデータフラグメントの少なくとも1つが生成または受信される前に、前記メタデータ生成手段が前記メタデータを生成できるようにするようにされている前記制御手段と、
をさらに備えていることを特徴とする装置。
【請求項２１】
デジタル信号を送出するブロードキャスト装置であって、前記ブロードキャスト装置が、
オーディオ／ビデオトランスポートストリームを請求項１６に従って生成する装置、
を備えており、
前記ブロードキャスト装置が、
前記生成されたオーディオ／ビデオストリームを備えるデジタル信号を生成する送信手段、
をさらに備えているブロードキャスト装置。
【請求項２２】
デジタル信号を送出するブロードキャスト装置であって、前記ブロードキャストシステムが、オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを請求項２０に従って生成する装置、を備えており、
前記ブロードキャスト装置が、
前記オーディオ／ビデオフラグメントのシーケンスと、前記関連付けられるメタデータとを備えるデジタル信号を生成する送信手段、
をさらに備えているブロードキャスト装置。
【請求項２３】
デジタル信号をリアルタイムで受信および再生する再生装置であって、前記再生装置が、
−  請求項２２によるブロードキャスト装置によって送出されるデジタル信号をリアルタイムで受信する入力手段と、
−  前記関連付けられるメタデータと前記オーディオ／ビデオフラグメントのシーケンスとを分離する逆多重化手段と、
−  前記オーディオ／ビデオデータフラグメントが生成／受信される順序で、前記オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームを組み立てる組み立て手段と、
を備えている、再生装置において、
前記再生装置が、
−  以降のオーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの以降の部分の間にパディングデータを追加するパディング手段と、
−  前記パディング手段が、前記オーディオ／ビデオトランスポートストリームの前記以降の部分の間に、前記以降の部分の先頭の位置の間の距離が前記所定のビット長に一致するように、ある量の前記パディングデータを追加できるようにする、制御手段と、
−  前記オーディオ／ビデオストリームと前記関連付けられるメタデータとを受信し、かつ、前記オーディオ／ビデオトランスポートストリームをリアルタイムで再生する、再生手段と、
をさらに備えている、ことを特徴とする再生装置。
【請求項２４】
−  第二オーディオ／ビデオトランスポートストリームをストレージメディアから読み取る手段と、
−  前記組み立て手段が前記第二オーディオ／ビデオトランスポートストリームと、前記受信または生成されたオーディオ／ビデオデータフラグメントとを、前記オーディオ／ビデオトランスポートストリームに組み立てることができるように、さらにされている前記制御手段と、
をさらに備えていることを特徴とする請求項２３に記載の再生装置。
【請求項２５】
ストレージメディアに格納されているオーディオ／ビデオデータフラグメントのシーケンスから生成されるオーディオ／ビデオトランスポートストリームをリアルタイムで生成および再生する再生装置であって、前記オーディオ／ビデオデータフラグメントが可変ビット長および所定のプレゼンテーション時間長を有し、前記再生装置が、
−  前記オーディオ／ビデオデータフラグメントを前記ストレージメディアから読み取る読み取り手段と、
−  順序に関する情報を受信する、または前記オーディオ／ビデオデータフラグメントを読み取る、データ入力手段と、
−  前記オーディオ／ビデオデータフラグメントが読み取られる順序で、前記オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームを組み立てる組み立て手段と、
を備えている、再生装置において、
前記再生装置が、
−  以降のオーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの部分の間にパディングデータを追加するパディング手段と、
−  前記パディング手段が、前記オーディオ／ビデオトランスポートストリームの以降の部分の間に、前記オーディオ／ビデオトランスポートストリームの前記以降の部分の先頭の位置の間の距離が前記所定のビット長に一致するように、ある量の前記パディングデータを追加できるようにする制御手段と、
−  前記オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成するメタデータ生成手段と、
−  前記オーディオ／ビデオトランスポートストリームと前記関連付けられるメタデータとを受信し、かつ、前記オーディオ／ビデオストリームをリアルタイムで再生する、再生手段と、
をさらに備えており、
前記制御手段が、前記オーディオ／ビデオデータフラグメントの少なくとも1つが生成または受信される前に、前記メタデータ生成手段が前記メタデータを生成できるようにするようにされている、
ことを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、オーディオ／ビデオデータフラグメントのシーケンスからオーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法と、オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法と、これらの方法をゲームエンジンにおいて使用することと、デジタル信号をデータストリームによってリアルタイムで送出する方法と、受信されたデジタル信号をリアルタイムで再生する方法と、に関する。さらに、本出願は、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する装置と、当該オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する装置と、デジタル信号を送出するブロードキャストシステムと、デジタル信号を受信および再生する再生システムにも関する。
【背景技術】
【０００２】
家庭用電化製品の新しい形態が絶え間なく開発されている。開発の多くは、インターネットとホームエンターテインメントシステムを融合させることを中心に行われてきた。重要な領域は、インタラクティブ性と高度な機能性であり、これは、ブロードキャストされるオーディオ／ビデオコンテンツとローカルに利用可能なオーディオ／ビデオコンテンツとを1つにまとめることによる。DVB（デジタルビデオブロードキャスト:Digital Video Broadcast）の分野におけるいくつかの業界ディスカッションフォーラム、例えばEuropean MHP（Multimedia Home Platform）あるいはUS Dase Platformでは、インターネットリソースを使用して機能性を高めることを開示している。
【０００３】
例えば、次世代の光ディスクプレーヤー／レコーダー（例:ブルーレイプレーヤー／レコーダー）は、オーディオおよびビデオデータをスタジオのWebサーバからストリーミングしてBD−ROMプレーヤーによってテレビに表示させることのできる機能を持つことが想定される。このストリーミングは、ビデオデータをサーバ上の多数の小さなファイルに分割し、その後にこれらのファイルをHTTP要求を介して個々にダウンロードすることによって行われる。オプションとして、再生された後、これらの小さなファイルを再び削除することができる。このストリーミング方法は、この技術分野では「プログレッシブプレイリスト(progressive playlist)」としても知られている。
【０００４】
データ構造:
オーディオ／ビデオコンテンツを符号化するための好ましい符号化方法は、可変レート符号化である。なぜなら、この符号化方法では、符号化の特定の品質レベルが得られるように、より高いレベルの圧縮を行うことができるためである。従って、トリックプレイを行うことができるようにするため、オーディオ／ビデオコンテンツに加えて、ビデオおよびオーディオ情報に関するメタデータが、光ディスクに格納される。例えば、ブルーレイ読取専用光ディスク（BD−ROM）の場合、ビデオ多重化に関するメタデータがディスク上の個別のファイルに格納される。最も重要なことは、特性ポイント情報に対応するメタデータが、クリップファイルとして知られている個別のファイルに格納されることである。特性ポイント情報は、再生するための時間軸上のポイントと、トランスポートストリームファイルにおけるオフセットとの間のマッピングを備える。特性ポイント情報は、トリックプレイモードと、時間軸上の特定のポイントから再生を開始しなくてはならない場合とをサポートするために使用される。トランスポートストリームファイルのビデオデータの場合、特性ポイント情報のマッピングには、通常、Iフレームのそれぞれに対して1つのエントリが含まれる。オーディオデータのみを有するトランスポートストリームの場合、マッピングには、通常、一定間隔にエントリが含まれる。ビデオを完全に再生するためには、「再生エンジン」は、3つのレベルのファイル、すなわちプレイリストファイル、クリップファイル、およびトランスポートストリームファイルを必要とする。
【０００５】
ブルーレイアプリケーション用に想定されているデータ構造に関するさらなる情報は、ホワイトペーパー「ブルーレイディスクフォーマット:BD−REの2a論理フォーマットおよびオーディオビジュアルフォーマットの仕様（Blu-ray Disc Format: 2a-logical and audio visual format specifications for BD-RE）」、および「ブルーレイディスクフォーマット:BD−ROMの2b論理フォーマットおよびオーディオビジュアルフォーマットの仕様（Blu-ray Disc Format: 2b-logical and audio visual format specifications for BD-ROM）」に記載されており、これらは本文書に参考にすることにより組み込まれている。レコーダブルフォーマット（BD＿RE）に関するホワイトペーパーには、構造およびクリップ情報ファイルの内容に関する詳細な情報が含まれており、この情報はBD−ROMフォーマットにも適用可能である。
【０００６】
データ構造とプレイリスト
図1には、再生に必要な上記の3つのレベルのファイルが示されている。これは、例えば、「プログレッシブプレイリスト」方法によってストリーミングすべき映画予告編の場合に対応する。上段には、1つのプレイリストファイルが存在し、このファイルは完全な映画予告編に対応しており、多数の小さな部分を記述している。中段には、小さな部分のそれぞれの再生に使用されるメタデータを備えるクリップファイルがあり、下段には、小さな部分のそれぞれのトランスポートストリームファイルが存在している。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
プレーヤーの実施を容易にするためには、再生が開始される前にプレイリストおよびクリップファイルのすべてが再生機構から利用できるようにする必要がある。これらのファイルは小さいため、すべてをダウンロードしても再生の開始が大きく遅延することはない。しかしながら、ライブストリーミングの場合、以下の理由のために問題がある。
a）  クリップファイルは、トランスポートストリームファイルの中の正確なバイトポジションを指すポインタを含んでいなければならない。
b）しかしながら、上位番号のトランスポートストリーム（mt2s）ファイルは、まだ利用することができない（これらは依然として録音／録画しなければならないため）。
【０００８】
言い換えれば、問題は、クリップファイルの中のポインタ（最初から利用可能でなければならない）と、トランスポートストリームファイル内のデータ（依然として録音／録画しなければならないためまだ利用できない）とをどのように対応付けるかということである。
【課題を解決するための手段】
【０００９】
本発明の目的は、上述されている問題の解決策を提供することである。この目的は、請求項１の特徴記載部分に記載されているように、オーディオ／ビデオトランスポートストリームをリアルタイムで生成することによって達成される。用語「リアルタイム」は、この技術分野ではやや広い意味で使用されている。本発明に関しては、「リアルタイム」は、後から説明されているようにプレゼンテーション時間長(presentation time length)とビット長の両方があらかじめ決められている時点の後から始まる時間期間として定義する。
【００１０】
可変ビット長および所定のプレゼンテーション時間長のオーディオ／ビデオデータフラグメントのシーケンスを、当該フラグメントが生成または受信される順序で1つに組み立てることによって、オーディオ／ビデオトランスポートストリームがリアルタイムで生成される。この生成は、以降のオーディオ／ビデオデータフラグメントに対応するオーディオ／ビデオトランスポートストリーム（すなわちオーディオまたはビデオのいずれか、あるいはその両方を備えるトランスポートストリーム）の部分が、パディングデータによって隔てられるように行われる。以降の部分の間のパディングデータの量は、以降の部分の先頭の位置の間の距離が所定のビット長に一致するように選択される。上述されているようにパディングデータを加えることによって、所定のプレゼンテーション時間長および所定のビット長の部分のシーケンスを備えるオーディオ／ビデオトランスポートストリームが生成される。本発明によるオーディオ／ビデオトランスポートストリームの中に所定のプレゼンテーション時間長および所定のビット長の部分が存在していることの利点として、再生に必要な関連付けられるメタデータが予測可能であり、このメタデータを、オーディオ／ビデオデータフラグメントのすべてが利用可能になる前に計算して、プレーヤーにおける再生機構から利用可能にすることができるという利点を有する。従って、そのような関連付けられるメタデータが計算されてプレーヤーから利用可能になるならば、「ライブ」オーディオ／ビデオコンテンツ（すなわち、リアルタイム期間に作成されたデータビットを備えるコンテンツ）をリアルタイムで再生することが可能になる。
【００１１】
1つの有利な実施例においては、前記所定のビット長は一定である、すなわち、すべてのフラグメントについて同じであり、前記一定の値は、オーディオ／ビデオデータフラグメントの予測される最大ビット長よりも大きいように選択される。オーディオ／ビデオデータフラグメントは、一定の所定のプレゼンテーション時間長を持ち、従って、前記予測される最大ビット長を、使用されている圧縮パラメータに基づいて予測することができ、これは有利である。この場合、部分の所定のビット長に達するために必要なパディングデータの量は、必ず正の値でなければならない。ビット長が所定のビット長を超えるオーディオ／ビデオデータフラグメントが1つでも存在すると、オーディオ／ビデオフラグメントのシーケンス全体が生成または受信される前に、関連付けられるメタデータを生成することができない。
【００１２】
1つの有利な実施例においては、前記オーディオ／ビデオトランスポートストリームは、第二オーディオ／ビデオトランスポートストリームからのオーディオ／ビデオデータと、前記受信または生成されるオーディオ／ビデオデータフラグメントとをさらに1つに組み立てることによって、生成される。ビデオを多重化する場合には、充填データはヌルパケットの形式をとることが好ましい。
【００１３】
さらに、本発明は、オーディオ／ビデオデータフラグメントのシーケンスから生成することのできるオーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法であって、前記オーディオ／ビデオトランスポートストリームの前記生成が、上記に説明されている本発明の方法に従って行われる方法にも関する。この方法は、前記メタデータが、オーディオ／ビデオデータフラグメントに対応する前記オーディオ／ビデオトランスポートストリームの部分の先頭の位置に関する情報とプレゼンテーション時間に関する情報とを少なくとも備えることと、前記メタデータが、前記オーディオ／ビデオデータフラグメントの少なくとも1つが生成または受信される前に生成されることと、を特徴とする。メタデータを生成するそのような方法では、オーディオ／ビデオデータフラグメントのすべてが生成または受信される前にメタデータを再生装置から利用可能にすることができ、従って、リアルタイムのストリーミングが可能になるという利点を有する。
【００１４】
さらに、本発明は、デジタル信号をデータストリームによってリアルタイムで送出する方法であって、前記データストリームが、上記に説明されている対応する本発明の方法に従ってオーディオ／ビデオデータフラグメントのシーケンスから生成されるオーディオ／ビデオトランスポートストリームと、上記に説明されている対応する本発明の方法に従って生成される関連付けられるメタデータと、を備える方法にも関する。
【００１５】
さらに、本発明は、デジタル信号をデータストリームによってリアルタイムで送出する方法であって、前記データストリームが、上記に説明されている対応する本発明の方法に従って生成されるオーディオ／ビデオデータフラグメントのシーケンスと、上記に説明されている対応する本発明の方法に従って生成される関連付けられるメタデータとを備える方法にも関する。
【００１６】
さらに、本発明は、上記に説明されている対応する本発明の方法に従って生成されるオーディオ／ビデオトランスポートストリームを備える、または、オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを備える、デジタル信号、であって、前記メタデータの生成が、上記に説明されている対応する本発明の方法に従って行われる、デジタル信号にも関する。
【００１７】
さらに、本発明は、請求項１による、オーディオ／ビデオトランスポートストリームをリアルタイムで生成する方法、または、請求項5による、オーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法、をゲームエンジンにおいて使用することにも関する。この場合のゲームエンジンは、本文書では、実世界における何かを録音／録画することによってオーディオ／ビデオコンテンツを生成するのではなく、シミュレーテッドリアリティ(simulated reality)またはバーチャルリアリティ（例:ゲームの中の現実）を表現するためのオーディオ／ビデオコンテンツを計算手段によって生成するシステムを意味している。
【００１８】
さらに、本発明は、請求項１6による、オーディオ／ビデオトランスポートストリームを生成する装置、にも関する。
【００１９】
さらに、本発明は、オーディオ／ビデオデータフラグメントのシーケンスに関連付けられるメタデータを生成する装置、にも関する。
【００２０】
さらに、本発明は、オーディオ／ビデオストリームを生成する、本発明による装置、を備えているブロードキャスト装置、にも関する。
【００２１】
さらに、本発明は、オーディオ／ビデオデータフラグメントのシーケンスに関連付けられるメタデータを生成する、本発明による装置、を備えているブロードキャスト装置、にも関する。
【００２２】
さらに、本発明は、本発明によるデジタル信号を受信および再生する再生装置、にも関する。
【００２３】
本発明の特徴および利点は、図面を参照することによって理解されるであろう。
【発明を実施するための最良の形態】
【００２４】
図1には、オーディオ／ビデオトランスポートストリームを再生できるようにするために再生装置に必要とされる3つのレベルのファイルが示されている。例えば、これは、「プログレッシブプレイリスト」方法に従ってストリーミングすべき映画予告編に対応する。上段には、1つのプレイリストファイル11が存在し、このファイル11は、上記の例においては、ストリーミングされる完全な映画予告編に対応しており、多数の小さなアイテム(item)を記述している。中段には、このプレイリストファイル11に関連付けられるクリップファイル12, 15が示されており、これらは小さなアイテムのそれぞれに対応している。
【００２５】
第三レベルには、各クリップファイル12, 15に対応するトランスポートストリームファイル13， 14が関連付けられている。ライブストリーミングの場合、ハッシュ処理されたトランスポートストリームファイル14は、再生装置からはまだ利用可能ではなく、すなわち、まだ受信および／または生成されていない。問題は、これらの利用できないトランスポートストリームファイル14に関連付けられるクリップファイル15が、再生が開始される前に再生装置から利用できる必要があることである。
【００２６】
図2は、上述されている問題を克服する、本発明の実施例による、オーディオ／ビデオトランスポートストリームを生成する方法と、このオーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法とを概略的に示している。
【００２７】
例えば、カメラ102は、監督101が映画についてコメントを話すライブ録音／録画を作成する。この録音／録画は、ビット長は等しくないがプレゼンテーション時間長が等しいオーディオ／ビデオデータフラグメントのシーケンスを備えるトランスポートストリーム103の形式をとる。例えば、1つのフラグメント105は、対応する特性ポイント104を備える。フラグメント105のサイズが等しくないため、これらの特性ポイント104は、トランスポートストリーム103の中では等しくないオフセット109に現れ、図2に示されている例においては、このオフセットは0、30、60、80である。フラグメント105に対応するクリップファイル106は、これらの特性ポイントに関する情報を備える必要があり、すなわち、すべてのオフセットのリストを備える必要がある。トランスポートストリーム103に関連付けられるそのようなオフセットリストは、トランスポートストリーム103の全体が利用可能になる前に生成することはできない。対照的に、関連付けられるメタデータを生成する本発明による方法においては、クリップファイル106の中に、広い間隔の再生オフセット110においてポインタ107が追加される。オーディオ／ビデオトランスポートストリーム121を生成する本発明による方法においては、生成されるオーディオ／ビデオトランスポートストリーム121の中の個々のフラグメント111の間にパディングデータ108が挿入される。オーディオ／ビデオトランスポートストリーム121が再生エンジンに供給される前に、このトランスポートストリーム121の中の再生オフセット110と、クリップファイル106の中の対応するポインタ107とが必ず一致する。従って、本発明によるトランスポートストリーム121に関連付けられるメタデータは、実際のデータフラグメントが生成される前にあらかじめ予測および生成することができる。この結果として、ビデオの再生のプロセスが開始される前に、プレーヤーによって要求されたときに、関連付けられるメタデータをダウンロードすることができる。
【００２８】
表1は、この技術分野において公知であるオーディオ／ビデオトランスポートストリーム103と、本発明によるオーディオ／ビデオトランスポートストリーム121との違いをまとめてある。
【表１】
2008530938.tif 000003
【００２９】
例えば、ブルーレイディスク（BD）メディアおよびプレーヤーの場合、クリップ情報ファイルは、Iフレームのプレゼンテーション時間（PTS）およびファイルポジション（SPN:ソースパケット番号）に関する情報を備える。実際には、フラグメントの間の所定の間隔は、録音／録画における最悪のGOP (group of picture)長に対応するため、上の表1に示されている間隔より大きくすべきである。さらには、固定のIフレーム位置を作成することに加えて、パディングを使用して、クリップ情報ファイルにおける何らかの別のSPN基準としての固定位置を得ることもできる。ストリーミングデータをローカルストレージに長時間保管しておく場合、スペースを節約するためパディングデータを削除することができる。その場合、パディングデータが加えられていないトランスポートストリームファイルのSPN位置を備える新しいクリップ（CPI）情報ファイルを使用することができる。
【００３０】
図3は、本発明の実施例によるブロードキャスト装置を備えている送信システムと、再生装置とを概略的に示している。以下では、図2に関連して開示されている本発明によるオーディオトランスポートストリーム121と、本発明により関連付けられるメタデータ106も参照する。
【００３１】
例えば、カメラ102によってライブで行われる録音／録画が、ブロードキャスト装置（例:スタジオのWebサーバ300）によってトランスポートストリーム（TS2）としてリアルタイムで利用可能になる。トランスポートストリームTS2は、再生装置400（例:ブルーレイディスク（BD）プレーヤー）によって受信またはダウンロードされる。通常では、制御層（401）（ブルーレイディスク（BD）プレーヤーの場合にはJava仮想マシン上で実行されるJavaプログラム）が、トランスポートストリームTS2のダウンロードを制御している。
【００３２】
必須ではないが、録音／録画されたデータ103の転送は、パディングデータ108が追加される前に行われることが好ましい。パディングデータ108は、ダウンロードプロセスを制御するJavaプログラム401によってプレーヤー400側において追加されることが好ましい。従って、このJavaプログラム401には以下を提供する必要がある。
1）録音／録画されたデータ、すなわち、オーディオ／ビデオフラグメント103のシーケンス（好ましくは、HTTPを介して要求されるフィルの形式において、ネットワークを通じて取得することができる）
2）クリップファイルに対応付けられているトランスポートストリームファイルを生成する目的で、録音／録画されたデータに充填データをどのように追加すべきかを指定する追加の命令
【００３３】
これらの追加の命令は、
a）図2、または表1に示されているように、ネットワークを通じて送ることができる（この場合、この命令はオフセットおよび長さのリストの形式をとることが好ましい）
b）あるいは、ディスクに格納する、またはJavaプログラム自体に符号化することもできる。この後者の場合、データは、ダウンロードされた録音／録画されたデータを解釈する（特定のマーカーを認識する）方法と、特定のマーカーに遭遇したときの対処方法の命令の形式をとることが好ましい。
【００３４】
もう1つの次に好ましい解決策としては、スタジオのWebサーバ側においてパディングデータを加えた後、ファイルを圧縮し、ネットワークを通じて転送する。次いで、ファイルが受信された後、プレーヤーにおいて解凍する。
【００３５】
ローカルに生成された、またはダウンロードされたクリップファイルは、ストレージスペース403（メモリまたはディスク上のいずれか）に格納される。
【００３６】
なお、本出願の図面および説明はオーディオ／ビデオデータのライブストリーミングに焦点を当てているが、別の場合として、ビデオなしでオーディオトラックのみをライブでストリーミングすることができる。この後者の場合の特殊な例は、監督が音声のコメントを話す一方で、BD−ROMプレーヤーにおいてディスクに格納されている映画の再生が制御されるライブイベントである。この場合、監督は、映画の一部を示しながらナレーションを話すことによって質問に答えることができる。
【００３７】
図4は、本発明の実施例によるブロードキャスト装置を概略的に示している。
【００３８】
入力手段（301）は、ストリーミングされるオーディオ／ビデオコンテンツを受信する。圧縮器（302）は、そのオーディオ／ビデオコンテンツをMPEG2ストリーム（MPEG2）に圧縮する。この圧縮は、ビット圧縮率が可変であることが好ましい。オプションとして、スクランブラ(scrambler)（303）が、MPEG2ストリームをコンテンツキーの制御下で暗号化することによってスクランブルすることができ、そのMPEG2ストリームをマルチプレクサ（304）に送る。マルチプレクサ（304）は、MPEG2ストリーム以外に、スクランブルされている、またはスクランブルされていない1つ以上のデータストリーム（DS）と、コントローラ（305）からのさらなるデジタル信号も受信することができる。マルチプレクサ（304）は、スクランブルされている、またはスクランブルされていないMPEG2ストリームと1つ以上のデータストリーム（DS）とを時間多重化することによって、プレゼンテーション時間長が固定でありビット長が可変であるオーディオデータフラグメントのシーケンスを備えるトランスポートストリーム（TS1）を組み立てる。これらのスクランブル処理および多重化は、個別のユニットにおいて行うことができ、必要な場合、異なる位置において行うことができる。従って、トランスポートストリーム（TS1）は1つまたは複数のタイプのストリームを含んでおり、これらのストリームは当業者にはネームサービスという名称でも知られており、サービスのそれぞれが1つ以上のサービスコンポーネントを備える。サービスコンポーネントは、モノラルメディア要素(mono-media element)としても知られている。サービスコンポーネントの例として、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブタイトルコンポーネント、Javaアプリケーション（Xlet）、またはその他のデータタイプが挙げられる。1つ以上のエレメンタリストリームおよび／またはデータを時間多重化することによって、トランスポートストリームが形成される。
【００３９】
本発明によるブロードキャスト装置は、図2および図3を参照しながら説明されている対応する方法の1つに従って、トランスポートストリーム（TS1）にパディングデータを追加し、パディングされたトランスポートストリーム（TS2）を生成するパディング手段（307）、を備えていることができる。そのようなパディング手段（307）は、個別のハードウェアユニットとして実施することができ、または、好ましくは適するファームウェアによってコントローラ（305）に統合することができる。本発明によるブロードキャスト装置は、図2および図3を参照しながら説明されている対応する方法の1つに従って、関連付けられるメタデータを生成するメタデータ生成手段（306）、をさらに備えていることができる。そのようなメタデータ生成手段（306）は、個別のハードウェアユニットとして実施することができ、または、好ましくは適するファームウェアによってコントローラ（305）に統合することができる。生成されたメタデータは、コントローラ305によってマルチプレクサ304に提供されて、2つのストリームのいずれかの要素として挿入される、または、個別のファイルの形式において送信器（308）に直接的に供給される。
【００４０】
送信器（308）は、例えば、Webサーバとすることができ、配信するライブ信号（LS）を生成する。送信器（308）は、特定の実施例に応じて、オーディオデータフラグメントのシーケンスを備えるオーディオ／ビデオストリーム（TS1）（好ましい実施例）、またはパディングされているオーディオ／ビデオストリーム（TS2）、のいずれかを受信することができる。送信器は、コントローラ305からの関連付けられるメタデータも受信することができる。
【００４１】
図5は、本発明の実施例による再生装置を概略的に示している。
【００４２】
本発明を実施することのできる再生装置400の代表的な例は、セットトップボックス（STB）、あるいは、DVD（Digital versatile Disc）および／またはブルーレイディスク（BD）の再生能力を備えているデジタルテレビユニット、あるいは、コンピュータベースのエンターテインメントシステム（ホームメディアサーバという名称でも知られている）を備えている。本発明を実施するうえで必須ではないが、再生装置400は、European MHP（Multimedia Home Platform）あるいはUS Dase Platformなど、定義されているオープンプラットフォームに準拠していることができる。これらの公開されているプラットフォームは、エンドユーザシステムによって認識および実行することのできるいくつかのタイプのアプリケーションを定義している。例えば、European MHPプラットフォームは、アプリケーションをJaveTMアプリケーションとして含めることができることを指定している。そのようなアプリケーションは、当業者にはXletという名称でも知られている。
【００４３】
デマルチプレクサ501は、受信されたライブ信号（LS）を、データストリーム502と、オーディオストリーム503と、ビデオストリーム504と、サブタイトルストリーム505とにスプライスする。オーディオストリーム、ビデオストリーム、およびサブタイトルストリーム（503，504，505）はコントローラ506に送られ、コントローラ506は、再生装置400のすべてのソフトウェアモジュールおよびハードウェアモジュールを特定のオペレーティングシステムを介して制御する。オーディオ／ビデオコンテンツは、アクセス許可を判定してデータを解読することのできる条件付きアクセスサブシステム（図5には示していない）を経由させることもできる。コントローラ506は、オーディオストリーム503、ビデオストリーム504、およびサブタイトルストリーム505を再生／録音／録画エンジン518に提供し、再生／録音／録画エンジン518は、これらのストリームを、ビデオおよびオーディオのレンダリング装置519（例えば、それぞれディスプレイおよびスピーカー）に適切な信号に変換する。
【００４４】
再生装置の機能は、一般的なアプリケーションコントローラ509の制御下にある。例えば、BDプレーヤーの場合、このコントローラは、再生装置によって実行されるアプリケーションと、再生装置の特定のシステムリソースとの間に存在する抽象化レイヤー(abstraction layer)（この技術分野ではアプリケーションマネージャという名称で知られている）に相当する。デマルチプレクサ501によって出力されるデータストリーム502は、このアプリケーションマネージャ509に送られる。データストリーム502に含まれているアプリケーションは、このアプリケーションマネージャ509によって実行される。
【００４５】
ブロードキャスト装置300に関連して上述されているように、本発明による受信ライブ信号に含まれているデータストリームは、関連付けられるメタデータ、または、関連付けられるメタデータを生成する方法の命令、のいずれかを備えるべきである。従って、アプリケーションマネージャ509は、メタデータを生成する手段521を備えていることができる。アプリケーションマネージャ509は、例えばクリップファイルの形式におけるメタデータを生成する、またはメタデータストレージ手段517に送信することができ、ストレージ手段517は、メモリまたは適切なストレージメディアとすることができる。
【００４６】
コントローラ506は、いくつかのオーディオストリーム、ビデオストリーム、およびサブタイトルストリームを受信して、それらをオーディオ／ビデオトランスポートストリームに組み立てる組み立て手段507をさらに備えていることができる。パディング手段508は、図2および図3を参照しながら開示されているように、本発明に従ってパディングデータが追加されるようにする。そのような組み立て手段507および／またはパディング手段508は、個別のハードウェアユニットとして実施することができ、または、好ましくは適するファームウェアによってコントローラ506に統合することができる。組み立て手段507およびパディング手段508は、アプリケーションマネージャ509によって制御することができる。
【００４７】
再生装置は、記録担体510から読み取る、および／または記録担体510に書き込む、手段511を備えている。そのような読み取りおよび／または書き込み手段511は、この技術分野において公知であり、さらに詳しくは説明しない。再生装置は、記録担体510から読み取られるオーディオ／ビデオコンテンツを逆多重化するデマルチプレクサ512を備えていることができる。ライブストリーム（LS）を逆多重化するデマルチプレクサ501と、記録担体510から読み取られるオーディオ／ビデオコンテンツを逆多重化するデマルチプレクサ512は、図5には異なるブロックとして示されているが、複数の入力ストリームを処理することのできる単一のデマルチプレクサによって具体化することができる。
【００４８】
組み立て手段507は、受信されたストリーム（503，504，505）またはその一部と、記録担体510から読み取られるストリーム（514，515，516）またはその一部とを1つに組み立てることができる。この動作は、例えば、上に説明されているライブイベントの例（監督が音声コメントを話す一方で記録担体に格納されている映画の再生が制御される）において行われる。
【００４９】
追加の考察事項
本文書において説明されている方法は、MPEG2ファイルに制限されず、別のコーデックによって作成されるファイルにも適用することができる。この方法は、オーディオファイルに適用することもできる（例:ディスクからのあらかじめ録音／録画されているビデオが、ストリーミングされるオーディオファイルとミックスされる場合）。さらに、この方法は、トランスポートストリームに制限されることはなく、プログラムストリームのためのシステム、あるいは別のオーディオ／ビデオデータパッキング方法を用いるシステムにも使用することができる。
【００５０】
なお、上述されている実施例は、本発明を制限することではなく本発明を説明することを目的としている。当業者には、請求項の範囲から逸脱することなく、多数の代替実施例を設計できるであろう。請求項においては、カッコ内に記載されている参照記号は、請求項を制限するようには解釈されないものとする。動詞「備えている」および「備える」と、これらの活用形は、請求項に記載されている以外の要素またはステップの存在を除外するものではない。要素の前の冠詞「a」または「an」は、そのような要素の複数の存在を除外するものではない。本発明は、いくつかの相異なる要素を備えているハードウェアによって、および／または、適するファームウェアによって実施することができる。いくつかの手段を列挙しているシステム／デバイス／装置の請求項においては、これらの手段のいくつかをハードウェアまたはソフトウェアの同一の要素によって具体化することができる。特定の複数の方策がそれぞれ異なる従属請求項に記載されていることは、これらの方策の組合せを都合よく使用することができないことを意味するものではない。
【図面の簡単な説明】
【００５１】
【図１】オーディオ／ビデオトランスポートストリームを再生できるようにするために再生装置に必要とされる3つのレベルのファイル、すなわちプレイリストファイル、クリップファイル、およびトランスポートストリームファイルを概略的に示している。
【図２】本発明の実施例による、オーディオ／ビデオトランスポートストリームを生成する方法と、このオーディオ／ビデオトランスポートストリームに関連付けられるメタデータを生成する方法とを概略的に示している。
【図３】本発明の実施例によるブロードキャスト装置を備えている送信システムと、再生装置とを概略的に示している。
【図４】本発明の実施例によるブロードキャスト装置を概略的に示している。
【図５】本発明の実施例による再生装置を概略的に示している。
【符号の説明】
【００５２】
11  プレイリストファイル
12、15  クリップファイル
13、14  トランスポートストリームファイル
101  監督
102  カメラ
103  トランスポートストリーム
104  特性ポイント
105、111  フラグメント
106  クリップファイル
107  ポインタ
108  パディングデータ
109、110  オフセット
121  オーディオ／ビデオトランスポートストリーム
300  ブロードキャスト装置
301  入力手段
302  圧縮器
303  スクランブラ
304  マルチプレクサ
305  コントローラ
306  メタデータ生成手段
307  パディング手段
308  送信器
400  再生装置
401  制御層
402  トランスポートストリーム
403  ストレージスペース
404  再生器
405  ディスプレイ
500  入力手段
501  デマルチプレクサ
502、513  データストリーム
503  オーディオストリーム
504  ビデオストリーム
505  サブタイトルストリーム
506  コントローラ
507  組み立て手段
508  パディング手段
509  アプリケーションコントローラ
510  ディスク
511  読み取り／書き込み手段
512  デマルチプレクサ
514〜516  ストリーム
517  メタデータストレージ
518  再生／録音／録画エンジン
519  ディスプレイ／スピーカー
520  ユーザ入力
521  メタデータ生成手段
【図１】
2008530938.tif 000004
【図２】
2008530938.tif 000005
【図３】
2008530938.tif 000006
【図４】
2008530938.tif 000007
【図５】
2008530938.tif 000008
【国際調査報告】
2008530938.tif 000009
2008530938.tif 000010