(57)【要約】  オーディオ／ビデオサブストリーム（１４）および制御サブストリームを含むデータストリームの復号化方法に関する。複数のデータパケットを同じバッファ内にバッファリングできるバッファリングノード（１２）が設けられる。これは割り当てバッファサイズに対するパラメータと蓄積されるパケットに対するパラメータとを別個にすることにより達成される。つまり複数のパケットが蓄積されているときだけでなく、バッファが空のときにもノードが存在するので、このノードを後に再利用する。これは特にＭＰＥＧ４オーディオノードまたはサウンドノードにおける複数のパケットをバッファリングしたりこれに選択的にアクセスしたりする際に有利である。
2007534185.tif 000002
【特許請求の範囲】
【請求項１】
データストリームは第１のサブストリームおよび第２のサブストリームを含み、
第１のサブストリーム（１４）はマルチメディアデータパケットを含み、第２のサブストリームは制御情報（１０）を含み、
マルチメディアデータパケットはプレゼンテーション時刻のインデクスを含み、マルチメディアデータパケットはインデクスにより示されるプレゼンテーション時刻に先行して復号化される
データストリームの復号化方法において、
復号化された第１のマルチメディアデータパケットを少なくともさらなる処理後プレゼンテーションされるまでバッファリングし、
復号化された第１のマルチメディアデータパケットに他のマルチメディアデータパケットを付加するかまたは復号化された第１のマルチメディアデータパケットを他のマルチメディアデータパケットで置換することにより他のマルチメディアデータパケットをバッファリングする
ことを特徴とするデータストリームの復号化方法。
【請求項２】
制御情報は他のマルチメディアデータパケットが第１のデータパケットに付加されるかまたは第１のデータパケットを置換するかを定義している、請求項１記載の方法。
【請求項３】
制御情報は第１の制御データおよび第２の制御データおよび第３の制御データを含み、第１の制御データ（Length）は割り当てバッファサイズを定義しており、第２の制御データ（LoadMode）は他のマルチメディアデータパケットが第１のデータパケットに付加されるかまたはこれを置換するかを定義しており、第３の制御データ（StartLoadTime，StopLoadTime）はバッファリングすべきマルチメディアデータパケットを定義している、請求項１または２記載の方法。
【請求項４】
バッファリングされた第１のマルチメディアデータパケットおよび他のマルチメディアデータパケットにレーベルを添付し、相応のレーベルを介して各パケットへのアクセスを行う、請求項１から３までのいずれか１項記載の方法。
【請求項５】
バッファリングされたデータパケットに添付されたレーベルは最新の受信データパケットに対するインデクスを含む、請求項１から４までのいずれか１項記載の方法。
【請求項６】
第１のサブストリームはオーディオデータを含み、第２のサブストリームはプレゼンテーション記述を含む、請求項１から５までのいずれか１項記載の方法。
【請求項７】
データストリームはＭＰＥＧ４規格に準拠している、請求項１から６までのいずれか１項記載の方法。
【請求項８】
データストリームは第１のサブストリームおよび第２のサブストリームを含み、
第１のサブストリーム（１４）はマルチメディアデータパケットを含み、第２のサブストリームは制御情報（１０）を含み、
マルチメディアデータパケットはプレゼンテーション時刻のインデクスを含む、
データストリームの復号化装置において、
復号化された第１のマルチメディアデータパケットはバッファリング手段にバッファリングされ、
復号化された第１のマルチメディアデータパケットに他のマルチメディアデータパケットを付加するかまたは復号化された第１のマルチメディアデータパケットを他のマルチメディアデータパケットで置換することにより、前記バッファリング手段において制御情報に依存して第２のマルチメディアデータパケットがバッファリングされる
ことを特徴とするデータストリームの復号化装置。
【請求項９】
バッファリングされた第１のデータパケットおよび他のデータパケットにレーベルを添付する手段と、相応のレーベルを介して各パケットへのアクセス、パケットの回収または消去を行う手段が設けられている、請求項８記載の装置。
【請求項１０】
データストリームはＭＰＥＧ４規格に準拠している、請求項８または９記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＭＰＥＧ４などのマルチメディアストリーミングシステムのバッファリングノードにおけるデータストリームの復号化方法およびデータストリームの復号化装置に関する。
【０００２】
発明の背景
ＭＰＥＧ４規格ＩＳＯ／ＩＳＥ１４４９６の第１部“Systems”では、オーディオ／ビデオシーンが複数のオーディオオブジェクト、ビデオオブジェクトおよび合成２Ｄ／３Ｄオブジェクトから成り、これらが種々のＭＰＥＧ４フォーマットで符号化され、複数のサブストリームを含む多重ビットストリームのバイナリ圧縮データとして送信されることが記載されている。サブストリームはエレメンタリストリームＥＳとも称され、デスクリプタを用いてアクセスされる。エレメンタリストリームＥＳはＡＶデータを含み、またＡＶサブストリームを復号化するのに必要なコンフィグレーション情報を含むいわゆるオブジェクト記述ストリームＯＤであることもある。オブジェクトから１つのシーンを合成するプロセスはコンポジションと称され、パケットの再構成および相応のエレメンタリストリームＥＳの復号化後に、個々のＡＶオブジェクト、例えばビデオおよび関連するオーディオおよびテキストのプレゼンテーションが混合される。シーンのコンポジションはシーン記述ストリームと称される専用のエレメンタリストリームＥＳにより記述される。これはＢＩＦＳ（Binary Information for Scenes）と称される符号化されたノードツリーから成るシーン記述を含む。ノードとはデータをバッファリングし、デコーダと後続のユニットとのあいだの時間同期を実行するＭＰＥＧ４規格の処理ステップまたはユニットを意味する。ノードはフィールドと称される属性および付加的な他の情報を有する。ＢＩＦＳツリーのリーフノードはＯＤストリーム内のＯＤを指示するエレメンタリＡＶデータに相応し、ＯＤストリームは逆にＡＶデータを指示するＥＳ記述子を含む。中間ノードまたはシーン記述ノードは材料をまとめてＡＶオブジェクトを形成し、こうしたＡＶオブジェクトのグループ化や変換を実行する。受信機ではコンフィグレーションサブストリームが抽出され、要求されたＡＶデコーダのセットアップに使用される。ＡＶサブストリームはオブジェクトに対して個別に復号化され、受信されたコンポジション命令は復号化されたＡＶオブジェクトからのプレゼンテーションの準備に用いられる。その後、最終的なプレゼンテーションまたはシーンが再生される。
【０００３】
ＭＰＥＧ４規格によれば、オーディオコンテンツは‘audioBuffer’ノードまたは‘mediaBuffer’ノードに蓄積される。２つのノードはいちどに１つのデータブロックしか蓄積できない。他のデータブロックを蓄積するときには先行して蓄積されたデータブロックは上書きされる。
【０００４】
ノードが生成されるかまたはフィールド‘Length’が変更されると、‘audioBuffer’ノードにはオーディオサブストリームからデータがロードされる。これはオーディオバッファにオーディオデータの１つの連続ブロックのみロード可能であるということを意味する。割り当てられたメモリはデータの専用量を適合化する。さらにロードされるデータサンプルのタイミングはＢＩＦＳデコーダのタイミングモデルに正確に依存しないことがある。
【０００５】
１つ以上のオーディオサンプルをロードするために、複数の‘audioBuffer’ノードを用いてＭＰＥＧ４のシーンを構築することができる。ただし複雑なシーンの処理や、種々の‘audioBuffer’ノードに蓄積されたデータの同期は困難である。また各情報ごとに新たなストリームを開かなければならない。
【０００６】
本発明の概要
本発明の課題は、ストリーミングシステムのマルチメディアバッファノードにおける１つまたは複数のＭＰＥＧ４などのデータブロックの蓄積および回収の手段を向上させることである。
【０００７】
この課題は請求項１の特徴部分に記載の方法および請求項８の特徴部分に記載の装置により解決される。
【０００８】
本発明によれば、付加的なパラメータがマルチメディアバッファノード、例えばオーディオノードまたはビデオノードの定義に付加され、ＡＶコンテンツを含む複数のデータブロックを蓄積して選択的に処理することができる。例えばシーンへの組み込み、更新または消去を行うことができる。ＭＰＥＧ４の場合、これらの付加的なパラメータはノード、例えば‘audioBuffer’ノードまたは‘mediaBuffer’ノードの記述における新たなフィールドである。新たなフィールドは受信データストリーム、例えばオーディオストリーム内のデータブロックの位置と、ブロックのローディングの扱い方、例えば以前に蓄積したデータブロックの上書きまたはデータブロックのバッファへの累積とを定義している。
【０００９】
図面の簡単な説明
本発明の実施例を添付図に則して詳細に説明する。図１にはＭＰＥＧ４のシーンの一般的なストラクチャが示されている。図２にはＭＰＥＧ４の‘AdvancedAudioBuffer’ノードの例が示されている。図３にはＭＰＥＧ４の‘AdvancedAudioBuffer’ノード内のフィールドが示されている。
【００１０】
本発明の実施例の説明
図１にはシーン記述ストリームＥＳ＿ＩＤＳで受信されたシーン記述を用いてＭＰＥＧ４シーンを合成するコンポジションの様子が示されている。このシーンはオーディオデータ、ビデオデータおよびその他のデータを含んでおり、オーディオおよびビデオのコンポジションはＡＶノードＯＤＩＤＡＶにおいて定義されている。シーンのオーディオパートはAdvancedAudioBufferノードおよびオーディオオブジェクト（例えばデコーダ）に対する参照子ＯＤＩＤＡを含むオーディオコンポジタから成る。オーディオオブジェクトに属する実際のオーディオデータはパケットとしてオーディオストリームＥＳとなり、そのデスクリプタＥＳ＿ＤＡを介してアクセス可能となる。AdvancedAudioBufferノードはオーディオデコーダから到来するオーディオストリームＥＳ＿ＩＤＡから複数のオーディオデータパケットを取り出す。
【００１１】
図２にはより詳細にＭＰＥＧ４シーンのオーディオパートが示されている。シーン記述１０のオーディオパートはサウンドノード１１を含み、このサウンドノードはオーディオデータを蓄積するためのインタフェースを提供するAdvancedAudioBufferノード１２を有する。蓄積すべきオーディオデータはオーディオデコーダから受信されたオーディオストリーム１４のパケットから成る。各データパケットは復号化される時刻で特定される。AdvancedAudioBufferノード１２はパケットをロードするための時間情報、例えば開始時刻ｔ１および終了時刻ｔ２を有する。またAudioSourceノード１３を参照することにより要求されたＥＳを識別してこれにアクセスできる。AdvancedAudioBufferノードは充分なバッファリング容量を利用できるかぎり先行して蓄積したデータパケットを上書きすることなく特定のデータパケットをバッファリングする。
【００１２】
AdvancedAudioBufferノード１２はＭＰＥＧ４規格ＩＳＯ／ＩＥＣ１４４９６−１：２００２の章節９．４．２．７に定義されたAudioBufferノードに置き換わるものである。従来のAudioBufferノードに比べて、本発明のAdvancedAudioBufferノードは例えばデータのリロードが可能となる進化したローディングメカニズムを有している。
【００１３】
AdvanceAudioBufferノードはＭＰＥＧ４シンタクスを用いて図３のように定義される。このノードは複数のフィールドおよびイベントを有する。フィールドはパラメータまたは変数の関数を有し、イベントはノードに対する制御インタフェースを表す。ＩＳＯ／ＩＥＣ１４４９６−１：２００２の章節９．４．２．７には、‘loop’，‘pitch’，‘startTime’，‘stopTime’，‘children’，‘numChan’，‘phaseGroup’，‘length’，‘duration_changed’，‘isActive’などのフィールドの関数が記載されている。‘length’フィールドは割り当てオーディオバッファの長さを秒で表している。前述の規格の現行ヴァージョンではこのフィールドは修正できない。これは別のオーディオデータブロックがロードされるときには別のAudioBufferノードをインスタンス化しなければならないことを意味する。なぜならオーディオデータはノードのインスタンス化時点でバッファリングされるからである。しかし新たなノードの生成は複雑なソフトウェアプロセスであり、生成されたノードとＢＩＦＳツリーとで時間参照子が異なってしまうおそれがある。
【００１４】
AudioBufferノードになかった新たなフィールド‘startLoadTime’，‘stopLoadTime’，‘loadMode’，‘numAccumulatedBlocks’，‘deleteBlock’，‘playBlock’がAdvanceAudioBufferノードには含まれる。これらの新たなフィールドにより例えば蓄積されたデータのローディングや消去などの新たな関数をイネーブルすることができる。さらにノードのインスタンス化時点で割り当てバッファサイズを実際のバッファリングデータ量とは無関係に定義することができる。割り当てバッファサイズは‘length’フィールドによって表されている。‘startTime’フィールドおよび‘stopTime’フィールドと‘startLoadTime’フィールドおよび‘stopLoadTime’フィールドとは以下に述べるモードに依存して選択的に使用することができる。
【００１５】
種々のローディングメカニズムが存在しており、これらが‘loadMode’フィールドによって表される。これらは例えば互換モード、リロードモード、累積モード、連続累積モード、制限累積モードなどである。
【００１６】
互換モードでは、オーディオデータはその‘length’フィールドが変化するたびにAdvancedAudioBufferノードのインスタンス化時点でバッファリングされる。このモードでは‘startLoadTime’フィールド，‘stopLoadTime’フィールド，‘numAccumulatedBlocks’フィールド，‘deleteBlock’フィールドおよび‘playBlock’フィールドは作用しない。‘startTime’フィールドおよび‘stopTime’フィールドがバッファリングすべきデータブロックを表す。
【００１７】
リロードモードでは‘startLoadTime’フィールドおよび‘stopLoadTime’フィールドが有効となる。AdvancedAudioBufferノードの時間参照子が‘startLoadTime’フィールドに定められた時刻に達すると、内部データバッファはクリアされ、ノードの入力側のサンプルは‘stopLoadTime’フィールドの時刻に達するまで、または蓄積されたデータが‘length’フィールドに定義された長さを有するようになるまで蓄積される。‘startLoadTime’フィールドの値が‘stopLoadTime’フィールドの値以上である場合、‘length’フィールドに定義された長さを有するデータブロックが‘startLoadTime’フィールドに定められた時刻でロードされる。このモードでは‘numAccumulatedBlocks’フィールド，‘deleteBlock’フィールドおよび‘playBlock’フィールドは作用しない。
【００１８】
累積モードでは、‘startLoadTime’フィールドから‘stopLoadTime’フィールドまでのインターバルによって定義されるデータブロックがバッファコンテンツの最終部に付加される。全てのデータブロックにアクセス可能となるように、ブロックには後述のインデクスまたはレーベルが付される。‘length’フィールドによって定められた限界値に達すると、ローディングは終了される。このモードでは‘numAccumulatedBlocks’フィールドは作用しない。
【００１９】
連続累積モードでは、‘startLoadTime’フィールドから‘stopLoadTime’フィールドまでのインターバルによって定義されるデータブロックがバッファコンテンツの最終部に付加される。バッファ内の全てのデータブロックにはアクセス可能となるようにインデクスが付される。‘length’フィールドによって定められた限界値に達すると、最も旧いデータが廃棄されるかまたは上書きされる。このモードでは‘numAccumulatedBlocks’フィールドは作用しない。
【００２０】
制限累積モードは累積モードに類似しているが、蓄積ブロック数が‘numAccumulatedBlocks’フィールドに定められた数に制限されている点が異なる。このモードでは‘length’フィールドは作用しない。
【００２１】
前述の幾つかのローディングメカニズムでは、‘deleteBlock’フィールドにおける０からそれ以下の値への移行により、最新のデータブロックに対して所定のデータブロックの消去が開始される。例えば最新のデータブロックは−１、その前のブロックは−２でアドレシングされる。これはたとえは累積モード、連続累積モードおよび制限累積モードで可能である。
【００２２】
本発明のバッファは複数のデータブロックをバッファリングできるので、再生用の特定のデータブロックを選択する手段が得られ、有利である。‘playBlock’フィールドは再生すべきブロックを定義する。‘playBlock’フィールドがデフォルトで０にセットされている場合、‘startTime’フィールドおよび‘stopTime’フィールドの条件を用いて全コンテンツが再生される。これは前述の互換モードであり、周知のＭＰＥＧ４システムの機能と互換可能である。‘playBlock’フィールドが負の値にセットされている場合、最新のブロックに対して所定のブロックがアドレシングされる。つまり最新のブロックを−１として前のブロックが−２でアドレシングされるといったふうになる。
【００２３】
本発明の方法では、ノードへのデータのローディングがバッファリングまでに新たなノードを生成しなければならない現行のＭＰＥＧ４規格におけるよりも迅速であり、バッファノードが再利用されるので有利である。したがってAdvancedAudioBufferノードをＢＩＦＳノードの時間参照子に簡単に適合させることができ、ＭＰＥＧ４のオーディオデータおよびビデオデータが確実に同期される。
【００２４】
本発明の方法の１つの適用例として、種々の要素、例えば交通情報を含む放送番組のストリームを受け取る受信機が挙げられる。オーディオストリームから交通情報を有するパケットが抽出される。本発明のＭＰＥＧ４システムによれば、間欠的に種々の時刻で受信されたこれらのパケットをバッファに累積し、ユーザの定めた時刻でプレゼンテーションすることができる。例えばユーザは手動または自動で最新の交通情報メッセージを呼び出したり、選別したり、消去したりするインタフェースを有する。いっぽうで放送者も受信機のデータバッファに蓄積されている交通情報メッセージを選択的に消去したり更新したりできる。
【００２５】
有利には、本発明は１つまたは複数の制御ストリームまたはマルチメディアデータストリームから成るデータストリームを受け取る全てのタイプのデバイスに適用可能である。ここで所定のタイプの情報はそれぞれ異なる時刻で送信される種々のブロックへ分割される。特にこれらは放送受信機および全てのタイプの音楽配信機器に適している。
【００２６】
本発明はＭＰＥＧ４規格のストリーミングシステムに特に適している。
【図面の簡単な説明】
【００２７】
【図１】ＭＰＥＧ４のシーンの一般的なストラクチャを示す図である。
【図２】ＭＰＥＧ４の‘AdvancedAudioBuffer’ノードを示す図である。
【図３】ＭＰＥＧ４の‘AdvancedAudioBuffer’ノード内のフィールドを示す図である。
【図１】
2007534185.tif 000003
【図２】
2007534185.tif 000004
【図３】
2007534185.tif 000005
【手続補正書】
【提出日】平成17年1月13日(2005.1.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データストリームは第１のサブストリームおよび第２のサブストリームを含み、
第１のサブストリーム（１４）はマルチメディアデータパケットを含み、第２のサブストリームは制御情報（１０）を含み、
マルチメディアデータパケットはプレゼンテーション時刻のインデクスを含み、インデクスにより示されるプレゼンテーション時刻に先行して復号化され、復号化されたマルチメディアデータパケットがバッファリングされ、ここで第１のマルチメディアデータパケットは少なくともさらなる処理が行われるまでバッファリングされ、第２のマルチメディアデータパケットもバッファリングされる、
データストリームの復号化方法において、
復号化された第１のマルチメディアデータパケットを第２のマルチメディアデータパケットによって置換するかまたは復号化された第１のマルチメディアデータパケットに第２のマルチメディアデータパケットを付加し、
制御情報は第１の制御データおよび第２の制御データおよび第３の制御データを含み、第１の制御データ（Length）は割り当てバッファサイズを定義しており、第２の制御データ（LoadMode）は第２のマルチメディアデータパケットが第１のマルチメディアデータパケットに置き換わっているかまたはこれに付加されているかを定義しており、第３の制御データ（StartLoadTime，StopLoadTime）は１つまたは複数のバッファリングすべきマルチメディアデータパケットを定義している
ことを特徴とするデータストリームの復号化方法。
【請求項２】
第２の制御データは複数の動作モードのうちのいずれか、すなわち第１の制御データの値が変化するときにマルチメディアデータパケットのバッファリングを行う第１のモード、有効な第３の制御データに基づいて第２のマルチメディアデータパケットによりバッファコンテンツを置換してバッファリングする第２のモード、有効な第３の制御データに基づいて第２のマルチメディアデータパケットをバッファコンテンツに付加してバッファリングする第３のモードのいずれかを定義している、請求項１記載の方法。
【請求項３】
第３のモードは、バッファがいっぱいになったとき、マルチメディアデータパケットのバッファリングを停止する第１のバリエーションと先行してバッファリングされたデータを上書きする第２のバリエーションとを有する、請求項２記載の方法。
【請求項４】
処理ノードのインスタンスに適用され、第１の制御データはノードの生成時の割り当てバッファサイズを定義する、請求項１から３までのいずれか１項記載の方法。
【請求項５】
バッファリングされたマルチメディアデータパケットにレーベルを添付し、相応のレーベルを介して各パケットへのアクセスを行う、請求項１から４までのいずれか１項記載の方法。
【請求項６】
バッファリングされたデータパケットに添付されたレーベルは最新の受信データパケットに対するインデクスを含む、請求項１から５までのいずれか１項記載の方法。
【請求項７】
第１のサブストリームはオーディオデータを含み、第２のサブストリームはプレゼンテーション記述を含む、請求項１から６までのいずれか１項記載の方法。
【請求項８】
データストリームは第１のサブストリームおよび第２のサブストリームを含み、
第１のサブストリーム（１４）はプレゼンテーション時刻のインデクスを含むマルチメディアデータパケットを有し、第２のサブストリームは制御情報（１０）を含み、
第１のマルチメディアデータパケットおよび第２のマルチメディアデータパケットがバッファリングされる
データストリームの復号化装置において、
第１のマルチメディアデータパケットを第２のマルチメディアデータで置換するモードまたは第１のマルチメディアデータパケットに第２のマルチメディアデータパケットを付加するモードのいずれかにより第１のマルチメディアデータパケットおよび第２のマルチメディアデータパケットをバッファリングするバッファリング手段と、
制御情報から第１の制御データ、第２の制御データおよび第３の制御データを抽出する抽出手段と、
割り当てバッファサイズを定義する第１の制御データ（Length）を適用する第１の手段と、第２のマルチメディアデータパケットが第１のデータパケットに置き換わるかまたはこれに付加されるかを定義する第２の制御データ（LoadMode）を適用する第２の手段と、バッファリングすべきマルチメディアデータパケットを定義する第３の制御データ（StartLoadTime，StopLoadTime）を適用する第３の手段とを有する
ことを特徴とするデータストリームの復号化装置。
【請求項９】
バッファリングされたマルチメディアデータパケットにレーベルを添付する手段と、相応のレーベルを介して各パケットへのアクセス、パケットの回収または消去を行う手段が設けられている、請求項８記載の装置。
【請求項１０】
データストリームはＭＰＥＧ４規格に準拠している、請求項８または９記載の装置。
【国際調査報告】
2007534185.tif 000006
2007534185.tif 000007
2007534185.tif 000008