(57)【要約】【課題】　マルチメディア・フローをその複雑さに関わりなく流動的に再生する方法を提供する。【解決手段】　少なくとも１つのクライアント端末において、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための方法であって、前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得する段階と、前記タイムスタンプによって指定される時間において、前記復号された構成要素を合成する段階とを具備する。この方法は、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号段階は前記タイムスタンプに先行して実行されることを特徴とする。【選択図】　図３
2004040807.tif 000002
【特許請求の範囲】
【請求項１】
　少なくとも１つのクライアント端末において、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための方法であって、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得するステップと、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成するステップと、を具備するものにおいて、
　前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号ステップが前記コンポジション・タイムスタンプに先行して実行される、ことを特徴とするデータフロー再生方法。
【請求項２】
　最新のコンポジション・コンテクストと前記符号化された構成要素に関連する前記コンポジション・コンテクストとを比較することから成るステップを実行し、前記比較ステップの結果が肯定的であるときには前記復号ステップが前もって実行される、ことを特徴とする請求項１に記載のデータフロー再生方法。
【請求項３】
　前もって復号された前記構成要素は前記合成ステップまで前記クライアント端末によってメモリ保存される、ことを特徴とする請求項１または２に記載のデータフロー再生方法。
【請求項４】
　前記比較ステップの結果が否定的な場合には、前記符号化された構成要素は前記クライアント端末のメモリに保存され、前記復号ステップは該符号化された構成要素に関連するコンポジション・タイムスタンプによって指定される時間に実行される、ことを特徴とする請求項２に記載のデータフロー再生方法。
【請求項５】
　前もって復号された前記構成要素の少なくとも一部に対して、前記合成ステップに先立って前記比較ステップが繰り返され、この繰り返された第二の比較の結果が肯定的であるときには前記合成ステップが実行される、ことを特徴とする請求項２及び３に記載のデータフロー再生方法。
【請求項６】
　前記第二の比較の結果が否定的であるときには、エラー処理ステップが実行される、ことを特徴とする請求項５に記載のデータフロー再生方法。
【請求項７】
　復号順序データ項目も前記符号化された構成要素の少なくとも一部と結び付けられる、ことを特徴とする請求項１乃至６のいずれかに記載のデータフロー再生方法。
【請求項８】
　前記復号順序データ項目はデコード・タイムスタンプである、ことを特徴とする請求項７に記載のデータフロー再生方法。
【請求項９】
　前記データフローは、
　ビデオフローと、
　少なくとも二次元的なグラフィックシーンの記述フローと、
　オーディオフローと、
　少なくとも二次元的なオブジェクトの記述フローと、
　少なくとも１つのオブジェクトの動画フローと、
　メタデータ記述フローと、を含むグループに属する、ことを特徴とする請求項１乃至８のいずれかに記載のデータフロー再生方法。
【請求項１０】
　前記符号化された構成要素のフォーマットは、
　ＭＰＥＧメディア・フォーマットと、
　ＭＰＥＧ−７データ記述フォーマットと、
　ＢＩＦＳシーン記述フォーマットと、
　Ｈ２６Ｌフォーマットと、を含むグループに属する、ことを特徴とする請求項１乃至９のいずれかに記載のデータフロー再生方法。
【請求項１１】
　それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための装置であって、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するものにおいて、
　前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段が前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とするデータフロー再生装置。
【請求項１２】
　前記符号化された構成要素が復号の増加順に保存されるデコード・バッファメモリと、
　前記復号された構成要素がメモリ保存されるコンポジション・バッファメモリと、を更に具備したことを特徴とする請求項１１に記載のデータフロー再生装置。
【請求項１３】
　前記復号された構成要素は前記コンポジション・バッファメモリにコンポジション・タイムスタンプの増加順にメモリ保存される、ことを特徴とする請求項１２に記載のデータフロー再生装置。
【請求項１４】
　前記復号された構成要素は前記コンポジション・バッファメモリに復号の増加順にメモリ保存される、ことを特徴とする請求項１２に記載のデータフロー再生装置。
【請求項１５】
　データサーバから少なくとも１つのクライアント端末へ少なくとも１つのデータフローを伝送するためのシステムであって、
　前記データサーバは、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素の形で前記データフローを符号化するための手段を具備し、
　前記クライアント端末は、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するものにおいて、
　前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段が前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とするシステム。
【請求項１６】
　請求項１１及び１４のいずれかに記載された少なくとも１つの再生装置によって再生されることが意図されたデータフローを表し、前記復号手段の出力側にて利用可能であり前記再生装置の前記合成手段に供給される信号において、
　前記データフローの複数の構成要素を具備しており、
　前記複数の構成要素はそれぞれ、
　コンポジション・タイムスタンプと、
　当該構成要素が先行して復号されたかどうかを特定するisdecodマーカと、を具備し、
　前記isdecodマーカが第１の値を採るときには当該構成要素は符号化された形にあり、前記isdecodマーカが第２の値を採るときには当該構成要素は復号された形にあるようになっており、
　それぞれ更に、
　当該構成要素の再生構造に関係する、presStructと呼ばれるデータ項目と、
　当該構成要素の復号に関係する、decodInfoと呼ばれるデータ項目と、を具備する、ことを特徴とする信号。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、例えば２次元的または３次元的な動画のグラフィックシーン、オーディオまたはビデオ信号等を表すマルチメディア・データフローを、クライアント端末上で再生する技術に関する。より具体的には、本発明は、クライアント端末上での再生を目的としてこうしたデータフローを復号するための方法に関する。
【背景技術】
【０００２】
　一般的にこうしたマルチメディア・フローは、単一のタイムスタンプが付された一連の符号化された独立したユニット（autonomous units）の形に構成され、そのタイムスタンプの目的は受信端末に受信信号の解釈（interpretation）と再生（reproduction）を実行すべき時間を知らせることにある。独立したユニットの解釈という用語は一般的には、最初に前記独立したユニットに含まれる情報から、次に再生装置が保持する情報から、再生されるべき構造を計算することを指す。再生という用語は従来的にユーザへの表示、視覚的、音響的もしくは感覚的な提示を指す。更に、端末によるマルチメディア信号の再生には、サーバまたは送信端末から符号化された形で受信した独立したユニットの復号が必要とされる。
【０００３】
　ＭＥＰＧ−４（”Moving Picture Coding Experts Group”）規格（ISO-IEC/14496-1）のシステム部分において、符号化されたフレームのタイムスタンピングに基づく復号モデルが定義される。この規格に基づいて使用される復号及び再生の一連の流れを図１に示す。この図には、マルチメディア・フローを復号して、次にそうして復号された信号を組み立てるために使用される視聴用または再生用ツールのソフトウェア・モジュールの働きが手短に示されている。
【０００４】
　異なったマルチメディア・フローは、受信されるとすぐにデコード・バッファメモリ（decoding buffer memory）１に保存され、前記マルチメディア・フローを構成している異なる符号化された構成要素（以下、ＥＥ（encoded entities）と呼ぶ）が復号された構成要素（以下、ＥＤ（dedode entities）と呼ぶ）を配信する復号器（decoder）２に供給される。前記復号された構成要素は、合成メモリ（composition memory）３に保存され、次にクラアント端末においてアセンブラ（assembler）４と呼ばれる合成（composition）または組立（assemly）を担当するモジュールによって再生される。
【０００５】
　このように、マルチメディア・フローが受信される際にクライアント端末によって使用される処理手続き（プロセシング）は、基本的に、符号化された構成要素ＥＥを復号することから成る第１の段階（phase）と、第１の段階で復号された構成要素ＥＤを合成することから成る第２の段階といった、２つの段階を含む。
【０００６】
　独立したフロー構成要素のそれぞれに付随するタイムスタンプは、ＭＰＥＧ−４規格においてはコンポジション・タイムスタンプ（Composition Time Stamp）、ＭＰＥＧ−２規格においてはプレゼンテーション・タイムスタンプ、ここでは、以下一般にコンポジション・タイムスタンプあるいはＥＴＣ（または英語でＣＴＳ（Composition Time Stamp））と呼ばれるが、こうしたタイムスタンプはフローのデータが（ビジュアル、オーディオ・フォーマット等で）ユーザ用端末によって再生される時間を指定する。
【０００７】
　多数派の周知技術においては、フレームの復号及び組立（assembly）はＥＴＣによって指示される時間において実施され、そのため、ＥＥ復号時間は見かけ上ゼロであると考えられる。しかしながら、特に複雑なフローに対しては、復号時間は常に無視できるわけではなく、復号された構成要素ＥＤはアセンブラ４がそれをそのＥＴＣによって指定される時間に再生するのに常に十分早期に利用できるわけではない。従って、再生処理は遅延する。
【０００８】
　実際、問題にしているマルチメディア・フローが複雑なあるいはとりわけ大きなフローであるときは、そのフローの復号は実施するのが複雑でとりわけ長時間要することが明らかになる場合がある。
【０００９】
　このような場合、異なるフレームの再生の脱同期化（desynchronisation）が観測され、例えばビデオフローの場合にはグラフィックシーンが乱雑に表示される結果となる。例えば、動画のグラフィックシーンを表す信号と音声信号の同時再生を確保するために異なる復号シーケンスが並行して使用されるときは、グラフィックシーンの復号が遅延することにより音声と映像の脱同期化が引き起こされる場合がある。
【００１０】
　もちろんこれは受け入れられないことであり、とりわけユーザには喜ばしからざる事態かもしれない。
【００１１】
　一部の特定の技術によれば、デコード・タイムスタンプあるいはＥＴＤ（または英語でＤＴＳ（decoding Time Stamp））と呼ばれる特定のタイムスタンプが時にはフロー構成要素と結び付けられ、そうすることにより復号器２が符号化されたフレームＥＥを圧縮解除する時間が指定され、あるいは、ＥＥの復号順序がＥＴＣが増大する順序とされる合成もしくは組立の順序とは異なることが示される。
【００１２】
　しかしながら、その場合も、この技術は複雑なフローの処理手続きに対してはそれほど適しているとは言えない。というのは、解釈段階が長くてコストがかかり、そのためフレーム再生時間がＥＴＣに関して遅れてしまい、異なるフレームの再生の脱同期化が引き起こされるからである。
【００１３】
　再生の流動性を増やし、かつ視聴用あるいはより一般的には再生用のツールリソースを最適使用するために、一部の周知技術に基づいて、とりわけＭＰＥＧ−４／ＢＩＦＳといったシーン記述フローあるいはＭＰＥＧ−４Ｖｉｓｕａｌ（ＩＳＯ−ＩＥＣ／１４４９６−２）もしくはＨ２６Ｌ（ＩＳＯ−ＩＥＣ／１４４９６−１０）といった新規のビデオ・フローの再生に関して、復号段階を信号再生段階から時間的に相互の関連性を無くすことが考えられてきた。この場合においては、端末上で利用可能な計算及びメモリのリソースを最大限使用するために、復号は信号再生とは非同期方式で働く。次にコンポジション端末（composition terminal）は信号再生とは同期方式で働かなければならない。というのはその実行速度が信号再生の流動性に依存するからである。
【００１４】
　しかしながら、最も発展した復号及び再生の技術ができるだけ流動的な再生を実現するためにこのアプローチを最大限に使用しようとしても、それらの技術は標準的なフロー処理手続きに制約されたままで、より複雑なフローの出現で比較的効果のないことが判る。
【００１５】
　本特許出願の発明者は、これらの異なる周知技術を分析して、以下のような問題を確認した。オーディオまたはビデオ復号器の設計をできるだけ単純化するには、一般的にこれらの異なる技術では、復号及び合成もしくは組立の手続きが比較的独立していること、そして復号された構成要素ＥＤは其れ自体で合成には十分であること、が考えられる。その際、アセンブラ４は再生用ツール（または「プレイヤー」）がインストールされたオペレーティングシステムに密接に依存し、符号化の特異性には依存しない。
【００１６】
　しかしながら、本特許出願の発明者によれば、ＢＩＦＳシーン記述フロー（このフォーマットは特に「ＭＰＥＧ−４システム検証モデル（the MPEG-4 Systems Verification Model）」（ISO/IEC JTCI/SC29/WG 11-N1693,MPEG97,１９９７年４月）に提示されている）、ＭＰＥＧ−７メタデータあるいはＨ２６Ｌ（ＩＳＯ−ＩＥＣ／１４４９６−１０）といった新規タイプのビデオ・フローといった、複雑なフローが処理されるときはこのアプローチはもはや十分ではない。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
　そこで本発明の課題は、上述した従来技術の様々な欠点を、本発明者によって確認された上記問題を特に考慮に入れて改善することにある。
【００１８】
　より具体的には、本発明の課題は、１つまたは複数のマルチメディア・フローを再生するための技術であって、問題にしているフローの複雑さにかかわりなく流動性を確保できる技術を提供することにある。
【００１９】
　本発明のもう１つの課題は、そうした再生技術を受信信号の最適化された復号に基づいて実現することにある。
【００２０】
　本発明の更なる課題は、再生端末のメモリと計算のリソースを最適使用することが出来るようにするそうした再生技術を提供することにある。
【００２１】
　本発明の更にもう１つの課題は、従来技術に基づく復号技術と両立可能なそうした再生技術を実現することにある。
【００２２】
　本発明のなお更なる課題は、リソース、とりわけメモリ・リソースの点で、従来技術の再生技術と比較して大きな追加コストを生じさせることのないそうした再生技術を提案することにある。
【課題を解決するための手段】
【００２３】
　本発明は、上記課題を解決するため、少なくとも１つのクライアント端末において、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための方法であって、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得するステップと、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成するステップと、を具備する方法を提供する。
【００２４】
　また本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号ステップが前記コンポジション・タイムスタンプに先行して実行される、ことを特徴とする。
【００２５】
　このように本発明は、とりわけＭＰＥＧ−４／ＢＩＦＳといったシーン記述フローあるいはＭＰＥＧ−４Ｖｉｓｕａｌ（ISO-IEC/14496-2）もしくはＨ２６Ｌ（ISO-IEC/14496-10）といった新規のビデオ・フローといった複雑なフローを処理するのに特に適した、マルチメディア・フローの再生に対する全く新規的で創意に富むアプローチを提供する。
【００２６】
　実際、本発明は、受信信号の復号を、コンポジション・コンテクストを考慮したコンポジション・タイムスタンプに先行して実施することを提案する。こうしたことは従来技術では考えられてこなかった。
【００２７】
　それ故、この場合において復号という用語は実際の復号段階だけでなく、復号された構成要素に関連した再生されるべき構造の少なくとも部分的な計算を可能にするどんな前期解釈段階（pre-interpretation phase）をも指している。
【００２８】
　このようにして、前もって復号された全ての構成要素に対して、流動性ある再生がコンポジション・タイムスタンプによって指定される時間において保証され、再生される様々なフレームの脱同期化のリスクが結果的に大きく減少する。更に、本発明によれば、再生装置の復号リソースを最適化することが可能となる。実際、「マルチスレッド型（multi-threaded）」プラットフォーム（すなわち、数個のソフトウェアタスクが並行して走るのを可能にするプラットフォーム）の計算リソースを最適使用することが可能となり、このことはグラフィック信号を処理する際に満足される必要のある流動性条件にとって不可欠である。従って本発明によれば、再生装置は復号された構成要素の解釈及び再生とに並行して既に受信した符号化された構成要素の復号を先行させるので、復号を最適化することが可能となる。
【００２９】
　本発明が提案する復号の先行実施は、問題にしている符号化された構成要素のコンポジション・コンテクストに依存するので、現在までのところ例えばＢＩＦＳシーン記述信号、ＭＰＥＧ−７メタデータまたはＨ２６Ｌ（ISO-IEC/14496-10）といった新規タイプのビデオ・フローの再生技術において不可欠と考えられるマルチメディア・フローの復号段階及び合成段階の独立性という前提条件に関係する本願の本発明者が確認した問題は解決される。
【００３０】
　有利には、こうした再生方法は、最新の（現）コンポジション・コンテクストと前記符号化された構成要素に関連する前記コンポジション・コンテクストとを比較することから成るステップを実行し、前記比較段階の結果が肯定的であるときには前記復号ステップが前もって実行される。
【００３１】
　このようにして、最新のコンポジション・コンテクストが、問題にしている符号化された構成要素に関連するコンポジション・コンテクストと同一のときには、復号ステップが先行させられる。実際、肯定的な比較結果は、先行させた符号化された構成要素の復号の結果が合成段階においてその段階が実施される前に最新のコンポジション・コンテクストに可能な修正が加えられた上で使用されてよいことを明確に示す。
【００３２】
　有利には、前もって復号された前記構成要素は前記合成段階まで前記クライアント端末によってメモリに保存される。
【００３３】
　好ましくは、前記比較の結果が否定的な場合には、前記符号化された構成要素は前記クライアント端末のメモリに保存され、そして前記復号ステップは該符号化された構成要素に関連するコンポジション・タイムスタンプによって指定される時間に実行される。
【００３４】
　このようにして、最新のコンポジション・コンテクストが符号化された構成要素に関連するコンポジション・コンテクストとは異なる場合には、その復号は先行実施されず、従来的に前記構成要素の合成段階において実行される。
【００３５】
　好ましくは、前もって復号された前記構成要素の少なくとも一部に対して、前記合成ステップに先立って前記比較ステップが繰り返され、この繰り返された第二の比較の結果が肯定的であるときには前記合成ステップが実行される。
【００３６】
　このようにして、符号化された構成要素の先行復号（anticipated decoding）以来、最新のコンポジション・コンテクストは変わっていないこと、前記先行復号の結果は合成ステップにおいて使用されてよいことが確かめられる。合成ステップは、前もって復号された構成要素に対しては、最新のコンポジション・コンテクストが、問題にしている構成要素に関連するコンポジション・コンテクストとなお同一の場合に実施されるだけある。
【００３７】
　好ましくは、前記第二の比較の結果が否定的であるときには、エラー処理ステップが実行される。
【００３８】
　実際、否定的な比較結果は、最新のコンポジション・コンテクストが符号化された構成要素の先行復号以来変化してしまっていること、そして、前もって復号された構成要素の合成はその最新のコンポジション・コンテクストから見て不可能であることを明確に示す。この場合に実施されるエラー管理は従来型のものであって、従ってそのことについてはこの文書ではより詳しく説明されない。
【００３９】
　有利には、復号順序データ項目も前記符号化された構成要素の少なくとも一部と結び付けられる。
【００４０】
　実際、符号化された構成要素の復号順序はそれらの組立順序とは異なる可能性があり、こうしたことは特に、大きなあるいは複雑な符号化された構成要素がより長い復号時間を必要とする場合にあてはまる。この場合、それらはそれらより複雑でない構成要素に先立って復号され、そうすることによって、コンポジション・タイムスタンプによって指定される時間において復号された形で利用することができることが保証される。
【００４１】
　本発明においては、前記復号順序データ項目はデコード・タイムスタンプであることが好ましい。
【００４２】
　好ましくは、前記データフローは、
　ビデオフローと、
　少なくとも二次元的なグラフィックシーンの記述フローと、
　オーディオフローと、
　少なくとも二次元的なオブジェクトの記述フローと、
　少なくとも１つのオブジェクトの動画フローと、
　メタデータ（metadata）記述フローと、を含むグループに属する。
　好ましくは、前記符号化された構成要素のフォーマットは、
　ＭＰＥＧメディア・フォーマットと、
　ＭＰＥＧ−７データ記述フォーマットと、
　ＢＩＦＳシーン記述フォーマットと、
　Ｈ２６Ｌフォーマットと、を含むグループに属する。
【００４３】
　また本発明は、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素を含む少なくとも１つのデータフローを再生するための装置であって、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備した装置も提供する。
【００４４】
　本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段は前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とする。
【００４５】
　有利には、このような装置は、
前記符号化された構成要素が復号の増加順（increasing order）に保存されるデコード・バッファメモリと、
　前記復号された構成要素がメモリ保存されるコンポジション・バッファメモリと、を更に具備する。
【００４６】
　本発明の第１の有利な選択的な態様においては、前記復号された構成要素は前記コンポジション・バッファメモリにコンポジション・タイムスタンプの増加順にメモリに保存される。
【００４７】
　それ故、合成段階において、復号された構成要素はそれらがコンポジション・バッファメモリに保存された順に処理され、これらの復号手段は復号された構成要素をコンポジション・バッファメモリにおいて順序付けるために、それらのコンポジション・タイムスタンプに従ってそれらを整理（sort）する。
【００４８】
　本発明の第２の有利な選択的な態様においては、前記復号された構成要素は前記コンポジション・バッファメモリに復号の増加順にメモリ保存される。
【００４９】
　こうして、前記復号手段は、構成要素をそれらが復号された順にコンポジション・バッファメモリに配列させ、そして前記合成手段は、復号された構成要素をそれらのコンポジション・タイムスタンプの増加順に処理するために、それらをコンポジション・バッファメモリ内において整理（sort）する。
【００５０】
　また本発明は、データサーバから少なくとも１つのクライアント端末へ少なくとも１つのデータフローを伝送するためのシステムであって、
　前記データサーバは、それぞれが少なくとも１つのコンポジション・タイムスタンプと結び付けられた複数の符号化された構成要素の形で前記データフローを符号化するための手段を具備し、
　前記クライアント端末は、
　前記データフローを復号して、複数の復号された構成要素を含む少なくとも１つの復号されたデータフローを取得することを可能にする手段と、
　前記コンポジション・タイムスタンプによって指定される時間において、前記復号された構成要素を合成する手段と、を具備するシステムも提供する。
【００５１】
　本発明によれば、前記符号化された構成要素の少なくとも１つに対して、前記符号化された構成要素に関連するコンポジション・コンテクストが少なくとも１つの所定の基準を満足する場合には、前記復号手段は前記コンポジション・タイムスタンプに先行して開始される、ことを特徴とする。
【００５２】
　本発明は、少なくとも１つの前記再生装置によって再生されることが意図されたデータフローを表し、前記復号手段の出力側にて利用可能でかつ前記再生装置の前記合成手段に供給される信号も提供する。
【００５３】
　本発明によれば、こうした信号は、前記データフローの複数の構成要素を具備しており、
　前記複数の構成要素はそれぞれ、
　コンポジション・タイムスタンプと、
　当該構成要素が先行して復号されたかどうかを特定するisdecodマーカと、を具備し、
　前記isdecodマーカが第１の値を採るときには当該構成要素は符号化された形にあり、前記isdecodマーカが第２の値を採るときには当該構成要素は復号された形にあるようになっており、
　それぞれ更に、
　当該構成要素の再生構造に関係する、presStructと呼ばれるデータ項目と、
　当該構成要素の復号に関係する、decodInfoと呼ばれるデータ項目と、を具備する、ことを特徴とする。
【発明を実施するための最良の形態】
【００５４】
　以下、本発明の実施の好ましい態様を図面を参照して詳細に説明する。本発明の一般原理はマルチメディア・フローに含まれる一部の符号化された構成要素の復号をそれらに関連するコンポジション・コンテクストに応じて先行させることに基づくものである。
【００５５】
　図２に本発明の様々な処理段階の態様を示す。
【００５６】
　すでに言及したように、符号化された構成要素（encoded entity）ＥＥ１０は、視聴端末またはより一般的には表現端末（rendition terminal）によって受信される。その端末は、前記復号化された構成要素ＥＥ１０がビデオフローから得られた場合に、スクリーン上へのその表示１２を可能にするために、その復号化された構成要素ＥＥ１０を次の復号段階（decoding phase）５、解釈段階（interpretation phase）６、再生段階（reproduction phase）７に送らなければならない。
【００５７】
　第１の処理８は復号段階（decoding phase）５と前期解釈段階（pre-interpretation phase）６から構成され、この第１の処理はＥＥ１０からそれに対応する復号された構成要素１１を作り出すことを可能にする。またここで復号された構成要素は再生段階１２まで視聴端末に記憶される。この第１の処理８の目的は、コンポジション・タイムスタンプ（composition time stamp）ＥＴＣまたはＣＴＳと結び付けられた構成要素を生成することにあり、これは構文解析するのが容易でアセンブラ４が時間ｔ＝ＥＴＣにおいて信号を再生するのに必要な全ての情報を含む。この場合、この構成要素は復号された構成要素ＥＤ（decoded entity）１１と呼ばれる。
【００５８】
　第２の処理９は、復号された構成要素ＥＤ１１の後期解釈段階（post-interpretation phase）と再生段階（reproduction phase）７それ自体から構成される。この第２の処理９の目的は、フレームＥＴＣによって必要とされる時間的な再生制約条件を順守するために、可能な限り速く、復号された構成要素１１を再生することにある。
【００５９】
　本発明によれば、第１の処理８は、復号をフレームＥＴＣに先行させることを可能とし、それによりユーザのために信号の迅速的かつ流動的な再生を保証するために、第２の処理９とは脱同期化されると有利である。
【００６０】
　本発明の選択的な態様が特に２つ考えられるので、それらについて以下引き続き調べることにする。
【００６１】
　第１の選択的な態様によれば、符号化された構成要素１０の復号順序は、コンポジション・タイムスタンプＥＴＣによって指定される復号された構成要素１１の合成順序と同一である。
【００６２】
　第２の選択的な態様によれば、符号化された構成要素ＥＥの復号順序は、例えば一部のより複雑な構成要素が長い復号時間を必要とし、従ってそれらが優先的に復号されなければならない場合には、コンポジション・タイムスタンプＥＴＣによって指定される順序とは異なる。この第２の選択的な態様によれば、復号順序を特定するデータ項目は例えばデコード・タイムスタンプＥＴＤ（decoding time stamp）の形で、符号化された構成要素ＥＥ１０と結び付けられなければならない。
【００６３】
　まず最初に、復号順序と合成順序が同一の第１の選択的な態様を図３乃至図５に示す。
【００６４】
　この場合、図３に示された本発明による装置は、図２の処理２と処理３の各々によってそれぞれ使用される２つの信号復号器３０と３１を具備する。
【００６５】
　既に明確に述べたように、第１の処理８は第２の処理９とは非同期方式で独立に働く。第２の処理は前記装置によって受信された信号の再生７を実行し、従って信号時間とは同期方式で働く。
【００６６】
　両方の処理８と９は、全ての復号された構成要素ＥＤ１１を含む同じバッファメモリ３２を使用する。以下、そのバッファメモリ３２をコンポジション・バッファメモリ（composition buffer memory）と呼ぶことにする。復号された構成要素は、それらのコンポジション・タイムスタンプＥＴＣの増加順に、このコンポジション・バッファメモリに保存される。このコンポジション・タイムスタンプＥＴＣの増加順は復号器３０による復号順序にも対応する。
【００６７】
　符号化された構成要素ＥＥ１０は符号化された信号を送信する発信源（例えばオーディオフローまたはビデオフローのサーバ）から受信され、それらのＥＴＣの増加順に、デコード・バッファメモリ（decoding buffer memory）と呼ばれるバッファメモリ３３に保存される。
【００６８】
　図３のデコード・バッファメモリ３３に概略的に示されているように、それぞれの符号化された構成要素ＥＥ１０はコンポジション・タイムスタンプＥＴＣと結び付けられる。そして、適用可能な場合には、本文書において以下調べられる第２の選択的な態様においてデコード・タイムスタンプＥＴＤと結び付けられる。
【００６９】
　コンポジション・バッファメモリ３２に保存されたそれぞれの復号された構成要素ＥＤ１１は以下のデータ項目（data items）と結び付けられる。それらは、
・復号された構成要素ＥＤ１１がユーザのために再生１２されるための時間を図３の装置に指定するコンポジション・タイムスタンプＥＴＣと、
・符号化された構成要素ＥＥ１０に含まれていないがその復号段階において必要であったもので、復号された構成要素ＥＤ１１の生成を可能にするdecodInfoと呼ばれるデータ項目と、
・符号化された構成要素ＥＥ１０の復号器３０による先行復号（anticipated decoding）が第１の処理８において実行されたかどうかを特定するisDecodと呼ばれるマーカ（marker）と、
・先行復号はisDecod=1によって特定され、それが第１の処理８において可能であった場合に、復号された構成要素ＥＤ１１を再生するために第２の処理９によって使用されるpresStructと呼ばれる構造（structure）である。前記presStruct構造は、復号器３０によって計算された依存関数（dependency function）に応じて、第一に、decodInfoと、第二に、符号化された構成要素ＥＥ１０に含まれるデータ項目と、に依存することは注意すべきである。
【００７０】
　最後に、第１の処理による復号の先行実施が不可能であった場合、すなわち、isDecod=0の場合、コンポジション・バッファメモリ３２は符号化された形の構成要素ＥＥ１０を含む。
【００７１】
　次に図４を参照しながら、既に受信した符号化された構成要素ＥＥ１０の復号を先行させることを目的とした第１の処理８の作業原理をより詳細に説明する。
【００７２】
　前記第１の処理８によれば、符号化された構成要素ＥＥ１０のリストを含むデコード・バッファメモリ３３が走査される。第１の符号化された構成要素ＥＥ（ｉ）が読み出され（ステップ４０）、それに対応する復号データ（decoding data）decodInfoがコンポジション・コンテクスト（composition context）４４から取り出される。このコンポジション・コンテクスト４４は示されるべき信号の最新値に対応する。例えば、グラフィックシーンの視聴の場合では、このコンポジション・コンテクストは、現時点においてそのシーンに存在する様々なオブジェクトと、それらのオブジェクトの配置を表す階層木（hierarchical tree）とに対応する。
【００７３】
　ステップ４５においては、符号化された構成要素ＥＥ（ｉ）の復号器３０による先行復号が可能かどうかを判定するために、その符号化された構成要素ＥＥ（ｉ）に関連するコンポジション・コンテクストが最新のコンポジション・コンテクストと比較される。
【００７４】
　車を構成するシーン記述フローの再生を単純な例に採ると、その車内部のハンドルに対応するフレームＥＥ（ｉ）の復号は、本発明によれば、最新の復号時間において、その車に対応するコンポジション・コンテクストがスクリーンに映し出されている場合に、先行させることができるだけである。
【００７５】
　そのコンポジション・コンテクストがＥＥ（ｉ）に関連するコンポジション・コンテクストとは異なる場合、復号器３０による先行復号は不可能、つまりisDecod=0であり、符号化された構成要素ＥＥ（ｉ）がコンポジション・バッファメモリ３２に保存される（ステップ４６）。
【００７６】
　処理はリスト３３における次の符号化された構成要素ＥＥ（ｉ＋１）に進む（ステップ４７）。
【００７７】
　リストの最後まで達すると、読み出し４０は順序に従ってＥＥのリスト３３の先頭に戻る（ステップ４９）。
【００７８】
　このようにして、先行復号が可能な全てのＥＥに対して、前記第１の処理８においてisDecod及びpreStructのデータが生成され、コンポジション・バッファメモリ３２は得られた復号された構成要素ＥＤ１１で満たされる。この処理８は非同期方式で機能し、図３の再生装置においてはその処理は低い優先度が割り当てられ、そうすることによって第２の処理９による信号の流動性ある再生を確保するためにその装置が必要とする計算リソースが使用されないようにする。
【００７９】
　実際、タイムスタンプＥＴＣの定義は、再生装置が、時間Ｔにおいて、コンポジション・タイムスタンプＥＴＣがそのＴ未満である全ての復号された構成要素ＥＤを第２の処理９によって再生することを保証することを必要とする。そのため第２の処理９は、コンポジション・バッファメモリ３２に含まれる復号された構成要素ＥＤを可能な限り迅速に再生することを可能とするのに十分な計算リソースを持たなければならない。
【００８０】
　次に第２の再生処理９の作業方式を図５に示す。
【００８１】
　コンポジション・バッファメモリ３２はそれに連続して含まれる異なる復号された構成要素ＥＤ（ｉ）を読み出す（ステップ５０）ために閲覧される。第１の処理５１において、isDecodマーカの値が解析され、第１の処理８の復号器３０によって先行復号が実行されたかどうかが判定される。
【００８２】
　＊isDecod=1の場合、復号された構成要素ＥＤ（ｉ）に関してコンポジション・バッファメモリ３２に保存されたdecodInfoデータが最新のコンポジション・コンテクスト４４と比較される（ステップ５３）。
【００８３】
　最新のコンポジション・コンテクストのデータが前記第２の処理９に従って取り出される仕方は装置の異なる可能な構成（configurations）に依存し、当業者には周知の従来的技術に対応するので、そのことについてここでは本発明の技術範囲内においてより詳細には説明されない。
【００８４】
　decodInfoが最新のコンポジション・コンテクストとは異なる場合（ステップ５４）、最新のコンポジション・コンテクストに応じて、ＥＥ（ｉ）の復号（ステップ５６）を繰り返すことが必要である。
【００８５】
　一方、decodInfoが最新のコンポジション・コンテクストと一致する場合（ステップ５５）には、preStruct構造は有効であって、復号された構成要素ＥＤ（ｉ）はコンポジション・タイムスタンプＥＴＣによって指定される時間に再生されてよい。構造preStruct(i)が解釈され（ステップ５７）、処理９がコンポジション・バッファメモリ３２の次のＥＤに進む（ステップ５９）前にＥＤ（ｉ）は再生される（ステップ５８）。
【００８６】
　＊isDecod=0の場合、問題にしている構成要素の復号の先行実施は不可能だったので、それ故に、符号化された構成要素ＥＥ（ｉ）の復号（ステップ５２）を実行することが必要である。この復号が可能な場合、そのときは、問題にしている構成要素ＥＥに関連する最新のコンポジション・コンテクストとの整合性のために、対応するpresStruct構造の解釈（ステップ５７）とその構成要素の再生（ステップ５８）が実行される。この復号が不可能な場合、最新のコンポジション・コンテクストは問題にしている構成要素ＥＥに関連するコンポジション・コンテクストと異なるので、従来的な誤り処理手続き６０が実施される。既に述べた車を表すシーン記述フローの例では、例えばユーザの介入によってその車が視聴シーンから削除されたためにその車がもはやそのシーンコンテクストの一部でない場合には、ハンドルを表す構成要素の復号は不可能である。
【００８７】
　次にこの第２の処理９によれば、コンポジション・バッファメモリ３２の復号された構成要素ＥＤ１１は、再生後にはこの構成要素はいまや時期を逸しているので、メモリから削除される。
【００８８】
　次に本発明の第２の選択的な態様を、符号化された構成要素ＥＥ１０の復号順序がそれらに関連するコンポジション・タイムスタンプＥＴＣによって指定される合成順序とは異なる場合において、手短に説明する。
【００８９】
　つまり、符号化された構成要素ＥＥがデコード・バッファメモリ３３に保存される順序は、復号された構成要素ＥＤの再生順序とは異なる。図４を参照して既に示された第１の処理８は、デコード・バッファメモリ３３における構成要素の保存順序で作用する。このように、この復号順序がフローのそれぞれの構成要素に付随するデコード・タイムスタンプ（decoding time stamp）ＥＴＤによって指定される場合には、図４において構成要素ＥＥ（ｉ）に割り当てられたインデックスｉは増大するＥＴＤに対応する。
【００９０】
　一方、第２の処理９による構成要素の再生には以下の予備ステップの実施が必要とされる。まず、
・最低のコンポジション・タイムスタンプＥＴＣを含む構成要素がコンポジション・バッファメモリ３２において確認され、
・時間Ｔがその確認された最低コンポジション・タイムスタンプＥＴＣminより大きいとき、前記コンポジション・タイムスタンプＥＴＣminに関連する復号された構成要素のpresStruct構造の再生が実行され、それに対応する復号された構成要素ＥＤがコンポジション・バッファメモリ３２から削除される。
【００９１】
　ここで以下のことに注意する。第１の選択的なサブ態様では、復号された構成要素ＥＤはコンポジション・バッファメモリに復号順に保存される。また最低コンポジション・タイムスタンプＥＴＣminの構成要素を選ぶことは第２の処理９の再生機能の役割である。
【００９２】
　もう１つの選択的なサブ態様によれば、構成要素ＥＤはコンポジション・バッファメモリ３２にタイムスタンプＥＴＣが増大する順に保存される。この場合、第２の処理９の再生機能は図５で示されたものと同一のままである。一方、第２の処理９の復号機能はコンポジション・バッファメモリ３２をデコード・タイムスタンプＥＴＤが増大する順に閲覧しなければならない。
【００９３】
　以下のステップが連続して実行される。まず、
・最低のデコード・タイムスタンプＥＴＤminを有するisDecod=0の値の構成要素がコンポジション・バッファメモリ３２において確認され、
・次にその確認されたタイムスタンプＥＴＤminに対応する符号化された構成要素ＥＥが復号され、
・その後、符号化された構成要素ＥＥは、復号タイムスタンプＥＴＤの順序で、全ての構成要素がisDecod=1の値を持つまで、連続して復号される。
【００９４】
　結果、最大の可能な符号化された構成要素ＥＥは第１の処理８の復号器３０によって既に復号されてしまっているので、符号化された構成要素ＥＥが第２の処理によって復号されるのに費やされる時間は大きく減少し、このことにより、優れた信号再生の流動性を確保することが可能となる。
【００９５】
　次に、本発明の技術範囲内で使用することができるデータ項目decodInfo及びpresStructの例を、ＭＰＥＧ−４／ＢＩＦＳフローの復号に対して、手短に説明する。
【００９６】
　ＢＩＦＳ型フロー復号の場合、デコード・タイムスタンプＥＴＤは全ての符号化された構成要素ＥＥでコンポジション・タイムスタンプＥＴＣと同一である。このため、復号順序が再生順序である本発明の既に述べた第１の選択的な態様が適用可能である。
【００９７】
　本発明に基づく実施態様は、この場合において、decodInfo及びpresStructの値を指定し、かつ、decodInfoがどのように得られるかを指定することによって、限定的なものとなる場合がある。
【００９８】
　符号化された構成要素ＥＥ（Encoded Entity）の性質に依存して、以下のように、異なる値が得られる。
【００９９】
　符号化された構成要素ＥＥがＢＩＦＳノード挿入コマンド（BIFS node insertion command）（ISO/IEC 14496-1:2000(E)の９．３．６．５節に定義されている）の場合、
・decodInfoは、ノード（node）とそのノードに対応する復号テーブル（decoding table）の識別値、すなわち[nodeID,GetNDTFromID(nodeID)]、
・presStructは、MPEG-4/System規格書の９．３．６．５．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
【０１００】
　ＥＥがインデックス値挿入コマンド（IndexedValueInsertion command）の場合、
・decodInfoは、ノード識別値、ノードフィールド識別値、ノードの値とそのノードに対応するフィールドの値、すなわち、
[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、MPEG-4/System規格書の９．３．６．６．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
【０１０１】
　ＥＥがインデックス値削除コマンド（IndexedValueDeletion command）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、構造において定義されているもので符号化された構成要素ＥＥの復号の際に得られるdeletionPositionポジションにおける値の削除の単純な表示であるコマンドを記述する容易に解釈可能なオブジェクトである。
【０１０２】
　ＥＥがフィールド置換コマンド（FieldReplacement command）（規格書の９．３．６．１４節に記述されている）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、MPEG-4/System規格書の９．３．６．１４．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
【０１０３】
　ＥＥがインデックス値置換コマンド（IndexedValueReplacement command）の場合、
・decodInfoは、[nodeID,inID,node=GetNodeFromID(nodeID),field=node.field[node.in2all[inID]]]、
・presStructは、replacementPositionポジションと規格書の９．３．６．１４．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
【０１０４】
　ＥＥがシーン置換コマンド（SceneReplace command）の場合、
・decodInfoは、空白[]、
・presStructは、規格書の９．３．７．１．１節に記述された構造において定義されているコマンドを記述する容易に解釈可能なオブジェクトである。
【０１０５】
　他の全ての場合には、符号化された構成要素ＥＥは前もって復号されない。
【０１０６】
　符号化された構成要素ＥＥのこれらの例ではかなりの復号及び解釈のリソースが必要とされるので、それらはとりわけ本発明の利点からの恩恵を受ける。
【０１０７】
　従って本発明によれば、受信されたフローの復号を最適化して、多数の利点を与えることが可能となる。
【０１０８】
　第一に、本発明によれば、従来技術のようにかなりのメモリを追加導入する必要無しに、復号処理を最適化することが可能となる。実際、本発明によれば、２つの復号処理のみを並行して走らせる必要がある。その一方の復号処理は信号を再生するために使用されるクロックと同期的であり、もう一方の復号処理（いわゆる先行復号）は非同期方式で働く。既に言及したメモリの増加分は従来技術とは対照的に本発明では両方の復号処理が同一のメモリを共有するので、単一の復号処理のサイズより小さくて済む。
【０１０９】
　更に、本発明の技術は、復号の先行実施によって復号エラーが引き起こされる場合には余分な追加的な復号を生じさせるだけである。同期的処理の復号器は初期の復号設定を非同期的な先行処理を実行する復号器の設定と単に比較する必要があるだけなので、この復号エラーは容易に制御することができる。
【０１１０】
　本発明の技術によれば、「マルチスレッド型（multi-threaded）」プラットフォーム（すなわち、数個のソフトウェアタスクが並行して走るのを可能にするプラットフォーム）の計算リソースの最適使用も可能になる。グラフィック信号を処理する際には流動性の制約条件が満たされる必要があるので、このことは不可欠である。
【０１１１】
　最後に、本発明による技術は従来の復号技術と完全に互換性がある。実際、復号を先行させる追加の復号器を使用して、当該技術分野では周知の従来的な信号復号処理の優れたシナリオ操作の柔軟性と互換性が確保される。
【図面の簡単な説明】
【０１１２】
【図１】再生端末における本発明によるマルチメディア・フローの一連の処理手続きを示した概略図である。
【図２】本発明に基づいて実行される異なる処理段階を示した概略図である。
【図３】本発明に基づいて復号を先行実施する再生装置の概略図である。
【図４】図３の再生装置によって実行される復号処理を詳しく説明するための図である。
【図５】図３の再生装置によって本発明に基づいて実行される合成処理を説明するための図である。
【符号の説明】
【０１１３】
１、３３　デコード・バッファメモリ
２　復号器
３　コンポジションメモリ
４　アセンブラ
５　復号段階
６　解釈段階
７　再生段階
８　処理１
９　処理２
１０　符号化された構成要素
１１　復号された構成要素
１２　ユーザ
３０、３１　復号器
３２　コンポジション・バッファメモリ
【図１】
2004040807.tif 000003
【図２】
2004040807.tif 000004
【図３】
2004040807.tif 000005
【図４】
2004040807.tif 000006
【図５】
2004040807.tif 000007
【外国語明細書】
2004040807.tif 000008
2004040807.tif 000009
2004040807.tif 000010
2004040807.tif 000011
2004040807.tif 000012
2004040807.tif 000013
2004040807.tif 000014
2004040807.tif 000015
2004040807.tif 000016
2004040807.tif 000017
2004040807.tif 000018
2004040807.tif 000019
2004040807.tif 000020
2004040807.tif 000021
2004040807.tif 000022
2004040807.tif 000023
2004040807.tif 000024
2004040807.tif 000025
2004040807.tif 000026
2004040807.tif 000027
2004040807.tif 000028
2004040807.tif 000029
2004040807.tif 000030
2004040807.tif 000031
2004040807.tif 000032
2004040807.tif 000033
2004040807.tif 000034
2004040807.tif 000035
2004040807.tif 000036
2004040807.tif 000037
2004040807.tif 000038
2004040807.tif 000039
2004040807.tif 000040
2004040807.tif 000041
2004040807.tif 000042
2004040807.tif 000043