(57)【要約】【課題】階層化されたエレメンタリーストリームを、正常にデコードできるように多重化すること。【解決手段】多重化装置５０２は、基本階層と拡張階層１、２とに階層化されたＳＶＣストリーム５０１をパケット化するとともに、前記階層毎に異なる識別情報を前記パケットに付与するパケット生成部５０３と、ＳＶＣストリーム５０１のアクセスユニットの範囲内で、前記基本階層のパケットの少なくとも１つと拡張階層１、２のパケットの少なくとも１つとを入れ替えて、ＳＶＣストリーム５０１を多重化するパケット多重化位置制御部と、を備える。【選択図】図１
2009267537.tif 000002
【特許請求の範囲】
【請求項１】
基本階層と少なくとも１つの拡張階層とに階層化されたエレメンタリーストリームをパケット化するとともに、前記階層毎に異なる識別情報を前記パケットに付与するパケット生成部と、
前記エレメンタリーストリームのアクセスユニットの範囲内で、前記基本階層のパケットの少なくとも１つと前記拡張階層のパケットの少なくとも１つとを入れ替えて、前記エレメンタリーストリームを多重化するパケット多重化位置制御部と、
を備えることを特徴とする多重化装置。
【請求項２】
前記パケット多重化位置制御部は、前記拡張階層が複数ある場合には、前記複数の拡張階層間でパケットを入れ替えることを特徴とする請求項１に記載の多重化装置。
【請求項３】
前記拡張階層と前記エレメンタリーストリームの各階層との依存関係を示す依存関係情報を生成し、前記エレメンタリーストリームに多重化する依存関係情報生成・多重化部を備えることを特徴とする請求項１又は請求項２に記載の多重化装置。
【請求項４】
前記依存関係情報生成・多重化部は、前記依存関係情報に基づいて、前記パケットの入れ替えが行われる階層が、予め設定した階層又はその階層と依存関係にある階層のいずれかに含まれると判断した場合には、前記パケットの入れ替えが行われたことを示す順序入替情報を生成し、前記エレメンタリーストリームに多重化する順序入替情報生成・多重化部を含むことを特徴とする請求項３に記載の多重化装置。
【請求項５】
請求項１に記載のパケット多重化位置制御部により多重化されたエレメンタリーストリームのパケットの識別情報を解釈し、そのパケットの階層を識別する識別情報解釈部と、
前記識別情報解釈部により識別されたパケットの順序を入れ替えるための順序入替用バッファと、
前記識別情報解釈部により前記基本階層のパケットであると識別されたパケットに含まれる前記エレメンタリーストリーム中の前記基本階層部分を、外部のデコーダの入力バッファに書き込むための基本階層パケット分離部と、
前記識別情報解釈部により前記拡張階層のパケットであると識別されたパケットに含まれる前記エレメンタリーストリーム中の前記拡張階層部分を、前記順序入替用バッファに書き込むための拡張階層パケット分離部と、
を備えることを特徴とする分離装置。
【請求項６】
前記エレメンタリーストリームのアクセスユニット中の予め設定した階層および依存関係にある階層においてエレメンタリーストリームが取得されたことを検出するアクセスユニット完了検出部を備え、
前記拡張階層パケット分離部は、前記アクセスユニット完了検出部により前記アクセスユニット中の予め設定した階層および依存関係にある階層においてエレメンタリーストリームが取得されたことが検出された場合には、そのアクセスユニットにおいて分離した前記拡張階層のエレメンタリーストリームを前記外部のデコーダの入力バッファに書き込むことを特徴とする請求項５に記載の分離装置。
【請求項７】
前記拡張階層パケット分離部は、パケットの入れ替えが行われたことを示す順序入替情報に基づいて順序入替があったと判断した場合には、分離したパケットを前記順序入替用バッファに書き込み、前記順序入替情報に基づいて順序入替が無かったと判断した場合には、パケットが入力される順序に従って、分離したパケットを前記外部のデコーダの入力バッファに書き込むことを特徴とする請求項５に記載の分離装置。
【請求項８】
前記基本階層パケット分離部は、パケットの入れ替えが行われたことを示す順序入替情報に基づいて順序入替が無かったと判断した場合には、パケットが入力される順序に従って、分離したパケットを前記外部のデコーダの入力バッファに書き込むことを特徴とする請求項５に記載の分離装置。
【請求項９】
基本階層と少なくとも１つの拡張階層とに階層化されたエレメンタリーストリームをパケット化するとともに、前記階層毎に異なる識別情報を前記パケットに付与する工程と、
前記エレメンタリーストリームのアクセスユニットの範囲内で、前記基本階層のパケットの少なくとも１つと前記拡張階層のパケットの少なくとも１つとを入れ替えて、前記エレメンタリーストリームを多重化する工程と、
を含むことを特徴とする多重化方法。
【請求項１０】
コンピュータに、
基本階層と少なくとも１つの拡張階層とに階層化されたエレメンタリーストリームをパケット化するとともに、前記階層毎に異なる識別情報を前記パケットに付与する工程と、
前記エレメンタリーストリームのアクセスユニットの範囲内で、前記基本階層のパケットの少なくとも１つと前記拡張階層のパケットの少なくとも１つとを入れ替えて、前記エレメンタリーストリームを多重化する工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラムに関する。
【背景技術】
【０００２】
Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ（以下「ＡＶＣ」という。）の拡張規格であるスケーラブルビデオコーディング（以下「ＳＶＣ」という。）規格は、ＡＶＣにより符号化されたビデオデータに対し、画質・解像度・フレームレートの少なくとも一つを向上させる拡張データを符号化する方式である（非特許文献1を参照）。ＳＶＣによる拡張を含むビットストリーム（以下「ＳＶＣストリーム」という。）からＡＶＣ部分（以下「ＡＶＣストリーム」という。）を分離すると、従来のＡＶＣデコーダで再生できる。このように、ＳＶＣストリームでは後方互換性が考慮されている。多くのアプリケーションでは、ビデオのストリームは、オーディオなどのストリームと同期した再生が必要である。これを実現するために、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格（非特許文献２を参照）に従って多重化が行われている。ところが、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格では、ＳＶＣストリームを多重化する方式は規定されていない。
【０００３】
ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格では、多重化を行う各エレメンタリーストリームを識別するために、パケット識別子（ＰＩＤ又はｓｔｒｅａｍ＿ｉｄ）を用いている。ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格から考えると、ＡＶＣストリームとＳＶＣによる１つ以上の拡張ストリームとを含むＳＶＣストリームをＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格で多重化するためには、ストリーム毎にパケット識別子を付与することが考えられる。図１５に示すように、基本階層に属する３０ＭｂｐｓのＡＶＣストリーム（ＡＶＣ＿１）と、拡張階層に属する７Ｍｂｐｓの第１の拡張ストリーム（ＳＶＣ＿１）と、拡張階層に属する３Ｍｂｐｓの第２の拡張ストリーム（ＳＶＣ＿２）と、を含む合計４０ＭｂｐｓのＳＶＣストリームを多重化する場合を考える。ＡＶＣ＿１、ＳＶＣ＿１及びＳＶＣ＿２は、ＮＡＬユニット（ｎａｌ＿ｕｎｉｔ）毎にまとまったデータ構造となっている。これらの順序を変更せずに多重化を行った場合、参照番号１０１に示すように、ピクチャ毎に４０Ｍｂｐｓでバースト的に多重化される。ＡＶＣ＿１だけを見ると、参照番号１０２に示すように、ＳＶＣ＿１及びＳＶＣ＿２の期間では多重化が行われないことが分かる。
【０００４】
ＳＶＣ規格の目的の一つに、後方互換性を確保することがある。多重化を行った場合、ＡＶＣストリームであれば、３０Ｍｂｐｓで多重化されたパケットが入力される。この場合、ＡＶＣストリームのみを再生するデコーダは、入力のビットレートの上限を３０Ｍｂｐｓとして設計することができる。ところが、ＳＶＣストリームとして多重化した場合には、ＡＶＣストリームがバースト的に４０Ｍｂｐｓで入力されるため、このデコーダでは再生ができない。これに対し、多重化側では、図１６の参照番号２０１に示すように、ＡＶＣ＿１、ＳＶＣ＿１及びＳＶＣ＿２の各パケットを細かい単位でインターリーブすることによって、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格で定義されているバッファ（図１７のトランスポートバッファＴＢ）でバースト性を吸収することができる。図１７において、ＡＶＣデコーダが接続される場合には、識別子によるフィルタリングによってＡＶＣ＿１だけが分離され、ＳＶＣ＿１及びＳＶＣ＿２は除去される。この場合は、後方互換性を持ったデータ構造であるといえる。
【非特許文献１】ＳＶＣ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｔｅｓｔ Ｒｅｐｏｒｔ，ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ Ｎ９５７７，Ａｎｔａｌｙａ，ＴＲ−Ｊａｎｕａｒｙ ２００７
【非特許文献２】ＩＳＯ／ＩＥＣ １３８１８−１：２００７
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、図１７において、ＳＶＣデコーダが接続される場合には、図１６に示すようにＡＶＣ＿１、ＳＶＣ＿１及びＳＶＣ＿２の各パケットがインターリーブされる。そのため、多重化データが入力される順序でＳＶＣデコーダのＥＢ（ＳＶＣ）にエレメンタリーストリームが書き込まれると、ＳＶＣデコーダで正常にデコードできないという問題がある。
【０００６】
本発明は、上記問題点を解決するためになされたものであって、階層化されたエレメンタリーストリームを、正常にデコードできるように多重化することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明による多重化装置は、基本階層と少なくとも１つの拡張階層とに階層化されたエレメンタリーストリームをパケット化するとともに、前記階層毎に異なる識別情報を前記パケットに付与するパケット生成部と、前記エレメンタリーストリームのアクセスユニットの範囲内で、前記基本階層のパケットの少なくとも１つと前記拡張階層のパケットの少なくとも１つとを入れ替えて、前記エレメンタリーストリームを多重化するパケット多重化位置制御部と、を備える。
【発明の効果】
【０００８】
本発明によれば、階層化されたエレメンタリーストリームを、正常にデコードできるように多重化することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について説明する。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る多重化装置の構成を示すブロック図である。本実施形態に係る多重化装置５０２は、パケット生成部５０３と、パケット多重化位置制御部５０４と、依存関係情報生成・多重化部５０５と、出力切替スイッチ５０９と、入力切替スイッチ５１１と、を備える。
【００１１】
パケット生成部５０３は、ＳＶＣストリーム５０１の各階層のエレメンタリーストリームを複数のパケットに分ける（パケット化する）。パケット生成部５０３は、階層毎に異なる識別情報（ＰＩＤ）を各パケットのヘッダに付与する。
【００１２】
パケット多重化位置制御部５０４は、ＳＶＣストリーム５０１を多重化するタイミングを制御して、基本階層のパケットと拡張階層１、２のパケットとを入れ替える。
【００１３】
依存関係情報生成・多重化部５０５は、拡張階層とＳＶＣストリーム５０１の各階層との依存関係を示す依存関係情報を生成する。依存関係情報生成・多重化部５０５は、依存関係情報をパケット化する。拡張階層は基本階層と依存関係にある。しかし、拡張階層同士では依存関係にある場合と依存関係にない場合とがある。例えば、一方の階層が他方の階層と依存関係にある場合、他方の階層がなければ、一方の階層をデコードすることができない。なお、同じ階層内ではパケットの順序が入れ替わることはない。依存関係情報は、例えば、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）等のトランスポートストリームで伝送されるデータや、ｄｅｓｃｒｉｐｔｏｒ等のプログラムストリームで伝送されるデータ等に記述されうる。
【００１４】
出力切替スイッチ５０９は、パケット生成部５０３で生成されたパケットと、依存関係情報生成・多重化部５０５で生成された依存関係情報のパケットとを、パケット多重化位置制御部５０４からの制御信号５０７に従って切り替える。
【００１５】
入力切替スイッチ５１１は、パケット生成部５０３に入力されるＳＶＣストリーム５０１の階層を、パケット多重化位置制御部５０４からの制御信号５０６に従って切り替える。図１では、ＳＶＣストリーム５０１には、２つの拡張階層が示されているが、本発明はこれに限定されず、１つ又は３つ以上の拡張階層であってもよい。
【００１６】
図２は、本発明の第１の実施形態に係る多重化装置の動作を示すフローチャートである。
【００１７】
ステップＳ６０１では、パケット多重化位置制御部５０４は、生成するパケットを決定する。依存関係情報を示すパケットを生成する場合には、起動信号５０７により依存関係情報生成・多重化部５０５が起動され、ステップＳ６０２に進む。基本階層用のパケット（基本階層用パケット）を生成する場合には、起動信号５０６によりパケット生成部５０３が起動され、ステップＳ６０３に進む。拡張階層１用のパケット（拡張階層１用パケット）を生成する場合には、起動信号５０６によりパケット生成部５０３が起動され、ステップＳ６０４に進む。拡張階層２用のパケット（拡張階層２用パケット）を生成する場合には、起動信号５０６によりパケット生成部５０３が起動され、ステップＳ６０５に進む。
【００１８】
ステップＳ６０２では、依存関係情報生成・多重化部５０５は、依存関係情報を示すパケットを生成する。
【００１９】
ステップＳ６０３では、パケット生成部５０３は、基本階層用パケットを生成する。
【００２０】
ステップＳ６０４では、パケット生成部５０３は、拡張階層１用パケットを生成する。
【００２１】
ステップＳ６０５では、パケット生成部５０３は、拡張階層２用パケットを生成する。
【００２２】
ステップＳ６０６では、パケット多重化位置制御部５０４は、起動信号５０７を送って出力切替スイッチ５０９を制御する。依存関係情報を示すパケットが生成された場合、パケット多重化位置制御部５０４は、出力切替スイッチ５０９を依存関係情報生成・多重化部５０５に接続する。依存関係情報を示すパケットは、多重化されて出力５１０から出力される。基本階層用パケット、拡張階層１用パケット又は拡張階層２用パケットが生成された場合、パケット多重化位置制御部５０４は、出力切替スイッチ５０９をパケット生成部５０３に接続する。基本階層用パケット、拡張階層１用パケット又は拡張階層２用パケットは、多重化されて出力５１０から出力される。
【００２３】
ステップＳ６０７では、パケット多重化位置制御部５０４は、アクセスユニット内の全ての階層のエレメンタリーストリームの多重化が終了したか否かを判断する。全ての階層のエレメンタリーストリームの多重化が終了していない場合には（ステップＳ６０７で「Ｎ」）、ステップＳ６０１に戻り、次に生成するパケットが決定される。全ての階層のエレメンタリーストリームの多重化が終了した場合には（ステップＳ６０７で「Ｙ」）、多重化処理を終了する。
【００２４】
図３に示すように、パケット多重化位置制御部５０４は、ＳＶＣストリーム５０１のアクセスユニット単位で、基本階層のパケットと、拡張階層１、２のパケットとのインターリーブ（入れ替え）を行う。図４に示すように、基本階層のパケットに注目すると、アクセスユニットの切れ目では、そのアクセスユニット内の基本階層データが全て揃っていることが分かる。そのため分離装置は、拡張階層１及び拡張階層２のパケットをバッファに記憶し、全ての階層のアクセスユニットのパケットが揃った時点で、そのバッファからデコーダの入力バッファに書き込めば、正しい順序のＳＶＣストリームを得ることができる。
【００２５】
図５は、本発明の第１の実施形態に係る多重化装置によって多重化されたデータを分離する分離装置の構成を示すブロック図である。
【００２６】
分離装置９０１は、識別情報解釈部９０２と、依存関係抽出部９０３と、基本階層用パケット分離部９０４と、拡張階層１用パケット分離部９０５と、拡張階層２用パケット分離部９０６と、アクセスユニット完了検出部９０７と、第１の順序入替用バッファ９０９と、第２の順序入替用バッファ９１０と、入力切替スイッチ９１４と、を備える。分離装置９０１は、外部の階層符号化デコーダ９１５に通信可能に接続される。
【００２７】
識別情報解釈部９０２は、パケットのヘッダに付与された識別情報を解釈し、パケットの種類（例えば、プログラムの種類、ビデオ・オーディオなどのデータの種類）や階層を識別する。
【００２８】
依存関係抽出部９０３は、トランスポートストリーム等で伝送されたデータに記述された依存関係情報を抽出する。以降、トランスポートストリームにて伝送することとして説明を行う。
【００２９】
基本階層用パケット分離部９０４は、本発明の多重化装置にてＳＶＣストリームを多重化したＳＶＣトランスポートストリームから基本階層パケットを分離し、分離された基本階層パケットのペイロード部分を抽出することによって、基本階層エレメンタリーストリームを抽出する。基本階層用パケット分離部９０４は、抽出した基本階層エレメンタリーストリームを階層符号化デコーダ９１５の入力バッファ９１６に書き込む。
【００３０】
拡張階層１用パケット分離部９０５は、ＳＶＣトランスポートストリームから拡張階層１用パケットを分離し、分離された拡張階層１用パケットのペイロード部分を抽出することによって、拡張階層１用エレメンタリーストリーム抽出する。拡張階層１用パケット分離部９０５は、抽出した拡張階層１用エレメンタリーストリームを第１の順序入替用バッファ９０９に記憶する。
【００３１】
拡張階層２用パケット分離部９０６は、ＳＶＣトランスポートストリームから拡張階層２用パケットを分離し、分離された拡張階層２用パケットのペイロード部分を抽出することによって、拡張階層２用エレメンタリーストリームを抽出する。拡張階層２用パケット分離部９０６は、抽出した拡張階層２用エレメンタリーストリームを第２の順序入替用バッファ９１０に記憶する。
【００３２】
アクセスユニット完了検出部９０７は、拡張階層１用パケット分離部９０５及び拡張階層２用パケット分離部９０６から、完了信号９０８をそれぞれ受信する。アクセスユニット完了検出部９０７は、受信した完了信号９０８に従って、現在分離中のアクセスユニットに対する全ての階層のエレメンタリーストリームが取得されたか否かを検出する。
【００３３】
ここでは、各アクセスユニットにおける拡張階層１用パケット及び拡張階層２用パケットが、基本階層パケットよりも後に出力されることが予めわかっている。したがって、アクセスユニット完了検出部９０７は、基本階層用パケット分離部９０４から完了信号を受信する必要がない。なお、アクセスユニット完了検出部９０７は、必要に応じて基本階層用パケット分離部９０４から完了信号を受信してもよい。
【００３４】
第１の順序入替用バッファ９０９は、拡張階層１用パケット分離部９０５で分離された拡張階層１用エレメンタリーストリームのパケットを入力順に記憶する。
【００３５】
第２の順序入替用バッファ９１０は、拡張階層２用パケット分離部９０６で分離された拡張階層２用エレメンタリーストリームのパケットを入力順に記憶する。
【００３６】
入力切替スイッチ９１４は、後述する出力スイッチ制御信号９１３を受信する。入力切替スイッチ９１４は、受信した出力スイッチ制御信号９１３に従って、第１の順序入替用バッファ９０９及び第２の順序入替用バッファ９１０に記憶された、拡張階層１用エレメンタリーストリーム及び拡張階層２用エレメンタリーストリームを、階層符号化デコーダ９１５の入力バッファ９１６に書き込む。入力切替スイッチ９１４は、出力スイッチ制御信号９１３を受信する前では、基本階層用パケット分離部９０４に接続にされている。そのため、入力切替スイッチ９１４は、基本階層用パケット分離部９０４に入力された基本階層パケットを入力バッファ９１６にそのまま書き込む。
【００３７】
ＳＶＣデコーダ９１７は、入力バッファ９１６に書き込まれた基本階層エレメンタリーストリーム、拡張階層１用エレメンタリーストリーム及び拡張階層２用エレメンタリーストリームを読み出してデコードする。
【００３８】
図６は、本発明の第１の実施形態に係る分離装置の動作を示すフローチャートである。
【００３９】
ステップＳ１００１では、識別情報解釈部９０２は、入力される多重化データ（パケット）のヘッダに付与された識別情報を解釈し、そのパケットの種類や階層を識別する。依存関係情報を示すパケットが識別された場合には、ステップＳ１００２に進む。基本階層用パケットが識別された場合には、ステップＳ１００３に進む。拡張階層１用パケットが識別された場合には、ステップＳ１００４に進む。拡張階層２用パケットが識別された場合には、ステップＳ１００５に進む。
【００４０】
ステップＳ１００２では、識別情報解釈部９０２は、切替信号９１１を入力スイッチ９１２に送る。入力スイッチ９１２は、切替信号９１１に従って依存関係抽出部９０３に接続される。識別情報解釈部９０２は、依存関係抽出部９０３に送られたＳＶＣトランスポートストリームから依存関係情報を抽出する。
【００４１】
ステップＳ１００３では、識別情報解釈部９０２は、切替信号９１１を入力スイッチ９１２に送る。入力スイッチ９１２は、切替信号９１１に従って基本階層用パケット分離部９０４に接続される。基本階層用パケット分離部９０４は、入力されたＳＶＣトランスポートストリームから基本階層パケットを分離し、分離された基本階層パケットのペイロード部分を、入力切替スイッチ９１４を介して入力バッファ９１６に書き込む。
【００４２】
ステップＳ１００４では、識別情報解釈部９０２は、切替信号９１１を入力スイッチ９１２に送る。入力スイッチ９１２は、切替信号９１１に従って拡張階層１用パケット分離部９０５に接続される。拡張階層１用パケット分離部９０５は、入力されたＳＶＣトランスポートストリームから拡張階層１用パケットを分離し、分離された基本階層パケットのペイロード部分を、第１の順序入替用バッファ９０９に書き込む。
【００４３】
ステップＳ１００５では、識別情報解釈部９０２は、切替信号９１１を入力スイッチ９１２に送る。入力スイッチ９１２は、切替信号９１１に従って拡張階層２用パケット分離部９０６に接続される。拡張階層２用パケット分離部９０６は、入力されたＳＶＣトランスポートストリームから拡張階層２用パケットを分離し、分離された基本階層パケットのペイロード部分を、第２の順序入替用バッファ９１０に書き込む。
【００４４】
ステップＳ１００６では、アクセスユニット完了検出部９０７は、１つのパケットの分離が終了した時点で、そのアクセスユニットに属する全ての拡張階層用エレメンタリーストリームの分離が終了したか否かを判断する。アクセスユニット完了検出部９０７は、拡張階層１用パケット分離部９０５及び拡張階層２用パケット分離部９０６の両方から、完了信号９０８を受信すると、全ての拡張階層用エレメンタリーストリームの分離が終了したと判断する（ステップＳ１００６で「Ｙ」）。次いで、アクセスユニット完了検出部９０７は、出力スイッチ制御信号９１３を入力切替スイッチ９１４に出力して、ステップＳ１００７に進む。アクセスユニット完了検出部９０７は、そのアクセスユニットに属する全ての拡張階層用エレメンタリーストリームの分離が終了していないと判断した場合には（ステップＳ１００６で「Ｎ」）、ステップＳ１００１に戻る。
【００４５】
ステップＳ１００７では、入力切替スイッチ９１４は、出力スイッチ制御信号９１３に応じて第１の順序入替用バッファ９０９又は第２の順序入替用バッファ９１０に接続される。第１の順序入替用バッファ９０９又は第２の順序入替用バッファ９１０に記憶された各階層のエレメンタリーストリームは、階層符号化デコーダ９１５の入力バッファ９１６に記憶される。
【００４６】
ステップＳ１００８では、識別情報解釈部９０２は、全ての多重化データの分離が終了したか否かを判定する。識別情報解釈部９０２は、全ての多重化データの分離が終了したと判定した場合には（ステップＳ１００８で「Ｙ」）、多重化データの分離を終了する。識別情報解釈部９０２は、全ての多重化データの分離が終了していないと判定した場合には（ステップＳ１００８で「Ｎ」）、ステップＳ１００１に戻る。
【００４７】
以上のように、本実施形態では、階層化されたエレメンタリーストリームのアクセスユニットの範囲内で、基本階層のパケットの少なくとも１つと拡張階層のパケットの少なくとも１つとを入れ替えて、エレメンタリーストリームを多重化する。これによって、分離装置側で基本階層のパケットを記憶するバッファを不要とする構成が可能となり、メモリ使用量を抑えることができる。
【００４８】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る多重化装置を示すブロック図である。本実施形態の各部において、図１の第１の実施形態と同様の部分には、同一の符号を付している。
【００４９】
第２の実施形態に係る多重化装置１１０１は、図１の依存関係情報生成・多重化部５０５に代えて、依存関係情報生成・多重化部１１０２を備える点で、第１の実施形態に係る多重化装置５０２と相違する。以下、依存関係情報生成・多重化部１１０２及びこれに伴う他の構成の相違点を中心に述べる。
【００５０】
依存関係情報生成・多重化部１１０２は、ＳＶＣストリーム５０１の各階層間の依存関係を表す依存関係情報を生成する。依存関係情報生成・多重化部１１０２は、依存関係情報をパケット化する。依存関係情報生成・多重化部１１０２は、順序入替情報生成・多重化部１１０３を含む。順序入替情報生成・多重化部１１０３は、予め設定した階層又はその階層と依存関係にある階層のパケットを生成する場合、パケットの入れ替えが行われたことを示す順序入替情報（フラグ）を生成する。順序入替情報生成・多重化部１１０３は、順序入替情報をパケット化して、ＳＶＣストリーム５０１に多重化する。順序入替情報は、例えば、ＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）等のトランスポートストリームで伝送されるデータや、ｄｅｓｃｒｉｐｔｏｒ等のプログラムストリームで伝送されるデータ等に記述されうる。
【００５１】
出力切替スイッチ５０９は、パケット生成部５０３で生成されたパケットと、依存関係情報生成・多重化部１１０２で生成された依存関係情報のパケットと、存関係情報生成・多重化部１１０３で生成された順序入替情報のパケットと、をパケット多重化位置制御部５０４からの制御信号５０７に従って切り替える。
【００５２】
図８は、本発明の第２の実施形態に係る多重化装置の動作を示すフローチャートである。第２の実施形態に係る多重化装置１１０１の動作は、図２のステップＳ６０２に代えて、ステップＳ１２０２を含む点で、図２の第１の実施形態に係る多重化装置の動作と相違する。以下、ステップＳ１２０２及びこれに伴う他のステップの相違点を中心に述べる。
【００５３】
ステップＳ１２０１では、パケット多重化位置制御部５０４は、生成するパケットを決定する。依存関係情報及び順序入替情報を示すパケットを生成する場合には、パケット多重化位置制御部５０４からの起動信号５０７に従って依存関係情報生成・多重化部１１０２が起動される。
【００５４】
ステップＳ１２０２では、依存関係情報生成・多重化部１１０２は、依存関係情報を生成する。順序入替情報生成・多重化部１１０３は、パケットの入れ替えが行われる階層が、予め設定した階層又はその階層と依存関係にある階層のいずれかに含まれると判断した場合には、パケットの順序入替があったことを示す順序入替情報（フラグ）を生成する。依存関係情報及び順序入替情報は、ＳＶＣストリーム５０１に多重化される。
【００５５】
ステップＳ１２０６では、パケット多重化位置制御部５０４は、起動信号５０７を送って出力切替スイッチ５０９を制御する。依存関係情報及び順序入替情報を示すパケットを生成する場合、パケット多重化位置制御部５０４は、出力切替スイッチ５０９を依存関係情報生成・多重化部１１０２に接続する。依存関係情報及び順序入替情報を示すパケットは、多重化されて出力５１０から出力される。基本階層用パケット、拡張階層１用パケット又は拡張階層２用パケットが生成された場合、パケット多重化位置制御部５０４は、出力切替スイッチ５０９をパケット生成部５０３に接続する。基本階層用パケット、拡張階層１用パケット又は拡張階層２用パケットは、多重化されて出力５１０から出力される。
【００５６】
図９は、基本階層及びその一つ上の階層である拡張階層１までは、インターリーブ時に順序の入れ替えを行わないように多重化されたパケットの配列を示す図である。拡張階層１までのＳＶＣトランスポートストリームをデコードする階層符号化デコーダ９１５では、拡張階層２のパケットは廃棄すればよい。そのため、分離されるエレメンタリーストリームは、図１０に示すように、元のエレメンタリーストリームの順序となる。従って、基本階層及び拡張階層１のパケットを分離した直後に、階層符号化デコーダ９１５の入力バッファ９１６に書き込んでも、正しい順序のＳＶＣストリームとなる。
【００５７】
図１１は、本発明の第２の実施形態に係る多重化装置によって多重化されたデータを分離する分離装置を示すブロック図である。本実施形態の各部において、図５の第１の実施形態と同様の部分には、同一の符号を付している。
【００５８】
第２の実施形態に係る分離装置１５０１は、図５の依存関係抽出部９０３に代えて、依存関係・順序入替情報抽出部１５０２を備える点で、第１の実施形態に係る分離装置９０１と相違する。また、第２の実施形態に係る分離装置１５０１は、第３の順序入替用バッファ１５０３を備える点で、第１の実施形態に係る分離装置９０１と相違する。
【００５９】
依存関係・順序入替情報抽出部１５０２は、識別情報と各階層との依存関係情報及び各階層の順序入替情報を抽出する。第３の順序入替用バッファ１５０３は、基本階層のエレメンタリーストリームに用いられる。順序入替情報により、第３の順序入替用バッファ１５０３を用いないことが示されている場合、分離した各階層のエレメンタリーストリームを第３の順序入替用バッファ１５０３に書き込まない。その結果、各階層のエレメンタリーストリームは、直接、入力バッファ９１６に書き込まれる。
【００６０】
ここまでの動作の説明では、基本階層・拡張階層１・拡張階層２の全ての階層を分離・デコードする装置について述べた。しかしながら、一部の階層までしか扱わない分離・デコード装置を実現することも可能である。
【００６１】
拡張階層１までしか扱わない分離・デコード装置の場合、依存関係・順序入替情報抽出部１５０２では、拡張階層１用の順序入替情報のみを抽出する。拡張階層２用パケット分離部９０６及びそれに続く第２の順序入替用バッファ９１０とスイッチ１５０４は不要である。拡張階層１用の順序入替情報が入れ替え有りを示している場合、基本階層用及び拡張階層１用のバッファ有無選択スイッチ１５０４は、第１の順序入替用バッファ９０９及び第３の順序入替用バッファ１５０３からの出力を選択する。拡張階層１用の順序入替情報が入れ替え無しを示している場合、基本階層用及び拡張階層１用のバッファ有無選択スイッチ１５０４は、多重化されたデータのパケットが入力される順序に従って、基本階層用パケット分離部９０４及び拡張階層１用パケット分離部９０５から出力を選択する。その結果、特定のシステムにおいて、拡張階層１用の順序入替情報が入れ替え無しを示すことが保証できる場合には、第１の順序入替用バッファ９０９にメモリを割り当てることが不要になり、メモリ使用量を抑えることができる。
【００６２】
拡張階層２まで扱う分離・デコード装置の場合、依存関係・順序入替情報抽出部１５０２は、拡張階層１用及び拡張階層２用の順序入替情報を抽出する。拡張階層１用の順序入替情報が入れ替え有りを示す場合には、拡張階層２用の順序入替情報も入れ替え有りを示す。基本階層用、拡張階層１用及び拡張階層２用のバッファ有無選択スイッチ１５０４は、第３の順序入替用バッファ１５０３からの出力を選択する。拡張階層１用の順序入替情報が入れ替え無しを示している場合、拡張階層２用の順序入れ替えの有無により動作が異なる。拡張階層２用の順序入れ替えが有りの場合、基本階層用及び拡張階層１用のバッファ有無選択スイッチ１５０４は、基本階層用パケット分離部９０４及び拡張階層１用パケット分離部９０５からの出力を選択する。拡張階層２用のバッファ有無選択スイッチ１５０４は、第２の順序入替用バッファ９１０からの出力を選択する。一方、拡張階層２用の順序入れ替えが無しの場合、多重化されたデータのパケットが入力される順序に従って、基本階層用、拡張階層１用及び拡張階層２用のバッファ有無選択スイッチ１５０４は、第１の順序入替用バッファ９０９、第２の順序入替用バッファ９１０及び第３の順序入替用バッファ１５０３からの出力を選択する。その結果、特定のシステムにおいて、拡張階層１用及び拡張階層２用の順序入替情報が入れ替え無しを示すことが保証できる場合には、第３の順序入替用バッファ１５０３にメモリを割り当てることが不要になり、メモリ使用量を抑えることができる。
【００６３】
本実施形態について、図１２に示すパケットの順序を入れ替える順序入替用バッファＲＢを追加する場合と対比して説明する。図１２に示すように、パケットの順序を入れ替える順序入替用バッファＲＢを、基本階層、拡張階層１及び拡張階層２の全てに追加すると、柔軟性の高いシステムを構成することができる。しかしながら、特定の用途では、少なくとも一部の順序入替用バッファＲＢが不要となり、順序入替用バッファＲＢが無駄になる場合がある。例えば、ＤＶＤのように光ディスクを用いたシステムを考える。光ディスクからのデータの読み出し速度は、物理特性で制限されている。そのため、既に製品化されているシステムとの後方互換性を考慮すると、基本階層、拡張階層１及び拡張階層２の合計が一定値以下となる必要がある。例えば、３０Ｍｂｐｓを上限としてＡＶＣストリームだけを再生できる製品がある場合、ＳＶＣストリームを用いた場合でも、光ディスクからの読み出し速度は３０Ｍｂｐｓとなる。そのため、ＡＶＣストリームは、例えば２５Ｍｂｐｓとなり、残りの５ＭｂｐｓがＳＶＣによる拡張部分（拡張階層１、拡張階層２）に割り当てられることになる。この場合、図１５に示すような問題は生じない。
【００６４】
現状のＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格では、ＲＢの要否をデコーダ側に通知する情報が存在しない。ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格をＳＶＣストリームの多重化が可能になるように単純に拡張すると、特定のシステムにおいては、ＲＢが不要であるにもかかわらず、順序入替用バッファ（ＲＢ）が常に必要となる。その結果、メモリ使用量の増大を招く恐れがある。また、ＲＢが不要であるようなシステムにのみ適用可能なＬＳＩに対し、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格に対するコンフォーマンスを定義することが困難であると考えられる。
【００６５】
これに対し、本実施形態では、ＳＶＣストリームを多重化する際にＲＢの要否を示す情報を多重化しているため、多重化されたデータが図１５に示す課題を持つものか否かをデコーダ側で知ることができる。そのため、特定の条件化ではＲＢを確保するようにメモリを割り当てずに、ＳＶＣトランスポートストリームを再生することができる。特定のシステムを考えた場合、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格によるＲＢの要否をデコーダ側に通知する情報が存在しなくても、そのシステムの中ではデータ再生の互換性を確保することは可能である。しかしながら、当該システムの中で用いられているＳＶＣデコーダＬＳＩは、他の用途にも汎用に用いられる可能性が高い。ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格によるＲＢの要否情報のサポートは、ＬＳＩの規格合致性(コンフォーマンス)を確認する際に有用である。また、多重化側で自由度を少し制約する規格とすることができる。
【００６６】
図１３及び図１４は、依存関係情報生成・多重化部１１０２及び順序入替情報生成・多重化部１１０３で生成されるパケットに含まれる階層符号化に関する情報を示すデータ（ｄｅｓｃｒｉｐｔｏｒ）の構造を示す図である。これらのｄｅｓｃｒｉｐｔｏｒでは、階層符号化の種類（時間、空間、品質）や、各階層の依存関係を記述している。本発明では、下線部で示したｒｅｏｒｄｅｒｉｎｇ＿ｂｕｆｆｅｒ＿ｆｌａｇという1ビットのフィールドにより、そのｄｅｓｃｒｉｐｔｏｒが示している階層から基本階層の間の全ての階層において、順序入替用バッファが必要であるか否かを示す。このフラグの名称、及びｄｅｓｃｒｉｐｔｏｒ中の1ビットのフィールドの位置は、本発明の目的である順序入替用バッファの要否を現すことができればよく、図１３及び図１４に示したものに限定されない。
【００６７】
なお、上記の各実施形態及び変形例における構成及び方法は、プログラムによりコンピュータに実行させてもよい。
【００６８】
また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態に係る多重化装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る多重化装置の動作を示すフローチャートである。
【図３】階層されたエレメンタリーストリームと多重化されたデータの対応関係を説明する図である。
【図４】階層されたエレメンタリーストリーム中の基本階層ストリームと多重化されたデータの対応関係を説明する図である。
【図５】本発明の第１の実施形態に係る多重化装置によって多重化されたデータを分離する分離装置の構成を示すブロック図である。
【図６】本発明の第１の実施形態に係る分離装置の動作を示すフローチャートである。
【図７】本発明の第２の実施形態に係る多重化装置の構成を示すブロック図である。
【図８】本発明の第２の実施形態に係る多重化装置の動作を示すフローチャートである。
【図９】階層されたエレメンタリーストリームと多重化されたデータの対応関係を説明する図である。
【図１０】階層されたエレメンタリーストリーム中の基本階層ストリーム及び拡張階層１用ストリームと多重化されたデータの対応関係を説明する図である。
【図１１】本発明の第２の実施形態に係る多重化装置によって多重化されたデータを分離する分離装置の構成を示すブロック図である。
【図１２】順序入替用バッファを用いた分離装置の構成を示すブロック図である。
【図１３】順序入替情報を含むデータの一例を示す図である。
【図１４】順序入替情報を含むデータの別の例を示す図である。
【図１５】従来の多重化装置における階層化されたエレメンタリーストリームのビットレートを示す図である。
【図１６】従来の多重化装置における階層化されたエレメンタリーストリームのビットレートを示す図である。
【図１７】従来の分離装置により階層されたエレメンタリーストリームを分離するときの課題を説明する図である。
【符号の説明】
【００７０】
５０１  ＳＶＣストリーム
５０２  多重化装置
５０３  パケット生成部
【図１】
2009267537.tif 000003
【図２】
2009267537.tif 000004
【図３】
2009267537.tif 000005
【図４】
2009267537.tif 000006
【図５】
2009267537.tif 000007
【図６】
2009267537.tif 000008
【図７】
2009267537.tif 000009
【図８】
2009267537.tif 000010
【図９】
2009267537.tif 000011
【図１０】
2009267537.tif 000012
【図１１】
2009267537.tif 000013
【図１２】
2009267537.tif 000014
【図１３】
2009267537.tif 000015
【図１４】
2009267537.tif 000016
【図１５】
2009267537.tif 000017
【図１６】
2009267537.tif 000018
【図１７】
2009267537.tif 000019