(57)【要約】【課題】  復号先において従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する記憶手段に要求される記憶容量を従来に比べて小さくできるデータ処理装置を提供する。【解決手段】  復号順が最後のフレームデータｆ（５）から最初のフレームデータｆ（０）に向けて、遅延時間ｍｉｎ＿ｄｅｌａｙを算出する処理の対象として選択して遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。処理対象のフレームデータの各々について、特定したサイズと、復号先に当該フレームデータが入力されるビットレートとを基に、復号先で当該フレームデータの入力を開始してから復号に供するまでの遅延時間を示す上記遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。【選択図】  図２
2005173775.tif 000002
【特許請求の範囲】
【請求項１】
所定の順序で復号される複数の符号化データの各々のサイズを特定するサイズ特定手段と、
前記符号化データの各々について、復号先で当該符号化データの入力を開始してか
ら復号に供するまでの遅延時間を算出する算出手段と
を有し、
前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
データ処理装置。
【請求項２】
前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データの前記復号先への入力が完了したタイミングで、当該最後に復号される前記符号化データが前記復号に供されるように前記遅延時間を算出する
請求項１に記載のデータ処理装置。
【請求項３】
前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合
前記算出手段は、
前記選択された処理対象の前記符号化データに対して復号順が１つ後の前記符号化データについて既に算出され当該１つ後の符号化データが前記記憶手段から読み出されて復号に供される直前に前記記憶手段に記憶されている前記符号化データの総データ量と、前記ビットレートと、前記処理対象の符号化データの前記サイズとを基に、前記処理対象の前記符号化データについての前記遅延時間を算出する
請求項２に記載のデータ処理装置。
【請求項４】
前記算出手段は、単数の前記符号化データが復号に要する時間と前記ビットレートとを乗じて第１のデータ量を算出し、前記総データ量から前記第１のデータ量を減算し、その減算値と０との最大値を第２のデータ量とし、当該第２のデータ量と前記処理対象の符号化データの前記サイズとの総和を前記ビットレートで除算して当該処理対象の符号化データの前記遅延時間を算出する
請求項３に記載のデータ処理装置。
【請求項５】
前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段
をさらに有する請求項１に記載のデータ処理装置。
【請求項６】
前記算出手段は、前記サイズ特定手段が前記複数の符号化データの全てについて前記サイズを特定した後に、前記複数の符号化データの全てについて前記遅延時間を算出する
請求項１に記載のデータ処理装置。
【請求項７】
前記サイズ特定手段は、前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合に、前記記憶手段をアンダーフローおよびオーバーフローさせない範囲で前記遅延時間の総和を最小にする前記ビットレートを選択し、
前記算出手段は、前記サイズ特定手段が選択した前記ビットレートを基に前記遅延時間を算出する
請求項１に記載のデータ処理装置。
【請求項８】
前記復号先が入力した前記符号化データを復号するまで記憶する記憶手段を有する場合に、
前記算出手段は、前記記憶手段に記憶される前記符号化データの最大データ量を基に、復号で他の前記符号化データから参照される前記符号化データを前記記憶手段に記憶する最大データ量を決定する
請求項１に記載のデータ処理装置。
【請求項９】
符号化データの入力を復号先で開始してから復号に供されるまでの遅延時間をデータ処理装置が算出するデータ処理方法であって、
所定の順序で復号される複数の前記符号化データの各々のサイズを特定する第１の工程と、
前記符号化データの各々について、前記遅延時間を算出する第２の工程と
を有し、
前記第２の工程は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、
当該処理対象として選択した前記符号化データの前記遅延時間を、前記第１の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
データ処理方法。
【請求項１０】
被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する符号化手段と、
前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定するサイズ特定手段と、
前記符号化手段が生成した前記符号化データの各々について、復号先で当該符号化デー
タの入力を開始してから復号に供するまでの遅延時間を算出する算出手段と、
前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段と
を有し、
前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する
を有する符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号装置に備えられたバッファの管理方法に特徴を有するデータ処理装置およびその方法と符号化装置に関する。
【背景技術】
【０００２】
符号化されたビデオデータやオーディオデータを、ネットワークなどを介して送信、あるいはＤＶＤ(Digital Versatile Disk)などの記録媒体に記録して復号装置に提供するシステムがある。
このようなシステムの復号装置は、入力したデータを一時的にバッファに書き込んだ後に読み出して復号する。
ところで、復号装置に備えられた上記バッファには記憶容量には限りがあり、かつバッ
ファがアンダーフローすると復号出力の品質を劣化させるため、符号化装置は、上記バッファがオーバフローおよびアンダーフローしないように、例えば、ビデオデータやオーディオデータを構成するフレームデータを単位として、当該フレームデータが上記バッファに書き込むまれてから読み出されるまでの時間（遅延時間）を示す遅延時間情報をビデオデータやオーディオデータ内に付加している。
ところで、従来では、例えば、図１４に示されるように、符号化装置のバッファＥ＿ＢＵＦに符号化ストリームデータＥＢＩが書き込まれるタイミング、復号装置のバッファＤ＿ＢＵＦに符号化ストリームデータＤＢＩが書き込まれるタイミング、バッファＤ＿ＢＵＦから復号回路に符号化ストリームデータＤＢＯが読み出されるタイミングを規定している。
ここで、ネットワークを介して符号化ストリームデータＤＢＩを送信する場合には、復号装置のバッファＤ＿ＢＵＦに符号化ストリームデータＤＢＩが書き込まれるタイミングは、例えば、符号化装置のバッファＥ＿ＢＵＦから符号化ストリームデータＤＢＩが読み出されるタイミングと略一致する。
従来では、符号化ストリームデータＤＢＩを構成する各フレームデータの上記遅延時間
を決めるにあたって、当該フレームデータの後に復号されるフレームデータのサイズを考慮せずに、バッファＤ＿ＢＵＦをアンダーフローさせない十分な余裕を上記遅延時間に持たせている。
【特許文献１】米国特許第５５１１０５４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そのため、従来のシステムの復号装置は、上記遅延時間が長く、すなわち符号化装置からフレームデータを受信してから当該フレームデータを実際に復号に供するまでに長時間を要し、応答性が悪いという問題がある。
そのため、大きな記憶容量がバッファＤ＿ＢＵＦに要求されるという問題がある。
【０００４】
本発明は、上述した従来技術の問題点に鑑みてなされ、復号先において従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する記憶手段に要求される記憶容量を従来に比べて小さくできるデータ処理装置およびその方法と、符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題を解決し、上述した目的を達成するために、第１の発明のデータ処理装置は、所定の順序で復号される複数の符号化データの各々のサイズを特定するサイズ特定手段と、前記符号化データの各々について、前記復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する算出手段とを有し、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【０００６】
第１の発明のデータ処理装置の作用は以下のようになる。
先ず、サイズ特定手段が、所定の順序で復号される複数の符号化データの各々のサイズを特定する。
次に、算出手段が、前記符号化データの各々について、前記復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する。
このとき、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択する。
そして、前記算出手段は、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【０００７】
第２の発明のデータ処理方法は、符号化データの入力を復号先で開始してから復号に供されるまでの遅延時間をデータ処理装置が算出するデータ処理方法であって、所定の順序で復号される複数の前記符号化データの各々のサイズを特定する第１の工程と、前記符号化データの各々について、前記遅延時間を算出する第２の工程と前記第２の工程は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記第１の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【０００８】
第２の発明のデータ処理方法の作用は以下のようになる。
先ず、第１の工程で、所定の順序で復号される複数の前記符号化データの各々のサイズを特定する。
次に、第２の工程で、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択する。
次に、第２の工程で、当該処理対象として選択した前記符号化データの前記遅延時間を、前記第１の工程で特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【０００９】
第３の発明の符号化装置は、被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する符号化手段と、前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定するサイズ特定手段と、前記符号化手段が生成した前記符号化
データの各々について、復号先で当該符号化データの入力を開始してから復号に供する
までの遅延時間を算出する算出手段と、前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する付加手段とを有し、前記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【００１０】
第３の発明の符号化装置の作用は以下のようになる。
先ず、符号化手段が、被符号化データを符号化して所定の順序で復号される複数の符号化データを生成する。
次に、サイズ特定手段が、前記符号化手段が生成した前記複数の符号化データの各々のサイズを特定する。
次に、算出手段が、前記符号化手段が生成した前記符号化データの各々について、復号先で当該符号化データの入力を開始してから復号に供するまでの遅延時間を算出する。
次に、付加手段が、前記算出手段が算出した前記遅延時間を示す遅延時間情報を前記符号化データに付加する。
上記遅延時間の算出において、上記算出手段は、前記複数の符号化データのうち最後に復号される前記符号化データから最初に復号される前記符号化データに向けて順に処理対象として選択し、当該処理対象として選択した前記符号化データの前記遅延時間を、前記サイズ特定手段が特定した当該符号化データのサイズと復号先に当該符号化データが入力されるビットレートとを基に算出する。
【発明の効果】
【００１１】
以上説明したように、本発明によれば、復号先で従来に比べて早いタイミングで復号を開始でき、かつ、当該復号先が入力した前記符号化データを復号するまで記憶する量を小さくできるデータ処理装置およびその方法と、符号化装置を提供することを目的とする。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態に係わる通信システムについて説明する。
第１実施形態
図１は、本発明の第１実施形態に係わる通信システム１の全体構成図である。
図１に示すように、通信システム１は、例えば、符号化装置２および復号装置３を有する。
符号化装置２が第３の発明の符号化装置に対応し、復号装置３が本発明の復号先に対応している。
符号化装置２は、符号化ストリームデータＤＢＩを生成し、これをネットワークを介して復号装置３に送信する。
なお、符号化装置２は、符号化ストリームデータＤＢＩをＤＶＤなどの記録媒体に記録し、復号装置３で当該記録媒体から符号化ストリームデータＤＢＩを読み出してもよい。
【００１３】
〔符号化装置２〕
図１に示すように、符号化装置２は、例えば、符号化回路１０、制御回路１１およびバッファＥ＿ＢＵＦを有する。
ここで、制御回路１１が第１および第２の発明のデータ処理装置に対応している。
符号化回路１０は、例えば、複数のフレームデータで構成されるビデオの符号化ストリームデータＥＮを生成し、これを制御回路１１に出力する。
制御回路１１は、符号化回路１０から入力した符号化ストリームデータＥＮ内のフレームデータ（本発明の符号化データ）より前に読み出される位置（例えば、先頭）に、遅延時間情報ＤＴＩ（本発明の遅延時間情報）を付加して符号化ストリームデータＥＢＩを生成し、これをバッファＥ＿ＢＵＦに書き込む。
遅延時間情報ＤＴＩは、復号装置３においてバッファＤ＿ＢＵＦ（本発明の記憶手段）への符号化ストリームデータＤＢＩの書き込みを開始してから当該符号化ストリームデータＤＢＩを符号化ストリームデータＤＢＯとしてバッファＤ＿ＢＵＦから読み出すまでの時間をフレーム毎に示している。
遅延時間情報ＤＴＩは、例えば、所定数の複数のフレームデータを単位として、符号化ストリームデータＤＢＩ内の当該複数のフレームデータの直前に付加される。
また、制御回路１１は、バッファＥ＿ＢＵＦに記憶された符号化ストリームデータＥＢＩを、符号化ストリームデータＤＢＩとして読み出して復号装置３に送信する。
【００１４】
〔復号装置３〕
図１に示すように、復号装置３は、例えば、バッファＤ＿ＢＵＦおよび復号回路１４を有する。
復号装置３は、符号化装置２から受信した符号化ストリームデータＤＢＩをバッファＤ＿ＢＵＦに書き込む。
本実施形態では、符号化ストリームデータＤＢＩがネットワークを介して伝送される場合を例示し、説明の簡単化のため、符号化ストリームデータＤＢＩが、符号化装置２のバッファＥ＿ＢＵＦから読み出されるタイミングと、復号装置３のバッファＤ＿ＢＵＦに書き込まれるタイミングとは一致するものとする。
【００１５】
復号装置３は、符号化ストリームデータＤＢＯに含まれる遅延時間情報ＤＴＩを基に、バッファＥ＿ＢＵＦからフレームデータを符号化ストリームデータＤＢＯとして読み出して復号回路１４に出力する。
復号回路１４は、入力した符号化ストリームデータＤＢＯをフレーム単位で復号する。
【００１６】
〔バッファＥ＿ＢＵＦ，Ｄ＿ＢＵＦの入出力タイミング〕
図２は、図１に示す符号化ストリームデータＥＢＩ，ＤＢＩ，ＤＢＯのタイミングを説明するための図である。
以下、図２に示すタイミングの概要を説明する。
図２に示すタイミングは、図１に示す符号化装置２の制御回路１１によって規定される。
すなわち、制御回路１１は、符号化ストリームデータＥＮを構成し所定の順序で復号される複数のフレームデータの各々のサイズを特定する。
そして、制御回路１１は、復号順が最後のフレームデータｆ（５）から最初のフレームデータｆ（０）に向けて、遅延時間ｍｉｎ＿ｄｅｌａｙを算出する処理の対象として選択して遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。
制御回路１１は、処理対象のフレームデータの各々について、上記特定したサイズと、復号装置３にフレームデータが入力されるビットレートとを基に、復号装置３で当該フレームデータの入力（バッファＤ＿ＢＵＦへの書き込み）を開始してから復号に供する（バッファＤ＿ＢＵＦから読み出す）までの遅延時間を示す上記遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。
このとき、制御回路１１は、符号化ストリームデータＥＮ内のフレームデータのうち最後に復号されるフレームデータのバッファＤ＿ＢＵＦへの書き込みが完了したタイミングで、当該最後に復号されるフレームデータがバッファＤ＿ＢＵＦから読み出されて復号回路１４に出力されるように上記遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。
また、制御回路１１は、最後に復号されるフレームデータから最初に復号されるフレームデータに向けて順に処理対象として選択し、当該処理対象として選択したフレームデータの遅延時間ｍｉｎ＿ｄｅｌａｙを算出する。
【００１７】
〔符号化装置２〕
図３は、図１に示す制御回路１１の構成図である。
図３に示すように、制御回路１１は、例えば、バッファ回路２０、Ｆ＿ＰＡＳＳ回路２１、ＬＩＦＯ回路２２、Ｓ＿ＰＡＳＳ回路２３およびアクセス制御回路２４を有する。
ここで、Ｆ＿ＰＡＳＳ回路２１が第１および第３の発明のサイズ特定手段に対応し、Ｓ＿ＰＡＳＳ回路２３が第１および第３の発明の算出手段に対応している。
【００１８】
バッファ回路２０は、符号化回路１０から入力した符号化ストリームデータＥＮを一時的に記憶して付加回路２８に出力する。
Ｆ＿ＰＡＳＳ回路２１は、符号化回路１０から入力した符号化ストリームデータＥＮを先頭から末尾に向かってトレースして各フレームデータｆのサイズｆ＿ｓｉｚｅを特定し、これをＬＩＦＯ回路２２に出力する。
また、Ｆ＿ＰＡＳＳ回路２１は、予め規定された図４（Ａ）に示す複数のビットレート、例えばビットレートＤＢＩａ，ＤＢＩｂ，ＤＢＩｃ（ｂｉｔｒａｔｅ＿ａ，ｂ，ｃ）について、上記特定した各フレームデータｆのサイズｆ＿ｓｉｚｅ、並びにバッファＤ＿ＢＵＦのサイズを基に、バッファＤ＿ＢＵＦをオーバフローおよびアンダーフローさせない範囲で、かつ複数のフレームデータｆ（０）〜ｆ（５）の遅延時間ｍｉｎ＿ｄｅｌａｙの総和を最小にすると予測されるビットレート（本発明のビットレート）を選択する。
Ｆ＿ＰＡＳＳ回路２１は、上記選択したビットレートをＳ＿ＰＡＳＳ回路２３のｆｕｌｌｎｅｓｓ更新回路２６および遅延時間算出回路２７に出力する。
図４（Ａ）の例では、ビットレートｂｉｔｒａｔｅ＿ａ，ｂ，ｃに応じた符号化ストリームデータＤＢＩａ，ＤＢＩｂ，ＤＢＩｃの各々について、これらを選択した場合の符号化ストリームデータＥＢＩ，ＤＢＩ，ＤＢＯの関係は図４（Ｂ）のようになり、Ｆ＿ＰＡＳＳ回路２１は、この関係を基に図５に示すようにビットレートｂｉｔｒａｔｅ＿ｂを選択する。
【００１９】
ＬＩＦＯ回路２２は、Ｆ＿ＰＡＳＳ回路２１から入力したサイズｆ＿ｓｉｚｅを、ＦＩＦＯ(Fist In First Out) でＳ＿ＰＡＳＳ回路２３の加算回路２５に出力する。
【００２０】
Ｓ＿ＰＡＳＳ回路２３は、図３に示すように、例えば、加算回路２５、ｆｕｌｌｎｅｓｓ更新回路２６、遅延時間算出回路２７および付加回路２８を有する。
ここで、加算回路２５、ｆｕｌｌｎｅｓｓ更新回路２６および遅延時間算出回路２７が本発明の算出手段に対応し、付加回路２８が本発明の付加手段に対応している。
加算回路２５は、各フレームについて、残量データｆｕｌｌｎｅｓｓ＊（本発明の総データ量）に、ＬＩＦＯ回路２２から入力した処理対象のフレームのサイズｆ＿ｓｉｚｅを加算して新たな残量データｆｕｌｌｎｅｓｓを算出する。
加算回路２５は、上記算出した残量データｆｕｌｌｎｅｓｓをｆｕｌｌｎｅｓｓ更新回路２６および遅延時間算出回路２７に出力する。
ｆｕｌｌｎｅｓｓ更新回路２６は、各フレームについて、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（本発明の総データ量）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴ（本発明の符号化データが復号に要する時間）の乗算結果（本発明の第１のデータ量）を減算し、その減算値と「０」との大きい方を新たな残量データｆｕｌｌｎｅｓｓ＊（本発明の第２のデータ量）とする。
【００２１】
遅延時間算出回路２７は、各フレームについて、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓをビットレートで除算して遅延時間ｍｉｎ＿ｄｅｌａｙを算出し、これを付加回路２８に出力する。
【００２２】
付加回路２８は、遅延時間算出回路２７から入力した全てのフレームの遅延時間ｍｉｎ＿ｄｅｌａｙを含む遅延時間情報ＤＴＩを、バッファ回路２０から入力した符号化ストリームデータＥＮの先頭に付加する。
アクセス制御回路２４は、付加回路２８で遅延時間情報ＤＴＩが付加された符号化ストリームデータＥＮを、符号化ストリームデータＥＢＩとしてバッファＥ＿ＢＵＦに書き込む。
また、アクセス制御回路２４は、図２に示すタイミングでバッファＥ＿ＢＵＦから符号化ストリームデータＥＢＩを符号化ストリームデータＤＢＩとして読み出して復号装置３に送信する。
【００２３】
以下、図３に示す制御回路１１の動作例を説明する。
図６は、図３に示す制御回路１１の動作例を説明するためのフローチャートである。
ステップＳＴ１：
図３に示すＦ＿ＰＡＳＳ回路２１は、符号化回路１０から入力した符号化ストリームデータＥＮを先頭（最初に復号されるフレームデータ）から末尾（最後に復号されるフレームデータ）に向かってトレースして各フレームデータｆのサイズｆ＿ｓｉｚｅを特定し、これをＬＩＦＯ回路２２に出力する。
ステップＳＴ２：
また、Ｆ＿ＰＡＳＳ回路２１は、図４（Ａ），（Ｂ）および図５を用いて説明したように、上記特定した各フレームデータｆのサイズｆ＿ｓｉｚｅ、並びにバッファＤ＿ＢＵＦのサイズを基に、バッファＤ＿ＢＵＦをオーバフローおよびアンダーフローさせない範囲で、かつ複数のフレームデータｆ（０）〜ｆ（５）の遅延時間ｍｉｎ＿ｄｅｌａｙの総和を最小にすると予測されるビットレートｂｉｔｒａｔｅ（ｂｉｔｒａｔｅ＿ｂ）を選択する。
Ｆ＿ＰＡＳＳ回路２１は、上記選択したビットレートをＳ＿ＰＡＳＳ回路２３のｆｕｌｌｎｅｓｓ更新回路２６および遅延時間算出回路２７に出力する。
【００２４】
ステップＳＴ３：
Ｓ＿ＰＡＳＳ回路２３のｆｕｌｌｎｅｓｓ更新回路２６は、残量データｆｕｌｌｎｅｓｓ＊に初期値「０」を設定する。
そして、Ｓ＿ＰＡＳＳ回路２３は、最後に復号されるフレームデータから最初に復号されるフレームデータに向けて順に処理対象のフレームデータを選択し、当該選択した処理対象のフレームデータについてＬＩＦＯ回路２２から入力したサイズｆ＿ｓｉｚｅを基に、処理対象のフレームデータの遅延時間ｍｉｎ＿ｄｅｌａｙを以下のステップで生成する。
ステップＳＴ４：
加算回路２５は、処理対象のフレームデータｆの残量データｆｕｌｌｎｅｓｓ＊に、Ｌ
ＩＦＯ回路２２から入力した当該処理対象のフレームのサイズｆ＿ｓｉｚｅを加算して新たな残量データｆｕｌｌｎｅｓｓを算出する。
加算回路２５は、当該算出した残量データｆｕｌｌｎｅｓｓをｆｕｌｌｎｅｓｓ更新回
路２６および遅延時間算出回路２７に出力する。
【００２５】
ステップＳＴ５：
遅延時間算出回路２７は、処理対象のフレームデータｆについて、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙを算出し、これを付加回路２８に出力する。
ステップＳＴ６：
付加回路２８は、ステップＳＴ５で遅延時間算出回路２７から入力した処理対象のフレームデータの遅延時間ｍｉｎ＿ｄｅｌａｙを、バッファ回路２０に記憶される符号化ストリームデータＥＮの先頭に付加される遅延時間情報ＤＴＩに追加する。
ステップＳＴ７：
ｆｕｌｌｎｅｓｓ更新回路２６は、処理対象のフレームデータｆについて、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓから、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果を減算し、その減算値と「０」との大きい方を新たな残量データｆｕｌｌｎｅｓｓ＊とする。
【００２６】
ステップＳＴ８：
ｆｕｌｌｎｅｓｓ更新回路２６は、ステップＳＴ７で算出した残量データｆｕｌｌｎｅ
ｓｓ＊が、最大残量データｍａｘｆｕｌｌより大きいか否かを判断し、大きいと判断するとステップＳＴ９に進み、そうでない場合にはステップＳＴ１０に進む
【００２７】
ステップＳＴ９：
ｆｕｌｌｎｅｓｓ更新回路２６は、ステップＳＴ７で算出した残量データｆｕｌｌｎｅｓｓ＊を、最大残量データｍａｘｆｕｌｌとする。
最大残量データｍａｘｆｕｌｌは、例えば、符号化ストリームデータＤＢＩに付加され、復号装置３においてバッファＥ＿ＢＵＦの一部を復号時に他のフレームデータから参照される参照フレームデータを記憶するために利用、すなわちフレームバッファとして利用される。
なお、符号化装置２は、例えば、バッファＤ＿ＢＵＦの全記憶容量から最大残量データｍａｘｆｕｌｌを減算した残量をフレームバッファの単位サイズで除算することで、バッファＤ＿ＢＵＦの未使用の記憶領域を何個分のフレームバッファとして利用できるかを示す情報を生成し、これを符号化ストリームデータＤＢＩに付加してもよい。
【００２８】
ステップＳＴ１０：
Ｓ＿ＰＡＳＳ回路２３は、符号化ストリームデータＥＮの全てのフレームデータｆについて遅延時間ｍｉｎ＿ｄｅｌａｙを算出したか否かを判断し、算出したと判断すると処理を終了し、そうでない場合には次のフレームデータｆについてステップＳＴ４の処理に進む。
Ｓ＿ＰＡＳＳ回路２３が図６に示す処理を終了すると、アクセス制御回路２４は、付加回路２８で遅延時間情報ＤＴＩおよび最大残量データｍａｘｆｕｌｌが付加された符号化ストリームデータＥＮを、符号化ストリームデータＥＢＩとしてバッファＥ＿ＢＵＦに書き込む。
また、アクセス制御回路２４は、図２に示すタイミングでバッファＥ＿ＢＵＦから符号化ストリームデータＥＢＩを符号化ストリームデータＤＢＩとして読み出して復号装置３に送信する。
【００２９】
以下、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（５），ｆ（４），ｆ（３），ｆ（２），ｆ（１），ｆ（０）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明する。
先ず、処理対象のフレームデータｆ（５）についてステップＳＴ４の処理を行う前に、ｆｕｌｌｎｅｓｓ更新回路２６は、ステップＳＴ３において、残量データｆｕｌｌｎｅｓｓ＊に初期値「０」を設定する。
そして、加算回路２５が、図７に示すように、残量データｆｕｌｌｎｅｓｓ＊（＝０）にフレームデータｆ（５）のサイズｆ＿ｓｉｚｅ（５）を加算して新たな残量データｆｕｌｌｎｅｓｓ（５）を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（５）を算出する（ＳＴ５）。
続いて、ｆｕｌｌｎｅｓｓ更新回路２６は、図８に示すように、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（５）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果（＝ＦＴ＊ｂｉｔｒａｔｅ）を減算し、その減算値（ｆｕｌｌｎｅｓｓ（５）−ＦＴ＊ｂｉｔｒａｔｅ）と「０」との大きい方（この場合は減算値）を新たな残量データｆｕｌｌｎｅｓｓ＊（５）とする（ＳＴ７）。
【００３０】
次に、加算回路２５が、図８に示すように、残量データｆｕｌｌｎｅｓｓ＊（５）にフレームデータｆ（４）のサイズｆ＿ｓｉｚｅ（４）を加算して新たな残量データｆｕｌｌｎｅｓｓ（４）を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（４）を算出する（ＳＴ５）。
続いて、ｆｕｌｌｎｅｓｓ更新回路２６は、図９に示すように、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（４）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果（＝ＦＴ＊ｂｉｔｒａｔｅ）を減算し、その減算値（ｆｕｌｌｎｅｓｓ（４）−ＦＴ＊ｂｉｔｒａｔｅ）と「０」との大きい方（この場合は減算値）を新たな残量データｆｕｌｌｎｅｓｓ＊（４）とする（ＳＴ７）。
【００３１】
次に、加算回路２５が、図９に示すように、残量データｆｕｌｌｎｅｓｓ＊（４）にフレームデータｆ（３）のサイズｆ＿ｓｉｚｅ（３）を加算して新たな残量データｆｕｌｌｎｅｓｓ（３）を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（３）を算出する（ＳＴ５）。
続いて、ｆｕｌｌｎｅｓｓ更新回路２６は、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（３）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果（＝ＦＴ＊ｂｉｔｒａｔｅ）を減算し、その減算値（ｆｕｌｌｎｅｓｓ（３）−ＦＴ＊ｂｉｔｒａｔｅ）と「０」との大きい方（この場合は０）を新たな残量データｆｕｌｌｎｅｓｓ＊（３）とする（ＳＴ７）。
【００３２】
次に、加算回路２５が、図１０に示すように、残量データｆｕｌｌｎｅｓｓ＊（３）にフレームデータｆ（２）のサイズｆ＿ｓｉｚｅ（２）を加算して新たな残量データｆｕｌｌｎｅｓｓ（２）（＝ｆ＿ｓｉｚｅ（２））を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（２）を算出する（ＳＴ５）。
続いて、ｆｕｌｌｎｅｓｓ更新回路２６は、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（２）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果（＝ＦＴ＊ｂｉｔｒａｔｅ）を減算し、その減算値（ｆｕｌｌｎｅｓｓ（２）−ＦＴ＊ｂｉｔｒａｔｅ）と「０」との大きい方（この場合は０）を新たな残量データｆｕｌｌｎｅｓｓ＊（２）とする（ＳＴ７）。
【００３３】
次に、加算回路２５が、図１１に示すように、残量データｆｕｌｌｎｅｓｓ＊（２）にフレームデータｆ（１）のサイズｆ＿ｓｉｚｅ（１）を加算して新たな残量データｆｕｌｌｎｅｓｓ（１）（＝ｆ＿ｓｉｚｅ（１））を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（１）を算出する（ＳＴ５）。
続いて、ｆｕｌｌｎｅｓｓ更新回路２６は、加算回路２５から入力した残量データｆｕｌｌｎｅｓｓ（１）から、ビットレートｂｉｔｒａｔｅとフレーム処理時間ＦＴの乗算結果（＝ＦＴ＊ｂｉｔｒａｔｅ）を減算し、その減算値（ｆｕｌｌｎｅｓｓ（１）−ＦＴ＊ｂｉｔｒａｔｅ）と「０」との大きい方（この場合は０）を新たな残量データｆｕｌｌｎｅｓｓ＊（１）とする（ＳＴ７）。
【００３４】
次に、加算回路２５が、図１２に示すように、残量データｆｕｌｌｎｅｓｓ＊（１）にフレームデータｆ（０）のサイズｆ＿ｓｉｚｅ（０）を加算して新たな残量データｆｕｌｌｎｅｓｓ（０）（＝ｆ＿ｓｉｚｅ（０））を算出し（ＳＴ４）、これをビットレートｂｉｔｒａｔｅで除算して遅延時間ｍｉｎ＿ｄｅｌａｙ（０）を算出する（ＳＴ５）。
【００３５】
以上説明したように、符号化装置２では、図６を用いて説明した手順で各フレームデータの遅延時間ｍｉｎ＿ｄｅｌａｙを算出し、これを含む遅延時間情報ＤＴＩを符号化ストリームデータＤＢＩに付加する。
復号装置３は、符号化ストリームデータＤＢＩに付加された遅延時間情報ＤＴＩを基に、図２に示すように、符号化ストリームデータＤＢＩとＤＢＯとの関係を規定できる。
ここで、通信システム１によれば、図２と従来の図１４とを比較して分かるように、フレームデータｆ（１）〜ｆ（５）の遅延時間ｍｉｎ＿ｄｅｌａｙは図１４に示す従来の場合に比べて図２に示す本実施形態の場合の方が短くなり、復号装置３における復号の応答性が従来に比べて良くなる。
また、復号装置３において、バッファＤ＿ＢＵＦから各フレームデータを読み出す直前のバッファＤ＿ＢＵＦに記憶されるデータ量は、図１４に示す従来の場合に比べて図２に示す本実施形態の場合の方が少なく、バッファＤ＿ＢＵＦに要求される記憶容量を小さくできる。
【００３６】
第２実施形態
本実施形態では、上述した符号化装置２で決定した遅延時間ｍｉｎ＿ｄｅｌａｙを示す遅延時間情報ＤＴＩの利用形態を図１３を参照して説明する。
例えば、第１実施形態で説明した符号化装置２において、遅延時間情報ＤＴＩを含む符号化ストリームデータＤＢＩを生成し、図１３に示すように、これをＴＳＭｕ装置１０３に送信する。
ＴＳＭｘｕ装置１０３は、トランスポートストリームにより、デジタル放送などの媒体１０４を介して符号化ストリームデータをＴＳｄｅｍｕｘ１０５に送信する。
この場合に、ＴＳＭｘｕ装置１０３は、符号化ストリームデータＤＢＩに含まれる遅延時間情報ＤＴＩが示す遅延時間ｍｉｎ＿ｄｅｌａｙを利用し、遅延時間ｍｉｎ＿ｄｅｌａｙを新たに生成することなく、これを媒体１０４を介してＴＳｄｅｍｕｘ１０５に送信する。
ＴＳｄｅｍｕｘ１０５は、媒体１０４を介して受信した符号化ストリームデータを復号した後に、遅延時間情報ＤＴＩと共にＰＳＭｕｘ１１３に出力する。
【００３７】
ＰＳＭｕｘ１１３は、ＴＳｄｅｍｕｘ１０５から入力した符号化ストリームデータ内に含まれる遅延時間情報ＤＴＩを利用し、遅延時間ｍｉｎ＿ｄｅｌａｙを新たに生成することなく、プログラムストリームにより、ＤＶＤなどの媒体１１４を介して符号化ストリームデータをＰＳｄｅｍｕｘ１１５に提供する。
そして、ＰＳｄｅｍｕｘ１１５は、媒体１１４を介して入力した符号化ストリームデータを解読して、ＲＴＰｍｕｘ１２３に出力する。
ここで、ＲＴＰｍｕｘ１２３は、音声や映像をストリーミング再生するためのＲＴＰ(Real Time Protocol)を採用し、遅延時間情報ＤＴＩを伝送することができない。
そのため、当該ＲＴＰによる伝送によって、遅延時間情報ＤＴＩは失われ、後段のＭｕｘ装置では利用できない。
【００３８】
なお、ＴＳＭｘｕ装置１０３に符号化ストリームデータＥＮを直接入力し、ＴＳＭｘｕ装置１０３において、上述した制御回路１１と同じ構成により、遅延時間情報ＤＴＩを生成してもよい。
【００３９】
また、例えば、符号化装置２が送信する符号化ストリームデータＥＮ内に、遅延時間情報ＤＴＩが含まれているか否かを示すフラグデータを付加し、ＴＳＭｘｕ装置１０３は当該フラグデータを基に、符号化ストリームデータＥＮ内の遅延時間情報ＤＴＩを利用するか否かを決定してもよい。
【００４０】
本発明は上述した実施形態には限定されない。
上述した実施形態では、図１に示すように、ネットワークなどを介して符号化装置２から復号装置３に符号化ストリームデータＤＢＩを送信した場合を例示したが、符号化ストリームデータＤＢＩをＤＶＤなどの記録媒体ＳＴＲに記録して復号装置３に提供してもよい。
この場合においても、符号化装置２は、図９に示す手順で遅延時間ｍｉｎ＿ｄｅｌａｙを決定し、これを示す遅延時間情報ＤＴＩを符号化ストリームデータＤＢＩに格納して記録媒体ＳＴＲに書き込む。
復号装置３は、図２に示す符号化ストリームデータＤＢＩのタイミングで、記録媒体から符号化ストリームデータＤＢＩを読み出してバッファＤ＿ＢＵＦに書き込む。
そして、復号装置３は、符号化ストリームデータＤＢＩに含まれる遅延時間情報ＤＴＩを基に、図２に示す符号化ストリームデータＤＢＯのタイミグで、バッファＤ＿ＢＵＦからフレームデータを読み出す。
この場合にも、第１実施形態と同様の効果が得られる。
【００４１】
また、上述した実施形態では、ビットレートｂｉｔｒａｔｅが固定の場合を例示したが、可変であってもよい。
【産業上の利用可能性】
【００４２】
本発明は、復号装置に備えられたバッファの管理方法に特徴を有するデータ処理装置およびその方法と符号化装置に関する。
【図面の簡単な説明】
【００４３】
【図１】図１は、本発明の第１実施形態の通信システムの全体構成図である。
【図２】図２は、図１に示す符号化ストリームデータＥＢＩ，ＤＢＩ，ＥＢＯのタイミングを説明するための図である。
【図３】図３は、図１に示す制御回路の構成図である。
【図４】図４は、図３に示すＦ＿ＰＡＳＳ回路の処理を説明するための図である。
【図５】図５は、図３に示すＦ＿ＰＡＳＳ回路の処理を説明するための図である。
【図６】図６は、図３に示す制御回路の動作例を説明するためのフローチャートである。
【図７】図７は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（５）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図８】図８は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（４）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図９】図９は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（３）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図１０】図１０は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（２）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図１１】図１１は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（１）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図１２】図１２は、図２に示す符号化ストリームデータＤＢＩの各フレームデータｆ（０）の遅延時間ｍｉｎ＿ｄｅｌａｙを順に図６に示すステップＳＴ３〜ＳＴ１０に従って算出する例を説明するための図である。
【図１３】図１３は、図１に示す符号化装置の応用例を説明するための図である。
【図１４】図１４は、従来の符号化装置が規定する符号化ストリームデータＥＢＩ，ＤＢＩ，ＥＢＯのタイミングを説明するための図である。
【符号の説明】
【００４４】
１…通信システム、２…符号化装置、３…復号装置、１０…符号化回路、１１…制御回路、１４…復号回路、Ｅ＿ＢＵＦ，Ｄ＿ＢＵＦ…バッファ、２０…バッファ回路、２１…Ｆ＿ＰＡＳＳ回路、２２…ＬＩＦＯ回路、２３…Ｓ＿ＰＡＳＳ回路、２４…アクセス制御回路、２５…加算回路、２６…ｆｕｌｌｎｅｓｓ更新回路、２７…遅延時間算出回路、２８…付加回路
【図１】
2005173775.tif 000003
【図２】
2005173775.tif 000004
【図３】
2005173775.tif 000005
【図４】
2005173775.tif 000006
【図５】
2005173775.tif 000007
【図６】
2005173775.tif 000008
【図７】
2005173775.tif 000009
【図８】
2005173775.tif 000010
【図９】
2005173775.tif 000011
【図１０】
2005173775.tif 000012
【図１１】
2005173775.tif 000013
【図１２】
2005173775.tif 000014
【図１３】
2005173775.tif 000015
【図１４】
2005173775.tif 000016