(57)【特許請求の範囲】
【請求項１】
見かけ上同時に符号化と復号化を行う符号化復号化装置であって、
入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化手段と、
前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、
前記第２種ストリームデータを第１の記録領域に記録する第１の記録手段と、
前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成する第１種可変長復号化手段と
を備えることを特徴とする符号化復号化装置。
【請求項２】
前記符号化復号化装置は、さらに、
前記第１種可変長符号化手段において生成された第１種ストリームデータが格納される第１の記憶手段を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段に格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項１に記載の符号化復号化装置。
【請求項３】
前記符号化復号化装置は、さらに、
前記第１の記憶手段に格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段と、
前記第２の記録領域に記録されている第１種ストリームデータが格納される第２の記憶手段と
を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項２に記載の符号化復号化装置。
【請求項４】
前記符号化復号化装置は、さらに、
前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、
前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第３の記憶手段と
を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段、前記第２の記憶手段、および前記第３の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項３に記載の符号化復号化装置。
【請求項５】
前記符号化復号化装置は、さらに、
前記第１種可変長復号化手段に入力される第１種ストリームデータの供給元を選択する選択手段と、
前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段と
を備えることを特徴とする請求項４に記載の符号化復号化装置。
【請求項６】
前記選択制御手段は
記録中に再生が開始されると前記第３の記憶手段を前記供給元として選択させ、記録時刻と再生時刻とが近づくに従って、前記第２の記憶手段を前記供給元として選択させ、さらに、近づくに従って、前記第１の記憶手段を前記供給元として選択させる
ことを特徴とする請求項５に記載の符号化復号化装置。
【請求項７】
前記符号化復号化装置は、さらに、
前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、
前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第２の記憶手段と
を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項２に記載の符号化復号化装置。
【請求項８】
前記符号化復号化装置は、さらに、
前記第１種ストリームデータを第２の記録領域に記録する第２の記録手段と、
前記第２の記録領域に記録されている第１種ストリームデータが格納される第１の記憶手段と
を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段に格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項１に記載の符号化復号化装置。
【請求項９】
前記符号化復号化装置は、さらに、
前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、
前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第２の記憶手段と
を備え、
前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施す
ことを特徴とする請求項８に記載の符号化復号化装置。
【請求項１０】
前記第２種可変長符号化手段は、前記第１種ストリームデータを構成する符号化シンボルよりも小さい単位で逐次的な処理を前記第２種可変長符号化処理として施す
ことを特徴とする請求項１に記載の符号化復号化装置。
【請求項１１】
前記符号化復号化装置は、さらに、
入力データに対して、前記逐次的な処理が不要である第３種可変長符号化処理を施して第３種ストリームデータを生成する第３種可変長符号化手段と、
前記第３種可変長符号化手段において生成された第３種ストリームデータを第３の記録領域に記録する第３の記録手段と、
前記第３の記録領域に記録されている第３種ストリームデータに対して、前記第３種可変長符号化処理が施される前のデータ形式に復号化する第３種可変長復号化処理を施して出力データを生成する第３種可変長復号化手段と
を備えることを特徴とする請求項１０に記載の符号化復号化装置。
【請求項１２】
前記符号化復号化装置は、さらに、
前記出力データの供給元を前記第１種可変長復号化手段および前記第３種可変長復号化手段のいずれかに選択する選択手段と、
前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段と
を備えることを特徴とする請求項１１に記載の符号化復号化装置。
【請求項１３】
前記選択制御手段は、記録中に再生が開始されると、前記第１種可変長復号化手段を供給元として前記選択部に選択させ、
記録時刻と再生時刻とが近づくに従って、前記第３種可変長復号化手段を供給元として前記選択部に選択させる
ことを特徴とする請求項１２に記載の符号化復号化装置。
【請求項１４】
前記第２種可変長符号化手段は、前記逐次的な処理として算術符号化処理を施す
ことを特徴とする請求項１０に記載の符号化復号化装置。
【請求項１５】
前記入力データは、逐次処理が不要である第３種ストリームデータから生成される場合において、
前記符号化復号化装置は、さらに、
前記第３種ストリームデータを第３の記録領域に記録する第３の記録手段と、
前記第３の記録領域に記録されている第３種ストリームデータを復号化して出力データを生成する第３種ストリームデータ復号化手段と
を備えることを特徴とする請求項１０に記載の復号化装置。
【請求項１６】
前記符号化復号化装置は、さらに、
前記第１種可変長符号化手段において生成された第１種ストリームデータが格納される第１の記憶手段と、
前記第１の記憶手段に格納されている第１種ストリームデータの出力先を選択する選択手段と、
前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて出力先を選択させる選択制御手段と
を備えることを特徴とする請求項１に記載の符号化復号化装置。
【請求項１７】
前記符号化復号化装置は、さらに、
前記第１の記憶手段に格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段を備え、
前記選択制御手段は、前記第１の記憶手段および前記第２の記録手段を制御して、記録時刻に近い時刻に該当する第１種ストリームデータを優先的に残す
ことを特徴とする請求項１６に記載の符号化復号化装置。
【請求項１８】
前記符号化復号化装置は、さらに、
前記第１のバッファに格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段を備え、
前記選択制御手段は、前記第１の記憶手段および前記第２の記録手段を制御して、一時停止時刻に近い時刻に該当する第１種ストリームデータを優先的に残す
ことを特徴とする請求項１６に記載の符号化復号化装置。
【請求項１９】
前記符号化復号化装置は、さらに、
前記第１種可変長復号化手段に入力される第１種ストリームデータの供給元を選択する選択手段と、
前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段と
を備えることを特徴とする請求項１に記載の符号化復号化装置。
【請求項２０】
見かけ上同時に符号化と復号化を行う符号化復号化方法であって、
入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、
前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、
前記第２種ストリームデータを第１の記録領域に記録する第１の記録ステップと、
前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成する第１種可変長復号化ステップと
を含むことを特徴とする符号化復号化方法。
【請求項２１】
見かけ上同時に符号化と復号化を行う符号化復号化集積回路であって、
入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化手段と、
前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、
前記第２種ストリームデータを第１の記録領域に記録する第１の記録手段と、
前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成する第１種可変長復号化手段と
を備えることを特徴とする符号化復号化集積回路。
【請求項２２】
見かけ上同時に符号化と復号化を行う符号化復号化プログラムであって、
入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、
前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、
前記第２種ストリームデータを第１の記録領域に記録する第１の記録ステップと、
前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成する第１種可変長復号化ステップと
をコンピュータシステムに実行させることを特徴とする符号化復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、算術符号化などを用いた場合に録画と再生を同時に行う符号化復号化装置に関するものである。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり、新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきている。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、これらの情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。
【０００３】
ところが、各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合は、１文字当たりの情報量が１〜２バイトであるのに対し、音声の場合は、１秒当たり６４Ｋｂｉｔ（電話品質）が必要となる。さらに、動画については、１秒当たり１００Ｍｂｉｔ（現行テレビ受信品質）以上の情報量が必要となる。このように、これらの情報メディアに対して、その膨大な情報をデジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合デジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）によってすでに実用化されている。しかし、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術である。例えば、テレビ電話の場合、ＩＴＵ‐Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ‐１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ‐１は、動画像信号を１．５Ｍｂｐｓまで、つまり、テレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ‐１規格では対象とする品質を中程度の品質、具体的には、主として約１．５Ｍｂｐｓの伝送速度で実現できる程度の品質としている。これに対して、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ‐２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに、現状では、ＭＰＥＧ‐１、ＭＰＥＧ‐２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１）  によって、ＭＰＥＧ‐１、ＭＰＥＧ‐２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ‐４が規格化されている。ＭＰＥＧ‐４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
さらに、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ‐４ＡＶＣおよびＨ．２６４が標準化されている（例えば、非特許文献１参照。）。Ｈ．２６４規格は、現在ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像などに適したＨｉｇｈ  Ｐｒｏｆｉｌｅ対応の改正規格まで拡張されている。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ‐２やＭＰＥＧ‐４と同様にデジタル放送、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）プレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。
【０００７】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームまたはフィールドを意味する。インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００８】
また、参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１の参照ピクチャ、後に記述される方を第２の参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。
【０００９】
ＰピクチャまたはＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ。）を検出し、検出した動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録または伝送される。
【００１０】
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
【００１１】
図２２、図２３は、従来技術における符号化復号化装置の構成を示すブロック図である。図２３において、図２２に示される構成要素と同一の構成要素については、同一の参照符号を付す。
【００１２】
図２２に示されるように、符号化時における符号化復号化装置（符号化機能）１０は、動き検出器１１、マルチフレームメモリ１２、減算器１３、減算器１４、動き補償器１５、符号化器１６、加算器１７、動きベクトルメモリ１８、および動きベクトル予測器１９などを備える。
【００１３】
動き検出器１１は、マルチフレームメモリ１２から出力される動き検出参照画素３１を画面信号３２と比較し、動きベクトル３３と参照フレーム番号３４とを出力する。参照フレーム番号３４は、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトル３３は、動きベクトルメモリ１８に一時的に記憶されたのち近傍動きベクトル３５として出力され、動きベクトル予測器１９にて予測動きベクトル３６を予測するために参照される近傍動きベクトル３５として使用される。減算器１４は動きベクトル３３から予測動きベクトル３６を減算し、その差を動きベクトル予測差分３７として出力する。
【００１４】
一方、マルチフレームメモリ１２は、参照フレーム番号３４および動きベクトル３３で示される画素を動き補償参照画素３８として出力し、動き補償器１５は小数画素精度の参照画素を生成して参照画面画素３９を出力する。減算器１３は画面信号３２から参照画面画素３９を減算し、画面予測誤差４０を出力する。
【００１５】
符号化器１６は、画面予測誤差４０と動きベクトル予測差分３７と参照フレーム番号３４を可変長符号化し、符号化信号４１を出力する。なお、符号化時に画面予測誤差の復号化結果である復号画面予測誤差４２も同時に出力する。復号画面予測誤差４２は画面予測誤差４０に符号化誤差が重畳されたものであり、符号化復号化装置（復号化機能）で符号化信号４１を復号化して得られる画面間予測誤差と一致する。
【００１６】
加算器１７は、参照画面画素３９に復号画面予測誤差４２を加算し、復号画面４３としてマルチフレームメモリ１２に記憶される。ただし、マルチフレームメモリ１２の容量を有効に利用するため、マルチフレームメモリ１２に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ１２に記憶する必要が無い画面の復号画面４３はマルチフレームメモリ１２に記憶されない。
【００１７】
図２３に示されるように、復号化時における符号化復号化装置（復号化機能）１０は、マルチフレームメモリ１２、動き補償器１５、加算器１７、動きベクトルメモリ１８、動きベクトル予測器１９、復号化器２０、加算器２１などを備える。そして、符号化時における符号化復号化装置（符号化機能）１０（図２２参照。）で符号化した符号化信号４１を復号化して復号画面信号４４を出力する。
【００１８】
復号化器２０は、符号化信号４１を復号化し、復号画面予測誤差４２、動きベクトル予測差分３７、参照フレーム番号３４を出力する。加算器２１は、動きベクトル予測器１９から出力される予測動きベクトル３６と動きベクトル予測差分３７とを加算し、動きベクトル３３を復号する。
【００１９】
マルチフレームメモリ１２は、参照フレーム番号３４および動きベクトル３３で示される画素を動き補償参照画素３８として出力する。動き補償器１５は、小数画素精度の参照画素を生成して参照画面画素３９を出力する。加算器１７は、参照画面画素３９に復号画面予測誤差４２を加算する。加算した結果は、復号画面４３としてマルチフレームメモリ１２に記憶される。ただし、マルチフレームメモリ１２の容量を有効に利用するため、マルチフレームメモリ１２に記憶されている画面の領域が不要な場合は、その領域が開放される。また、マルチフレームメモリ１２に記憶する必要が無い画面の復号画面４３は、マルチフレームメモリ１２に記憶されない。以上のようにして、復号画面信号４４、すなわち、復号画面４３を符号化信号４１から正しく復号化することができる。
【００２０】
また、Ｈ．２６４では、符号化器１６（図２２参照。）における可変長符号化処理に、算術符号（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）を使用することができる。同様に、復号化器２０（図２３参照。）における可変長符号化処理の逆変換処理（以下、可変長復号化処理と呼称する。）についても算術符号を使用することができる。ただし、算術符号を使用する場合、その特質として、シンタックスを構成するビット毎に逐次的な処理が必要となる。ここで、シンタックスとは、例えば、図２２や図２３に示される画面予測誤差４０や動きベクトル予測差分３７や参照フレーム番号３４などである。従って、算術符号を使用する場合は、一連のストリームにおいては、平均的には少ない演算資源で良いにも関わらず、デコード規格の性能を満たすために、逐次的に処理を行う結果を予測しつつ投機的に演算するなどの対応が必要となる。そして、それには莫大な演算資源が必要となるという問題がある。
【００２１】
これに対して、演算資源があまりにも莫大になることを防ぐために、算術復号器に入力されるデータ量、または２値データを監視する制限監視器を備え、一定符号化単位内においてデータ量が一定量を超えた場合には、エラー処理を行う技術が提案されている（例えば、特許文献１参照。）。
【００２２】
また、最近では、ランダムアクセス可能なデバイス（例えば、ＤＶＤ、ＨＤＤなど。）を用いた記録再生装置に、現在録画中の番組を、録画終了まで待つことなく、番組の最初から再生しつつ録画を続けることができる「追っかけ再生」、または「タイムシフト再生」などの機能が実装されている。この機能の便利なところは、なんといっても録画終了まで待つことなく、見たいときにすぐに番組の最初から見始めることができることである。例えば、ＣＭを飛ばしながら再生をしたり、１〜１．５倍速程度のやや高速な再生をしたりすることによって、番組視聴を開始した時刻が遅くても最終的には番組の放送に追いつくことなどが可能となる。もちろん、再生を途中で止め、また後で続きを見ることも可能であり、限られた時間を有効に使うには便利な機能である。ＶＨＳ（Ｖｉｄｅｏ  Ｈｏｍｅ  Ｓｙｓｔｅｍ）ビデオデッキなどテープメディアでは不可能だった技術であり、ランダムアクセスが可能なＨＤＤやＤＶＤならではの特殊な再生ということで注目されている。
【００２３】
そして、上記のように追っかけ再生では、再生処理をしている間に、裏処理として録画処理も、並列に、または時分割で見かけ上並列に行われている。再生処理が開始されると、ＤＶＤ、ＨＤＤなどの大容量蓄積デバイスからストリームが読み出され、読み出されたストリームに対して、可変長復号化処理が行われる。
【特許文献１】特開２００４−１３５２５１号公報
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−１０，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ：  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −  Ｐａｒｔ  １０  ：  Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”（２００４−１０−０１）
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、Ｈ．２６４などの規格を用いた記録再生装置（例えば、ＤＶＤ／ＨＤＤレコーダなど。）において、ＣＡＢＡＣなどの算術符号を使用する場合は、可変長符号化処理と可変長復号化処理とにおいて、逐次的な処理が含まれるため、記録時刻に再生時刻が追いつけない可能性があるという問題がある。
【００２５】
例えば、図２４に示されるように、ある動画シーケンスのあるピクチャの先頭部分から追っかけ再生により、記録時刻と再生時刻が離れている状態（例えば、図２４（ａ）参照。）から、記録時刻と再生時刻が可能な限り近づいた状態（例えば、図２４（ｂ）参照。）になるとする。ここでは、話を簡単にするために、可変長符号化処理において、算術符号化処理の前処理を終了する時刻と、算術符号化処理を開始する時刻とを合わせている。同様に、可変長復号化処理において、算術復号化処理を終了する時刻と、算術復号化処理の後処理を開始する時刻とを合わせている。転送に要する時間（時刻５３から時刻６１までの時間）を０時間とする。
【００２６】
このとき、可変長符号化処理および可変長復号化処理において、算術符号を使用するため、回避困難な逐次的な処理を含む。このため、算術符号を使用する前後の処理については、ある程度、時間を短縮することが可能であるが、算術符号を使用する処理については、時間を短縮することが非常に困難である。結果、図２４（ｂ）に示されるように、時刻ｔＳｙｎｉから時刻ｔＳｙｎｏまでの時間以下に縮めるのが非常に困難となっている。具体的には、ＣＰＢ（Ｃｏｄｉｎｇ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）の最大容量が６２．５Ｍｂｉｔであり、最大のビットレートが５０Ｍｂｐｓで符号化復号化していて、さらに算術符号を含んだ可変長符号化処理と可変長復号化処理における処理能力も最大ビットレートに合せて５０Ｍｂｐｓで実装されていると仮定した場合は、算術符号を含んだ処理が入ることだけで、符号化で１．２５秒、復号化で同じく１．２５秒、合せて２．５秒の遅延が少なくとも存在する。もちろん、実際には、大容量蓄積デバイスとのアクセスによる遅延も存在するため、それ以上の遅延が存在することになる。
【００２７】
すなわち、Ｈ．２６４規格におけるＣＡＢＡＣなどの算術符号を使用して可変長符号化処理を用いる場合において、動画像の符号化及び復号化を同時もしくは時分割で見かけ上同時に処理することによって、追っかけ再生（もしくはタイムシフト再生）を行う場合に、再生時刻が記録時刻に追いつけないという問題がある。
【００２８】
これに対して、特許文献１に示されるように、回路規模を増大してエラー処理を挿入することによって、ある程度は緩和することができるが、代わりに、回路規模が増大してしまうという別の問題がある。
【００２９】
そこで、本発明は、前記問題に鑑みてなされたものであり、膨大な回路投資をすることなく、追っかけ再生を実現することが可能な符号化復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３０】
前記目的を達成するために、本発明に係わる符号化復号化装置は、（ａ）見かけ上同時に符号化と復号化を行う符号化復号化装置であって、（ａ１）入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化手段と、（ａ２）前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、（ａ３）前記第２種ストリームデータを第１の記録領域に記録する第１の記録手段と、（ａ４）前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成する第１種可変長復号化手段とを備えることを特徴とする。
【００３１】
さらに、（ｂ）前記符号化復号化装置は、（ｂ１）前記第１種可変長符号化手段において生成された第１種ストリームデータが格納される第１の記憶手段を備え、（ｂ２）前記第１種可変長復号化手段は、前記第１の記憶手段に格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００３２】
さらに、（ｃ）前記符号化復号化装置は、（ｃ１）前記第１の記憶手段に格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段と、（ｃ２）前記第２の記録領域に記録されている第１種ストリームデータが格納される第２の記憶手段とを備え、（ｃ３）前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００３３】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００３４】
さらに、（ｄ）前記符号化復号化装置は、（ｄ１）前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、（ｄ２）前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第３の記憶手段とを備え、（ｄ３）前記第１種可変長復号化手段は、前記第１の記憶手段、前記第２の記憶手段、および前記第３の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００３５】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００３６】
さらに、（ｅ）前記符号化復号化装置は、（ｅ１）前記第１種可変長復号化手段に入力される第１種ストリームデータの供給元を選択する選択手段と、（ｅ２）前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段とを備えるとしてもよい。
【００３７】
さらに、（ｆ）前記選択制御手段は（ｆ１）記録中に再生が開始されると前記第３の記憶手段を前記供給元として選択させ、（ｆ２）記録時刻と再生時刻とが近づくに従って、前記第２の記憶手段を前記供給元として選択させ、さらに、（ｆ３）近づくに従って、前記第１の記憶手段を前記供給元として選択させるとしてもよい。
【００３８】
これによって、追っかけ再生で用いるストリームに関しては最終状態のストリームではなく、算術符号化復号化などの逐次的な処理を含まないストリーム形式を用いることで、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくことが可能となる。
【００３９】
または、（ｇ）前記符号化復号化装置は、（ｇ１）前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、（ｇ２）前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第２の記憶手段とを備え、（ｇ３）前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００４０】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００４１】
または、（ｈ）前記符号化復号化装置は、（ｈ１）前記第１種ストリームデータを第２の記録領域に記録する第２の記録手段と、（ｈ２）前記第２の記録領域に記録されている第１種ストリームデータが格納される第１の記憶手段とを備え、（ｈ３）前記第１種可変長復号化手段は、前記第１の記憶手段に格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００４２】
さらに、（ｉ）前記符号化復号化装置は、（ｉ１）前記第２種ストリームデータに対して、前記第２種可変長符号化処理が施される前のデータ形式に復号化する第２種可変長復号化処理を施して第１種ストリームデータを生成する第２種可変長復号化手段と、（ｉ２）前記第２種可変長復号化手段において生成された第１種ストリームデータが格納される第２の記憶手段とを備え、（ｉ３）前記第１種可変長復号化手段は、前記第１の記憶手段、および前記第２の記憶手段のいずれかに格納されている第１種ストリームデータに対して、前記第１種可変長復号化処理を施すとしてもよい。
【００４３】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００４４】
または、（ｊ）前記第２種可変長符号化手段は、前記第１種ストリームデータを構成する符号化シンボルよりも小さい単位で逐次的な処理を前記第２種可変長符号化処理として施すとしてもよい。
【００４５】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００４６】
さらに、（ｋ）前記符号化復号化装置は、（ｋ１）入力データに対して、前記逐次的な処理が不要である第３種可変長符号化処理を施して第３種ストリームデータを生成する第３種可変長符号化手段と、（ｋ２）前記第３種可変長符号化手段において生成された第３種ストリームデータを第３の記録領域に記録する第３の記録手段と、（ｋ３）前記第３の記録領域に記録されている第３種ストリームデータに対して、前記第３種可変長符号化処理が施される前のデータ形式に復号化する第３種可変長復号化処理を施して出力データを生成する第３種可変長復号化手段とを備えるとしてもよい。
【００４７】
さらに、（ｌ）前記符号化復号化装置は、（ｌ１）前記出力データの供給元を前記第１種可変長復号化手段および前記第３種可変長復号化手段のいずれかに選択する選択手段と、（ｌ２）前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段とを備えるとしてもよい。
【００４８】
さらに、（ｍ）前記選択制御手段は、（ｍ１）記録中に再生が開始されると、前記第１種可変長復号化手段を供給元として前記選択部に選択させ、（ｍ２）記録時刻と再生時刻とが近づくに従って、前記第３種可変長復号化手段を供給元として前記選択部に選択させるとしてもよい。
【００４９】
これによって、追っかけ再生で用いるストリームに関しては最終状態のストリームではなく、算術符号化復号化などの逐次的な処理を含まないストリーム形式を用いることで、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくことが可能となる。
【００５０】
または、（ｎ）前記第２種可変長符号化手段は、前記逐次的な処理として算術符号化処理を施すとしてもよい。
【００５１】
これによって、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００５２】
または、（ｏ）前記符号化復号化装置は、（ｏ１）前記第１種可変長符号化手段において生成された第１種ストリームデータが格納される第１の記憶手段と、（ｏ２）前記第１の記憶手段に格納されている第１種ストリームデータの出力先を選択する選択手段と、（ｏ３）前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて出力先を選択させる選択制御手段とを備えるとしてもよい。
【００５３】
または、（ｐ）前記符号化復号化装置は、（ｐ１）入力データに対して、前記逐次的な処理が不要である場合は、（ｐ２）前記入力データを第３種ストリームデータとして第３の記録領域に記録する第３の記録手段と、（ｐ３）前記第３の記録領域に記録されている第３種ストリームデータに対して、前記第３種可変長符号化処理が施される前のデータ形式に復号化する第３種可変長符号化処理を施して出力データを生成する第３種可変長復号化手段とを備えるとしてもよい。
【００５４】
これによって、算術符号化処理は用いないため、ＳＤＲＡＭとのストリーム送受信を削減すると共に、追っかけ再生において、記録時刻に再生時刻を追いつかせることが可能となる。
【００５５】
さらに、（ｑ）前記符号化復号化装置は、（ｑ１）前記第１の記憶手段に格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段を備え、（ｑ２）前記選択制御手段は、前記第１の記憶手段および前記第２の記録手段を制御して、記録時刻に近い時刻に該当する第１種ストリームデータを優先的に残すとしてもよい。
【００５６】
または、（ｒ）前記符号化復号化装置は、（ｒ１）前記第１の記憶手段に格納されている第１種ストリームデータを第２の記録領域に記録する第２の記録手段を備え、（ｒ２）前記選択制御手段は、前記第１の記憶手段および前記第２の記録手段を制御して、一時停止時刻に近い時刻に該当する第１種ストリームデータを優先的に残すとしてもよい。
【００５７】
これによって、記録時刻と再生時刻の時間距離が離れている場合は、通常の算術符号化復号化を用いた追っかけ再生を行い、時間距離が近い場合には、算術符号化復号化処理を行わずに追っかけ再生を行うことを切り替えることができるため、大容量蓄積デバイスに中間ストリームを貯めるための容量を最小限に抑えつつ、バッファとのデータのやり取りを一部削減することができると共に、記録時刻に再生時刻が追いつくことが可能となる。
【００５８】
または、（ｓ）前記符号化復号化装置は、さらに、（ｓ１）前記第１種可変長復号化手段に入力される第１種ストリームデータの供給元を選択する選択手段と、（ｓ２）前記選択手段を制御して、記録時刻と再生時刻との時間関係に基づいて供給元を選択させる選択制御手段とを備えるとしてもよい。
【００５９】
これによって、記録時刻と再生時刻の時間距離が離れている場合は、通常の算術符号化復号化を用いた追っかけ再生を行い、時間距離が近い場合には、算術符号化復号化処理を行わずに追っかけ再生を行うことを切り替えることができるため、第１のバッファの管理容量を最小限に抑えつつ、バッファとのデータのやり取りを一部削減することができると共に、記録時刻に再生時刻が追いつくことが可能となる。
【００６０】
なお、本発明は、符号化復号化装置として実現されるだけでなく、符号化復号化装置を制御する方法、その方法をコンピュータシステムに実行させるプログラムなどとして実現されるとしてもよい。また、符号化復号化装置に実装される集積回路などとして実現されるとしてもよい。
【発明の効果】
【００６１】
本発明に係わる符号化復号化装置によれば、記録時刻と再生時刻が少し離れた状態であったとしても、ＤＶＤやＨＤＤなどの大容量蓄積デバイスに一旦蓄えた中間状態のストリームを取り出し、算術符号化復号化などの逐次的な処理を省くことが出来るようになるため、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくまでの再生画面表示を滑らかに行うことが可能となる。
【００６２】
また、追っかけ再生で用いるストリームに関しては最終状態のストリームではなく、算術符号化復号化などの逐次的な処理を含まないストリーム形式を用いることで、バッファとのデータのやり取りを削減することができると共に、記録時刻に再生時刻が追いつくことが可能となる。
【発明を実施するための最良の形態】
【００６３】
（実施の形態１）
以下、本発明に係わる実施の形態１について、図面を参照しながら説明する。
【００６４】
本実施の形態における符号化復号化装置は、（ａ）見かけ上同時に符号化と復号化を行う符号化復号化装置であって、（ｂ）入力データに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成し、（ｃ）前記第１種ストリームデータに対して、第１種可変長符号化処理とは異なる第２種可変長符号化処理を施して第２種ストリームデータを生成し、（ｄ）前記第２種ストリームデータを第１の記録領域に記録し、（ｅ）前記第１種ストリームデータに対して、前記第１種可変長符号化処理が施される前のデータ形式に復号化する第１種可変長復号化処理を施して出力データを生成することを特徴とする。
【００６５】
具体的には、録画中の番組を追っかけ再生するときは、入力シンタックスデータに対して第１種可変長符号化処理を施して第１種ストリームデータを生成し、生成した第１種ストリームデータを第１バッファに格納し、第１バッファに格納されている第１種ストリームデータに対して第２種可変長符号化処理（算術符号化処理）を施して第２種ストリームデータを生成しつつ、第１バッファに格納されている第１種ストリームデータに対して第１種可変長符号化処理を施して出力シンタックスデータを生成することを特徴とする。
【００６６】
「入力シンタックスデータ」とは、符号化復号化装置に入力される画面予測誤差、動きベクトル予測差分、参照フレーム番号などを含むシンタックスである。
【００６７】
「出力シンタックスデータ」とは、符号化復号化装置から出力される動きベクトル予測差分、参照フレーム番号などを含むシンタックスである。
【００６８】
「第１種ストリームデータ」とは、入力シンタックスデータに対して、第１種可変長符号化処理が施されて生成されたストリームデータであり、中間状態のストリームデータである。以下、中間ストリームとも呼称する。
【００６９】
「第２種ストリームデータ」とは、第１種ストリームデータに対して、第２種可変長符号化処理が施されて生成されたストリームデータであり、最終状態のストリームデータである。以下、最終ストリームとも呼称する。
【００７０】
「第１種可変長符号化処理」とは、可変長符号化処理において、第２種可変長符号化処理の前に、算術符号を使用せずに行われる符号化処理をいう。なお、第１種可変長符号化処理によって符号化されたデータを復号化する処理を第１種可変長復号化処理とする。
【００７１】
「第２種可変長符号化処理」とは、可変長符号化処理において、算術符号を使用する符号化処理をいう。なお、第２種可変長符号化処理によって符号化されたデータを復号化する処理を第２種可変長復号化処理とする。
【００７２】
以上の点を踏まえて本実施の形態における符号化復号化装置について説明する。
まず、本実施の形態における符号化復号化装置の構成について説明する。
【００７３】
図１、図２は、本発明に係わる実施の形態１における画像符号化復号化装置の構成を示すブロック図である。図１に示されるように、符号化復号化装置１００は、録画中の番組を追っかけ再生するときは、可変長復号化部１０４において、第１バッファ１１１に一時的に格納されている中間ストリームに対して可変長復号化処理を施して出力シンタックスデータを生成して出力する。これに対して、図２に示されるように、符号化復号化装置１００は、通常、録画した番組を再生するときは、可変長復号化部１０４において、第４バッファ１１４に一時的に格納されている中間ストリームに対して可変長符号化処理を施して出力シンタックスデータを生成して出力する。
【００７４】
具体的には、図１、図２に示されるように、符号化復号化装置１００は、可変長符号化部１０１、算術符号化部１０２、可変長復号化部１０３、算術復号化部１０４、第１バッファ１１１、第２バッファ１１２、第３バッファ１１３、第４バッファ１１４、第１記録部１２１などを備える。
【００７５】
可変長符号化部１０１は、入力シンタックスデータに対して可変長符号化処理を施して中間ストリームを生成し、生成した中間ストリームを第１バッファ１１１に格納する。算術符号化部１０２は、第１バッファ１１１に格納されている中間ストリームに対して算術符号化処理を施して最終ストリームを生成し、生成した最終ストリームを第２バッファに格納する。算術復号化部１０３は、第３バッファ１１３に格納されている最終ストリームに対して算術復号化処理を施して中間ストリームを生成し、生成した中間ストリームを第４バッファ１１４に格納する。
【００７６】
可変長復号化部１０４は、録画中の番組を追っかけ再生するときは、第４バッファの代わりに、第１バッファに格納されている中間ストリームに対して可変長符号化処理を施して出力シンタックスデータを生成し、生成した出力シンタックスデータを出力する（図１参照。）。これに対して、通常、録画した番組を再生するときは、第４バッファに格納されている中間ストリームに対して可変長復号化処理を施して出力シンタックスデータを生成し、生成した出力シンタックスデータを出力する（図２参照。）。
【００７７】
第１バッファ１１１は、可変長符号化部１０１において生成された中間ストリームが一時的に格納される。第２バッファ１１２は、算術符号化部１０２において生成された最終ストリームが一時的に格納される。第３バッファ１１３は、第１記録部１２１において蓄積されている最終ストリームが一時的に格納される。第４バッファ１１４は、算術復号化部１０３において生成された中間ストリームが一時的に格納される。
【００７８】
第１記録部１２１は、録画中のときは、第２バッファ１１２に格納されている最終ストリームを蓄積する。また、再生中のときは、蓄積している最終ストリームを第３バッファ１１３に格納する。なお、追っかけ再生中のときは、第２バッファ１１２に格納されている最終ストリームを蓄積するが、蓄積している最終ストリームを第３バッファ１１３に格納しない。
【００７９】
また、第１バッファ１１１、第２バッファ１１２、第３バッファ１１３、第４バッファ１１４は、複数もしくは共通の一つのＳＤＲＡＭ１１０に割り当てられている。
【００８０】
また、大容量蓄積デバイス１２０は、ＤＶＤレコーダ、ＨＤＤレコーダなどのようなデバイスであり、ＤＶＤやＨＤＤなどのようなランダムアクセス可能な記録媒体にデジタルデータを蓄積するデバイスである。
【００８１】
また、図３に示される符号化復号化装置（符号化機能）１００における符号化部１６１は、可変長符号化部１０１、算術符号化部１０２、第１バッファ１１１、第２バッファ１１２などを備える。図４に示される符号化復号化装置（復号化機能）１００における復号化部１６２は、算術復号化部１０３、可変長復号化部１０４、第３バッファ１１３、第４バッファ１１４などを備える。
【００８２】
このとき、図３に示される画面予測誤差４０、動きベクトル予測差分３７、参照フレーム番号３４などを含むシンタックスが入力シンタックスデータとして可変長符号化部１０１に入力される。
【００８３】
このとき、図４に示される動きベクトル予測差分３７、参照フレーム番号３４などを含むシンタックスが出力シンタックスデータとして可変長復号化部１０４から出力される。
【００８４】
また、算術符号化部１０２から出力される最終ストリーム（図３の符号化信号４１に相当。）と、算術復号化部１０３に入力される最終ストリーム（図４の符号化信号４１に相当。）とは、同じストリーム形式となっている。
【００８５】
また、可変長符号化部１０１から出力される中間ストリームと、算術符号化部１０２に入力される中間ストリームと、算術復号化部１０３から出力される中間ストリームと、可変長復号化部１０４に入力される中間ストリームとは、それぞれ同じストリーム形式となっている。
【００８６】
なお、第３バッファ１１３と第４バッファ１１４とは、それぞれ図５（ｂ）に示されるバッファ（ｔＣＰＢ）とバッファ（ｐＣＰＢ）とに相当する。ここで、バッファ（ｔＣＰＢ）は、入力ストリームを一時的に格納するバッファであり、バッファ（ｐＣＰＢ）は、算術符号を含む前段の復号化処理後に格納される擬似的なＣＰＢを表している。これによって、図５（ｂ）に示されるように、ＣＰＢを含めた算術復号化処理において、入力ストリームを定常的に算術復号化しながらバッファ（ｐＣＰＢ）に貯めることで、逐次的な処理が必要となる算術復号化処理の課題を吸収している。
【００８７】
というのも、図５（ａ）に示されるように、ストリームが定常状態でＣＰＢに入力されるのに対し、瞬発的にストリームが出力される。つまり、図６に示されるように、ストリームが入力される場合は、一定で入ってくるため一定の傾きで右肩上がりに上昇し、ストリームが出力される場合は、一瞬で引き抜かれるために垂直にバッファ容量が減少する。
【００８８】
なお、以上の考え方は可変長符号化処理でも同様である。
ここで、可変長復号化部と定常レートの能力で行う算術復号化部とを個別に構成することによって、画像の入力ストリームの仮想バッファモデルにおける処理と似る。
【００８９】
図１１では、横軸が時間方向、縦軸がバッファ容量を表していて、ＭａｘＣＰＢはＣＰＢの上限値を意味するので、この値を超えないように仮想的にバッファが管理される。
【００９０】
図１１に示されるように、入力ストリームを一旦ＣＰＢ（Ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）に蓄積した後、ピクチャ毎に蓄積したストリームを一括で取り出すと仮定して、ＣＰＢの容量値を超えないようにストリームが符号化される。
【００９１】
続いて、本実施の形態における符号化復号化装置の動作について説明する。
まず、図７に示されるように、録画するときは、画面予測誤差４０、動きベクトル予測差分３７、参照フレーム番号３４などを含む可変長符号化対象のシンタックスは、入力シンタックスデータ１３１として、可変長符号化部１０１に入力される（Ｓ１０１）。可変長符号化部１０１は、入力シンタックスデータ１３１に対して可変長符号化処理を施して中間ストリーム１４１を生成する（Ｓ１０２）。可変長符号化部１０１において生成された中間ストリーム１４１は、第１バッファ１１１に一時的に格納された後（Ｓ１０３）、算術符号化部１０２に入力される（Ｓ１０４）。算術符号化部１０２は、第１バッファから入力された中間ストリーム１４２に対して算術符号化処理を施して最終ストリーム１４３を生成する（Ｓ１０５）。算術符号化部１０２において生成された最終ストリーム１４３は、第２バッファ１１２に一時的に格納された後（Ｓ１０６）、大容量蓄積デバイス１２０の第１記録領域１２１に記録される（Ｓ１０７）。
【００９２】
図８に示されるように、再生するときは、大容量蓄積デバイス１２０の第１記録領域１２１に記録されている最終ストリーム１４５は、第３バッファ１１３に一時的に格納された後（Ｓ１１１）、算術復号化部１０３に入力される（Ｓ１１２）。算術復号化部１０３は、第３バッファ１１３から入力された最終ストリーム１４６に対して算術復号化処理を施して中間ストリーム１４７を生成する（Ｓ１１３）。算術復号化部１０３において生成された中間ストリーム１４７は、第４バッファ１１４に一時的に格納された後（Ｓ１１４）、可変長復号化部１０４に入力される（Ｓ１１５）。可変長復号化部１０４は、第４バッファ１１４から入力された中間ストリーム１４８に対して可変長復号化処理を施して出力シンタックスデータ１３２を生成する（Ｓ１１６）。そして、可変長復号化部１０４において生成された出力シンタックスデータ１３２は、出力される（Ｓ１１７）。
【００９３】
ここで、単に、録画しながら再生することで、追っかけ再生を実現することができると考えられる。しかしながら、図１に示されるように、第４バッファ１１４に格納されている中間ストリーム１４８に対して、可変長復号化処理を施して出力シンタックスデータ１３２を生成していては、逐次的に処理を行う算術符号化処理と算術復号化処理とによって、再生が追いつかないこともありうる。これに対して、図１に示されるように、第１バッファ１１１に格納されている中間ストリーム１５１に対して、可変長復号化処理を施して出力シンタックスデータ１３２を生成することによって、これらの問題を解決することができる。
【００９４】
そこで、図９に示されるように、追っかけ再生するときは、可変長符号化部１０１から出力された中間ストリーム１４１は、第１バッファ１１１に一時的に格納された後（Ｓ１０３）、可変長復号化部１０４にも入力される（Ｓ１２１）。可変長復号化部１０４は、第１バッファ１１１から入力された中間ストリーム１５１に対して、可変長復号化処理を施して出力シンタックスデータ１３２を生成する（Ｓ１２２）。生成した出力シンタックスデータ１３２を出力する（Ｓ１２３）。
【００９５】
録画処理つまり動画像の符号化処理に関しては、録画するときと同じ経路で、入力シンタックスデータ１３１が最終ストリーム１４４として大容量蓄積デバイス１２０の中の第１記録領域１２１に記録される。しかし、追っかけ再生のために、第１バッファ１１１の管理量を増加させてストリームの制御を行う。
【００９６】
一方、追っかけ再生するときは、第３バッファ１１３、算術復号化部１０３、および第４バッファ１１４を介して出力される中間ストリーム１４８の代わりに、第１バッファ１１１から出力される中間ストリーム１５１を可変長復号化部１０４に入力する。第１バッファ１１１から出力される中間ストリーム１５１は、第４バッファ１１４から出力される中間ストリーム１４８と同じストリーム形式となっているため、何の問題もなく可変長復号化部１０４において可変長復号化処理が施されて出力シンタックスデータ１３２が生成されて出力される。つまり、算術復号化処理を含まずに可変長復号化処理のみで、再生処理が可能となるため、ＳＤＲＡＭとのメモリアクセス量を減少させると共に、記録時刻に再生時刻を追いつかせることが可能となる。
【００９７】
なお、第１バッファ１１１の管理量を通常の録画状態よりも大きくしてＦＩＦＯ（先入れ先出し方式）で管理し、中間ストリームの蓄積量を増やすことによって、再生時刻と記録時刻とが離れている場合でも、中間ストリームを利用できるようにしておく。
【００９８】
ここでは、算術符号を解く処理とその他の変換を含む前段の処理と、前段の処理結果をバッファに一時蓄積し、さらに残りの可変長復号の変換処理を行う後段の処理という構成をとっている。
【００９９】
なお、算術復号化後の２値データをバッファリングする。このとき、ビット単位での逐次処理が必要である。また、バッファリングした２値データを再度多値化するにあたって、シンタックス単位の処理が可能である。
【０１００】
（実施の形態２）
次に、本発明に係わる実施の形態２について、図面を参照しながら説明する。
【０１０１】
本実施の形態における符号化復号化装置は、録画中の番組を追っかけ再生するときは、入力シンタックスデータに対して第１種可変長符号化処理を施して第１種ストリームデータを生成し、生成した第１種ストリームデータを第１バッファに格納し、第１バッファに格納されている第１種ストリームデータに対して第２種可変長符号化処理を施して第２種ストリームデータを生成し、生成した第２種ストリームデータを第２バッファに格納し、第２バッファに格納されている第２種ストリームデータを第１記録領域に蓄積しながら、第１バッファに格納されている第１種ストリームデータを第２記録領域に蓄積し、第２記録領域に蓄積されている第１種ストリームデータを第５バッファに格納し、第５バッファに格納されている第１種ストリームデータに対して第１種可変長復号化処理を施して出力シンタックスデータを生成することを特徴とする。
【０１０２】
以上の点を踏まえて、本実施の形態における符号化復号化装置について説明する。なお、実施の形態１における符号化復号化装置の構成要素と同一の構成要素については、同一の参照符号を付して説明を省略する。
【０１０３】
まず、本実施の形態における符号化復号化装置の構成について説明する。
図１０は、本実施の形態における符号化復号化装置の構成を示すブロック図である。図１０に示されるように、符号化復号化装置２００は、実施の形態１における符号化復号化装置１００と比べて（例えば、図１参照。）、可変長復号化部２０４、第５バッファ２１５、第２記録領域２２２などを新たに備える。
【０１０４】
なお、本実施の形態において追っかけ再生する場合に使用されない第３バッファ１１３、第４バッファ１１４、および算術復号化部１０３については破線で示されている。
【０１０５】
可変長復号化部２０４は、中間ストリーム１４８が入力される代わりに、第５バッファ２１５から出力された中間ストリーム２５３が入力される。
【０１０６】
第５バッファ２１５は、第２記録領域２２２から出力された中間ストリーム２５２を格納する。
【０１０７】
第２記録領域２２２は、大容量蓄積デバイス２２０に割り当てられた記録領域であり、第１バッファ１１１から出力された中間ストリーム２５１を記録する。
【０１０８】
続いて、本実施の形態における符号化復号化装置の動作について説明する。
なお、録画処理、つまり動画像の符号化処理に関しては、図２で説明したものと同じ経路で、入力シンタックス１３１が最終ストリーム１４４として大容量蓄積デバイス２２０の中の第１記録領域１２１に記録される。これに対して、追っかけ再生が開始されると、最終ストリーム１４４が第１記録領域１２１に記録されると同時に、第１バッファ１１１から出力された中間ストリーム２５１が第２記録領域２２２に記録される。
【０１０９】
すなわち、追っかけ再生では、第４バッファ１１４から出力される中間ストリーム１４８の代わりに、大容量蓄積デバイス２２０の第２記録領域２２２から出力される中間ストリーム２５２が第５バッファ２１５に入力される。さらに、一旦第５バッファ２１５に格納した後に、第５バッファ２１５から出力される中間ストリーム２５３が可変長復号化部２０４に入力される。ここで、第５バッファ２１５から出力された中間ストリーム２５３は、第４バッファ１１４から出力された中間ストリーム１４８と同一のストリーム形式であるため、何の問題もなく可変長復号化部２０４において変換処理を行うことができる。そして、可変長復号化部２０４から出力シンタックス１３２が出力される。
【０１１０】
このとき、図１１に示されるように、追っかけ再生するときは、可変長符号化部１０１から出力された中間ストリーム１４１は、第１バッファ１１１に一時的に格納された後（Ｓ１０３）、第２記録領域２２２にも記録される（Ｓ２０１）。さらに、第２記録領域２２２から出力された中間ストリーム２５２は、第５バッファ２１５に一時的に格納された後（Ｓ２０２）、可変長復号化部２０４に入力される（Ｓ２０３）。可変長復号化部２０４は、第５バッファ２１５から入力された中間ストリーム２５２に対して可変長復号化処理を施して出力シンタックスデータを生成する（Ｓ１２２）。生成した出力シンタックスデータを出力する（Ｓ１２３）。
【０１１１】
以上、本実施の形態における符号化復号化装置２００は、算術復号化処理を含まない可変長復号化処理のみで再生処理が可能となるため、ＳＤＲＡＭとのメモリアクセス量を減少させると共に、記録時刻に再生時刻を追いつかせることが可能となる。また、実施の形態１における第１バッファ１１１から出力される中間ストリーム２５１を利用する場合は、第１バッファ１１１がＳＤＲＡＭ上などに配置するために容量が制限されることが考えられる。しかし、本実施の形態では、ＤＶＤやハードディスクやメモリカードなどの大容量蓄積デバイス２２０に中間ストリームを一時的に退避し、一時的に退避した中間ストリームを用いるため、記録時刻と再生時刻とが離れた状態でも対応可能となる。
【０１１２】
なお、第２記録領域２２２は大容量蓄積デバイス２２０のうち、第１記録領域１２１として使用されない領域を使う必要がある。このため、ＦＩＦＯ管理することによって、例えば、大容量蓄積デバイス２２０の１／１０程度の領域を使いまわすような制御を行う。
【０１１３】
（実施の形態３）
次に、本発明に係わる実施の形態３について、図面を参照しながら説明する。
【０１１４】
本実施の形態における符号化復号化装置は、録画中の番組を追っかけ再生するときは、入力シンタックスデータに対して第１種可変長符号化処理を施して第１種ストリームデータを生成し、生成した第１種ストリームデータを第１バッファに格納し、第１バッファに格納されている第１種ストリームデータに対して第２種可変長符号化処理を施して第２種ストリームデータを生成し、生成した第２種ストリームデータを第２バッファに格納し、第２バッファに格納されている第２種ストリームデータを第１記録領域に蓄積しながら、第１バッファに格納されている第１種ストリームデータを第２記録領域に蓄積し、第２記録領域に蓄積されている第１種ストリームデータを第５バッファに格納し、第１記録領域に蓄積されている第２種ストリームデータを第３バッファに格納し、第３バッファに格納されている第２種ストリームデータに対して第２種可変長復号化処理を施して第１種ストリームデータを生成し、生成した第１種ストリームデータを第４バッファに格納し、第１バッファ、第４バッファ、第５バッファのいずれかに格納されている第１種ストリームデータに対して第１種可変長復号化処理を施して出力シンタックスデータを生成することを特徴とする。
【０１１５】
以上の点を踏まえて本実施の形態における符号化復号化装置について説明する。なお、実施の形態２における符号化復号化装置の構成要素と同一の構成要素については、同一の参照符号を付して説明を省略する。
【０１１６】
まず、本実施の形態における符号化復号化装置の構成について説明する。
図１２は、本発明に係わる実施の形態３における符号化復号化装置の構成を示すブロック図である。図１２に示されるように、符号化復号化装置３００は、可変長復号化部１０４の代わりに可変長復号化部３０４を備える。また、選択部３０５、選択制御部３０６、第５バッファ３１５、第２記録領域３２２などを新たに備える。
【０１１７】
可変長復号化部３０４は、中間ストリーム１４８が直接入力される代わりに、選択部３０５において選択された中間ストリームが入力される。
【０１１８】
選択部３０５は、第１バッファ１１１から出力された中間ストリーム３５１、第５バッファ３１５から出力された中間ストリーム３６３、および第４バッファ１１４から出力された中間ストリーム１４８の３つの中間ストリームの中から、可変長復号化部３０４に入力される中間ストリームを選択する。
【０１１９】
選択制御部３０６は、選択部３０５に対して制御信号を出力する。
第５バッファ３１５は、第２記録領域３２２２から出力された中間ストリーム３５３を格納する。
【０１２０】
第２記録領域３２２は、第１バッファ１１１から出力された中間ストリーム３５２を記録する。
【０１２１】
続いて、本実施の形態における符号化復号化装置の動作について説明する。
以下、実施の形態３における信号の流れについて説明する。
【０１２２】
録画処理つまり動画像の符号化処理に関しては、図２で説明したものと同じ経路であり、入力シンタックス１３１が最終ストリーム１４４として大容量蓄積デバイス３２０の中の第１記録領域１２１に記録される。これに対して、追っかけ再生が開始されると、第１バッファ１１１の管理量を増加させ、最終ストリーム１４４が第１記録領域１２１に記録されると同時に、第１バッファ１１１から出力された中間ストリーム３５２が第２記録領域３２２に記録される。
【０１２３】
一方、追っかけ再生処理では、第４バッファ１１４から出力された中間ストリーム１４８、第５バッファ３１５から出力された中間ストリーム３６３、および第１バッファ１１１から出力された中間ストリーム３５１の３つの中間ストリームの中から選択部３０５において選択され、選択された中間ストリームが可変長復号化部３０４に入力される。そして、可変長復号化部３０４から出力シンタックス１３２が出力される。ここで、選択された中間ストリームは、第４バッファ１１４から出力される中間ストリームと同一のストリーム形式であるため、何の問題もなく可変長復号化部３０４において可変長復号化処理を行うことができる。
【０１２４】
このとき、図１３に示されるように、選択制御部３０６は、追っかけ再生が開始すると（Ｓ３０１：Ｙｅｓ）、記録時刻と再生時刻との差が大である場合は（Ｓ３０２：大）、第４バッファ１１４を供給元として選択させる制御信号を選択部３０５に出力する（Ｓ３０３）。記録時刻と再生時刻との差が中である場合は（Ｓ３０２：中）、第５バッファ３１５を供給元として選択させる制御信号を選択部３０５に出力する（Ｓ３０４）。記録時刻と再生時刻との差が小である場合は（Ｓ３０２：小）、第１バッファ１１１を供給元として選択させる制御信号を選択部３０５に出力する（Ｓ３０５）。
【０１２５】
ここで、中間ストリームが選択されるにあたっての選択制御部３０６における制御について説明する。
【０１２６】
図１４は、中間ストリームを選択するための状態遷移図である。図１５は、追っかけ再生における記録領域と再生領域の時間状態を示す模式図である。
【０１２７】
また、図１５において、Ｒｅは、ストリームの記録位置、Ｐｌは、ストリームの再生位置をそれぞれ表しており、（ａ）から（ｈ）の横三本線は、第１記録領域１２１、第２記録領域３２２、および第１バッファ１１１のそれぞれにおいて保持されているストリームを示しており、それぞれ斜線、蜜点、及び疎点を付けた矩形を用いてストリームの時間位置を示している。
【０１２８】
図１４に示されるように、選択制御部３０６は、下記の状態（Ｓ３１１）〜（Ｓ３１６）に応じて、選択部３０５を制御する。
【０１２９】
（Ｓ３１１）「記録のみ」の状態では、符号化復号化装置３００は、記録にあたって、最終ストリームのみ大容量蓄積デバイス３２０に転送する。
【０１３０】
（Ｓ３１２）「追っかけ再生開始」の状態では、符号化復号化装置３００は、記録にあたって、最終ストリームと中間ストリームとを大容量蓄積デバイス３２０に転送し、第１バッファ１１１の容量を増加させて、符号化時の中間ストリームを管理する。再生にあたって、大容量蓄積デバイスに記録されている最終ストリームから復号化を開始する。このとき、選択制御部３０６は、第４バッファ１１４を供給元として選択部３０５に選択させる。
【０１３１】
（Ｓ３１３）「記録時刻と再生時刻との差が大」の状態では、符号化復号化装置３００は、記録にあたって、最終ストリームと中間ストリームとを大容量蓄積デバイス３２０に転送し、第１バッファ１１１の容量を増加させて、符号化時の中間ストリームを管理する。再生にあたって、大容量蓄積デバイスに記録されている最終ストリームから復号化する。このとき、選択制御部３０６は、第４バッファ１１４を供給元として選択部３０５に選択させる。
【０１３２】
（Ｓ３１４）「記録時刻と再生時刻との差が中」の状態では、符号化復号化装置３００は、記録にあたって、最終ストリームと中間ストリームとを大容量蓄積デバイス３２０に転送し、第１バッファ１１１の容量を増加させて、符号化時の中間ストリームを管理する。再生にあたって、大容量蓄積デバイスに記録されている中間ストリームから復号化する。このとき、選択制御部３０６は、第５バッファ３１５を供給元として選択部３０５に選択させる。
【０１３３】
（Ｓ３１５）「記録時刻と再生時刻との差が小」の状態では、符号化復号化装置３００は、記録にあたって、最終ストリームと中間ストリームとを大容量蓄積デバイス３２０に転送し、第１バッファ１１１の容量を増加させて、符号化時の中間ストリームを管理する。再生にあたって、記録処理において生成された中間ストリームが一時的に格納される第１バッファ１１１内の中間ストリームを流用して復号化する。このとき、選択制御部３０６は、第１バッファを供給元として選択部３０５に選択させる。
【０１３４】
（Ｓ３１６）「記録に再生が追いついた」状態では、符号化復号化装置３００は、記録にあたって、最終ストリームと中間ストリームとを大容量蓄積デバイス３２０に転送し、第１バッファ１１１の容量を増加させて、符号化時の中間ストリームを管理する。再生にあたって、入力画像もしくはローカルデコード結果を出力する。
【０１３５】
このとき、図１５（ａ）に示されるように、符号化復号化装置３００は、記録を開始すると（Ｓ３１１）、中間ストリームを第１バッファ１１１に格納する。その後、図１５（ｂ）に示されるように、可変長符号化処理が進み、最終ストリーム１４４を大容量蓄積デバイス３２０の第１記録領域１２１に記録する。このとき、第１バッファ１１１の容量は最小限の容量で管理されている。
【０１３６】
次に、図１５（ｃ）に示されるように、符号化復号化装置３００は、追っかけ再生を開始すると（Ｓ３１２）、最終ストリーム１４４を第１記録領域１２１に記録すると同時に、中間ストリーム３５２を第２記録領域３２２に記録する。このとき、第１バッファ１１１の蓄積量が拡張されて管理される。
【０１３７】
さらに、図１５（ｄ）に示されるように、符号化復号化装置３００は、記録時刻と再生時刻との差が大である場合、すなわち、離れていると（Ｓ３１３）、最終ストリーム１４４を第１記録領域１２１に記録すると同時に、中間ストリーム３５２を第２記録領域３２２に記録する。しかし、十分な量の中間ストリーム３５２が第２記録領域３２２に記録されていないので、追っかけ再生するにあたって、第１記録領域１２１に記録されている最終ストリーム１４４を使用する。このとき、１〜１．５倍速程度の若干高速な再生を行うにあたって、算術復号化処理がボトルネックとなる場合は、Ｂピクチャなどをデコードしないなどの対応をとる。
【０１３８】
また、図１５（ｅ）に示されるように、符号化復号化装置３００は、記録時刻と再生時刻との差が中である場合、すなわち、近づいてくると（Ｓ３１４）、十分な量の中間ストリーム３５２が第２記録領域３２２に記録されているので、追っかけ再生するにあたって、第２記録領域３２２に記録されている中間ストリームを使用する。これ以降、算術復号化部１０３の動作が不要となるため、ＳＤＲＡＭとのストリームデータの送受信が少なくなる。なお、第１バッファ１１１の拡張可能な容量は、第２記録領域３２２よりも制限されるため、第１バッファ１１１に格納されている中間ストリームは、第２記録領域３２２よりも短い時間で、ＦＩＦＯによって管理される。
【０１３９】
また、図１５（ｆ）に示されるように、符号化復号化装置３００は、もう少し記録時刻と再生時刻とが近づいてくると、第２記録領域３２２に記録されている中間ストリームを使用する。このとき、第２記録領域３２２についても、第１記録領域１２１よりも大きく制限されるため、第１バッファ１１１と同様に、ＦＩＦＯによって管理される。なお、第２記録領域３２２に記録されている中間ストリームを使用するにあたって、若干高速な再生であっても、算術符号化処理が必要無いため、Ｂピクチャも含めた再生が可能となる。
【０１４０】
さらに、図１５（ｇ）に示されるように、符号化復号化装置３００は、記録時刻と再生時刻との差が小である場合、すなわち、さらに近づいてくると（Ｓ３１５）、追っかけ再生するにあたって、第１バッファ１１１に格納されている中間ストリームを使用する。
【０１４１】
また、図１５（ｈ）に示されるように、符号化復号化装置３００は、殆ど記録時刻と再生時刻とが同じになると、第１バッファ１１１に格納されている中間ストリームを使用する。このとき、大容量蓄積デバイス３２０を経由する中間ストリームを使う必要が無くなるため、より高速な再生も滑らかに行うことが可能となる。
【０１４２】
最終的に、符号化復号化装置３００は、再生時刻が記録時刻に追いつくと（Ｓ３１６）、入力画像もしくは画像の符号化処理の過程で生成するローカルデコード画像を使用して再生する。これにより、可変長復号処理自体を別途改めて行わないように制御することも可能である。
【０１４３】
以上、本実施の形態における符号化復号化装置３００は、通常の可変長復号動作による再生処理を行わない時には、算術符号を含まない復号化の変換のみで再生処理が可能となるため、ＳＤＲＡＭとのメモリアクセス量を減少させると共に、記録時刻に再生時刻を追いつかせることが可能となる。
【０１４４】
また、以上のように中間ストリームの選択を行うことによって、ＳＤＲＡＭとの無駄な中間ストリームの送受信を最低限に抑えると共に、追っかけ再生動作において記録時刻に再生時刻が追いつけるようになる。
【０１４５】
（実施の形態４）
次に、本発明に係わる実施の形態４について、図面を参照しながら説明する。
【０１４６】
本実施の形態における符号化復号化装置は、
ことを特徴とする。
【０１４７】
以上の点を踏まえて、本実施の形態における符号化復号化装置について説明する。
まず、本実施の形態における符号化復号化装置の構成について説明する。
【０１４８】
図１６は、本実施の形態における符号化復号化装置の構成を示すブロック図である。図１６に示されるように、符号化復号化装置４００は、実施の形態３における符号化復号化装置３００と比べて、選択制御部３０６の代わりに、選択制御部４０６を備える点が異なる。
【０１４９】
図１７に示されるように、選択制御部４０６は、一時停止動作における記録領域と再生領域の時間状態を表す模式図を表しており、  （ａ）は通常の記録状態、（ｂ）は一時停止した直後、（ｃ）は（ｂ）から少し時間が流れた時、（ｄ）は一時停止から、そこそこ、時間が経過した時のストリーム蓄積状態を、それぞれ表している。また、図１５と同様に、Ｒｅは蓄積しているストリームの記録位置を表しており、（ａ）から（ｄ）の横三本線は、第１記録領域１２１、第２記録領域３２２、および第１バッファ１１１のそれぞれにおけるストリームの記録状態を示している。そして、斜線枠、蜜点枠、疎点枠を用いて蓄積しているストリーム時間の位置が示されている。また、Ｐａは一時停止時刻を表している。
【０１５０】
まず、図１７（ａ）に示されるように、通常の記録状態では、第１記録領域１２１に最終ストリーム１４４が記録される。このとき、第１バッファ１１１は、記録にあたって必要な最低限の容量でＦＩＦＯ管理されている。このとき、レコーダを使用しているユーザは、ローカルデコード画像を視聴しているものとする。そこで、何か一時的に用事が発生したため、ユーザが今見ている場面を止めて数分後に続きが見たいと考えた場合に、一時停止の指示を行う。ただし、記録は引き続き行われているとする。
【０１５１】
図１７（ｂ）に示されるように、一時停止した直後の状態では、画像表示のために第１バッファ１１１に格納されている中間ストリームを使用する。ローカルデコード結果を使わない理由は、符号化処理が進んでいくためローカルデコード画像は消されてしまうからである。
【０１５２】
図１７（ｃ）に示されるように、一時停止から少し時間が進むと、第１バッファ１１１に格納されている中間ストリームの時間位置が分割される。これは、符号化のために必要なストリームと一時停止中の画像付近の再生に必要なストリームが存在するためである。
【０１５３】
図１７（ｄ）に示されるように、さらに一時停止時刻から時間が進んだ場合は、第２記録領域３２２と第１バッファ１１１に、一時停止時刻Ｐａよりも後の中間ストリームを残すだけでなく、一時停止時刻Ｐａ前の中間ストリームまで予め復号化しておき、蓄える。これは、ユーザが視聴を再開した場合に、一時停止より少し前の時刻位置から再生を開始したい場合のバック再生や、一時停止している画像付近の表示を進めたり戻したりすることを想定しているためである。
【０１５４】
なお、一時停止解除後に記録時刻に再生時刻が追いつくための動作は、実施の形態３で説明した動作と同じ処理で可能であり、一時停止時刻Ｐａ付近から再生時刻が外れると、一時停止時刻Ｐａの前後のストリーム蓄積領域を記録時刻Ｒｅ付近の中間ストリームの蓄積領域として管理を行う。
【０１５５】
なお、以上の動作は記録中のローカルデコード視聴に限った動作ではない。例えば、記録を行っていないテレビ放送の視聴の場合においても、一時停止前のストリームは存在しないため停止前の記録再生は不可能ではあるが、一時停止を行うことで録画を開始すれば、一時停止後のストリームの扱いについては同様の処理を行うことが可能となる。
【０１５６】
（実施の形態５）
さらに、上記の符号化復号化装置の応用例を説明する。
【０１５７】
図１８は、Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図である。同図に示されるように、ＡＶ処理部５００は、デジタル圧縮された音声及び画像を再生するＤＶＤレコーダやハードディスクレコーダなどのＡＶ処理部を示している。
【０１５８】
ストリームデータ５０１は、音声と画像のストリームデータを、画像信号５０２は、画像ストリームデータを、音声信号５０３は、音声ストリームデータをそれぞれ表している。バス５１０は、ストリームデータ、音声・画像を復号したデータなどを転送する。ストリーム入出力部５１１は、バス５１０と大容量蓄積デバイスとに接続し、ストリームデータ５０１を入出力する。ストリーム入出力部を表しており、一方はバス５１０に接続しており、他方は大容量蓄積デバイス５２１に接続している。画像符号化復号化部５１２は、バス５１０に接続し、画像の符号化及び復号化を行う。メモリ５１４は、ストリームデータ、符号化データ、復号化データなどが格納されるメモリである。
【０１５９】
ここで、画像符号化復号化部５１２は、図１に示される可変長符号化手段１０１、算術符号化部１０２、算術復号化部１０３、および可変長復号化手段１０４などを含む。ストリームデータ５０１は、図１などに示される最終ストリーム１４４、１４５を含む。さらに、メモリ５１４は、同じく図１などに示される第１バッファ１１１、第２バッファ１１２、第３バッファ１１３、第４バッファ１１４、および第５バッファ２１５または第５バッファ３１５の領域が含まれる。また、大容量蓄積デバイス１２０などの第１記録領域１２１、および大容量蓄積デバイス２２０などの第２記録領域２２２は、図１７に示される大容量蓄積デバイス５２１の中に含まれる。
【０１６０】
画像処理部５１６は、バス５１０に接続し、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部５１７は、画像処理部５１６で処理した画像ストリームデータ信号、または画像処理部５１６で処理をせずに通過だけさせた画像ストリームデータ信号を外部に画像信号５０２として出力する、また、外部からの画像信号５０２を取り込む。
【０１６１】
音声処理部５１８は、バス５１０に接続し、音声信号に対してプレ処理およびポスト処理を行う。音声入出力部５１９は、音声処理部５１８で処理した音声ストリームデータ信号、または音声処理部４１８で処理をせずに通過だけさせた音声ストリームデータ信号を外部に音声信号５０３として出力する、また、外部からの音声信号５０３を取り込む。また、ＡＶ制御部５２０は、ＡＶ処理部５００の全体制御を行う。
【０１６２】
符号化処理においては、最初に、画像信号５０２が画像入出力部５１７に入力され、音声信号５０３が音声入出力部５１９に入力される。
【０１６３】
まず、記録処理では、ＡＶ制御部５２０は、画像処理部５１６を制御して、画像入出力部５１７に入力された画像信号５０２を用いて、フィルタ処理や符号化のための特徴量抽出などを行わせ、処理を行わせて得られたデータを原画像ストリームデータとして、メモリ入出力部５１５を介してメモリ５１４に格納させる。次に、画像符号化復号化部５１２を制御して、メモリ５１４からメモリ入出力部５１５を介して画像符号化復号化部５１２に、原画像ストリームデータと参照画像ストリームデータを転送させ、逆に、画像符号化復号化部５１２からメモリ５１４に、画像符号化復号化部５１２で符号化された画像ストリームデータと局所復元データを転送させる。
【０１６４】
一方、ＡＶ制御部５２０は、音声処理部５１８を制御して、音声入出力部５１９に入力された音声信号５０３を用いて、フィルタ処理や符号化のための特徴量抽出などの処理を行わせ、処理を行わせて得られたデータを原音声ストリームデータとして、メモリ入出力部５１５を介してメモリ５１４に格納させる。次に、再びメモリ入出力部５１５を介してメモリ５１４から原音声ストリームデータを取り出させて符号化させ、再度、音声ストリームデータとしてメモリ５１４に格納させる。
【０１６５】
そして、ＡＶ制御部５２０は、符号化処理の最後に、画像ストリームデータと音声ストリームデータ、およびその他のストリーム情報を一つのストリームデータとして処理し、ストリーム入出力部５１１を介してストリームデータ５０１を出力し、光ディスクやハードディスクなどの大容量蓄積デバイス５２１に書き込む処理を行う。
【０１６６】
次に、追っかけ動作の再生処理では以下のような動作を行う。まず、光ディスクやハードディスクや半導体メモリなどの大容量蓄積デバイス５２１から、記録処理で蓄積しているデータの読み出しを行うことにより音声及び画像のストリームストリーム信号が、ストリーム入出力部５１１を介してストリーム信号５０１が入力される。そのストリーム信号５０１から画像ストリームデータは画像符号化復号化部５１２に入力され、音声ストリームデータは音声符号化復号化部５１３に入力される。
【０１６７】
画像符号化復号化部５１２によって復号化された画像ストリームデータはメモリ入出力部５１５を介して一時メモリ５１４に格納される。メモリ５１４に格納されたデータは画像処理部５１６でノイズ除去などの加工処理を行う。また、メモリ５１４に格納された画像ストリームデータは、再び画像符号化復号化部５１２において、画面間動き補償予測の参照ピクチャとして使用されることもある。
【０１６８】
また、音声符号化復号化部５１３によって復号化された音声ストリームデータはメモリ入出力部５１５を介して一時メモリＭｅｍに格納される。メモリＭｅｍに格納されたデータは音声処理部５１８で音響などの加工処理を行う。
【０１６９】
最後に、音声と画像の時間的な同期をとりながら、画像処理部５１６で加工処理したデータは画像入出力部５１７を介して５０２として出力されテレビ画面などに表示され、音声処理部５１８で加工処理したデータは音声入出力部５１９を介して５０３として出力されスピーカなどから出力される。
【０１７０】
追っかけ再生では、以上のような記録処理と再生処理を同時、もしくは、時分割の処理で行うことでマクロ的に見た場合に同時に行っているかのように全体制御を行う。
【０１７１】
なお、上記に示している実施の形態では、可変長符号化処理の中で生成する中間ストリームを残し、そこから可変長復号を行う処理を示したが、中間ストリームを残すのではなく、全く別の可変長符号化手段を用いて対応することも可能である。例えば、Ｈ．２６４規格では、ＣＡＢＡＣとは別に算術符号を含まないＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）の可変長符号化ツールも規定されているため、可変長符号化手段１と可変長符号化手段２を用いて可変長符号化処理を行うと同時に、ＣＡＶＬＣ対応する可変長符号化手段３も用いて符号化を行い、第２記録領域２２２に蓄え、さらに、ＣＡＶＬＣに対応する第３種可変長復号化機能を用いて復号化処理を行い、出力シンタックス１３２を生成することも可能である。
【０１７２】
例えば、図１９に示されるように、追っかけ再生する場合において、符号化復号化装置６００は、デジタル放送によって放送されたストリームデータやストリーム配信によって配信されたストリームデータを受信する。受信したストリームデータを、符号化復号化装置６００の復号化機能６０１（例えば、図４参照。）において復号化する。復号化して得られたストリームデータを、符号化復号化装置６００の符号化機能６０２（例えば、図３参照。）において符号化する。このとき、符号化復号化装置６００は、実施の形態２における符号化復号化装置のように、例えば、算術符号化処理のように、時間を要する処理を施して得られたストリームデータを第１記録領域１２１に書き込むとともに、ＣＡＶＬＣのストリームデータを第３記録領域６２２に書き込む。そして、記録・再生時刻の位置関係に基づいて、第１記録領域１２１および第３記録領域６２２のいずれかを選択部６４１で選択して、選択した方に記録されているストリームデータを、符号化復号化装置６００の復号化機能６０４（例えば、図４参照。）において復号化して、復号化して得られたピクチャデータを出力するとしてもよい。
【０１７３】
また、ＭＰＥＧ−２などの別規格で規定されているストリームや逐次的な処理が必要とならない独自のストリームを用いてもよく、さらに、ＭＰＥＧ−２などのデジタル放送を視聴中の場合には、ＣＡＢＡＣでの長時間記録処理とは別の符号化処理を行わずに受信するストリームを流用し、バッファを管理することも可能である。この場合でも、算術符号化処理は用いないため、ＳＤＲＡＭとのストリーム送受信を削減すると共に、追っかけ再生において、記録時刻に再生時刻を追いつかせることが可能となる。
【０１７４】
例えば、図２０に示されるように、追っかけ再生する場合において、符号化復号化装置７００は、デジタル放送によって放送されたＭＰＥＧ−２形式のストリームデータやストリーム配信されたＭＰＥＧ−２形式のストリームデータを受信する。受信したＭＰＥＧ−２形式のストリームデータを、符号化復号化装置７００の復号化機能７０１（例えば、図４参照。）において復号化する。復号化して得られたストリームデータを符号化復号化装置７００の符号化機能７０２（例えば、図３参照。）において符号化する。符号化したストリームデータを第１記録領域１２１に書き込むとともに、受信したＭＰＥＧ−２形式のストリームデータを、大容量蓄積デバイス７０３の第３記録領域７２２に書き込む。そして、記録・再生時刻の位置関係に基づいて、Ｈ．２６４用復号化機能７０４およびＭＰＥＧ−２用復号化機能７０５のいずれかを選択部６４１で選択して、選択した方で処理されて出力されたピクチャデータを出力する。このとき、第１記録領域１２１に記録されているＨ．２６４形式のストリームデータを、Ｈ．２６４用復号化機能７０４において処理を施し、処理を施して得られたピクチャデータを選択部７０６に出力する。また、第３記録領域７２２に記録されているＭＰＥＧ−２形式のストリームデータを、ＭＰＥＧ−２用復号化機能７０５において処理を施し、処理を施して得られたピクチャデータを選択部７０６に出力するとしてもよい。
【０１７５】
なお、図２１に示されるように、追っかけ再生する場合において、符号化復号化装置８００は、デジタル放送によって放送されたＣＡＶＬＣ形式のストリームデータやストリーム配信されたＣＡＶＬＣ形式のストリームデータを受信する。受信したＣＡＶＬＣ形式のストリームデータを、符号化復号化装置８００の復号化機能８０１（例えば、図４参照。）において復号化する。復号化して得られたストリームデータを符号化機能８０２（例えば、図３参照。）において符号化する。符号化したストリームデータを第１記録領域１２１に書き込むとともに、受信したＣＡＶＬＣ形式のストリームデータを、大容量蓄積デバイス８０３の第３記録領域８２２に書き込む。そして、記録・再生時刻の位置関係に基づいて、第１記録領域１２１および第３記録領域８２２のいずれかを選択部８４１で選択して、選択した方に記録されているストリームデータを復号化機能８０４（例えば、図４参照。）において復号化して、復号化して得られたピクチャデータを出力するとしてもよい。
【０１７６】
なお、ブロック図（図１、図１０、図１２、図１６など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。例えば、これらのブロック図における第１記録領域１２１、第２記録領域２２２（または、第２記録領域３２２。）、第１バッファ１１１、第２バッファ１１２、第３バッファ１１３、第４バッファ１１４、および第５バッファ２１５（または、第５バッファ３１５。）などが１チップ化されていてもよい。しかし、同図の記録領域はギガバイト単位の莫大なデータを蓄積する必要があるため、一般的には、ハードディスクやＤＶＤやメモリカードなどの大容量蓄積デバイスに含まれる特定の領域である。同様に、第１バッファ１１１などについても、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けする大容量のＳＤＲＡＭなどで実装するのが現時点では一般的である。しかし、技術の向上により、１パッケージ化や１チップ化されることも有り得る。また、バッファや記録領域以外に関しても、１チップで構成されるとしてもよいし、例えば、記録に関する機能で１チップ、再生に関する機能で１チップなどのように、複数のチップで構成されるとしてもよい。
【０１７７】
また、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１７８】
本発明の動符号化復号化装置は、画像の符号化と復号化の同時動作を行う上で、算術符号を含む処理を不要にすることができるので、算術復号処理ステップの削減やデータ転送量の削減をすることができる。従って、例えばＨ．２６４規格を用いたＤＶＤレコーダやハードディスクレコーダにおける追っかけ再生などを実現するために有効となる。
【図面の簡単な説明】
【０１７９】
【図１】本発明に係わる実施の形態１における符号化復号化装置の構成を示すブロック図
【図２】本発明に係わる実施の形態１における符号化復号化装置の構成を示すブロック図
【図３】本発明に係わる実施の形態１における符号化復号化装置（符号化機能）の構成を示すブロック図
【図４】本発明に係わる実施の形態１における符号化復号化装置（復号化機能）の構成を示すブロック図
【図５】ストリームの入出力の関係を示す模式図
【図６】ＣＰＢの管理状態を表す模式図
【図７】本発明に係わる実施の形態１における符号化復号化装置において実行される録画処理を示すフローチャート
【図８】本発明に係わる実施の形態１における符号化復号化装置において実行される再生処理を示すフローチャート
【図９】本発明に係わる実施の形態１における符号化復号化装置において実行される追っかけ再生処理を示すフローチャート
【図１０】本発明に係わる実施の形態２における符号化復号化装置の構成を示すブロック図
【図１１】本発明に係わる実施の形態２における符号化復号化装置において実行される追っかけ再生処理を示すフローチャート
【図１２】本発明に係わる実施の形態３における符号化復号化装置の構成を示すブロック図
【図１３】本発明に係わる実施の形態３における選択制御部において実行される選択制御処理を示すフローチャート
【図１４】中間ストリームを選択するにあたっての状態遷移図
【図１５】追っかけ再生における記録時刻と再生時刻との時間関係を示す模式図
【図１６】本発明に係わる実施の形態４における符号化復号化装置の構成を示すブロック図
【図１７】一時停止動作における記録時刻と再生時刻との時間関係を示す模式図
【図１８】Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図
【図１９】本発明に係わるその他の実施の形態における符号化復号化装置の構成を示すブロック図
【図２０】本発明に係わるその他の実施の形態における符号化復号化装置の構成を示すブロック図
【図２１】本発明に係わるその他の実施の形態における符号化復号化装置の構成を示すブロック図
【図２２】従来技術における符号化復号化装置（符号化機能）の構成を示すブロック図
【図２３】従来技術における符号化復号化装置（復号化機能）の構成を示すブロック図
【図２４】従来技術における符号化復号化処理のタイムチャート
【符号の説明】
【０１８０】
１００，２００，３００，４００              符号化復号化装置
１０１              可変長符号化部
１０２              算術符号化部
１０３              算術復号化部
１０４，２０４，３０４              可変長復号化部
１１１              第１バッファ
１１２              第２バッファ
１１３              第３バッファ
１１４              第４バッファ
１２０，２２０，３２０                大容量蓄積デバイス
１２１              第１記録領域
２１５，３１５              第５バッファ
２２２              第２記録領域
３０５              選択部
３０６，４０６      選択制御部
【図１】
0004440863.tif 000002
【図２】
0004440863.tif 000003
【図３】
0004440863.tif 000004
【図４】
0004440863.tif 000005
【図５】
0004440863.tif 000006
【図６】
0004440863.tif 000007
【図７】
0004440863.tif 000008
【図８】
0004440863.tif 000009
【図９】
0004440863.tif 000010
【図１０】
0004440863.tif 000011
【図１１】
0004440863.tif 000012
【図１２】
0004440863.tif 000013
【図１３】
0004440863.tif 000014
【図１４】
0004440863.tif 000015
【図１５】
0004440863.tif 000016
【図１６】
0004440863.tif 000017
【図１７】
0004440863.tif 000018
【図１８】
0004440863.tif 000019
【図１９】
0004440863.tif 000020
【図２０】
0004440863.tif 000021
【図２１】
0004440863.tif 000022
【図２２】
0004440863.tif 000023
【図２３】
0004440863.tif 000024
【図２４】
0004440863.tif 000025