(57)【要約】【課題】Ｈ．２６４規格のＣＡＢＡＣなど算術符号を利用する可変長符号化ツールを用いた符号化規格において、倍速再生や逆再生などの特殊再生のために動画像ストリームを復号する場合にも、算術符号を用いない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現する。【解決手段】算術符号を含んだストリーム形式の符号化規格の動画像復号化装置において、予め、第１種可変長復号化手段ｖｌｄ１が入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する。第１の記録制御手段Ｒｅｃ１は、前記算術復号が不要となった第１種ストリームデータのうち、特殊再生で必要となるキーフレームを第１の記録領域Ａｒｅａ１に記録する。復号時には、記録された算術復号が不要のキーフレームを利用するので、復号処理時間が短縮される。【選択図】図２
2008072182.tif 000002
【特許請求の範囲】
【請求項１】
算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化装置であって、
入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化手段と、
前記第１種可変長復号化手段により生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化手段と、
前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御手段と
を備えることを特徴とする動画像復号化装置。
【請求項２】
前記請求項１記載の動画像復号化装置において、
前記前記第１種可変長復号化手段により生成されて前記第１の記録領域に記録された特定データと、その特定データ以外の第１種ストリームデータとの何れか一方を選択する選択手段を有し、
前記第２種可変長復号化手段は、
前記選択手段により、前記第１種ストリームデータのうち前記特定データを前記第１の記録領域から受け、前記特定データ以外の第１種ストリームデータを前記第１種可変長復号化手段から受ける
ことを特徴とする動画像復号化装置。
【請求項３】
前記請求項１記載の動画像復号化装置において、
前記第１の記録制御手段は、
前記第１種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第１の記録領域に記録する
ことを特徴とする動画像復号化装置。
【請求項４】
前記請求項３記載の動画像復号化装置において、
前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生である
ことを特徴とする動画像復号化装置。
【請求項５】
前記請求項１記載の動画像復号化装置において、
前記第１の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータである
ことを特徴とする動画像復号化装置。
【請求項６】
前記請求項１記載の動画像復号化装置において、
前記第１種可変長復号化手段は、
通常再生における逐次的な復号化処理が行われない時間を利用して、前記入力ストリームデータを先読みして、前記第１種ストリームを生成する
ことを特徴とする動画像復号化装置。
【請求項７】
算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化装置であって、
入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化手段と、
前記第１種可変長復号化手段により生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、
前記第２種可変長復号化手段により生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御手段と、
前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御手段と
を備えることを特徴とする動画像符号化装置。
【請求項８】
前記請求項７記載の動画像符号化装置において、
前記第３の記録制御手段は、
前記第１種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第３の記録領域に記録する
ことを特徴とする動画像符号化装置。
【請求項９】
前記請求項８記載の動画像符号化装置において、
前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生である
ことを特徴とする動画像符号化装置。
【請求項１０】
前記請求項７記載の動画像符号化装置において、
前記第３の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータである
ことを特徴とする動画像符号化装置。
【請求項１１】
前記請求項７記載の動画像符号化装置において、
前記第２の記録制御手段が前記第２種ストリームデータを記録する第２の記録領域は、可搬な記録メディアに存在し、
前記第３の記録制御手段は、前記特定データを前記第３の記録領域に記録することをしない
ことを特徴とする動画像符号化装置。
【請求項１２】
前記請求項７記載の動画像符号化装置において、
前記第２の記録制御手段が前記第２種ストリームデータを記録する第２の記録領域は、非可搬な記録メディアに存在し、
前記第２の記録制御手段は、前記第３の記録制御手段が前記第３の記録領域に第１種ストリームデータとして記録した特定データについては、前記第２種ストリームデータとして前記第２の記録領域に記録しない
ことを特徴とする動画像符号化装置。
【請求項１３】
算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、
入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化手段と、
前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第４の記録領域に記録する第４の記録制御手段と、
前記入力ストリームデータをデータ変換せずにそのまま第５の記録領域に記録する第５の記録制御手段とを備え、
可搬の記録メディアのデータストリームを非可搬の記録メディアにコピーするに際して、前記第４の記録制御手段と前記第５の記録制御手段とを用いて、前記可搬の記録メディアのデータストリームを非可搬の記録メディアの前記第４の記録領域及び前記第５の記録領域にコピーする
ことを特徴とする動画像符号化復号化装置。
【請求項１４】
算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、
入力ストリームデータのうち算術符号化されていない特定のストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、
前記入力ストリームデータと前記第２種可変長符号化手段により生成された第２種ストリームデータとの何れか一方を選択し、１つのストリームデータとして第６の記録領域に記録する第６の記録制御手段とを備え、
非可搬の記録メディアから可搬の記録メディアにデータストリームをコピーするに際して、前記入力ストリームデータのうち算術符号化されていない特定のストリームデータを前記第２種ストリームデータとして前記可搬の記録メディアの第６の記録領域に記録する
ことを特徴とする動画像符号化復号化装置。
【請求項１５】
算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化方法であって、
入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御ステップと
を備えることを特徴とする動画像復号化方法。
【請求項１６】
前記請求項１５記載の動画像復号化方法において、
前記第２種可変長復号化ステップでは、
出力データの生成に際し、前記第１種ストリームデータのうち前記特定データについては前記第１の記録領域から受け、前記特定データ以外の第１種ストリームデータについては前記第１種可変長復号化ステップで生成されたデータストリームを受けて、算術復号化処理を含まない第２種可変長復号化処理を施す
ことを特徴とする動画像復号化方法。
【請求項１７】
算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化方法であって、
入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、
前記第２種可変長復号化ステップで生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御ステップと
を備えることを特徴とする動画像符号化方法。
【請求項１８】
前記請求項１記載の動画像復号化装置において、
前記第１種可変長復号化手段、前記第２種可変長復号化手段、及び前記第１の記録制御手段は、集積回路化されている
ことを特徴とする動画像復号化装置。
【請求項１９】
前記請求項７記載の動画像復号化装置において、
前記第１種可変長符号化手段、前記第２種可変長符号化手段、前記第２の記録制御手段、及び前記第３の記録制御手段は、集積回路化されている
ことを特徴とする動画像復号化装置。
【請求項２０】
算術符号を用いた可変長符号を含む動画像信号を復号化するようにコンピュータに実行させる動画像復号化プログラムであって、
入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御ステップと
を備えることを特徴とする動画像復号化プログラム。
【請求項２１】
算術符号を用いた可変長符号を含んで動画像信号を符号化するようにコンピュータに実行させる動画像符号化プログラムであって、
入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、
前記第２種可変長復号化ステップで生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御ステップと、
前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御ステップと
を備えることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、算術符号などの可変長符号化ツールを用いた動画像ストリームに関して、動画像の早送りや逆再生などの特殊再生を滑らかに行う動画像符号化復号化装置に関するものである。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、前記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、前記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、更に動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、前記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的ではない。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Integrated Services Digital Network）によって既に実用化されているが、テレビ、カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ‐Ｔ（国際電気通信連合  電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ‐１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ‐１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ‐１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、更なる高画質化の要求を満たすべく規格化されたＭＰＥＧ‐２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。更に現状では、ＭＰＥＧ‐１、ＭＰＥＧ‐２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ‐１、ＭＰＥＧ‐２を上回る圧縮率を達成し、更に物体単位で符号化、復号化、操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ‐４が規格化された。ＭＰＥＧ‐４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【０００６】
更に、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔとが共同で、より高圧縮率の画像符号化方式として、ＭＰＥＧ‐４ＡＶＣ及びＨ．２６４が標準化されている。Ｈ．２６４規格は、現在ＨＤ（High Definition）画像などに適したＨｉｇｈ Ｐｒｏｆｉｌｅ対応の改正規格まで拡張されている。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ‐２やＭＰＥＧ‐４と同様にディジタル放送、ＤＶＤ（Digital Versatile Disk）プレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がってきている。
【０００７】
一般に、動画像の符号化では、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレーム若しくはフィールドを意味する。また、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造又はフィールド構造として処理したりすることができる。
【０００８】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し、画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは、表示時間が前方若しくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は、符号化の基本単位であるマクロブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。但し、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。
【０００９】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより、予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することにより、データ量を削減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【００１０】
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
【００１１】
図１５は、従来の動画像符号化装置の構成を示すブロック図である。この動画像符号化装置は、面内予測評価器ＩＥと、面内予測器ＩＰＤと、動き検出器ＭＥと、マルチフレームメモリＦｒｍＭｅｍと、減算器Ｓｕｂ１と、減算器Ｓｕｂ２と、動き補償器ＭＣと、符号化器Ｅｎｃと、加算器Ａｄｄ１と、動きベクトルメモリＭＶＭｅｍと、動きベクトル予測器ＭＶＰｒｅｄとを有している。
【００１２】
Ｉピクチャなどの画面内予測では、面内予測評価器ＩＥはマルチフレームメモリＦｒｍＭｅｍから出力される面内予測評価画素ＩＥｐｅｌを画面信号Ｖｉｎと比較し、面内予測方向ＩＤｉｒを出力する。面内予測方向ＩＤｉｒは、画面内でいかなる参照をするかを特定する識別信号である。
【００１３】
一方、マルチフレームメモリＦｒｍＭｅｍは、面内予測方向ＩＤｉｒで示される画素を面内予測参照画素ＩＰＤＰｅｌ１として出力し、面内予測器ＩＰＤは面内予測方向ＩＤｉｒに従った参照画素を生成して面内予測参照画素ＩＰＤｐｅｌ２を出力する。減算器Ｓｕｂ１は、画面信号Ｖｉｎから面内予測参照画素ＩＰＤｐｅｌ２を減算し、画面予測誤差ＤｉｆＰｅｌを出力する。
【００１４】
Ｐピクチャ若しくはＢピクチャなどの画面間予測では、動き検出器ＭＥは、マルチフレームメモリＦｒｍＭｅｍから出力される動き検出参照画素ＭＥｐｅｌを画面信号Ｖｉｎと比較し、動きベクトルＭＶと参照フレーム番号ＲｅｆＮｏを出力する。参照フレーム番号ＲｅｆＮｏは、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルＭＶは、動きベクトルメモリＭＶＭｅｍに一時的に記憶された後に近傍動きベクトルＰｒｅｖＭＶとして出力され、動きベクトル予測器ＭＶＰｒｅｄにて予測動きベクトルＰｒｅｄＭＶを予測するために参照される近傍動きベクトルＰｒｅｖＭＶとして使用される。減算器Ｓｕｂ２は、動きベクトルＭＶから予測動きベクトルＰｒｅｄＭＶを減算し、その差を動きベクトル予測差分ＤｉｆＭＶとして出力する。
【００１５】
一方、マルチフレームメモリＦｒｍＭｅｍは、参照フレーム番号ＲｅｆＮｏ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣＰｅｌ１として出力し、動き補償器ＭＣは、小数画素精度の参照画素を生成して参照画面画素ＭＣｐｅｌ２を出力する。減算器Ｓｕｂ１は、画面信号Ｖｉｎから参照画面画素ＭＣｐｅｌ２を減算し、画面予測誤差ＤｉｆＰｅｌを出力する。
【００１６】
また、符号化器Ｅｎｃは、画面予測誤差ＤｉｆＰｅｌと面内予測方向ＩＤｉｒと動きベクトル予測差分ＤｉｆＭＶと参照フレーム番号ＲｅｆＮｏを可変長符号化し、符号化信号Ｓｔｒを出力する。尚、符号化時に画面予測誤差の復号化結果である復号画面予測誤差ＲｅｃＤｉｆＰｅｌも同時に出力する。復号画面予測誤差ＲｅｃＤｉｆＰｅｌは画面予測誤差ＤｉｆＰｅｌに符号化誤差が重畳されたものであり、画面間予測復号化装置で符号化信号Ｓｔｒを復号化して得られる画面間予測誤差と一致する。
【００１７】
加算器Ａｄｄ１は、参照画面画素ＭＣｐｅｌ２に復号画面予測誤差ＲｅｃＤｉｆＰｅｌを加算し、復号画面ＲｅｃＰｅｌとしてマルチフレームメモリＦｒｍＭｅｍに記憶される。但し、マルチフレームメモリＦｒｍＭｅｍの容量を有効に利用するため、マルチフレームメモリＦｒｍＭｅｍに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリＦｒｍＭｅｍに記憶する必要がない画面の復号画面ＲｅｃＰｅｌは、マルチフレームメモリＦｒｍＭｅｍに記憶されない。
【００１８】
図１６は、従来の動画像復号化装置の構成を示すブロック図である。同図において、図１５と同一符号のものは同一のものを示し、その説明を省略する。
【００１９】
図１６に示す従来の動画像復号化装置は、図１５に示す従来の動画像予測符号化装置で符号化した符号化信号Ｓｔｒを復号化して復号画面信号Ｖｏｕｔを出力するものであり、マルチフレームメモリＦｒｍＭｅｍと、面内予測器ＩＰＤと、動き補償器ＭＣと、加算器Ａｄｄ１と、加算器Ａｄｄ２と、動きベクトルメモリＭＶＭｅｍと、動きベクトル予測器ＭＶＰｒｅｄと、復号化器Ｄｅｃとを有している。
【００２０】
復号化器Ｄｅｃは、符号化信号Ｓｔｒを復号化し、復号画面予測誤差ＲｅｃＤｉｆＰｅｌ、面内予測方向ＩＤｉｒ、動きベクトル予測差分ＤｉｆＭＶ、参照フレーム番号ＲｅｆＮｏを出力する。加算器Ａｄｄ２は、動きベクトル予測器ＭＶＰｒｅｄから出力される予測動きベクトルＰｒｅｄＭＶと動きベクトル予測差分ＤｉｆＭＶを加算し、動きベクトルＭＶを復号する。
【００２１】
画面内予測では、マルチフレームメモリＦｒｍＭｅｍは、面内予測方向ＩＤｉｒで示される画素を面内予測画素ＩＰＤｐｅｌ１として出力し、面内予測器ＩＰＤは、面内予測方向ＩＤｉｒに従った参照画素を生成して面内予測参照画素ＩＰＤｐｅｌ２を出力する。加算器Ａｄｄ１は、面内予測参照画素ＩＰＤｐｅｌ２に復号画面予測誤差ＲｅｃＤｉｆＰｅｌを加算し、復号画面ＲｅｃＰｅｌとしてマルチフレームメモリＦｒｍＭｅｍに記憶される。
【００２２】
一方、画面間予測では、マルチフレームメモリＦｒｍＭｅｍは、参照フレーム番号ＲｅｆＮｏ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣｐｅｌ１として出力し、動き補償器ＭＣは、小数画素精度の参照画素を生成して参照画面画素ＭＣｐｅｌ２を出力する。加算器Ａｄｄ１は、参照画面画素ＭＣｐｅｌ２に復号画面予測誤差ＲｅｃＤｉｆＰｅｌを加算し、復号画面ＲｅｃＰｅｌとしてマルチフレームメモリＦｒｍＭｅｍに記憶される。
【００２３】
但し、マルチフレームメモリＦｒｍＭｅｍの容量を有効に利用するため、マルチフレームメモリＦｒｍＭｅｍに記憶されている画面の領域は不要な場合は開放され、また、マルチフレームメモリＦｒｍＭｅｍに記憶する必要がない画面の復号画面ＲｅｃＰｅｌはマルチフレームメモリＦｒｍＭｅｍに記憶されない。以上のようにして、復号画面信号Ｖｏｕｔ、すなわち復号画面ＲｅｃＰｅｌを符号化信号Ｓｔｒから正しく復号化することができる。
【００２４】
次に、動画像の倍速再生や逆再生などの特殊再生の方法を図１７及び図１８を用いて説明する。図１７は、従来の倍速再生の状態を表す模式図である。図１７（ａ）において、Ｐ１７０１は、１ＧＯＰ（Group Of Picture）の通常再生の復号処理タイミングを表している。この図では、１ＧＯＰが１５フレームで構成されており、Ｉ若しくはＰピクチャと次のＰピクチャの出現間隔が３になっている例を示したものである。尚、各ピクチャの復号化処理に必要な時間は簡単のため、同時間となっていることを想定している。Ｐ１７０２は、画面に表示されるタイミングを表している。Ｂピクチャは、一般に前方と後方のピクチャを参照して構成するため、復号タイミングと表示タイミングの順序が異なっている。
【００２５】
ところで、倍速再生を行う場合、実際に所定の倍速で復号した後に表示も倍速で行う、若しくは表示の時にピクチャを間引くなど様々な手法が存在する。しかしながら、前述の方法では動画像復号化装置の処理性能を、想定する倍速性能まで向上させる必要があり、回路コストが増加したり消費電力が増加したりするため、図１７（ｂ）及び（ｃ）に示すような実装手法が取られることがある。図１７（ｂ）に示した符号Ｐ１７０３は、Ｂピクチャを復号せずに処理するタイミングを表しており、Ｐピクチャ間に存在する２枚のＢピクチャを復号しないＩＰ再生を行うことによって復号時間の短縮を図り、画面表示も同様にＢピクチャを表示しないようにすることで３倍速を実現している。
【００２６】
同様に、図１７（ｃ）に示した符号Ｐ１７０４は、Ｉピクチャのみを復号することで、画面表示の滑らかさは期待できないが、１５倍速の再生速度が実現できることを表している。
【００２７】
次に、図１７で示したようなＧＯＰ構造のストリームを逆再生する場合を考える。マルチフレームメモリＦｒｍＭｅｍの容量に通常の復号処理で使用するバッファサイズ程度の制限が加わっている場合、逆再生には手間のかかる複雑な処理が必要となる。図１８は、従来の逆再生の状態を表す模式図である。画面表示順で、Ｐ１４、Ｂ１３、Ｂ１２、Ｐ１１、Ｂ１０、Ｂ９、Ｐ８、Ｂ７、Ｂ６、Ｐ５、Ｂ４、Ｂ３、Ｉ２、Ｂ１、Ｂ０となるような処理を時間の流れに従って、図１８（ａ）〜（ｅ）で示している。
【００２８】
図１８（ａ）は、符号Ｐ１８０２で示すＰ１４、Ｂ１３、Ｂ１２の３枚を表示するための復号化処理を示している。Ｐ１８０１で示すように、Ｂ１３とＢ１２のピクチャを復号するためには、Ｐ１１とＰ１４のピクチャが必要となるため、Ｉ２、Ｐ５、Ｐ８、Ｐ１１、Ｐ１４の順に復号する必要がある。
【００２９】
同様に、図１８（ｂ）は、Ｐ１８０４で示すＰ１１、Ｂ１０、Ｂ９の３枚を表示するための復号化処理を示している。符号Ｐ１８０３で示すように、Ｂ１０とＢ９のピクチャを復号するためには、Ｐ８とＰ１１のピクチャが必要となるため、Ｉ２、Ｐ５、Ｐ８、Ｐ１１の順に復号する必要がある。図１８（ｃ）は、符号Ｐ１８０６で示すＰ８、Ｂ７、Ｂ６の３枚を表示するための復号化処理を示している。符号Ｐ１８０５で示すように、Ｂ７とＢ６のピクチャを復号するためには、Ｐ５とＰ８のピクチャが必要となるため、Ｉ２、Ｐ５、Ｐ８の順に復号する必要がある。図１８（ｄ）は、符号Ｐ１８０８で示すＰ５、Ｂ４、Ｂ３の３枚を表示するための復号化処理を示している。符号Ｐ１８０７で示すように、Ｂ４とＢ３のピクチャを復号するためには、Ｉ２とＰ５のピクチャが必要となるため、Ｉ２、Ｐ５の順に復号する必要がある。
【００３０】
最後に、図１８（ｅ）は、符号Ｐ１８１０で示すＩ２、Ｂ１、Ｂ０の３枚を表示するための復号化処理を示している。但し、符号Ｐ１８０９で示しているＩ２、Ｂ０、Ｂ１の復号処理以外に、実際には、１つ時間的に過去のＧＯＰのＩＰ再生を行い、Ｉ２の直前のＰピクチャを生成しておく必要がある。
【００３１】
以上のように、図１８（ａ）〜（ｅ）の処理を行うことによって、マルチフレームメモリＦｒｍＭｅｍの容量が制限されている時に、動画像の逆再生を実現する。但し、同じキーフレームを何回も復号する必要があるため、全フレームを表示する場合には通常再生の２倍程度の復号処理性能が必要である。以上のような従来技術は、例えば特許文献１や非特許文献１に記載されている。
【特許文献１】特開２００４−１３５２５１号公報
【非特許文献１】ISO/IEC 14496-10, International Standard: “Information technology - Coding of audio-visual objects - Part 10 : Advanced video coding"(2004-10-01)
【発明の開示】
【発明が解決しようとする課題】
【００３２】
ところで、Ｈ．２６４では、図１５に示した符号化器Ｅｎｃや、図１６に示した復号化器Ｄｅｃで使用する可変長符号化ツールとして、算術符号（ＣＡＢＡＣ）が規定されている。算術符号を用いた化可変長復号化を行う場合、その特質としてシンタックス（図１５や図１６では、面内予測方向ＩＤｉｒや画面予測誤差ＤｉｆＰｅｌや動きベクトル予測差分ＤｉｆＭＶや参照フレーム番号ＲｅｆＮｏ）を構成するビット毎に逐次的な符号化又は復号化の処理が必要となる。
【００３３】
ビット毎の逐次的な処理では、複数のビット（例えば、動きベクトル予測差分ＤｉｆＭＶなどを構成する複数のビット（＝シンタックス））を一括で処理することが出来ないため、処理性能を向上することが困難である。このため、各ピクチャに割り当てられているビット量に比例して処理時間がかかることとなる。
【００３４】
＜倍速再生時の課題＞
図１９は、算術符号を含むストリームの倍速再生の課題を表す模式図である。従来、ＭＰＥＧなどでは、ピクチャの種類によって割当てビット量を変更している。つまり、参照されるＩピクチャやＰピクチャなどのキーフレーム、中でもＩピクチャに符号量を多く割当て、その分、Ｂピクチャの符号量を減らすことによって、全体的な画質を向上させることを考える。図１９（ａ）は、Ｉ、Ｐ、Ｂの各ピクチャに対する符号化ビット量を例えば５：３：１とした場合の通常再生の復号タイミングを表したものである。図１９（ａ）において、符号Ｐ１９０１は算術復号処理を含む第１種可変長復号化処理を行うタイミング、符号Ｐ１９０２はその後の算術復号処理を含まない第２種可変長復号化処理を行うタイミング、符号Ｐ１９０３は復号した結果の画面表示を行うタイミングを各々示している。第１種可変長復号化処理は、ビット毎の逐次的な復号処理なので大体割当てビット量の比に比例して復号時間がかかり、第２種可変長復号処理は複数ビットをまとめたシンタックス毎の処理ができるため、ビット量に比例せず復号処理を行うことが可能である。簡単のため、第２種可変長復号処理のタイミングは何れのピクチャでも一定の時間で処理できるものと仮定している。
【００３５】
但し、本説明では、簡単のため、１ＧＯＰ時間で第１種可変長復号処理が終了しているように示しているが、実際には第１種可変長復号処理が１ＧＯＰ以上の処理期間が必要となる場合もある。
【００３６】
次に、図１９（ｂ）は、図１７（ｂ）と同様に、Ｂピクチャの復号を行わないＩＰ再生により３倍速を目指した処理タイミングを示している。しかしながら、ＩＰ再生を行う場合、Ｐ１９０４に示した通り、第１種可変長復号化処理に必要な時間が短いＢピクチャの復号処理のみを実行しないため、１．６倍程度（＝（５＋３×４＋１×１０）／（５＋３×４））の倍速性能しか実現できない見積りとなる。結果として、符号Ｐ１９０５のタイミング図で示すように、第２種可変長復号化処理では、Ｉ、Ｐピクチャの算術符号を含む第１種可変長復号化処理の完了を待つ必要があって、その待ち期間に等しい処理不能時間が発生してしまい、全体的な処理効率も低下してしまう。
【００３７】
同様に、図１９（ｃ）は、図１７（ｃ）と同様にＢピクチャの復号を行わないＩのみの再生により１５倍速を目指した処理タイミングを示している。しかしながら、Ｉのみの再生を行う場合、符号Ｐ１９０６に示した通り、第１種可変長復号化処理に必要な時間が短いＢピクチャとＰピクチャの復号処理を実行しないため、５．４倍程度（＝（５＋３×４＋１×１０）／５）の倍速性能しか実現できない。結果として符号Ｐ１９０６のタイミング図で示すように、更に第２種可変長復号化処理では前記と同様に処理不能時間が発生してしまい、全体的な処理効率も更に低下する。
【００３８】
従って、Ｈ．２６４規格のＣＡＢＡＣなど算術符号を利用する可変長符号化ツールを用いた符号化規格において、特殊再生のために動画像ストリームを復号する場合、復号化処理装置の性能を格段に高めないと、ＩＰピクチャ再生やＩピクチャのみの再生を行ったとしても、算術符号を用いない従来のような特殊再生性能を得られることができない。
【００３９】
＜逆再生時の課題＞
次に、逆再生の場合に生じる課題を図２０を用いて説明する。図２０は、算術符号を含むストリームの逆再生の課題を表す模式図である。図２０（ａ）は、従来の逆再生を行う場合のタイミングを表しており、図２０（ｂ）は、算術符号を含む第１種可変長復号処理のタイミングを示している。
【００４０】
図２０（ａ）の符号Ｐ２００１〜Ｐ２００５は、図１８（ａ）〜（ｅ）から実際に復号に使わないピクチャを除いて記載したものであり、処理タイミングとしては、符号Ｐ２００１〜符号Ｐ２００５の順に繋がっている。マルチフレームメモリＦｒｍＭｅｍの管理フレーム枚数に通常の復号処理を行うよりも十分に余裕がある場合は、同じフレームを何回も復号する必要はないが、通常はフレーム枚数には限りがあるため、何度も同じキーフレームの復号処理が必要である。
【００４１】
同図（ａ）に示しているように、ＧＯＰサイズが１５でＩ若しくはＰピクチャと次のＰピクチャの間隔が３枚の時、逆再生時には３０枚のフレームの復号処理が必要となる。つまり、２倍（＝３０／１５）の処理能力があれば滑らかな画面表示が可能となることが分かる
一方、図２０（ｂ）は、算術復号を含む第１種可変長復号処理のタイミングを表しており、処理順序は従来の図２０（ａ）と変わりはないが、何回も復号処理が必要となるキーフレームはビット割当量が多いため、従来の逆再生時の処理時間と比べてキーフレームの算術復号処理時間が長くなってしまう。このため、全体的に処理時間が増大する。ビット割当て比をＩ：Ｐ：Ｂ＝５：３：１とした場合、約３倍（＝（５×６＋３×１５＋１×１０）／（５×１＋３×４＋１×１０））の算術復号処理の能力が必要となるが、前述の通りビット毎の逐次的な復号処理が必要なため、簡単に処理能力を向上させるのは困難である。
【００４２】
本発明の目的は、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現することにある。
【課題を解決するための手段】
【００４３】
前記の目的を達成するため、本発明では、算術符号を用いた可変長符号を含んだ動画像信号の符号化では、動画像信号に対して算術符号化処理を含まない可変長符号化をし、その後に算術符号化処理を含んだ可変長符号化を行うことから、その算術符号化前の所定の一部の信号を予め記録しておき、その後の復号化処理に際して、そのような算術符号化前の信号を利用する。また、算術符号を用いた可変長符号の動画像信号の復号化では、先ず、算術復号化処理を含んだ可変長復号を行い、その後に算術復号化処理を含まない可変長復号化を行うことから、算術復号化処理後の所定の一部の信号を生成して予め記録しておき、その後の実際の復号化処理に際して、そのような算術復号化後の信号を利用する。これにより、算術復号の際のビット毎の逐次的な復号処理を不要にして、復号処理時間を短縮する。
【００４４】
具体的に、請求項１記載の発明の動画像復号化装置は、算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化手段と、前記第１種可変長復号化手段により生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化手段と、前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御手段とを備えることを特徴とする。
【００４５】
請求項２記載の発明は、前記請求項１記載の動画像復号化装置において、前記前記第１種可変長復号化手段により生成されて前記第１の記録領域に記録された特定データと、その特定データ以外の第１種ストリームデータとの何れか一方を選択する選択手段を有し、前記第２種可変長復号化手段は、前記選択手段により、前記第１種ストリームデータのうち前記特定データを前記第１の記録領域から受け、前記特定データ以外の第１種ストリームデータを前記第１種可変長復号化手段から受けることを特徴とする。
【００４６】
請求項３記載の発明は、前記請求項１記載の動画像復号化装置において、前記第１の記録制御手段は、前記第１種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第１の記録領域に記録することを特徴とする。
【００４７】
請求項４記載の発明は、前記請求項３記載の動画像復号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする。
【００４８】
請求項５記載の発明は、前記請求項１記載の動画像復号化装置において、前記第１の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする。
【００４９】
請求項６記載の発明は、前記請求項１記載の動画像復号化装置において、前記第１種可変長復号化手段は、通常再生における逐次的な復号化処理が行われない時間を利用して、前記入力ストリームデータを先読みして、前記第１種ストリームを生成することを特徴とする。
【００５０】
請求項７記載の発明の動画像符号化装置は、算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化装置であって、入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化手段と、前記第１種可変長復号化手段により生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、前記第２種可変長復号化手段により生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御手段と、前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御手段とを備えることを特徴とする。
【００５１】
請求項８記載の発明は、前記請求項７記載の動画像符号化装置において、前記第３の記録制御手段は、前記第１種ストリームデータの中から、特殊再生で用いるデータを、特定データとして選択して第３の記録領域に記録することを特徴とする。
【００５２】
請求項９記載の発明は、前記請求項８記載の動画像符号化装置において、前記特殊再生は、倍速再生若しくは逆再生、又はサムネイル動画再生であることを特徴とする。
【００５３】
請求項１０記載の発明は、前記請求項７記載の動画像符号化装置において、前記第３の記録制御手段が選択記録する前記特定データは、他のピクチャから参照される参照画像となるピクチャを含むデータであることを特徴とする。
【００５４】
請求項１１記載の発明は、前記請求項７記載の動画像符号化装置において、前記第２の記録制御手段が前記第２種ストリームデータを記録する第２の記録領域は、可搬な記録メディアに存在し、前記第３の記録制御手段は、前記特定データを前記第３の記録領域に記録することをしないことを特徴とする。
【００５５】
請求項１２記載の発明は、前記請求項７記載の動画像符号化装置において、前記第２の記録制御手段が前記第２種ストリームデータを記録する第２の記録領域は、非可搬な記録メディアに存在し、前記第２の記録制御手段は、前記第３の記録制御手段が前記第３の記録領域に第１種ストリームデータとして記録した特定データについては、前記第２種ストリームデータとして前記第２の記録領域に記録しないことを特徴とする。
【００５６】
請求項１３記載の発明の動画像符号化復号化装置は、算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化手段と、前記第１種可変長復号化手段により生成された第１種ストリームデータの中から特定データのみを選択して第４の記録領域に記録する第４の記録制御手段と、前記入力ストリームデータをデータ変換せずにそのまま第５の記録領域に記録する第５の記録制御手段とを備え、可搬の記録メディアのデータストリームを非可搬の記録メディアにコピーするに際して、前記第４の記録制御手段と前記第５の記録制御手段とを用いて、前記可搬の記録メディアのデータストリームを非可搬の記録メディアの前記第４の記録領域及び前記第５の記録領域にコピーすることを特徴とする。
【００５７】
請求項１４記載の発明の動画像符号化復号化装置は、算術符号を用いた可変長符号を含んだ動画像信号を復号化し、その後に符号化する動画像符号化復号化装置であって、入力ストリームデータのうち算術符号化されていない特定のストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化手段と、前記入力ストリームデータと前記第２種可変長符号化手段により生成された第２種ストリームデータとの何れか一方を選択し、１つのストリームデータとして第６の記録領域に記録する第６の記録制御手段とを備え、非可搬の記録メディアから可搬の記録メディアにデータストリームをコピーするに際して、前記入力ストリームデータのうち算術符号化されていない特定のストリームデータを前記第２種ストリームデータとして前記可搬の記録メディアの第６の記録領域に記録することを特徴とする。
【００５８】
請求項１５記載の発明の動画像復号化方法は、算術符号を用いた可変長符号を含む動画像信号を復号化する動画像復号化方法であって、入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御ステップとを備えることを特徴とする。
【００５９】
請求項１６記載の発明は、前記請求項１５記載の動画像復号化方法において、前記第２種可変長復号化ステップでは、出力データの生成に際し、前記第１種ストリームデータのうち前記特定データについては前記第１の記録領域から受け、前記特定データ以外の第１種ストリームデータについては前記第１種可変長復号化ステップで生成されたデータストリームを受けて、算術復号化処理を含まない第２種可変長復号化処理を施すことを特徴とする。
【００６０】
請求項１７記載の発明の動画像符号化方法は、算術符号を用いた可変長符号を含んで動画像信号を符号化する動画像符号化方法であって、入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、前記第２種可変長復号化ステップで生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御ステップとを備えることを特徴とする。
【００６１】
請求項１８記載の発明は、前記請求項１記載の動画像復号化装置において、前記第１種可変長復号化手段、前記第２種可変長復号化手段、及び前記第１の記録制御手段は、集積回路化されていることを特徴とする。
【００６２】
請求項１９記載の発明は、前記請求項７記載の動画像復号化装置において、前記第１種可変長符号化手段、前記第２種可変長符号化手段、前記第２の記録制御手段、及び前記第３の記録制御手段は、集積回路化されていることを特徴とする。
【００６３】
請求項２０記載の発明の動画像復号化プログラムは、算術符号を用いた可変長符号を含む動画像信号を復号化するようにコンピュータに実行させる動画像復号化プログラムであって、入力ストリームデータに対して、算術復号化処理を含む第１種可変長復号化処理を施して第１種ストリームデータを生成する第１種可変長復号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術復号化処理を含まない第２種可変長復号化処理を施して出力データを生成する第２種可変長復号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第１の記録領域に記録する第１の記録制御ステップとを備えることを特徴とする。
【００６４】
請求項２１記載の発明の動画像符号化プログラムは、算術符号を用いた可変長符号を含んで動画像信号を符号化するようにコンピュータに実行させる動画像符号化プログラムであって、入力ストリームデータに対して、算術符号化処理を含まない第１種可変長符号化処理を施して第１種ストリームデータを生成する第１種可変長符号化ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータに対して、算術符号化処理を含む第２種可変長符号化処理を施して第２種ストリームデータを生成する第２種可変長符号化ステップと、前記第２種可変長復号化ステップで生成された第２種ストリームデータを第２の記録領域に記録する第２の記録制御ステップと、前記第１種可変長復号化ステップで生成された第１種ストリームデータの中から特定データのみを選択して第３の記録領域に記録する第３の記録制御ステップとを備えることを特徴とする。
【００６５】
以上により、請求項１〜１２、１５〜２１記載の発明では、算術復号化処理を含む第１種可変長復号化処理が施された第１種ストリームデータのうち特殊データ、例えば特殊再生を行う場合に必要となるキーフレームが既に記録領域に記録されて存在している。従って、倍速再生や逆再生などの特殊再生を行う際には、これ等のキーフレームについては、算術復号化処理で必要となるビット毎の逐次的な処理が不要となるので、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。
【００６６】
特に、請求項６記載の発明では、特殊再生を行う際に必要となるキーフレーム（特殊データ）については、実際に必要となる再生タイミング以前に算術復号処理を行って、予め、第１種ストリームデータとして準備される。従って、このようなキーフレームが第１種ストリームデータとして常に記録領域に存在する可能性が高くなるので、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生がより確実に実現される。
【００６７】
また、請求項１１記載の発明では、自己機による再生以外の用途では、符号化規格に従ったストリームのみを生成するので、他機種や他社製品との互換再生を実現しつつ、自己機での録画再生の場合には、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。
【００６８】
更に、請求項１２記載の発明では、ＨＤＤ等の非可搬な記録メディアが２つの記録領域を有する場合に、特殊再生を行う際に必要となるキーフレーム（特殊データ）が既に算術復号処理の不要である第１種ストリームデータとして一方の記録領域に記録されたときには、このキーフレームは第２種ストリームデータとして他方の記録領域には重複して記録されない。従って、記録領域を効率的に用いつつ、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生が実現されることになる。
【００６９】
加えて、請求項１３記載の発明では、ＤＶＤなどの可搬な記録メディアからＨＤＤなどの非可搬な記録メディアにデータストリームをコピーする場合に、特殊再生を行う時に必要となるキーフレーム等の特殊データについては、第４の記録制御手段によって、算術復号処理が不要な第１種ストリームデータにまで変換した状態で記録領域に記録される。従って、例えばＤＶＤからＨＤＤへのデータストリームのコピー後、このＨＤＤからの動画像再生時には、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、滑らかな特殊再生が実現される。
【００７０】
更に加えて、請求項１４記載の発明では、特殊再生を行う際に必要となるキーフレーム等の特殊データを算術復号化処理した第１種ストリームデータを記録するＨＤＤなどの非可搬の記録メディアが存在する場合に、このＨＤＤ等からＤＶＤなどの可搬の記録メディアにデータストリームをコピーする際には、前記キーフレーム等の特殊データについては、第６の記録制御手段によって、算術復号処理が不要な第２種ストリームデータにまで変換された状態でＤＶＤなどの可搬の記録メディア内の記録領域に記録される。従って、符号化規格外のストリームとなっていたものを、符号化規格に従ったストリームとしてコピーすることが可能となる。よって、ストリームコピー後の可搬記録メディアが他機種や他社製品と互換再生ができることを保証しつつ、自己機のＨＤＤ等を用いた録画再生時は、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間が短縮されて、滑らかな特殊再生が実現される。
【発明の効果】
【００７１】
以上説明したように、請求項１〜１２、１５〜２１記載の発明によれば、例えば特殊再生を行う場合に必要となるキーフレームについては、算術復号化処理で必要となるビット毎の逐次的な処理を不要としたので、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、滑らかな特殊再生を実現することが可能である。
【００７２】
特に、請求項６記載の発明によれば、特殊再生を行う際に必要となるキーフレームについて、実際に必要となる再生タイミング以前に算術復号処理を行って、予め第１種ストリームデータとして準備したので、滑らかな特殊再生がより確実に実現できる。
【００７３】
また、請求項１１記載の発明によれば、自己機による再生以外の用途では、符号化規格に従ったストリームのみを生成するので、他機種や他社製品との互換再生を実現しつつ、自己機での録画再生の場合には滑らかな特殊再生を実現できる。
【００７４】
更に、請求項１２記載の発明によれば、例えば特殊再生を行う場合に必要となるキーフレームについては、算術復号処理の不要であるストリームデータとしてのみ記録領域に記憶したので、非可搬の記録メディアの記録領域を効率的に用いつつ、滑らかな特殊再生を実現できる。
【００７５】
加えて、請求項１３記載の発明によれば、ＤＶＤなどの可搬な記録メディアからＨＤＤなどの非可搬な記録メディアにデータストリームをコピーした場合にも、このＨＤＤからの動画像再生時には、算術符号を用いた可変長符号の動画像信号であっても、その復号処理時間を短縮して、滑らかな特殊再生を実現することが可能である。
【００７６】
更に加えて、請求項１４記載の発明によれば、符号化規格外のストリームが記録されたＨＤＤなどの非可搬の記録メディアから、そのストリームをＤＶＤなどの可搬の記録メディアにをコピーした際にも、そのストリームコピー後の可搬記録メディアが他機種や他社製品と互換再生ができることを保証しつつ、自己機のＨＤＤ等を用いた録画再生時は、算術符号を用いた可変長符号の動画像信号の滑らかな特殊再生を実現できる。
【発明を実施するための最良の形態】
【００７７】
以下、本発明の実施形態について、図１から図１４を用いて説明する。
【００７８】
（実施形態１）
以下、実施形態１について、図１〜図６を用いて説明する。
【００７９】
図１は、本実施形態を実現する動画像復号化装置１のブロック図である。同図において、図１６と同一符号のものは同一のものを示し、その説明を省略する。図１と図１６との違いは、図１６に加えて更に大容量蓄積デバイスＤｉｓｃとストリームバッファＳｔｒＢｕｆを加えて記載している点である。図１に示した動画像復号化装置１は半導体チップに集積回路化される。
【００８０】
本実施形態の復号化器Ｄｅｃには、従来の符号化信号Ｓｔｒの入力だけでなく、復号化器Ｄｅｃで生成する復号時の中間ストリームＩｎｔＳｔｒの入出力があり、大容量蓄積デバイスＤｉｓｃと接続している。また、符号化信号Ｓｔｒと中間ストリームＩｎｔＳｔｒを一時格納するストリームバッファＳｔｒＢｕｆも、復号化器Ｄｅｃに中間ストリームＴｍｐＳｔｒを介して接続している。
【００８１】
ここで、本実施形態における算術符号を含んだ符号化信号Ｓｔｒの復号処理の詳細な流れを説明するために、復号化器Ｄｅｃと大容量蓄積デバイスＤｉｓｃとストリームバッファＳｔｒＢｕｆを含む可変長符号化復号化ブロック１ＤｅｃＳｙｓとについて、図２を用いて説明する。
【００８２】
図２は、可変長符号化復号化ブロック１の詳細構成図を示している。同図において、図１と同一符号のものは同一のものを示し、その説明を省略する。
【００８３】
復号化器Ｄｅｃは、算術復号化処理を含む可変長復号化処理（以下、第１種可変長復号化処理という）を行う第１種可変長復号化手段ｖｌｄ１と、算術符号を含まない残りの可変長復号化処理（以下、第２種可変長復号化処理という）を行う第２種可変長復号化手段ｖｌｄ２と、前記第１種可変長復号化手段ｖｌｄ１で生成する中間ストリームを選択格納するための第１の記録制御手段Ｒｅｃ１によって構成されている。また、復号化器Ｄｅｃに接続する大容量蓄積デバイスＤｉｓｃの中には、入力ストリーム領域ＩｎＳｔｒＡｒｅａと第１の記録領域Ａｒｅａ１とが含まれており、ストリームバッファＳｔｒＢｕｆには、各状態のストリームの一時バッファとして、バッファ１Ｂｕｆ１と、バッファ２Ｂｕｆ２と、バッファ３Ｂｕｆ３とが含まれている。以下、同図を用いて信号の詳細な流れを説明する。これらの処理は、コンピュータに実行させる動画像復号化プログラムとしても良い。
【００８４】
先ず、算術符号化信号１ａＳｔｒ１を、ＤＶＤやＨＤＤなどの大容量蓄積デバイスＤｉｓｃの入力ストリーム領域ＩｎＳｔｒＡｒｅａから読み出し、バッファ１Ｂｕｆ１に蓄える。バッファ１Ｂｕｆ１に蓄えられた符号化信号を、算術符号化信号２ａＳｔｒ２として第１種可変長復号化手段ｖｌｄ１に入力し、第１種可変長復号化手段ｖｌｄ１で算術符号を含まないストリーム（以下、第１種ストリームデータという）に変換し、算術符号を含まない非算術符号化信号１ｎａＳｔｒ１をバッファ２Ｂｕｆ２に蓄える。
【００８５】
次に、第１の記録制御手段Ｒｅｃ１では、特殊再生に必要なＩピクチャやＰピクチャなどのキーフレームを選択し、バッファ２Ｂｕｆ２から算術符号を含まない状態の非算術信号２ｎａＳｔｒ２を読み出し、非算術信号３ｎａＳｔｒ３として第１の記録領域Ａｒｅａ１に格納する。更に、その後に、第１の記録領域Ａｒｅａ１から、非算術符号化信号４ｎａＳｔｒ４を読み出し、バッファ３Ｂｕｆ３に蓄える。
【００８６】
最後に、復号ストリーム選択器（選択手段）ｎａＳｔｒＳｅｌに、バッファ２Ｂｕｆ２からの非算術符号化信号５ｎａＳｔｒ５と、バッファ３Ｂｕｆ３からの非算術符号化信号６ｎａＳｔｒ６とを入力し、条件に応じて何れかからの符号化信号を選択し、非算術符号化信号７ｎａＳｔｒ７として第２種可変長復号化手段ｖｌｄ２に入力する。更に、第２種可変長復号化手段ｖｌｄ２において、最終的な面内予測方向ＩＤｉｒや、画面予測誤差ＤｉｆＰｅｌや、動きベクトル予測差分ＤｉｆＭＶや、参照フレーム番号ＲｅｆＮｏなどの出力データＳｙｎｏを出力する。
【００８７】
＜中間ストリーム格納フロー＞
次に、第１の記録制御手段Ｒｅｃ１において、第１の記録領域Ａｒｅａ１に記録する非算術符号化信号３ｎａＳｔｒ３を選択するための処理手順を図３を用いて説明する。図３は、本実施形態を実現する再生時の中間ストリーム格納選択フローである。
【００８８】
先ず、バッファ２Ｂｕｆ２に蓄えられている符号化信号の中の対象となる非算術符号化信号ｎａＳｔｒ２が、Ｉピクチャ若しくはＰピクチャなどのキーフレームであるかどうかを判断する（ステップＳ３０１）。もし、非算術符号化信号ｎａＳｔｒ２が特殊再生などで有効利用できるキーフレームである場合には、非算術符号化信号ｎａＳｔｒ３を出力し、大容量蓄積デバイスＤｉｓｃの第１の記録領域Ａｒｅａ１に格納する（ステップＳ３０２）。一方、キーフレームでない場合には、非算術符号化信号ｎａＳｔｒ２は、第１の記録領域Ａｒｅａ１には格納しない（ステップＳ３０３）。以上の処理を行った後、次の非算術符号化信号ｎａＳｔｒ２についても、順次同様の処理を繰り返し行っていく。
【００８９】
以上の格納選択フローは、例えば符号化復号化装置を用いてユーザが本再生を行う前のストリーム（番組）選択を行っている間や、その選択のためのサムネイル画像を生成している間や、ユーザが使用しない非動作時間、若しくは、本再生を行っている期間の処理装置の空き時間を使って動作し、中間ストリームが生成される。
【００９０】
＜中間ストリーム選択フロー＞
続いて、復号ストリーム選択器ｎａＳｔｒＳｅｌにおけるデータストリームの選択フローを図４を用いて説明する。同図は、本実施形態を実現する再生ストリーム選択フローを示している。
【００９１】
先ず、可変長復号化を行う中間ストリームが、大容量蓄積デバイスＤｉｓｃ若しくはバッファ３Ｂｕｆ３に存在するかどうかを判定する（ステップＳ４０１）。もし存在する場合は、バッファ３Ｂｕｆ３から非算術符号化信号６ｎａＳｔｒ６を読み出し、非算術符号化信号７ｎａＳｔｒ７として出力し、第２種可変長復号化手段ｖｌｄ２で続く復号処理を行う（ステップＳ４０２）。また、存在しない場合には、バッファ２Ｂｕｆ２から非算術符号化信号５ｎａＳｔｒ５を読み出し、非算術符号化信号７ｎａＳｔｒ７として出力し、第２種可変長復号化手段ｖｌｄ２で続く復号処理を行う（ステップＳ４０３）。この時、キーフレームの再生の場合には、併せて第１の記録制御手段Ｒｅｃ１を用いて大容量蓄積デバイスＤｉｓｃに格納も行うことにより、続く処理で再度同じキーフレームが必要となる場合の第１種可変長復号化処理を不要にすることも行う。
【００９２】
＜倍速再生の性能改善＞
以上の信号の流れと制御を行うことにより、算術符号を含むストリームを再生する場合の倍速性能が改善されることを図５を用いて説明する。図５は、本実施形態で実現される倍速再生の状態を表す模式図である。図５（ａ）は、本実施の説明で説明した機能構成を用いた場合の通常再生の処理タイミングを表している。図１９での説明と同様に、１ＧＯＰでの処理タイミングを示している。
【００９３】
符号Ｐ５０１は、本実施形態における第１種可変長復号化処理の処理タイミングである。ＩピクチャやＰピクチャなどのキーフレームは第１の記録領域Ａｒｅａ１に中間ストリームとして存在するので、第１種可変長復号化処理が不要となる。従って、Ｂピクチャのみの復号の処理タイミングのみとなる。ここで、Ｂ１とＢ３の間、Ｂ４とＢ５の間などは、第１種可変長復号化処理が動作していない区間となるので、この期間を利用して、別の時間位置若しくはストリームのキーフレームの第１種可変長復号化処理を行うことも可能である。勿論、第１の記録領域Ａｒｅａ１に中間ストリームが存在しない場合は、従来の復号化処理と同じ処理タイミングとなる。
【００９４】
符号Ｐ５０２は、本実施形態における第２種可変長復号化処理の処理タイミングである。第２種可変長復号化処理は、中間ストリームの供給元が異なる可能性はあるが、図１９（ｂ）の符号Ｐ１９０２と同じ処理タイミングとなっている。また、符号Ｐ５０３は画面表示を行う処理タイミングを示しているが、これに関しても図１９（ｃ）の符号Ｐ１９０３と同じ処理タイミングとなっている。
【００９５】
次に、倍速再生について説明する。図５（ｂ）は、ＩＰ再生による倍速再生時の処理タイミングを表している。ここで、ＩＰ再生を行う場合、ＩピクチャとＰピクチャの第１種可変長復号化処理は不要であるため、符号Ｐ５０４に示すように第１種可変長復号化処理を動作させる必要はなくなる。従って、符号Ｐ５０５に示すようにＩピクチャもＰピクチャも第１種可変長復号化処理のタイミングに制限されることなく、第２種可変長復号化処理を行うことができるようになり、所望の３倍速の再生が実現できるようになっていることを示している。
【００９６】
また、図５（ｃ）は、Ｉピクチャのみの再生による高速倍速再生時の処理タイミングを表している。ここで、Ｉピクチャのみの再生を行う場合、Ｉピクチャの第１種可変長復号化処理は不要であるため、符号Ｐ５０６に示すように第１種可変長復号化処理を動作させる必要はなくなる。従って、符号Ｐ５０７に示すように、Ｉピクチャが第１種可変長復号化処理のタイミングに制限されることなく、第２種可変長復号化処理を行うことができるようになり、所望の１５倍速の再生が実現できるようになっていることを示している。
＜逆再生の性能改善＞
以上の信号の流れと制御を行うことにより、算術符号を含むストリームを再生する場合の倍速性能が改善されることを図６を用いて説明する。図６は、本実施形態で実現される逆再生の状態を表す模式図である。図６（ａ）と図６（ｂ）は、本実施形態を用いた場合の逆再生における第１種可変長復号化処理のタイミングと、第２種可変長復号化処理のタイミングとを示している。
【００９７】
符号Ｐ６０１、Ｐ６０２、Ｐ６０３、Ｐ６０４、及びＰ６０５は、第１種可変長復号化処理のタイミングを表しているが、各々、Ｂ１３とＢ１２、Ｂ１０とＢ９、Ｂ７とＢ６、Ｂ４とＢ３、及びＢ１とＢ０のみを復号しており、時間的には、符号Ｐ６０１〜符号Ｐ６０５の順で繋がっている。同図の符号Ｐ６０１〜Ｐ６０４に示す通り、Ｉピクチャ、Ｐピクチャなどのキーフレームの第１種可変長復号処理が不要となるので、Ｂピクチャのみの復号処理しか行われない。また、符号Ｐ６０５では、１つ前のＧＯＰのキーフレーム再生が必要となっている処理タイミング図としているが、この部分に関しても、既に第１の記録領域Ａｒｅａ１に中間ストリームが存在する場合は不要となる。
【００９８】
一方、符号Ｐ６１１、Ｐ６１２、Ｐ６１３、Ｐ６１４、及びＰ６１５は、第２種可変長復号化処理のタイミングを示しており、時間的には符号Ｐ６１１〜Ｐ６１５の順で繋がっている。各々、Ｐ１４とＢ１３とＢ１２、Ｐ１１とＢ１０とＢ９、Ｐ８とＢ７とＢ６、Ｐ５とＢ３とＢ４、及びＩ３とＢ１とＢ０を復号しており、結果として、逆再生を行っていることを示している。ここで、符号Ｐ６１１〜Ｐ６１５からの各復号処理では、他のキーフレームがないと再生できないため、例えば符号Ｐ６１１において、Ｐ１４とＢ１３とＢ１２の処理さえできれば良いが、Ｉ２、Ｐ５、Ｐ８、及びＰ１１の復号処理も併せて行っていることを示している。これは、符号Ｐ６１１、Ｐ６１２、Ｐ６１３、Ｐ６１４、及びＰ６１５でも同様であり、符号Ｐ６１５の場合は、時間的に直前のＧＯＰに存在するキーフレームの復号処理が必要である状態を示している。
【００９９】
以上のように、逆再生を行う場合でも、第２種可変長復号処理の処理タイミングが算術符号を含む第１種可変長復号処理によって制限されることが無く実行できるので、第１種可変長復号処理に関しては、処理能力の向上なしで対応可能であり、第２種可変長復号処理に関しては、従来の必要能力（２倍程度）があれば滑らかな逆再生を行うことが可能となる。
【０１００】
尚、第１種ストリームデータとして残して格納保持するキーフレームは、全てのＩピクチャとＰピクチャである必要は無く、ＩピクチャのみやＩＰピクチャの一部であっても良く、Ｂピクチャなどが含まれていても良い。また、ピクチャを構成する符号化ブロックの一部であっても良い。
【０１０１】
尚、本実施形態では、トリームバッファＳｔｒＢｕｆとして、バッファ１Ｂｕｆ１、バッファ２Ｂｕｆ２、及びバッファ３Ｂｕｆ３も含めて説明しているが、その一部が存在しない、若しくは、一部が外部接続するＳＤＲＡＭに存在し、残りが復号化器Ｄｅｃの中のメモリとなるように分割して構成しても良い。
【０１０２】
尚、サムネイル動画再生は、録画画像を縮小して一覧表示するために用いるが、予め縮小された動画としてストリームが存在しない場合には、複数の動画再生を縮小しながら表示するため、通常再生よりも高速に再生する必要がある。このようにサムネイル動画などの複数ストリームの同時再生を行う場合にも、第１の記録領域Ａｒｅａ１に含まれる中間ストリームを用いることによって、第１種可変長復号処理が不要となるので、同時再生を比較的簡単に実現することも可能となる。
【０１０３】
また、大容量蓄積デバイスＤｉｓｃは、１つのデバイスやメディアで構成される必要は無く、例えば、入力ストリーム領域ＩｎＳｔｒＡｒｅａがＤＶＤに構成されていて、第１の記録領域Ａｒｅａ１がＨＤＤに構成されていても良い。
【０１０４】
（実施形態２）
以下、実施形態２について、図７〜図１０を用いて説明する。
【０１０５】
図７は、本実施形態を実現する動画像符号化装置２のブロック図である。同図において、図１５と同一符号のものは同一のものを示し、その説明を省略する。図７と図１５の違いは、図１５に加えて、更に大容量蓄積デバイスＤｉｓｃとストリームバッファＳｔｒＢｕｆを加えて記載し、更に復号化のパスとして復号化器Ｄｅｃも加えて記載している点である。図７に示した動画像符号化装置２は半導体チップに集積回路化される。
【０１０６】
本実施形態において、復号化器Ｅｎｃには、従来の符号化信号Ｓｔｒの出力だけでなく、符号化器Ｅｎｃで生成する復号時の中間ストリームＩｎｔＳｔｒも出力し、大容量蓄積デバイスＤｉｓｃと接続する。また、符号化信号Ｓｔｒと中間ストリームＩｎｔＳｔｒとを一時格納するストリームバッファＳｔｒＢｕｆも、符号化器Ｅｎｃに中間ストリームＴｍｐＳｔｒを介して接続している。
【０１０７】
ここで、本実施形態における算術符号を含んだ符号化信号Ｓｔｒの復号処理の詳細な流れを説明するために、復号化器Ｄｅｃと、大容量蓄積デバイスＤｉｓｃと、ストリームバッファＳｔｒＢｕｆを含む可変長符号化復号化ブロック２ＥｎｃＳｙｓについて、図８を用いて説明する。
【０１０８】
図８は、可変長符号化復号化ブロック２の詳細構成図を示している。同図において、図７若しくは図２と同一符号のものは同一のものを示し、その説明を省略する。
【０１０９】
符号化器Ｅｎｃは、算術符号化処理を含まない可変長符号化処理（以下、第１種可変長符号化処理という）を行う第１種可変長符号化手段ｖｌｃ１と、算術符号化処理を含む残りの可変長符号化処理（以下、第２種可変長符号化処理という）を行う第２種可変長符号化手段ｖｌｃ２と、前記第２種可変長符号化手段ｖｌｃ２で生成する符号化信号を格納するための第２の記録制御手段Ｒｅｃ２と、第１種可変長符号化手段ｖｌｃ１で生成する中間ストリーム（第１種ストリームデータ）を格納するための第３の記録制御手段Ｒｅｃ３によって構成されている。また、符号化器Ｅｎｃに接続する大容量蓄積デバイスＤｉｓｃの中には、第２の記録領域Ａｒｅａ２と第３の記録領域Ａｒｅａ３とが含まれており、ストリームバッファＳｔｒＢｕｆには、各状態のストリームの一時バッファとして、バッファ１Ｂｕｆ１と、バッファ２Ｂｕｆ２と、バッファ３Ｂｕｆ３に加えて、バッファ４Ｂｕｆ４と、バッファ５Ｂｕｆ５とが含まれている。また、第１種可変長復号化手段ｖｌｄ１と第２種可変長復号化手段ｖｌｄ２とは、図２で説明した同一符号のものと同じである。
【０１１０】
以下、同図を用いて信号の詳細な流れを説明する。これらの処理は、コンピュータに実行させる動画像復号化プログラムとしても良い。
【０１１１】
先ず、内予測方向ＩＤｉｒや画面予測誤差ＤｉｆＰｅｌや動きベクトル予測差分ＤｉｆＭＶや参照フレーム番号ＲｅｆＮｏなどのシンタックスである入力データＳｙｎｉを、算術符号を用いない第１種可変長符号化手段で符号化し、非算術符号化信号８ｎａＳｔｒ８を生成し、バッファ４Ｂｕｆ４に格納する。
【０１１２】
次に、バッファ４Ｂｕｆ４に格納した中間ストリームの中からＩピクチャやＰピクチャなどのキーフレームが含まれる中間ストリームに関して非算術符号化信号９ｎａＳｔｒ９として読み出し、第３の記録制御手段Ｒｅｃ３に入力し、更に第３の記録制御手段Ｒｅｃ３から非算術符号化信号１０ｎａＳｔｒ１０を出力し、第３の記録領域Ａｒｅａ３に格納する。
【０１１３】
また、バッファ４Ｂｕｆ４の内、第３の記録領域Ａｒｅａ３に格納したキーフレーム以外の中間ストリームに関しては、非算術符号化信号１１ｎａＳｔｒ１１として読み出し、第２種可変長符号化手段ｖｌｄ２に入力し、更に算術符号化処理を行った結果として算術符号化信号（第２種ストリームデータ）ａＳｔｒ３を出力し、バッファ５Ｂｕｆ５に格納する。
【０１１４】
最後に、第２の記録制御手段Ｒｅｃ２を用いて、バッファ５Ｂｕｆ５から算術符号化信号４ａＳｔｒ４を読み出し、算術符号化信号５ａＳｔｒ５として第２の記録領域Ａｒｅａ２に格納する。
【０１１５】
次に、本実施形態における復号化の信号の流れを説明する。
【０１１６】
最初に、算術符号の状態まで符号化されたストリームを第２の記録領域Ａｒｅａ２から算術符号化信号１ａＳｔｒ１として読み出し、バッファ１Ｂｕｆ１に格納する。更に第１種可変長復号化手段ｖｌｄ１において、バッファ１Ｂｕｆ１から算術符号化信号２ａＳｔｒ２を読み出し、算術符号を含まない符号化信号の形態まで変換し、非算術符号化信号１ｎａＳｔｒ１として出力したデータをバッファ２Ｂｕｆ２に格納する。
【０１１７】
一方、算術符号を含まない状態の符号化ストリームを第３の領域Ａｒｅａ３から、非算術符号化信号ｎａＳｔｒ１１として読み出し、バッファ３Ｂｕｆ３に格納する。
【０１１８】
次に、復号ストリーム選択器ｎａＳｔｒＳｅｌに、バッファ２Ｂｕｆ２からの非算術符号化信号５ｎａＳｔｒ５と、バッファ３Ｂｕｆ３からの非算術符号化信号６ｎａＳｔｒ６とを入力し、条件に応じて何れかからの符号化信号を選択し、非算術符号化信号７ｎａＳｔｒ７として第２種可変長復号化手段ｖｌｄ２に入力する。更に、第２種可変長復号化手段ｖｌｄ２において、最終的な面内予測方向ＩＤｉｒや、画面予測誤差ＤｉｆＰｅｌや、動きベクトル予測差分ＤｉｆＭＶや、参照フレーム番号ＲｅｆＮｏなどの出力データＳｙｎｏを出力する。
【０１１９】
尚、第１種ストリームデータとして残して格納保持するキーフレームは、全てのＩピクチャとＰピクチャである必要は無く、ＩピクチャのみやＩＰピクチャの一部であっても良く、Ｂピクチャなどが含まれていても良い。また、ピクチャを構成する符号化ブロックの一部であっても良い。
【０１２０】
また、本実施形態では、ストリームバッファＳｔｒＢｕｆとしてバッファ１Ｂｕｆ１、バッファ２Ｂｕｆ２、バッファ３Ｂｕｆ３、バッファ４Ｂｕｆ４、及びバッファ５Ｂｕｆ５も含めて説明しているが、その一部が存在しない、若しくは、一部が外部接続するＳＤＲＡＭに存在し、残りが復号化器の中のメモリで構成しても良い。
【０１２１】
更に、サムネイル動画などの複数ストリームの同時再生を行う場合にも、第２の記録領域Ａｒｅａ２に含まれる中間ストリームを用いることによって、第１種可変長復号処理が不要となるので、同時再生を比較的簡単に実現することも可能となる。
【０１２２】
加えて、大容量蓄積デバイスＤｉｓｃは、１つのデバイスやメディアで構成される必要はなく、例えば、第２の記録領域Ａｒｅａ２がＤＶＤに構成されていて、第３の記録領域Ａｒｅａ３がＨＤＤに構成されていても良い。
【０１２３】
＜中間ストリーム格納フロー＞
次に、第３の記録制御手段Ｒｅｃ３において、第３の記録領域Ａｒｅａ３に記録する非算術符号化信号３ｎａＳｔｒ３を選択するための制御方法を図９を用いて説明する。図９は、本実施形態を実現する記録時の中間ストリーム格納選択フロー１ある。
【０１２４】
先ず、バッファ４Ｂｕｆ４に蓄えられている符号化信号の中の対象となる非算術符号化信号ｎａＳｔｒ９が、Ｉピクチャ又はＰピクチャなどのキーフレームであるかどうかを判断する（ステップＳ９０１）。もし、非算術符号化信号ｎａＳｔｒ９が特殊再生などで有効利用できるキーフレームである場合には、第３の記録制御手段Ｒｅｃ３により非算術符号化信号ｎａＳｔｒ１０を出力し、大容量蓄積デバイスＤｉｓｃの第３の記録領域Ａｒｅａ３に格納する（ステップＳ９０２）。一方、ステップＳ９０２においてキーフレームを含まないと判断した場合は、第２種可変長符号化を行って、第２の記録領域Ａｒｅａ２に記録する（ステップＳ９０３）。従って、キーフレームは、非算術符号化信号ｎａＳｔｒ１０として第３の記録領域Ａｒｅａ３に格納されるが、算術符号化信号ａＳｔｒ５として第２の記録領域Ａｒｅａ２には格納されない。よって、例えば第２及び第３の記録領域Ａｒｅａ２、Ａｒｅａ３がＨＤＤ等の非可搬の記録媒体Ｄｉｓｃ内の領域である場合には、このＨＤＤの記録領域を効率的に利用できる。
【０１２５】
以上の処理を行った後、次の非算術符号化信号ｎａＳｔｒ９についても、順次同様の処理を繰り返し行っていく。
【０１２６】
以上の格納選択フローに従った処理を行うことにより、符号化時点で特殊再生を容易にするためのキーフレームの符号化信号を、非算術符号化状態で格納する。
【０１２７】
以上のように、非算術符号化信号の符号化ストリームと算術符号化信号の符号化ストリームとを混成することにより、滑らかな特殊再生を実現することが可能となる。
【０１２８】
但し、本実施形態に示しているように、算術符号化信号を非算術符号化信号として格納する方法を用いた場合、本来のＨ．２６４の規格としては規格外のストリームを生成していることとなる。そこで、大容量蓄積デバイスＤｉｓｃに可搬媒体を用いる場合には、例えば他社製品などでの互換再生が必要となるため、規格内のストリームを生成する必要がある。
【０１２９】
以上に鑑み、図９に判定処理を追加し、本実施形態を実現する記録時の中間ストリーム格納選択フローの変形例として、図１０に示す。
【０１３０】
先ず、バッファ４Ｂｕｆ４に蓄えられている符号化信号の中の対象となる非算術符号化信号ｎａＳｔｒ９が、Ｉピクチャ若しくはＰピクチャなどのキーフレームであるかどうかを判断する（ステップＳ１００１）。更に、もし、非算術符号化信号ｎａＳｔｒ９が特殊再生などで有効利用できるキーフレームである場合に、大容量蓄積デバイスＤｉｓｃがＨＤＤなどの非可搬媒体であるかどうかを判断する（ステップＳ１００２）。ステップＳ１００２において非可搬媒体であると判定された場合は、第３の記録制御手段Ｒｅｃ３により非算術符号化信号ｎａＳｔｒ１０を出力し、大容量蓄積デバイスＤｉｓｃの第３の記録領域Ａｒｅａ３に格納する（ステップＳ１００３）。一方、ステップＳ１００１の判断結果でキーフレームと判断されなかった場合には、第２種可変長符号化を行い、第２の記録領域Ａｒｅａ２に記録する（ステップＳ１００４）。また、ステップＳ１００２の判断結果で可搬媒体であると判断された場合には、前記ステップＳ１００３での可搬媒体へのキーフレームの格納をせず、前記ステップＳ１００４に進む。
【０１３１】
（実施形態３）
本実施形態では、ＤＶＤなどの可搬媒体からＨＤＤなどの非可搬媒体へのコピー（複製）動作若しくはムーブ（移動）動作と、ＨＤＤなどの非可搬媒体からＤＶＤなどの可搬媒体へのコピー動作若しくはムーブ動作とについて説明する。
【０１３２】
＜可搬媒体→非可搬媒体＞
図１１は、ＤＶＤからＨＤＤへのトランスコーダ（動画像符号化復号化装置）の構成を示している。
【０１３３】
同図において、図２若しくは図７と同一符号のものは同一のものを示し、その説明を省略する。図１１の構成では、図２若しくは図７から必要なブロックのみを抜き出して接続（ｔｒａｎ１）しており、ストリームバッファＳｔｒＢｕｆに関しては、その接続を省略している。また、図１１において、大容量蓄積デバイスＤｉｓｃとしては、入力ストリーム領域ＩｎＳｔｒＡｒｅａを含む転送元のＤＶＤｄｖｄと、第２の記録領域Ａｒｅａ２及び第３の記録領域Ａｒｅａ３を含む転送先のＨＤＤｈｄｄとの２つを接続している。
【０１３４】
以下、図１１の信号の流れを説明する。先ず、ＤＶＤｄｖｄに含まれる入力ストリーム領域ＩｎＳｔｒＡｒｅａから算術符号信号２０ａＳｔｒ２０を読み出す。算術符号信号２０ａＳｔｒ２０がキーフレームの場合は、第１種可変長復号化手段ｖｌｄ１に入力し、非算術符号化信号２０ｎａＳｔｒ２０に変換し出力する。更に、非算術符号化信号２０ｎａＳｔｒ２０を第４の記録制御手段Ｒｅｃ４に入力し、第４の記録制御手段Ｒｅｃ４からは非算術符号化信号２１ｎａＳｔｒ２１として出力し、ＨＤＤｈｄｄに含まれる第４の記録領域Ａｒｅａ４に格納する。一方、算術符号信号２０ａＳｔｒ２０がキーフレームでない場合は、第５の記録制御手段Ｒｅｃ５がそのままのストリーム形式で算術符号化信号２１ａＳｔｒ２１を出力し、同じくＨＤＤｈｄｄに含まれる第５の記録領域Ａｒｅａ５に記録する。
【０１３５】
以上に示すような流れで信号処理を行うことにより、他社互換はとれるものの滑らかな特殊再生を実現できない通常のストリームを含むＤＶＤｄｖｄなどの可搬媒体から、ＨＤＤｈｄｄなどの非可搬媒体に滑らかな特殊再生を実現可能な加工ストリームとしてコピー若しくはムーブを実現することが可能となる。
【０１３６】
尚、算術符号化信号２０ａＳｔｒ２０は、ＤＶＤｄｖｄなどの記録媒体からの読み出し信号として説明したが、ディジタル放送を受信したディジタルストリームデータであっても良い。
【０１３７】
＜非可搬媒体→可搬媒体＞
図１２は、ＨＤＤからＤＶＤへのトランスコーダ構成図を示している。
【０１３８】
同図において、図２若しくは図７と同一符号のものは同一のものを示し、その説明を省略する。図１２の構成では、図２若しくは図７から必要なブロックのみを抜き出して接続（ｔｒａｎ２）しており、ストリームバッファＳｔｒＢｕｆに関しては、その接続を省略している。また、図１２において、大容量蓄積デバイスＤｉｓｃとしては、入力ストリーム領域ＩｎＳｔｒＡｒｅａ及び第１の記録領域Ａｒｅａ１を含む転送元のＨＤＤｈｄｄと、第２の記録領域Ａｒｅａ２を含む転送先のＤＶＤｄｖｄの２つを接続している。
【０１３９】
以下、図１２の信号の流れを説明する。先ず、ＨＤＤｈｄｄに含まれる入力ストリーム領域ＩｎＳｔｒＡｒｅａからキーフレーム以外のストリームを含む算術符号信号３０ａＳｔｒ３０を読み出すと共に、キーフレームを算術復号化処理した第１種ストリームデータを記録する第１の記録領域Ａｒｅａ１から非算術符号化信号３０ｎａＳｔｒ３０を読み出す。非算術符号化信号３０ｎａＳｔｒ３０を第２種可変長復号化手段ｖｌｄ２に入力し、第２種可変長復号化手段ｖｌｄ２から算術符号化信号３１ａＳｔｒ３１を出力する。
【０１４０】
次に、算術ストリーム選択器ａＳｔｒＳｅｌに、算術符号化信号３０ａＳｔｒ３０と、算術符号化信号３１ａＳｔｒ３１とを入力し、算術ストリーム選択器ａＳｔｒＳｅｌにおいて、キーフレームの場合は算術符号化信号３０ａＳｔｒ３０を選択し、キーフレームでない場合は算術符号化信号３１ａＳｔｒ３１を選択し、算術復号化信号ａＳｔｒ３２として出力する。
【０１４１】
最後に、第６の記録制御手段Ｒｅｃ６は、算術符号化信号３３ａＳｔｒ３３を出力し、第６の記録領域Ａｒｅａ６に正式な規格にとなったストリーム形式で格納する。
【０１４２】
以上に示すような流れで信号処理を行うことにより、特殊再生が実現可能なストリームを含むＨＤＤｈｄｄの加工ストリームから、滑らかな特殊再生を実現できないが他社互換が可能な通常のストリームとしてコピー又はムーブを実現することができる。
【０１４３】
（実施形態４）
続いて、前記の画像符号化復号化装置の応用例を説明する。
【０１４４】
図１３は、Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図である。同図において、ｅｘＡＶＬＳＩは、ディジタル圧縮された音声及び画像を再生するＤＶＤレコーダやハードディスクレコーダなどのＡＶ処理部を示している。
【０１４５】
ｅｘＳｔｒは音声と画像のストリームデータを、ｅｘＶＳｉｇは画像データを、ｅｘＡＳｉｇは音声データを各々表している。ｅｘＢｕｓはストリームデータや音声、画像の復号データなどのデータを転送するバスを示している。ｅｘＳｔｒＩＦは前述のストリームデータｅｘＳｔｒを入力するストリーム入出力部を表しており、一方はバスｅｘＢｕｓに接続しており、他方は大容量蓄積デバイスｅｘＲｅｃに接続している。ｅｘＶＣｏｄｅｃは画像の符号化及び復号化を行う画像符号化復号化部であり、バスｅｘＢｕｓに接続している。ｅｘＭｅｍはストリームデータや符号化データや復号化データなどのデータを格納するメモリであり、バスｅｘＢｕｓに接続している。
【０１４６】
ここで、画像符号化復号化部ｅｘＶＣｏｄｅｃは、図１や図７に示している符号化復号化装置などを含むものである。ストリームデータｅｘＳｔｒは、図１や図７に示している符号化信号Ｓｔｒ、ＩｎｔＳｔｒを含んでおり、更に、メモリｅｘＭｅｍは、同じく図１や図７に示しているマルチフレームメモリＦｒｍＭｅｍやストリームバッファＳｔｒＢｕｆが含まれる。また、大容量蓄積デバイスＤｉｓｃは、図１３の大容量蓄積デバイスｅｘＲｅｃの中に含まれる。
【０１４７】
また、同図において、ｅｘＶＰｒｏｃは画像信号に対してプレ処理及びポスト処理を行う画像処理部を表しており、バスｅｘＢｕｓに接続している。ｅｘＶｉｄｅｏＩＦは画像処理部ｅｘＶＰｒｏｃで処理若しくは画像処理部ｅｘＶＰｒｏｃで処理をせずに通過だけさせた画像データ信号を外部に画像信号ｅｘＶＳｉｇとして出力する、又は、外部からの画像信号ｅｘＶＳｉｇを取り込むための画像入出力部を示している。
【０１４８】
更に、ｅｘＡＰｒｏｃは音声信号に対してプレ処理及びポスト処理を行う音声処理部を表しており、バスｅｘＢｕｓに接続している。ｅｘＡｕｄｉｏＩＦは音声処理部ｅｘＡＰｒｏｃで処理若しくは音声処理部ｅｘＡＰｒｏｃで処理をせずに通過だけさせた音声データ信号を外部に音声信号ｅｘＡＳｉｇとして出力する、又は、外部からの音声信号ｅｘＡＳｉｇを取り込むための音声入出力部を示している。ｅｘＡＶＣｔｒはＡＶ処理部ｅｘＡＶＬＳＩの全体制御を行うＡＶ制御部を示している。
【０１４９】
符号化処理においては、最初に、画像信号ｅｘＶＳｉｇが画像入出力部ｅｘＶｉｄｅｏＩＦに入力され、音声信号ｅｘＡＳｉｇが音声入出力部ｅｘＡｕｄｉｏＩＦに入力される。
【０１５０】
先ず、記録処理では、画像入出力部ｅｘＶｉｄｅｏＩＦに入力された画像信号ｅｘＶＳｉｇを用いて、画像処理部ｅｘＶＰｒｏｃにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部ｅｘＭｅｍＩＦを介してメモリＭｅｍに原画像として格納する。次に、再びメモリ入出力部ｅｘＭｅｍＩＦを介してメモリＭｅｍから画像符号化復号化部ｅｘＶＣｏｄｅｃに原画像データ及び参照画像データの転送を行い、逆に、画像符号化復号化部ｅｘＶＣｏｄｅｃからは、メモリｅｘＭｅｍに、画像符号化復号化部ｅｘＶＣｏｄｅｃで符号化した画像ストリームデータ及び局所復元データの転送を行う。
【０１５１】
一方、音声入出力部ｅｘＡｕｄｉｏＩＦに入力された音声信号ｅｘＡＳｉｇを用いて、音声処理部ｅｘＡＰｒｏｃにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部ｅｘＭｅｍＩＦを介してメモリｅｘＭｅｍに原音声データとして格納する。次に、再びメモリ入出力部ｅｘＭｅｍＩＦを介してメモリｅｘＭｅｍから原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリｅｘＭｅｍに格納する。
【０１５２】
符号化処理の最後に、画像ストリーム、音声ストリーム及びその他のストリーム情報を１つのストリームデータとして処理し、ストリーム入出力部ｅｘＳｔｒＩＦを介してストリームデータｅｘＳｔｒを出力し、光ディスク（ＤＶＤ）やハードディスク（ＨＤＤ）などの大容量蓄積デバイスｅｘＲｅｃに書き込む処理を行う。
【０１５３】
次に、復号化処理では、以下のような動作を行う。先ず、光ディスクやハードディスクや半導体メモリなどの大容量蓄積デバイスｅｘＲｅｃから、記録処理で蓄積しているデータの読み出しを行うことにより、音声及び画像のストリーム信号ｅｘＳｔｒが、ストリーム入出力部ｅｘＳｔｒＩＦを介して入力される。そのストリーム信号ｅｘＳｔｒのうち、画像ストリームは画像符号化復号化部ｅｘＶＣｏｄｅｃに入力され、音声ストリームは音声符号化復号化部ｅｘＡＣｏｄｅｃに入力される。
【０１５４】
画像符号化復号化部ｅｘＶＣｏｄｅｃによって復号化された画像データは、メモリ入出力部ｅｘＭｅｍＩＦを介して一時メモリＭｅｍに格納される。メモリＭｅｍに格納されたデータは、画像処理部ｅｘＶＰｒｏｃでノイズ除去などの加工処理が行われる。また、メモリＭｅｍに格納された画像データは、再び画像符号化復号化部ｅｘＶＣｏｄｅｃにおいて、画面間動き補償予測の参照ピクチャとして使用されることもある。
【０１５５】
また、音声符号化復号化部ｅｘＡＣｏｄｅｃによって復号化された音声データは、メモリ入出力部ｅｘＭｅｍＩＦを介して一時メモリＭｅｍに格納される。メモリＭｅｍに格納されたデータは、音声処理部ｅｘＡＰｒｏｃで音響などの加工処理が行われる。
【０１５６】
最後に、音声と画像の時間的な同期をとりながら、画像処理部ｅｘＶＰｒｏｃで加工処理したデータは、画像入出力部ｅｘＶｉｄｅｏＩＦを介して画像信号ｅｘＶＳｉｇとして出力されて、テレビ画面などに表示され、音声処理部ｅｘＡＰｒｏｃで加工処理したデータは、音声入出力部ｅｘＡｕｄｉｏＩＦを介して音声信号ｅｘＡＳｉｇとして出力されて、スピーカなどから出力される。
【０１５７】
（実施形態５）
更に、前記各実施形態で示した動画像復号化装置、動画像符号化装置、及び動画像符号化復号化装置をソフトウェアにより実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、前記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５８】
図１４は、前記実施形態１〜実施形態４の動画像復号化装置、動画像符号化装置、及び動画像符号化復号化装置を実現するプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１５９】
図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムとしての動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置が記録されている。
【０１６０】
また、図１４（ｃ）は、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示す。前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムとしての動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより、前記動き補償装置、この動き補償装置を用いた画面間予測符号化装置、又は画面間予測復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブにより、プログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１６１】
尚、前記説明では、記録媒体としてフレキシブルディスクを用いた場合を例示したが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１６２】
また、以上の実施形態では、可変長符号化処理若しくは可変長復号化処理の中で生成するキーフレームの中間ストリームを残し、そこからのデータも用いて可変長復号を行う処理を示したが、中間ストリームとして残すストリームデータは、異なる可変長符号化ツールを用いたストリームデータで対応することも可能である。例えば、Ｈ．２６４規格では、ＣＡＢＡＣとは別に算術符号を含まないＣＡＶＬＣの可変長符号化ツールも規定されている。そこで、実施形態１では、第１種可変長復号化手段ｖｌｄ１と第２種可変長復号化手段ｖｌｄ２とを用いて可変長復号化処理を行うことを示しているが、第１種可変長復号化手段ｖｌｄ１で生成する非算術符号化信号１ｎａＳｔｒ１はＣＡＶＬＣを用いたストリーム形式であって、第２種可変長復号化手段ｖｌｄ２がＣＡＶＬＣを復号するように構成することも可能である。また、同様に、中間ストリームは、ＭＰＥＧ−２などの別規格で規定されているストリームや逐次的な処理が必要とならない独自のストリームを用いても良い。
【０１６３】
更に、図１や図２、図７や図８、及び図１１や図１２などのブロック図の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えば同図の大容量蓄積デバイスＤｉｓｃの一部又は全てが１チップ化されていても良い）が、大容量蓄積デバイスＤｉｓｃの各記録領域はギガバイト単位の莫大なデータを蓄積する必要があるため、一般的には、ハードディスクやＤＶＤやメモリカードなどで構成され、同様に、同図のストリームバッファＳｔｒＢｕｆに関しても大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けする大容量のＳＤＲＡＭなどで実装するが、技術の向上により１パッケージ化や１チップ化されることも有り得る。
【０１６４】
また、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１６５】
以上説明したように、本発明によれば、算術符号を含んだストリーム形式であっても、算術符号が不要な変換ストリームを生成保持することによって、算術符号を用いた可変長符号を含まない従来の動画像信号についての特殊再生と同様に、滑らかな特殊再生を実現できるので、例えば、Ｈ．２６４規格を用いたＤＶＤレコーダやハードディスクレコーダにおける特殊再生を実現する装置として有効である。
【図面の簡単な説明】
【０１６６】
【図１】本発明の第１の実施形態を示す動画像復号化装置のブロック図である。
【図２】同動画像復号化装置の可変長復号化ブロックの詳細を示す構成図である。
【図３】同動画像復号化装置における画像再生時の中間ストリーム格納選択フローチャートを示す図である。
【図４】同動画像復号化装置における再生ストリーム選択フローチャートを示す図である。
【図５】（ａ）は同動画像復号化装置での通常再生の処理タイミングを示す模式図、同図（ｂ）は３倍速再生の状態を表す模式図、同図（ｃ）は１５倍速再生の状態を表す模式図である。
【図６】（ａ）は同動画像復号化装置での逆再生における第１種可変長復号化処理のタイミングを示す図、同図（ｂ）は同逆再生における第２種可変長復号化処理のタイミングを示す図である。
【図７】本発明の第２の実施形態を示す動画像符号化復号化装置のブロック図である。
【図８】同動画像符号化復号化装置の可変長符号化復号化ブロックの詳細を示す構成図である。
【図９】同動画像復号化装置における画像記録時の中間ストリーム格納選択フローチャートを示す図である。
【図１０】同動画像復号化装置における画像記録時の中間ストリーム格納選択フローチャートの変形例を示す図である。
【図１１】ＤＶＤからＨＤＤへのトランスコーダの構成を示す図である。
【図１２】ＨＤＤからＤＶＤへのトランスコーダの構成を示す図である。
【図１３】Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図である。
【図１４】本発明をコンピュータシステムにより実施する全体概略構成図である。
【図１５】従来の動画像符号化装置の構成を示すブロック図である。
【図１６】従来の動画像復号化装置の構成を示すブロック図である。
【図１７】（ａ）は従来の動画像復号化装置での通常再生の復号処理タイミングを示す模式図、同図（ｂ）は同３倍速再生の復号処理タイミングを示す模式図、同図（ｃ）は同１５倍速再生の復号処理タイミングを示す模式図である。
【図１８】（ａ）は従来の動画像復号化装置での動画像信号の逆再生の第１の復号化処理を示す模式図、同図（ｂ）はその次の第２の復号化処理を示す模式図、同図（ｃ）は第３の復号化処理を示す模式図、同図（ｄ）は第４の復号化処理を示す模式図、同図（ｅ）は第５の復号化処理を示す模式図である。
【図１９】（ａ）は従来の動画像復号化装置での通常再生の復号タイミングを示す模式図、同図（ｂ）は同３倍速再生を目指した処理タイミングを示す模式図、同図（ｃ）は同１５倍速再生を目指した処理タイミングを示す模式図である。
【図２０】（ａ）は従来の動画像復号化装置において算術符号を含むストリームの逆再生を行う場合の処理タイミングを示す図、同図（ｂ）は同算術符号を含む第１種可変長復号処理のタイミングを示す図である。
【符号の説明】
【０１６７】
Ｄｅｃ        復号化器
ｖｌｄ１        第１種可変長復号化手段
ｖｌｄ２        第２種可変長復号化手段
Ｒｅｃ１        第１の記録制御手段
Ｒｅｃ２        第２の記録制御手段
Ｒｅｃ３        第３の記録制御手段
Ｒｅｃ４        第４の記録制御手段
Ｒｅｃ５        第５の記録制御手段
Ｒｅｃ６        第６の記録制御手段
Ｄｉｓｃ         大容量蓄積デバイス
ｄｖｄ          ＤＶＤ（可搬な記録メディア）
ｈｄｄ          ＨＤＤ（非可搬な記録メディア）
ＩｎＳｔｒＡｒｅａ   入力ストリーム領域
Ａｒｅａ１       第１の記録領域
ＳｔｒＢｕｆ      ストリームバッファ
Ｂｕｆ１        バッファ１
Ｂｕｆ２        バッファ２
Ｂｕｆ３        バッファ３
ａＳｔｒ１       算術符号化信号１
ａＳｔｒ２       算術符号化信号２
ｎａＳｔｒ１      非算術符号化信号１
ｎａＳｔｒ２      非算術信号２
ｎａＳｔｒ３      非算術信号３
ｎａＳｔｒ４      非算術符号化信号４
ｎａＳｔｒＳｅｌ    復号ストリーム選択器（選択手段）
ｎａＳｔｒ５      非算術符号化信号５
ｎａＳｔｒ６      非算術符号化信号６
ｎａＳｔｒ７      非算術符号化信号７
Ｓｙｎｏ        出力データ
【図１】
2008072182.tif 000003
【図２】
2008072182.tif 000004
【図３】
2008072182.tif 000005
【図４】
2008072182.tif 000006
【図５】
2008072182.tif 000007
【図６】
2008072182.tif 000008
【図７】
2008072182.tif 000009
【図８】
2008072182.tif 000010
【図９】
2008072182.tif 000011
【図１０】
2008072182.tif 000012
【図１１】
2008072182.tif 000013
【図１２】
2008072182.tif 000014
【図１３】
2008072182.tif 000015
【図１４】
2008072182.tif 000016
【図１５】
2008072182.tif 000017
【図１６】
2008072182.tif 000018
【図１７】
2008072182.tif 000019
【図１８】
2008072182.tif 000020
【図１９】
2008072182.tif 000021
【図２０】
2008072182.tif 000022