(57)【要約】【課題】  可変速再生のために復号化が必要なピクチャを容易に特定することができ、可変速再生に適した符号化および復号化を行うことができる動画像符号化方法および動画像復号化方法等を提供する。【解決手段】  動画像符号化装置１は、ピクチャタイプPtypeに対応して可変速再生に必要な情報である可変速再生用情報Mapを作成するマップ作成部１１３、符号化ストリームStrに可変速再生用情報Mapを符号化して配置する可変長符号化部１１２、符号化対象のピクチャが参照するピクチャパラメータセットPPSの符号化の必要性を検知する検知部１１４、および検知部１１４により符号化の必要性が検知されたピクチャパラメータセットPPSを符号化対象ピクチャに対して付加する共通情報付加部１１５を備える。【選択図】        図１
2004242286.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号をピクチャ単位で符号化して符号化ストリームを生成する動画像符号化方法であって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を作成する情報作成ステップと、
前記可変速再生用情報を符号化して前記符号化ストリームに付加する符号化ステップと
を含むことを特徴とする動画像符号化方法。
【請求項２】
前記情報作成ステップでは、複数のピクチャから構成されるランダムアクセスユニットであり、当該ランダムアクセスユニット内のピクチャだけを参照して当該ランダムアクセスユニット内の復号化対象ピクチャを復号化することが可能である前記ランダムアクセスユニット単位で、前記可変速再生用情報を作成する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記情報作成ステップでは、前記可変速再生用情報として、可変速再生の速度と前記速度で再生の対象とするピクチャを特定する情報とを対応付けて作成する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記可変速再生用情報は、ピクチャ番号毎に当該ピクチャの復号化が必要な前記速度が記載される
ことを特徴とする請求項３記載の動画像符号化方法。
【請求項５】
前記可変速再生用情報は、各ピクチャに対する復号化が必要な前記速度が順に記載される
ことを特徴とする請求項３記載の動画像符号化方法。
【請求項６】
前記可変速再生用情報は、前記速度毎に当該速度での再生のために必要なピクチャのピクチャ番号が記載される
ことを特徴とする請求項３記載の動画像符号化方法。
【請求項７】
前記情報作成ステップでは、前記可変速再生用情報として、所定の参照関係のリストから対応する参照関係を特定するインデックスを作成する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項８】
前記所定の参照関係のリストは、可変速再生の速度と前記速度での再生の対象とするピクチャを特定する情報とが対応付けられたマップ情報を複数組有するマップテーブルであり、
前記情報作成ステップでは、前記可変速再生用情報として、前記マップテーブルの中から対応するマップ情報を選択するための識別子を作成する
ことを特徴とする請求項７記載の動画像符号化方法。
【請求項９】
前記情報作成ステップでは、前記マップテーブルを作成し、
前記符号化ステップでは、前記マップテーブルを符号化して前記符号化ストリームに付加する
ことを特徴とする請求項８記載の動画像符号化方法。
【請求項１０】
前記動画像符号化方法は、さらに、
前記可変速再生の対象とするピクチャが参照する共通情報の符号化の必要性を検知する検知ステップと、
前記検知ステップにより前記共通情報の符号化の必要性が検知されたピクチャに対して前記共通情報を付加する共通情報付加ステップと
を含むことを特徴とする請求項１記載の動画像符号化方法。
【請求項１１】
符号化ストリームをピクチャ単位で復号化する動画像復号化方法であって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を抽出する情報抽出ステップと、
前記可変速再生用情報を復号化するとともに、前記可変速再生用情報に基づいて可変速再生の対象とするピクチャを特定し復号化する復号化ステップと
を含むことを特徴とする動画像復号化方法。
【請求項１２】
前記情報抽出ステップでは、複数のピクチャから構成されるランダムアクセスユニットであり、当該ランダムアクセスユニット内のピクチャだけを参照して当該ランダムアクセスユニット内の復号化対象ピクチャを復号化することが可能である前記ランダムアクセスユニット単位で、前記可変速再生用情報を抽出する
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１３】
前記可変速再生用情報は、可変速再生の速度と前記速度で再生の対象とするピクチャを特定する情報とが対応付けられており、
前記復号化ステップでは、指示された速度と前記可変速再生用情報に基づいて前記指示された速度で再生の対象とするピクチャを特定する
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１４】
前記可変速再生用情報は、ピクチャ番号毎に当該ピクチャの復号化が必要な前記速度が記載されている
ことを特徴とする請求項１３記載の動画像復号化方法。
【請求項１５】
前記可変速再生用情報は、各ピクチャに対する復号化が必要な前記速度が順に記載されている
ことを特徴とする請求項１３記載の動画像復号化方法。
【請求項１６】
前記可変速再生用情報は、前記速度毎に当該速度での再生のために必要なピクチャのピクチャ番号が記載されている
ことを特徴とする請求項１３記載の動画像復号化方法。
【請求項１７】
前記可変速再生用情報は、所定の参照関係のリストから対応する参照関係を特定するインデックスであり、
前記復号化ステップでは、前記インデックスに基づいて前記所定の参照関係のリストから対応する参照関係を特定する
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１８】
前記所定の参照関係のリストは、可変速再生の速度と前記速度での再生の対象とするピクチャを特定する情報とが対応付けられたマップ情報を複数組有するマップテーブルであり、
前記インデックスは、前記マップテーブルの中から対応するマップ情報を選択するための識別子であり、
前記復号化ステップでは、指示された速度、前記マップテーブル、および前記識別子に基づいて前記指示された速度で再生の対象とするピクチャを特定する
ことを特徴とする請求項１７記載の動画像復号化方法。
【請求項１９】
前記情報抽出ステップでは、前記マップテーブルを抽出し、
前記復号化ステップでは、前記マップテーブルを復号化する
ことを特徴とする請求項１８記載の動画像復号化方法。
【請求項２０】
前記動画像復号化方法は、さらに、
可変速再生時には、他のピクチャに参照されるピクチャについては、前記可変速再生の対象でないピクチャであっても、ピクチャメモリに保存しているものとして制御するメモリ制御ステップ
を含むことを特徴とする請求項１１記載の動画像復号化方法。
【請求項２１】
動画像信号をピクチャ単位で符号化して符号化ストリームを生成する動画像符号化装置であって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を作成する情報作成手段と、
前記可変速再生用情報を符号化して前記符号化ストリームに付加する符号化手段と
を備えることを特徴とする動画像符号化装置。
【請求項２２】
符号化ストリームをピクチャ単位で復号化する動画像復号化装置であって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を抽出する情報抽出手段と、
前記可変速再生用情報を復号化するとともに、前記可変速再生用情報に基づいて可変速再生の対象とするピクチャを特定し復号化する復号化手段と
を備えることを特徴とする動画像復号化装置。
【請求項２３】
動画像信号をピクチャ単位で符号化して符号化ストリームを生成するためのプログラムであって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を作成する情報作成ステップと、
前記可変速再生用情報を符号化して前記符号化ストリームに付加する符号化ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２４】
符号化ストリームをピクチャ単位で復号化するためのプログラムであって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を抽出する情報抽出ステップと、
前記可変速再生用情報を復号化するとともに、前記可変速再生用情報に基づいて可変速再生の対象とするピクチャを特定し復号化する復号化ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２５】
動画像信号をピクチャ単位で符号化した符号化ストリームであって、
可変速再生の対象とするピクチャを特定するための可変速再生用情報を含む
ことを特徴とする符号化ストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を可変速再生できるように符号化する動画像符号化方法と、そのように符号化されたストリームを復号化する動画像復号化方法、およびそのストリームに関する。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合  電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５MbpsでＴＶ放送品質を実現する。
【０００５】
さらに現状では、MPEG-１、MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、MPEG-１、MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264の標準化活動が進んでいる。2002年5月の時点で、次世代画像符号化方式はコミッティー・ドラフト（CD）と呼ばれるものが発行されている（例えば、非特許文献１参照。）。
【０００６】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００７】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
【０００８】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減らしている。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【０００９】
動きベクトルはマクロブロックもしくはブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックもしくはブロックを固定しておき、参照ピクチャ側のマクロブロックもしくはブロックを探索範囲内で移動させ、基準マクロブロックもしくはブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
【００１０】
図１９は従来のMPEG2のストリームの構成を示す図であり、（ａ）ピクチャの流れ、（ｂ）ストリームの階層構造を示す図である。図１９（ａ）、（ｂ）に示すようにMPEG2のストリームは以下のような階層構造を有している。ストリーム（Stream）は複数のグループ・オブ・ピクチャ（GOP：Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。ストリーム、GOPおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。
【００１１】
図２０は他の従来のストリームの階層構造を示す図である。このストリームは現在ITU-TとISO/IECが共同で標準化中のJVT（H.264/MPEG-4 AVC）に対応する。JVTでは、ヘッダという概念は無く、共通データはストリームの先頭にパラメータセットPSという名称で配置される。また、GOPに相当する概念は無いが他のピクチャに依存せずに復号化できる特別なピクチャ単位でデータを分割すればGOPに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセスユニットRAUと呼ぶことにする。
【００１２】
パラメータセットPSは各ピクチャのヘッダに相当するデータであるピクチャパラメータセットPPSとMPEG-2のGOPもしくはシーケンス単位のヘッダに相当するシーケンスパラメータセットSPSがある。各ピクチャには前記ピクチャパラメータセットPPSおよびシーケンスパラメータセットSPSの複数の候補の中から何れを参照するかを示す識別子が付与される。即ち、ピクチャパラメータセットPPSおよび シーケンスパラメータセットSPSは複数のセットを1回だけ符号化し、各ピクチャではそのセットの中のどれを参照するかを識別子で示すことで、MPEG-2のように各ピクチャ毎に同じ値のヘッダ（パラメータセット）を何回も符号化する無駄を省き圧縮率を向上している。
【００１３】
ピクチャ番号PNはピクチャを識別するための識別番号である。シーケンスパラメータセットSPSには、最大参照可能ピクチャ数、画像サイズ等が含まれており、ピクチャパラメータセットPPSには、可変長符号化のタイプ（ハフマン符号化と算術符号化の切替）、量子化ステップの初期値、参照ピクチャ数等が含まれている。
図２１は従来の動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。
【００１４】
動画像符号化装置３は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した符号化ストリームStr を出力する装置であり、動き検出部１０１、動き補償部１０２、減算部１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、ピクチャメモリ１０９、スイッチ１１０、予測構造決定部１１１、および可変長符号化部３０１を備えている。
【００１５】
画像信号Vin は、減算部１０３および動き検出部１０１に入力される。減算部１０３は、入力された画像信号Vin と予測画像の差分値を計算し、直交変換部１０４に出力する。直交変換部１０４は、差分値を周波数係数に変換し、量子化部１０５に出力する。量子化部１０５は、入力された周波数係数を量子化し、量子化値Qcoefを可変長符号化部３０１に出力する。
【００１６】
逆量子化部１０６は、量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部１０７に出力する。逆直交変換部１０７は、周波数係数から画素差分値に逆周波数変換し、加算部１０８に出力する。加算部１０８は、画素差分値と動き補償部１０２から出力される予測画像とを加算して復号化画像とする。スイッチ１１０は、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリ１０９に保存される。
【００１７】
一方、画像信号Vin がマクロブロック単位で入力された動き検出部１０１は、ピクチャメモリ１０９に格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出してその位置を指し示す動きベクトルＭＶを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができるため、参照するピクチャを指定するための識別番号（参照インデックスIndex）がブロックごとに必要となる。参照インデックスIndexによって、ピクチャメモリ１０９中の各ピクチャが有するピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。
【００１８】
動き補償部１０２では、上記処理によって検出された動きベクトルＭＶおよび参照インデックスIndexを用いて、ピクチャメモリ１０９に格納されている復号化画像から予測画像に最適な画像領域を取り出す。
予測構造決定部１１１は、対象ピクチャがランダムアクセスユニットRAUの開始位置を示すランダムアクセスユニット開始ピクチャRAUinであれば、この対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプPtypeにより動き検出部１０１および動き補償部１０２に指示する。また、予測構造決定部１１１は、そのピクチャタイプPtypeを可変長符号化部３０１に出力する。
【００１９】
可変長符号化部３０１は量子化値Qcoef、参照インデックスIndex、ピクチャタイプPtypeおよび動きベクトルＭＶを可変長符号化して符号化ストリームStrとする。
図２２は従来の動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。同図において、図２１の従来の動画像符号化方法を実現する動画像符号化装置と同じ動作をする機器は同じ記号を付し、説明を省略する。
【００２０】
可変長復号化部４０１は符号化ストリームStrを復号化し、量子化値Qcoef、参照インデックスIndex、ピクチャタイプPtypeおよび動きベクトルＭＶを出力する。量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶは、ピクチャメモリ２０８、動き補償部２０４および逆量子化部２０５に入力され復号化処理が行われるが、その動作は図２１の従来の動画像符号化装置と同様である。
【非特許文献１】Text of Committee Draft of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC) 0.4  'Overview of the syntax' 0.4.1 'Temporal processing' 8.2.2 'Parameter set decoding'
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、ランダムアクセスユニットRAUはそのユニットのピクチャだけで復号化が可能であるが、従来のJVTの符号化方法およびストリームではVTRやディスクレコーダ等の蓄積装置で重要な可変速再生のための情報を得ることができない。これは、JVTが符号化効率（圧縮率）を大きく向上させるために、非常に柔軟なピクチャ間の予測構造を導入したことによる。
【００２２】
図２３はピクチャの参照関係の例を示す模式図である。図２３（ａ）はMPEG-2で使用されているピクチャ間の予測構造である。同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。MPEG-2ではPピクチャ（P4、P7）は表示時刻が直前１枚のIピクチャもしくはPピクチャのみ参照した予測符号化が可能である。また、Bピクチャ（B1、B2、B3、B5、B6）は表示時刻が直前１枚と直後１枚のIピクチャもしくはPピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、IピクチャおよびPピクチャは表示時刻の順序、Bピクチャは直後に表示されるIピクチャもしくはPピクチャの直後に配置される。従って、１）全てのピクチャを復号化、２）IピクチャとPピクチャのストリームのみ復号化してIピクチャとPピクチャのみ表示、３）Iピクチャのストリームのみ復号化して表示、の３通りで復号化できるため、１）の通常の再生から２）の中速再生、３）の高速再生の３通りが容易に実現できる。
【００２３】
JVTではBピクチャからBピクチャを参照した予測も可能である。図２３（ｂ）はJVTの予測の例であり、Bピクチャ（B1、B3）はBピクチャ（B2）を参照している。この例では、１）全てのピクチャを復号化、２）Iピクチャ、Pピクチャ、Bピクチャの参照されるストリームのみ復号化して表示、３）IピクチャとPピクチャのストリームのみ復号化してIピクチャとPピクチャのみ表示、４）Iピクチャのストリームのみ復号化して表示、の４通りが実現できる。
【００２４】
しかしながら、JVTでは更にPピクチャからBピクチャを参照することも可能になっており、図２４に示すように、Pピクチャ（P7）がBピクチャ（B2）を参照することもできる。この場合は、Pピクチャ（P7）はBピクチャ（B2）が復号化できていなければ復号化ができないため、１）全てのピクチャを復号化、２）Iピクチャ、Pピクチャ、Bピクチャの参照されるストリームのみ復号化して表示、３）Iピクチャのストリームのみ復号化して表示、の３通りが実現できる。
【００２５】
このようにJVTでは非常に柔軟な予測構造が許容されるため、実際の予測構造がわからなければどのような可変速再生が可能か不明である。そこで、図２３および図２４の例から予測構造に拠らず実現できるのは、１）全てのピクチャを復号化、２）Iピクチャのストリームのみ復号化して表示、の高々２通りにすぎない。これでは、MPEG-2で実現できる可変速再生と比較してあまりにも実現できる速度の選択肢が少なすぎる。
【００２６】
そこで、本発明は上記の事情に鑑みてなされたものであり、可変速再生のために復号化が必要なピクチャを容易に特定することができ、可変速再生に適した符号化および復号化を行うことができる動画像符号化方法および動画像復号化方法等を提供することを目的とする。
【課題を解決するための手段】
【００２７】
上記目的を達成するために、本発明に係る動画像符号化方法は、動画像信号をピクチャ単位で符号化して符号化ストリームを生成する動画像符号化方法であって、可変速再生の対象とするピクチャを特定するための可変速再生用情報を作成する情報作成ステップと、前記可変速再生用情報を符号化して前記符号化ストリームに付加する符号化ステップとを含むことを特徴とする。
【００２８】
これによって、可変速再生時に可変速再生用情報に基づいて所望の可変速再生の対象とするピクチャを特定することができ、この特定したピクチャだけを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生が可能になる。
ここで、前記情報作成ステップでは、複数のピクチャから構成されるランダムアクセスユニットであり、当該ランダムアクセスユニット内のピクチャだけを参照して当該ランダムアクセスユニット内の復号化対象ピクチャを復号化することが可能である前記ランダムアクセスユニット単位で、前記可変速再生用情報を作成してもよい。
【００２９】
これによって、ランダムアクセスユニット単位でピクチャの参照関係の構造が相違していても、可変速再生時に可変速再生用情報に基づいて所望の可変速再生の対象とするピクチャを特定することができる。
また、前記動画像符号化方法は、さらに、前記可変速再生の対象とするピクチャが参照する共通情報の符号化の必要性を検知する検知ステップと、前記検知ステップにより前記共通情報の符号化の必要性が検知されたピクチャに対して前記共通情報を付加する共通情報付加ステップとを含んでもよい。
【００３０】
これによって、例えばＮ倍速未満で再生されるピクチャに既に付加された共通情報であっても、Ｎ倍速で再生されるピクチャに必要とされる場合には、Ｎ倍速で再生されるピクチャにも共通情報を必ず付加することができるので、可変速再生時に、参照すべき共通情報がないという状況を回避することができる。
また、本発明に係る動画像復号化方法は、符号化ストリームをピクチャ単位で復号化する動画像復号化方法であって、可変速再生の対象とするピクチャを特定するための可変速再生用情報を抽出する情報抽出ステップと、前記可変速再生用情報を復号化するとともに、前記可変速再生用情報に基づいて可変速再生の対象とするピクチャを特定し復号化する復号化ステップとを含むことを特徴とする。
【００３１】
これによって、可変速再生時に可変速再生用情報に基づいて所望の可変速再生の対象とするピクチャを特定することができ、この特定したピクチャだけを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生が可能になる。
ここで、前記情報抽出ステップでは、複数のピクチャから構成されるランダムアクセスユニットであり、当該ランダムアクセスユニット内のピクチャだけを参照して当該ランダムアクセスユニット内の復号化対象ピクチャを復号化することが可能である前記ランダムアクセスユニット単位で、前記可変速再生用情報を抽出してもよい。
【００３２】
これによって、ランダムアクセスユニット単位でピクチャの参照関係の構造が相違していても、可変速再生時に可変速再生用情報に基づいて所望の可変速再生の対象とするピクチャを特定することができる。
また、前記動画像復号化方法は、さらに、可変速再生時には、他のピクチャに参照されるピクチャについては、前記可変速再生の対象でないピクチャであっても、ピクチャメモリに保存しているものとして制御するメモリ制御ステップを含んでもよい。
【００３３】
これによって、相対的に参照するピクチャを指定されていても、可変速再生時に復号化対象ピクチャの参照ピクチャとして指定されたピクチャが符号化時の参照ピクチャと相違することを防止することができる。
なお、本発明は、このような動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したり、前記動画像符号化方法により符号化した符号化ストリームとして実現したりすることもできる。そして、そのようなプログラムおよび符号化ストリームは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３４】
以上の様に本発明に係る動画像符号化方法および動画像復号化方法によれば、ランダムアクセスユニットRAUの中で可変速再生のために復号化が必要なピクチャが容易に特定できるので、可変速再生に適した符号化および復号化を容易に実現することができ、その実用的価値が高い。
【発明を実施するための最良の形態】
【００３５】
JVTの予測構造が柔軟すぎるために可変速再生が困難になるのであるが、ランダムアクセスユニットRAUを復号化する前にどのような予測構造がそのランダムアクセスユニットRAUのピクチャで使用されているかを知ることができれば、図２３および図２４の各例で示したように２通り以上の速度の可変速再生が実現できる。
以下、本発明の実施の形態について、図１から図１８を用いて説明する。
【００３６】
なお、実施の形態の説明で用いるランダムアクセスユニットRAUは必ずしもＪＶＴの特別な単位である必要は無く、パラメータセットPSをランダムアクセスユニットRAU毎に配置することから単に画面内符号化（Ｉピクチャ）で始まるピクチャの集合であってもよい。
【００３７】
（実施の形態１）
図１は本発明に係る動画像符号化方法を用いた動画像符号化装置の一実施の形態の構成を示すブロック図である。なお、図２１に示す従来の動画像符号化装置３の各部と同じ動作をする機器は同じ符号を付し、説明を省略する。
【００３８】
動画像符号化装置１は、入力される画像信号Vin を圧縮符号化して可変長符号化等のビットストリームに変換した符号化ストリームStr を出力する装置であり、動き検出部１０１、動き補償部１０２、減算部１０３、直交変換部１０４、量子化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、ピクチャメモリ１０９、スイッチ１１０、予測構造決定部１１１、可変長符号化部１１２、マップ作成部１１３、検知部１１４、および共通情報付加部１１５を備えている。
【００３９】
マップ作成部１１３は、ピクチャタイプPtypeに対応して可変速再生に必要な情報である可変速再生用情報Map（例えば後述する可変速再生マップRAMや可変速再生マップテーブルRAMTBL、可変速再生マップ識別子RAMID）を作成し、可変長符号化部１１２に出力する。可変長符号化部１１２は、符号化ストリームStrに可変速再生用情報Mapを符号化して配置する。
【００４０】
検知部１１４は、符号化対象のピクチャがＮ倍速以上で再生（復号）されるピクチャである時、対象ピクチャが参照する共通情報であるピクチャパラメータセットPPSが、Ｎ倍速以上で再生されるピクチャで既に符号化されているか否かを判定することで、ピクチャパラメータセットPPSの符号化の必要性を検知する。共通情報付加部１１５は、検知部１１４により符号化の必要性が検知されたピクチャに対してピクチャパラメータセットPPSを付加する。
【００４１】
図２は実施の形態１のストリームの構成図である。図２０の従来のストリームの構成図との違いは、ランダムアクセスユニットRAUに可変速再生マップRAMを配置したことである。
図２（ａ）はランダムアクセスユニットRAUの構造例を示す。この構造例では、可変速再生マップRAMをランダムアクセスユニットRAU内のピクチャの前に配置し、可変速再生マップRAMにどのピクチャのストリームを復号化すれば所望の可変速で再生できるかの情報を記載している。動画像復号化装置では可変速再生マップRAMに記載された情報に従って所望の可変速再生に必要なピクチャのみを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生が可能になる。
【００４２】
図２（ｂ）は可変速再生マップRAMの例である。ランダムアクセスユニットRAU内のピクチャの識別子であるピクチャ番号PN毎に何倍速再生でそのピクチャの復号化が必要かを可変速再生マップRAMに記載している。すなわち、各ピクチャ番号PNの後位置にそのピクチャが何倍速再生で復号化が必要か示す情報（Speed）を記載している。このようにすることで、所望の再生速度でどのピクチャの復号化が必要か容易に知ることができる。なお、ピクチャ番号PNをランダムアクセスユニットRAUの先頭にまとめて配置し、その後に何倍速再生で復号化が必要か示す情報（Speed）をまとめて配置しても良い。
【００４３】
図２（ｃ）は可変速再生マップRAMの他の例である。ランダムアクセスユニットRAU内の各ピクチャが何倍速の再生で必要かを順番に記載している。これにより、必ずしもピクチャ番号PNを可変速再生マップRAMに配置する必要が無く、ピクチャ番号PNを配置するために必要な領域を節約できる。
図２（ｄ）は可変速再生マップRAMの他の例である。最初に何倍速再生で復号化が必要か示す情報（Speed）を配置し、その後にその速度の再生のために必要なピクチャのピクチャ番号PNを記載している。
【００４４】
何倍速再生で復号化が必要か示す情報（Speed）としては、例えばピクチャMがN倍速で必要と記載されている場合にSpeedはNとする。このとき、再生速度がK倍速の場合に、N＜KであればピクチャMは復号化が不要であるが、N＞＝KであればピクチャMの復号化が必要である。
図３はピクチャの参照関係の例を示す模式図である。ここで、斜線をつけたピクチャは他のピクチャから参照されるピクチャである。
【００４５】
図３（ａ）に示す例では、３倍速の場合にピクチャI0、P3、P6を再生する。図３（ｂ）に示す例では、４倍速の場合にピクチャI0、P4を再生し、２倍速の場合にピクチャI0、B2、P4、B6を再生する。図３（ｃ）に示す例では、３倍速の場合にピクチャI0、P3、P6を再生し１．５倍速の場合にピクチャI0、P1、P3、P4、P6、P7を再生する。
従って、何倍速再生で復号化が必要か示す情報（Speed）は、図３（ａ）に示す例ではピクチャI0、P3、P6が「３」、他のピクチャは「１」となり、図３（ｂ）に示す例ではピクチャI0、P4が「４」、ピクチャB2、B6が「２」、他のピクチャは「１」となり、図３（ｃ）に示す例ではピクチャI0、P3、P6が「３」、ピクチャP1、P4、P7が「１．５」、他のピクチャは「１」となる。
【００４６】
次に、上記のように構成された動画像符号化装置１の動作について説明する。図４は可変速再生マップRAMを作成する際の動作を示すフローチャートである。
マップ作成部１１３は、符号化対象のピクチャがランダムアクセスポイント即ちランダムアクセスユニットRAUの最初のピクチャであるか否かを判定する（ステップＳ１０）。この判定の結果、ランダムアクセスポイントのピクチャであれば（ステップＳ１０でＹＥＳ）、マップ作成部１１３は、可変速再生マップRAMを作成し、可変長符号化部１１２に出力する（ステップＳ１１）。次に、可変長符号化部１１２は、可変速再生マップRAMを符号化する（ステップＳ１２）。さらに、可変長符号化部１１２は、対象ピクチャを符号化する（ステップＳ１３）。
【００４７】
一方、上記判定の結果、ランダムアクセスポイントのピクチャでなければ（ステップＳ１０でＮＯ）、可変長符号化部１１２は、対象ピクチャを符号化する（ステップＳ１３）。
次に、未符号化ピクチャがあるか否かを判定（ステップＳ１４）し、未符号化ピクチャがあれば上記動作（ステップＳ１０〜Ｓ１４）を繰り返し、未符号化ピクチャが無ければ処理を終了する。
【００４８】
ところで、符号化ストリームStrの復号化時には、上記のようにピクチャパラメータセットPPSを参照して復号化を行っており、このピクチャパラメータセットPPSが変更された場合には、この新しいピクチャパラメータセットPPSは、参照するピクチャのデータ以前に符号化ストリームStrとして送られている。しかしながら、可変速再生を行うと、変更された新しいピクチャパラメータセットPPSを参照すべきピクチャを復号化する際に、このピクチャパラメータセットPPSがないという状況が発生する。例えば、図３（ｂ）に示す例では、ピクチャI0、P4、B2、B1、B3、P8、B6、B5、B7の順に符号化される。このとき、ピクチャB2においてピクチャパラメータセットPPSが変更され、変更された新しいピクチャパラメータセットPPSを参照するピクチャB2のデータ中にこの新しいピクチャパラメータセットPPSが付加されたとする。この場合、通常および２倍速の再生では問題はないが、例えば、４倍速再生ではピクチャI0、P4、P8を再生することになり、ピクチャB2は復号化されないので、変更された新しいピクチャパラメータセットPPSも復号化されない。よって、ピクチャP8が参照すべきピクチャパラメータセットPPSが復号化されていないため、ピクチャP8を復号化できないという問題が生じる。
【００４９】
そこで、本実施の形態では、ピクチャパラメータセットPPSは、Ｎ倍速で再生されるピクチャに必要とされる場合には、Ｎ倍速未満で再生されるピクチャに既に付加されていても、Ｎ倍速で再生されるピクチャにも必ず付加する。すなわち、上記の例では、ピクチャB2において変更された新しいピクチャパラメータセットPPSがピクチャP8のデータ中にも付加されることになる。
【００５０】
図５はピクチャパラメータセットPPSを付加する際の動作を示すフローチャートである。
検知部１１４は、符号化対象のピクチャがＮ倍速以上で再生（復号）されるか否かを判定する（ステップＳ２０）。この判定の結果、Ｎ倍速以上で再生されるピクチャであれば（ステップＳ２０でＹＥＳ）、対象ピクチャが参照するピクチャパラメータセットPPSは、Ｎ倍速以上で再生されるピクチャの符号化時に既に符号化されているか否かを判定する（ステップＳ２１）。ここで、Ｎ倍速以上で再生されるピクチャの符号化時にまだ符号化されていない場合（ステップＳ２１でＮＯ）、共通情報付加部１１５は、対象ピクチャに対してピクチャパラメータセットPPSを付加するために、可変長符号化部１１２に出力する（ステップＳ２２）。次に、可変長符号化部１１２は、ピクチャパラメータセットPPSを符号化する（ステップＳ２３）。さらに、可変長符号化部１１２は、対象ピクチャを符号化する（ステップＳ２４）。
【００５１】
一方、上記判定の結果、Ｎ倍速以上で再生されるピクチャでない場合（ステップＳ２０でＮＯ）、および対象ピクチャが参照するピクチャパラメータセットPPSは、Ｎ倍速以上で再生されるピクチャの符号化時に既に符号化されている（ステップＳ２１でＹＥＳ）場合、可変長符号化部１１２は、対象ピクチャを符号化する（ステップＳ２４）。
次に、未符号化ピクチャがあるか否かを判定（ステップＳ２５）し、未符号化ピクチャがあれば上記動作（ステップＳ２０〜Ｓ２５）を繰り返し、未符号化ピクチャが無ければ処理を終了する。
【００５２】
図６は対象ピクチャを符号化する際の動作を示すフローチャートである。
検知部１１４は、符号化対象のピクチャがＮ倍速以上で再生（復号）されるか否かを判定する（ステップＳ３０）。この判定の結果、Ｎ倍速以上で再生されるピクチャであれば（ステップＳ３０でＹＥＳ）、Ｎ倍速以上で再生されるピクチャを参照して対象ピクチャの符号化を行う（ステップＳ３１）。一方、Ｎ倍速以上で再生されるピクチャでなければ（ステップＳ３０でＮＯ）、任意のピクチャを参照して対象ピクチャの符号化を行う（ステップＳ３２）。
【００５３】
次に、対象ピクチャが他のピクチャを符号化する際に参照されるか否かを判定する（ステップＳ３３）。この判定の結果、他のピクチャに参照されるピクチャであれば（ステップＳ３３でＹＥＳ）、対象ピクチャをピクチャメモリ１０９に保存する（ステップＳ３４）。一方、他のピクチャに参照されるピクチャでなければ（ステップＳ３３でＮＯ）、対象ピクチャのピクチャメモリ１０９への保存は行わない。
【００５４】
次に、未符号化ピクチャがあるか否かを判定（ステップＳ３５）し、未符号化ピクチャがあれば上記動作（ステップＳ３０〜Ｓ３５）を繰り返し、未符号化ピクチャが無ければ処理を終了する。
以上のように、可変速再生マップRAMをランダムアクセスユニットRAU内のピクチャの前に配置し、可変速再生マップRAMにどのピクチャのストリームを復号化すれば所望の可変速で再生できるかの情報を記載している。また、Ｎ倍速未満で再生されるピクチャに既に付加されたピクチャパラメータセットPPSであっても、Ｎ倍速で再生されるピクチャに必要とされる場合には、Ｎ倍速で再生されるピクチャにも必ず付加している。これよって、動画像復号化装置では可変速再生マップRAMに記載された情報に従って所望の可変速再生に必要なピクチャのみを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生が可能になる。
【００５５】
なお、本実施の形態において、可変速再生マップRAMを作成する際に、他のピクチャから参照されないピクチャは他のピクチャの復号化に影響を与えないため、他のピクチャに影響を与える参照されるピクチャにのみ対応する可変速再生マップRAMを作成してもよい。また可変速再生マップRAMに相当する機能のもの、例えば各ピクチャの情報を配置する代わりに他から参照されないピクチャ、Iピクチャ、Pピクチャ、Bピクチャ等のカテゴリごとの動作情報を配置してもよい。
【００５６】
更に、ストリームの全てがこのような可変速再生が容易なランダムアクセスユニットRAUで構成されていることを示す識別情報を付与してもよい。
また、本実施の形態では、例えばピクチャMのSpeed（何倍速再生で復号化が必要か示す情報）がNで、再生速度がK倍速の場合に、N＜KであればピクチャMは復号化が不要であるが、N＞＝KであればピクチャMの復号化が必要であるとして説明したが、N＜KであってもNとKの差が小さい場合には可変速再生の画質を向上するために、ピクチャMを復号化してもよい。
【００５７】
また、上述した何倍速再生で復号化が必要か示す情報（Speed）は実際の再生速度を表す値ではなく、再生速度の度合いを示す値をつけてもよい。例えば、通常速度の再生でのみ必要なピクチャは「１」、その次に速い速度の再生で必要なピクチャは「２」、更にそれよりも速い速度の再生で必要なピクチャは「３」というようにすればよい。
【００５８】
（実施の形態２）
実施の形態１ではランダムアクセスユニットRAUに可変速再生マップRAMを配置する例を示したが、各ランダムアクセスユニットRAUの可変速再生マップRAMが同じ内容であればランダムアクセスユニットRAUで可変速再生マップRAMを配置する必要は無い。
【００５９】
図７は実施の形態２のストリームの構成図である。
本実施の形態では、例えば図３に示すようなピクチャの参照関係に基づく複数の可変速再生マップRAMを含む可変速再生マップテーブルRAMTBLを図７（ｂ）に示すように作成する。そして、各ランダムアクセスユニットRAUには、図７（ａ）に示すように可変速再生マップテーブルRAMTBLのどの可変速再生マップRAMに対応するかを示す可変速再生マップ識別子RAMIDを配置する。
【００６０】
可変速再生マップテーブルRAMTBLはストリームの先頭に配置しても良いし、また付加情報として別のストリームで符号化したり、予め所定の値を決めておいて機器に備えておいても良い。
図８は可変速再生マップ識別子RAMIDを作成する際の動作を示すフローチャートである。ここでは、実施の形態１における可変速再生マップRAMの作成および符号化（図４、ステップＳ１１〜Ｓ１２）を行う代わりに、可変速再生マップ識別子RAMIDの作成および符号化を行っている（ステップＳ４１〜Ｓ４２）。
【００６１】
以上のようにすることで、実施の形態１と同様のことを可変速再生マップ識別子RAMIDで実現できる。
なお、可変速再生マップテーブルRAMTBLに含む可変速再生マップRAMを作成する際に、他のピクチャから参照されないピクチャは他のピクチャの復号化に影響を与えないため、他のピクチャに影響を与える参照されるピクチャにのみ対応する可変速再生マップRAMを作成してもよい。また可変速再生マップRAMに相当する機能のもの、例えば各ピクチャの情報を配置する代わりに他から参照されないピクチャ、Iピクチャ、Pピクチャ、Bピクチャ等のカテゴリごとの動作情報を配置してもよい。
【００６２】
更に、ストリームの全てがこのような可変速再生が容易なランダムアクセスユニットRAUで構成されていることを示す識別情報を付与してもよい。
また、実施の形態１、２では、可変速再生マップRAMおよび可変速再生マップ識別子RAMIDをランダムアクセスユニットRAU単位に付与しているが、これに限られるものではない。例えば、ストリーム全体で構造が同じであれば、可変速再生マップRAMおよび可変速再生マップ識別子RAMIDをストリーム単位に付与しても構わない。
【００６３】
また、実施の形態１及び２では少なくとも１つの可変速再生マップRAMを符号化する場合のみを述べたが、運用によって可変速再生マップRAMを固定にする場合も考えられ、その場合は、可変速再生マップRAMの符号化が不要になる。このような運用を可能にするためには、可変速再生の対象とするピクチャが参照する共通情報の符号化の必要性を予め検知し、共通情報の符号化の必要性が検知されたピクチャに対して共通情報を付加するようにすればよい。
【００６４】
（実施の形態３）
図９は本発明に係る動画像復号化方法を用いた動画像復号化装置の構成を示すブロック図である。なお、図２２に示す従来の動画像復号化装置４の各部と同じ動作をする機器は同じ符号を付し、説明を省略する。
動画像復号化装置２は、上記のように動画像符号化装置１により符号化された符号化ストリームStr を復号化する装置であり、ストリーム抽出部２０１、可変長復号化部２０２、抽出ピクチャ選択部２０３、動き補償部２０４、逆量子化部２０５、逆直交変換部２０６、加算部２０７、ピクチャメモリ２０８、およびメモリ制御部２０９を備えている。
【００６５】
抽出ピクチャ選択部２０３は、外部から入力される再生速度情報PlaySpeedで指示された再生速度で再生するために復号化が必要なピクチャを、可変長復号化部２０２で復号化された可変速再生用情報Mapに基づいて決定し、ストリーム抽出部２０１に通知する。ストリーム抽出部２０１は、抽出ピクチャ選択部２０３で復号化が必要と判断されたピクチャに対応するストリームのみを抽出して可変長復号化部２０２に伝送する。メモリ制御部２０９は、可変速再生時には他のピクチャに参照されるピクチャについては復号化していなくても、ピクチャメモリ２０８に保存しているものとして制御を行う。
【００６６】
次に、上記のように構成された動画像復号化装置２の動作について説明する。図１０は動画像復号化装置２での動作を示すフローチャートであり、（ａ）は実施の形態１に示すストリームの構成に対応し、（ｂ）は実施の形態２に示すストリームの構成に対応する。
実施の形態１に示すストリームの構成で符号化された符号化ストリームStr を復号化する場合、ストリーム抽出部２０１は、復号化対象のピクチャがランダムアクセスポイント即ちランダムアクセスユニットRAUの最初のピクチャであるか否かを判定する（ステップＳ５０）。この判定の結果、ランダムアクセスポイントのピクチャであれば（ステップＳ５０でＹＥＳ）、ストリーム抽出部２０１は、可変速再生マップRAMを抽出し、可変長復号化部２０２に出力する（ステップＳ５１）。そして、可変長復号化部２０２は、可変速再生マップRAMを復号化し、抽出ピクチャ選択部２０３へ出力する（ステップＳ５２）。
【００６７】
次に、抽出ピクチャ選択部２０３は、外部から入力される再生速度情報PlaySpeedで指示された再生速度で再生するために復号化が必要なピクチャを、可変長復号化部２０２で復号化された可変速再生マップRAMに基づいて決定し、ストリーム抽出部２０１に通知する（ステップＳ５３）。ストリーム抽出部２０１は、対象ピクチャが抽出ピクチャ選択部２０３で復号化が不要と決定されたピクチャであるか否かを判定する（ステップＳ５４）。ここで、対象ピクチャが復号化不要と決定されたピクチャでなければ（ステップＳ５４でＮＯ）、対象ピクチャに対応するストリームのみを抽出して可変長復号化部２０２に出力する。可変長復号化部２０２は、入力されたピクチャに対応するストリームを復号化する（ステップＳ５５）。
【００６８】
次に、未復号化ピクチャがあるか否かを判定（ステップＳ５６）し、未復号化ピクチャがあれば上記動作（ステップＳ５０〜Ｓ５６）を繰り返し、未復号化ピクチャが無ければ処理を終了する。
また、実施の形態２に示すストリームの構成で符号化された符号化ストリームStr を復号化する場合には、図１０（ｂ）に示すように復号化対象のピクチャがランダムアクセスポイントのピクチャであれば（ステップＳ５０でＹＥＳ）、ストリーム抽出部２０１は、可変速再生マップ識別子RAMIDを抽出し、可変長復号化部２０２に出力する（ステップＳ６１）。そして、可変長復号化部２０２は、可変速再生マップ識別子RAMIDを復号化し、抽出ピクチャ選択部２０３へ出力する（ステップＳ６２）。
【００６９】
次に、抽出ピクチャ選択部２０３は、外部から入力される再生速度情報PlaySpeedで指示された再生速度で再生するために復号化が必要なピクチャを、可変長復号化部２０２で復号化された可変速再生マップ識別子RAMIDおよび可変速再生マップテーブルRAMTBLに基づいて決定し、ストリーム抽出部２０１に通知する（ステップＳ６３）。以降の動作は、実施の形態１に示すストリームの構成で符号化された符号化ストリームStr を復号化する場合と同様である。なお、ここでは可変速再生マップテーブルRAMTBLはあらかじめ復号化され、抽出ピクチャ選択部２０３が有しているものとしている。
【００７０】
ところで、対象ピクチャを復号化する際には、相対的な参照インデックスIndexを用いて参照するピクチャを指定しているため、可変速再生を行う場合に参照ピクチャとして指定されたピクチャが符号化時の参照ピクチャと相違することがある。例えば、図３（ｂ）に示すストリーム例では、すべてのピクチャを通常速度で再生する場合、ピクチャP8の復号化時には図１１（ａ）に示すように参照されるすべてのピクチャI0、P4、B2がピクチャメモリ２０８に保存されている。これに対して、４倍速再生する場合には、図１１（ｂ）に示すように４倍速再生で再生（復号化）され、かつ参照されるピクチャI0、P4がピクチャメモリ２０８に保存されている。このため、ピクチャP8が参照するピクチャP4を指定する参照インデックスIndex（ピクチャメモリ２０８中の２つ前のピクチャを指定）を、４倍速再生する場合にも用いると、図１１（ｂ）に示すようにピクチャI0を指定することになり不都合が生じることになる。
【００７１】
そこで、本実施の形態では、可変速再生を行う場合に再生されないピクチャについても、他のピクチャに参照されるピクチャは必ずピクチャメモリ２０８に保存されているものとして扱う。すなわち、上記の例では、図１１（ｃ）に示すようにピクチャP4の次にはデータが保存されているものとして制御する。
図１２は対象ピクチャを復号化する際の動作を示すフローチャートである。なお、このフローチャートで示す動作は、図１０に示すフローチャートにおける復号化が不要であるか否かの判定処理、対象ピクチャの復号化処理、および未復号化ピクチャがあるか否かを判定処理（ステップＳ５３〜Ｓ５６）の部分に相当する。
【００７２】
ストリーム抽出部２０１は、対象ピクチャがＮ倍速で復号化が必要と決定されたピクチャであるか否かを判定する（ステップＳ９０）。この判定の結果、対象ピクチャが復号化必要と決定されたピクチャであれば（ステップＳ９０でＹＥＳ）、可変長復号化部２０２は、Ｎ倍速以上のピクチャを参照して対象ピクチャを復号化する（ステップＳ９１）。次に、メモリ制御部２０９は、Ｎ倍速で復号化されていないが他のピクチャに参照されるピクチャが存在するか否かを判定する（ステップＳ９２）。
【００７３】
この判定の結果、このようなピクチャが存在すれば（ステップＳ９２でＹＥＳ）、メモリ制御部２０９は、このＮ倍速で復号化されていないが他のピクチャに参照されるピクチャをピクチャメモリ２０８に保存しているものとする（ステップＳ９３）。次に、メモリ制御部２０９は、復号化した対象ピクチャをピクチャメモリ２０８に保存する（ステップＳ９４）。
【００７４】
一方、上記のようなピクチャが存在しなければ（ステップＳ９２でＮＯ）、メモリ制御部２０９は、単に復号化した対象ピクチャをピクチャメモリ２０８に保存する（ステップＳ９４）。
次に、未復号化ピクチャがあるか否かを判定（ステップＳ９５）し、未復号化ピクチャがあれば上記動作（ステップＳ９０〜Ｓ９５）を繰り返し、未復号化ピクチャが無ければ処理を終了する。また、対象ピクチャがＮ倍速で復号化が必要ない場合（ステップＳ９０でＮＯ）も、同様に未復号化ピクチャがあるか否かを判定（ステップＳ９５）し、未復号化ピクチャがあれば上記動作（ステップＳ９０〜Ｓ９５）を繰り返し、未復号化ピクチャが無ければ処理を終了する。
【００７５】
以上のように、実施の形態１および実施の形態２に示すように符号化された符号化ストリームStr を、可変速再生用情報Mapに基づいて所望の可変速再生に必要なピクチャのみを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生を行うことができる。
【００７６】
（実施の形態４）
本実施の形態では、実施の形態３に示す動画像復号化装置２の動作が一部相違する場合について説明する。
【００７７】
図１３は動画像復号化装置２での動作を示すフローチャートであり、（ａ）は実施の形態１に示すストリームの構成に対応し、（ｂ）は実施の形態２に示すストリームの構成に対応する。図１３において、図１０に示すフローチャートの各処理と同じ処理は同じステップ番号を付し、説明を省略する。
実施の形態３では、図１０（ａ）に示すようにストリーム抽出部２０１は、復号化対象のピクチャがランダムアクセスユニットRAUの最初のピクチャであるか否かを判定（ステップＳ５０）しているが、本実施の形態では、図１３（ａ）に示すように単純に可変速再生マップRAMが配置されているか否かを判定（ステップＳ７０）している。この結果、可変速再生マップRAMが配置されていれば（ステップＳ７０でＹＥＳ）、ストリーム抽出部２０１は、可変速再生マップRAMを抽出し、可変長復号化部２０２に出力する（ステップＳ５１）。
【００７８】
同様に、図１０（ｂ）では、ストリーム抽出部２０１は、復号化対象のピクチャがランダムアクセスユニットRAUの最初のピクチャであるか否かを判定（ステップＳ５０）しているが、本実施の形態では、図１３（ｂ）に示すように単純に可変速再生マップ識別子RAMIDが配置されているか否かを判定（ステップＳ８０）している。この結果、可変速再生マップ識別子RAMIDが配置されていれば（ステップＳ８０でＹＥＳ）、ストリーム抽出部２０１は、可変速再生マップ識別子RAMIDを抽出し、可変長復号化部２０２に出力する（ステップＳ６１）。
【００７９】
以上のように、可変速再生マップRAMまたは可変速再生マップ識別子RAMIDが配置されているか否かを判定することでも、実施の形態１および実施の形態２に示すように符号化された符号化ストリームStr を、可変速再生用情報Mapに基づいて所望の可変速再生に必要なピクチャのみを復号化することで、不要なピクチャの復号化を省略して容易に可変速再生を行うことができる。
【００８０】
（実施の形態５）
さらに、上記各実施の形態で示した動画像符号化方法および動画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００８１】
図１４は、上記各実施の形態の動画像符号化方法および動画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１４(b) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４(a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００８２】
また、図１４(c) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法および動画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内の動画像符号化方法および動画像復号化方法を実現するプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００８３】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００８４】
（実施の形態６）
さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
【００８５】
図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００８６】
しかし、コンテンツ供給システムex１００は図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００８７】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００８８】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００８９】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１６は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００９０】
さらに、携帯電話ex１１５について図１７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００９１】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。
【００９２】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００９３】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００９４】
画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００９５】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００９６】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００９７】
次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００９８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００９９】
更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１００】
なお、カーナビゲーションex４１３の構成は例えば図１７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１０１】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１０２】
以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成したり、生成された符号列を復号化したりするための方法として有用である。
【図面の簡単な説明】
【０１０３】
【図１】本発明の動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。
【図２】本発明のストリームの構成図（実施の形態１）であり、（ａ）ランダムアクセスユニットRAUの構造例、（ｂ）可変速再生マップRAMの一例、（ｃ）可変速再生マップRAMの他の例、（ｄ）可変速再生マップRAMの他の例である。
【図３】ピクチャの参照関係（実施の形態１）を示す模式図であり、（ａ）ピクチャの参照関係の一例、（ｂ）ピクチャの参照関係の他の例、（ｃ）ピクチャの参照関係の他の例である。
【図４】可変速再生マップRAMを作成する際の動作を示すフローチャートである。
【図５】ピクチャパラメータセットPPSを付加する際の動作を示すフローチャートである。
【図６】対象ピクチャを符号化する際の動作を示すフローチャートである。
【図７】本発明のストリームの構成図（実施の形態２）であり、（ａ）ランダムアクセスユニットRAUの構造例、（ｂ）可変速再生マップテーブルRAMTBLの一例である。
【図８】可変速再生マップ識別子RAMIDを作成する際の動作を示すフローチャートである。
【図９】本発明の動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。
【図１０】動画像復号化装置での動作を示すフローチャートであり、（ａ）実施の形態１に示すストリームの構成、（ｂ）実施の形態２に示すストリームの構成に対応するフローチャートである。
【図１１】ピクチャメモリの保存状態を示す模式図であり、（ａ）通常再生時、（ｂ）従来の４倍速再生時、（ｃ）本発明の４倍速再生時、の保存状態を示す模式図である。
【図１２】対象ピクチャを復号化する際の動作を示すフローチャートである。
【図１３】動画像復号化装置での他の動作を示すフローチャートであり、（ａ）実施の形態１に示すストリームの構成、（ｂ）実施の形態２に示すストリームの構成に対応するフローチャートである。
【図１４】各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１５】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１６】携帯電話の一例を示す図である。
【図１７】携帯電話の内部構成を示すブロック図である。
【図１８】ディジタル放送用システムの全体構成を示すブロック図である。
【図１９】従来のMPEG2のストリームの構成図であり、（ａ）ピクチャの流れ、（ｂ）ストリームの階層構造を示す図である。
【図２０】従来の他のストリームの階層構造を示す図である。
【図２１】従来の動画像符号化方法を実現する動画像符号化装置の構成を示すブロック図である。
【図２２】従来の動画像復号化方法を実現する動画像復号化装置の構成を示すブロック図である。
【図２３】ピクチャの参照関係の例を示す模式図であり、（ａ）MPEG-2におけるピクチャ間の予測構造、（ｂ）JVTにおける予測構造の例である。
【図２４】ピクチャの参照関係の例を示す模式図である。
【符号の説明】
【０１０４】
１      動画像符号化装置
２      動画像復号化装置
１０１  動き検出部
１０２、２０４  動き補償部
１０３  減算部
１０４  直交変換部
１０５  量子化部
１０６、２０５  逆量子化部
１０７、２０６  逆直交変換部
１０８、２０７  加算部
１０９、２０８  ピクチャメモリ
１１０  スイッチ
１１１  予測構造決定部
１１２  可変長符号化部
１１３  マップ作成部
１１４  検知部
１１５  共通情報付加部
２０１  ストリーム抽出部
２０２  可変長復号化部
２０３  抽出ピクチャ選択部
２０９  メモリ制御部
【図１】
2004242286.tif 000003
【図２】
2004242286.tif 000004
【図３】
2004242286.tif 000005
【図４】
2004242286.tif 000006
【図５】
2004242286.tif 000007
【図６】
2004242286.tif 000008
【図７】
2004242286.tif 000009
【図８】
2004242286.tif 000010
【図９】
2004242286.tif 000011
【図１０】
2004242286.tif 000012
【図１１】
2004242286.tif 000013
【図１２】
2004242286.tif 000014
【図１３】
2004242286.tif 000015
【図１４】
2004242286.tif 000016
【図１５】
2004242286.tif 000017
【図１６】
2004242286.tif 000018
【図１７】
2004242286.tif 000019
【図１８】
2004242286.tif 000020
【図１９】
2004242286.tif 000021
【図２０】
2004242286.tif 000022
【図２１】
2004242286.tif 000023
【図２２】
2004242286.tif 000024
【図２３】
2004242286.tif 000025
【図２４】
2004242286.tif 000026