(57)【要約】【課題】小さい装置規模で逆転再生時にも高速処理を可能にする。【解決手段】  画像間の相関に応じて予測符号化された符号化画像が入力され、予測復号化によって復号画像を得る復号手段と、前記予測符号化における参照画像の符号化画像に対する前記復号手段からの復号画像を前記参照画像として記憶可能な記憶手段と、逆転再生時に配列順で末尾側の前記参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させると共に、前記記憶手段に記憶された復号画像の出力処理によって開放可能な前記記憶手段の容量分だけ配列順で前方の参照画像の符号化画像についてその復号画像を前記記憶手段に記憶させるように制御する制御手段とを具備したことを特徴とする。【選択図】図１
2008252747.tif 000002
【特許請求の範囲】
【請求項１】
画像間の相関に応じて予測符号化された符号化画像が入力され、予測復号化によって復号画像を得る復号手段と、
前記予測符号化における参照画像の符号化画像に対する前記復号手段からの復号画像を前記参照画像として記憶可能な記憶手段と、
逆転再生時に配列順で末尾側の前記参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させると共に、前記記憶手段に記憶された復号画像の出力処理によって開放可能な前記記憶手段の容量分だけ配列順で前方の参照画像の符号化画像についてその復号画像を前記記憶手段に記憶させるように制御する制御手段と
を具備したことを特徴とする画像復号装置。
【請求項２】
前記符号化画像は、双方向予測符号化された双方向予測符号化画像を含み、
前記制御手段は、復号画像の出力処理によって開放可能な前記記憶手段の容量の一部を、出力処理のために前記双方向予測符号化画像の復号画像に割り当てることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記制御手段は、前記符号化画像のピクチャタイプに応じて、前記記憶手段に記憶させる前記復号画像を前記予測復号化処理前に決定することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
画像間の相関に応じて予測符号化された符号化画像が入力され、予測復号化によって復号画像を得る復号手段と、前記予測符号化における参照画像の符号化画像に対する前記復号手段からの復号画像を前記参照画像として記憶可能な記憶手段と、を有する画像復号装置の画像復号方法であって、
逆転再生時に配列順で末尾側の前記参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させるための処理を行う第１の手順と、
前記記憶手段に記憶された復号画像の出力処理によって開放可能な前記記憶手段の容量分だけ配列順で前方の参照画像の符号化画像についてその復号画像を前記記憶手段に記憶させるための処理を行う第２の手順と、
を具備したことを特徴とする画像復号方法。
【請求項５】
前記第１の手順は、逆転再生時に、配列順で末尾側の２つの参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させるための処理を行う手順を含み、
前記第２の手順は、前記記憶手段に記憶させる復号画像の元となる符号化画像の配列順で前方に双方向予測符号化画像があるか否かに応じて、前記記憶手段に記憶させる復号画像の元となる符号化画像の選択を切換えることを特徴とする請求項４に記載の画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、逆転再生に好適な画像復号装置及び画像復号方法に関する。
【背景技術】
【０００２】
近年、画像データをデジタル圧縮して記録，再生する映像装置が普及している。この種の映像装置においては、圧縮方法として国際規格であるＭＰＥＧ（Moving Picture experts group）を用いた符号化を採用することがある。ＭＰＥＧ規格では、直交変換を用いて、より小さいビットレートで画像データを符号化する。直交変換処理は、１フレームを複数のブロックに分割し、このブロック単位で映像信号を周波数成分に変換するものであり、空間軸方向の冗長度を削減可能にする。更に、ＭＰＥＧ規格においては、一般の動画像が殆どの場面において強い時間連続性を有することを考慮して、時間軸方向の冗長度を削減する予測符号化も採用している。
【０００３】
ＭＰＥＧ規格の画像データは、画面内のデータのみを用いた符号化によるＩピクチャ、画面内のデータと直前の１画面のデータとの予測誤差に対する予測符号化によるＰピクチャ、画面内のデータと直前直後の２画面のデータとの予測誤差に対する予測符号化によるＢピクチャによって構成される。Ｐピクチャの作成には、Ｉピクチャ又は他のＰピクチャを参照する必要があり、Ｂピクチャの作成には、Ｉ又はＰピクチャを参照する必要がある。なお、Ｂピクチャは参照されることはない。
【０００４】
符号化後のデジタル画像データ（以下、ストリームという）は、Ｉ，Ｐ，Ｂピクチャを適宜配列して構成される。ストリームの先頭には必ずＩピクチャが配置される。Ｂピクチャの復号には、対象Ｂピクチャが参照するＰピクチャの復号データを、対象Ｂピクチャの復号の前に得る必要がある。このため、各ピクチャは、ストリーム中において復号順を考慮して配置されている。即ち、Ｂピクチャを含むストリームにおいては、実際の画像順（表示順）とストリーム内の各ピクチャの順序とは異なる。
【０００５】
なお、符号化画像データの復号装置においては、Ｂピクチャを復号するために、前方及び後方のＩ，Ｐピクチャの復号画像（参照画像）を記憶するための２フレーム分のメモリが必要である。また、Ｐ，Ｂピクチャを表示用として出力する前に、前方参照ピクチャを表示用として出力する必要がある。そこで、復号画像の表示タイミングを調整するために、一般的には、出力用のフレームメモリが設けられる。従って、一般的な復号装置は、３フレーム分のメモリを有する。
【０００６】
なお、Ｐ，Ｂピクチャは、予測誤差の符号化によって得られるものであり、Ｐ，Ｂピクチャのみでは復号化出力を得ることはできない。即ち、先ずＩピクチャの復号が必要であり、ストリーム途中からの復号を可能にするために、なるべく多くのＩピクチャを配置した方がよい。ＭＰＥＧ規格では、平均１５フレームから数十フレーム分程度のＧＯＰ（Group of Pictures）という処理単位を設定して、ＧＯＰ内に必ず１枚のＩピクチャを挿入するように規定されている。
【０００７】
ところで、復号装置においては、このようなストリームの各ピクチャを逆順に取り込んで、現実の画像順とは逆順の表示（逆転再生表示）を可能にするものがある。なお、以下、現実の画像順の方向を順方向、逆転再生の方向を逆方向といい、画像の前方、後方、先頭等は順方向を基準とする。このような逆転再生においても、順方向再生時と同等の画質を確保するためには、取り込んだ全ピクチャを復号する必要がある。即ち、復号装置においては、逆順に取り込まれる各ピクチャを順次記憶し、Ｉピクチャを取り込んだ後に、記憶した各ピクチャをＩピクチャから順方向に読み出して復号処理を行う必要がある。
【０００８】
復号装置は、復号した各ピクチャのデータを記憶し、逆順に読み出して出力する。これにより、逆転再生表示が可能である。しかしながら、復号後の各ピクチャのデータ量は極めて大きい。例えば、ＮＴＳＣ方式のカラー画像の場合には、１フレーム当たり５００ＫＢ程度の容量が必要であり、ＧＯＰのピクチャ数だけフレームメモリを設けた場合には、７〜１０ＭＢ程度のメモリ容量が必要となり、現実的ではない。
【０００９】
そこで、復号処理を繰り返す方法も考えられる。即ち、復号装置においては、逆順に取り込まれる各ピクチャを順次メモリに記憶し、Ｉピクチャを取り込んだ後に、記憶した各ピクチャをＩピクチャから順方向に読み出して復号処理を行う。逆転再生の最初のピクチャの復号及び出力処理が終了すると、メモリからＩピクチャ以降の各ピクチャを再度読み出して、再度復号処理を行い、２番目に出力すべきピクチャの復号及び出力処理を行う。以後、同様に、Ｉピクチャまで、復号及び出力処理を繰り返す。
【００１０】
即ち、この方法では、各ピクチャを複数回復号する必要がある。例えば、Ｉピクチャが１枚だけのＧＯＰでは、１ＧＯＰ期間に、ＧＯＰ内のピクチャ数に応じた回数の復号処理を繰り返す必要があり、極めて大きな復号処理性能が要求される。
【００１１】
そこで、特許文献１においては、逆転再生を考慮してストリームを生成する手法が開示されている。即ち、この方法では、復号出力を逆転再生用のストリームとして再度圧縮することで、必要なメモリ容量を低減可能にしている。しかしながら、この装置では、再圧縮処理に必要な装置規模が大きいという欠点がある。また、この方法では、再圧縮処理によるノイズが蓄積されて、画質が著しく劣化する虞がある。
【００１２】
また、特許文献２，３においては、必要なメモリ容量を低減する技術が開示されているが、これらの提案においても、順方向再生時よりも逆転再生時の画質が劣化するという欠点がある。
【特許文献１】特開２００１−２０３９７８号公報
【特許文献２】特開平９−５５９４６号公報
【特許文献３】特開２００２−２２３４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、比較的小規模の構成で画質を劣化させることなく逆転再生時の復号回数を最小化することができる画像復号装置及び画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の一態様の画像復号装置は、画像間の相関に応じて予測符号化された符号化画像が入力され、予測復号化によって復号画像を得る復号手段と、前記予測符号化における参照画像の符号化画像に対する前記復号手段からの復号画像を前記参照画像として記憶可能な記憶手段と、逆転再生時に配列順で末尾側の前記参照画像の符号化画像に対する復号画像を前記記憶手段に記憶させると共に、前記記憶手段に記憶された復号画像の出力処理によって開放可能な前記記憶手段の容量分だけ配列順で前方の参照画像の符号化画像についてその復号画像を前記記憶手段に記憶させるように制御する制御手段とを具備する。
【発明の効果】
【００１５】
本発明によれば、比較的小規模の構成で画質を劣化させることなく逆転再生時の復号回数を最小化することができるという効果を有する。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１７】
図１は本発明の一実施の形態に係る画像復号装置を示すブロック図である。本実施の形態は、逆順で入力されるピクチャから逆転再生用の復号画像データを生成するものに適用した例を示している。なお、逆転再生は、ストリーム中のあるＧＯＰの任意のフレームが逆転再生開始地点として指定されることによって開始される。以下、このフレームを逆転再生開始フレームという。逆転再生では、逆転再生開始フレームが指定されてから、ストリームの先頭フレームまでの再生が完了するか、または停止が指示されるまで、逆転再生開始フレーム及びその前方の全てのフレームの復号及び表示が続けられる。
【００１８】
符号化画像データ（ストリーム）は、ストリーム記憶部１１に入力される。ストリーム記憶部１１は、ＲＡＭ、磁気ディスク装置、光ディスク媒体を搭載した装置等のように何らかの記憶機能を有する装置によって構成される。ストリーム記憶部１１は、入力された各ピクチャを保持すると共に、復号部１２の要求に従って、保持しているピクチャのデータを出力することができるようになっている。なお、逆転再生時には、ストリーム記憶部１１に各ピクチャが逆順に入力される。
【００１９】
また、ストリーム記憶部１１は、十分な記憶容量の領域の他に、十分な速度での書込み及び読出しが可能な高速記憶領域を有していてもよい。ストリーム記憶部１１は、一度復号部１２に読み込まれたストリームの部分を、高速記憶領域に一時的に記憶し、復号部１２から同一ストリーム部分の再度の読み込みが生じると、高速記憶領域からその部分のデータを読み出して送出することができる。これにより、同一ストリーム部分については十分高速に再読出しすることが可能となる。
【００２０】
また、ストリーム記憶部１１は、ストリーム中に画像データ及び音声データが含まれる場合には、画像データのみを抽出して復号部１２に出力することもできるようになっている。更に、ストリーム中に動画像データの出力タイミング情報が含まれる場合には、ストリーム記憶部１１は、この出力タイミング情報を復号部１２及び後述する画像表示部１５に提供することができるようになっている。これにより、より正確なタイミングでの表示遷移が可能となる。
【００２１】
図２は図１中の復号部１２の具体的な構成を示すブロック図である。
【００２２】
ストリーム記憶部１１からのストリームはメモリ制御部２０を介して予測復号化部２１に供給されるようになっている。メモリ制御部２０は、ストリーム記憶部１１に記憶されているストリームに対するアクセスが可能である。メモリ制御部２０は、逆転再生時においては、逆転再生開始フレームよりも前方で最も近いＩピクチャの符号化データの記憶位置を特定することができ、当該Ｉピクチャから逆転再生開始フレームまでの各ピクチャの符号化データを読み込むことができる。また、メモリ制御部２０は、予測復号化部２１の復号処理に必要な各ピクチャの符号化データを読み込むことができるようになっている。
【００２３】
また、メモリ制御部２０は、後述するフレームメモリ部１３に対して、復号処理に必要な参照画像の読み込みが可能である。メモリ制御部２０はフレームメモリ部１３から読み出した参照画像を予測部２３に供給するようになっている。
【００２４】
予測復号化部２１はストリームに対して施されている予測符号化処理の逆処理を行って、予測符号化処理前の画像データを復元する。Ｉピクチャに対する予測復号化処理により元のフレーム画像が復元され、Ｐ，Ｂピクチャに対する予測復号化処理によって予測誤差が復元される。予測復号化部２１の出力は加算器２２に供給される。加算器２２は予測部２３から参照画像も与えられており、加算器２２はＰ，Ｂピクチャについては、入力された予測誤差に参照画像を加算して元のフレーム画像を復元して、復号画像データとして出力する。
【００２５】
メモリ制御部２０は、ストリームに施された予測符号化処理において参照画像として用いられたＩ，Ｐピクチャ（以下、参照ピクチャともいう）については、加算器２２からの復号画像データをフレームメモリ部１３に与えて、参照画像として記憶させるようになっている。また、ストリームに施された予測符号化処理において参照画像として用いられていないＢピクチャについては、メモリ制御部２０は、加算器２２からの復号画像データを、出力用としてフレームメモリ部１３に与えて記憶させるようになっている。
【００２６】
フレームメモリ部１３は、所定フレーム数分の記憶容量を有し、出力用の画像データ及び参照画像の画像データを記憶する。例えば、フレームメモリ部１３は、３フレーム分以上の記憶領域を有する。
【００２７】
予測部２３は、符号化時に用いられた動き情報が与えられている。予測部２３は、この動き情報に基づいてメモリ制御部２０を制御して、フレームメモリ部１３から参照画像を読み出す。上述したように、参照画像を用いて符号化されたピクチャに対する復号部１２の出力は予測誤差である。予測部２３は、この予測誤差を得るために参照された参照画像の画面位置を動き情報に基づいて算出する。予測部２３は、算出した画面位置をメモリ制御部２０に与えることで、対象ピクチャの参照画像を読み出すのである。こうして、予測部２３は、動き補償された参照画像を加算器２２に出力する。
【００２８】
また、メモリ制御部２０は、フレームメモリ部１３に次に表示すべきフレーム画像が記憶されている場合には、そのフレーム画像の表示時刻が到来するか、又はその表示時刻が過ぎている場合には、フレームメモリ部１３から表示すべきフレーム画像のデータを読み出して画像表示部１５に与えるようになっている。
【００２９】
画像表示部１５は、フレームメモリ部１３からメモリ制御部２０を介して出力用の画像データが与えられ、画像データに基づく画像を表示する。なお、画像表示部１５に代えて、フレームメモリ部１３から読み出された出力用の画像データに対して、画像加工処理を行う装置、他の装置の転送処理を行う装置、記憶を行う装置等を採用してもよい。
【００３０】
逆転再生指示部１４は、図示しない操作部を有しており、例えば操作部のユーザ操作によって、逆転再生の開始及び終了を復号部１２に指示することができるようになっている。
【００３１】
次に、図３及び図４を参照してストリームを構成する各ピクチャの配置について説明する。図３は現実の画像に対する符号化のピクチャタイプを示す説明図である。図４は各ピクチャのストリーム内の配置順序を示す説明図である。図４（ａ）乃至（ｃ）は、夫々図３（ａ）乃至（ｃ）に対応したものである。
【００３２】
図３において各枠は１枚のフレーム画像を示し、枠内のＩ，Ｐ，Ｂは符号化のピクチャタイプが夫々Ｉ，Ｐ，Ｂピクチャであることを示し、数字は表示順を示している。なお、表示順は、各ピクチャの表示の順番のことである。また、図３において曲線矢印は予測方向を示し、破線はＧＯＰ単位を示している。
【００３３】
図３（ａ）は、ＧＯＰが１枚のＩピクチャと複数枚のＰピクチャのみで構成される例を示している。図３（ｂ）は、先頭をＩピクチャとし、以降２枚のＢピクチャと１枚のＰピクチャとを順次配置する例を示している。また、図３（ｃ）は図３（ｂ）の配置に、２枚のＰピクチャを付加してＧＯＰを構成する例を示している。
【００３４】
図３（ａ）の例では、予測方向が画像順に一致しているので、画像順に各ピクチャを伝送すればよい。なお、画像順は、撮像時の各ピクチャの順番のことであり、逆方向再生は、表示順を画像順の逆順にさせることである。図４（ａ）に示すように、各ピクチャは画像順に伝送される。復号時には、入力された各ピクチャを順番に復号して表示することによって、順方向再生が可能である。
【００３５】
図３（ｂ），（ｃ）の例では、予測方向と画像順とが異なる場合がある。このため、図４（ｂ），（ｃ）に示すように、参照画像となるピクチャについては参照画像を利用するピクチャの前に伝送する。例えば、Ｂ２，Ｂ３ピクチャの復号に際して、参照画像となったＩ１，Ｐ４ピクチャの復号が先に行われている必要があり、これらのピクチャが配列順では先となる。なお、配列順は、符号化された各ピクチャの記録や伝送の順番のことであり、時間的に先のものを前方とし、時間的に後のものを後方とする。
【００３６】
復号時には、入力された各ピクチャを順番に復号すると共に、復号して得た参照画像を記憶し、参照画像を利用したピクチャの復号処理に用いる。これにより、順方向再生が可能である。
【００３７】
本実施の形態においては、フレームメモリ部１３への書込み及び読出しの方法及び復号部１２における各ピクチャの復号の順番を最適化することにより、比較的少ないメモリ容量で、比較的低速の回路によって逆転再生を可能にするものである。本実施の形態においては、フレームメモリ部１３に記憶させる復号データを決定するために、対応するピクチャにマーク付けを施すようになっている。
【００３８】
即ち、マーク付け制御部１６は、ストリーム記憶部１１に対して、各ピクチャの復号データをフレームメモリ部１３に記憶させることを示すマークを、ピクチャに付加させることができるようになっている。マーク付け制御部１６は、復号部１２の処理に応じて、ピクチャに付したマークの消去及び他のピクチャへのマーク付けの変更を行うようになっている。
【００３９】
なお、本実施の形態においては、逆転再生開始フレームに対応するフレーム１枚以上からなるフレームの集合である逆転再生単位を処理対象とする。逆転再生単位は、配列順序において逆転再生開始フレームよりも前方に位置しかつ最も近いＩフレームまでを含むすべてのフレームに、逆転再生開始フレーム自身とその後方参照フレームとを加えたフレーム集合とする。なお、逆転再生開始フレームがＩフレームの場合には、このIフレームのみによって逆転再生単位が構成される。逆転再生単位は、当該Ｉフレームから逆転再生開始フレームまでの符号化データを復号した結果と同一である。逆転再生単位中のＰ，Ｂフレームは逆転再生単位の先頭のＩフレームから復号を開始しなければ復号され得ない。
【００４０】
図５は逆転再生単位を説明するための説明図である。図５は枠によってフレームを示し、枠内のＩ，Ｐ，Ｂはピクチャタイプを示している。図５は逆転再生単位の配列を表示順序で示したものである。図５の太い線で囲まれたフレームは逆転再生開始フレームを示している。
【００４１】
逆転再生時には、逆転再生開始フレームと、それよりも前方側に存在するフレームが全て逆順に再生される。図５（ａ）〜図５（ｃ）は、夫々図３（ａ）〜図３（ｃ）のＧＯＰに対応したものである。図５（ｂ）の太枠で示すように、表示順序においてＧＯＰ中の先頭に存在する１枚以上のＢフレーム列のいずれかが逆転再生開始フレームである場合には、同じＧＯＰ中の逆転再生開始フレームよりも前方のＢフレームは、逆転再生開始フレームとその後方参照フレームであるＩフレームとともに、前方のＧＯＰ中のフレームと合わされて逆転再生単位を構成する。それ以外の場合には、逆転再生単位が異なるＧＯＰにまたがることはない。
【００４２】
逆転再生開始フレームがＩフレームである場合には、図５（ｄ）に示すように、逆転再生単位はフレーム１枚のみとなる。逆転再生開始フレームがＰフレームである場合には、図５（ｅ）に示すように、逆転再生開始フレームは逆転再生単位の末尾となる。逆転再生開始フレームがＢフレームである場合には、図５（ｂ），（ｆ）に示すように、逆転再生開始フレームが後方参照している参照ピクチャが逆転再生単位に含まれる。図５（ｆ）に示すように、逆転再生開始フレームであるＢフレームの後方に含まれるＢフレームは逆転再生単位に含まれない。
【００４３】
また、本実施の形態において採用する動画像圧縮規格では、逆転再生を行うためには逆転再生単位に含まれる全てのフレームを復号しなければならない。また、逆転再生単位の参照構造から、逆転再生単位内の全てのフレームは、逆転再生単位外のフレームを参照せずに復号することが可能である。従って、本実施の形態においては、逆転再生単位内のフレームのみをフレーム関連処理の対象とする。逆転再生開始フレームがＢフレームである場合には、その後方参照フレームは復号されるものの、画像表示部１５には出力されない。
【００４４】
なお、Ｂピクチャは前方及び後方参照画像を用いて生成される。しかしながら、表示順序においてＧＯＰ中の先頭に存在する１枚以上のＢフレーム列がありながら、これらのＢフレームが全て前方のフレームを参照しない場合がある。このようなＧＯＰは、一般的に、「クローズドＧＯＰ」又は「クローズドエントリ」と呼ばれ、そのことを明示する情報が付加されていることがある。この場合には、Ｂフレームは前方参照を行わない。この場合には、このＢピクチャの前方のＰピクチャをフレームメモリに記憶させる必要はない。即ち、この場合には、図５（ｇ）に示すように、逆転再生単位を短縮することができる。フレーム容量の制約から、単一の逆転再生単位に含まれるフレーム数は少ない方が好ましい。
【００４５】
次に、図６を参照して、本実施の形態の逆転再生時における復号方法について、フレームメモリ部１３への書込み及び読出し並びに予測復号化部２１における復号処理順に言及して説明する。
【００４６】
上述したように、逆転再生時には、復号後のデータを記憶するフレームメモリに制限がある場合には、同一ピクチャに対して複数回の復号処理を行う必要がある。本実施の形態は、同一ピクチャに対する復号回数を低減させることにより、復号処理の高速化を可能にするものである。
【００４７】
本実施の形態は、同一ピクチャに対する復号回数を低減させるために、フレームメモリ部１３に書込むピクチャを、ピクチャタイプの配列の仕方に応じて決定する。逆転再生時においても、逆転再生開始フレームのピクチャから前方に配列された最初のＩピクチャを最初に復号し、以後、配列順で順方向に各ピクチャの復号を行う。従って、各ピクチャは最低１回は復号される。この復号時に、復号途中の所定位置のＰピクチャの復号データをフレームメモリ部１３に記憶させ記憶させた復号データを利用することで、２回目の復号時に逆転再生単位の先頭からでなく、記憶させたピクチャの配列順で後方のピクチャ以降の復号を行うことが可能となる。
【００４８】
このように、前回の復号時にフレームメモリ部１３に記憶させたピクチャの復号データを利用することで復号可能な範囲を、以下、復号単位という。そして、復号を終了した復号単位よりも配列順で前方の逆転再生単位の残りのピクチャに対して、同様に先頭から復号を行い、この復号途中のＰピクチャの復号データを先頭ピクチャとしてフレームメモリ部１３に記憶させておき、新たな復号単位を再設定する。これにより、２回目に設定した先頭ピクチャ以降の復号単位内の各ピクチャを、復号単位の先頭ピクチャの復号データを利用して復号することができる。以後、同様に復号単位の設定を繰り返す。即ち、本実施の形態においては、復号単位内の各ピクチャについては、逆転再生単位先頭のＩピクチャからの復号を繰り返す必要はない。
【００４９】
復号単位の配列順で最終のピクチャ（以下、復号単位の最終ピクチャ）は、前回の復号時の復号単位の先頭ピクチャによって決定される。従って、復号単位の範囲は、復号単位の配列順で先頭のピクチャ（以下、復号単位の先頭ピクチャ）によって決定される。復号単位の先頭ピクチャ以降のピクチャの復号に際して逆転再生単位の先頭のＩピクチャから復号を繰り返す必要はないので、復号単位の範囲をなるべく広げることで、同一ピクチャの復号回数を低減させることができる。本実施の形態においては、このような復号単位の設定、即ち、復号単位の先頭ピクチャの決定方法を、後述するように、最適化することで、逆転再生時における復号処理の高速化を可能にしている。
【００５０】
なお、復号単位毎の出力処理において、逆転再生時に出力すべき最初のピクチャタイプがＢピクチャである場合であっても、復号にはこのＢピクチャより後方のＰピクチャの復号データを保持させておく必要があり、以後、このＰピクチャまでの範囲を含めて復号単位という。
【００５１】
即ち、本実施の形態においては、フレームメモリ部１３に記憶させる参照画像としてどのピクチャを選択するかを最適化するのである。この場合には、逆転再生単位のなるべく先頭側に近いピクチャの復号データを記憶させておくほど、つまり、１回の復号単位を広げるほど、復号回数を減らすことができる。
【００５２】
＜復号単位の決定方法＞
いま、例えば、フレームメモリ部１３が第１乃至第３の３つのフレームメモリを有するものとして説明する。
【００５３】
（第１のフレームメモリ）  
各復号単位において、出力すべき最後のピクチャのピクチャタイプに拘わらず、復号単位の最終ピクチャはＰピクチャ又はＩピクチャ（参照ピクチャ）である。これらのピクチャの復号データは必ずフレームメモリ部１３に保持する必要がある。各復号単位の出力すべき最後のピクチャがＰピクチャである場合には、このＰピクチャをそのまま出力する必要があるからであり、そうでない場合でも、これらのＩ，Ｐピクチャの前方のＢピクチャの復号に必要だからである。
【００５４】
（第２のフレームメモリ）  
第２のフレームメモリは、復号単位の最終ピクチャの１つ前方の参照ピクチャの復号データの保持に用いればよい。このように、本実施の形態においては、第１，第２のフレームメモリの使用法は、固定的である。
【００５５】
（第３のフレームメモリ）  
第３のフレームメモリに記憶させるピクチャは、ピクチャタイプを考慮して決定する必要がある。復号データをＢピクチャの参照画像として用いることを考慮する必要がない場合には、第１，第２のフレームメモリについては、記憶した復号データの出力が終わると開放してもよいことになる。即ち、Ｉ又はＰピクチャである最終ピクチャとその前方の参照ピクチャの復号データを記憶した第１，第２のフレームメモリは、これらのピクチャの出力処理が終わると開放することができ、開放後にこれらの第１，第２フレームメモリを、復号単位の末尾から前方側に３番目，４番目のＩ，Ｐピクチャ（参照ピクチャ）に割り当てることが可能となる。
【００５６】
従って、第３のフレームメモリについては、復号データを参照画像として用いることを考慮する必要がない場合には、復号単位の末尾から５番目の参照ピクチャに割り当てればよい。
【００５７】
図６はこのような場合の例を示している。図６はＧＯＰがＩ，Ｐピクチャのみである場合の例を示している。
【００５８】
Ｐｎピクチャが逆転再生開始フレームに指定されるものとする。この場合には、Ｐｎピクチャ前方の最初のＩ１ピクチャまでストリームを取り込み、Ｉ１ピクチャから順に復号を行う。Ｉ１ピクチャの復号データは、フレームメモリ部１３の１つのフレームメモリに書き込まれる。図６の丸印は対応するピクチャの復号データがフレームメモリに書き込まれることを示している。
【００５９】
次に、Ｐ２ピクチャの復号が行われる。この場合には、フレームメモリ部１３に記憶されているＩ１ピクチャの復号データが参照画像として用いられて、Ｐ２ピクチャの復号が行われる。そして、Ｐ２ピクチャの復号データはフレームメモリ部１３の１つのフレームメモリに書き込まれる。次いで、Ｐ３ピクチャの復号が行われる。この場合には、フレームメモリ部１３に記憶されているＰ２ピクチャの復号データが参照画像として用いられて、Ｐ３ピクチャの復号が行われる。そして、Ｐ３ピクチャの復号データはフレームメモリ部１３の１つのフレームメモリに書き込まれる。
【００６０】
次に、Ｐ４ピクチャの復号が行われる。この場合には、フレームメモリ部１３に記憶されているＰ３ピクチャの復号データが参照画像として用いられて、Ｐ４ピクチャの復号が行われる。Ｐ４ピクチャの復号データは次のＰ５ピクチャの参照画像として用いるために、フレームメモリ部１３に記憶させる。この時点で既に３つのフレームメモリが使用されているので、Ｐ４ピクチャの復号データはＩ１ピクチャの復号データが記憶されているフレームメモリに上書きで記憶される。
【００６１】
以後、同様の動作を繰り返して、参照画像となる復号データをフレームメモリに記憶させながら、順次復号が行われる。
【００６２】
上述したように、第１，第２フレームメモリは、夫々最終ピクチャ（Ｐｎ）及び最終ピクチャの直前のＰｎ−１ピクチャの復号データの記憶に用いられる。第３フレームメモリは復号単位の末尾から５番目のＰｎ−４ピクチャの復号データの記憶に用いられる。従って、Ｐｎ−２ピクチャの復号データまでは最も古く書込みが行われたフレームメモリに対して復号データを上書きしたが、Ｐｎ−１ピクチャの復号データについては、Ｐｎ−３ピクチャの復号データを記憶したフレームメモリに上書きされる。
【００６３】
こうして、Ｐｎピクチャの復号後には、第１乃至第３フレームメモリには、Ｐｎピクチャ、Ｐｎ−１ピクチャ及びＰｎ−４ピクチャの復号データが夫々格納される。第１，第２フレームメモリに記憶されているＰｎピクチャ及びＰｎ−１ピクチャの復号データは、そのまま出力処理に用いられる。
【００６４】
次に、Ｐｎ−２ピクチャの復号データを得るための復号処理を行う。この場合には、第３フレームメモリにＰｎ−４ピクチャの復号データが記憶されているので、この復号データを参照画像として、Ｐｎ−３ピクチャの復号を行う。即ち、Ｉ１ピクチャから順に復号を行う必要はない。Ｐｎ−３ピクチャの復号データはフレームメモリに記憶される。
【００６５】
次に、Ｐｎ−２ピクチャの復号を行う。この場合には、Ｐｎ−３ピクチャの復号データを参照画像として用いて復号が行われる。Ｐｎ−２ピクチャの復号データはフレームメモリに格納される。３つのフレームメモリに夫々記憶されているＰｎ−２ピクチャ、Ｐｎ−３ピクチャ及びＰｎ−４ピクチャの復号データは、そのまま出力処理に用いられる。
【００６６】
こうして、最初の復号単位の処理が終了すると、同様の手法によって次の復号単位を設定して、復号及び出力処理が行われる。このように、この場合には、復号単位の末尾から前方側に５番目のＰピクチャを復号単位の先頭ピクチャとして、その復号データを利用して復号単位内の各ピクチャの復号を行うことができ、ＧＯＰ先頭のＩピクチャからの復号を行う必要がない。
【００６７】
（第４のフレームメモリ）  
更に、フレームメモリ部１３に４枚目のフレームメモリが設けられている場合にも、同様の手法を適用することができる。図７はこの場合におけるフレームメモリ部１３への書込み及び読出し並びに予測復号化部２１における復号処理順を示す説明図である。
【００６８】
第１乃至第３フレームメモリの用い方は、３枚のフレームメモリを有する場合と同様である。即ち、これらの３枚のフレームメモリには、Ｐｎ，Ｐｎ−１，Ｐｎ−４ピクチャの復号データを記憶させる。
【００６９】
図７のＰｎ−２ピクチャの復号が終わった時点では、第１乃至第３フレームメモリには、Ｐｎ−２，Ｐｎ−３，Ｐｎ−４ピクチャの復号データが格納される。これらの復号データの出力処理が終了すると、第１乃至第３フレームメモリは開放することができる。そこで、これらの３つのフレームメモリをＰｎ−４ピクチャより前方の３つのピクチャ、即ち、復号単位の末尾から６番目、７番目及び８番目のピクチャの復号データの記憶に割り当てればよい。従って、第４のフレームメモリは、復号単位の末尾から９番目のピクチャの復号データの記憶に割り当てればよい。
【００７０】
次に、Ｐｎ−５ピクチャの復号データを得るための復号処理を行う。この場合には、第４フレームメモリにＰｎ−８ピクチャの復号データが記憶されているので、この復号データを参照画像として、Ｐｎ−７ピクチャの復号を行う。即ち、Ｉ１ピクチャから順に復号を行う必要はない。同様に、Ｐｎ−６乃至Ｐｎ−５ピクチャの復号を行い、その復号データを３つのフレームメモリに格納する。こうして、４つのフレームメモリに夫々記憶されているＰｎ−５〜Ｐｎ−８ピクチャの復号データを順次出力する。
【００７１】
以上から、復号データをＢピクチャの参照画像用として記憶させる必要がない場合には、復号単位の先頭ピクチャの位置は以下の式によって一般化することができる。即ち、復号単位の末尾からＦ番目のピクチャが先頭ピクチャであるものとすると、Ｆは、フレームメモリの数をｍとして、下記（１）式で与えられる。
【００７２】
ｍ−２
Ｆ  ＝    Σ    （ｍ−ｊ）          …（１）
ｊ＝０
＜Ｂピクチャの考慮＞
復号単位内にＢピクチャがある場合には、このＢピクチャ用にフレームメモリを用いる必要がある。Ｂピクチャは参照画像に用いることはないが、表示のために一端記憶させる必要があるのである。なお、Ｂピクチャが含まれる場合でも、第１，第２のフレームメモリの使用法は、上述したように固定的であり、最終ピクチャ及びその前方の参照ピクチャに割り当てられる。
【００７３】
図８はＢピクチャを含むフレームについて、逆転再生時におけるフレームメモリ部１３への書込み及び読出し並びに予測復号化部２１における復号処理順を示す説明図である。図８はストリーム中の各ピクチャを表示順に示したものである。ストリーム中における各ピクチャの順序は、図４（ｂ）に示すように、Ｂピクチャに先行してその参照画像となるＰピクチャが配列される。従って、復号処理においても、Ｂピクチャに先行してその参照画像となるＰピクチャの復号が行われる。
【００７４】
（３つのフレームメモリ）  
フレームメモリ部１３が３つのフレームメモリを有する場合には、図８に示す書込みが行われる。図８の例においても、逆転再生開始フレームの直前のＩピクチャから順方向に復号を行う。しかし、Ｂピクチャについては参照画像として用いないことから、ストリーム途中のＢピクチャについては、復号処理を行う必要はない。
【００７５】
Ｐｓ、Ｂｓ＋２，Ｂｓ＋３，Ｐｓ＋１ピクチャについては、先ずＰｓ，Ｐｓ＋１ピクチャについて復号が行われる（なお、Ｐ，Ｂの添え字は配列順に基づく番号付けを示している）。Ｐｓ，Ｐｓ＋１ピクチャの復号データは、参照画像に用いるために第１，第２のフレームメモリに記憶される。これらのＰｓ，Ｐｓ＋１ピクチャの復号データを用いてＢｓ＋３ピクチャの復号が行われる。Ｂｓ＋３ピクチャの復号データは、出力用に第３のフレームメモリに記憶される。図８は丸印を記した第１列目においてこの状態を示している。
【００７６】
最終ピクチャであるＰｓ＋１ピクチャの復号データが先ず表示用に出力され、次いで、Ｂｓ＋３ピクチャの復号データが出力される。Ｂｓ＋３ピクチャの復号データを記憶したフレームメモリは、Ｂｓ＋３ピクチャの復号データの出力後に開放することができる。一方、Ｐｓ＋１ピクチャの復号データを記憶したフレームメモリは、Ｂｓ＋２ピクチャの復号時の参照画像としてフレームメモリに記憶させておく必要がある。
【００７７】
次に、Ｐｓ，Ｐｓ＋１ピクチャの復号データを用いてＢｓ＋２ピクチャの復号が行われる。Ｂｓ＋２ピクチャの復号データは、出力用にフレームメモリに記憶される。図８は丸印を記した第２列目においてこの状態を示している。
【００７８】
従って、図８の例では、復号単位は４ピクチャ分である。以後同様にして、復号単位を切り替えながら、復号処理及び出力処理を行う。
【００７９】
（４つのフレームメモリ）  
更に、フレームメモリ部１３が４つのフレームメモリを有するものとする。この場合には、図９に示す書込みが行われる。
【００８０】
４つのうちの３つのフレームメモリの使用法は、図８の例と同様である。即ち、２つのフレームメモリは、復号単位の末尾から１番目と２番目の参照ピクチャであるＰｓ＋７，Ｐｓ＋４ピクチャに割当て、もう１つのフレームメモリは、２つのフレームメモリに記憶されたＰピクチャの復号データを参照画像とするＢｓ＋８，Ｂｓ＋９ピクチャの出力用に用いられる。
【００８１】
Ｐｓ＋７，Ｂｓ＋９ピクチャの復号データに続けてＢｓ＋８ピクチャの復号データが出力されると、Ｂｓ＋８ピクチャの復号データを記憶したフレームメモリは開放可能である。また、Ｐｓ＋７ピクチャの復号データを記憶したフレームメモリについても開放することができる。一方、Ｐｓ＋４ピクチャの復号データを記憶したフレームメモリは、その前方のＢピクチャの復号時の参照画像としてフレームメモリに記憶させておく必要がある。
【００８２】
即ち、Ｂピクチャが存在する場合には、フレームメモリを開放可能であるか否かは、フレームメモリに記憶された復号データを参照画像とするＢピクチャが存在する否かによって決定される。この場合には、２つのフレームメモリを開放することができることになる。これらの２つのフレームメモリのうちの一方は、Ｐｓ＋４ピクチャの前方のＰｓ＋１ピクチャの復号データを参照画像として記憶するために割当て、他方はＢｓ＋６，Ｂｓ＋５ピクチャの出力用に割り当てる。
【００８３】
即ち、参照画像として用いるＰピクチャの復号データの記憶に割り当てることができるフレームメモリの数は、Ｂピクチャの有無によって変化する。開放されたフレームメモリを順次前方側のピクチャに割り当てる。図９はこの割り当てを示している。結局、参照関係が途切れないようにしながら、復号単位をなるべく広げるようにする。この場合には、４つめのフレームメモリは、Ｐｓ＋１ピクチャの更に前方のＰｓピクチャに割り当てればよい。
【００８４】
次に、このように構成された実施の形態の動作について図１０乃至図１３を参照して説明する。図１０は本実施の形態におけるマーク付けの方法を示すフローチャートである。また図１１及び図１２はマーク付けの方法を説明するための説明図である。図１３は各ＧＯＰ構成におけるマーク付け及び復号回数を説明するための説明図である。
【００８５】
本実施の形態においては、復号データを参照画像又は出力用としてフレームメモリに記憶させるピクチャを決定するために、フレームメモリに記憶させることを示すマークを各ピクチャに付加するようになっている。例えば、逆転再生時にストリーム記憶部１１に逆順で入力される各ピクチャに対して、マーク付け制御部１６がマークを付すことができる。即ち、マークは、入力されたピクチャのうち復号データをフレームメモリに記憶させるピクチャに順次付されることになり、フレームメモリが開放されると、各ピクチャに付したマークが消去されるようになっている。
【００８６】
更に、開放されたフレームメモリを他のピクチャの復号データの記憶用として割り当てるためにもマークが付される。このマーク付けについても、復号部１２の処理に応じて、マーク付け制御部１６がストリーム記憶部１１に記憶されたピクチャに対して行う。
【００８７】
以下、マークが付されたＢピクチャをマーク付きＢピクチャ、マークが付された参照ピクチャをマーク付き参照ピクチャといい、所定のタイミングで最後にマークが付されたマーク付き参照ピクチャを、マーク付き参照ピクチャの最も前方側に配列されているので、先頭マーク付き参照ピクチャという。
【００８８】
いま、逆転再生用の所定のストリームがストリーム記憶部１１に入力されるものとする。このストリームは、各ピクチャが逆順に入力されるものである。ストリーム記憶部１１は、入力されるピクチャを順次記憶する。また、ストリーム記憶部１１は、記憶したピクチャを復号部１２の指示に従って出力する。
【００８９】
本実施の形態においては、マーク付け制御部１６は、ストリーム記憶部１１に記憶される各ピクチャに、入力された順に、その復号データをフレームメモリ部１３に記憶させることを示すマークを付す。即ち、マーク付け制御部１６は、図１０のステップＳ１において、復号単位の最終ピクチャにマークを付す。更に、表示順で復号単位の末尾から２番目の位置のピクチャがＢピクチャでない場合には、最終ピクチャが参照する参照ピクチャ、即ち、復号単位の末尾から２番目の参照ピクチャにマークを付す（ステップＳ４）。
【００９０】
図１１（ａ）はこの場合の例を示している。図１１及び図１２は各枠によってフレーム画像を表示順に示し、枠内のＩ，Ｐ，Ｂは符号化のピクチャタイプを示している。また、＊印は、そのピクチャにマークが付されていることを示している。図１１は復号単位の末尾から２番目の参照ピクチャまでに２つのマークが付される例を示し、図１２は復号単位の末尾から２番目の参照ピクチャまでに３つのマークが付される例を示している。
【００９１】
図１１（ｂ）は復号単位の末尾の２つの参照ピクチャ間（表示順）に、Ｂピクチャが介在する例を示している。この場合には、ステップＳ２から処理をステップＳ３に移行して、末尾から２番目の位置のＢピクチャにマークを付す。また、図１１（ｃ）も同様の例を示している。
【００９２】
次に、マーク付け制御部１６は、ステップＳ５において、ピクチャに付したマークの総数がフレームメモリ部１３におけるフレームメモリの数に達したか否かを判定する。マーク数がフレームメモリ数に達すると処理を終了し、達していない場合には、次のステップＳ６に移行する。例えば、フレームメモリ部１３のフレームメモリ数が３である場合には、図１１（ｂ）の例では、マーク数が３であるので処理を終了し、図１１（ａ）の例では、ピクチャを割り当てるフレームメモリが残っているので、処理をステップＳ６に移行する。
【００９３】
ステップＳ６では、マーク付け制御部１６は、先頭マーク付き参照ピクチャの前方の参照ピクチャ数が２以下である否かを判定する。先頭マーク付き参照ピクチャの前方の参照ピクチャ数が２以下である場合には、従来と同様の通常の逆転再生時の復号処理を行えばよく、マーク付けを利用した復号処理は不要であり、マーク付け処理を終了する。例えば、先頭マーク付き参照ピクチャの前方の参照ピクチャ数が１である場合には、その参照ピクチャ（Ｉピクチャ）にフレームメモリを割り当てればよい。また、先頭マーク付き参照ピクチャの前方の参照ピクチャ数が２である場合には、先頭マーク付き参照ピクチャの直前の参照ピクチャにフレームメモリを割り当てればよい。
【００９４】
次に、ステップＳ７において、マーク付け制御部１６は、変数Ｍにマーク数を代入する。この時点では、マーク数Ｍは、２又は３である。
【００９５】
次に、マーク付け制御部１６は、先頭マーク付き参照ピクチャの前方のいずれの参照ピクチャをフレームメモリに割り当てるかを決定する。現在の先頭マーク付き参照ピクチャと次にフレームメモリを割り当てる参照ピクチャとの間に介在する参照ピクチャ数をＫとする。Ｋの値は、先頭マーク付き参照ピクチャ（この段階では、復号単位の末尾から２番目のＰピクチャ）の復号データの出力処理が終了した段階で開放可能なフレームメモリを考慮する必要がある。
【００９６】
即ち、マーク付け制御部１６は、ステップＳ８において、先頭マーク付き参照ピクチャの表示順で直前の位置がＢピクチャであるか否かを判定する。判定結果によりＢピクチャであることが示された場合には、先頭マーク付き参照ピクチャの復号データは、Ｂピクチャの参照画像用としてフレームメモリに保持させておく必要があり、開放可能なフレームメモリ数は、マーク数−１となる。更に、このＢピクチャの復号データをフレームメモリに記憶させる必要があることから、開放可能なフレームメモリの１つをこのＢピクチャ用に割り当てる。従って、この場合には、ＫはＫ＝Ｍ−２となる。
【００９７】
図１１（ｆ）のように、先頭マーク付き参照ピクチャまでで２つのフレームメモリが割り当てられている場合には、Ｋ＝２−２＝０となり、３つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の１個目の参照ピクチャに割り当てられることになる。また、図１２（ｉ）のように、先頭マーク付き参照ピクチャまでで３つのフレームメモリが割り当てられている場合には、Ｋ＝３−２＝１となり、４つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の２個目の参照ピクチャに割り当てられることになる。
【００９８】
マーク付け制御部１６は、ステップＳ１３において、先頭マーク付き参照ピクチャの前方の参照ピクチャ数がＫ以下であるか否かを判定し、Ｋ以下でない場合には、先頭マーク付き参照ピクチャの前方のＫ＋１個目の参照ピクチャにマークを付す（ステップＳ１４）。なお、先頭マーク付き参照ピクチャの前方の参照ピクチャ数がＫ以下である場合には、処理を終了する。この処理はステップＳ６と同様の判定を行うものであり、処理の終了によって通常の復号処理が行われる。
【００９９】
マーク付け制御部１６は、ステップＳ８において、先頭マーク付き参照ピクチャの表示順で直前の位置がＢピクチャではないものと判定した場合には、ステップＳ１０において、先頭マーク付き参照ピクチャの前方の参照ピクチャの表示順で直前の位置がＢピクチャであるか否かを判定する。この位置のピクチャがＢピクチャである場合には、このＢピクチャの出力用にフレームメモリを割り当てる必要があるからであり、開放されるフレームメモリの１つがこのＢピクチャ用に割り当てられる。従って、この場合には、ＫはＫ＝Ｍ−１となる（ステップＳ１１）。
【０１００】
例えば、図１１（ｅ）のように、先頭マーク付き参照ピクチャまでで２つのフレームメモリが割り当てられている場合には、Ｋ＝２−１＝１となり、３つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の２個目の参照ピクチャに割り当てられることになる。また、図１２（ｈ）のように、先頭マーク付き参照ピクチャまでで３つのフレームメモリが割り当てられている場合には、Ｋ＝３−１＝２となり、４つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の３個目の参照ピクチャに割り当てられることになる。
【０１０１】
更に、マーク付け制御部１６は、ステップＳ１０において、先頭マーク付き参照ピクチャの前方の参照ピクチャの直前（表示順）の位置がＢピクチャではないものと判定した場合には、開放されるフレームメモリの全てを前方の参照ピクチャに割り当てることができる。従って、この場合には、ＫはＫ＝Ｍとなる（ステップＳ１２）。
【０１０２】
例えば、図１１（ｄ）のように、先頭マーク付き参照ピクチャまでで２つのフレームメモリが割り当てられている場合には、Ｋ＝２となり、３つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の３個目の参照ピクチャに割り当てられることになる。また、図１２（ｇ）のように、先頭マーク付き参照ピクチャまでで３つのフレームメモリが割り当てられている場合には、Ｋ＝３となり、４つ目のフレームメモリは、先頭マーク付き参照ピクチャの前方の４個目の参照ピクチャに割り当てられることになる。
【０１０３】
マーク付け制御部１６は、ステップＳ９，Ｓ１１，Ｓ１２において求めたＫ値に従って、先頭マーク付き参照ピクチャの前方の参照ピクチャ数にマークを付す。ステップＳ１４の処理が終了すると、マーク付け制御部１６は、処理をステップＳ５に戻して、マーク数＜フレームメモリ数であるか、即ち、まだ割り当てられていないフレームメモリが残っているか否かを判定する。割り当てられていないフレームメモリがある場合にはステップＳ６以降の処理を繰り返し、マーク数がフレームメモリ数に到達した場合には処理を終了する。
【０１０４】
図１３は上述したマーク付けの方法によるマーク付けを示している。図１３は各枠によってフレーム画像を表示順に示し、枠内のＩ，Ｐ，Ｂは符号化のピクチャタイプを示している。また、＊印は、そのピクチャにマークが付されていることを示している。図１３（ａ）はフレームメモリ数（フレーム容量）が３、逆転再生単位を構成するフレームの枚数が８の例であり、図１３（ｂ）はフレームメモリ数が４、逆転再生単位を構成するフレームの枚数が１３の例であり、図１３（ｃ）はフレームメモリ数が５、逆転再生単位を構成するフレームの枚数が１９の例であり、図１３（ｄ）はフレームメモリ数が４、逆転再生単位を構成するフレームの枚数が１１の例であり、図１３（ｅ）はフレームメモリ数が４、逆転再生単位を構成するフレームの枚数が１６の例である。
【０１０５】
マーク付け制御部１６によって、ストリーム記憶部１１に記憶される各ピクチャには、入力順、即ち、逆順に図１０のフローチャートに従ってマーク付けが行われる。復号部１２は、ストリーム記憶部１１からＩピクチャから順方向に各ピクチャを読み出して復号を行う。この場合には、マーク付けされたピクチャについては、その復号データをフレームメモリ部１３に与えて記憶させる。
【０１０６】
例えば、図１３（ｃ）の例では、ＧＯＰの先頭から６番目、１１番目、１５番目、１８番目及び１９番目のＰピクチャの復号データがフレームメモリ部１３に格納される。この場合には、各ピクチャに対する１回目の復号処理において、先頭のＩピクチャから最終ピクチャまで、延べ１９ピクチャに対する復号処理が行われる。最終ピクチャとその直前のＰピクチャの復号データはフレームメモリ部１３に記憶されており、そのまま出力される。
【０１０７】
次に、末尾から３番目乃至５番目の復号データの出力処理を行うために、末尾から４番目及び３番目の各ピクチャに対する２回目の復号処理が行われる。マーク付け制御部１６は、１回目の復号処理の終了後において、最終ピクチャ及びその直前のピクチャのマークを消去し、開放されたフレームメモリを末尾から４番目及び３番目のピクチャに割り当てるようにマークを付す。
【０１０８】
末尾から４番目及び３番目の各ピクチャに対する２回目の復号処理においては、末尾から５番目のＰピクチャの復号データがフレームメモリ部１３に記憶されており、復号部１２はこの復号データを用いて、先ず末尾から４番目のＰピクチャを復号する。更に、末尾から４番目のピクチャの復号データを用いて、末尾から３番目のピクチャを復号する。即ち、延べ２ピクチャ分の復号処理が行われる。末尾から４番目及び３番目のピクチャにはマークが付されており、これらの復号データをフレームメモリ部１３に格納される。そして、フレームメモリ部１３に記憶されている末尾から３番目乃至５番目の復号データは出力用として出力される。
【０１０９】
末尾から５番目の復号データの出力処理が終了すると、マーク付け制御部１６は、末尾から５番目乃至３番目のピクチャのマークを消去し、開放された３つのフレームメモリを末尾から８番目乃至６番目のピクチャに割り当てるようにマークを付す。そして、フレームメモリ部１３に記憶されている末尾から９番目のＰピクチャの復号データを用いて、復号部１２は、末尾から８番目乃至６番目のピクチャを復号し、復号データをフレームメモリ部１３に記憶させる。即ち、延べ３ピクチャ分の復号処理が行われる。
【０１１０】
以後同様の処理を繰り返す。これにより、図１３（ｃ）の例では、延べ３３ピクチャ分の復号処理を行うことで、逆転再生が可能である。
【０１１１】
また、例えば、図１３（ｅ）の例では、ＧＯＰの先頭から７番目、１３番目、１５番目及び１６番目のピクチャの復号データがフレームメモリ部１３に格納される。この場合には、各ピクチャに対する１回目の復号処理において、先頭のＩピクチャから最終ピクチャまで、延べ１６ピクチャに対する復号処理が行われる。なお、Ｂピクチャの復号を省略した場合には、延べ７ピクチャに対する復号処理が行われる。最終ピクチャ（Ｉピクチャ）とその直前のＢピクチャの復号データはフレームメモリ部１３に記憶されており、Ｂピクチャについてはそのまま出力される。
【０１１２】
次に、末尾から３番目の位置のピクチャの復号データの出力処理を行う。マーク付け制御部１６は、末尾から２番目の位置のＢピクチャの復号データの出力処理の終了後において、このピクチャのマークを消去し、開放されたフレームメモリを末尾から３番目の位置のＢピクチャに割り当てるようにマークを付す。この時点で、最終ピクチャ及びその前方のＰピクチャの復号データはフレームメモリ部１３に記憶されており、復号部１２はフレームメモリ１３に記憶されているこれらの復号データを用いて、末尾から３番目のピクチャに対する復号処理を行う。末尾から３番目の位置のＢピクチャにはマークが付されており、この復号データはフレームメモリ部１３に格納される。そして、フレームメモリ部１３に記憶されている末尾から３番目及び４番目のピクチャの復号データは出力用として出力される。
【０１１３】
次に、末尾から５番目の位置のＢピクチャの出力処理を行う。マーク付け制御部１６は、末尾から４番目の位置のピクチャの復号データの出力処理の終了後において、最終ピクチャ及び末尾から３番目の位置のピクチャのマークを消去し、開放された２つのフレームメモリの一方を末尾から３つ目の参照ピクチャ（末尾から７番目の位置のＰピクチャ）に割当て、他方を末尾から５番目の位置のＢピクチャに割り当てるようにマークを付す。
【０１１４】
そして、復号部１２は、先ず、末尾から４つ目の参照ピクチャの復号データを用いて、末尾から３つ目の参照ピクチャを復号し、復号データをフレームメモリ部１３に記憶させる。更に、この復号データと末尾から４番目の位置の参照ピクチャの復号データとを用いて、末尾から５番目の位置のＢピクチャを復号する。このＢピクチャの復号データの出力処理の後に、マーク付け制御部１６は、末尾から６番目の位置のＢピクチャにマークを付す。
【０１１５】
以後、同様の処理を繰り返して、逆転再生を行う。図１３の例では、１回目の復号処理においてＢピクチャを含む全ピクチャを復号した場合でも、１ＧＯＰ分の逆転再生に必要な復号延べピクチャ数は２８となる。
【０１１６】
このように、図１３の例では、全てのピクチャは、逆転再生時の復号回数は２回以内である。
【０１１７】
このように、本実施の形態においては、順方向復号時の復号途中の復号データをフレームメモリに記憶させることで、逆転再生時において逆転再生単位の先頭（ＧＯＰ先頭）から復号を繰り返す回数を低減する。この場合において、フレームメモリに復号データを記憶させるピクチャの選択を最適化することにより、復号単位を伸ばすことができ、少ないフレームメモリ数で少ない復号回数によって逆転再生を可能にしている。
【０１１８】
ところで、上記実施の形態においては、表示等のための出力処理と復号処理とを交互に行った。しかし、フレーム表示の遅延を低減するために、これらの出力処理と復号処理とを同時に実施させるようにしてもよい。
【０１１９】
即ち、フレームメモリ部１３内にて、画像が記憶されていない領域か、または逆転再生処理中に既に画像表示部１５によって表示処理が完了してしまった後方のフレームが記録されている領域が存在する場合には、復号部１２はこれらを空きフレームとみなし、ストリーム記憶部１１からストリームの該当する部分を適宜読み込み、将来表示される前方のフレームか、それを復号するために参照が必要なフレームを復号し、フレームメモリ部１３の空きフレームの領域に記録することができる。この処理は、フレームメモリ部１３に記憶されている画像が全て表示されるのを待たずに行うことができる。なお、各ピクチャの復号の順番は、上述した実施の形態と同様である。
【０１２０】
このような出力処理及び復号処理の並行処理は、同一の逆転再生単位内のみで行うだけでなく、複数の逆転再生単位に渡って実施されることで一層性能を向上させることができる。具体的には、ひとつの逆転再生単位での復号処理が終了した後、当該逆転再生単位の全ての画像の表示を待たずに、新たな逆転再生開始フレームの設定による新たな逆転再生単位及び復号単位の設定と、そのための復号処理を、空きフレームを用いることによって行う。この処理は、場合によっては、３つ以上の逆転再生単位に渡って連続的に行うことができ、それによってさらに性能が向上する可能性がある。
【０１２１】
フレームメモリ部１３内の領域がすべて未表示の前方のフレームである場合には、その間この処理は行われない。また、表示に既に遅延が生じている場合にも、この並行処理は実施することはできない。しかしながら、処理時間に余裕が生じている場合には、将来生じる可能性がある表示遅延を多少でも削減することができる。
【０１２２】
ところで、上記実施の形態において採用する動画像圧縮規格においては、ＰＩフィールドピクチャと呼ばれる種類のフレーム画像を用いたＶＣ−１規格がある。ＰＩフィールドピクチャは、２つのフィールドからなり、前半のフィールドをＰピクチャ、後半のフィールドをＩピクチャとして符号化されているフレーム画像である。
【０１２３】
ＶＣ−１では、ＰＩフィールドピクチャをエントリポイント、すなわち、ＧＯＰの先頭のフレームのように取り扱うことを明示する情報が付加されることがある。この場合には、ＰＩフィールドピクチャ内のＩピクチャの部分のみが後方のピクチャに参照され、Ｐピクチャの部分はどのピクチャにも参照されないことが保証される。以下、このようなＰＩフィールドピクチャを境界ＰＩピクチャという。
【０１２４】
上述した説明では、境界ＰＩピクチャは、Ｐフレームとみなされ逆転再生単位の境界となることはできない。しかし、この境界ＰＩピクチャを逆転再生単位の境界とみなし、その前後で逆転再生単位を細分化することにより、逆転再生単位を短縮させて、性能を向上させることができる。
【０１２５】
図１４はこれを説明するための説明図である。図１４は枠によってフレームを示し、枠内のＩ，Ｐ，Ｂ，ＰＩはピクチャタイプを示している。図１４は逆転再生単位の配列を表示順序で示したものであり、太枠は逆転再生開始フレームを示している。図１４中のＰＩは境界ＰＩピクチャを示している。
【０１２６】
ＶＣ−１規格においては、図１４（ｈ）に示す画像列が存在し得る。このような画素列については、図１４（ｉ），（ｊ）に示す２つの画素列に分割し、図１４（ｉ）の画素列を先に逆転再生し、次いで図１４（ｊ）の画素列を逆転再生することで、連続的な逆転再生を行う。
【０１２７】
図１４（ｉ），（ｊ）は、境界ＰＩピクチャを含む逆転再生単位を示す。図１４（ｉ）は境界ＰＩピクチャが逆転再生単位の終端たり得ることを、図１４（ｊ）は境界ＰＩピクチャが逆転再生開始フレームとして逆転再生単位の先頭たり得ることを夫々示している。ただし、境界ＰＩピクチャのみで逆転再生単位を構成することはできず、また境界ＰＩピクチャは逆転再生単位の末尾にあるときのみ表示される。従って、境界ＰＩピクチャは分割された両方の逆転再生単位に存在することになる。
【０１２８】
図１４（ｉ）の逆転再生は、マーク付け制御部１６によるマーク付け処理の後、復号部１２が境界ＰＩピクチャを復号することによって進められる。フレームメモリ部１３においては、前半のフィールド領域を未使用領域とし、後半のフィールド領域には復号したＩフィールドを記録する。次に、境界ＰＩピクチャの定義から、逆転再生単位中の後続のフレームは、Ｉフィールドを参照することで復号することができる。以後、境界ＰＩピクチャを除く後続のフレームの復号と逆転再生表示を行う。
【０１２９】
次に、境界ＰＩピクチャ内のＩフィールドをフレームメモリ部１３に格納した状態で、図１４（ｊ）の画素列に対して、マーク付け制御部１６によりマーク付け処理を行う。この場合には、境界ＰＩピクチャにもマークが付される。次に、図１４（ｊ）内の境界ＰＩピクチャよりも前に存在する参照ピクチャが全て復号される。この場合には、境界ＰＩピクチャ中のＰフィールドが参照すべき画像も生成される。こうして境界ＰＩピクチャが完全に復号される。以後、適切なタイミングで境界ＰＩピクチャの復号データが出力されて表示される。次いでその前方のフレームも逆順に再生表示される。
【０１３０】
なお、図１４（ｊ）の先頭が境界ＰＩピクチャであった場合にも、図１４（ｉ）の処理と同様に、境界ＰＩピクチャの表示を行わないようにしつつその前方の逆転再生単位において境界ＰＩピクチャの復号データを利用することにより、支障なく逆転再生処理を継続することができる。
【０１３１】
このように、ＶＣ−１規格においても、性能を最適にした逆転再生処理を行うことができる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の一実施の形態に係る画像復号装置を示すブロック図。
【図２】図１中の復号部１２の具体的な構成を示すブロック図。
【図３】現実の画像に対する符号化のピクチャタイプを示す説明図。
【図４】各ピクチャのストリーム内の配置順序を示す説明図。
【図５】逆転再生単位を説明するための説明図。
【図６】本実施の形態の逆転再生時における復号方法を説明するための説明図。
【図７】図７はフレームメモリ部１３への書込み及び読出し並びに予測復号化部２１における復号処理順を示す説明図。
【図８】Ｂピクチャを含むフレームについて、逆転再生時におけるフレームメモリ部１３への書込み及び読出し並びに予測復号化部２１における復号処理順を示す説明図。
【図９】フレームメモリ部１３が４つのフレームメモリを有する場合の説明図。
【図１０】本実施の形態におけるマーク付けの方法を示すフローチャート。
【図１１】マーク付けの方法を説明するための説明図。
【図１２】マーク付けの方法を説明するための説明図。
【図１３】各ＧＯＰ構成におけるマーク付け及び復号回数を説明するための説明図。
【図１４】境界ＰＩピクチャが含む場合の逆転再生単位を示す説明図。
【符号の説明】
【０１３３】
１１…ストリーム記憶部、１２…復号部、１３…フレームメモリ部、１５…画像表示部、１６…マーク付け制御部。
【図１】
2008252747.tif 000003
【図２】
2008252747.tif 000004
【図３】
2008252747.tif 000005
【図４】
2008252747.tif 000006
【図５】
2008252747.tif 000007
【図６】
2008252747.tif 000008
【図７】
2008252747.tif 000009
【図８】
2008252747.tif 000010
【図９】
2008252747.tif 000011
【図１０】
2008252747.tif 000012
【図１１】
2008252747.tif 000013
【図１２】
2008252747.tif 000014
【図１３】
2008252747.tif 000015
【図１４】
2008252747.tif 000016