(57)【特許請求の範囲】
【請求項１】
符号化された動画像データを復号した復号画像をメモリに書き込み、このメモリから前記復号画像を読み出して動画像を出力する画像再生方法において、
直近の順方向再生済みの画像を保持可能なように順方向復号した複数の画像を順方向再生終了が古い順に上書きするように前記メモリ内の領域を割り当てる領域割当ステップと、
前記メモリに保持された複数の画像の再生順序を記憶する再生順序記憶ステップと、
前記メモリから画像再生のための読出しを制御する読出し制御ステップとを有し、
逆方向再生する際には、前記再生順序記憶ステップにより記憶された順序の逆順に従って前記読出し制御ステップにより前記メモリ内に保持された再生済み画像を含む複数の画像を読出すことを特徴とする画像再生方法。
【請求項２】
前記領域割当ステップは、前記復号画像を前記メモリに保持する際に、前記再生済みの画像を一定間隔でサンプリングして領域割当することを特徴とする請求項１記載の画像再生方法。
【請求項３】
前記領域割当ステップは、前記復号画像を前記メモリに保持する際に、このメモリに空き領域がなければ、前記再生済み画像が保持されている領域に上書きをするように領域割当することを特徴とする請求項１又は２のいずれか１項記載の画像再生方法。
【請求項４】
符号化された動画像データを復号する復号手段と、この復号手段で復号された復号画像を保持するメモリと、このメモリに保持された復号画像を読み出して動画像を出力する画像再生装置において、
直近の順方向再生済みの画像を保持可能なように順方向復号した複数の画像を順方向再生終了が古い順に上書きするように前記メモリ内の領域を割り当てる領域割当手段と、
前記メモリに保持された複数の画像の再生順序を記憶する再生順序記憶手段と、
前記メモリから画像再生のための読出しを制御する読出し制御手段とを有し、
逆方向再生する際には、前記再生順序記憶手段が記憶する順序の逆順に従って前記読出し制御手段が前記メモリ内に保持されている再生済み画像を含む複数の画像を読出すことを特徴とする画像再生装置。
【請求項５】
前記領域割当手段は、復号画像の前記メモリ内への保持を指示する際に、前記再生済みの画像を一定間隔でサンプリングして領域割当することを特徴とする請求項４記載の画像再生装置。
【請求項６】
前記領域割当手段は、復号画像の前記メモリ内への保持を指示する際に、このメモリに空き領域がなければ、前記再生済み画像が保持されている領域に上書きをするように領域割当することを特徴とする請求項４又は５のいずれか１項記載の画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＤＶＤ等のディスク媒体や、磁気テープ等に記録されている符号化画像データを再生する画像再生方法および画像再生装置に関するものであり、特に逆方向再生を滑らかに行える画像再生方法および装置に関する。
【０００２】
【従来の技術】
従来、動画像信号を高能率符号化するための要素技術として、入力画像の空間的相関性に基づいて離散コサイン変換した係数を伝送することにより情報量を圧縮する離散コサイン変換（ＤＣＴ）、時間的相関性に基づいて情報量を圧縮するフレーム間予測法、シンボル出現確率を考慮して符号語を割り当てる統計的情報圧縮である可変長符号化等が知られている。これらの要素技術を組み合わせた高度な画像圧縮符号化方式の一例として、ＭＰＥＧ２方式と呼ばれる規格ＩＳＯ／ＩＥＣ１３８１８−２がある。
【０００３】
このＭＰＥＧ２方式においては、８×８画素のブロックに分割された画像をＤＣＴ変換してピクチャ内符号化した「Ｉピクチャ」、「Ｉピクチャ」に基づいてフレーム間予測した誤差を伝送することにより時間的情報量の削減を行う順方向予測画像である「Ｐピクチャ」、ＩピクチャまたはＰピクチャから中間の画像を予測する双方向予測画像である「Ｂピクチャ」が利用される。
【０００４】
以下、ＭＰＥＧ２方式の画像符号化・復号化方式について説明する。
【０００５】
まず、符号化側においては、原画像データから可変長符号化されたピクチャ情報と動きベクトルを含む画像データを求め、これにヘッダ情報を付加することにより、圧縮画像データを生成する。
【０００６】
上記ヘッダ情報には、ピクチャ情報を可変長符号化する際の量子化の単位を示す量子化ステップ情報が含まれている。また、上記動きベクトル情報は、２つのピクチャ間の被写体の動きを示したものである。
【０００７】
ここで、Ｉピクチャの符号化の場合には、Ｉピクチャのみからピクチャ情報が求められるのに対して、Ｐピクチャの符号化の場合には、Ｐピクチャとその前方参照画像であるＩピクチャ又はＰピクチャとの差分を用いてピクチャ情報が求められ、またＢピクチャの場合には、Ｂピクチャとその前方参照画像及び後方参照画像との差分を用いてピクチャ情報が求められる。
【０００８】
そこで、Ｂピクチャは通常２つ連続するが、Ｂピクチャを復号する際にはその前後のＩピクチャ又はＰピクチャを必要とするため、エンコード側において、Ｂピクチャから見て時間的に後にあるピクチャを先にＩピクチャ又はＰピクチャとして符号化して出力する必要がある。したがって、双方向予測符号化を行う場合には、ピクチャ間の時間的順序が入れ替わって符号化される。
【０００９】
また、ＭＰＥＧ方式においては、図６に示すようなグループオブピクチャ（以下、ＧＯＰと略す）と呼ばれる複数のピクチャからなる単位が用いられる。これは、動画像記憶媒体に対するランダムアクセスを実現するためや放送チャンネル切換時に速やかに画像を表示するために、アクセスのためのエントリー点を設けるために採用されたものである。このＧＯＰ内の構造は、Ｉ、Ｐ及びＢピクチャで任意に構成可能であるが、一般的には、先頭にＩピクチャを置き、その後に一定の周期（ＩまたはＰピクチャの周期をＭで表示する）、例えば、３ピクチャでＰピクチャを置き、その間にＢピクチャを挟む周期的な構造が用いられている。また、ＧＯＰの長さも任意の長さが可能であるが、一般的には、１０〜１５ピクチャ程度の長さ（Ｎ）が用いられている。
【００１０】
また図６に示すように、ＭＰＥＧ等の動き予測符号化された画像データを復号する際には、前方予測参照画像と後方予測参照画像を保持するためのメモリを持ち、先に復号化した参照画像（Ｉピクチャ、Ｐピクチャ）を用いて予測符号化された画像（Ｐピクチャ、Ｂピクチャ）を復号化する。
【００１１】
したがって、この動き予測符号化された画像データを逆方向再生する際にも先に参照画像を復号する必要があるため、図７に示すようなＧＯＰ構造を持つ符号化された画像信号を復号する際には、いくつもの参照画像の復号を繰り返さないと復号画像を得ることができない。
【００１２】
たとえば、図７の例において、逆方向再生の最初の画像であるＰ１０を復号するためには、Ｉ１，Ｐ４，Ｐ７が復号されていなければならず、Ｐ１０を含めて画像復号数が４となる。以下、Ｂ９、Ｂ８の各画像復号数は１、Ｐ７は前方参照画像として保持されているので画像復号数は０、Ｂ６を復号する際には、再度Ｉ１，Ｐ４を復号するために復号画像数は３となる。以下省略するが、結局１０枚の画像を逆方向に再生する場合の復号回数は１２回となる。
【００１３】
このため特開平８-７９６８７、特開平８-７９６８８号公報で開示されているように、符号化データ中のＩピクチャ（フレーム内符号化された画像）のみや、ＩピクチャとＰピクチャ（前方予測を用いて符号化された画像）のみを拾って、逆方向再生を行なっていた。
【００１４】
また、特開平９-５５９４６号公報で開示されている例では、復号化した画像をダウンサンプリングして画像データ量を削減して保持することで、通常の復号に必要なメモリ量で、１ＧＯＰ分の画像をメモリに蓄え、逆順に読み出すことで逆方向再生を行っていた。
【００１５】
【発明が解決しようとする課題】
しかしながら、上記従来のＩピクチャのみ又は Ｉピクチャ、Ｐピクチャを拾って逆方向再生を行う場合、再生される画像はＢピクチャを含まない飛び飛びの画像であるため、動きがぎこちない逆再生画像になってしまうという問題点があった。
【００１６】
また、ダウンサンプルした画像を保持し、逆順に読み出して逆方向再生する場合には、画質が劣化する以外に、通常再生から逆再生に切り替えるためには、モードを切り替えてから１ＧＯＰ分の画像の復号化を終えないと逆方向の再生画の出力ができないため、逆方向再生の指示を受けてから画像が表示されるまでのレスポンスが悪いといった問題点があった。
【００１７】
以上の問題点に鑑み本発明の目的は、動きの滑らかな逆方向再生画像を得ることができる画像再生方法及び装置を提供することである。
また本発明の目的は、画質の劣化がない逆方向再生が行える画像再生方法及び装置を提供することである。
また本発明の目的は、逆方向再生の指示を受けてから画像が表示されるまでの時間を短縮したレスポンスの速い画像再生方法及び装置を提供することである。
【００１９】
【課題を解決するための手段】
上記目的を達成するために本発明は、符号化された動画像データを復号した復号画像をメモリに書き込み、このメモリから前記復号画像を読み出して動画像を出力する画像再生方法において、直近の順方向再生済みの画像を保持可能なように順方向復号した複数の画像を順方向再生終了が古い順に上書きするようにメモリ内の領域を割り当てる領域割当ステップと、メモリに保持された複数の画像の再生順序を記憶する再生順序記憶ステップとメモリから画像再生のための読出しを制御する読出し制御ステップとを有し、逆方向再生する際には、再生順序記憶ステップにより記憶された順序の逆順に従って前記読出し制御ステップによりメモリ内に保持された再生済み画像を含む複数の画像を読出すことを特徴とする画像再生方法である。
【００２１】
また本発明は、符号化された動画像データを復号する復号手段と、この復号手段で復号された復号画像を保持するメモリと、このメモリに保持された復号画像を読み出して動画像を出力する画像再生装置において、直近の順方向再生済みの画像を保持可能なように順方向復号した複数の画像を順方向再生終了が古い順に上書きするように前記メモリ内の領域を割り当てる領域割当手段と、前記メモリに保持された複数の画像の再生順序を記憶する再生順序記憶手段と、前記メモリから画像再生のための読出しを制御する読出し制御手段とを有し、逆方向再生する際には、前記再生順序記憶手段が記憶する順序の逆順に従って前記読出し制御手段が前記メモリ内に保持されている再生済み画像を含む複数の画像を読出すことを要旨とする画像再生装置である。
【００２２】
【発明の実施の形態】
次に図面を参照して、本発明の実施の形態を詳細に説明する。
図１は、本発明に係る画像再生装置の実施形態を示すブロック図であり、ＭＰＥＧを用いて符号化された画像データを再生する場合を例に説明する。
【００２３】
図１において、画像再生装置１は、符号化された画像データが入力される入力バッファ３、可変長符号化された量子化変換係数を復号する可変長復号部５、量子化ステップ情報に基づいて量子化変換係数を逆量子化する逆量子化部７、逆離散コサイン変換によりフレーム内符号化画像を復号する逆ＤＣＴ部９、前方参照画像及、後方参照画像及び動きベクトル情報を用いてフレーム間予測符号化された画像の復号を行う動き補償部１１、出力Ｉ／Ｆ部１３、メモリＩ／Ｆ部１５、複数フレームの記憶容量を有するメモリ１７を備えている。
【００２４】
メモリＩ／Ｆ部１５は、書込み制御部２１、順方向／逆方向再生制御部２３、読出し制御部２５、間引き制御部２７、領域割当部２９、再生順序記憶部３１を備えていて、メモリ１７と動き補償部１１及び出力Ｉ／Ｆ部１３とのインタフェース制御を行う。
【００２５】
メモリＩ／Ｆ部１５の書込制御部２１は、後述される領域割当部２９が割り当てたメモリ１７の記憶領域に画像を書き込む。順方向／逆方向再生制御部２３は、動画像の順方向再生、スロー再生、逆方向再生、ストップモーション等の通常再生及びトリックプレイの全体制御を行う。
【００２６】
読出し制御部２５は、順方向再生画像の読出し、逆方向再生画像の読出し、動き補償部１１が参照する前方参照画像及び後方参照画像の読出しを制御する。領域割当部２９は、復号画像を書き込むべきメモリ１７の領域割当て、及びメモリ１７に保持すべき表示済みの画像の制御を行う。
【００２７】
間引き制御部２７は、領域割当部２９が割り当てるべき空き領域が無くなったとき、いずれの画像を間引くかを判断し、領域割当部２９に指示する。再生順序記憶部３１は、順方向復号化された複数の画像の順方向再生順序を記憶するものである。
【００２８】
外部のＤＶＤプレーヤなどのディスク装置、ＶＴＲ、ＶＯＤ等から入力される符号化された画像データは、入力バッファ３、可変長復号部５、逆量子化部７、逆ＤＣＴ部９、動き補償部１１、メモリＩ／Ｆ１５を用いてメモリ１７上で復号化され、出力Ｉ／Ｆ１３を介して復号画像がディスプレイ装置等へ出力される。
【００２９】
図２は、図１の画像再生装置１の動作を説明する画像再生ダイヤグラムであり、１ＧＯＰ当たり４フレームで構成されている例を示している。図２（ａ）は、順方向再生の例を示し、Ｘ，Ｘ＋１，Ｘ＋２，Ｘ＋３，Ｘ＋４の各ＧＯＰは、それぞれ１枚のＩピクチャ、１枚のＰピクチャ及び２枚のＢピクチャからなるものとする。
【００３０】
それぞれのＧＯＰは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なクローズドＧＯＰであり、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順で記憶媒体から読み出されるが、順方向再生順はＩピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャの順である。
【００３１】
従来の画像再生装置における逆方向再生では、例えば図２（ｂ）に示すように、各ＧＯＰからＩピクチャのみを取り出し、それぞれのＧＯＰの表示期間だけ同じＩピクチャを繰り返し表示していたので、動きが不連続な逆再生画像となっていた。
【００３２】
図２で示される符号化画像データを逆方向に再生する場合、符号化画像データは動き補償予測を用いて符号化されているため、ＧＯＰ単位で逆方向に読み出すことはできるが、ＧＯＰ内での復号化の順番を変えることはできない。
【００３３】
そこで本発明では、図１における領域割当部２９が表示を終えたメモリ１７の画像領域を、順次、復号化画像格納領域として再割り当てるように動作し（図２参照）、復号化を終えた画像をメモリ１７内に保持し、再生順序記憶部３１に記憶した順方向再生順の逆順に従って、読出し制御部２５が読み出すことで逆方向再生を行う。
【００３４】
ここで図２の例の場合、メモリ１７の容量としては、４フレーム分が必要となっているが、この中に復号化の際に前方参照画像及び後方参照画像を保持する参照メモリの分が含まれていることに注意されたい。
【００３５】
また、順方向再生する場合、領域割当部２９は、図３に示すように、表示を終えた画像領域を直ちに復号化画像格納領域として再割り当てするのではなく、表示終了が古い順に再割り当てするように動作する。このようにメモリ１７の領域を割り当てることで、順方向再生から逆方向再生モードに切り替わった際に、メモリ内に保持されている表示済み画像を逆順に再表示することができるため、途切れなく逆方向再生画像を出力することができる。
【００３６】
また逆方向再生画像を表示する場合、ＧＯＰの先頭から復号化を行い、逆順に読み出す必要があるため、順方向再生モードから逆方向再生モードに変わっても直ちに逆方向再生モードで復号化した画像を表示することができないが、順方向再生モードで復号化、表示し終えた画像をメモリ１７に保持しておくことで、逆方向再生モードに切り替わってから逆方向再生画像が出力されるまでのタイムラグを吸収することができる。
【００３７】
ここで、１ＧＯＰ内の画像フレーム数が多く、復号化した画像を保持するためのメモリ量が足らない場合、図４（ａ）に示すように、足らなくなった分の復号画像をメモリ１７に書き込まないように間引き制御部２７から書込み制御部２１へ指示する、もしくは図５に示すように保持している画像を上書きするように間引き制御部２７から領域割当部２９に指示する。この場合、逆方向再生する際にはメモリ１７の容量が許す限り滑らかな逆方向再生が行われることになる。
【００３８】
また、あらかじめ１ＧＯＰ内のフレーム数が分かっている場合には、図４（ｂ）に示すように、メモリ１７に書き込む復号化画像をサンプリングして保持することで、逆方向再生する際に、ぎこちなく再生されることを軽減することができる。
【００３９】
なお、本実施の形態では説明の簡単化のために、各ＧＯＰは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なクローズドＧＯＰであるとして、ＧＯＰの先頭にＩピクチャが配置される例を説明したが、クローズドＧＯＰ以外のＧＯＰ構成を有する動画像にも適用することができる。
【００４０】
この場合の逆再生時の復号化及び表示法としては、各ＧＯＰ内のＩピクチャに先行して伝送されるＢピクチャ、Ｐピクチャはデコードぜずに、代わりの画像（Ｉピクチャ）を表示するか、或いは、時系列的な一つ前のＧＯＰ（ｎ−１）を先取りして、このＧＯＰ（ｎ−１）のＩピクチャ、Ｐピクチャを復号化し、この復号化された画像を前方参照画像として、ＧＯＰ（ｎ）の先頭部のＢピクチャ又はＰピクチャを復号化すればよい。
【００４１】
また本発明の応用例として、ＭＰ＠ＨＬのＭＰＥＧ２デコーダを用いてＭＰ＠ＭＬの符号化画像データを復号化する場合には、ＨＬ用として設けられたデコードメモリの容量が余るので、追加的なメモリを必要とすることなく、この余ったデコードメモリを用いて１５フレーム程度のＭＬ画像をメモリに保持することができるので、滑らかな逆方向再生、及びレスポンスの速い逆方向再生を実現することができる。
【００４２】
【発明の効果】
以上説明したように本発明によれば、動きの滑らかな逆方向再生画像を得ることができる画像再生方法及び装置を提供することができる。
また本発明によれば、画質の劣化がない逆方向再生が行える画像再生方法及び装置を提供することができる。
また本発明によれば、逆方向再生の指示を受けてから画像が表示されるまでの時間を短縮したレスポンスの速い画像再生方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像再生装置の実施形態を示すブロック図である。
【図２】実施形態における逆方向再生を行う際のメモリの動的領域割当を説明する図である。
【図３】順方向再生から逆方向再生に移行する際のメモリの動的割当を説明する図である。
【図４】実施形態における復号化画像をメモリに保持する際に間引きを行う方法を説明する図である。
【図５】実施形態における復号化画像をメモリに保持する際に上書きを行う方法を説明する図である。
【図６】ＭＰＥＧにおける画像の符号化、復号化の順番を示す図である。
【図７】従来の画像再生装置における画像単位でＧＯＰ内の逆方向再生をする場合の手順を示す図である。
【符号の説明】
１…画像再生装置、３…入力バッファ、５…可変長復号部、７…逆量子化部、９…逆ＤＣＴ部、１１…動き補償部、１３…出力Ｉ／Ｆ部、１５…メモリＩ／Ｆ部、１７…メモリ、２１…書込み制御部、２３…順方向／逆方向再生制御部、２５…読出し制御部、２７…間引き制御部、２９…領域割当部、３１…再生順序記憶部。
【図１】
0003860319.tif 000002
【図２】
0003860319.tif 000003
【図３】
0003860319.tif 000004
【図４】
0003860319.tif 000005
【図５】
0003860319.tif 000006
【図６】
0003860319.tif 000007
【図７】
0003860319.tif 000008