(57)【要約】【課題】  逆方向再生時に、１フレーム内で複数のリファレンスフレームを復号して参照画像として用いる期間があり、極めて高速な復号器を必要とする。【解決手段】  時刻ｔ３では復号器は、（Ｅ）に示すようにフレームメモリ１４３から読み出した復号映像データＰ３’（ｎ）を表示装置へ出力すると共に、（Ｆ）に示すように、入力されるＰピクチャＰ１（ｎ−１）を、フレームメモリ１４１から読み出した復号映像データＩ’（ｎ−１）を参照画像として用いて復号して復号映像データＰ１’（ｎ−１）を得てフレームメモリ１４２に格納する。従来はこの期間では復号及びメモリへの画像格納は行っていない。このように、リファレンスフレームであるＰピクチャ、Ｉピクチャ入力時にも復号動作を行ってフレームメモリに格納することで、ある１フレーム内での複数のリファレンスフレームの極めて高速な復号を不要にできる。【選択図】            図２
2006217300.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が一画像内で符号化された画像内符号化画像と、画像信号が時間的に過去の符号化画像を参照画像として用いて符号化された順方向予測符号化画像と、画像信号が時間的に過去の前記画像内符号化画像又は前記順方向予測符号化画像と、時間的に未来の前記順方向予測符号化画像の両方を参照画像として用いて符号化された双方向予測符号化画像とのうち、前記画像内符号化画像は先頭に配置された一つのみであり、前記順方向予測符号化画像及び前記双方向予測符号化画像はそれぞれ一又は二以上配置された構成のグループの単位で合成されたビデオストリームが記録された記録媒体から前記ビデオストリームを再生し、記録時とは逆方向の画像順の逆方向再生画像を得る映像再生装置であって、
前記記録媒体から再生された前記ビデオストリームを入力信号として受け、入力ビデオストリーム中の前記画像内符号化画像、前記順方向予測符号化画像及び前記双方向予測符号化画像を記録時とは逆方向の画像順で復号する復号手段と、
少なくとも前記グループ内の前記画像内符号化画像と前記順方向予測符号化画像の数より一画像分多い画像を記憶できる容量を有し、前記復号手段により前記順方向予測符号化画像及び前記双方向予測符号化画像を復号する時に、前記参照画像として用いる復号画像信号を画像単位で記憶するメモリ手段と
を有し、前記逆方向再生時に最初に再生する前記グループ内の前記画像内符号化画像と前記順方向予測符号化画像とを予め復号してリファレンス画像として前記メモリ手段に記憶しておき、前記復号手段は、前記双方向予測符号化画像の入力時は前記メモリ手段に記憶されている前記画像内符号化画像の復号画像信号と前記順方向予測符号化画像の復号画像信号を前記参照画像として用いて復号して出力し、前記画像内符号化画像又は前記順方向予測符号化画像の入力時は前記メモリ手段に記憶されている第１の順方向予測符号化画像の復号画像信号又は第１の画像内符号化画像の復号画像信号を出力すると共に、前記メモリ手段に記憶されている第２の順方向予測符号化画像の復号画像信号又は第２の画像内符号化画像の復号画像信号を参照画像として用いて復号して得た復号画像信号を前記メモリ手段に更新記憶することを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像再生装置に係り、特に記録媒体に記録された圧縮映像データを記録時とは逆方向に再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、ＭＰＥＧ２（Moving Picture Experts Group phase 2）などのフレーム間高能率符号化方式により映像信号を符号化して得られる圧縮映像データは、図３（Ａ）に示すような順番で記録媒体に記録される。同図において、Ｉはフレーム内でのみ圧縮符号化をした（フレーム間の予測符号化をしていない）Ｉピクチャを示し、Ｐは現在のフレームと時間的に過去のＩピクチャ又はＰピクチャとの差分に基づき予測符号化されたフレーム間順方向予測符号化画像であるＰピクチャを示し、Ｂは現在のフレームと時間的に過去のＩピクチャ又はＰピクチャと、時間的に未来のＰピクチャとの間で予測符号化された双方向予測符号化画像であるＢピクチャを示す。また、図３（Ａ）において、Ｉ、Ｐ、Ｂの次の数字は記録順番を示す。
【０００３】
なお、Ｉピクチャはフィールド内のみ圧縮符号化した画像内符号化画像でもよく、Ｐピクチャはフィールド間順方向予測符号化画像でもよく、Ｂピクチャはフィールド間の双方向予測符号化画像でもよく、要は１フレーム又は１フィールドの一画像間の画像符号化方式であればよいが、以下では説明の便宜上、フレーム間高能率符号化方式の場合について説明する。
【０００４】
このようなＭＰＥＧ２の各ピクチャの時系列合成符号系列であるビデオストリーム（Video Stream）が記録されている記録媒体から、記録されているビデオストリームを記録時とは逆方向に再生する再生方法が従来より知られている。この逆方向再生方法では、フレーム内でのみ圧縮符号化をした画像内符号化画像であるＩピクチャのみを記録時とは逆方向に再生するか、伸張のためのメモリを増やして全フレームを記録時とは逆方向に再生するなどしていた。
【０００５】
また、ＭＰＥＧ２ビデオストリームは、図３（Ｂ）に示すＧＯＰ（Group Of Picture）と呼ばれる複数フレーム（複数のピクチャ）の集合単位で管理される。ＭＰＥＧ２ビデオストリームがＧＯＰ単位で示すと図３（Ｂ）に示す順に記録された記録媒体からＭＰＥＧ２ビデオストリームを、図３（Ｃ）に示すように記録時とは逆方向の順番で再生しようとすると、まず図３（Ｃ）、（Ｄ）に示すＧＯＰ（ｎ）と次に再生されるＧＯＰ（ｎ−１）とからリファレンスフレームと呼ばれる飛び飛びの映像フレームを伸張する必要がある。
【０００６】
これは、ＭＰＥＧ２方式ではフレーム間圧縮方式が用いられているためである。しかも、ＧＯＰ（ｎ）でフレーム間の参照が閉じていない場合は、隣のＧＯＰ（ｎ−１）のフレームを必要とする。また、ＭＰＥＧ２ビデオストリームの逆方向再生が困難な理由は２つあり、第一の理由は、図３（Ｅ）に示す場合に最初に必要とされるリファレンスフレームのＰ４（Ｐピクチャの４番目）は、Ｉピクチャから、順番にＰ１、Ｐ２、Ｐ３の各Ｐピクチャをそれぞれ伸張（復号）した後でなければ得られないフレーム（Ｐピクチャ）であることであり、第二の理由は、ＧＯＰ単位で伸張処理（復号処理）が閉じていない場合があり、その場合は次のＧＯＰ（通常再生の表示時間では過去のＧＯＰ）のリファレンスフレームを全て即座に伸張（復号）し、逆方向再生時の次のＧＯＰ内のリファレンスフレームであるＰ４フレームを入手しなければならない、ことである。
【０００７】
図３（Ｅ）においては、また、フレームメモリのメモリ内容が図示されており、上記のような問題があるが、合計６つのフレームメモリがあれば、逆方向再生が可能であり、これにより、図３（Ｇ）に示す順序で逆方向再生されたビデオストリームが得られる（例えば、特許文献１参照）。
【０００８】
【特許文献１】特開平８−１０２９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかるに、再生映像データを記録時とは逆方向の順番で再生する従来の映像再生装置では、図３（Ｆ）に示すように、Ｂ２フレームを伸張（復号）する瞬間にＰ４フレームが必要なため、Ｉ→Ｐ１→Ｐ２→Ｐ３→Ｐ４というように、一瞬で参照画像として５フレームを伸張（復号）する必要があり、これは、ＭＰＥＧ２デコーダにとっては負荷が大きく、従来は高速な処理を行う極めて高価な回路を必要とする問題がある。特に再生映像データをＨＤ画質で逆方向再生する場合は、フレームメモリの容量が大容量となり、上記の従来装置は現実的ではない。
【００１０】
本発明は、以上の点に鑑みてなされたもので、復号器が一倍速の復号能力しか持たない場合でも、逆方向再生を行い得る映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明は、画像信号が一画像内で符号化された画像内符号化画像と、画像信号が時間的に過去の符号化画像を参照画像として用いて符号化された順方向予測符号化画像と、画像信号が時間的に過去の画像内符号化画像又は順方向予測符号化画像と、時間的に未来の順方向予測符号化画像の両方を参照画像として用いて符号化された双方向予測符号化画像とのうち、画像内符号化画像は先頭に配置された一つのみであり、順方向予測符号化画像及び双方向予測符号化画像はそれぞれ一又は二以上配置された構成のグループの単位で合成されたビデオストリームが記録された記録媒体からビデオストリームを再生し、記録時とは逆方向の画像順の逆方向再生画像を得る映像再生装置であって、記録媒体から再生されたビデオストリームを入力信号として受け、入力ビデオストリーム中の画像内符号化画像、順方向予測符号化画像及び双方向予測符号化画像を記録時とは逆方向の画像順で復号する復号手段と、少なくともグループ内の画像内符号化画像と順方向予測符号化画像の数より一画像分多い画像を記憶できる容量を有し、復号手段により順方向予測符号化画像及び双方向予測符号化画像を復号する時に、参照画像として用いる復号画像信号を画像単位で記憶するメモリ手段とを有し、
逆方向再生時に最初に再生するグループ内の画像内符号化画像と順方向予測符号化画像とを予め復号してリファレンス画像としてメモリ手段に記憶しておき、復号手段は、双方向予測符号化画像の入力時はメモリ手段に記憶されている画像内符号化画像の復号画像信号と順方向予測符号化画像の復号画像信号を参照画像として用いて復号して出力し、画像内符号化画像又は順方向予測符号化画像の入力時はメモリ手段に記憶されている第１の順方向予測符号化画像の復号画像信号又は第１の画像内符号化画像の復号画像信号を出力すると共に、メモリ手段に記憶されている第２の順方向予測符号化画像の復号画像信号又は第２の画像内符号化画像の復号画像信号を参照画像として用いて復号して得た復号画像信号をメモリ手段に更新記憶することを特徴とする。
【００１２】
この発明では、復号手段に画像内符号化画像又は順方向予測符号化画像が入力するときには、メモリ手段に記憶されている第１の順方向予測符号化画像の復号画像信号又は第１の画像内符号化画像の復号画像信号を出力すると共に、メモリ手段に記憶されている第２の順方向予測符号化画像の復号画像信号又は第２の画像内符号化画像の復号画像信号を参照画像として用いて復号して得た復号画像信号をメモリ手段に更新記憶するようにしたため、グループ内の画像内符号化画像と順方向予測符号化画像のすべてをリファレンス画像として極めて短期間に復号してメモリ手段に更新記憶することを不要にできる。
【発明の効果】
【００１３】
本発明によれば、復号手段に画像内符号化画像又は順方向予測符号化画像が入力するときには、メモリ手段に記憶されている順方向予測符号化画像の復号画像信号又は画像内符号化画像の復号画像信号を参照画像として用いて復号して得た復号画像信号をメモリ手段に更新記憶することにより、グループ内の画像内符号化画像と順方向予測符号化画像のすべてをリファレンス画像として極めて短期間に復号してメモリ手段に更新記憶することを不要にできるため、復号手段が一倍速の復号能力しか持たない場合でも、逆方向再生を行うことができ、よって従来に比べて安価な構成とすることができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる映像再生装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態は、記録媒体に記録された、例えばＭＰＥＧ２ビデオストリームを再生するデータ再生装置１１と、データ再生装置１１から出力された再生ＭＰＥＧ２ビデオストリームから、記録時と逆方向の再生を行う逆方向再生部１２と、逆方向再生部１２から出力された映像データを表示する表示装置１５とからなる。
【００１５】
上記の逆方向再生部１２は、復号器１３とフレームメモリ１４１〜１４６とからなり、復号器１３によりデータ再生装置１１から出力された再生ＭＰＥＧ２ビデオストリームを復号して復号映像データを得ると共に、その復号映像データをフレームメモリ１４１〜１４６のうち一のフレームメモリに選択供給し、更にフレームメモリ１４１〜１４６から得た参照用復号映像データと入力ビデオストリームから得た符号化データとから、その符号化データの復号を行う。
【００１６】
なお、入力される再生映像データが、１０８０ｉ信号を４：２：２のコンポーネント符号化方式で符号化した高品位映像データの場合は、フレームメモリ１４１〜１４６は１つのフレームメモリ当り４,１４７,２００（＝１９２０×１０８０×（１＋０.５＋０.５））バイトの容量が必要で、６つのフレームメモリ全体では２５ＭＢの容量を必要とする。
【００１７】
また、入力される再生映像データが、７２０ｐ信号を４：２：２のコンポーネント符号化方式で符号化した高品位映像データの場合は、１つのフレームメモリ当り１,８４３,２００（＝１２８０×７２０×（１＋０.５＋０.５））バイトの容量が必要で、６つのフレームメモリ全体では１１ＭＢの容量を必要とする。
【００１８】
次に、本実施の形態の動作について、図２を併せ参照して詳細に説明する。図２（Ａ）はデータ再生装置１１が再生する記録媒体に記録されているＭＰＥＧ２ビデオストリームの記録ピクチャを示す。これは図３（Ａ）と同一であり、ＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを示し、数字は記録順番を示す。また、記録媒体にはＧＯＰ単位で表すと、図２（Ｂ）に示す順番に記録されており、これを逆方向再生時には、図２（Ｃ）に示すように、記録時とは逆順に・・・、ＧＯＰ（ｎ＋２）、ＧＯＰ（ｎ＋１）、ＧＯＰ（ｎ）、ＧＯＰ（ｎ−１）、ＧＯＰ（ｎ−２）、・・・の順で再生する。
【００１９】
ここで、図２（Ｃ）に示すｎ番目のＧＯＰであるＧＯＰ（ｎ）は、例えば、同図（Ｄ）に示すように、先頭にＩピクチャＩ（ｎ）があり、続いて２枚のＢピクチャＢ１（ｎ）、Ｂ２（ｎ）、１枚のＰピクチャＰ１（ｎ）、２枚のＢピクチャＢ３（ｎ）、Ｂ４（ｎ）、１枚のＰピクチャＰ２（ｎ）、２枚のＢピクチャＢ５（ｎ）、Ｂ６（ｎ）、１枚のＰピクチャＰ３（ｎ）、２枚のＢピクチャＢ７（ｎ）、Ｂ８（ｎ）、１枚のＰピクチャＰ４（ｎ）、２枚のＢピクチャＢ９（ｎ）、Ｂ１０（ｎ）の順で配置された計１５枚のピクチャからなる１５フレームの構成である。
【００２０】
同様に、図２（Ｃ）に示すｎ−１番目のＧＯＰであるＧＯＰ（ｎ−１）は、例えば、同図（Ｄ）に示すように、先頭にＩピクチャＩ（ｎ−１）があり、以下、Ｂ１（ｎー１）、Ｂ２（ｎ−１）、Ｐ１（ｎ−１）、Ｂ３（ｎー１）、Ｂ４（ｎ−１）、Ｐ２（ｎ−１）、Ｂ５（ｎー１）、Ｂ６（ｎ−１）、Ｐ３（ｎ−１）、Ｂ７（ｎー１）、Ｂ８（ｎ−１）、Ｐ４（ｎ−１）、Ｂ９（ｎー１）、Ｂ１０（ｎ−１）の順で配置された計１５枚のピクチャからなる１５フレームの構成である。これらＧＯＰ（ｎ）、ＧＯＰ（ｎ−１）等のＧＯＰ内の各ピクチャの配置は記録時と同一である。なお、ＧＯＰはクローズドＧＯＰではないものとする。
【００２１】
以上の図２（Ａ）〜（Ｄ）は従来の図３（Ａ）〜（Ｄ）と同一であるが、本実施の形態は、以下の復号手順で従来と相違する。まず、逆方向再生を始める場合は、復号器１３は再生すべきＧＯＰ内のＩピクチャをまず復号し、続いて、そのＩピクチャの復号データを基にしてフレーム間順方向予測符号化されているＰピクチャＰ１を復号し、続いてＰ１の復号映像データを基にしてフレーム間順方向予測符号化されているＰピクチャＰ２を復号し、以下、同様にしてＰピクチャＰ３、Ｐ４を復号する。これらＩピクチャとＰピクチャＰ１〜Ｐ４の各復号映像データは同じＧＯＰ内のＢピクチャの参照画像として用いられるリファレンスフレームである。
【００２２】
復号器１３は復号した同じＧＯＰ内のこれら５つのリファレンスフレームの復号映像データをフレームメモリ１４１〜１４６のうちの５つのフレームメモリにそれぞれ格納すると共に、残りの一つのフレームメモリには次に逆方向再生されるべきＧＯＰ内のＩピクチャの復号映像データを格納する。以下、同様にしてフレームメモリ１４１〜１４６は巡回的に使用されて５つのリファレンスフレームの復号映像データを格納する。
【００２３】
これにかかる復号時間は、逆方向再生が開始される遅延時間として現れるものの、逆方向再生自体の負荷にはならないように、必要な時間（例えば５フレーム分の期間）を費やすことができるので問題ではない。
【００２４】
図２の例では、図２（Ｆ）に模式的に示す順番で復号器１３による復号が行われる。すなわち、復号器１３は時刻ｔ０ではＧＯＰ（ｎ−１）内のＩピクチャＩ（ｎ−１）が入力されて復号を行い、時刻ｔ１ではＧＯＰ（ｎ）内のＢピクチャＢ１０（ｎ）が入力されて復号を行い、時刻ｔ３ではＧＯＰ（ｎ）内のＢピクチャＢ９（ｎ）が入力されて復号を行い、時刻ｔ３ではＧＯＰ（ｎ−１）内のＰピクチャＰ１（ｎ−１）が入力されて復号を行い、時刻ｔ４ではＧＯＰ（ｎ）内のＢピクチャＢ８（ｎ）が入力されて復号を行う。
【００２５】
一方、図２（Ｅ）に模式的に示すように、時刻ｔ０で復号器１３に入力されたＧＯＰ（ｎ−１）内のＩピクチャＩ（ｎ−１）は、復号されてその復号映像データＩ’（ｎ−１）がフレームメモリ１４１に格納されるが、この時点ではフレームメモリ１４２、１４３、１４４、１４５及び１４６には、それぞれその前に再生されるＧＯＰ（ｎ）のＰピクチャＰ４（ｎ）、Ｐ３（ｎ）、Ｐ２（ｎ）、Ｐ１（ｎ）及びＩピクチャＩ（ｎ）の各復号映像データＰ４’（ｎ）、Ｐ３’（ｎ）、Ｐ２’（ｎ）、Ｐ１’（ｎ）及びＩ’（ｎ）が既に格納されている。なお、図２（Ｅ）において、白地の期間は記憶期間（非読出し期間）、ハッチングの期間は読出し出力期間を示す。
【００２６】
復号器１３は、図２（Ｆ）に示すように、時刻ｔ１にＢピクチャＢ１０（ｎ）が入力される時と、時刻ｔ２にＢピクチャＢ９（ｎ）が入力される時は、フレームメモリ１４２から読み出したＰピクチャＰ４（ｎ）の復号映像データＰ４’（ｎ）と、フレームメモリ１４３から読み出したＰピクチャＰ３（ｎ）の復号映像データＰ３’（ｎ）とを参照画像として用いて、入力ＢピクチャＢ１０（ｎ）、Ｂ９（ｎ）を順次に復号して復号映像データＢ１０’（ｎ）、Ｂ９’（ｎ）を得て表示装置１５へ順次に出力する。
【００２７】
続いて、時刻ｔ３では復号器１３は、フレームメモリ１４３から読み出した復号映像データＰ３’（ｎ）を表示装置１５へ出力すると共に、図２（Ｆ）に示すように、入力されるＰピクチャＰ１（ｎ−１）を、フレームメモリ１４１から読み出した復号映像データＩ’（ｎ−１）を参照画像として用いて復号して復号映像データＰ１’（ｎ−１）を得てフレームメモリ１４２に格納する。
【００２８】
続いて、復号器１３は、図２（Ｆ）に示すように、時刻ｔ４にＢピクチャＢ８（ｎ）が入力される時と、時刻ｔ５にＢピクチャＢ７（ｎ）が入力される時は、フレームメモリ１４３から読み出したＰピクチャＰ３（ｎ）の復号映像データＰ３’（ｎ）と、フレームメモリ１４４から読み出したＰピクチャＰ２（ｎ）の復号映像データＰ２’（ｎ）とを参照画像として用いて、入力ＢピクチャＢ８（ｎ）、Ｂ７（ｎ）を順次に復号して復号映像データＢ８’（ｎ）、Ｂ７’（ｎ）を得て表示装置１５へ順次に出力する。
【００２９】
続いて、時刻ｔ６では復号器１３は、フレームメモリ１４４から読み出した復号映像データＰ２’（ｎ）を表示装置１５へ出力すると共に、図２（Ｆ）に示すように、入力されるＰピクチャＰ２（ｎ−１）を、フレームメモリ１４２から読み出した復号映像データＰ１’（ｎ−１）を参照画像として用いて復号して復号映像データＰ２’（ｎ−１）を得てフレームメモリ１４３に格納する。
【００３０】
以下、上記と同様の動作を繰り返される。なお、時刻ｔ１１では図２（Ｆ）に示すように、復号器１３にＩピクチャＩ（ｎ−２）が入力されるが、このＩピクチャは復号されてそれまでＩピクチャを格納していたフレームメモリ１４６に図２（Ｅ）に示すように格納される。このようにして、復号器１３から表示装置１５には図２（Ｇ）に模式的に示すような順番で復号映像データが出力され、表示装置１５に逆方向再生画像が表示される。
【００３１】
上記のように、図２の例では、当初、５つのフレームメモリ１４６、１４５、１４４、１４３、１４２に、ＧＯＰ（ｎ）内のＩ（ｎ）、Ｐ１（ｎ）、Ｐ２（ｎ）、Ｐ３（ｎ）、Ｐ４（ｎ）の５つのリファレンスフレームの復号映像データが格納されており、残りの一つのフレームメモリ１４１には、使用しないデコーダの開き期間を使って、次のＧＯＰ（ｎ−１）のＩピクチャの復号映像データを格納するようにさせている。
【００３２】
そして、復号器１３がＢピクチャの復号処理をしない期間（リファレンスフレームの復号映像データを参照画像として用いて復号処理をしない期間：図２の例ではｔ３〜ｔ４、ｔ６〜ｔ７、ｔ９〜ｔ１０等々）を順次、使って、次のＧＯＰのリファレンスフレームを復号し、その復号映像データをフレームメモリ１４１〜１４６のいずれかに順次に蓄えていく。蓄えるフレームメモリ１４１〜１４６は、ＧＯＰの周期毎に順番が反転しているので、復号器１３が現在映像を表示するために復号するのに使用しているリファレンスフレームは破壊されることなく存続できる。
【００３３】
このように、本実施の形態によれば、従来のように５つのリファレスフレームを１フレーム内の極めて短期間で復号する処理が不要であり、常に１フレームでは１つのピクチャの復号のみでよいため、復号器１３が一倍速の復号能力しか持たない安価なものであっても、逆方向再生を行うことができる。従って、特にＨＤ画質の再生映像データの逆方向再生に有効である。
【００３４】
なお、上記の実施の形態では１ＧＯＰが１５フレームである例について説明したが、ＧＯＰのフレーム数やＧＯＰ内のＰピクチャの数やＢピクチャの数はこれに限定されるものではなく、またＭＰＥＧ２ビデオストリーム以外の同様のビデオストリームにも本発明を適用できるものである。更に、本発明は、コンピュータにより図２に示した復号を行わせるコンピュータプログラムも包含するものである。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施の形態のブロック図である。
【図２】図１の動作説明図である。
【図３】従来の映像再生装置の一例の動作説明図である。
【符号の説明】
【００３６】
１１  データ再生装置
１２  逆方向再生部
１３  復号器
１４1〜１４６  フレームメモリ
１５  表示装置
【図１】
2006217300.tif 000003
【図２】
2006217300.tif 000004
【図３】
2006217300.tif 000005