(57)【要約】【課題】逆方向再生時でも、即応性が高く、高速に逆方向再生ができるとともに、データ量も必要以上に大きくならない画像再生装置を提供すること。【解決手段】エンコーダ側イントラ予測部１４１において、画像ストリームのＧＯＰの初端と終端のデコード画像をトランスコードし、エンコーダ側動き補償部１４２において、画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードする。これにより、ＧＯＰの構成枚数を全てデコードするのではなく、１枚のみのデコードで所望の逆方向再生ができる。【選択図】図１
2012109720.tif 000002
【特許請求の範囲】
【請求項１】
デジタル圧縮された画像ストリームをトランスコードする画像変換装置であって、
前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測手段と、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測手段と、を有し、
前記イントラ予測手段は、前記画像ストリームのＧＯＰの初端と終端のデコード画像を、トランスコードし、
前記動き補償予測手段は、前記画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードする、
画像変換装置。
【請求項２】
デジタル圧縮がＨ．２６４で行われたものであり、
画像ストリームのＧＯＰの終端のデコード画像をトランスコードした動き補償予測画像は、Ｈ．２６４の拡張領域に格納し、前記画像ストリームのＧＯＰの終端以外のデコード画像をトランスコードしたイントラ予測画像及び動き補償予測画像は、Ｈ．２６４のデコード領域に格納する、
請求項１記載の画像変換装置。
【請求項３】
デジタル圧縮された画像ストリームのデコード画像を生成するデコード装置と、前記デコード画像をトランスコードする請求項１または２記載の画像変換装置と、を有する画像再生装置であって、
順方向再生する場合は、トランスコードされた画像を前記デコード装置により順次デコード再生するとともに、ＧＯＰの終端は動き補償予測画像をデコード再生し、
逆方向再生する場合は、トランスコードされた画像のうち、ＧＯＰ終端はイントラ予測画像を用いて前記デコード装置によりデコード再生する、
画像再生装置。
【請求項４】
デジタル圧縮された画像ストリームをトランスコードする画像変換方法であって、
前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測ステップと、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測ステップと、を含み、
前記イントラ予測ステップは、前記画像ストリームのＧＯＰの初端と終端のデコード画像を、トランスコードし、
前記動き補償予測ステップは、前記画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードする、
画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル圧縮された画像の変換装置及び再生装置に関し、とくに、巻き戻し再生等の特殊再生を行うときに用いられる技術に関する。
【背景技術】
【０００２】
ＭＰＥＧ２やＨ.２６４等のデジタル圧縮方式により圧縮された画像を再生する画像再生装置において、逆方向再生（巻き戻し）を行う場合には、再生する画像（ピクチャ）の順序に関わらず、その画像を含むＧＯＰ（グループ・オブ・ピクチャ）内のすべてのピクチャ（Ｉ、Ｐピクチャ）を復号しなければならない。そのため、大容量のフレームメモリが必要となるので、一般的に順方向再生に比べ、デジタル圧縮された画像の逆方向再生は比較的困難とされ、これまでに多くの技術が提案されている。
【０００３】
たとえば、復号された画像を再符号化（トランスコード）することにより、元符号化画像のＧＯＰの構成枚数（ピクチャ）を減らし、逆方向再生する際のメモリ容量を削減するものが考案されている(特許文献１)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２５２５０７号公報（段落［００４１］−［００６３］、第２図等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、再符号化（トランスコード）することにより、元符号化画像のＧＯＰの構成枚数を減らしたとしても、ＧＯＰの構成枚数分（ピクチャが２枚の場合は２回）復号する必要が有る。このため、監視用途で想定される１６ＣＨ（ＣＨ：チャネル）等の多画面での逆方向再生時においては、依然として必要な即応性を得られないと言う課題があった。
【０００６】
また、この即応性の課題を回避するために、ＧＯＰ構成をさらに減らし、ＧＯＰの構成枚数を１枚（Ｉピクチャ）とした場合には、時間相関を用いるＰピクチャを使用した時と比べて、画像のデータ量が大きくなると言う別の課題が生じる。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、監視用途等の多画面での逆方向再生時に好適な、即応性が高く、高速に逆方向再生ができるとともに、データ量も必要以上に大きくならない、画像変換装置、画像再生装置及び画像変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像変換装置の一つの態様は、デジタル圧縮された画像ストリームをトランスコードする画像変換装置であって、前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測手段と、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測手段と、を有し、前記イントラ予測手段は、前記画像ストリームのＧＯＰの初端と終端のデコード画像を、トランスコードし、前記動き補償予測手段は、前記画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードする。
【０００９】
本発明の画像変換装置の画像再生装置の一つの態様は、デジタル圧縮された画像ストリームのデコード画像を生成するデコード装置と、前記デコード画像をトランスコードする画像変換装置と、を有する画像再生装置であって、順方向再生する場合は、トランスコードされた画像を前記デコード装置により順次デコード再生するとともに、ＧＯＰの終端は動き補償予測画像をデコード再生し、逆方向再生する場合は、トランスコードされた画像のうち、ＧＯＰ終端はイントラ予測画像を用いて前記デコード装置によりデコード再生する。
【００１０】
本発明の画像変換方法の一つの態様は、デジタル圧縮された画像ストリームをトランスコードする画像変換方法であって、前記画像ストリームのデコード画像を用いて、イントラ予測画像を生成するイントラ予測ステップと、前記画像ストリームのデコード画像を用いて、動き補償予測画像を生成する動き補償予測ステップと、を含み、前記イントラ予測ステップは、前記画像ストリームのＧＯＰの初端と終端のデコード画像を、トランスコードし、前記動き補償予測ステップは、前記画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードする。
【００１１】
さらに、本発明の画像再生装置の一つの態様は、ネットワーク経由の複数のカメラからのデジタル圧縮された画像ストリームを取り込むインターフェースと、デジタル圧縮された画像ストリームのデコードを行い、デコード画像を生成するデコード装置と、前記デコード装置より出力されるデコード画像を格納する画像格納メモリと、前記画像格納メモリ中のデコード画像を入力とし、トランスコードストリームを生成するトランスコード装置と、前記インターフェースより入力されるデジタル圧縮された画像ストリーム及び、前記トランスコード装置でトランスコードされたトランスコードストリームを保存する記憶媒体と、前記画像格納メモリに格納されている画像データを合成し、監視モニタへ出力する画像合成部とを有する。ここで、前記デコード装置は、内部に前記インターフェース及び前記記憶媒体より入力されたデジタル圧縮された画像ストリームのエントロピー復号化を行うエントロピー復号化部と、前記エントロピー復号化部より入力されるエントロピー符号化を解かれたデータの逆量子化を行うデコーダ側逆量子化部と、前記デコーダ側逆量子化部で逆量子化されたデータの逆ＤＣＴを行うデコーダ側逆ＤＣＴ部と、前記デコーダ側逆ＤＣＴ部で逆ＤＣＴされたデータより、イントラ予測か動き保障予測かのどちらの予測モードが使われているかを判断するデコーダ側予測方法判断部と、前記デコーダ側予測方法判断部でイントラ予測データだと判断された場合、イントラ予測を用いてマクロブロック（ＭＢ）単位での画像デコードを行うデコーダ側イントラ予測部と、前記デコーダ側予測方法判断部で動き保障予測を使用したデータだと判断された場合、ＭＢ単位での画像のデコードを行い、差分データを算出するデコーダ側動き保障部と、現在のデコード方向により、前記動き保障部で算出した差分データの正負の符号の反転を行うかを判定し、デコーダ側参照画像格納メモリ内に格納されている参照デコード画像を用いて、動き保障有りのデータのＭＢ単位での画像デコードを行う符号反転部と、前記デコーダ側イントラ予測部及び前記符号反転部において、ＭＢ単位でデコードされたデコード画像を格納し、前記デコーダ側イントラ予測部でのデコード済みの周辺ＭＢ情報への入力としても使用するデコード画像生成部と、１フレーム内の全てのＭＢデコードが終わった時点で、前記デコード画像生成部にあるデコード画像を格納する前記デコーダ側参照画像格納メモリとを有する。また、前記トランスコード装置は、前記画像格納メモリから入力されるデコード画像と、ローカルデコード画像生成部より得られるローカルデコード画像とを用いてイントラ予測画像を生成するエンコーダ側イントラ予測部と、前記画像格納メモリから入力されるデコード画像と、エンコーダ側参照画像格納メモリより得られる参照デコード画像より、動き保障演算を行うエンコーダ側動き保障部と、前記エンコーダ側イントラ予測部及び、前記エンコーダ側動き保障部より得られる予測画像を比較し、予測モードを決定するエンコーダ側予測方法判断部と、前記エンコーダ側予測方法判断部で判断された予測方法を用いて、画像の差分情報を生成する差分情報生成部と、前記差分情報生成部より得られた差分情報のＤＣＴ変換を行うＤＣＴ部と、前記ＤＣＴ部より得られたデータの量子化を行う量子化部と、前記量子化部より得られたデータのエントロピー符号化を行い、トランスコードストリーム合成部へ転送するエントロピー符号化部と、前記量子化部より得られたデータの逆量子化を行うエンコーダ側逆量子化部と、前記エンコーダ側逆量子化部より出力されたデータの逆ＤＣＴ処理を行うエンコーダ側逆ＤＣＴ部と、前記エンコーダ側逆ＤＣＴ処理部より出力されたデータ及びエンコーダ側参照画像格納メモリ中の参照デコード画像を用いて、マクロブロック単位でローカルデコード画像を生成するローカルデコード画像生成部と、前記ローカルデコード画像生成部でデコードされたＭＢ単位の画像データが、１フレーム分揃った段階で、参照用のデコード画像を格納する前記エンコーダ側参照画像格納メモリとを有する。
【００１２】
この構成により、デジタル圧縮された動画像符号化に対してトランスコーディングを行い記憶媒体にトランスコーディングされたデータを格納しておくことで、逆方向の再生を行う際にも、順方向に全ての参照ピクチャをデコードすること無く、逆方向に順にデコードが可能なデータ構造を提供し、順方向のデコード動作に影響を与えること無く、逆方向に高速にデコードを行うことが可能となる。
【発明の効果】
【００１３】
本発明によれば、デジタル圧縮された動画像に対し、動きベクトルを０としたトランスコード（再符号化）を行うことにより、逆方向再生をある任意の時点から行う際に、従来のようにＧＯＰの構成画像の枚数分を必ず復号するのではなく、直前の画像１枚のみを参照画像とし、その画像を用いた１枚分のデコード（復号化）のみで、所望の逆方向再生ができる。
【００１４】
これにより、監視用途で想定されるような１６ＣＨ等の多画面再生においても、再生方向が任意の時点から順方向、逆方向どちらに切替えられても、１枚のみのデコードで所望方向の再生を実現できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態１における画像再生装置の構成を示すブロック図
【図２】画像再生装置の各ブロックにおける画像ストリームを示す図
【図３】デコード装置の動作を示すフローチャート
【図４】トランスコード装置の動作（ＧＯＰ終端以外の時の動作）を示すフローチャート
【図５】トランスコード装置の動作（ＧＯＰ終端時の動作）を示すフローチャート
【図６】トランスコードストリームの例を示す図
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
［１］全体構成
図１は、本発明の実施形態に係る画像再生装置の構成を示すブロック図である。画像再生装置１００は、逆方向再生等の特殊再生を行うものである。
【００１８】
図において、画像再生装置１００は、大きく分けて、インターフェース１０１と、デコード装置１２０と、画像格納メモリ１０３と、トランスコード装置１４０と、記憶媒体１０２と、画像合成部１０４と、を有する。
【００１９】
インターフェース１０１は、ネットワーク１１１経由で複数のカメラ１１０ａ〜ｄからのデジタル圧縮された画像ストリームを取り込む。デコード装置１２０は、画像ストリームのデコードを行い、デコード画像を生成する。画像格納メモリ１０３は、デコード装置１２０より出力されるデコード画像を格納する。トランスコード装置１４０は、画像格納メモリ１０３に格納されているデコード画像を入力とし、トランスコードストリームを生成する。記憶媒体１０２は、インターフェース１０１より入力される画像ストリーム及びトランスコード装置１４０でトランスコードされたトランスコードストリームを保存する着脱可能な記録媒体である。画像合成部１０４は、画像格納メモリ１０３に格納されている複数のカメラの画像データを合成し、監視モニタ１１２へ出力する。
【００２０】
デコード装置１２０は、エントロピー復号化部１２１と、デコーダ側逆量子化部１２２と、デコーダ側逆ＤＣＴ部１２３と、デコーダ側予測方法判断部１２４と、デコーダ側イントラ予測部１２５と、デコーダ側動き補償部１２６と、符号反転部１２７と、デコード画像生成部１２８と、デコーダ側参照画像格納メモリ１２９と、を有する。
【００２１】
エントロピー復号化部１２１は、インターフェース１０１及び記憶媒体１０２より入力されたデジタル圧縮された画像ストリームのエントロピー復号化を行う。デコーダ側逆量子化部１２２は、エントロピー復号化部１２１より入力されるエントロピー符号化を解かれたデータの逆量子化を行う。デコーダ側逆ＤＣＴ部１２３は、デコーダ側逆量子化部１２２で逆量子化されたデータの逆ＤＣＴを行う。デコーダ側予測方法判断部１２４は、デコーダ側逆ＤＣＴ部１２３で逆ＤＣＴされたデータから、イントラ予測か動き補償のどちらの予測モードが使われているかを判断する。デコーダ側イントラ予測部１２５は、デコーダ側予測方法判断部１２４でイントラ予測データと判断された場合には、イントラ予測を用いてマクロブロック（ＭＢ）単位での画像デコードを行う。デコーダ側動き補償部１２６は、デコーダ側予測方法判断部１２４で動き補償を使用したデータだと判断された場合には、動き補償有りのデータの、ＭＢ単位での画像のデコードを行い、差分データを算出する。符号反転部１２７は、現在のデコードの方向により、動き補償部１２６で算出した差分データの正負の符号の反転を行うか否かを判定し、デコーダ側参照画像格納メモリ１２９に格納されているデコード画像情報を用いて、動き補償有りのデータのＭＢ単位でのデコードを行う。デコード画像生成部１２８は、デコーダ側イントラ予測部１２５及び符号反転部１２７において、ＭＢ単位でデコードされたデコード画像を格納するとともに、デコーダ側イントラ予測部１２５に対しデコード済周辺ＭＢ情報をフィードバックする。デコーダ側参照画像格納メモリ１２９は、１フレーム内の全てのＭＢ単位での画像のデコードが終わった時点で、デコード画像生成部１２８にあるデコード画像を格納する。
【００２２】
トランスコード装置１４０は、エンコーダ側イントラ予測部１４１と、エンコーダ側動き補償部１４２と、エンコーダ側予測方法判断部１４３と、差分情報生成部１４４と、ＤＣＴ部１４５と、量子化部１４６と、エントロピー符号化部１４７と、エンコーダ側逆量子化部１４８と、エンコーダ側逆ＤＣＴ部１４９と、ローカルデコード画像生成部１５０と、エンコーダ側参照画像格納メモリ１５１と、を有する。
【００２３】
エンコーダ側イントラ予測部１４１は、画像格納メモリ１０３から入力されるデコード画像と、ローカルデコード画像生成部１５０より得られるローカルデコード画像と、を用いてイントラ予測画像を生成する。エンコーダ側動き補償部１４２は、画像格納メモリ１０３のデコード画像と、エンコーダ側参照画像格納メモリ１５１より得られる参照ローカルデコード画像と、を用いて動き補償演算を行う。エンコーダ側予測方法判断部１４３は、エンコーダ側イントラ予測部１４１及びエンコーダ側動き補償部１４２より得られる予測画像を比較し、予測モードを決定する。差分情報生成部１４４は、エンコーダ側予測方法判断部１４３で判断された予測方法を用いて、画像の差分情報を生成する。ＤＣＴ部１４５は、差分情報生成部１４４より得られた差分情報のＤＣＴ変換を行う。量子化部１４６は、エンコーダ側ＤＣＴ部１４５より得られたデータの量子化を行う。エントロピー符号化部１４７は、量子化部１４６より得られたデータのエントロピー符号化を行い、符号化データをトランスコードストリーム合成部１５２へ転送する。エンコーダ側逆量子化部１４８は、量子化部１４６より得られたデータの逆量子化を行う。エンコーダ側逆ＤＣＴ部１４９は、エンコーダ側逆量子化部１４８より出力されたデータの逆ＤＣＴ処理を行う。ローカルデコード画像生成部１５０は、エンコーダ側逆ＤＣＴ処理部１４９より出力されたデータ及びエンコーダ側参照画像格納メモリ１５１中の参照デコード画像を用いて、ＭＢ単位でローカルデコード画像を生成する。エンコーダ側参照画像格納メモリ１５１は、ローカルデコード画像生成部１５０でデコードされたＭＢ単位の画像データが１フレーム分揃った段階で、参照用のローカルデコード画像を格納する。
【００２４】
［２］動作
以上のように構成された画像再生装置１００について、図面を用いて、その動作を説明する。
【００２５】
図２は、画像再生装置１００の各ブロックにおける画像ストリームを示す図であり、例えば、カメラ１１０aより出力されるデジタル圧縮された入力ストリーム２００、入力された画像ストリームをデコード装置１２０（デコード画像生成部１２８）によりデコードして得られたデコード画像群２１０、及びトランスコード装置１４０によりデコード画像群２１０を再エンコードして得られた（トランスコードストリーム合成部１５２から出力される）トランスコードストリーム２２０を示している。
【００２６】
入力ストリーム２００において、ＩはＩピクチャ、ＰはＰピクチャの画像を示している。また、図において、左からカメラによりエンコードされた順に画像ストリームがフレーム順に並んでいる。通常のＧＯＰではＢピクチャも含まれているが、監視用途では、Ｂピクチャを使わないケースが一般的であるため、ここでは、Ｂピクチャを使わない画像ストリームを用いている。なお、Ｉピクチャ及びＰピクチャで構成されたＧＯＰでは、エンコードされた順番がモニタでの表示順となる。カメラ１１０aより出力された画像ストリームは、蓄積の為、インターフェース１０１を経由して記憶媒体１０２に送られて保存される一方、デコード装置１２０にも送られる。
【００２７】
次に、デコード装置１２０によるデコード画像群の生成、及びトランスコード装置１４０によるトランスコードストリームの生成について説明する。
【００２８】
（１）デコード画像群の生成について：
図３は、デコード装置１２０の動作フローを示すフローチャートである。ここでは、時刻Ｔ１の画像２０１から時刻Ｔ６の画像２０６までのデコードを行い、デコード画像２１１からデコード画像２１６までのデコード画像群を生成する過程を、フローチャートを用いて説明する。
【００２９】
＜Ｉピクチャの画像３０１のデコード＞
デコード装置１２０は、記憶媒体１０２より、時刻Ｔ１の画像ストリームである画像２０１（Ｉピクチャ）を入力すると（Ｓ３０１）、エントロピー復号化部１２１で画像２０１のエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２０１の全マクロブロック（ＭＢ）のデコード処理が終了するまで繰り返される（Ｒ３０３）。
【００３０】
次に、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００３１】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。すなわち、イントラ符号化されたマクロブロックであるか否か判断する。ここで、動き補償を使用していればＳ３０７に遷移し、動き補償を使用しておらずイントラ予測を使用している場合はＳ３０８に遷移する。ここで、画像２０１はＩピクチャであるため、全てのＭＢでＳ３０８へ遷移することになる。そして、デコーダ側イントラ予測部１２５において、デコード画像生成部１２８からフィードバックされる既にデコードしたＭＢ情報を周辺情報として使用しイントラ予測を行い、デコードを行う（Ｓ３０８）。
【００３２】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまで、デコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺デコード情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像２１１が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像２１１を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する（Ｓ３１５）。
【００３３】
＜Ｐピクチャの画像２０２のデコード＞
次に、画像２０２（Ｐピクチャ）のデコード画像を生成する過程をフローチャートにしたがって説明する。
【００３４】
デコード装置１２０は、記憶媒体１０２より、時刻Ｔ２の画像ストリームである画像２０２（Ｐピクチャ）を入力すると（Ｓ３０１）、エントロピー復号化部１２１で画像２０２のエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２０２の全マクロブロック（ＭＢ）のデコード処理が終了するまで繰り返される（Ｒ３０３）。
【００３５】
次に、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００３６】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き保障を使用しているかどうかを判断する（Ｂ３０６）。すなわち、イントラ符号化されたマクロブロックであるか否か判断する。ここで、動き補償を使用していればＳ３０７に遷移し、動き補償を使用しておらずイントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２０２はＰピクチャであるため、ＭＢ単位でＳ３０７かＳ３０８のどちらかに遷移することになる。そして、デコーダ側動き補償部１２６において、ＭＢ単位で動き補償データの処理を行い、画像の差分情報を取得する（Ｓ３０７）。また、デコーダ側イントラ予測部１２５において、デコード画像生成部１２８からフィードバックされる既にデコードしたＭＢ情報を周辺情報として使用しイントラ予測を行い、デコードを行う（Ｓ３０８）。
【００３７】
ここで、Ｐピクチャの場合はＩピクチャの場合と違い、符号反転部１２７において、現在のデコード方向を判定する（Ｂ３０９）。なお、デコード方向とは、デコードの順序が時間的に見て過去から未来方向の場合は順方向、未来から過去方向の場合は逆方向である。そして、順方向のデコードを行っている場合はＳ３１０に、逆方向の場合はＳ３１１に遷移する。ここでは、時刻Ｔ１の画像ストリームである画像２０１（Ｉピクチャ）のデコード後、時刻Ｔ２の画像ストリームである画像２０２（Ｐピクチャ）のデコードを行っているため、順方向デコードであり、Ｓ３１０へと遷移することになる。順方向のデコードであるので、符号反転部１２７において、デコーダ側動き補償部１２６より得られた差分情報をそのまま使用し、デコーダ側参照メモリ１２９に格納されているデコード画像を参照画像として動き補償を行い、デコードを行う（Ｓ３１０）。
【００３８】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまで、デコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像２１２が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像２１２を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する（Ｓ３１５）。
【００３９】
以上は、時刻Ｔ２の画像ストリームである画像２０２（Ｐピクチャ）をデコードし、デコード画像２１２を生成する過程を説明しているが、それ以降のＰピクチャの画像２０３、２０４、２０５、２０６に関しても、同様のデコード処理を行うことで、デコード画像２１３、２１４、２１５、２１６が生成される。生成されたデコード画像は、一旦画像格納メモリ１０３に保存され、次段のトランスコード装置１４０へ送られる。
【００４０】
（２）トランスコードストリームの生成について：
トランスコードストリーム２２０の生成について説明する。図４はトランスコード装置１４０の動作（ＧＯＰ終端以外）を示すフローチャートである。ここでは、時刻Ｔ１のデコード画像群の画像２１１から時刻Ｔ６のデコード画像群の画像２１６を入力とし、ＧＯＰの構成枚数を６とした再エンコードによるトランスコードストリーム２２１の生成過程を、フローチャートを用いて説明する。なお、トランスコードは大きく分けて、（ｉ）イントラ予測のみを用いたＩピクチャのトランスコード、（ｉｉ）動き補償のみを用いたＰピクチャのトランスコード、（ｉｉｉ）イントラ予測と動き補償の双方を用いるＧＯＰ終端のトランスコード、の３つに分けられる。以下、それぞれの場合について説明する。
【００４１】
＜（ｉ）イントラ予測のみのトランスコードの生成＞
トランスコード装置１４０は、画像格納メモリ１０３より、時刻Ｔ１のデコード画像２１１を取得する（Ｓ４０１）。なお、以降のＳ４０３からＳ４１３までの処理ステップは、デコード画像２１１の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ４０２）。
【００４２】
次に、エンコーダ側イントラ予測部１４１において、デコード画像２１１とローカルデコード画像生成部１５０の出力とから周辺情報を取得し、ＭＢ毎にイントラ予測画像を生成する（Ｓ４０３）。生成する時刻Ｔ１のトランスコードストリームのトランスコード画像２３１は、Ｉピクチャであるので、エンコーダ側動き補償部１４２ではとくに何も行わない（Ｓ４０４）。
【００４３】
次に、エンコーダ側予測方法判断部１４３において、Ｓ４０３及びＳ４０４の各ステップにおける予測画像の生成結果と画像格納メモリ１０３より入力されたデコード画像２１１とを比較し、予測誤差をそれぞれ算出する（Ｂ４０５）。そして、算出した予測誤差を比較し、動き補償による予測の誤差の方がイントラ予測による誤差よりも小さい場合にはＳ４０６へと遷移し、イントラ予測の誤差の方が動き補償による予測誤差よりも小さい場合にはＳ４０７へと遷移する。ここでは、トランスコード画像２３１はＩピクチャであるため、全てのマクロブロックでＳ４０７へ遷移することになる。そして、差分情報生成部１４４において、Ｂ４０５の判定結果を元に画像格納メモリ１０３より入力されたデコード画像２１１とイントラ予測画像との差分情報の算出を行い（Ｓ４０７）、ＤＣＴ部１４５において、差分情報のＤＣＴ演算を行う（Ｓ４０８）。
【００４４】
次に、量子化部１４６において、ＤＣＴ部１４５より出力されたデータに対して量子化演算を行い（Ｓ４０９）、エントロピー符号化部１４７において、量子化部１４６より出力されたデータのエントロピー符号化を行い（Ｓ４１０）、トランスコード画像２３１の１ＭＢ分のデータとしてトランスコードストリーム合成部１５２の図示されないメモリに一旦保存する。また、量子化部１４６より出力されたデータは、エントロピー符号化部１４７に入力される一方、エンコーダ側逆量子化部１４８において逆量子化処理が施される（Ｓ４１１）。エンコーダ側逆ＤＣＴ部１４９において、エンコーダ側逆量子化部１４８より出力されたデータに対して逆ＤＣＴ演算を行い（Ｓ４１２）、ローカルデコード画像生成部１５０においてＭＢ単位のデコードデータを１枚の画像データとしてまとめる（Ｓ４１３）。なお、この画像データは上述したイントラ予測（Ｓ４０３）において周辺情報として使用されるため、エンコーダ側イントラ予測部１４１に出力される。
【００４５】
Ｓ４０３からＳ４１３までの処理ステップが、画像中の全ＭＢに対して終了した際にループ処理を抜ける（Ｒ４１４）。画像中の全ＭＢに対して終了した後は、ローカルデコード画像生成部１５０において１枚分のローカルデコード画像が完成しており、そのローカルデコード画像を次のトランスコード時に使用する参照画像データとして、エンコーダ側参照画像格納メモリ１５１に格納する（Ｓ４１５）。最後に、トランスコードストリーム合成部１５２に格納されている、ＭＢ毎のトランスコード画像を１つにまとめ、トランスコードストリームのトランスコード画像２３１（Ｉピクチャ）を生成する（Ｓ４１６）。生成されたトランスコード画像２３１は記憶媒体１０２に保存される。
【００４６】
＜（ｉｉ）動き補償予測のみを用いたトランスコードの生成＞
次に、動き補償のみを用いたＰピクチャのトランスコードについて説明する。トランスコード装置１４０は、画像格納メモリ１０３より時刻Ｔ２のデコード画像２１２を取得する（Ｓ４０１）。なお、以降のＳ４０３からＳ４１３までの処理をステップは、デコード画像２１２の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｓ４０２）。
【００４７】
次に、生成する時刻Ｔ３のトランスコードストリームのトランスコード画像２３２は、動き補償予測のみを用いたＰピクチャであるため、エンコーダ側イントラ予測部１４１ではとくに何も行わない（Ｓ４０３）。エンコーダ側動き補償部１４２において、時刻Ｔ２のデコード画像２１２を画像格納メモリ１０３から取得し、エンコーダ側参照画像格納メモリ１５１から参照画像を取得し、ＭＢ毎に動き補償による予測画像を生成する（Ｓ４０４）。ただし、本実施形態の動き補償の算出方法は、動きベクトル（ＭＶ）をゼロとし、時間として直前の画像のみを使用する。
【００４８】
次に、エンコーダ側予測方法判断部１４３において、Ｓ４０３及びＳ４０４の各ステップにおける予測画像の生成結果と画像格納メモリ１０３より入力されたデコード画像２１２とを比較し、予測誤差をそれぞれ算出する（Ｂ４０５）。そして、算出した予測誤差を比較し、動き補償による予測の誤差の方がイントラ予測による誤差よりも小さい場合にはＳ４０６へと遷移し、イントラ予測の誤差の方が動き補償による誤差よりも小さい場合にはＳ４０７へと遷移する。ここでは、トランスコード画像２３２は動き補償予測のみを用いたＰピクチャであるため、全てのＭＢでＳ４０６へ遷移することになる。そして、差分情報生成部１４４において、Ｂ４０５の判定結果を元に画像格納メモリ１０３より入力されたデコード画像２１２と、動きベクトル（ＭＶ）をゼロとし、時間として直前のＴ１の参照画像（デコード画像２１１）のみを使用した動き補償による予測結果と、の差分情報の算出を行う（Ｓ４０６）。
【００４９】
次に、ＤＣＴ部１４５において、差分情報のＤＣＴ演算を行い（Ｓ４０８）、量子化部１４６において、ＤＣＴ部１４５より出力されたデータに対して量子化演算を行い（Ｓ４０９）、エントロピー符号化部１４７において、量子化部１４６より出力されたデータに対してエントロピー符号化を行い（Ｓ４１０）、符号化結果をトランスコード画像２３２の１ＭＢ分のデータとして、トランスコードストリーム合成部１５２の図示されない格納メモリに一旦保存する。また、量子化部１４６より出力されたデータは、エントロピー符号化部１４７に入力される一方、エンコーダ側逆量子化部１４８において、逆量子化処理が施される（Ｓ４１１）。エンコーダ側逆ＤＣＴ部１４９において、エンコーダ側逆量子化部１４８より出力されたデータに対して逆ＤＣＴ演算を行い（Ｓ４１２）、ローカルデコード画像生成部１５０において、ＭＢ単位のデコードデータを１枚の画像データとしてまとめる（Ｓ４１３）。
【００５０】
Ｓ４０３からＳ４１３までの処理ステップが画像中の全ＭＢに対して終了した際に、ループ処理を抜ける（Ｒ４１４）。画像中の全ＭＢに対して終了した際には、ローカルデコード画像生成部１５０において１枚分のローカルデコード画像が完成しており、そのローカルデコード画像を次のトランスコード時に使用する参照画像として、エンコーダ側参照画像格納メモリ１５１に格納する（Ｓ４１５）。最後に、トランスコードストリーム合成部１５２に格納されている、ＭＢ毎のトランスコード画像を１つにまとめ、トランスコード画像２３２（Ｐピクチャ）を生成する（Ｓ４１６）。生成されたトランスコード画像２３２は記憶媒体１０２に保存される。
【００５１】
以上は、時刻Ｔ２のデコード画像群であるデコード画像２１２（Ｐピクチャ）をトランスコードし、トランスコード画像２３２を生成する過程を説明しているが、時刻Ｔ３、時刻Ｔ４、時刻Ｔ５の時刻のＰピクチャのトランスコード画像２３３、２３４、２３５の生成に関しても処理の内容は同様である。
【００５２】
＜（ｉｉｉ）ＧＯＰ終端のトランスコードの生成＞
次に、イントラ予測と動き補償の双方を用いるＧＯＰ終端のトランスコードについて説明する。図５はトランスコード装置１４０の動作（ＧＯＰ終端時）を示すフローチャートである。
【００５３】
トランスコード装置１４０は、画像格納メモリ１０３より、時刻Ｔ６のデコード画像２１６を取得する（Ｓ５０１）。なお、以降のＳ５０３からＳ５１０までの処理ステップは、デコード画像２１６の全マクロブロック（ＭＢ）の処理が終了するまで繰り返され、トランスコードストリームのトランスコード画像２３６ｂ（Ｉピクチャ）が生成される。
【００５４】
まず、エンコーダ側イントラ予測部１４１において、ローカルデコード画像生成部１５０より既にエンコード済みの情報である周辺情報を取得し、ＭＢ毎にイントラ予測画像を生成する（Ｓ５０３）。差分情報生成部１４４において、画像格納メモリ１０３より入力されたデコード画像２１６とＳ５０３で得たイントラ予測結果とを用いて、差分情報の算出を行い（Ｓ５０４）、ＤＣＴ部１４５において、差分情報のＤＣＴ演算を行う（Ｓ５０５）。
【００５５】
次に、量子化部１４６において、ＤＣＴ部１４５より出力されたデータに対して量子化演算を行い（Ｓ５０６）、エントロピー符号化部１４７において、量子化部１４６より出力されたデータに対してエントロピー符号化を行い（Ｓ５０７）、符号化結果をトランスコード画像２３５ｂの１ＭＢ分のデータとして、トランスコードストリーム合成部１５２の図示されない格納メモリに一旦保存する。また、量子化部１４６より出力されたデータは、エントロピー符号化部１４７に入力される一方、エンコーダ側逆量子化部１４８において、逆量子化処理が施される（Ｓ５０８）。エンコーダ側逆ＤＣＴ部１４９において、エンコーダ側逆量子化部１４８より出力されたデータに対して逆ＤＣＴ演算を行い（Ｓ５０９）、ローカルデコード画像生成部１５０において、ＭＢ単位のデコードデータを１枚の画像データとしてまとめる（Ｓ５１０）。このデータは、上述したＳ５０３のイントラ予測において、周辺情報として使用される。
【００５６】
Ｓ５０３からＳ５１０までの処理ステップが画像中の全ＭＢに対して終了した際に、ループ処理を抜ける（Ｒ５１１）。この時点で、トランスコードストリーム合成部１５２に格納されているＭＢ毎のトランスコード画像は１枚にまとめられ、Ｉピクチャのトランスコード画像２３６ｂが生成されている事となる。
【００５７】
また、以降のＳ５１３からＳ５１９までの処理ステップも、デコード画像２１６の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ５１２）。
【００５８】
まず、エンコーダ側動き補償部１４２において、時刻Ｔ６のデコード画像２１６を画像格納メモリ１０３から取得し、エンコーダ側参照画像格納メモリ１５１から参照画像を取得し、ＭＢ毎に動き補償による予測画像を生成する（Ｓ５１３）。ただし、動き補償の算出方法は、動きベクトル（ＭＶ）をゼロとし、エンコーダ側参照画像格納メモリ１５１に格納されている、時間として直前の時刻Ｔ５のローカルデコード画像のみを参照画像として使用する。
【００５９】
そして、差分情報生成部１４４において、画像格納メモリ１０３より入力されたデコード画像２１６と、動きベクトル（ＭＶ）をゼロとし、時間として直前の時刻Ｔ５の参照画像（デコード画像２１５）のみを使用した動き補償による予測結果と、の差分情報の算出を行う（Ｓ５１４）。
【００６０】
次に、ＤＣＴ部１４５において、差分情報のＤＣＴ演算を行い（Ｓ５１５）、量子化部１４６において、ＤＣＴ部１４５より出力されたデータに対して量子化演算を行い（Ｓ５１６）、エントロピー符号化部１４７において、量子化部１４６より出力されたデータに対してエントロピー符号化を行い（Ｓ５１７）、符号化結果をトランスコード画像２３６aの１ＭＢ分のデータとして、トランスコードストリーム合成部１５２の図示されない格納メモリに一旦保存する。最後に、トランスコードストリーム合成部１５２にＭＢ単位で格納されているＰピクチャのトランスコード画像をまとめ、トランスコード画像２３６ａ（Ｐピクチャ）とするとともに、同じくＭＢ単位で格納されているＩピクチャのトランスコード画像をまとめ、トランスコード画像２３６ｂとし、更にトランスコード画像２３６ａと２３６ｂとを１つの画像に合成し、画像２３６を生成する（Ｓ５１９）。
【００６１】
なお、合成のベースは、Ｐピクチャのトランスコード画像２３６ａとし、Ｉピクチャのトランスコード画像２３６ｂは、Ｈ．２６４等で規定されるユーザー定義の拡張領域にある、通常のデコードでは使用されない領域に格納する。合成された画像２３６は記憶媒体１０２に保存される。
【００６２】
（３）順方向の再生（デコード）について：
続いて、記憶媒体１０２に保存したトランスコードストリーム２２１の順方向の再生について説明する。
【００６３】
＜Ｉピクチャのトランスコード画像２３１の順方向再生＞
図６はトランスコードストリームの例を示す図であり、以下、図１、３、６を用いて、トランスコード画像２３１の順方向再生（デコード）について説明する。
【００６４】
デコード装置１２０には、記憶媒体１０２より、時刻Ｔ１のＩピクチャのトランスコード画像２３１が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３１のエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２３１の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。
【００６５】
次に、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００６６】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３１はＩピクチャであるため、全てのＭＢでＳ３０８へ遷移することになる。そして、デコーダ側イントラ予測部１２５において、デコード画像生成部１２８からフィードバックされる既にデコードしたＭＢ情報を周辺情報として使用してイントラ予測を行い、デコードを行う（Ｓ３０８）。
【００６７】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまでデコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢの処理で終了し、デコード画像６１１が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６１１を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する（Ｓ３１５）。画像格納メモリ１０３に送られた画像は、画像合成部１０４を介して監視モニタ１１２へ出力され、再生表示される。
【００６８】
＜Ｐピクチャのトランスコード画像２３２の順方向再生＞
次に、トランスコード画像２０２の順方向再生（デコード）について説明する。
【００６９】
デコード装置１２０には、記憶媒体１０２より、時刻Ｔ２のＰピクチャのトランスコード画像２３２が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３２に対してエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２３２の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。
【００７０】
次に、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００７１】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３２は全て動き補償予測を用いて生成したＰピクチャであるため、全てのＭＢでＳ３０７へと遷移する。そして、デコーダ側動き補償部１２６において、ＭＢ単位で動き補償データの処理を行い、画像の差分情報を取得する（Ｓ３０７）。
【００７２】
また、符号反転部１２７において、現在のデコード方向を判断する（Ｂ３０９）。デコード方向とは、デコード順序が時間的に見て、過去から未来方向へ行っている場合は順方向、未来から過去方向へ行っている場合は逆方向である。そして、時間的に順方向のデコードを行っている場合はＳ３１０に、時間的に逆方向のデコードを行っている場合はＳ３１１に遷移する。
【００７３】
トランスコード画像２３２については、時刻Ｔ１のＩピクチャのトランスコード画像２３１をデコードした後、時刻Ｔ２のＰピクチャのトランスコード画像２３２のデコードを行っているため順方向デコードであり、Ｓ３１０へと遷移することになる。順方向のデコードであるので、符号反転部１２７において、動き補償部１２６より得られた差分情報を符号を反転することなくそのまま使用し、デコーダ側参照メモリ１２９に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う（Ｓ３１０）。
【００７４】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまでデコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像６１２が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６１２を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する（Ｓ３１５）。
【００７５】
以上は、時刻Ｔ２のＰピクチャのトランスコード画像２３２をデコードし、Ｐピクチャのデコード画像６１２を生成する過程を説明しているが、それ以降の時刻Ｔ３〜Ｔ５のＰピクチャのトランスコード画像２３３〜２３５に関しても、同様の処理を行うことで、順方向のデコード画像６１３〜６１５を得られる。
【００７６】
＜ＧＯＰ終端のトランスコード画像２３６の順方向再生＞
次に、ＧＯＰ終端のトランスコード画像２３６の順方向再生（デコード）について説明する。
【００７７】
デコード装置１２０には、記憶媒体１０２より、時刻Ｔ６のトランスコード画像２３６が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３６に対してエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、トランスコード画像２３６の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。また、順方向デコードにおけるデコード対象は２３６ａのみであり、ユーザー定義の拡張領域に格納している２３６ｂは、この時点で破棄する。
【００７８】
デコード装置１２０は、まず、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００７９】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３６ａはＰピクチャであり、トランスコード時にイントラ予測は使用していないため、全てのＭＢでＳ３０７へと遷移する。そして、デコーダ側動き補償部１２６において、ＭＢ単位で動き補償データの処理を行い、画像の差分情報を取得する（Ｓ３０７）。
【００８０】
また、符号反転部１２７において、現在のデコード方向を判断する（Ｂ３０９）。トランスコード画像２３６については、時刻Ｔ５のＰピクチャのトランスコード画像２３５のデコードを行った後であるため、順方向デコードであり、Ｓ３１０へと遷移することになる。順方向のデコードであるため、符号反転部１２７において、動き補償部１２６より得られた差分情報を符号を反転することなくそのまま使用し、デコーダ側参照メモリ１２９に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う（Ｓ３１０）。
【００８１】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまで、デコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像６１６が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６１６を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送し、トランスコードストリーム２２１の全ての順方向デコードを完了する。画像格納メモリ１０３に送られた画像は、画像合成部１０４を介して監視モニタ１１２へ出力され（Ｓ３１５）、再生表示される。
【００８２】
（４）逆方向の再生（デコード）について：
続いて、記憶媒体１０２に保存したトランスコードストリーム２２１の逆方向の再生について説明する。逆方向再生（デコード）のため、トランスコードストリーム２２１の中のデコード順序は、時刻Ｔ６のトランスコード画像２３６が最初となり、時刻Ｔ１のトランスコード画像２３１が最後のデコードとなる。
【００８３】
なお、時刻Ｔ６のトランスコード画像２３６は、時刻Ｔ６のデコード画像２１６のイントラ予測のトランスコード画像２３６ｂと、時刻Ｔ５と時刻Ｔ６のデコード画像２１５、２１６の差分情報でもある動き補償予測を用いたトランスコード画像２３６ａと、の２つの情報を含んでおり、トランスコード画像２３６ｂ、２３６ａの順番でデコードすることで、時刻Ｔ６のデコード画像６２６と、時刻Ｔ５のデコード画像６２５とが得られる。
【００８４】
＜ＧＯＰ終端のトランスコード画像２３６の逆方向再生（１回目）＞
デコード装置１２０には、記憶媒体１０２より、時刻Ｔ６のトランスコード画像２３６が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３６に対してエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２３６の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。
【００８５】
また、逆方向再生（デコード）の１回目のデコード対象は、ユーザー定義の拡張領域に格納しているイントラ予測のトランスコード画像２３６ｂであり、通常デコードに使用する動き補償予測を用いたトランスコード画像２３６ａは、この時点では使用しない。
【００８６】
デコード装置１２０は、まず、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００８７】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３６ｂはイントラ予測を用いたＩピクチャであるため、全てのＭＢでＳ３０８へ遷移する。そして、デコーダ側イントラ予測部１２５において、デコード画像生成部１２８からフィードバックされる既にデコードしたＭＢ情報を周辺情報として使用してイントラ予測を行い、デコードを行う（Ｓ３０８）。
【００８８】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまでデコード画像生成部１２８に一時的に保存される。デコード画像生成部１２８に一時的に保存された画像は、上述したようにＳ３０８の処理において、デコード対象のＭＢの周辺情報として使用される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像６２６が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６２６を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する。画像格納メモリ１０３に送られた画像は、画像合成部１０４に送られる。画像格納メモリ１０３に送られた画像は、画像合成部１０４に送られ、監視モニタ１２０へ出力され（Ｓ３１５）、再生表示される。
【００８９】
＜ＧＯＰ終端のトランスコード画像２３６の逆方向再生（２回目）＞
デコード装置１２０には、記憶媒体１０２より、時刻Ｔ６のトランスコード画像２３６が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３６に対してエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２３６の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。
【００９０】
また、逆方向デコードの２回目のデコード対象は、動き補償予測を用いたトランスコード画像２３６ａであり、ユーザー定義の拡張領域に格納しているイントラ予測のトランスコード画像２３６ｂは、上述するように既にデコード済みであるため使用しない。
【００９１】
デコード装置１２０は、まず、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で、逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００９２】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３６ａは動き補償予測のみを用いたＰピクチャであるため、全てのＭＢでＳ３０７へ遷移する。そして、デコーダ側動き補償部１２６において、ＭＢ単位で動き補償データの処理を行い、画像の差分情報を取得する（Ｓ３０７）。ここで、差分を計算する画像は、デコーダ側参照画像格納メモリ１２９に格納されている、トランスコード画像２３６ｂのデコード画像６２６である。
【００９３】
次に、符号反転部１２７において、現在のデコード方向を判断する（Ｂ３０９）。そして、時間的に順方向のデコードを行っている場合はＳ３１０に、時間的に逆方向のデコードを行っている場合はＳ３１１に遷移する。トランスコード画像２３６ａについては、時刻Ｔ６のＩピクチャのトランスコード画像２３６ｂのデコードを行い、時刻Ｔ５のデコード画像６２５を生成するため、逆方向デコードであり、Ｓ３１１へと遷移することになる。逆方向のデコードであるため、符号反転部１２７において、動き補償部１２６より得られた差分情報の正負の符号を反転して使用し、デコーダ側参照メモリ１２９に格納されているデコード画像を参照画像として動き補償の処理を行い、デコードを行う（Ｓ３１１）。
【００９４】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまで、デコード画像生成部１２８に一時的に保存される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像６２５が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６２５を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する。画像格納メモリ１０３に送られた画像は、画像合成部１０４を介して監視モニタ１１２へ出力され（Ｓ３１５）、再生表示される。
【００９５】
＜Ｐピクチャのトランスコード画像２３５の逆方向再生＞
次に、デコード装置１２０には、記憶媒体１０２より、時刻Ｔ５のトランスコード画像２３５が入力される（Ｓ３０１）。エントロピー復号化部１２１は、トランスコード画像２３５に対してエントロピー復号化を行う（Ｓ３０２）。なお、以降のＳ３０４からＳ３１２までの処理ステップは、画像２３５の全マクロブロック（ＭＢ）の処理が終了するまで繰り返される（Ｒ３０３）。
【００９６】
デコード装置１２０は、まず、デコーダ側逆量子化部１２２で、エントロピー復号化されたデータの逆量子化処理をＭＢ単位で行い（Ｓ３０４）、デコーダ側逆ＤＣＴ部１２３で，逆量子化されたデータの逆ＤＣＴ処理を行うことにより、画像データの差分情報をＭＢ単位で生成する（Ｓ３０５）。
【００９７】
生成した差分情報を用いて、デコーダ側予測方法判断部１２４において画像の情報を解析し、ＭＢ単位で動き補償を使用しているかどうかを判断する（Ｂ３０６）。ここで、イントラ予測を使用しておらず、動き補償を使用していればＳ３０７に遷移し、イントラ予測を使用している場合はＳ３０８に遷移する。ここでは、画像２３５は動き補償予測のみを用いたＰピクチャであるため、全てのＭＢでＳ３０７へ遷移する。そして、デコーダ側動き補償部１２６において、ＭＢ単位で動き補償の処理を行い、画像の差分情報を取得する（Ｓ３０７）。ここで、差分を計算する画像は、デコーダ側参照画像格納メモリ１２９に格納されている、トランスコード画像２３５のデコード画像６２６である。
【００９８】
次に、符号反転部１２７において、現在のデコード方向を判断する（Ｂ３０９）。トランスコード画像２３５については、時刻Ｔ６のＰピクチャのトランスコード画像２３６aのデコードを行い、時刻Ｔ４のデコード画像６２４を生成するため、逆方向デコードであり、Ｓ３１１へと遷移することになる。逆方向のデコードであるため、符号反転部１２７において、動き補償部１２６より得られた差分情報の正負の符号を反転して使用し、デコーダ側参照画像格納メモリ１２９に格納されているデコード画像を参照画像として動き補償の処理を行い、ＭＢデータのデコードを行う（Ｓ３１１）。
【００９９】
デコードされた画像は、画像中の全てのＭＢのデコードが完了するまで、デコード画像生成部１２８に一時的に保存される（Ｓ３１２）。Ｓ３０４からＳ３１２までの処理ステップが画像中の全ＭＢに対して終了し、デコード画像６２５が生成された後、ループ処理を抜ける（Ｒ３１３）。最後に、デコード画像生成部１２８で生成したデコード画像６２４を、デコーダ側参照画像格納メモリ１２９へ格納するとともに（Ｓ３１４）、画像格納メモリ１０３に転送する（Ｓ３１５）。画像格納メモリ１０３に送られた画像は、画像合成部１０４に送られる。
【０１００】
以上は、時刻Ｔ５のＰピクチャのトランスコード画像２３５をデコードし、時刻Ｔ４のＰピクチャのデコード画像６２４を生成する過程を説明しているが、それ以降の時刻Ｔ４のＰピクチャのトランスコード画像２３４、時刻Ｔ３のトランスコード画像２３３に関しても、同様の処理を行うことで、デコード画像６２３、６２２を得られる。なお、時刻Ｔ２のＰピクチャのデコード画像６２２は、逆方向のデコードには使用しない。
【０１０１】
＜Ｉピクチャのトランスコード画像２３１の逆方向再生＞
デコード画像６２１の生成手順は、トランスコード画像２３１の順方向デコードと全く同じである。すなわち、デコード画像６２１はデコード画像６１１と同じものである。
【０１０２】
以上は、順方向のデコードと逆方向のデコードで説明を分けたが、例えば、順方向デコードで時刻Ｔ４のデコード画像６１４を基準として考えた場合には、時刻Ｔ４と時刻Ｔ５の差分情報であるトランスコード画像２３５を用いて順方向デコードを行えば時刻Ｔ５のデコード画像６１５を得られ、時刻Ｔ３と時刻Ｔ４の差分情報であるトランスコード画像２３４を用いて逆方向デコードを行えば時刻Ｔ３のデコード画像６１５を得られる。つまり、ある時刻のデコード画像に対して、現在のＧＯＰ構成に関係なく、１回のデコード処理のみで、時刻的に１つ前の画像や１つ後の画像のデコードを得ることができる。
【０１０３】
［３］実施の形態の効果
以上のように、本実施形態によれば、エンコーダ側イントラ予測部１４１において、画像ストリームのＧＯＰの初端と終端のデコード画像をトランスコードし、エンコーダ側動き補償部１４２において、画像ストリームのＧＯＰの初端以外のデコード画像を、動きベクトルを０とし、直前の参照画像のみを用いてトランスコードしたことにより、逆方向再生（デコード）をある時点から行う際に、時間相関を用いたＰピクチャを含んだＧＯＰ構成であっても、ＧＯＰの構成枚数分デコードすること無く、直前の画像１枚のみを参照画像とし、その画像を用いた１枚分のデコードのみで所望の逆方向再生（デコード）ができる。すなわち、デコード再生方向がある時点から順方向、逆方向どちらに切替えられても、１枚のみのデコードで所望方向の再生を順方向のデコード動作に影響を与えることなく実現できる。
【０１０４】
［４］他の実施の形態
なお、本実施形態では、入力されるストリームが１つの例で説明したが、その他の任意の数のストリームが入力される場合についても、同様に実施可能であることはいうまでもない。また、入力ストリーム２００をＢピクチャを含まないＧＯＰ構成の例で説明したが、Ｂピクチャを含む一般的なＧＯＰ構成についても同様に実施可能である。また、トランスコードストリーム生成開始位置を時刻Ｔ１のＩピクチャのデコード画像２１１とした例について説明したが、その他の任意の開始時刻についても同様に実施可能である。また、トランスコードストリームのＧＯＰ構成枚数を６枚とした例について説明したが、その他の任意のＧＯＰ構成枚数についても同様に実施可能である。
【０１０５】
本発明は、上述の実施形態において示された形態に限定されず、この明細書の記載、並びに周知の技術に基づいて、当業者がその構成や動作の一部分に変更を加える、もしくは応用することも可能であることはいうまでもない。
【産業上の利用可能性】
【０１０６】
本発明にかかる画像変換装置、画像再生装置及び画像変換方法は、逆方向の再生を行う際に、予め順方向に全ての参照画像をデコードする必要がなく、逆方向の順にデコードが可能であり、順方向、逆方向ともに高速な再生（デコード）ができるという効果を有し、巻き戻し再生等の特殊再生を行う画像再生装置に適用して有用である。
【符号の説明】
【０１０７】
１００  画像再生装置
１０２  記憶媒体
１０３  画像格納メモリ
１０４  画像合成部
１２０  デコード装置
１２１  エントロピー復号化部
１２２  デコーダ側逆量子化部
１２３  デコーダ側逆ＤＣＴ部
１２４  デコーダ側予測方法判断部
１２５  デコーダ側イントラ予測部
１２６  デコーダ側動き補償部
１２７  符号反転部
１２８  デコード画像生成部
１２９  デコーダ側参照画像格納メモリ
１４０  トランスコード装置
１４１  エンコーダ側イントラ予測部
１４２  エンコーダ側動き補償部
１４３  エンコーダ側予測方法判断部
１４４  差分情報生成部
１４５  ＤＣＴ部
１４６  量子化部
１４７  エントロピー符号化部
１４８  エンコーダ側逆量子化部
１４９  エンコーダ側逆ＤＣＴ部
１５０  ローカルデコード画像生成部
１５１  エンコーダ側参照画像格納メモリ
１５２  トランスコードストリーム合成部
【図１】
2012109720.tif 000003
【図２】
2012109720.tif 000004
【図３】
2012109720.tif 000005
【図４】
2012109720.tif 000006
【図５】
2012109720.tif 000007
【図６】
2012109720.tif 000008