(57)【要約】【課題】  圧縮動画像の再符号化時における処理遅延の短縮と、より高画質な圧縮動画像再符号化装置を得る。【解決手段】  入力圧縮動画ストリームの量子化幅と符号量のいずれか一方または両方を用いて、二種類以上のある定められた期間またはピクチャ枚数におけるそれぞれの複雑度を複雑度計算手段１０１が計算する。また、ピクチャ群量子化幅計算手段１０２が複数の複雑度からある複雑度を出力し、量子化幅調整手段１０３が予め設定された平均ビットレートと出力された複雑度とを用いて量子化幅を計算する。さらに、目標符号量と実際の符号量との過不足量から、ある期間毎に量子化幅を調整する量子化幅選択器１０４が再符号化に用いる量子化幅を計算し、量子化幅と入力圧縮動画ストリームにおける量子化幅を入力として、実際の再符号化に用いる量子化幅を出力することで符号量制御を行う。これにより、可変ビットレートで再符号化し、ビットレートを変更した圧縮動画ストリームを出力する。【選択図】  図１
2004180339.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを圧縮符号化して生成された入力圧縮動画ストリームを入力信号とし、予め設定した平均ビットレートで、かつ可変ビットレートで再符号化し、ビットレートを変更した出力圧縮動画ストリームを出力信号とする圧縮動画像再符号化装置において、
前記再符号化に用いる量子化幅を計算する手段と、
前記計算された量子化幅と前記入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力する手段とを有することを特徴とする圧縮動画像再符号化装置。
【請求項２】
前記再符号化に用いる量子化幅と前記入力圧縮動画ストリームにおける量子化幅からより大きい量子化幅を選択する手段を、さらに有することを特徴とする請求項１記載の圧縮動画像再符号化装置。
【請求項３】
前記入力圧縮動画ストリームあるいは前記再符号化した圧縮動画ストリームの何れかにおける、量子化幅と符号量の一方または両方を用いて、二種類以上の所定の予め定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、
複数の前記複雑度から所定の複雑度を出力する手段と、
前記予め設定された平均ビットレートと前記出力された複雑度とを用いて前記量子化幅を計算する手段と、
目標符号量と実際の符号量との過不足量から所定の期間毎に前記量子化幅を調整して前記再符号化に用いる量子化幅とすることを特徴とする請求項１または２に記載の圧縮動画像再符号化装置。
【請求項４】
前記定められた期間またはピクチャ枚数として用いられる複数ピクチャとして、再符号化開始から現在再符号化をしている直前のピクチャまたはフレーム内符号化された画像を一枚含む複数のピクチャを使用することを特徴とする請求項３に記載の圧縮動画像再符号化装置。
【請求項５】
前記目標符号量と過不足量から基本量子化幅を調整する前記所定の期間は、ピクチャを分割したブロックの集合を使用することを特徴とする請求項３または４に記載の圧縮動画像再符号化装置。
【請求項６】
前記複数の複雑度の中で最小となる複雑度を選択する手段をさらに有することを特徴とする請求項３または４に記載の圧縮動画像再符号化装置。
【請求項７】
前記複雑度の計算に用いられる前記入力圧縮動画ストリームの量子化幅に対して画像特性による重み付けをし、該量子化幅を調整する手段をさらに有することを特徴とする請求項３から６の何れかに記載の圧縮動画像再符号化装置。
【請求項８】
前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度と再符号化対象の複雑度との比率を計算し、前記量子化幅の重み付けをし、該量子化幅を調整する手段をさらに有することを特徴とする請求項７に記載の圧縮動画像再符号化装置。
【請求項９】
前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、二種類以上の所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、
前記複数の複雑度から所定の複雑度を出力する手段と、
前記予め設定された平均ビットレートと前記出力された複雑度とを用いて量子化幅を計算する手段と、
前記入力圧縮動画ストリームの量子化幅を用いて、所定の期間またはピクチャ枚数毎に量子幅の平均を計算する手段と、
前記量子化幅と前記平均量子化幅を用いて加算値を計算し、前記入力圧縮動画ストリームの量子化幅に加算値を加算した加算量子化幅を計算する手段と、
目標符号量と実際の符号量との過不足量から所定の期間毎に前記加算量子化幅を調整して、再符号化に用いる量子化幅とすることを特徴とする請求項１記載の圧縮動画像再符号化装置。
【請求項１０】
前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、二種類以上の所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、
前記複数の複雑度から所定の複雑度を出力する手段と、
前記予め設定された平均ビットレートと、前記出力された複雑度を用いて量子化幅を計算する手段と、
前記入力圧縮動画ストリームの量子化幅を用いて、前記入力圧縮動画ストリームの符号化予測モードに応じて、所定の期間またはピクチャ枚数毎にそれぞれの量子化幅の平均を計算する手段と、
前記量子化幅と前記平均量子化幅とを用いて符号化予測モード毎の加算値を計算し、前記入力圧縮動画ストリームの量子化幅に加算値を加算した加算量子化幅を計算する手段と、
目標符号量と実際の符号量との過不足量から所定の期間毎に前記加算量子化幅を調整して、再符号化に用いる量子化幅とすることを特徴とする請求項１記載の圧縮動画像再符号化装置。
【請求項１１】
前記加算量子化幅に対して、所定の複数の量子化幅においては閾値設定することを特徴とする請求項８または９に記載の圧縮動画像再符号化装置。
【請求項１２】
前記再符号化に用いる量子化幅に対して、最小値を設定することを特徴とする請求項１記載の圧縮動画像再符号化装置。
【請求項１３】
動画像データを圧縮符号化して生成された入力圧縮動画ストリームを入力信号とし、予め設定した平均ビットレートで、且つ可変ビットレートで再符号化し、ビットレートを変更した出力圧縮動画ストリームを出力信号とする圧縮動画像再符号化方法において、
前記再符号化に用いる量子化幅を計算する工程と、
前記計算された量子化幅と前記入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力する工程とを有することを特徴とする圧縮動画像再符号化方法。
【請求項１４】
前記再符号化に用いる量子化幅と前記入力圧縮動画ストリームにおける量子化幅からより大きい量子化幅を選択する工程を、さらに有することを特徴とする請求項１３記載の圧縮動画像再符号化方法。
【請求項１５】
前記入力圧縮動画ストリームあるいは前記再符号化した圧縮動画ストリームの何れかにおける、量子化幅と符号量の一方または両方を用いて、二種類以上の所定の予め定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する工程と、
前記複数の複雑度から所定の複雑度を出力する工程と、
前記予め設定された平均ビットレートと前記出力された複雑度とを用いて前記量子化幅を計算する工程と、
目標符号量と実際の符号量との過不足量から所定の期間毎に前記量子化幅を調整して前記再符号化に用いる量子化幅とすることを特徴とする請求項１３または１４に記載の圧縮動画像再符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮動画像再符号化装置及び圧縮動画像再符号化方法に関し、特に、入力信号となる圧縮動画像の符号量を削減する圧縮動画像再符号化装置および圧縮動画像再符号化方法に関する。
【背景技術】
【０００２】
従来、圧縮動画像再符号化装置および圧縮動画像再符号化方法は、例えば、ディジタル放送システムやサービス等、動画像信号を伝送・蓄積する装置または方法に適用される。このディジタル放送システムやサービス等、動画像信号を伝送・蓄積する場合に、動画像信号は圧縮符号化され伝送・蓄積される。さらに近年では、動画像信号の圧縮符号化方式としてISO/ICE IS13818-2(MPEG-2 VIDEO) 等が規格化され、ディジタル放送システムやサービス等に用いられている。
【０００３】
一方、放送局や家庭では、所定のビットレートで圧縮符号化された圧縮動画ストリームを、異なるビットレートの圧縮動画ストリームとして再符号化して伝送・蓄積するアプリケーションが期待されている。例えば、ディジタル記録装置への録画機能がある。
【０００４】
放送局から家庭に分配される圧縮動画ストリームは、所定のビットレートで符号化されている。視聴者が長時間録画等を目的とし、限られた記憶容量に分配された圧縮動画ストリームを録画する場合、分配時のビットレートよりも低いビットレートで圧縮動画ストリームを再符号化する必要がある。この場合、再符号化時の画質劣化を抑制することが望ましい。以下では、そのような圧縮動画ストリームの再符号化処理に関する従来技術を具体的に述べる。
【０００５】
以下の説明では、圧縮動画ストリームはMPEG-2 VIDEOに従って圧縮符号化されているものとする。よって以下では、MPEG-2ビットストリームとする。MPEG-2 VIDEOでは、ピクチャを複数の画素の集合からなるブロックに分割し、各ブロックに対して離散コサイン変換（ＤＣＴ）を施すことにより、空間領域の信号を周波数領域の信号に変換する。この離散コサイン変換により得られる各周波数成分は、定められた量子化幅で量子化され、量子化変換係数に可変長符号を割り当てることで可変長符号化し、MPEG-2ビットストリームとして出力する。圧縮動画像再符号化装置は、基本的には入力信号であるMPEG-2ビットストリームを動画像信号に復号し、復号された動画像信号を再符号化することで実現できる。そのため圧縮動画像再符号化装置は、直列に接続された復号器と符号化器から構成される。
【０００６】
図１２に、復号器の基本構成を示す。この図１２に示す復号器は、可変長復号器２０１と、逆量子化器２０２と、逆離散コサイン変換器２０３と、加算器２０４と、フレームメモリ２０５と、動き補償予測器２０６とにより構成される。
【０００７】
図１３に、符号化器の基本構成を示す。この図１３に示す符号化器は、減算器３０１と、離散コサイン変換器３０２と、量子化器３０３と、可変長符号化器３０４と、符号量制御手段３０５と、逆量子化器３０６と、逆離散コサイン変換器３０７と、加算器３０８と、フレームメモリ３０９と、動き補償予測器３１０とにより構成される。
【０００８】
図１４に、圧縮動画像再符号化装置の基本構成を示す。説明のため以下では、可変長復号器２０１と逆量子化器２０２を復号経路部４１、量子化器３０３と可変長符号化器３０４を符号化経路部４３とし、復号経路部４１と符号化経路部４３と符号量制御手段４０１以外の構成部を誤差補償部４２とする。
【０００９】
前述したように、図１４に示す圧縮動画像再符号装置は、直列に接続された復号器と符号器とで構成するため、図１２に示す復号器と図１３に示す符号化器を直列に接続している。また、圧縮動画像再符号化装置は、処理の高速化、画質向上の目的で可変長復号器２０１で復号された符号化情報を再符号化時の符号化パラメータとして再利用する。
【００１０】
これに対し、より低コストかつ簡易に圧縮動画像の再符号化を行う装置が特許文献１や特許文献２等において開示されている。図１５に、特許文献１に開示されている圧縮動画像再符号装置の基本構成を示す。本図１５に示す圧縮動画像再符号装置は、処理の簡略化のために、図１４の誤差補償部４２を省略した構成になっており、復号経路５１と符号化経路５２と符号量制御器５０１のみで構成される。ただし、この装置を用いた場合、再量子化による量子化誤差の蓄積のために画質劣化が生じる。
【００１１】
図１６に、特許文献２に開示されている圧縮動画像再符号装置の基本構成を示す。本図１６に示す圧縮動画像再符号装置は、図１４の誤差補償部４２に対して等価な変換である、誤差補償部６２を用いることで処理の簡単化を行う。
【００１２】
これらの従来技術は、圧縮動画像再符号化装置の構成について開示されたものであり、符号量制御手段４０１における符号量制御に関しては述べられていない。次に圧縮動画像再符号化装置の符号量制御方式における従来技術について述べる。
【００１３】
従来例１として、符号化装置の符号量制御方式であるMPEG-2のテストモデル（Test Model 5, ISO/ICE JTC1/SC21/WG11/N0400, 1993年4 月）の方式が知られている。この方式では、フレーム内符号化およびフレーム間予測符号化により発生した符号量を、ある単位時間毎に一定にしようとする固定ビットレート符号化方式を採用している。この結果、複数ピクチャの集合であるＧＯＰ（Group Of Pictures ）を単位として、ＧＯＰ毎に対する符号化処理により発生する符号量が一定になるよう、ピクチャを１６×１６画素に分割したマクロブロック単位毎に設定する基本量子化幅を設定することで、符号量を制御する。
【００１４】
しかしながら、上記従来例１は符号化装置の符号量制御方式であり、制御にはMPEG-2ビットストリームに含まれていない情報を必要とするため、直接適用することはできない。これに対し、上記従来例１の符号量制御方式に代わり、圧縮動画像再符号化装置に適した符号量制御方式が提案されている。例えば、従来例２として、図１５に示した圧縮動画像再符号装置における符号量制御方式が、United State Patent 5,657,015 に開示されている。
【００１５】
この方式では、マクロブロック毎に再符号化後のピクチャの平均量子化幅と、ピクチャの目標符号量と、実際の符号量から基本量子化幅を設定する。次にピクチャの平均量子化幅と、符号化を行うマクロブロックの量子化幅の比率またはピクチャの符号量と、符号化を行うマクロブロックの符号量の比率を用いてアクティビティを計算し、基本量子化幅を調整することで符号量の制御を行う。
【００１６】
従来例３として、United State Patent 5,805,224 が開示されている。この方式では、入力ビットレートと、出力ビットレートと、符号化を行うピクチャの符号量から再符号化時のサブピクチャの目標符号量を設定し、符号量と量子化幅の積によりピクチャの複雑度を求める。次に、複雑度をサブピクチャの目標発生符号量に応じて分配し、サブピクチャの量子化幅を設定する。また次に、目標符号量と実際の符号量の差分を制御に反映し、量子化幅を調整することで符号量の調整を行う。これら従来例２および従来例３では、再符号化時の目標符号量を入力圧縮動画ストリームのピクチャの符号量と、入力ビットレートと、出力ビットレートを用いて、設定している。
【特許文献１】特開平８−２３５３９号公報
【特許文献２】特開平８−５１６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記従来の方式では、入力圧縮動画ストリームの符号量に応じて、再符号化時の目標符号量を設定し、動画像のシーン特性や符号化に必要となる符号量に係わらずほぼ一様に発生符号量を削減するため、画質が劣化する問題を伴う。
【００１８】
本発明は、圧縮動画像の再符号化時における処理遅延の短縮と画質の向上と符号化効率の向上とを実現した、圧縮動画像再符号化装置および圧縮動画像再符号化方法を提供することを目的とする。さらに述べると、本発明は、リアルタイム処理可能な圧縮動画像データの再符号化装置において、より高効率でより高画質な動画像データの再符号化を実現する圧縮動画像再符号化装置および圧縮動画像再符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
請求項１記載の発明は、動画像データを圧縮符号化して生成された入力圧縮動画ストリームを入力信号とし、予め設定した平均ビットレートで、かつ可変ビットレートで再符号化し、ビットレートを変更した出力圧縮動画ストリームを出力信号とする圧縮動画像再符号化装置において、前記再符号化に用いる量子化幅を計算する手段と、前記計算された量子化幅と前記入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力する手段とを有することを特徴とする。
【００２０】
請求項２記載の発明は、請求項１記載の圧縮動画像再符号化装置において、前記再符号化に用いる量子化幅と前記入力圧縮動画ストリームにおける量子化幅からより大きい量子化幅を選択する手段を、さらに有することを特徴とする。
【００２１】
請求項３記載の発明は、請求項１または２記載の圧縮動画像再符号化装置において、前記入力圧縮動画ストリームあるいは前記再符号化した圧縮動画ストリームの何れかにおける、量子化幅と符号量の一方または両方を用いて、二種類以上の所定の予め定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、複数の前記複雑度から所定の複雑度を出力する手段と、前記予め設定された平均ビットレートと前記出力された複雑度とを用いて前記量子化幅を計算する手段と、目標符号量と実際の符号量との過不足量から所定の期間毎に前記量子化幅を調整して前記再符号化に用いる量子化幅とすることを特徴とする。
【００２２】
請求項４記載の発明は、請求項３記載の圧縮動画像再符号化装置において、前記定められた期間またはピクチャ枚数として用いられる複数ピクチャとして、再符号化開始から現在再符号化をしている直前のピクチャまたはフレーム内符号化された画像を一枚含む複数のピクチャを使用することを特徴とする。
【００２３】
請求項５記載の発明は、請求項３または４記載の圧縮動画像再符号化装置において、前記目標符号量と過不足量から基本量子化幅を調整する前記所定の期間は、ピクチャを分割したブロックの集合を使用することを特徴とする。
【００２４】
請求項６記載の発明は、請求項３または４記載の圧縮動画像再符号化装置において、前記複数の複雑度の中で最小となる複雑度を選択する手段をさらに有することを特徴とする。
【００２５】
請求項７記載の発明は、請求項３から６のいずれか１項記載の圧縮動画像再符号化装置において、前記複雑度の計算に用いられる前記入力圧縮動画ストリームの量子化幅に対して画像特性による重み付けをし、該量子化幅を調整する手段をさらに有することを特徴とする。
【００２６】
請求項８記載の発明は、請求項７記載の圧縮動画像再符号化装置において、前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度と再符号化対象の複雑度との比率を計算し、前記量子化幅の重み付けをし、該量子化幅を調整する手段をさらに有することを特徴とする。
【００２７】
請求項９記載の発明は、請求項１記載の圧縮動画像再符号化装置において、前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、二種類以上の所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、前記複数の複雑度から所定の複雑度を出力する手段と、前記予め設定された平均ビットレートと前記出力された複雑度とを用いて量子化幅を計算する手段と、前記入力圧縮動画ストリームの量子化幅を用いて、所定の期間またはピクチャ枚数毎に量子幅の平均を計算する手段と、前記量子化幅と前記平均量子化幅を用いて加算値を計算し、前記入力圧縮動画ストリームの量子化幅に加算値を加算した加算量子化幅を計算する手段と、目標符号量と実際の符号量との過不足量から所定の期間毎に前記加算量子化幅を調整して、再符号化に用いる量子化幅とすることを特徴とする。
【００２８】
請求項１０記載の発明は、請求項１記載の圧縮動画像再符号化装置において、前記入力圧縮動画ストリームの量子化幅と符号量の何れか一方または両方を用いて、二種類以上の所定の定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する手段と、前記複数の複雑度から所定の複雑度を出力する手段と、前記予め設定された平均ビットレートと、前記出力された複雑度を用いて量子化幅を計算する手段と、前記入力圧縮動画ストリームの量子化幅を用いて、前記入力圧縮動画ストリームの符号化予測モードに応じて、所定の期間またはピクチャ枚数毎にそれぞれの量子化幅の平均を計算する手段と、前記量子化幅と前記平均量子化幅とを用いて符号化予測モード毎の加算値を計算し、前記入力圧縮動画ストリームの量子化幅に加算値を加算した加算量子化幅を計算する手段と、目標符号量と実際の符号量との過不足量から所定の期間毎に前記加算量子化幅を調整して、再符号化に用いる量子化幅とすることを特徴とする。
【００２９】
請求項１１記載の発明は、請求項８または９記載の圧縮動画像再符号化装置において、前記加算量子化幅に対して、所定の複数の量子化幅においては閾値設定することを特徴とする。
【００３０】
請求項１２記載の発明は、請求項１記載の圧縮動画像再符号化装置において、前記再符号化に用いる量子化幅に対して、最小値を設定することを特徴とする。
【００３１】
請求項１３記載の発明は、動画像データを圧縮符号化して生成された入力圧縮動画ストリームを入力信号とし、予め設定した平均ビットレートで、且つ可変ビットレートで再符号化し、ビットレートを変更した出力圧縮動画ストリームを出力信号とする圧縮動画像再符号化方法において、前記再符号化に用いる量子化幅を計算する工程と、前記計算された量子化幅と前記入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力する工程とを有することを特徴とする。
【００３２】
請求項１４記載の発明は、請求項１３記載の圧縮動画像再符号化方法において、前記再符号化に用いる量子化幅と前記入力圧縮動画ストリームにおける量子化幅からより大きい量子化幅を選択する工程をさらに有することを特徴とする。
【００３３】
請求項１５記載の発明は、請求項１４記載の圧縮動画像再符号化方法において、前記入力圧縮動画ストリームあるいは前記再符号化した圧縮動画ストリームの何れかにおける、量子化幅と符号量の一方または両方を用いて、二種類以上の所定の予め定められた期間またはピクチャ枚数におけるそれぞれの複雑度を計算する工程と、前記複数の複雑度から所定の複雑度を出力する工程と、前記予め設定された平均ビットレートと前記出力された複雑度とを用いて前記量子化幅を計算する工程と、目標符号量と実際の符号量との過不足量から所定の期間毎に前記量子化幅を調整して前記再符号化に用いる量子化幅とすることを特徴とする。
【発明の効果】
【００３４】
以上の説明より明かなように、本発明の圧縮動画像再符号化装置および圧縮動画像再符号化方法は、再符号化に用いる量子化幅を計算し、計算された量子化幅と入力圧縮動画ストリームにおける量子化幅を入力し、実際の再符号化に用いる量子化幅を出力している。よって、入力圧縮動画ストリームに含まれる符号化情報を用いて動画像のシーン特性を求め、特性に応じた量子化幅の設定を行い、設定した量子化幅に対して目標符号量と実際の符号量との差分を用いて修正を行うことで、ある期間に渡り、画質が一定の品質となり、平均ビットレートを満たし、目標符号量に近づくような制御を実現できる。これにより、高画質な再符号化を達成することができる。また、圧縮動画ストリーム全体を復号し、動画像の特性を求めることなく再符号化を行うため、低遅延かつリアルタイムに圧縮動画像ストリームの再符号化を達成することができる。
【実施例１】
【００３５】
次に、添付図面を参照して本発明による圧縮動画像再符号化装置および圧縮動画像再符号化方法の実施形態を詳細に説明する。図１から図１１を参照すると、本発明の圧縮動画像再符号化装置および圧縮動画像再符号化方法の一実施形態が示されている。
【００３６】
図１は、本発明の圧縮動画像再符号化装置を説明するための図である。ここで、圧縮符号化方式としてMPEG-2 VIDEOを用いることとするが、圧縮符号化方式としては、MPEG-2VIDEO に限らず、量子化幅により符号量の制御を行う圧縮符号化方式であればよい。例えば、ISO/ICE IS１１172（MPEG-1 VIDEO）あるいはITU-T H.261 、ITU-T H.263 等の方式を用いてもよい。また、複雑度の計算を行う期間は符号化開始時から現在まで符号化した全ピクチャと、複数のピクチャから構成されるピクチャ群とし、目標符号量と実際の符号量の過不足量を調整する期間としては、マクロブロック単位とする。
【００３７】
この符号化単位は、画像符号化単位の一例を示したにすぎず、複雑度の計算を行う期間は一定期間の画質を制御する単位であり、過不足量を調整する期間としてはより細かな制御を行うための複雑度の計算を行う期間より小さな単位であればよい。他に、ピクチャ群の単位としては、フレーム内予測された画像を一枚含む複数ピクチャ群や、一枚のピクチャや、ある時間におけるピクチャ等もある。ここで、図１によれば、本発明の圧縮動画像再符号装置は、復号経路部１１と、誤差補償部１２と、符号化経路部１３と、符号量制御手段１４から構成される。
【００３８】
まず、MPEG-2ビットストリームが入力として復号経路部１１に供給される。復号経路部１１においては、入力ビットストリームの可変長復号および逆量子化を行い、入力ビットストリームのビットレートと、フレームレート、およびマクロブロック毎に入力ビットストリームの量子化幅と、入力ビットストリームの符号量を符号量制御手段１４に供給する。また、復号経路部１１においては、ＤＣＴ係数と、動きベクトル等を誤差補償部１２へ供給し、再符号化時に再利用できる符号化情報を符号化経路部１３に供給する。
【００３９】
誤差補償部１２においては、復号経路部１１から供給される再量子化前のＤＣＴ係数と、動きベクトル等と、符号化経路部１３から供給される再量子化後のＤＣＴ係数を用いて、再量子化による誤差の蓄積を防止し、再量子化を行うＤＣＴ係数を符号化経路部１３に供給する。
【００４０】
符号化経路部１３においては、復号経路部１１から供給される符号化情報と、誤差補償部１２から供給されるＤＣＴ係数と、符号量制御手段１４から供給される量子化幅と、外部から供給される目標平均ビットレートを用いて、ＤＣＴ係数の再量子化と、再符号化を行い出力ビットストリームを出力し、再符号化後の符号量を符号量制御手段１４に供給する。
【００４１】
符号量制御手段１４においては、復号経路部１１から供給される入力ビットストリームのビットレートと、フレームレートと、入力ビットストリームの量子化幅と、入力ビットストリームの符号量、符号化経路部１３から供給される再符号化後の符号量、外部から供給される目標平均ビットレートを用いて量子化幅を計算し、符号化経路部１３に供給する。ここで、符号量制御手段１４は、複雑度計算手段１０１と、ピクチャ群量子化幅計算手段１０２と、量子化幅調整手段１０３と、量子化幅選択器１０４から構成される。
【００４２】
複雑度計算手段１０１においては、復号経路部１１からマクロブロック毎に供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、複数ピクチャにおけるピクチャ群複雑度および符号化を行った全ピクチャにおける複雑度を計算し、ピクチャ群量子化幅計算手段１０２に供給する。
【００４３】
ピクチャ群量子化幅計算手段１０２においては、復号経路部１１から供給されるフレームレート、外部から供給される目標平均ビットレートと、複雑度計算手段１０１から供給される複雑度と、ピクチャ群複雑度を用いて基本量子化幅を計算し、計算した結果を量子化幅調整手段１０３に供給する。
【００４４】
量子化幅調整手段１０３においては、復号経路部１１から供給される入力ビットストリームのビットレートと、フレームレートと、入力ビットストリームの符号量、外部から供給される目標平均ビットレートを用いて目標符号量を設定し、符号化経路部１３から供給される再符号化後の符号量との差分を求め、差分に応じてピクチャ群量子化幅計算手段１０２から供給される基本量子化幅の調整を行い、調整した量子化幅を量子化幅選択器１０４に供給する。
【００４５】
量子化幅選択器１０４においては、量子化幅調整手段１０３から供給される量子化幅が復号経路部１１から供給される入力ビットストリームの量子化幅よりも小さい値であれば、入力ビットストリームの量子化幅を符号化経路部１３に供給する。
【００４６】
次に、本発明の符号量制御手段１４における動作例を説明する。なお、以下に示す式（１）〜式（１６）は、複雑度計算における処理例であり、これらの式は、複雑度計算１０１における処理例を表している。本複雑度計算１０１においては、復号経路部１１からマクロブロック毎に供給される入力ビットストリームの量子化幅Ｑｏｊと入力ビットストリームの符号量Ｓｏｊを用いて、複数ピクチャにおけるピクチャ群の量子化幅累算値Ｑｏｐおよび符号量累算値Ｓｏｐおよび複雑度Ｘｐ、全ピクチャにおける量子化幅累算値Ｑｏｔおよび符号量累算値Ｓｏｔおよび複雑度Ｘｔを、例えば式（１）〜式（６）により計算し、ピクチャ群複雑度Ｘｐと複雑度Ｘｔをピクチャ群量子化幅計算手段１０２に供給する。ここで、符号Ｎｐはピクチャ群におけるピクチャ数、符号Ｎｔは符号化を行った全ピクチャ数、符号Ｎｍｂはピクチャ当たりのマクロブロック数を表す。
【００４７】
【数１】
2004180339.tif 000003
【００４８】
ピクチャ群量子化幅計算手段１０２においては、復号経路部１１から供給されるフレームレートＦＲと、外部から供給される目標平均ビットレートＡＢＲと、複雑度計算手段１０１から供給される複雑度Ｘｔと、ピクチャ群複雑度Ｘｐを用いて、基本量子化幅Ｑｂを、例えば式（７）により計算し、量子化幅調整手段１０３に供給する。ここで、ｍｉｎ（Ｘｔ，Ｘｐ）はＸｔとＸｐの小さい値を選択する。上記計算では、入力ビットストリームの長期的なシーン特性とそれよりも短い期間のシーン特性を複雑度の比較を行うことで実現し、小さい値を選択することで多くの符号量を発生させる制御となり、画質の低下を抑えることができる。
【００４９】
【数２】
2004180339.tif 000004
【００５０】
量子化幅調整手段１０３においては、符号化経路部１１から供給される入力ビットストリームのビットレートＢＲと、フレームレートＦＲと、入力ビットストリームの符号量Ｓｏｊと、外部から供給される目標平均ビットレートＡＢＲを用いて、ピクチャ群符号量累算値Ｓｏｐと、ピクチャ群目標符号量Ｔｐと、全ピクチャの目標符号量Ｔｔを、例えば上記の式（２）、並びに下記の式（８）および式（９）により計算する。また、符号化経路部１３からマクロブロック毎に供給される再符号化後の符号量Ｓｒｊを用いて、全ピクチャの符号量累算値Ｓｒｔを式（１０）により計算し、差分ＶＢＯを式（１１）により求める。さらに、ピクチャ群量子化手段１０２から供給される基本量子化幅Ｑｂの調整を、例えば式（１２）により計算し、量子化幅選択器１０４に調整を行った量子化幅Ｑｍを供給する。
【００５１】
【数３】
2004180339.tif 000005
【００５２】
ここで、上記の式（９）はピクチャ群目標符号量Ｔｐの累算値であり、符号α、ｒは目標平均ビットレートに対する発生符号量の差分における制御の反応の大きさを決めるパラメータである。
【００５３】
量子化幅選択器１０４においては、量子化幅調整手段１０３から供給される量子化幅Ｑｍが、復号経路部１１から供給される入力ビットストリームの量子化幅Ｑｊよりも小さい値であれば、入力ビットストリームの量子化幅Ｑｊを符号化経路部１３に供給する。
【実施例２】
【００５４】
次に、本発明の第２の実施形態を図２に示す。第１の実施形態では、複雑度計算手段１０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、複雑度およびピクチャ群複雑度を計算する。本実施形態によれば、複雑度計算手段１０１においては、符号化経路部１３から供給される再符号化後の量子化幅と、再符号化後の符号量を用いて、複雑度およびピクチャ群複雑度を計算する。
【実施例３】
【００５５】
次に、本発明の第３の実施形態を図３に示す。第１の実施形態では、量子化幅選択器１０４においては、量子化幅調整手段１０３から供給された量子化幅を用いて、量子化幅の選択を行っている。本実施形態は図１に示されるブロック図に適応量子化手段９０１を追加したものである。適応量子化手段９０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、量子化幅調整手段１０３から供給される量子化幅をさらに調整し、量子化幅選択器１０４へ供給する。
【００５６】
次に適応量子化手段９０１の動作の一例を示す。適応量子化手段９０１においては復号経路１１から供給される入力ビットストリームの量子化幅Ｑｊと、符号量Ｓｊ、量子化幅調整手段１０３から供給される量子化幅Ｑｍを用いて、例えば式（３）から得られるピクチャ群複雑度Ｘｐおよび下記の式（１３）により量子化幅Ｑａを計算し、量子化幅選択器１０４へ供給する。ここで、ピクチャ群におけるピクチャ数Ｎｐは、複雑度計算手段１０１で用いられるピクチャ群のピクチャ数と同じである必要はない。本実施形態では、通常画像信号を用いて行うアクティビティの計算を、入力ビットストリームの量子化幅と符号量を用いて計算を行い、量子化幅を修正する。その結果、画像信号レベルまで復号を行わない構成の圧縮画像再符号化装置に対しても、画像の性質を用いた適応量子化を行える。
【００５７】
【数４】
2004180339.tif 000006
【実施例４】
【００５８】
次に、本発明の第４の実施形態を図４に示す。第１の実施形態では、ピクチャ群複雑度１０１においては、複雑度の計算に入力ビットストリームの量子化幅を用いている。本実施形態は、図１に示されるブロック図に逆適応量子化器１００１を追加したものである。
【００５９】
逆適応量子化器１００１においては、復号経路部１１から供給されるビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、復号経路部１１から供給される入力ビットストリームの量子化幅を調整し、複雑度計算手段１０１に供給する。逆適応量子化手段１００１の動作例としては、例えば、図３における適応量子化手段９０１の逆変換が考えられる。本実施形態では、複雑度の計算のために、入力ビットストリームの量子化幅と、入力ビットストリームの符号量を用いて、入力ビットストリームの量子化幅を調整する。その結果、符号化時に適応量子化が行われた入力ビットストリームの量子化幅に対しても、適応量子化前の量子化幅を推定することが可能であり、適応量子化前の量子化幅を用いた複雑度の計算が可能になる。
【実施例５】
【００６０】
次に、本発明の第５の実施形態を図５に示す。本実施形態は、図１に対して、量子化幅選択器１０４の外部入力が追加されている。第１の実施形態の量子化幅選択器１１０１においては、量子化幅調整手段１０３から供給される量子化幅が復号経路部１１から供給される入力ビットストリームの量子化幅よりも小さい値であれば、入力ビットストリームの量子化幅を符号化経路部１３に供給している。本実施形態の量子化幅選択器１１０１においては、上記入力に加え、外部から最小量子化幅が供給され、量子化幅調整手段１０３から供給される量子化幅と入力ビットストリームの量子化幅が最小量子化幅よりも小さい値であれば、最小量子化幅を符号化経路部１３に供給する。これにより本実施形態では、量子化幅を小さく設定しすぎることによる無駄な符号の発生を抑えることが可能になる。
【実施例６】
【００６１】
次に、本発明の第６の実施形態を図６に示す。本実施形態は図１に示されるブロック図に最大ビットレート量子化幅計算手段１２０１を追加したものである。最大ビットレート量子化幅計算手段１２０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅と、入力ビットストリームの符号量と、入力ビットストリームのビットレートおよびフレームレート、復号経路部１３から供給される再符号化後の量子化幅と、再符号化後の符号量、外部から供給される最大ビットレート等を用いて、指定された最大ビットレートを超えないような最大ビットレート量子化幅を設定し、量子化幅選択器１０４へ供給する。
【００６２】
量子化幅選択器１２０２においては、上記入力に加え、最大ビットレート量子化幅計算手段１２０１から供給される最大ビットレート量子化幅を用いて、量子化幅調整手段１０３から供給される量子化幅と、入力ビットストリームの量子化幅が最大ビットレート量子化幅よりも小さい値であれば、最大ビットレート量子化幅を符号化経路部１３に供給する。ここで、最大ビットレート量子化幅計算手段１２０１における最大ビットレート量子化幅の計算方法としては、例えば、入力ビットストリームのビットレートと最大ビットレート比率および入力ビットストリームの符号量を用いて、目標符号量を設定し、目標符号量を満たすような符号量制御を用いて、マクロブロック単位の量子化幅を計算することで実現できる。本実施形態では、入力ビットストリームのビットレートが非常に高く、目標平均ビットレートが低い場合に、必要以上に符号化幅を小さく設定しすぎて、無駄な符号の発生を抑えることが可能になる。
【実施例７】
【００６３】
次に、本発明の第７の実施形態を図７に示す。本実施形態の、符号量制御手段１４は、複雑度計算手段１０１と、ピクチャ群量子化幅計算手段１０２と、量子化幅調整手段１０３と、量子化幅選択器１０４と、平均量子化幅計算手段１３０１と、加算値計算手段１３０２から構成される。
【００６４】
以下では、第１の実施形態と異なる部分に関してのみ説明する。平均量子化幅計算手段１３０１においては、復号経路部１１から供給される入力ビットストリームの量子化幅を複数ピクチャ期間累算し、その平均値を加算値計算手段１３０２に供給する。
【００６５】
加算値計算手段１３０２においては、ピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される平均量子化幅の差分値を、復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅調整手段１０３に供給する。
【００６６】
次に平均量子化幅計算手段１３０１および加算値計算手段１３０２の動作の一例を示す。平均量子化幅計算手段１３０１においては、平均量子化幅Ｑａｖｅは復号経路部１１から供給される量子化幅Ｑｊを用いて、上記の式（１）および下記の式（１４）により計算され、加算値計算手段１３０２へ供給される。ここで、ピクチャ群におけるピクチャ数Ｎｐは、複雑度計算手段１０１で用いられるピクチャ群のピクチャ数と同じである必要はない。
【００６７】
【数５】
2004180339.tif 000007
【００６８】
加算値計算手段１３０２においては、加算値Ａをピクチャ群量子化幅計算手段１０２から供給される量子化幅Ｑｂ、平均量子化幅計算手段１３０１から供給される平均量子化幅Ｑａｖｅを用いて、例えば下記の式（１５）により計算し、量子化幅調整手段１０３へ供給する。これにより本実施形態では、入力ビットストリームの量子化幅に加算値を加えるため、符号化時に適応量子化を用いて量子化幅が設定されている場合、適応量子化を考慮することなく量子化幅を設定できる。
【００６９】
【数６】
2004180339.tif 000008
【実施例８】
【００７０】
次に、本発明の第８の実施形態を図８に示す。本実施形態は、図７に対して、加算値計算手段１３０２への外部入力が追加されている。第７の実施形態の加算値計算手段１３０２においては、ピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される平均量子化幅の差分値を、復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅を計算している。
【００７１】
本実施形態の量子化幅設定手段１４０１においては、上記入力に加え、外部から最小量子化幅もしくは閾値が供給される。加算値計算手段１４０１においては、計算した量子化幅と、量子化幅もしくは閾値を比較することで、量子化幅の選択を行い、量子化幅調整手段１０３に量子化幅を供給する。
【００７２】
加算値計算手段の動作例を図９に示す。本図９は、最小量子化幅と閾値が設定されていた場合にどの量子化幅が選択されるかを示したものである。横軸は入力ビットストリームの量子化幅を表し、縦軸は再符号化後の量子化幅を表す。グラフの太線が本量子化幅設定により選択される量子化幅である。
【００７３】
ここで、最小量子化幅により、量子化幅の最小値を設定し、閾値によりある量子化幅以降においては、入力ビットストリームの量子化幅が閾値を超えるまでは、再符号化後の量子化幅が閾値を越えないように量子化幅が設定される。これにより本実施形態では、再量子化後の量子化幅の最小値を設定することで過剰な符号量の発生を抑制する。また、閾値よりも大きな量子化幅を選択しないようにし、画質劣化を抑制する。
【実施例９】
【００７４】
次に、本発明の第９の実施形態について説明する。第７および第８の実施形態では、どの符号化予測方式においても等しい加算値を入力ビットストリームの量子化幅に加算している。第９の実施形態では、ピクチャの符号化予測方式毎に加算値を保持する。例えば、MPEG-2におけるフレーム内符号化（Ｉピクチャ）、前方向フレーム間符号化（Ｐピクチャ）、双方向フレーム間符号化（Ｂピクチャ）に対して、平均量子化幅計算手段１３０１において符号化モード毎に平均量子化幅Ｑａｖｅを計算し、加算値計算手段１３０２へ供給する。
【００７５】
加算値計算手段１３０２においてピクチャ群量子化幅計算手段１０２から供給される基本量子化幅と、平均量子化幅計算手段１３０１から供給される符号化モード毎の平均量子化幅の差分値を計算し、符号化モード毎に復号経路部１１から供給される入力ビットストリームの量子化幅に加算し、量子化幅の計算を行う。これにより本実施形態では、符号化モードに応じて加算値を切り替えるため、単一の加算値よりも細かな制御が可能になり、画質を向上させることが可能になる。
【００７６】
上記の実施形態において、例えば、入力である圧縮動画ストリーム１を再符号化し、圧縮動画ストリーム２を出力することを考える。図１０は圧縮動画ストリーム１および再符号化後の圧縮動画ストリーム２におけるピクチャ当たりの平均量子化幅と時間の関係と、図１１はその時の発生符号量と時間の関係の一例を示したものである。図１０および図１１の細い実線が圧縮動画ストリーム１を表す。
【００７７】
一般に、符号量の削減は、圧縮動画ストリーム１における量子化幅よりも大きな量子化幅を設定して再量子化することで実現できる。ちなみに従来の方式では、圧縮動画ストリーム１の符号量に応じて、再符号化時の目標符号量を設定し、量子化幅を設定する。例えば図１１のような場合には、どの期間においても、ほぼ一定の符号量を削減する必要があるため、一様に量子化幅を大きく設定してまう。その結果、図１０の破線に示すように、入力圧縮動画ストリームの量子化幅が大きく画質の悪いピクチャに対しても、再符号化時にさらに大きい値を設定してしまい、画質劣化を引き起こす原因になる。そこで、図１０の太い実線で示すような、動画像のシーン特性に応じた量子化幅の設定をすれば、このような問題は解決できる。本発明では、入力圧縮動画ストリームに含まれる符号化情報を用いて、動画像のシーン特性を求め、特性に応じた量子化幅を設定する。
【００７８】
次に、設定した量子化幅に対して、平均ビットレート等を用いて求めた目標符号量と、実際の符号量との差分を用いて修正を行う。その結果、ある期間にわたり画質が一定の品質となり、また平均ビットレートを満たし、目標符号量に近づくような制御を実現できる。また、量子化幅は入力圧縮動画ストリームの量子化幅よりも小さな値にならないようにすることで、必要以上に多くの符号量を割り当てることなく、より平均的な画質の向上を実現できる。さらに、本発明では、一旦、圧縮動画ストリーム全体を復号し、動画像の特性を求めることなく再符号化を行うため、遅延の少ないリアルタイム処理が実現できる。
【００７９】
尚、上述の実施形態は本発明の好適な実施の一例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【図面の簡単な説明】
【００８０】
【図１】本発明の圧縮動画像再符号化装置の実施形態の構成例を示すブロック図である。
【図２】第２の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図３】第３の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図４】第４の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図５】第５の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図６】第６の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図７】第７の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図８】第８の実施形態における圧縮動画像再符号化装置の構成例を示すブロック図である。
【図９】第８の実施形態における量子化幅設定手段の動作例の説明図である。
【図１０】原理説明図である。
【図１１】原理説明図である。
【図１２】従来の復号器の構成を示すブロック図である。
【図１３】従来の符号化器の構成を示すブロック図である。
【図１４】従来の圧縮動画像再符号化装置の構成例を示すブロック図である。
【図１５】従来の圧縮動画像再符号化装置の構成例を示すブロック図である。
【図１６】従来の圧縮動画像再符号化装置の構成例を示すブロック図である。
【符号の説明】
【００８１】
１１    復号経路部
１２    誤差補償部
１３    符号化経路部
１４    符号量制御手段
１０１    複雑度計算手段
１０２    ピクチャ群量子化幅計算手段
１０３    量子化幅調整手段
１０４    量子化幅選択器
２０１    可変長復号器
２０２    逆量子化器
２０３    逆離散コサイン変換器
２０４    加算器
２０５    フレームメモリ
２０６    動き補償予測器
３０１    減算器
３０２    離散コサイン変換器
３０３    量子化器
３０４    可変長符号化器
３０５    符号量制御手段
３０６    逆量子化器
３０７    逆離散コサイン変換器
３０８    加算器
３０９    フレームメモリ
３１０    動き補償予測器
４１    復号経路部
４２    誤差補償部
４３    符号化経路部
４０１    符号量制御手段
５１    復号経路部
５２    符号化経路部
５０１    符号量制御手段
６１    復号経路部
６２    誤差補償部
６３    符号化経路部
６０１    減算器
６０２    逆量子化器
６０３    減算器
６０４    逆離散コサイン変換器
６０５    フレームメモリ
６０６    動き補償予測器
６０７    離散コサイン変換器
６０８    符号量制御手段
９０１    適応量子化手段
１００１    逆適応量子化手段
１１０１    量子化幅選択器
１２０１    最大ビットレート量子化幅計算手段
１２０２    量子化幅選択器
１３０１    平均量子化幅計算手段
１３０２、１４０１    加算値計算手段
【図１】
2004180339.tif 000009
【図２】
2004180339.tif 000010
【図３】
2004180339.tif 000011
【図４】
2004180339.tif 000012
【図５】
2004180339.tif 000013
【図６】
2004180339.tif 000014
【図７】
2004180339.tif 000015
【図８】
2004180339.tif 000016
【図９】
2004180339.tif 000017
【図１０】
2004180339.tif 000018
【図１１】
2004180339.tif 000019
【図１２】
2004180339.tif 000020
【図１３】
2004180339.tif 000021
【図１４】
2004180339.tif 000022
【図１５】
2004180339.tif 000023
【図１６】
2004180339.tif 000024