(57)【特許請求の範囲】
【請求項１】
動画像符号化装置であって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正する補正手段を具備することを特徴とする動画像符号化装置。
【請求項２】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とするフレーム内予測を用いる請求項１に記載の動画像符号化装置。
【請求項３】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項２又は請求項３に記載の動画像符号化装置。
【請求項５】
前記補正手段は、前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１から請求項４のいずれかに記載の動画像符号化装置。
【請求項６】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする請求項１から請求項５のいずれかに記載の動画像符号化装置。
【請求項７】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段を具備することを特徴とする請求項１に記載の動画像符号化装置。
【請求項８】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段を具備することを特徴とする請求項１に記載の動画像符号化装置。
【請求項９】
前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする請求項７又は請求項８に記載の動画像符号化装置。
【請求項１０】
動画像符号化であって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正することを特徴とする動画像符号化方法。
【請求項１１】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とするフレーム内予測を用いる請求項１０に記載の動画像符号化方法。
【請求項１２】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とする請求項１０に記載の動画像符号化方法。
【請求項１３】
前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項１１又は請求項１２に記載の動画像符号化方法。
【請求項１４】
前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１０から請求項１３のいずれかに記載の動画像符号化装置。
【請求項１５】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする請求項１０から請求項１４のいずれかに記載の動画像符号化方法。
【請求項１６】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化することを特徴とする請求項１０に記載の動画像符号化方法。
【請求項１７】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化することを特徴とする請求項１０に記載の動画像符号化方法。
【請求項１８】
前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用することを特徴とする請求項１６又は請求項１７に記載の動画像符号化方法。
【請求項１９】
情報処理装置に動画像符号化を行わせるプログラムであって、
前記プログラムは前記情報処理装置を、符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正する補正手段として機能させることを特徴とするプログラム。
【請求項２０】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像とフレーム内予測値画像との差分を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とするフレーム内予測を用いる請求項１９に記載のプログラム。
【請求項２１】
前記参照量子化係数値は、前記符号化対象画像フレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像を周波数変換し、量子化して得られる量子化係数値であって、
前記入力量子化係数値は、前記符号化対象画像フレームの画像を周波数変換し、量子化して得られる量子化係数値である
ことを特徴とする請求項１９に記載のプログラム。
【請求項２２】
前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項２０又は請求項２１に記載のプログラム。
【請求項２３】
前記補正手段は、前記入力量子化係数値の量子化前の値と前記参照量子化係数値の量子化前の値との差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記入力量子化係数値を前記参照量子化係数値に補正することを特徴とする請求項１９から請求項２２のいずれかに記載のプログラム。
【請求項２４】
前記過去の画像フレームが、前記イントラ符号化対象画像の直前のＰフレームであることを特徴とする請求項１９から請求項２３のいずれかに記載のプログラム。
【請求項２５】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
前記プログラムは前記情報処理装置を、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段として機能させることを特徴とする請求項１９に記載のプログラム。
【請求項２６】
前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであり、
前記プログラムは前記情報処理装置を、
イントラ符号化対象の画像を前記Ｐフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段として機能させることを特徴とする請求項１９に記載のプログラム。
【請求項２７】
前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする請求項２５又は請求項２６に記載のプログラム。
【請求項２８】
動画像符号化装置であって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正し、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させる手段を具備することを特徴とする動画像符号化装置。
【請求項２９】
動画像符号化方法であって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正し、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させることを特徴とする動画像符号化方法。
【請求項３０】
動画像の符号化・復号システムであって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正して画像を符号化する手段と、
前記符号化されたデータを復号する復号手段と
を有することを特徴とする動画像の符号化・復号システム。
【請求項３１】
動画像の符号化・復号方法であって、
符号化対象のフレームよりも過去にインター符号化された画像フレームの画像を用いて前記符号化対象の画像をインター符号化して得られる再構築画像をイントラ符号化して得る参照量子化係数を用いて、前記符号化対象画像フレームの画像をイントラ符号化して得る入力量子化係数値を補正して画像を符号化するステップと、
前記符号化されたデータを復号するステップと
を有することを特徴とする動画像の符号化・復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化技術に関し、例えば動画像信号を蓄積する動画像符号化装置に適用して好適なものである。
【背景技術】
【０００２】
従来、動画像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の動画像符号化方式に準拠した符号化処理を行うことで符号化情報列すなわちビットストリームを生成する。【０００３】
前記の動画像符号化方式として近年規格化されたISO/IEC 14496-10 Advanced Video Codingがある（非特許文献１  ISO/IEC 14496-10 Advanced Video Coding）。また、前記Advanced Video Coding符号器の開発の参照モデルとしてJM(Joint Model)方式が知られている。【０００４】
JM方式においては、動画像を構成する各画像フレームをMB(Macro Block)とよばれる16x16画素サイズのブロックに分割し、さらに前記MBを4x4画素サイズのブロック分割し（以後、4x4ブロックと呼ぶ）、前記4x4ブロックを符号化の最小構成単位とする。【０００５】
画像フレームがQCIF(Quarter Common Intermediate Format)の場合での、前記ブロック分割の例を図１に示す。なお、通常、画像フレームは、輝度信号と色差信号で構成されるが、以下では説明の簡略化のために、輝度信号のみを取り扱う。【０００６】
図１を参照して、画像フレームを入力とし、ビットストリームを出力するJM方式の動作を説明する。【０００７】
図２を参照すると、JM方式(従来方式)はMBバッファ101、変換装置102、量子化装置103、逆量子化/逆変換装置104、エントロピー符号化装置105、符号量制御装置106、フレームメモリA107、ループ内フィルタ装置108、フレームメモリB109、フレーム内予測装置110、フレーム間予測装置111、予測方式推定装置112、スイッチSW100で構成される。【０００８】
各装置の動作を以下で説明する。【０００９】
MBバッファ101は、入力画像フレームの符号化対象MBの画素値を格納する。【００１０】
MBバッファ101から供給される符号化対象MBの画素値（以後、単純に入力MBと呼ぶ）は、フレーム内予測装置110あるいはフレーム間予測装置111から供給される予測値が減じられる。前記、予測値が減じられた入力画像は予測誤差と呼ばれる。【００１１】
フレーム間予測は、現在の符号化対象画像フレームと表示時刻が異なる過去に再構築された画像フレームを参照し、画像フレームの時間方向での相関を利用して現在の符号化対象ブロックを予測する。以後、前記フレーム間予測を復号に必要とする符号化をインター符号化、インター符号化されたMBをインターMB、フレーム間予測で生成された予測値をフレーム間予測値あるいはフレーム間予測画像と呼ぶ。【００１２】
一方、上述したフレーム間予測を復号に用いない符号化をイントラ符号化とよび、イントラ符号化されたMBをイントラMBと呼ぶ。JM方式では、フレーム内予測をイントラ符号化に利用できる。前記フレーム内予測は、現在の符号化対象画像フレームと表示時刻が同一の過去に再構築された画像フレームを参照し、画像フレームの空間方向での相関を利用して現在の符号化対象ブロックを予測する。以後、前記フレーム内予測で生成された予測値をフレーム内予測値あるいはフレーム内予測画像と呼ぶ。【００１３】
前記イントラMBのみで構成される符号化画像フレームをIフレームと呼ぶ。一方、前記イントラMBだけでなくインターMBで構成される符号化画像フレームをPフレーム、さらにフレーム間予測に１枚の画像フレームだけでなく、同時に2枚の画像フレームから予測できるインターMBを含む符号化画像フレームをBフレームと呼ぶ。【００１４】
通常シーンが定常的な場合、隣接する画像フレーム間の画素相関は極めて高く、イントラ符号化よりもインター符号化の方が効果的に圧縮できる。このため動画像の大部分の画像フレームは、インター符号化を利用できるPフレームあるいはBフレームで符号化される。【００１５】
変換装置102は、前記予測誤差をMBよりも細かいブロックの単位で周波数変換し、空間領域から周波数領域に変換する。前記周波数領域に変換された予測誤差を変換係数と呼ぶ。前記周波数変換には、DCT(Discrete Cosine Transform)やアダマール変換などの直交変換が利用でき、JM方式(従来方式)では基底を整数値化した4x4画素ブロックサイズの整数精度DCTを利用する。【００１６】
一方で、符号量制御装置106は、入力画像フレームを目標のビット数で符号化するためにエントロピー符号化装置105が出力するビットストリームのビット数を監視し、出力されるビットストリームのビット数が目標のビット数よりも多ければ量子化ステップサイズを大とする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標のビット数よりも少なければ量子化ステップサイズを小とする量子化パラメータを出力する。これによって出力ビットストリームは目標のビット数に近づくように符号化される。【００１７】
量子化装置103は、前記変換係数を、符号量制御装置106が供給する前記量子化パラメータに対応する量子化ステップサイズで量子化する。前記量子化された変換係数は、レベルあるいは量子化値と呼ばれる（以後、イントラ符号化対象の量子化値をイントラ符号化量子化値、一方インター符号化対象の量子化値をインター符号化量子化値と呼ぶ）。前記量子化値はエントロピー符号化装置105によってエントロピー符号化されてビット列、すなわちビットストリームとして出力される。【００１８】
なお、変換装置102と量子化装置103をまとめた装置を、変換量子化装置200と呼ぶ。【００１９】
続いて、以降の符号化のために、逆量子化/逆変換装置104は、量子化装置103から供給されるレベルを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。【００２０】
前記逆量子化された変換係数を逆量子化変換係数あるいは再構築変換係数と呼ぶ。また、元の空間領域に戻された予測誤差を再構築予測誤差と呼ぶ。【００２１】
フレームメモリA107は、前記再構築予測誤差に前記予測値を加えた値を、再構築フレームとして格納する。【００２２】
現在の符号化対象画像フレーム内のすべてのMBが符号化された後、ループ内フィルタ108はフレームメモリA107に格納された再構築フレームに対してノイズ除去フィルタリングを行う。【００２３】
フレームメモリB109は、ループ内フィルタ108から供給される前記ノイズ除去フィルタされた画像フレームを参照フレームとして格納する。【００２４】
フレーム内予測装置110は、フレームメモリA107に格納された再構築フレームから、予測方式推定装置112から供給されるMBタイプおよびフレーム内予測方向に基づき、フレーム内予測値を生成する。【００２５】
フレーム間予測装置111は、フレームメモリB109に格納された参照フレームから、予測方式推定装置112から供給されるMBタイプおよび動きベクトルに基づき、フレーム間予測値を生成する。【００２６】
予測方式推定装置112は、入力MBとの予測誤差を最小とするフレーム内予測方向とイントラMBタイプの組、およびフレーム間予測での動きベクトルとインターMBタイプの組をそれぞれ推定する。【００２７】
スイッチSW100は、予測方式推定装置112での推定結果に基づき、フレーム内予測が予測誤差を最小とするのであればフレーム内予測装置110の出力、そうでなければフレーム間予測装置111の出力を予測値とする。【００２８】
以上の処理を実行することで、JM方式は動画像を符号化する。【００２９】
前記インター符号化を用いた動画像符号化では、放送や蓄積を目的に動画像を符号化する場合、途中からでも再生(復号)が可能となるように周期的にＩフレームを挿入する。前記の単純な一例を図３に示す。【００３０】
しかし、前記周期的なＩフレーム挿入の副作用として、視覚的に目立つＩフレームの挿入周期のちらつき(以後Iフレームフリッカとよぶ)が発生する。動画像を符号化の低ビットレート化につれて、前記Iフレームフリッカが、主観画質を低下させる。【００３１】
前記Iフレームフリッカが、視覚的に目立つ理由は、Iフレームでのイントラ符号化のノイズパターンと、直前に表示されたPフレームでのインター符号化のノイズパターンが異なるからである。前記符号化ノイズパターンの異なりは、Iフレームと、Pフレームでの予測構造の違いによる(図４)。【００３２】
上記のようなフリッカを低減する手段として、特許文献１のように、人間の視覚特性が高い領域の量子化ステップサイズを細かくする適応量子化が考えられる。【００３３】
また、上記のようなフリッカを低減する手段として、特許文献２のように、Iフレーム、PフレームおよびBフレームの量子化ステップサイズの比を最適に近い値にして、画質を一定に保つ方法が考えられる。【００３４】
また、上記のようなフリッカを低減する手段として、特許文献３のように、Pフレームの残差信号が量子化デッドゾーン幅より小さい場合に常に予測誤差のレベルを0として、連続するPフレーム間のフリッカを低減する方法が考えられる。【００３５】
また、上記のようなフリッカを低減する手段として、非特許文献2のように、連続するフレームを全てIフレームで符号化し、静止領域と判断された領域のレベルを均一に保つ方法が考えられる。【００３６】
また、上記のようなフリッカを低減する手段として、特許文献４のように、連続するフレームを全てIフレームで符号化し、静止領域と判断された領域のレベルを、過去に符号化した画像フレームのレベルに置換する方法が考えられる。【００３７】
また、上記のようなフリッカを低減する手段として、非特許文献3のように、Iフレームの符号化時に静止領域と判断された領域では、直前に符号化したＩフレームとの類似度を考慮しながらフレーム内予測方向を推定し、フレーム内予測値の揺らぎを防ぐ方法が考えられる。
【特許文献１】特開2002-335527号公報
【特許文献２】特開平5−111012号公報
【特許文献３】特開平08-251593号公報
【特許文献４】特開2003-235042号公報
【非特許文献１】ISO/IEC 14496-10 Advanced Video Coding）
【非特許文献２】井口他、”H.264符号化におけるイントラモードのフリッカ低減方法,” FIT 2003, J-040, 2003
【非特許文献３】境田他、”適応量子化によるAVC/H.264符号化におけるイントラフレームのフリッカ抑圧,” FIT 2004, LJ-009, 2004
【発明の開示】
【発明が解決しようとする課題】
【００３８】
しかし、特許文献１の技術は、画像フレーム内全体の視覚特性が高い場合、あるいは目標レートが極端に低い場合、視覚特性が高い領域の量子化ステップサイズを優先的に細かくできないため、所望する効果が得られなかった。【００３９】
また、特許文献２の技術は、上述したIフレームフリッカは、フレームタイプ別の量子化ステップサイズの比よりも、上述したイントラ符号化とインター符号化のノイズパターンの違いに強く依存しているため、課題を根本的に解決することはできなかった。【００４０】
また、特許文献３の技術は、同じ符号化構造を持つPフレーム間でしか適用できないため、上述したイントラ符号化とインター符号化のノイズパターンの違いによって発生するIフレームフリッカの抑圧には適用できず、課題を解決することはできなかった。【００４１】
また、非特許文献２の技術は、「すべての画像フレームをIフレームで符号化するため、低レートでの画質が悪い」、また「フレーム内予測を画素空間ではなく、変換領域で量子化した後に行うため、イントラ符号化での量子化のノイズを予測誤差信号に重畳するため、低レートでの画質が悪い」、また「PフレームあるいはBフレームなどのインター符号化と併用する場合に適用できない」、また「画像に動きがある場合に適用できない」といった理由から、課題を解決することはできなかった。【００４２】
また、特許文献4の技術は、非特許文献2と同様に、「すべてのフレームをIフレームで符号化するため符号化効率が悪い」、また「PフレームあるいはBフレームなどのフレーム間予測符号化と併用する場合に適用でいない」、また「画像に動きがある場合に適用できない」といった課題があった。【００４３】
また、非特許文献3の技術は、「PフレームあるいはBフレームなどのフレーム間予測を併用した場合、直前に符号化したIフレームと現在の符号化対象のＩフレームのフレーム間距離が離れるため、画像に動きがある場合に効果がでない」、また「完全静止のシーン以外では、画像内でのオブジェクトの座標が画像フレームごとに一定とはならず、この結果、フレーム内予測値の揺らぎを抑えられず、効果がでない」といった課題があった。【００４４】
そこで、本発明は上記の課題に鑑みてみてなされたものであり、その目的は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的に上記のIフレームフリッカの低減を実現することが可能な、動画像符号化方法およびこれを用いた装置あるいはコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００４５】
上記課題を解決する第１の発明は、動画像符号化装置であって、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符号化する手段を具備することを特徴とする。【００４６】
上記課題を解決する第２の発明は、上記第１の発明において、前記インター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去の画像フレームであることを特徴とする。【００４７】
上記課題を解決する第３の発明は、上記第２の発明において、前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。【００４８】
上記課題を解決する第４の発明は、上記第３の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正する手段を具備することを特徴とする。【００４９】
上記課題を解決する第５の発明は、上記第３の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正する手段を具備することを特徴とする。【００５０】
上記課題を解決する第６の発明は、上記第４又は第５の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００５１】
上記課題を解決する第７の発明は、上記第４又は第５の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００５２】
上記課題を解決する第８の発明は、上記第６又は第７の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。【００５３】
上記課題を解決する第９の発明は、上記第８の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。【００５４】
上記課題を解決する第１０の発明は、上記第３の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段を具備することを特徴とする。【００５５】
上記課題を解決する第１１の発明は、上記第３の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段を具備する特徴とする。【００５６】
上記課題を解決する第１２の発明は、上記第１０又は第１１の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする。【００５７】
上記課題を解決する第１３の発明は、動画像符号化方法であって、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符号化することを特徴とする。【００５８】
上記課題を解決する第１４の発明は、上記第１３の発明において、前記インター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去の画像フレームであることを特徴とする。【００５９】
上記課題を解決する第１５の発明は、上記第１４の発明において、前記過去の画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。【００６０】
上記課題を解決する第１６の発明は、上記第１５の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正することを特徴とする。【００６１】
上記課題を解決する第１７の発明は、上記第１５の発明において、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正することを特徴とする。【００６２】
上記課題を解決する第１８の発明は、上記第１６又は第１７の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００６３】
上記課題を解決する第１９の発明は、上記第１６又は第１７の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００６４】
上記課題を解決する第２０の発明は、上記第１８又は第１９の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。【００６５】
上記課題を解決する第２１の発明は、上記第２０の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。【００６６】
上記課題を解決する第２２の発明は、上記第１５の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化することを特徴とする。【００６７】
上記課題を解決する第２３の発明は、上記第１５の発明において、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化することを特徴とする。【００６８】
上記課題を解決する第２４の発明は、上記第２２又は第２３の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用することを特徴とする。【００６９】
上記課題を解決する第２５の発明は、情報処理装置に動画像符号化を行わせるプログラムであって、前記プログラムは前記情報処理装置を、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化する手段として機能させることを特徴とする。【００７０】
上記課題を解決する第２６の発明は、上記第２５の発明において、前記過去にインター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像に対して過去のフレームであることを特徴とする。【００７１】
上記課題を解決する第２７の発明は、上記第２６の発明において、前記過去にインター符号化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化される画像の直前のＰフレームであることを特徴とする。【００７２】
上記課題を解決する第２８の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化の量子化値を、イントラ符号化対象の画像をPフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正する手段として機能させることを特徴とする。【００７３】
上記課題を解決する第２９の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化の量子化値を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて補正する手段として機能させることを特徴とする。【００７４】
上記課題を解決する第３０の発明は、上記第２８又は第２９の発明において、イントラ符号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００７５】
上記課題を解決する第３１の発明は、上記第２８又は第２９の発明において、イントラ符号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる量子化値を用いることを特徴とする。【００７６】
上記課題を解決する第３２の発明は、上記第３０又は第３１の発明において、前記量子化が四捨五入の量子化特性を持つことを特徴とする。【００７７】
上記課題を解決する第３３の発明は、上記第３２の発明において、イントラ符号化の変換係数と、前記補正に用いる画像から得られる変換係数の差分が、インター符号化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の補正が適用されることを特徴とする。【００７８】
上記課題を解決する第３４の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段として機能させることを特徴とする。【００７９】
上記課題を解決する第３５の発明は、上記第２７の発明において、前記プログラムは前記情報処理装置を、イントラ符号化対象の画像を前記Pフレームの画像でフレーム間予測して生成されるフレーム間予測画像を、イントラ符号化する手段として機能させることを特徴とする。【００８０】
上記課題を解決する第３６の発明は、上記第３４又は第３５の発明において、前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインター符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用されることを特徴とする。【００８１】
上記課題を解決する第３７の発明は、動画像符号化装置であって、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させる手段を具備することを特徴とする。【００８２】
上記課題を解決する第３８の発明は、動画像符号化方法であって、イントラ符号化によって生じるノイズを、インター符号化によって生じるノイズに類似させることを特徴とする。【００８３】
上記課題を解決する第３９の発明は、動画像の符号化・復号システムであって、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化する手段と、前記符号化されたデータを復号する復号手段とを有することを特徴とする。【００８４】
上記課題を解決する第４０の発明は、動画像の符号化・復号方法であって、画像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築された画像フレームを利用して符号化するステップと、前記符号化されたデータを復号するステップとを有することを特徴とする。【００８５】
本発明のイントラ符号化は、従来のイントラ符号化に加えて、図２７に示す如く、フレームメモリ109に格納された参照フレームを入力とし、量子化装置103が出力するイントラ符号化のレベル(量子化値)を補正する量子化制御装置999とを備える。【００８６】
現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがインター符号化画像フレームであれば、量子化制御装置999は、インター符号化画像フレームのインター符号化ノイズの特性と、現在のイントラ符号化によるノイズの特性の異なりによるIフレームフリッカを視覚的に低減できるように、イントラ符号化のレベル（量子化値）を、適切に補正する機能を具備する。【００８７】
これによって、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、Iフレームフリッカの低減することができる。
【発明の効果】
【００８８】
本発明は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現することが可能な、動画像符号化方法およびこれを用いた装置あるいはコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００８９】
【図１】図１は画像フレームの構成を示す図である。
【図２】図２は従来の動画像符号化装置のブロック図である。
【図３】図３は途中再生のためのＩフレームの周期的な挿入を説明する為の図である。
【図４】図４はＩフレームフリッカの発生を説明する為の図である。
【図５】図５は従来の変換量子化装置のブロック図である。
【図６】図６はIntra4MBフレーム内予測方向を説明する為の図である。
【図７】図７はIntra16MBフレーム内予測方向を説明する為の図である。
【図８】図８はIntra16MBの符号化構造を説明する為の図である。
【図９】図９は注目画素を説明する為の図である。
【図１０】図１０は従来方法によるＩフレームフリッカの発生を説明する為の図である。
【図１１】図１１は本発明の動画像符号化装置のブロック図である。
【図１２】図１２は補正参照画像生成参照フレームを説明する為の図である。
【図１３】図１３は実施例１におけるＩフレームフリッカ抑圧制御装置のブロック図である。
【図１４】図１４はＩフレームフリッカ抑圧制御信号及びインター符号化再構築画像計算のフローチャートである。
【図１５】図１５は実施例１における変換量子化装置のブロック図である。
【図１６】図１６は変換係数補正のフローチャートである。
【図１７】図１７は本発明の効果を説明する為の図である。
【図１８】図１８は実施例２におけるＩフレームフリッカ抑圧制御装置のブロック図である。
【図１９】図１９はＩフレームフリッカ抑圧制御信号及びフレーム間予測画像計算のフローチャートである。
【図２０】図２０は実施例３における変換量子化装置のブロック図である。
【図２１】図２１は係数量子化のフローチャートである。
【図２２】図２２はＤＣ係数量子化のフローチャートである。
【図２３】図２０は実施例４における変換量子化装置のブロック図である。
【図２４】図２４は予測誤差補正のフローチャートである。
【図２５】図２５は本発明を利用した情報処理装置のブロック図である。
【図２６】図２６は本発明を説明する為の図である。
【図２７】図２７は本発明を説明する為の図である。
【図２８】図２８は本発明の動画復号化装置のブロック図である。
【符号の説明】
【００９０】
１０２    変換装置
１０３    量子化装置
１０４    逆量子化／逆変換装置
２００    変換量子化装置
３００    Iフレームフリッカ抑圧制御装置
３０１    コントローラ
【発明を実施するための最良の形態】
【００９１】
本発明の実施の形態を説明する。【００９２】
まず、以下に本発明の理解を容易にする為に、本発明の要旨について説明する。【００９３】
図２６に、図２に示した従来の動画像符号化装置における、イントラ符号化時に動作するブロックのみを示す。図２６から分かるように、従来方式は、参照フレームすなわち現在の符号化対象と表示時刻の異なる画像フレームの符号化ノイズを考慮することなく、単純に入力画像をイントラ符号化する。【００９４】
このため、参照フレームにインター符号化された画像フレームが含まれている場合に、単純に入力をイントラ符号化すると、上述したIフレームフリッカが発生する。【００９５】
次に、図２７に、本発明の動画符号化装置のイントラ符号化時に動作するブロックを示す。図２７の発明のイントラ符号化は、図２６の従来のイントラ符号化に加えて、フレームメモリ109に格納された参照フレームを入力とし、量子化装置103が出力するイントラ符号化のレベル(量子化値)を補正する量子化制御装置999を備える。【００９６】
現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがインター符号化画像フレームであれば、量子化制御装置999は、インター符号化画像フレームのインター符号化ノイズの特性と、現在のイントラ符号化によるノイズの特性の異なるによるIフレームフリッカを視覚的に低減できるように、イントラ符号化のレベル（量子化値）を、適切に補正する機能を具備する。【００９７】
これによって、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。【００９８】
以下に、本発明の詳細を説明する。
【実施例１】
【００９９】
まず、発明方式と従来方式(JM方式)の違いを明確にするために、JM方式の変換と量子化をより詳しく説明する。【０１００】
JM方式の変換と量子化
図２の変換量子化装置200のより詳細な構成を、以下の図５に示す。【０１０１】
変換装置102は、2D変換装置1021、DC2D変換装置1022、スイッチSW1023によって構成される。2D変換装置1021は予測誤差に対して、以降で説明する2D変換を行う。スイッチSW1023は、供給されるMBタイプが以降で説明するIntra16MBである場合は、2D変換装置1021から供給される変換係数のうちDCの変換係数をDC2D変換装置1022に供給する。DC2D変換装置1022は、供給されるDCの変換係数に対して以降で説明するDC2D変換を行う。【０１０２】
量子化装置103は、係数量子化装置1031とDC係数量子化装置1032によって構成される。係数量子化装置1031は、入力される量子化パラメータ、MBタイプに基づいて、以降で説明する係数量子化によって変換係数を量子化し、レベルを出力する。DC係数量子化装置1032は、入力される量子化パラメータ、MBタイプに基づいて、以降で説明するDC係数量子化によってDC変換係数を量子化し、DCレベルを出力する。【０１０３】
続いて、従来方式の変換量子化装置の動作を、予測値の生成、予測誤差の生成、予測誤差の2D変換、変換係数の量子化の順で説明する。【０１０４】
まず予測値の生成を説明する。予測値はフレーム内予測あるいはフレーム間予測によって生成される。【０１０５】
以下、フレーム内予測とフレーム間予測をそれぞれ説明する。【０１０６】
JM方式のフレーム内予測には、符号化対象MBの単位で隣接する画素からフレーム内予測するMBタイプ(以後、Intra16MBと呼ぶ)と、符号化対象MB内の4x4ブロックの単位で隣接する画素からフレーム内予測するMBタイプ(以後、Intra4MBと呼ぶ)がある。【０１０７】
Intra4MBは、4x4ブロックの単位で図６に示す９種類のフレーム内予測方向を用いてフレーム内予測が可能である。また、Intra16MBは、図７に示す４種類のフレーム内予測方向を用いてフレーム内予測が可能である。【０１０８】
一例として、図6で示した垂直方向に対応するフレーム内予測値pIntraidx(x,y)の生成式を式(1)に示す。
0005234241.tif 000002
ただし、画像フレームの解像度を横width画素、縦height画素とし、現在の符号化対象フレームの時刻をt、再構築フレーム(図２のフレームメモリA107に格納)の画素値をrec(t,i,j){0≦i≦width-1、0≦j≦height-1}、画像フレームにおける符号化対象MBの左上角の座標を(MBx,MBy) {0≦MBx≦width-16、0≦MBy≦height-16}、前記MB内での符号化対象4x4ブロックのインデックスをidx{0≦idx≦15} (図１の中央図参照)、前記インデックスidx の4x4ブロックの左上角のMB内部での座標を
0005234241.tif 000003
とする。【０１０９】
その他の予測方向のIntra4MBのフレーム内予測値あるいはIntra16MBのフレーム内予測値の生成式は非特許文献1を参照されたい。【０１１０】
フレーム間予測値pInteridx(x,y)は、参照フレームと現在の符号化対象フレームのフレーム間距離をf、インデックスidx の4x4ブロックの動きベクトルを(mvxidx, mvyidx)とすると、式(2)で計算することができる。
0005234241.tif 000004
ここで、MC[rec(t-f),xx,yy,mvx,mvy]は、符号化対象の画像フレーム内での座標(xx,yy) {0≦xx≦width-1、0≦yy≦height-1}を動きベクトル(mvx,mvy)画素だけシフトした座標に対応する参照フレームref(t-f)の画素値を読み出す関数である。また、前記MC[rec(t-f),xx,yy,mvx,mvy]は、動きベクトル(mvx,mvy)が小数精度である場合、小数位置の画素値を周辺の整数位置の画素から適切に補間するものとする。【０１１１】
また上記参照フレームref(t)は、式(3)のループ内フィルタ108によって再構築フレームrec(t)にノイズ除去フィルタリングをかけた後の画素で構成される。もちろんノイズ除去フィルタリングがオフであればref(t)とrec(t)は完全一致する。
0005234241.tif 000005
ただしLP[ ]はノイズ除去フィルタリングを示す記号とする。【０１１２】
続いて、予測誤差の生成を説明する。【０１１３】
予測誤差は、入力画素から上述した予測値を減じることで生成される。入力画像フレームをorg(t,i,j){0≦i≦width-1、0≦j≦height-1}、符号化対象MBをsrc(i,j) {0≦i≦15、0≦j≦15}とすると、予測誤差peidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}は式(4)によって計算できる。
0005234241.tif 000006
続いて、予測誤差の2D変換を説明する。【０１１４】
2D変換は、符号化対象MBのMBタイプによって異なる。MBタイプがIntra16MBでなければ式(7)の2D変換、Intra16MBであればさらに式(8)のDC2D変換を行う。
0005234241.tif 000007
0005234241.tif 000008
ただし式(8)の記号”//”は四捨五入である。Intra16MBでは、図8に示すように、各インデックスidx の4x4ブロックのDC係数(Tidx(0, 0))は、さらにひとつの4x4ブロック（以後、DCブロックと呼ぶ）として集められて、さらに変換される。【０１１５】
続いて、変換係数の量子化を説明する。4x4ブロックがDCブロックであれば式(9)のDC係数量子化、そうでなければ式(10)の係数量子化でレベルを計算する。
0005234241.tif 000009
0005234241.tif 000010
0005234241.tif 000011
ここでqp{0≦qp≦51}は符号量制御装置106から供給される量子化パラメータ、式(13)のfintraおよびfinterは量子化の丸め位置を決定するパラメータである。JM方式ではfintra=1/3、finter=1/6である。【０１１６】
以上が、JM方式の変換と量子化の動作である。【０１１７】
従来方式の符号化によって、図９の注目画素がどのように変動するのか、図１０を参照して説明する。図９を参照すると、前記注目画素は、静止領域の画素である場合もあれば、動き領域の画素である場合もある。人間の視覚特性は静止領域に対して敏感で、動き領域に対して鈍感であると一般に言われる。しかし、動き領域の画素でも、人間の目がこれを追従している場合、人間の視覚特性は敏感になる。【０１１８】
図10には、注目画素の入力org(t, vpxt,vpyt)、再構築rec(t, vpxt,vpyt)、予測pred(t,
vpxt,vpyt)、予測誤差pe(t, vpxt,vpyt)、再構築予測誤差recpe(t, vpxt,vpyt)の画素値が時系列でプロットされている。ここで(vpxt,vpyt)は時刻tでの注目画素の画像フレーム内での座標とし、各画素には以下の関係がある。
0005234241.tif 000012
ただしT[ ]は変換処理、Q[ ]は量子化処理、IQIT[ ]は逆量子化/逆変換処理を示す記号とする。【０１１９】
図１０を参照すると、入力の注目画素は比較的なだらかに変化するのに対して、再構築したI3フレームの注目画素には急激な画素値の変化がある。【０１２０】
上述したIフレームでの急激な画素値の変化、すなわちIフレームフリッカの原因は、注目画素の時間軸での連続性を考慮しないで、単純に入力を忠実に再現するイントラ符号化を行うからである。【０１２１】
以下で説明する本発明は、画像をイントラ符号化する時に、インター符号化を用いて符号化された画像のインター符号化ノイズパターンを考慮して、すなわち、注目画素の時間軸での連続性を考慮してイントラ符号化を行うことで、上述した課題であるIフレームフリッカを低減する。なお、以降では、前記「インター符号化を用いて符号化された画像のインター符号化ノイズパターンを考慮したイントラ符号化」を「時間軸での連続性を考慮したイントラ符号化」と呼ぶ。【０１２２】
図１１を参照して本実施例での発明の動画像符号化装置に示す。【０１２３】
図１１の発明方式は、図２の従来方式に加えて、Iフレームフリッカ抑圧制御装置300を備える。また、Iフレームフリッカ抑圧制御装置300から供給されるIフレームフリッカ予測圧制御信号、および補正参照画像とフレーム内予測値の差分である参照予測誤差によって変換量子化装置200の内部動作が従来方式のものと異なる。【０１２４】
Iフレームフリッカ抑圧制御装置300と変換量子化装置200以外の装置は従来方式と同一なので、説明の簡略化のために、Iフレームフリッカ抑圧制御装置300および量子化装置200のみを以下で説明する。【０１２５】
まず本実施形態におけるIフレームフリッカ抑圧制御装置300を説明する。【０１２６】
本実施形態におけるIフレームフリッカ抑圧制御装置300の動作の概略は、イントラ符号化対象の画像を、過去にインター符号化を用いて符号化されたのち再構築された画像フレーム(以後、補正参照画像生成参照フレームと呼ぶ)でフレーム間予測、変換、量子化、逆量子化、逆変換してインター符号化再構築画像recInter(t, vpxt,vpyt)を生成し、これを補正参照画像として出力する。定式的には式(17)となる。
0005234241.tif 000013
また、式(17)のrecInter(t, vpxt,vpytt)は、以下のループ内フィルタ108によってノイズ除去フィルタリングが適用されてもよい。
0005234241.tif 000014
なお、上述した補正参照画像生成参照フレームには、イントラ符号化対象の画像フレームと最もフレーム間相関が高い画像フレームがよい。このため通常、フレーム間距離が短いほど、前記フレーム間相関は高い。このため、Bフレームを用いない符号化では、直前に符号化したPフレームが最も良い(図１２(a)) 。ただし、直前のPフレームで照明などによるフラッシュが発生した場合などでは、さらにその直前のPフレームでもよい。【０１２７】
一方、Bフレームを用いた符号化においては、通常Bフレームは、IフレームやPフレームよりも粗く量子化される。よって、この場合では、補正参照画像生成参照フレームは、粗く量子化されたBフレームよりも、ある程度の画質で符号化された直前のPフレームがよい(図１２(b))。【０１２８】
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の大まかな動作の説明を終了する。【０１２９】
続いて、本実施形態におけるIフレームフリッカ抑圧制御装置300の入出力を説明する。【０１３０】
Iフレームフリッカ抑圧制御装置300の入力は、MBバッファ101から供給される入力MBの画素、およびフレーム間予測装置111から供給されるフレーム間予測値、および符号量制御106から供給される量子化パラメータ、および予測方式推定装置112から供給される動きベクトルとMBタイプである。一方、出力は、変換量子化装置200に供給されるIフレームフリッカ抑圧制御信号、およびフレーム内予測値が減じられた後に変換量子化装置200に供給される補正参照画像、および予測方式推定装置112を制御する動きベクトル推定制御信号である。【０１３１】
続いて、図１３を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置300の構成を説明する。【０１３２】
図１３のIフレームフリッカ抑圧制御装置を参照すると、変換装置102、量子化装置103、逆量子化/逆変換装置104およびコントローラ301を備える。【０１３３】
コントローラ301は、供給される量子化パラメータ、および動きベクトルとMBタイプ、および入力MBとフレーム間予測値の差分から、Iフレームフリッカ抑圧制御信号を計算する。【０１３４】
Iフレームフリッカ抑圧制御信号は「時間軸での連続性を考慮したイントラ符号化を、画像フレーム内のどの領域で適用するか」を示す情報である。【０１３５】
なお、コントローラ301は、予測方式推定装置112がIフレームで、フレーム間予測方式推定(入力MBとのフレーム間予測誤差を最小とする、補正参照画像生成参照フレームからの動きベクトルとインターMBタイプの組を検出する処理)が停止中であれば、動きベクトル推定制御信号により前記フレーム間予測方式推定を動作させる。【０１３６】
変換装置102は、入力MBとフレーム間予測値の差分を変換し、変換係数を量子化装置103に供給する。【０１３７】
量子化装置103は、前記変換係数を供給される前記量子化パラメータに対応する量子化ステップサイズで量子化し、レベルを計算する。【０１３８】
逆量子化/逆変換装置104は、量子化装置103から供給される前記レベルを逆量子化し、さらに逆周波数変換して元の空間領域に戻し、再構築予測誤差を計算する。【０１３９】
前記再構築予測誤差に前記フレーム間予測を加算してインター符号化再構築画像を得て、これを補正参照画像として出力する。【０１４０】
なお、後に、Iフレームフリッカ抑圧制御装置300の外部で、前記補正参照画像は、フレーム内予測値が減じられて参照予測誤差が生成される。参照予測誤差は「時間軸での連続性を考慮したイントラ符号化を、どの程度時間方向に連続となるように行うか」を示す情報である【０１４１】
なお、上記Iフレームフリッカ抑圧制御装置300における変換装置102、量子化装置103、逆量子化/逆変換装置104は従来方式と同一である。【０１４２】
続いて図１４のフローチャートを参照して、上記の動作をより詳細に説明する。【０１４３】
ステップS1001では、入力MBの画素値src(x,
y){ 0≦x≦15、0≦y≦15}と補正参照画像生成参照フレームからのフレーム間予測値pInteridx(x,y){0≦idx≦15、0≦x≦3、0≦y≦3}から、第2の予測誤差pe2idx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(19)で計算する。
0005234241.tif 000015
ただし、本実施例での上述した第2の予測誤差は、Iフレームフリッカ抑圧制御装置300内部だけで利用される。【０１４４】
ステップS1002では、第2の予測誤差pe2idx(x,
y)、MBタイプ、および量子化パラメータqpから、Iフレームフリッカ抑圧制御信号IFlickerControlを、式(20)によって計算する。
0005234241.tif 000016
ただし、qpth1は量子化パラメータの閾値(本実施形態では28)、αは0より大きな値、Tgainは変換のゲイン(本実施形態では16)である。αが1のとき、Sthは画素空間領域でのインター符号化での量子化デッドゾーン幅となる。【０１４５】
また、Iフレームフリッカ抑圧制御信号IFlickerControl=0は「変換係数を補正しない」、IFlickerControl=1は「DC変換係数以外の変換係数を補正する」、IFlickerControl=2は「すべての変換係数を補正する」を意味するものとする。【０１４６】
式(20)の処理によって、時間方向に不連続な領域（すなわちSpe2 >256xSth）のIFlickerControlは零となるので「時間方向に不連続な領域を無理に連続となるように符号化する」といった問題点も生じない。【０１４７】
ステップS1003では、第2の予測誤差pe2idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を、従来方式と同様に量子化、逆量子化、逆変換して第2の再構築予測誤差recpe2idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を計算する。さらに、フレーム間予測値pInteridx(x, y)を加算し、インター符号化再構築画像recInteridx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(23)で計算する。
0005234241.tif 000017
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の説明を終了する。【０１４８】
なお、上述したインター符号化再構築画像は、補正参照画像としてIフレームフリッカ抑圧制御装置300の外部に出力される。前記補正参照画像は、フレーム内予測装置110から供給されるフレーム内予測値が減じられて、参照予測誤差rpeidx(x,
y) 0≦idx≦15、0≦x≦3、0≦y≦3}が式(24)で計算される。
0005234241.tif 000018
Iフレームフリッカ抑圧制御装置300によって、イントラ符号化対象画像の再構築画像が時間方向に連続となるようにどのように符号化するのかを示す情報（Iフレームフリッカ抑圧制御信号）と、イントラ符号化対象画像の再構築画像が時間方向にどの程度連続となるように符号化するかを示す情報（参照予測誤差）が得られる。【０１４９】
続いて説明する発明の変換量子化装置200は、これらの情報を用いて、イントラ符号化対象画像の再構築画像の時間方向で連続性を考慮した符号化を行う。【０１５０】
図１５を参照して、本発明の実施例における量子化装置200を説明する。【０１５１】
本発明の実施例における量子化装置200は、図５の従来方式の構成に加えて、変換係数補正装置201を備える。【０１５２】
変換係数補正装置201は、Iフレームフリッカ抑圧制御装置300から供給されるIフレームフリッカ抑圧制御信号、および補正参照画像からフレーム内予測値を減じた参照予測誤差、および符号量制御装置106から供給される量子化パラメータに基づいて、変換装置102から供給される変換係数およびDC変換係数を補正し、補正変換係数と補正DC変換係数を量子化装置103に供給する。すなわちイントラ符号化の量子化値（レベル）を適応的に補正する。【０１５３】
図５の変換量子化装置との違いは、変換係数補正装置201による変換係数およびDC変換係数の補正だけである。よって、変換係数補正装置201のみを以下では説明する。【０１５４】
図１６のフローチャートを参照して、量子化パラメータをqp, Iフレームフリッカ抑圧制御信号をIFlickerControl、参照予測誤差をrpeidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、変換装置102から供給される変換係数をTidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、DC変換係数をTDC(x, y){0≦x≦3、0≦y≦3}、出力する補正変換係数をT’idx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}、出力する補正DC変換係数をTDC’(x, y) 0≦x≦3、0≦y≦3}として、各ステップの動作を説明する。【０１５５】
ステップS2001では、補正変換係数T’idx(x, y)および補正DC変換係数TDC’(x, y)を式(25),(26)によって初期化する。【０１５６】
T’idx(x,y) = Tidx(x, y) (25)
TDC’(x, y) = TDC’(x,y) (26)
ステップS2002では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（係数を補正するのであれば）ステップS2003、そうでなければ処理を終了する。【０１５７】
ステップS2003では、補正の対象とする変換係数がIntra16MBか否かをみる。Intra16MBでなければステップS2004、そうでなければステップS2005にうつる。【０１５８】
ステップS2004では、すべてのidx, x, y {0≦idx≦15、0≦x≦3、0≦y≦3}の変換係数に対して式(27)の補正を行い、処理を終了する。
0005234241.tif 000019
ここでQsdz1(x,y)はインター符号化の量子化デッドゾーンである。これを用いた式(27)のconditionAの判定により、過剰なイントラ符号化量子化値の補正を防ぐことができる(もちろん、Qsdz1に、より大きな値を用いることも可能であるが、インター符号化の量子化デッドゾーンが最も安定した効果が得られる)。【０１５９】
また、上記の補正は、式(27)ではなく式(33)でもよい。
0005234241.tif 000020
ただしsign(C)はC<0であれば-1、そうでなければ1を返す関数である。【０１６０】
なお式(27)でconditionA(idx,x,y)=Trueとなった場合、補正参照画像とフレーム内予測画像の差分を量子化して得られるレベルが、イントラ符号化のレベルとなる。一方、式(33)でconditionA(idx,x,y)=Trueとなった場合には、補正参照画像とフレーム内予測画像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符号化のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間方向により正確に連続となる。【０１６１】
ステップS2005では、x=y=0以外のすべてのidx,x, y {0≦idx≦15、0≦x≦3、0≦y≦3}の変換係数に対して式(27)の補正を行う。もちろん、式(27)のかわりに式(33)を用いてもよい。【０１６２】
ステップS2006では、Iフレームフリッカ抑圧制御信号IFlickerControlが1か否かをみる。1でなければ(DC変換係数を補正するのであれば)ステップS2007、そうでなければ処理を終了する。【０１６３】
ステップS2007では、すべてのx, y {0≦x≦3、0≦y≦3}の変換係数に対して式(35)のDC変換係数の補正を行い、処理を終了する。
0005234241.tif 000021
0005234241.tif 000022
0005234241.tif 000023
ここでQsdz2(x,y)はDC変換領域でのインター符号化の量子化デッドゾーンである。これを用いた式(35)のconditionBの判定により、過剰なイントラ符号化量子化値の補正を防ぐことができる(もちろん、Qsdz2に、より大きな値を用いることも可能であるが、DC変換領域でのインター符号化の量子化デッドゾーンが最も安定した効果が得られる)。【０１６４】
また上記のDC変換係数の補正は、式(35)ではなく式(40)で計算してもよい。
0005234241.tif 000024
なお式(35)でconditionB(x,y)=Trueとなった場合は、補正参照画像とフレーム内予測画像の差分を量子化して得られるレベルが、イントラ符号化のレベルとなる。一方、式(40)でconditionB(x,y)=Trueとなった場合には、補正参照画像とフレーム内予測画像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符号化のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間方向により正確に連続となる。【０１６５】
以上で変換係数補正装置201の説明を終わる。【０１６６】
上述した発明の動画像符号装置の効果を示す例として、図９でのI3フレームでの注目画素の参照予測誤差を
0005234241.tif 000025
として、再構築画素の連続性を考慮して符号化したときの注目画素の遷移を図１７に示す。【０１６７】
発明の作用によって、予測誤差の変換係数が参照予測誤差の変換係数で補正されて、I3フレームでの注目画素の再構築予測誤差は式(42)になる。
0005234241.tif 000026
これにより発明例(図１７)での再構築予測誤差は、従来例(図１０)の再構築予測誤差よりも量子化幅分だけ小さくなる。この結果、従来例で発生したI3フレームでの注目画素の急激な変化が、発明では抑圧される。【０１６８】
また、参照予測誤差はインター符号化画像から生成されているので、注目画素が静止領域であっても動き領域であっても、上述した効果が得られる。またブロックの単位で、参照予測誤差は計算されるので、画像フレーム内のブロックごとに、適応的に上記のIフレームフリッカの抑圧が適用される。【０１６９】
すなわち本発明は、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンおよび動き領域を含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現可能とする。
【実施例２】
【０１７０】
上述した実施例１の動画像符号化装置では、補正参照画像を計算するために、Iフレームフリッカ抑圧制御装置300は変換、量子化、逆量子化、逆変換の処理が必要であった。本実施形態では、前記変換、量子化、逆量子化、逆変換を必要としない、より簡略化したIフレームフリッカ抑圧制御装置300を説明する。【０１７１】
本実施形態の動画像符号化装置は、実施例１のIフレームフリッカ抑圧制御装置300以外の構成は同一であるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置300のみを以下で述べる。【０１７２】
図１８を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置300の構成を説明する。【０１７３】
実施例１と比較すると、変換装置102、量子化装置103、逆量子化/逆変換装置104が削除されている。コントローラ301は、実施例１と同一である。【０１７４】
この構造より、本実施例で得られる補正参照画像は、イントラ符号化対象の画像を補正参照画像生成参照フレームからフレーム間予測した際の、フレーム間予測画像となる。すなわち補正参照画像は、実施例１の式(17)の第１項を零としたインター符号化再構築画像と等価である。【０１７５】
上述した式(17)の第１項を零とした原理には「時間方向で連続な画像は、前記の画像とフレーム間予測画像がマッチする。このため、予測誤差が小さく、量子化された後に予測誤差が零なる」傾向を利用している。これにより予測誤差の変換、量子化、逆量子化、逆変換をしない分、より少ない演算コストで第1実施形態のIフレームフリッカ抑圧制御装置と同等の機能を実現する。【０１７６】
続いて図１９のフローチャートを参照して、本実施例におけるIフレームフリッカ抑圧制御装置の動作を説明する。【０１７７】
ステップS3001では、入力MBの画素値src(x, y){ 0≦x≦15、0≦y≦15}と補正参照画像生成参照フレームからのフレーム間予測値pInteridx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}から、第2の予測誤差pe2idx(x,
y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(19)で計算する(ステップS1001と同一)。
0005234241.tif 000027
ただし、本実施例での上述した第２の予測誤差は、Iフレームフリッカ抑圧制御装置300内部だけで利用される。【０１７８】
ステップS3002では、第2の予測誤差pe2idx(x, y)、MBタイプ、および量子化パラメータqpから、Iフレームフリッカ抑圧制御信号IFlickerControlを、式(20)によって計算する(ステップS1002と同一)。
0005234241.tif 000028
ただし、qpth1は量子化パラメータの閾値(本実施例では28)である。【０１７９】
ただし、Iフレームフリッカ抑圧制御信号IFlickerControl=0は「変換係数を補正しない」、IFlickerControl=1は「DC変換係数以外の変換係数を補正する」、IFlickerControl=2は「すべての変換係数を補正する」を意味するものとする。【０１８０】
式(20)の処理によって、時間方向に不連続な領域（すなわちSpe2 >
256xSth）のIFlickerControlは零となるので「時間方向に不連続な領域を無理に連続となるように符号化する」といった問題点も生じない。【０１８１】
以上で、本実施形態におけるIフレームフリッカ抑圧制御装置300の説明を終了する。【０１８２】
なお、上述したフレーム間予測値は補正参照画像としてIフレームフリッカ抑圧制御装置300の外部に出力される。前記補正参照画像は、フレーム内予測装置110から供給されるフレーム内予測値が減じられて、参照予測誤差rpeidx(x, y) 0≦idx≦15、0≦x≦3、0≦y≦3}が式(43)で計算される。
0005234241.tif 000029
本実施例のIフレームフリッカ抑圧制御装置300によって、実施例１と同様に、Iフレームフリッカ抑圧制御信号と、参照予測誤差が得られる。【０１８３】
これによって、実施例１と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
【実施例３】
【０１８４】
本実施では、実施例１での変換量子化装置200のように「変換係数を補正して、前記補正した変換係数を量子化する」のではなく、「参照予測誤差の変換係数に基づいて、量子化装置がレベルを直接補正する」変換量子化装置を利用する発明の動画像符号化装置を述べる。【０１８５】
変換量子化装置200内部の構成のみが、第1実施形態あるいは第2実施形態と異なるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置200のみを説明する(もちろん、Ｉフレームフリッカ抑圧制御装置300の構成は、第1実施形態/第2実施形態のどちらでもよい)。【０１８６】
図２０を参照して、本実施形態におけるIフレームフリッカ抑圧制御装置200を説明する。【０１８７】
図２０の変換量子化装置200は、図５の従来方式の構成に加えて変換装置102と同じ機能をもつ変換装置102Bを備える。前記変換装置102Bは、供給される参照予測誤差を、変換装置102の予測誤差と同様に変換し、参照変換係数と参照DC変換係数を出力する。【０１８８】
なお前記参照変換係数RTidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}は式(28)、参照DC変換係数RTDC(x, y) ｛0≦x≦3、0≦y≦3｝は式(36)によって計算されるものとする。【０１８９】
図５の従来方式との動作の違いは、係数量子化装置1031とDC係数量子化装置1032のみである。【０１９０】
よって係数量子化装置1031とDC係数量子化装置1032のみの動作をそれぞれ以下で説明する。【０１９１】
図２１のフローチャートを参照して係数量子化装置1031の動作を説明する。【０１９２】
ステップS4001では、すべての変換係数Tidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を式(10)によって量子化してレベルLidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を計算する。【０１９３】
なおステップS4001は従来方式の係数量子化そのものの動作であり、続くステップS4002からステップS4005までが発明によって追加された動作となる。【０１９４】
ステップS4002では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（係数を補正するのであれば）ステップS4003、そうでなければ処理を終了する。【０１９５】
ステップS4003では、補正した係数の個数を示すカウンタcountLを0として初期化する。【０１９６】
ステップS4004では、countLが256以上か否か（すべてのidx, x, y{0≦idx≦15、0≦x≦3、0≦y≦3}の係数を補正したか否か）をチェックし、countLが256以上であれば処理を終了し、そうでなければステップS4005にうつる。【０１９７】
ステップS4005では、式(44)によってレベルLidx(x, y)を補正し、countLを1インクリメントしてステップS4004に移る。
0005234241.tif 000030
idx = countL/16 (46)
num = countL%16 (47)
x = num %4 (48)
y = num/4 (49)
以上で本実施例における係数量子化装置1031の動作説明を終了する。【０１９８】
続いて図２２のフローチャートを参照してDC係数量子化装置1032の動作を説明する。【０１９９】
ステップS5001では、すべてのDC変換係数TDC(x,
y) {0≦x≦3、0≦y≦3}を式(9)によって量子化してレベルLDC(x, y) {0≦x≦3、0≦y≦3}を計算する。【０２００】
なおステップS5001は従来方式のDC係数量子化そのものの動作であり、続くステップS5002からステップS5005までが発明によって追加された動作となる。【０２０１】
ステップS5002では、Iフレームフリッカ抑圧制御信号IFlickerControlが1でかつMBタイプがIntra16MBか否かをみる。IFlickerControlが1でかつMBタイプがIntra16MBであれば（DC係数を補正するのであれば）ステップS5003、そうでなければ処理を終了する。【０２０２】
ステップS5003では、補正したDC係数の個数を示すカウンタcountDCLを0として初期化する。【０２０３】
ステップS5004では、countDCLが16以上か否か（すべてのx, y{0≦x≦3、0≦y≦3}のDC係数を補正したか否か）をチェックし、countDCLが16以上であれば処理を終了し、そうでなければステップS5005にうつる。【０２０４】
ステップS5005では、式(50)によってレベルLDC(x, y)を補正し、countDCLを1インクリメントしてステップS5004に移る。
0005234241.tif 000031
x = countDCL %4 (52)
y = countDCL /4 (53)
以上で本実施形態におけるDC係数量子化装置1032の動作説明を終了する。【０２０５】
以上説明した本実施形態における変換量子化装置200により、第1実施形態と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
【実施例４】
【０２０６】
本実施例では、実施例１あるいは実施例３で変換量子化装置200のように「変換量子化装置200が参照予測誤差の変換係数を計算する」ことなく、より簡単な構成でIフレームフリッカを低減できる変換量子化装置を利用した発明の動画像符号化装置する。【０２０７】
変換量子化装置200内部の構成のみが、実施例１あるいは実施例３と異なるので、説明の簡略化のために本実施形態におけるIフレームフリッカ抑圧制御装置200のみを説明する(もちろん、Ｉフレームフリッカ抑圧制御装置300の構成は、実施例１又は実施例２のどちらでもよい)。【０２０８】
本実施形態の変換量子化装置200の構成を以下の図２３に示す。【０２０９】
本実施形態における変換量子化装置200は、図５の従来方式の構成に加えて予測誤差補正装置202を備える。予測誤差補正装置202は、供給されるIフレームフリッカ抑圧制御信号/参照予測誤差に基づいて、予測誤差を補正し、補正した予測誤差を変換装置102に供給する。【０２１０】
予測誤差補正装置202以外の装置は、図５の従来方式のものと同じである。よって、以下では予測誤差補正装置202の動作のみを図２４のフローチャートを参照して説明する。【０２１１】
ステップS6001では、Iフレームフリッカ抑圧制御信号IFlickerControlが0か否かをみる。IFlickerControlが0でなければ（予測誤差を補正するのであれば）ステップS6002、そうでなければ処理を終了する。【０２１２】
ステップS6002では、補正した予測誤差の画素数個数を示すカウンタcountpeを0として初期化する。【０２１３】
ステップS6003では、countpeが256以上か否か（すべてのidx, x, y{0≦idx≦15、0≦x≦3、0≦y≦3}の予測誤差を補正したか否か）をチェックし、countpeが256以上であれば処理を終了し、そうでなければステップS6004にうつる。【０２１４】
ステップS6004では、式(54)によって予測誤差peidx(x, y) {0≦idx≦15、0≦x≦3、0≦y≦3}を補正し、countpeを1インクリメントしてステップS6003に移る。
0005234241.tif 000032
idx  = countpe / 16 (57)
num= countpe % 16 (58)
x = num % 4 (59)
y = num / 4 (60)
ここで式(56)のβは1以上の実数(本実施形態では2)である。【０２１５】
以上で予測誤差補正装置202の動作説明を終了する。【０２１６】
ここで、参照予測誤差は、第1実施形態あるいは第2実施形態で説明した補正参照画像とフレーム内予測の差分である。一方、予測誤差は、入力MBとフレーム内予測の差分である。つまり式、本実施形態における変換量子化装置200は、イントラ符号化において、イントラ符号化対象の画像に代えて、上述した補正参照画像を符号化することができる。ただし、無条件にすべてのイントラ符号化対象の画像を置き換えるのではなく、式(54)から分かるように、時間方向に連続とみなされた画像に対してのみ、上述したイントラ符号化対象の画像を補正参照画像に置き換えている【０２１７】
上説明した本実施形態における変換量子化装置200により、第1実施形態と同様に、IフレームだけでなくPフレームおよびBフレームなどのフレーム間予測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にでも、効果的にIフレームフリッカの低減を実現できる。
【実施例５】
【０２１８】
上述した実施例においては、フレーム内予測を用いる動画像符号化装置に発明を適用した場合について述べたが、フレーム内予測を用いない動画像符号化装置に適用することも可能である。【０２１９】
この場合、上述したフレーム内予測値pIntraidx(x, y)の値をすべて0として動作させればよい。【０２２０】
また、この場合(フレーム内予測を用いない場合)での実施例１の動作は、イントラ符号化の量子化値として、インター符号化再構築画像を変換、量子化して得られる量子化値が用いられることになる。もちろん変換量子化装置200の構成は、実施例３のものでもよい。【０２２１】
また、この場合(フレーム内予測を用いない場合)における実施例２の動作は、イントラ符号化の量子化値として、補正参照画像生成参照フレームからのフレーム間予測画像を変換、量子化して得られる量子化値が用いられることになる。もちろん変換量子化装置200の構成は、第3実施形態のものでもよい。【０２２２】
また、この場合(フレーム内予測を用いない場合)における実施例４の動作は、イントラ符号化の対象の画像として、インター符号化再構築画像あるいは補正参照画像生成参照フレームからのフレーム間予測画像が用いられる。【０２２３】
なお上述した実施の形態でおいては、輝度信号に対してのみ発明を適用した場合について述べたが、本発明は色差信号に対しても適用可能である。
【実施例６】
【０２２４】
さらには上述した実施例においては、上述した説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【０２２５】
図２５は、本発明による動画像符号化装置をインプリメントした情報処理システムの一般的ブロック構成図である。【０２２６】
図２５に示す情報処理システムは、プロセッサA1001，プログラムメモリA1002，記憶媒体A1003およびA1004からなる。記憶媒体A1003およびA1004は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【実施例７】
【０２２７】
実施例７では、上述した実施例１から実施例６の動画符号化装置が生成したビットストリームを入力とし、前記ビットストリームを復号した画像を出力とする復号化装置について説明する。【０２２８】
図２８を参照すると、復号化装置は、エントロピー復号化装置D101、逆量子化/逆変換装置D102、フレームメモリD103、フレーム内予測装置D104およびフレーム間予測装置D105によって構成される。【０２２９】
エントロピー復号化装置D101は、ビットストリームに多重化されたレベル、量子化パラメータ、イントラMBタイプ、インターMBタイプ、予測方向、動きベクトルなどのビット列をエントロピー復号化し、元の数値に戻す。【０２３０】
逆量子化/逆変換装置D102は、エントロピー復号化装置D101から供給されるレベルを、逆量子化および逆変換して元の画素空間に戻す。前記元の画素空間に戻されたレベルを予測誤差と呼ぶ。【０２３１】
さらに、前記予測誤差には、SW100から供給される予測値が加算されて、再構築画像フレームとして、フレームメモリD103に格納される。【０２３２】
フレームメモリD103は、動画像符号化装置で説明したフレームメモリA107、ループ内フィルタ装置108、フレームメモリB109を統合した構成となっている。【０２３３】
フレームメモリD103は、格納された再構築画像フレームの表示時刻を監視し、表示時刻となった再構築画像フレームを出力する。【０２３４】
フレーム内予測装置D104は、エントロピー復号化装置D101から供給されるＭＢタイプがイントラＭＢであれば、フレームメモリ105に格納された再構築画像フレームから、供給されるイントラＭＢおよび予測方向に基づき、符号化装置のフレーム内予測装置110と同様にフレーム内予測画像を生成する。【０２３５】
フレーム間予測装置D105は、エントロピー復号化装置D101から供給されるＭＢタイプがインターＭＢであれば、フレームメモリ105に格納された再構築画像フレーム(参照フレーム)から、供給されるインターＭＢタイプおよび動きベクトルに基づき、符号化装置のフレーム間予測装置111と同様にフレーム間予測画像を生成する。【０２３６】
SW100は、エントロピー復号化装置D101から供給されるMBタイプがイントラＭＢであればフレーム内予測装置D104から供給されるフレーム内予測画像を予測値として出力し、インターＭＢであればフレーム間予測装置D105から供給されるフレーム間予測画像を予測値として出力する。【０２３７】
以上説明した処理によって、動画像復号化装置は、入力されるビットストリームを復号し、画像を再構築することができる。
【図１】
0005234241.tif 000033
【図２】
0005234241.tif 000034
【図３】
0005234241.tif 000035
【図４】
0005234241.tif 000036
【図５】
0005234241.tif 000037
【図６】
0005234241.tif 000038
【図７】
0005234241.tif 000039
【図８】
0005234241.tif 000040
【図９】
0005234241.tif 000041
【図１０】
0005234241.tif 000042
【図１１】
0005234241.tif 000043
【図１２】
0005234241.tif 000044
【図１３】
0005234241.tif 000045
【図１４】
0005234241.tif 000046
【図１５】
0005234241.tif 000047
【図１６】
0005234241.tif 000048
【図１７】
0005234241.tif 000049
【図１８】
0005234241.tif 000050
【図１９】
0005234241.tif 000051
【図２０】
0005234241.tif 000052
【図２１】
0005234241.tif 000053
【図２２】
0005234241.tif 000054
【図２３】
0005234241.tif 000055
【図２４】
0005234241.tif 000056
【図２５】
0005234241.tif 000057
【図２６】
0005234241.tif 000058
【図２７】
0005234241.tif 000059
【図２８】
0005234241.tif 000060