(57)【要約】  各周波数位置に対応した変換係数の量子化マトリクスを用いて変換係数の量子化を行う動画像符号化方法において、量子化マトリクスを生成するために使用される生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、生成された前記量子化マトリクスを用いて、前記変換係数を量子化する量子化ステップと、量子化変換係数を符号化し、符号化信号を生成する符号化ステップとでなる。
2007094100.tif 000002
【特許請求の範囲】
【請求項１】
量子化マトリクスを用いて変換係数を量子化する動画像符号化方法において、
量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、
生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化変換係数を生成する量子化ステップと、
前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する符号化ステップと、
を具備する動画像符号化方法。
【請求項２】
前記符号化ステップは前記量子化変換係数と前記生成パラメータとを多重化して符号化する請求の範囲第1項記載の動画像符号化方法。
【請求項３】
符号化対象となる前記入力画像信号の画像状況或いは符号化状況に応じて、前記生成パラメータを設定する量子化マトリクス生成パラメータ設定ステップを有する請求の範囲第1項記載の動画像符号化方法。
【請求項４】
前記量子化マトリクス設定ステップは、画像状況或いは符号化状況に応じて、１つの符号化画像に対して複数の量子化マトリクスを生成するために複数の生成パラメータを設定するステップを含む請求の範囲第1項記載の動画像符号化方法。
【請求項５】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための複数の生成関数を作成するステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項６】
前記量子化マトリクス生成ステップは、量子化マトリクスの生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から、少なくとも１つ以上を含む量子化マトリクスの生成パラメータを用いて量子化マトリクスを生成する請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項７】
前記量子化マトリクス生成ステップは、正弦関数、余弦関数、Ｎ次関数、シグモイド関数、ガウス関数のいずれか１つを用いて定義されている前記生成関数に対応する量子化マトリクス生成パラメータを用いて量子化マトリクスを生成する請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項８】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの生成関数演算精度を、選択した生成パラメータに対応する、前記生成関数のインデックスに対応して変更するステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項９】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときに行われる計算過程が予め対応するテーブルに記録するステップと、生成関数のインデックスに対応して、前記テーブルに記録された計算過程を呼び出して量子化マトリクスを生成するステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１０】
前記符号化ステップは、前記生成パラメータに対して、前記生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から少なくとも１つ以上をシンタクスに多重化するステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１１】
前記量子化マトリクスを用いて、前記量子化変換係数を逆量子化するための逆量子化ステップを有する請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１２】
前記量子化マトリクス生成ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを量子化時に利用するか、利用しないか、を適応的に切り替えることを可能にするステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１３】
前記符号化ステップは、複数の量子化マトリクスの生成に用いられる複数の生成パラメータのセットを設定する場合、前記量子化ステップで利用した、前記量子化マトリクスの生成パラメータセットをシンタクスに多重化するか、多重化しないか、を適応的に切り替えるステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１４】
前記符号化ステップは、前記量子化マトリクスを量子化時に利用する際、符号化シーケンス毎、ピクチャ毎、もしくは符号化スライス毎に、前記量子化マトリクスの生成パラメータを用いて生成された量子化マトリクスを切り替えるステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１５】
前記量子化ステップは、前記量子化マトリクスを、マクロブロックの量子化スケールの値が大きいか、或いは小さいか、に応じて切り替えるステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１６】
前記量子化ステップは、前記量子化マトリクスを、前記入力画像信号の解像度が所定値よい高いか、低いか、に応じて切り替えるステップを含む請求の範囲第1項又は第２項記載の動画像符号化方法。
【請求項１７】
変換係数の各周波数位置に対応した量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化方法において、
量子化マトリクスを生成するための生成パラメータを含む入力符号化信号を復号する復号ステップと、
復号された生成パラメータを基に量子化マトリクスを生成する量子化マトリクス生成ステップと、
前記量子化マトリクス生成ステップで生成された量子化マトリクスを用いて、復号された変換係数を逆量子化する逆量子化ステップと、
前記逆量子化ステップで得られた変換係数をもとに、復号画像を生成する復号画像生成ステップと、
を含む動画像復号化方法。
【請求項１８】
量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化方法において、
量子化マトリクスを生成するための生成パラメータを含む入力符号化信号を復号する復号ステップと、
復号された生成パラメータの状況に基づき異なる量子化マトリクスための生成パラメータを生成し、前記異なる量子化マトリクスための前記生成パラメータの生成方式に従って量子化マトリクスを生成し、適切なタイミングで更新する量子化マトリクス生成ステップと、
前記量子化マトリクス生成ステップで生成された量子化マトリクスを用いて、復号された変換係数を逆量子化する逆量子化ステップと、
前記逆量子化ステップで得られた変換係数をもとに、復号画像を生成する復号画像生成ステップと、
を具備する動画像復号化方法。
【請求項１９】
前記量子化マトリクス生成ステップは、１つの符号化画像に対して生成される複数の量子化マトリクスに複数の生成パラメータのセットを設定するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２０】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための複数の関数を作成するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２１】
前記量子化マトリクス生成ステップは、復号された量子化マトリクス生成パラメータに基づき量子化マトリクスの生成関数のインデックス、量子化マトリクスの変化の程度を表す変化度、歪み度、補正項の中から、少なくとも１つ以上を用いて、量子化マトリクスを生成するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２２】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するための関数が、正弦関数、余弦関数、Ｎ次関数、シグモイド関数、ガウス関数のいずれか１つを用いて定義されており、この関数を用いて量子化マトリクスを生成するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２３】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの生成関数演算精度が、選択した量子化マトリクスの生成パラメータに対応する、前記生成関数のインデックスに対応して変更するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２４】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときに必要とする計算過程が予め対応するテーブルに記録するステップと、生成関数のインデックスに対応して、テーブルから記録された計算過程を呼び出し、量子化マトリクスを生成するステップとを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２５】
前記量子化マトリクス生成ステップは、復号された量子化マトリクスの生成パラメータに基づいて少なくとも１つ以上の量子化マトリクス生成方法を用いて、量子化マトリクスを生成するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２６】
前記量子化マトリクス生成ステップは、復号された量子化マトリクスの生成パラメータ内の生成関数インデックスに対応する生成関数が復号化の際に利用できないとき利用可能な生成関数で代用して量子化マトリクスを生成するステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２７】
前記逆量子化ステップは、前記復号された量子化マトリクスを逆量子化時に利用する際、量子化マトリクスの生成パラメータによって生成された量子化マトリクスを利用するか、利用しないか、を適応的に切り替えるステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２８】
前記復号ステップは、画像内で前記複数の量子化マトリクスを前記逆量子化ステップにおいて利用する際、復号化に利用できる場合は、補助的なシンタクスとして量子化マトリクスの生成パラメータを復号化して逆量子化で利用し、補助的なシンタクスが利用できない時は、予め規定された量子化マトリクスを用いて逆量子化を行うステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項２９】
前記逆量子化ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを前記逆量子化ステップにおいてに利用する際、符号化シーケンス毎、ピクチャ毎、もしくは符号化スライス毎に、前記量子化マトリクスの生成パラメータを用いて生成された量子化マトリクスを切り替えるステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項３０】
前記逆量子化ステップは、前記量子化マトリクス生成ステップで生成された量子化マトリクスを、マクロブロックの量子化スケールの値が所定値より大きいか、或いは小さいか、に応じて切り替えるステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項３１】
前記量子化マトリクス生成ステップで生成された量子化マトリクスを、前記入力画像信号の解像度が所定値より高いか、或いは低いか、に応じて切り替えるステップを含む請求の範囲第1７項又は第１８項記載の動画像復号化方法。
【請求項３２】
量子化マトリクスを用いて変換係数を量子化する動画像符号化装置において、
量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成部と、
生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化係数を生成する量子化部と、
前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する符号化部と、
を具備する動画像符号化装置。
【請求項３３】
量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化装置において、
量子化マトリクスを生成するための生成パラメータを含む入力符号化信号を復号する復号部と、
復号された生成パラメータを基に量子化マトリクスを生成する量子化マトリクス生成部と、
前記量子化マトリクス生成ステップで生成された量子化マトリクスを用いて、復号された変換係数を逆量子化する逆量子化部と、
前記逆量子化部で得られた変換係数をもとに、復号画像を生成する復号画像生成部と、
を具備する動画像復号化装置。
【請求項３４】
量子化マトリクスを用いて変換係数を量子化する処理を含めて動画像を符号化することをコンピュータに実行させる動画像符号化プログラムにおいて、
量子化マトリクスの生成に関する生成関数及び生成パラメータを用いて量子化マトリクスを生成する命令と、
生成された前記量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化し、量子化係数を生成する命令と、
前記生成パラメータ及び前記量子化変換係数を符号化し、符号化信号を生成する命令と、
を具備する動画像符号化プログラム。
【請求項３５】
量子化マトリクスを用いて変換係数の逆量子化を行う処理を含めて動画像を復号することをコンピュータに実行させる動画像符号化プログラムにおいて、
量子化マトリクスを生成するための生成パラメータを含む入力符号化信号を復号する命令と、
復号された生成パラメータを基に量子化マトリクスを生成する命令と、
生成された前記量子化マトリクスを用いて、復号された変換係数を逆量子化する命令と、
前記逆量子化により得られた変換係数をもとに、復号画像を生成する命令と、
を含む動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、量子化マトリクスを用いる動画像符号化／復号化方法及び装置並びにプログラムに関する。
【背景技術】
【０００２】
画像信号を直交変換（例えば離散コサイン変換（ＤＣＴ））した後に得られるＤＣＴ係数の周波数特性を利用して、周波数位置毎にビットアロケーションを行うことで量子化を行う方式が提案されている（非特許文献１）。この従来方式では、低域周波数領域では多くのビットを与えて係数情報を保持し、高域周波数領域では逆にビット精度を下げることによってＤＣＴ係数が効率的に量子化されている。しかし、この従来方式は、量子化の粗さに応じてアロケーションテーブルを保持する必要があり、ロバストな量子化という意味で必ずしも効果的な方式ではない。【０００３】
また、ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣ等で勧告されているＩＴＵ−ＴＴ．８１及びＩＳＯ／ＩＥＣ１０９１８−１（以下ＪＰＥＧ：Joint Photographic Experts Group）では、変換係数を同じ量子化スケールで量子化する場合、全周波数領域に対して、均等に量子化が行われる。しかし、人間の視覚特性では、高周波数領域部分に比較的鈍感である。そこで、ＪＰＥＧでは周波数領域毎に重み付けを行って、量子化スケールを変更することで視覚的に敏感な低周波数領域に多くのレートを割り当て、高周波数領域は逆にレートを削減することで主観画質をあげる方式が提案されている。この方式は、変換量子化ブロック毎に量子化処理を行っている。この量子化に用いられるテーブルは量子化マトリクスと呼ばれている。【０００４】
更に近年、従来よりも大幅に符号化効率を向上させた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同で、ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ  １４４９６−１０（以下、「Ｈ．２６４」という）として勧告されている。ＩＳＯ／ＩＥＣ  ＭＰＥＧ−１，２，４、ＩＴＵ−Ｔ  Ｈ．２６１、Ｈ．２６３といった従来の符号化方式でも、直交変換後のＤＣＴ係数に対して量子化を行い、変換係数の符号量削減を行っている。Ｈ．２６４メインプロファイルでは、量子化パラメータと量子化スケールの関係が、ログスケール上で等間隔になるように設計がされているため、量子化マトリクスは導入されていない。しかし、より高解像度の画像に対して主観画質を向上させるためにＨ．２６４ハイプロファイルでは、新たに量子化マトリクスを導入することとなった（非特許文献２：Jiuhuai Lu, “Proposal of quantization weighting for H.264/MPEG-4 AVC Profeesional Profiles”, JVT of ISO/IEC MPEG& ITU-T VCEG, JVT-K029, March. 2004）。【０００５】
Ｈ．２６４ハイプロファイルでは、２つの変換量子化ブロックサイズ（４ｘ４画素ブロックと８ｘ８画素ブロック）に対応して、符号化モード毎（フレーム内予測とフレーム間予測）及び信号毎（輝度信号、色差信号）に合計８種類の異なる量子化マトリクスを設けることが可能である。【０００６】
量子化マトリクスは、量子化時に各周波数成分位置に応じて画素に重みを加えるために使用されるので、逆量子化時にも同じ量子化マトリクスが必要となる。Ｈ．２６４ハイプロファイルのエンコーダでは、利用した量子化マトリクスを符号化、多重化した後にデコーダに送信している。具体的には、量子化マトリクスのＤＣ成分からジグザグスキャン或いはフィールドスキャン順で差分値を計算し、得られた差分データを可変長符号化して、符号化データとして多重化している。【０００７】
一方、Ｈ．２６４ハイプロファイルのデコーダは、送られてきた符号化データをエンコーダと同様のロジックで復号し、量子化マトリクスとして復元して逆量子化時に利用する。量子化マトリクスの符号量は、最終的には可変長符号化されるが、シンタクス上最小で８ビット、最大で１５００ビット以上必要となる。【０００８】
Ｈ．２６４ハイプロファイルの量子化マトリクス送信方法は、特に携帯やモバイル機器向けの低ビットレートで利用されるアプリケーションにおいて、量子化マトリクスを符号化するためのオーバーヘッドが増加し、符号化効率を大幅に低下させる場合がある。【０００９】
量子化マトリクスを少ないオーバーヘッドで更新するため、ベースとなる量子化マトリクスをまず送信し、その量子化マトリクスからの変化の傾斜を示す係数ｋをデコーダに送信することで、量子化マトリクスの値を調整する方法が提案されている（特許文献３：特開２００３−１８９３０８）。【００１０】
特開２００３−１８９３０８「動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法」では、少ない符号量でピクチャタイプ毎に量子化マトリクスを更新することを目的としており、高々８ビット程度でベースとなる量子化マトリクスの更新が可能である。しかし、ベースの量子化マトリクスからの変化の傾斜のみを送る方式のため、量子化マトリクスの振幅は変更できるが、その特性を変更することは不可能である。また、ベースとなる量子化マトリクスを送信する必要があり、符号化の状況によっては大きな符号量増加と成りえる場合がある。
【発明の開示】
【００１１】
Ｈ．２６４ハイプロファイルに規定されている方法で、量子化マトリクスを符号化してデコーダに送信する場合、量子化マトリクスを符号化するための符号量が増大する、ピクチャ毎に量子化マトリクスを再度送信すると、更に量子化マトリクスを符号化するための符号量が増大する。また、量子化マトリクスの変化の傾斜度を送信する場合、量子化マトリクスの変更の自由度が大幅に制限される。これらの結果、量子化マトリクスを適応的に利用することが困難である、という問題があった。
【００１２】
本発明の一局面は、各周波数位置に対応した変換係数の量子化マトリクスを用いて変換係数の量子化を行う動画像符号化方法において、量子化マトリクスを生成するために使用される生成関数及び生成パラメータを用いて量子化マトリクスを生成する量子化マトリクス生成ステップと、生成された前記量子化マトリクスを用いて、前記変換係数を量子化する量子化ステップと、量子化変換係数を符号化し、符号化信号を生成する符号化ステップとを有する特徴とする動画像符号化方法を提供する。
【図面の簡単な説明】
【００１３】
【図１】図１は本発明の第１の実施形態に従う動画像符号化装置の構成を示すブロック図である。
【図２】図２は第１の実施形態に従う量子化マトリクス生成部の構成を示すブロック図である。
【図３】図３は第１の実施形態に従う画像符号化装置のフローチャートである。
【図４Ａ】図４Ａは第１の実施形態に係わる予測順序・ブロック形状の概略を示す図である。
【図４Ｂ】図４Ｂは１６ｘ１６画素のブロック形状を示す図である。
【図４Ｃ】図４Ｃは４ｘ４画素ブロック形状を示す図である。
【図４Ｄ】図４Ｄは８ｘ８画素ブロック形状を示す図である。
【図５Ａ】図５Ａは第１の実施形態に係わる４ｘ４画素ブロックに対応する量子化マトリクスを示す図である。
【図５Ｂ】図５Ｂは８ｘ８画素ブロックに対応する量子化マトリクスを示す図である。
【図６Ａ】図６Ａは第１の実施形態に係わる量子化マトリクス生成方法を示す図である。
【図６Ｂ】図６Ｂは他の量子化マトリクス生成方法を示す図である。
【図６Ｃ】図６Ｃは他の量子化マトリクス生成方法を示す図である。
【図７】図７は第１の実施形態に従うシンタクス構造の概略図を示す図である。
【図８】図８は第１の実施形態に従うシーケンスパラメータセットシンタクスのデータ構造を示す図である。
【図９】図９は第１の実施形態に従うピクチャパラメータセットシンタクスのデータ構造を示す図である。
【図１０】図１０は第１の実施形態に従うピクチャパラメータセットシンタクスのデータ構造を示す図である。
【図１１】図１１は第１の実施形態に従うサプリメンタルシンタクスのデータ構造を示す図である。
【図１２】図１２は本発明の第２の実施形態に従うマルチパス符号化のフローチャートである。
【図１３】図１３はスライスヘッダーシンタクス内のシンタクス構造を示すずである。
【図１４】図１４はスライスヘッダーシンタクスを示す図である。
【図１５】図１５はスライスヘッダーシンタクスを示す図である。
【図１６】図１６はCurrSliceTypeの一例を示す図である。
【図１７】図１７はスライスヘッダーシンタクスを示す図である。
【図１８】図１８は本発明の第３の実施形態に従う動画像復号化装置の構成を示すブロック図である。
【図１９】図１９は本発明の第３の実施形態に従う動画像復号化装置のフローチャートである。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、本発明の実施形態を詳細に説明する。【００１５】
（第１の実施の形態：符号化）
図１に示す第１の実施形態によると、動画像信号は小画素ブロック毎に分割され、入力画像信号１１６として動画像符号化装置１００に入力される。動画像符号化装置１００では、予測部１０１が行う予測モードとして、ブロックサイズや予測信号の生成方法の異なる複数の予測モードが用意されている。本実施の形態では、図４Ａに示されているように左上から右下に向かって符号化処理がなされるものとする。【００１６】
動画像符号化装置１００に入力される入力画像信号１１６は、図４Ｂに示すように1ブロック当たり１６ｘ１６画素の複数のブロックに分割されている。入力画像信号１１６の一部が予測部１０１へと入力され、後述するモード判定部１０２、変換部１０３、量子化部１０４を介して、最終的に符号化処理部１１１によって符号化される。この符号化画像信号は、出力バッファ１２０に蓄積された後に、符号化制御部１１０が管理する出力タイミングで符号化データ１１５として出力される。【００１７】
図４Ｂに示される１６ｘ１６画素ブロックはマクロブロックと呼ばれ、以下の符号化処理の基本的な処理ブロックサイズとなっている。動画像符号化装置１００は、このマクロブロック単位に入力画像信号１１６を読み込み、符号化処理を行う。マクロブロックが３２ｘ３２画素ブロック単位であっても８ｘ８画素ブロック単位であっても良い。【００１８】
予測部１０１は、参照画像メモリ１０７に一時保存されている、符号化済みの参照画像を用いて、当該マクロブロックで選択可能な全てのモードで予測画像信号１１８を生成する。予測部１０１は、対象画素ブロックで取り得る符号化モードの全ての予測画像信号を生成する。ただし、Ｈ．２６４のフレーム内予測（４ｘ４画素予測（図４Ｃ参照）又は８ｘ８画素予測（図４Ｄ参照））のようにマクロブロック内で局所復号画像を作成しないと、次の予測が行えないような場合には、予測部１０１が直交変換及び量子化、逆量子化及び逆変換を行っても良い。【００１９】
予測部１０１で生成されている予測画像信号１１８は、入力画像信号１１６とともにモード判定部１０２へと入力される。モード判定部１０２は、予測画像信号１１８を逆変換部１０６へ入力するとともに、入力画像信号１１６から予測画像信号１１８を差し引いた予測誤差信号１１９を生成し、変換部１０３へと入力する。同時にモード判定部１０２は、予測部１０１で予測されているモード情報と生成されている予測誤差信号１１６を基にモード判定を行う。より具体的に説明すると本実施の形態では次式（１）のようなコストＫを用いてモード判定を行う。【００２０】
Ｋ＝ＳＡＤ＋λ×ＯＨ            （１）
但し、ＯＨはモード情報、ＳＡＤは予測誤差信号の絶対和、λは定数である。定数λは、量子化幅や量子化パラメータの値に基づいて決められる。このようにして、得られたコストＫを基にモードが決定される。コストＫが最も小さい値を与えるモードが最適モードとして選択される。【００２１】
本実施の形態では、モード情報と予測誤差信号の絶対和を用いたが、別の実施の形態として、モード情報のみ、予測誤差信号の絶対和のみを用いてモードを判定しても良いし、これらに対してアダマール変換等を行い、近似した値を利用しても良い。また、入力画像信号のアクティビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用してコスト関数を作成しても良い。【００２２】
コストを算出するための別の実施の形態として、仮符号化部を用意し、この仮符号化部の符号化モードに基づき生成されている予測誤差信号を実際に符号化したときに得られる符号化データの符号量と、符号化データを局部復号して得られる局部復号画像信号１１３と入力画像信号１１６との二乗誤差を用いてモードを判定しても良い。この場合のモード判定式は次式（２）により表される。【００２３】
Ｊ＝Ｄ＋λ×Ｒ            （２）
但し、Ｊはコスト、Ｄは入力画像信号１１６と局部復号画像信号１１３の二乗誤差を表す符号化歪み、Ｒは仮符号化によって見積もられた符号量を表す。このコストＪを用いた場合は、符号化モード毎に仮符号化と局部復号（逆量子化処理や逆変換処理）が必要になるため、回路規模は増大するが、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することが可能である。符号量のみ、符号化歪みのみを用いてコストを算出しても良いし、これらを近似した値を用いてコスト関数を作成しても良い。【００２４】
モード判定部１０２は変換部１０３及び逆変換部１０６に接続されており、モード判定部１０２で選択されているモード情報と予測誤差信号１１８は、変換部１０３へと入力される。変換部１０３は、入力されている予測誤差信号１１８を変換し、変換係数データを生成する。ここでは、予測誤差信号１１８は例えば離散コサイン変換などを用いて直交変換される。変形例として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を作成しても良い。【００２５】
変換部１０３から得られる変換係数は、量子化部１０４へと送られる。量子化部１０４は、変換係数を量子化する。量子化に必要とされる量子化パラメータは、符号化制御部１１０に設定されている。量子化部１０４は、量子化マトリクス生成部１０９から入力される量子化マトリクス１１４を用いて、変換係数を量子化し、量子化変換係数１１２を生成する。【００２６】
量子化変換係数１１２は、モード情報、量子化パラメータなどの予測方法に関する情報とともに符号化処理部１１１へと入力される。符号化処理部１１１は、入力されているモード情報等とともに、量子化変換係数１１２をエントロピー符号化（例えばハフマン符号化や算術符号化など）する。符号化処理部１１１によるエントロピー符号化によって得られる符号化データ１１５は、動画像符号化部１００から出力バッファ１２０に出力され、多重化等が行われる。多重化情報は出力バッファ１２０を通して送信される。【００２７】
量子化の際に用いられる量子化マトリクス１１４を生成する場合、符号化制御部１１０によって量子化マトリクスの使用の有無を示す指示情報が生成パラメータ設定部１０８へ与えられる。生成パラメータ設定部１０８は、この指示情報に従って量子化マトリクス生成パラメータ１１７を設定し、量子化マトリクス生成部１０９及び符号化処理部１１１へと出力する。【００２８】
量子化マトリクス生成パラメータ１１７は、符号化制御部１１０で制御される外部パラメータ設定部（図示せず）によって設定でき、また符号化画像のブロック単位、スライス単位、ピクチャ単位で更新できる。生成パラメータ設定部１０８は、量子化マトリクス生成パラメータ１１７の設定タイミングを制御する機能も有する。【００２９】
量子化マトリクス生成部１０９は、量子化マトリクス生成パラメータ１１７に定められた方法で量子化マトリクス１１４を生成し、量子化部１０４及び逆量子化部１０５へと出力する。同時に符号化処理部１１１に入力されている量子化マトリクス生成パラメータ１１７は、量子化部１０４から入力されてきたモード情報や変換係数１１２とともに、エントロピー符号化される。【００３０】
逆量子化部１０５は、量子化部１０４によって量子化されている変換係数１１２を、符号化制御部１１０にて設定されている量子化パラメータ、及び量子化マトリクス生成部１０９から入力される量子化マトリクス１１４に従って逆量子化する。逆量子化されている変換係数は、逆変換部１０６へと送られる。逆変換部１０６は逆量子化変換係数に対して逆変換（例えば逆離散コサイン変換など）を行い、予測誤差信号を復元する。【００３１】
逆変換部１０６によって復元されている予測誤差信号１１６は、モード判定部１０２から供給される判定モードの予測画像信号１１８と加算される。予測画像信号１１８が加算されている信号は局部復号信号１１３となり、参照画像メモリ１０７へと入力される。参照画像メモリ１０７は局部復号信号１１３を復元画像として蓄積する。このように参照画像メモリ１０７に蓄積されている画像が、予測部１０１による予測画像信号等の生成の際に参照される参照画像になる。【００３２】
符号化ループ（図１における予測部１０１→モード判定部１０２→変換部１０３→量子化部１０４→逆量子化部１０５→逆変換部１０６→参照画像メモリ１０７といった順序で流れる処理）は、そのマクロブロックで選択可能な全てのモードに対して処理を行った場合に１回のループになる。対象マクロブロックに対して符号化ループが終了すると、次のブロックの入力画像信号１１６が入力され、符号化が行われる。量子化マトリクス生成部１０８は、マクロブロック毎に生成する必要は無い。生成パラメータ設定部１０８で設定されている量子化マトリクス生成パラメータ１１７が更新されない限り、生成済みの量子化マトリクスを保持する。【００３３】
符号化制御部１１０は発生符号量のフィードバック制御及び量子化特性制御、モード判定制御などを行う。また、符号化制御部１１０は発生符号量の制御を行うレート制御、予測部１０１の制御、外部入力パラメータの制御を行う。同時に出力バッファ１２０の制御を行い、適切なタイミングで符号化データを外部に出力する機能を有する。【００３４】
図２に示される量子化マトリクス生成部１０９は、入力される量子化マトリクス生成パラメータ１１７に基づいて量子化マトリクス１１４を生成する。量子化マトリクスとは図５に示されるような行列のことであり、量子化や逆量子化の際に周波数位置毎に、対応する重み付けがなされて量子化される。図５Ａは４ｘ４画素ブロックに対応する量子化マトリクスの１例を示し、図５Ｂは８ｘ８画素ブロックに対応する量子化マトリクスの１例を示す。量子化マトリクス生成部１０９は、生成パラメータ解釈部２０１と切替器２０２、少なくとも１つ以上のマトリクス生成部２０３を有する。生成パラメータ解釈部２０１は、入力されている量子化マトリクス生成パラメータ１１７を解読し、それぞれのマトリクス生成方法に応じて切替器２０２の切替情報を出力する。この切替情報は量子化マトリクス生成制御部２１０で設定され、切替器２０２の出力端を切替える。【００３５】
切替器２０２は、生成パラメータ解釈部２０１から与えられ、量子化マトリクス生成制御部２１０によって設定されている切替情報に従って切り替えられる。例えば、量子化マトリクス生成パラメータ１１７のマトリクス生成タイプが第１タイプである場合には、切替器２０２は、生成パラメータ解釈部２０１の出力端を第１マトリクス生成部２０３へと接続する。一方、量子化マトリクス生成パラメータ１１７のマトリクス生成タイプが第Ｎタイプである場合には、切替器２０２は、生成パラメータ解釈部２０１の出力端を第Ｎマトリクス生成部２０３へと接続する。【００３６】
量子化マトリクス生成パラメータ１１７のマトリクス生成タイプが第Ｍタイプ（Ｎ＜Ｍ）であり、量子化マトリクス生成部１０９内に、第Ｍマトリクス生成部２０３が存在しない場合には、切替器２０２は、生成パラメータ解釈部２０１の出力端を予め規定されている方法で、対応するマトリクス生成部へと接続する。例えば、量子化マトリクス生成部１０９に存在しないタイプの量子化マトリクス生成パラメータが入力されている場合は、切替器２０２は常に第１マトリクス生成部へ出力端を接続する。似たマトリクス生成タイプが分かっている場合には、入力されている第Ｍタイプのマトリクス生成タイプに最も近い、第Ｌマトリクス生成部に接続しても良い。いずれにせよ、量子化マトリクス生成部１０９は予め決められた接続方法で、入力されている量子化マトリクス生成パラメータ１１７に応じて、生成パラメータ解釈部２０１の出力端を第１乃至第Ｎマトリクス生成部２０３の１つへ接続する。【００３７】
各マトリクス生成部２０３では、対応する量子化マトリクス生成パラメータの情報に従って、量子化マトリクス１１４を生成する。具体的には、量子化マトリクス生成パラメータ情報１１７は、マトリクス生成タイプ（Ｔ）、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）の情報で構成されている。これらのパラメータは、異なる名称が与えられているが、実際にはどのような使われ方をしても良い。これらを次式（３）のようなパラメータセットとして定義する。【００３８】
ＱＭＰ＝（Ｔ，Ａ，Ｂ，Ｃ）            （３）
ＱＭＰは量子化マトリクス生成パラメータを表している。マトリクス生成タイプ（Ｔ）は、どのタイプに対応するマトリクス生成部２０３を用いるかを示している。一方、変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）の使用方法はマトリクス生成タイプ毎に自由に定義できる。図６Ａを参照して第１マトリクス生成タイプを説明する。【００３９】
マトリクス生成タイプが１の場合のマトリクス生成関数の例を次式（４）（５）（６）のように表す。
【数１】
2007094100.tif 000003
【００４０】
さらに第１マトリクスタイプの場合に用いられる変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）のテーブル変換例を次式（７）（８）（９）に示す。【００４１】
ａ＝０．１×Ａ                    （７）
Ｂ＝０                            （８）
ｃ＝１６＋Ｃ                      （９）
ここで、変化度（Ａ）は量子化マトリクスの周波数位置におけるＤＣ成分からの距離をｒとしたときの変化の傾きを表している。例えば、変化度（Ａ）が正の値であれば、周波数位置ｒが大きくなるほど、マトリクスの値が大きくなり、高域に大きな値が設定できる。逆に変化度（Ａ）が負の値であれば、ｒが大きくなるほどマトリクスの値は小さくなり、低域において量子化ステップが粗く設定できる。第１マトリクス生成タイプでは、歪み度（Ｂ）は利用せず、常に０の値が設定されている。一方、補正項（Ｃ）は変化の傾き（Ａ）で表される直線の切片を表している。第１マトリクス生成関数は乗算と加算、減算、シフト演算のみで処理が可能なため、ハードウェアコストが小さくできる利点がある。【００４２】
式（７）（８）（９）を用いてＱＭＰ＝（１，４０，０，０）の場合に生成される量子化マトリクスを次式（１０）に示す。
【数２】
2007094100.tif 000004
【００４３】
変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）のそれぞれの変数の精度はハードウェア規模に影響を与えるため、決められた範囲内で効率の良いテーブルを所持することが重要である。式（７）では、変化度（Ａ）を６ビットの非負整数とすると０から６．４までの傾きを取ることが可能であるが、負の値を取ることが出来ない。よって、次式（１１）のように７ビットを利用して変換テーブルを用いることで−６．３から６．４ビットまでの範囲を取ることが可能である。【００４４】
α＝０．１×（Ａ−６３）          （１１）
マトリクス生成タイプ（Ｔ）に対応した変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）の変換テーブルが設けられ、マトリクス生成タイプ（Ｔ）毎に変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）の精度を持つことで、符号化状況及び利用する環境に応じて適切な量子化マトリクス生成パラメータを設定することが可能になる。式（４）（５）（６）で表される第１マトリクス生成タイプは、歪み度（Ｂ）が常に０になるため、これに対応するパラメータを送信する必要は無く、マトリクス生成タイプによっては、利用するパラメータの数を減少しても良い。この場合、利用しないパラメータは符号化されない。【００４５】
次に、第２マトリクス生成タイプとして二次関数を用いた量子化マトリクス生成関数を示す。このマトリクス生成タイプの概念図を図６Ｃに示す。
【数３】
2007094100.tif 000005
【００４６】
前記関数ａ，ｂ，ｃにそれぞれ関連する（Ａ）（Ｂ）（Ｃ）は二次関数の変化の度合い、歪み、補正値をそれぞれ表している。この関数では特に距離が大きくなるにつれ、大幅に値が大きくなる傾向がある。例えば、式（４）（８）（１０）を用いてＱＭＰ＝（２，１０，１，０）のときの量子化マトリックスを計算すると、次式（１４）の量子化マトリクスが生成できる。
【数４】
2007094100.tif 000006
【００４７】
更に第３マトリクス生成タイプのマトリクス生成関数の例を次式（１５）（１６）により表す。
【数５】
2007094100.tif 000007
【００４８】
第１マトリクスタイプに図６Ｂで示される歪み項が加えられている。歪み度（Ｂ）は正弦関数の振幅の大きさを表しており、ｂが正の値を取ると直線が下側に歪む効果が現れる。一方、ｂが負の値のときは、直線は上側に歪む効果が現れる。４ｘ４画素ブロック或いは８ｘ８画素ブロックによって、対応する位相を変更する必要がある。位相を変更することで様々な歪みを生成することができる。式（４）（１５）を用いてＱＭＰ＝（３，３２，７，−６）のときの量子化マトリクスを計算すると、次式（１７）の量子化マトリクスが生成できる。
【数６】
2007094100.tif 000008
【００４９】
本実施の形態では正弦関数を用いたが、余弦関数や他の関数が用いられても良く、位相や周期等が変更されても良い。歪み度（Ｂ）は例えば、シグモイド関数やガウス関数、対数関数やＮ次関数など様々なものを利用可能である。また、正弦関数で表される歪み振幅（Ｂ）を含む変化度（Ａ）、補正項（Ｃ）の変数が整数値で与えられる場合、正弦関数等の処理負荷の高い計算処理を避けるために、変換テーブルを予め所持していても良い。【００５０】
マトリクス生成タイプで用いられる関数は、実数演算となり、毎回符号化時に正弦関数演算を行うと演算処理が増加する。また、正弦関数演算を行うためのハードウェアを用意する必要が生じる。そこで、利用するパラメータの精度に応じた変換テーブルを所持しておいても良い。【００５１】
浮動小数演算は整数演算に比べて処理コストが増大するため、量子化マトリクス生成パラメータはそれぞれ整数値で定義され、マトリクス生成タイプに応じた個別の変換テーブルで対応する値を取り出す。【００５２】
実数精度の演算が可能な場合、次式（１８）を用いて距離を計算しても良い。
【数７】
2007094100.tif 000009
【００５３】
距離に応じて重み付けを行うことで量子化マトリクスの縦方向、横方向の値を変更することも可能である。例えば、垂直方向を重視する場合には、次式（１９）のような距離関数を用いる。
【数８】
2007094100.tif 000010
【００５４】
上式を用いてＱＭＰ＝（２，１，２，８）を用いて量子化マトリクスを生成すると、次式（２０）で表される量子化マトリクスが得られる。
【数９】
2007094100.tif 000011
【００５５】
第１乃至第Ｎマトリクス生成部２０３で生成される量子化マトリクス２０４が、選択的に量子化マトリクス生成部１０９から出力される。量子化マトリクス生成制御部２１０は、切替器２０２を制御しており、生成パラメータ解釈部２０１で、解釈されているマトリクス生成タイプ別に切替器２０２の出力端を切り替える。また、量子化マトリクス生成パラメータに対応した量子化マトリクスが正しく生成されているかのチェック等を行う。【００５６】
以上により本実施の形態にかかる動画像符号化装置１００及び量子化マトリクス生成部１０９の構成を説明した。以下に、本発明の実施の形態にかかる動画像符号化方法を、動画像符号化装置１００及び量子化マトリクス生成部１０９によって実施する例を図３のフローチャートを参照して説明する。【００５７】
先ず、外部メモリ（図示せず）から１フレーム分の画像信号が読み出され、動画像符号化装置１００に入力画像信号１１６として入力される（ステップＳ００１）。このとき、入力画像信号１１６は１６ｘ１６画素のマクロブロック単位に分割されて入力される。また、このとき、量子化マトリックス生成パラメータの設定が行われる（Ｓ００２）。即ち、符号化制御部１１０は、現フレームで量子化マトリクスを利用するかどうかの情報を生成パラメータ設定部１０８へ送る。この情報を受けて生成パラメータ設定部１０８は量子化マトリクス生成パラメータを、量子化マトリクス生成部１０９へ送る。量子化マトリクス生成部１０９は、入力されている量子化マトリクス生成パラメータの方式に従って、量子化マトリクスを生成する。【００５８】
入力画像信号１１６が入力されると、ブロック単位で符号化が開始される（ステップＳ００３）。このとき、入力画像信号１１６の１ブロックが予測部１０１へと入力されと、モード判定部１０２は、符号化モードを示すインデックスやコストを初期化する（ステップＳ００４）。その後、入力画像信号１１６を用いて、予測部１０２にて、ブロックで選択可能な１つのモードにおける予測画像信号１１８が生成される（ステップＳ００５）。この予測画像信号１１８と入力画像信号１１６との差分が計算され、その結果予測誤差信号１１９が生成される。この予測誤差信号１１９の絶対値和ＳＡＤと予測モードの符号量ＯＨとからコストｃｏｓｔが計算される（ステップＳ００６）。もしくは、局部復号を行い局部復号信号１１３を生成し、局部復号信号１１３と入力画像信号１１６との差分値から計算される符号量Ｄと、一時的な符号化を行って算出される符号量Ｒからコストｃｏｓｔを計算する。【００５９】
モード判定部１０２は、計算されているコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔより小さいか否かを判別し（ステップＳ００７）、小さい場合（ＹＥＳ）にはそのコストで最小コストを更新するとともに、その際の符号化モードをｂｅｓｔ＿ｍｏｄｅインデックスとして保持する（ステップＳ００８）。同時に予測画像の保存を行う（ステップＳ００９）。計算されているコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔより大きい場合（ＮＯ）、モード番号を示すｉｎｄｅｘをインクリメントし、インクリメント後のｉｎｄｅｘがモードの最後かどうかを判定する（ステップＳ０１０）。【００６０】
ｉｎｄｅｘがモードの最後の番号であるＭＡＸより大きい場合（ＹＥＳ）、ｂｅｓｔ＿ｍｏｄｅの符号化モード情報及び予測誤差信号１１９が変換部１０３及び量子化部１０４へと渡され、変換及び量子化が行われる（ステップＳ０１１）。量子化されている変換係数１１２が符号化処理部１１１へと入力され、予測情報とともに符号化処理部１１１でエントロピー符号化される（ステップＳ０１２）。一方、ｉｎｄｅｘがモードの最後の番号であるＭＡＸより小さい場合（ＮＯ）、次のｉｎｄｅｘで示される符号化モードの予測画像信号１１８が生成される（ステップＳ００５）。【００６１】
ｂｅｓｔ＿ｍｏｄｅでの符号化が行われると、量子化されている変換係数１１２が逆量子化部１０５及び逆変換部１０６へと入力され、逆量子化及び逆変換が行われる（ステップＳ０１３）。これにより、予測誤差信号が復号される。この復号予測誤差信号がモード判定部１０２から提供されるｂｅｓｔ＿ｍｏｄｅの予測画像信号と加算され、局部復号信号１１３が生成される。この局部復号信号１１３が、参照画像として参照画像メモリ１０７へ保存される（ステップＳ０１４）。【００６２】
１フレームの符号化が終了しているかどうかの判定が行なわれる（ステップＳ０１５）。処理が完了している場合（ＹＥＳ）、次のフレームの入力画像信号が読み込まれ、ステップＳ００２に戻り、符号化処理が行われる。一方、１フレームの符号化処理が完了していない場合（ＮＯ）、ステップ００３に戻り、次の画素ブロックが入力され、符号化処理が継続される。【００６３】
以上が本発明の実施の形態における、動画像符号化装置１００及び動画像符号化方法の概要である。【００６４】
本発明の前記実施の形態においては、量子化マトリクス生成部１０８は、１つのフレームを符号化するために、１つの量子化マトリクスを生成して利用する例を示した。しかし、１つのフレーム内で、複数の量子化マトリクス生成パラメータを入力し、複数の量子化マトリクスを生成することも可能である。この場合、第１乃至第Ｎマトリクス生成部２０３によって異なるマトリクス生成タイプで生成されている量子化マトリクスを、１つのフレーム内で切り替えることが可能になるため、より柔軟な量子化を行うことが可能となる。具体的には、第１マトリクス生成部では、一様な重みを持つ量子化マトリクスを生成し、第２マトリクス生成部では、高域に大きな値を持つ量子化マトリクスを生成する。この２つのマトリクスを符号化対象ブロック毎に変更することで、より細かい範囲で量子化の制御が可能になる。量子化マトリクスを生成するために、送信する符号量は高々数ビット程度であるため、符号化効率を高く維持することが可能である。【００６５】
本発明の実施の形態においては、輝度成分に関する量子化マトリクスの生成に関して４ｘ４画素ブロックサイズと８ｘ８画素ブロックサイズの量子化マトリクス生成手法に関して説明しているが、色差成分に関しても同様の枠組みで量子化マトリクスの生成が可能である。このとき、色差成分の量子化マトリクス生成パラメータをシンタクスに多重化するためのオーバーヘッドの増加を避けるために、輝度成分と同じ量子化マトリクスを利用しても良いし、各周波数位置に対応するオフセットをつけた量子化マトリクスを作成して利用しても良い。【００６６】
本発明の本実施の形態においては、第Ｎマトリクス生成部２０３で、三角関数（正弦関数）を用いた量子化マトリクス生成法について説明したが、利用する関数はシグモイド関数や、ガウス関数でも良く、関数タイプによってより複雑な量子化マトリクスを作成することが可能になる。更に、量子化マトリクス生成制御部２１０から与えられる量子化マトリクス生成パラメータＱＭＰのうち、対応するマトリクス生成タイプ（Ｔ）が動画像符号化装置で利用できない時、そのマトリクス生成タイプ（Ｔ）に良く似たマトリクス生成タイプ、で代用して量子化マトリクスを生成することも可能である。具体的には、第２マトリクス生成タイプは第１マトリクス生成タイプに正弦関数を用いた歪み度が加えられている関数であり、生成される量子化マトリクスの傾向も似ている。そこで、Ｔ＝３が入力されているときに、符号化装置内で第３マトリクス生成部が利用できない場合には、第１マトリクス生成部を利用する。【００６７】
本発明の実施の形態においては、マトリクス生成タイプ（Ｔ）、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）の４つのパラメータを用いていたが、これ以外のパラメータを利用しても良く、マトリクス生成タイプ（Ｔ）によって決められた数のパラメータを利用できる。また、同時にマトリクス生成タイプ（Ｔ）によって予め決められたパラメータの変換テーブルを持っていてもよい。送信する量子化マトリクス生成パラメータの数が少なく、精度が低いほど、このパラメータを符号化するための符号量が少なくなるが、同時に量子化マトリクスの自由度が減少するため、適用するプロファイルやハードウェア規模等のバランスを考慮して、量子化マトリクス生成パラメータの数及び精度を選択すればよい。【００６８】
本発明の実施の形態においては、処理対象フレームを１６ｘ１６画素サイズなどの矩形ブロックに分割し、画面左上のブロックから右下に向かって、順に符号化する場合について説明しているが、処理順は他の順序であっても良い。例えば、右下から左上に処理を行っても良いし、画面中央から渦巻状に処理を行っても良い。右上から左下に行っても良いし、画面の周辺部から中心部に向かって処理を行っても良い。【００６９】
本発明の実施の形態においては、変換量子化ブロックサイズを１６ｘ１６画素単位のマクロブロックとして分割し、さらにフレーム内予測の処理単位として、８ｘ８画素ブロックや４ｘ４画素ブロックの場合について説明しているが、処理対象ブロックは均一なブロック形状にする必要は無く、１６ｘ８画素、８ｘ１６画素、８ｘ４画素、４ｘ８画素、などのブロックサイズに関しても適用可能である。例えば、８ｘ４画素ブロックや２ｘ２画素ブロックに対しても、同様の枠組みで実現が可能である。更に、１つのマクロブロック中で、均一なブロックサイズを取る必要はなく、それぞれ異なるブロックの大きさを選択しても良い。例えば、マクロブロック内で８ｘ８画素ブロックと４ｘ４画素ブロックを混在させても良い。この場合、分割ブロック数が増えると、分割ブロックを符号化するための符号量が増加するが、より精度の高い予測が可能であり、予測誤差を削減することが可能である。よって、変換係数の符号量と局所復号画像とのバランスを考慮して、ブロックサイズを選択すればよい。【００７０】
本発明の実施の形態においては、変換部１０３及び量子化部１０４、逆量子化部１０５及び逆変換部１０６が設けられている。しかし、必ずしも全ての予測誤差信号に対して変換量子化及び逆量子化逆変換を行う必要は無く、予測誤差信号をそのまま符号化処理部１０９で符号化してもよいし、量子化及び逆量子化処理を省略しても良い。同様に、変換処理と逆変換処理を行わなくても良い。【００７１】
（第２の実施の形態：符号化）
図１２のフローチャートを参照して本発明の第２の実施の形態に係るマルチパス符号化を説明する。本実施の形態では、図３の第１の実施の形態と同様の機能を有する符号化フロー、即ちステップＳ００２乃至Ｓ０１５に関しては、説明を省略する。ピクチャ毎に最適な量子化マトリクスを設定する場合、量子化マトリクスの最適化が必要になる。このためにはマルチパス符号化が有効である。このマルチパス符号化によると、量子化マトリクス生成パラメータの効率的な選択が行える。【００７２】
本実施の形態では、マルチパス符号化のために、図１２に示されるように第１の実施の形態のステップＳ００２の前にステップＳ１０１乃至Ｓ１０８が追加される。即ち、先ず、動画像符号化装置１００に１フレーム分の入力画像信号１１６が入力され（ステップＳ１０１）、１６ｘ１６画素のマクロブロック単位に分割されて符号化される。このとき、符号化制御部１１０は、現フレームで利用する量子化マトリクス生成パラメータのインデックスを０に初期化し、最小コストを現すｍｉｎ＿ｃｏｓｔＱを初期化する（ステップＳ１０２）。このとき、量子化マトリクス生成制御部２１０は、量子化マトリクス生成パラメータセットの中からＰＱＭ＿ｉｄｘで示される量子化マトリクス生成パラメータのインデックスを選択し、量子化マトリクス生成部１０９へ送る。量子化マトリクス生成部１０９は、入力されている量子化マトリクス生成パラメータの方式に従って、量子化マトリクスを生成する（ステップＳ１０３）。このとき生成されている量子化マトリクスを用いて１フレーム分の符号化が行われる（ステップＳ１０４）。ここでマクロブロック毎にコストが累積加算され、１フレームの符号化コストが算出される（ステップＳ１０５）。【００７３】
計算されているコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔＱより小さいか否かを判別し（ステップＳ１０６）、算出コストが最小コストより小さい場合（ＹＥＳ）には、その算出コストで最小コストが更新される。その際の量子化マトリクス生成パラメータのインデックスをBｅｓｔ＿ＰＱＭ＿ｉｄｘインデックスとして保持する（ステップＳ１０７）。計算されているコストｃｏｓｔが、最小コストｍｉｎ＿ｃｏｓｔＱより大きい場合（ＮＯ）、ＰＱＭ＿ｉｎｄｅｘをインクリメントし、インクリメント後のＰＱＭ＿ｉｄｘが最後かどうかを判定する（ステップＳ１０８）。かかる判定がＮＯの場合、量子化マトリクス生成パラメータのインデックスが更新され、更なる符号化が続けられる。一方、判定がＹＥＳの場合は、Ｂｅｓｔ＿ＰＱＭ＿ｉｄｘが再度量子化マトリクス生成部１０９へと入力され、本符号化フロー（ステップＳ００２乃至Ｓ０１５）が実行される。マルチパス処理時にＢｅｓｔ＿ＰＱＭ＿ｉｄｘで符号化したときの符号化データを保持している場合、本符号化フローを行なう必要は無く、符号化データの更新によって当該フレームの符号化を終了することが可能である。【００７４】
第２の実施の形態において、マルチパスで符号化する場合、必ずしも１フレーム全体の符号化を行う必要は無く、ブロック単位の変換係数分布から利用する量子化マトリクス生成パラメータを決定することが可能である。例えば、低レート時に生成されている変換係数がほとんど０の場合は、量子化マトリクスを利用せずとも出力される符号化データの性質が変わらないため、処理を大幅に削減することが可能である。【００７５】
量子化マトリクス生成パラメータの符号化方法について説明する。図７は前記実施の形態で用いられるシンタクスの構造の概略を示す。シンタクスは主に３つのパートから成る。ハイレベルシンタクス（４０１）はスライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス（４０２）では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（４０３）では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。これらシンタクスは、さらに詳細なシンタクスで構成されている。即ち、ハイレベルシンタクス（４０１）は、シーケンスパラメータセットシンタクス（４０４）とピクチャパラメータセットシンタクス（４０５）などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス（４０２）は、スライスヘッダーシンタクス（４０６）、スライスデータシンタクス（４０７）などから成る。さらに、マクロブロックレベルシンタクス（４０３）は、マクロブロックヘッダーシンタクス（４０８）、マクロブロックデータシンタクス（４０９）などから構成されている。【００７６】
上述したシンタクスは復号化時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号化時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサプリメンタルシンタクスが存在する。このシンタクスでは、画像の統計データやカメラパラメータなどが記述されており、復号化時にフィルタをかけたり、調整を行えるような役割として用意されている。【００７７】
本実施の形態で、必要になるシンタクス情報はシーケンスパラメータセットシンタクス（４０４）、ピクチャパラメータセットシンタクス（４０５）であり、それぞれのシンタクスを以下で説明する。【００７８】
図８のシーケンスパラメータセットシンタクス内に示されるｅｘ＿ｓｅｑ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇは、量子化マトリクスを利用するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、量子化マトリクスをシーケンス単位で切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、シーケンス内では量子化マトリクスを用いることが出来ない。ｅｘ＿ｓｅｑ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇがＴＲＵＥのときは、更にｅｘ＿ｍａｔｒｉｘ＿ｔｙｐｅ、ｅｘ＿ｍａｔｒｉｘ＿Ａ、ｅｘ＿ｍａｔｒｉｘ＿Ｂ、ｅｘ＿ｍａｔｒｉｘ＿Ｃが送られる。これらはそれぞれ、マトリクス生成タイプ（Ｔ）、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）に対応している。【００７９】
図９のピクチャーパラメータセットシンタクス内に示されるｅｘ＿ｐｉｃ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇは、ピクチャ毎に量子化マトリクスを変更するかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、ピクチャ単位で量子化マトリクスを切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、ピクチャ毎に量子化マトリクスを変更することが出来ない。ｅｘ＿ｐｉｃ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇがＴＲＵＥのときは更にｅｘ＿ｍａｔｒｉｘ＿ｔｙｐｅ、ｅｘ＿ｍａｔｒｉｘ＿Ａ、ｅｘ＿ｍａｔｒｉｘ＿Ｂ、ｅｘ＿ｍａｔｒｉｘ＿Ｃが送信される。これらはそれぞれ、マトリクス生成タイプ（Ｔ）、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）に対応している。【００８０】
ピクチャーパラメータセットシンタクスの別の例として、図１０に複数の量子化マトリクス生成パラメータを送る場合の例を示す。ピクチャーパラメータセットシンタクス内に示されるｅｘ＿ｐｉｃ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇは、ピクチャ毎に量子化マトリクスを変更するかどうかを示すフラグであり、当該フラグがＴＲＵＥであるときは、ピクチャ単位で量子化マトリクスを切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、ピクチャ毎に量子化マトリクスを変更することが出来ない。ｅｘ＿ｐｉｃ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇがＴＲＵＥのときは更にｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅが送られる。この値は、量子化マトリクス生成パラメータのセット数を表しており、この組み合わせによって複数の量子化マトリクスを送ることが可能になる。続いて送られるｅｘ＿ｍａｔｒｉｘ＿ｔｙｐｅ、ｅｘ＿ｍａｔｒｉｘ＿Ａ、ｅｘ＿ｍａｔｒｉｘ＿Ｂ、ｅｘ＿ｍａｔｒｉｘ＿Ｃは、ｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅの値だけ送出され、結果としてピクチャ内で複数の量子化マトリクスを設けることが出来るようになる。更に量子化マトリクスをブロック単位で変更したい場合には、対応する量子化マトリクスの数だけ、ブロック毎にビットを送信し、切り替えればよい。例えば、ｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅが２の場合、マクロブロックヘッダーシンタクスで１ビットのシンタクスを付加し、この値がＴＲＵＥであるかＦＡＬＳＥであるかに応じて、量子化マトリクスを切り替える。【００８１】
本実施の形態において、前述のように複数の量子化マトリクス生成パラメータを１つのフレーム内で保持する場合、それらは補助的なシンタクスに多重化できる。図１１にサプリメンタルシンタクスを用いて複数の量子化マトリクス生成パラメータを送る場合の例を示す。サプリメンタルシンタクス内に示されるｅｘ＿ｓｅｉ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇは、複数の量子化マトリクスを切り替えるかどうかを示すフラグであり、このフラグがＴＲＵＥであるときは、複数の量子化マトリクスを切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、量子化マトリクスを切り替えることが出来ない。ｅｘ＿ｓｅｉ＿ｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｆｌａｇがＴＲＵＥのときは更にｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅが送られる。この値は、量子化マトリクス生成パラメータのセット数を表しており、この組み合わせによって複数の量子化マトリクスを送ることが可能になる。続いて送られるｅｘ＿ｍａｔｒｉｘ＿ｔｙｐｅ、ｅｘ＿ｍａｔｒｉｘ＿Ａ、ｅｘ＿ｍａｔｒｉｘ＿Ｂ、ｅｘ＿ｍａｔｒｉｘ＿Ｃは、ｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅの値だけ送出され、結果としてピクチャ内で複数の量子化マトリクスを設けることが出来るようになる。【００８２】
本発明の本実施の形態において、図７に示されるスライスレベルシンタクス中のスライスヘッダーシンタクスによって、量子化マトリクスの再送信を行うことが可能である。このような場合の例を、図１３を用いて説明する。図１３はスライスヘッダーシンタクス内のシンタクス構造を示している。図１３のスライスヘッダーシンタクス内に示されるslice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、当該フラグがＴＲＵＥであるときは、量子化マトリクスを当該スライスで変更する出来る。一方、フラグがＦＡＬＳＥであるときは、当該スライス内では量子化マトリクスを変更することが出来ない。slice_ex_scaling_matrix_flagがＴＲＵＥのときは更にslice_ex_matrix_typeが送信される。このシンタクスはマトリクス生成タイプ（Ｔ）に対応している。続いてslice_ex_matrix_A、slice_ex_matrix_B、slice_ex_matrix_Cが送信される。これらはそれぞれ、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）に対応している。図１３中のNumOfMatrixは、当該スライスで利用可能な量子化マトリクスの数を表している。この値は、スライスレベル内の更に小さい領域で量子化マトリクスを変更する場合、輝度成分と色成分で量子化マトリクスを変更する場合、量子化ブロックサイズで量子化マトリクスを変更する場合、符号化モード毎に量子化マトリクスを変更する場合などに、夫々対応する量子化マトリクスのモデル化パラメータを送信することが可能である。例として当該スライスで、４ｘ４画素ブロックサイズと８ｘ８画素ブロックサイズの２種類の量子化ブロックが存在し、それぞれに対して異なる量子化マトリクスが利用できる場合、NumOfMatrix値は２がセットされる。【００８３】
本発明の本実施の形態において、図１４のようなスライスヘッダーシンタクスを用いて、スライスレベルで量子化マトリクスを変更することも可能である。図１４では、図１３と比べて送信するモデル化パラメータが３つとなっている。例えば数式（５）を用いた量子化マトリクスの生成を行う場合、歪み度（Ｂ）は常に０に設定されているために送信する必要が無い。そのため、内部パラメータとして初期値を０に保持することで符号化器と復号化器でまったく同じ量子化マトリクスを生成することが可能となる。【００８４】
本発明の本実施の形態において、図１５で表されるスライスヘッダーシンタクスを用いて、パラメータを送信することも可能である。図１５は図１３に加えて、PrevSliceExMatrixType、PrevSliceExMatrix_Ａ、PrevSliceExMatrix_Ｂ（更にPrevSliceExMatrix_Ｃ）が追加されている。より具体的に説明するとslice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、このフラグがＴＲＵＥのときは、図１３、図１４に示されるようにモデル化パラメータをデコーダに送信する。一方、当該フラグがＦＡＬＳＥの場合、PrevSliceExMatrixType、PrevSliceExMatrix_Ａ、PrevSliceExMatrix_Ｂ、（更にPrevSliceExMatrix_Ｃ）が設定される。これらの意味は次のように解釈される。【００８５】
PrevSliceExMatrixTypeは、符号化順で当該スライスの１つ前の同じスライスタイプで符号化された時に使用された生成タイプ（Ｔ）を示している。本変数は、スライスの符号化が終了する直前に更新される。初期値は０に設定されている。【００８６】
PrevSliceExMatrix_Ａは符号化順で当該スライスの１つ前の同じスライスタイプで符号化された時に使用された変化度（Ａ）を示している。本変数は、スライスの符号化が終了する直前に更新される。初期値は０に設定されている。【００８７】
PrevSliceExMatrix_Ｂは符号化順で当該スライスの１つ前の同じスライスタイプで符号化された時に使用された歪み度（Ｂ）を示している。本変数は、スライスの符号化が終了する直前に更新される。初期値は０に設定さている。【００８８】
PrevSliceExMatrix_Ｃは符号化順で当該スライスの１つ前の同じスライスタイプで符号化された時に使用された補正項（Ｃ）を示している。本変数は、スライスの符号化が終了する直前に更新される。初期値は１６に設定されている。【００８９】
CurrSliceTypeは当該符号化スライスのスライスタイプを示しており、例えばI-Slice、P-Slice、B-Slice毎に対応するインデックスが割り当てられている。図１６にCurrSliceTypeの一例を示す。それぞれのスライスタイプ毎に値が割り与えられている。例えば画面内予測のみを用いるI-Sliceでは０が割り与えられている。また、時間順で前に符号化した符号化フレームからの単方向予測と画面内予測を用いることが出来るP-Sliceには１が割り与えられている。一方、双方向予測、単方向予測、画面内予測を用いることが出来るB-Sliceでは２が割り与えられている。【００９０】
このように、直前の同じスライスタイプで符号化された量子化マトリクスのモデル化パラメータを呼び出して再設定することで、モデル化パラメータの送信に必要となる符号量を削減することが可能となる。【００９１】
本発明の本実施の形態において、図１７を用いることも可能である。図１７は、図１５中のNumOfMatrixが削除された構造となっている。符号化スライスで利用可能な量子化マトリクスが１つのみの場合、図１５より簡単化された本シンタクスを用いる。本シンタクスは図１５でNumOfMatrixが１の場合とほぼ同じ動作を示す。【００９２】
復号化器で複数の量子化マトリクスを同一ピクチャ内で保持できる場合、サプリメンタルシンタクスから量子化マトリクス生成パラメータを読み出し、対応する量子化マトリクスを生成する。一方、複数の量子化マトリクスを同一ピクチャ内で保持できない場合、サプリメンタルシンタクスを復号化せず、ピクチャーパラメータセットシンタクスに記述されている量子化マトリクス生成パラメータによって生成されている量子化マトリクスを用いる。【００９３】
以上説明したように前記実施の形態では、対応するマトリクス生成タイプに応じて、量子化マトリクスを生成し、この量子化マトリクスの生成パラメータを符号化することで、量子化マトリクスを送るための符号量を削減でき、且つ、ピクチャ内でも適応的な量子化マトリクス選択が可能になり、主観画質を考慮した量子化や、符号化効率を考慮した符号化などの様々な用途に対応可能な符号化をなすことが出来る。つまり画素ブロックの内容等に応じて好適な符号化をなすことができる。【００９４】
上述したように選択されているモードでの符号化の際、復号画像信号の生成は、選択されているモードについてのみ行えばよく、予測モード判定のためのループ内では、必ずしも実行しなくてもよい。【００９５】
次に、前記動画像符号化装置に対応する動画像復号化装置について説明する。  
（第３の実施の形態：復号化）
図１８に示される本実施形態に係る動画像復号化装置３００によると、入力バッファ３０９は図１の動画像符号化装置１００から送出され、伝送系または蓄積系を経て送られてきた符号化データを一度保存される。保存された符号化データは１フレーム毎にシンタクスに基づいて分離されて復号化処理部３０１に入力する。復号化処理部３０１は、図７に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号化データの各シンタクスの符号列を復号する。この復号により量子化されている変換係数、量子化マトリクス生成パラメータ、量子化パラメータ、予測モード情報、予測切替情報などが復元される。【００９６】
復号化処理部３０１は、復号されたシンタクスから、対応するフレームで量子化マトリクスを利用するかどうかを示すフラグを生成し、それを生成パラメータ設定部３０６へと入力する。このフラグがＴＲＵＥである時は、更に復号化処理部３０１から量子化マトリクス生成パラメータ３１１が、生成パラメータ設定部３０６に入力される。生成パラメータ設定部３０６は量子化マトリクス生成パラメータ３１１の更新機能を有しており、復号化処理部３０１で復号されているシンタクスに基づいて、量子化マトリクス生成パラメータ３１１のセットを量子化マトリクス生成部３０７へと入力する。量子化マトリクス生成部３０７は、入力されている量子化マトリクス生成パラメータ３１１に対応する量子化マトリクス３１８を生成し、逆量子化部３０２へと出力する。【００９７】
符号化処理部３０１から出力される量子化されている変換係数は逆量子化部３０２に入力され、復元されている各情報を基に、量子化マトリクス３１８、量子化パラメータ等を用いて、逆量子化部３０２にて逆量子化される。逆量子化されている変換係数は逆変換部３０３へ入力される。逆変換部３０３は逆量子化されている変換係数を逆変換（例えば逆離散コサイン変換など）し、誤差信号３１３を生成する。ここでは、逆直交変換について説明したが、符号化器でウェーブレット変換や独立成分分析などが行われている場合、逆変換部３０３では対応する逆ウェーブレット変換や逆独立成分解析などが実行されても良い。逆変換部３０３で逆変換されている係数は、誤差信号３１３として、加算器３０８へ送られる。加算器３０８は予測部３０５から出力される予測信号３１５と誤差信号３１３とを加算し、加算信号を復号信号３１４として参照メモリ３０４へ入力する。復号画像３１４は更に動画像復号化部３００外へ送出され、出力バッファ（図示せず）等へ蓄積される。出力バッファに格納されている復号画像は、復号化制御部３１０が管理するタイミングで読み出される。【００９８】
一方、復号化処理部３０１で復号されている予測情報３１６、モード情報などが予測部３０５へ入力される。また、既に符号化されている参照信号３１７が参照メモリ３０４から予測部３０５へ供給される。予測部３０５は、入力されているモード情報等を基に、予測信号３１５を生成し、加算器３０８へ供給する。【００９９】
復号化制御部３１０は、入力バッファ３０７、出力タイミングの制御や、復号化タイミングの制御などを行う。【０１００】
第３の実施の形態の動画像復号化装置３００は上述したように構成されており、以下に、動画像復号装置３００によって実施できる動画像復号化方法を図１９のフローチャートを参照して説明する。【０１０１】
入力バッファ３０９から1フレームの符号化データを読み込み（ステップＳ２０１）、シンタックス構造に従って符号化データを復号化する（ステップＳ２０２）。復号化されているシンタクスに基づき読み込みフレームについて量子化マトリックスを利用するか否かをフラグにより判定する（ステップＳ２０３）。この判定がＹＥＳであると、量子化マトリックス生成パラメータを量子化マトリックス生成部３０７に設定する（ステップ２０４）。量子化マトリックス生成部３０７は生成パラメータに対応する量子化マトリックスを生成する（ステップ２０５）。この量子化マトリックス生成には、上述した動画像符号化装置にて用いた、図２に示される量子化マトリックス生成部１０９と同じ構成の量子化マトリックス生成部３０７が使用され、同じ処理を介して量子化マトリックスが生成される。この量子化マトリックス生成部１０９に生成パラメータを設定する生成パラメータ生成部３０６も符号化装置の生成パラメータ設定部１０８と同じ構成のものが使用される。【０１０２】
即ち、生成パラメータ生成部３０６においても、図７に示されるように、シンタクスは主に３つのパート、即ちハイレベルシンタクス（４０１）、スライスレベルシンタクス（４０２）及びマクロブロックレベルシンタクス（４０３）から成る。また、これらシンタックスは、符号化装置のものと同様にさらに詳細なシンタクスで構成されている。【０１０３】
上述したシンタクスは復号化時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号化時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサプリメンタルシンタクスが存在する。【０１０４】
本実施の形態で、必要になるシンタクス情報はシーケンスパラメータセットシンタクス（４０４）、ピクチャパラメータセットシンタクス（４０５）であり、それぞれのシンタクスは動画像符号化装置においての説明と同様に図８及び図９にそれぞれ示されるようにシーケンスパラメータセットシンタクス及びピクチャーパラメータセットシンタクスが構成されている。【０１０５】
ピクチャーパラメータセットシンタクスの別の例としても動画像符号化装置において説明したように図１０に示されるような複数の量子化マトリクス生成パラメータを送る場合のピクチャーパラメータセットシンタクスが使用できる。但し、量子化マトリクスをブロック単位で変更したい場合には、対応する量子化マトリクスの数だけ、ブロック毎にビットを送信し、切り替えればよい。例えば、ｅｘ＿ｎｕｍ＿ｏｆ＿ｍａｔｒｉｘ＿ｔｙｐｅが２の場合、マクロブロックヘッダーシンタクスで１ビットのシンタクスを付加し、この値がＴＲＵＥであるかＦＡＬＳＥであるかに応じて、量子化マトリクスを切り替える。【０１０６】
本実施の形態において、前述のように複数の量子化マトリクス生成パラメータを１つのフレーム内で保持する場合、補助的なシンタクスに多重化されているデータを利用することが可能である。これについても動画像符号化装置において説明したように図１１に示されるサプリメンタルシンタクスを用いて複数の量子化マトリクス生成パラメータを使用することができる。【０１０７】
本発明の本実施の形態において、図７に示されるスライスレベルシンタクス中のスライスヘッダーシンタクスによって、量子化マトリクスの再受信を行うことが可能である。このような場合の例を、図１３を用いて説明する。図１３はスライスヘッダーシンタクス内のシンタクス構造を示している。図１３のスライスヘッダーシンタクス内に示されるslice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、当該フラグがＴＲＵＥであるときは、量子化マトリクスを当該スライスで変更する出来る。一方、フラグがＦＡＬＳＥであるときは、当該スライス内では量子化マトリクスを変更することが出来ない。slice_ex_scaling_matrix_flagがＴＲＵＥのときは更にslice_ex_matrix_typeが受信される。このシンタクスはマトリクス生成タイプ（Ｔ）に対応している。続いてslice_ex_matrix_A、slice_ex_matrix_B、slice_ex_matrix_Cが受信される。これらはそれぞれ、量子化マトリクスの変化度（Ａ）、歪み度（Ｂ）、補正項（Ｃ）に対応している。図１３中のNumOfMatrixは、当該スライスで利用可能な量子化マトリクスの数を表している。この値は、スライスレベル内の更に小さい領域で量子化マトリクスを変更する場合、輝度成分と色成分で量子化マトリクスを変更する場合、量子化ブロックサイズで量子化マトリクスを変更する場合、符号化モード毎に量子化マトリクスを変更する場合などに、夫々対応する量子化マトリクスのモデル化パラメータを受信することが可能である。例として当該スライスで、４ｘ４画素ブロックサイズと８ｘ８画素ブロックサイズの２種類の量子化ブロックが存在し、それぞれに対して異なる量子化マトリクスが利用できる場合、NumOfMatrix値は２がセットされる。【０１０８】
本発明の本実施の形態において、図１４のようなスライスヘッダーシンタクスを用いて、スライスレベルで量子化マトリクスを変更することも可能である。図１４では、図１３と比べて受信するモデル化パラメータが３つとなっている。例えば数式５を用いた量子化マトリクスの生成を行う場合、歪み度（Ｂ）は常に０に設定されているために受信する必要が無い。そのため、内部パラメータとして初期値を０に保持することで符号化器と復号化器でまったく同じ量子化マトリクスを生成することが可能となる。【０１０９】
また、本発明の本実施の形態において、図１５で表されるスライスヘッダーシンタクスを用いて、パラメータを受信することも可能である。図１５は図１３に加えて、PrevSliceExMatrixType、PrevSliceExMatrix_Ａ、PrevSliceExMatrix_Ｂ（更にPrevSliceExMatrix_Ｃ）が追加されている。より具体的に説明するとslice_ex_scaling_matrix_flagは、当該スライスにおいて量子化マトリクスを利用するかどうかを示すフラグであり、このフラグがＴＲＵＥのときは、図１３、図１４に示されるようにモデル化パラメータを受信する。一方、当該フラグがＦＡＬＳＥの場合、PrevSliceExMatrixType、PrevSliceExMatrix_Ａ、PrevSliceExMatrix_Ｂ、（更にPrevSliceExMatrix_Ｃ）が設定される。これらの意味は次のように解釈される。【０１１０】
PrevSliceExMatrixTypeは、復号化順で当該スライスの１つ前の同じスライスタイプで復号化された時に使用された生成タイプ（Ｔ）を示している。本変数は、スライスの復号化が終了する直前に更新される。初期値は０に設定されている。【０１１１】
PrevSliceExMatrix_Ａは復号化順で当該スライスの１つ前の同じスライスタイプで復号化された時に使用された変化度（Ａ）を示している。本変数は、スライスの復号化が終了する直前に更新される。初期値は０に設定されている。【０１１２】
PrevSliceExMatrix_Ｂは復号化順で当該スライスの１つ前の同じスライスタイプで復号化された時に使用された歪み度（Ｂ）を示している。本変数は、スライスの復号化が終了する直前に更新される。初期値は０に設定さている。【０１１３】
PrevSliceExMatrix_Ｃは復号化順で当該スライスの１つ前の同じスライスタイプで復号化された時に使用された補正項（Ｃ）を示している。本変数は、スライスの復号化が終了する直前に更新される。初期値は１６に設定されている。【０１１４】
ここで、CurrSliceTypeは当該スライスのスライスタイプを示しており、例えばI-Slice、P-Slice、B-Slice毎に対応するインデックスが割り当てられている。図１６にCurrSliceTypeの一例を示す。それぞれのスライスタイプ毎に値が割り与えられている。例えば画面内予測のみを用いるI-Sliceでは０が割り与えられている。また、時間順で前に符号化した符号化フレームからの単方向予測と画面内予測を用いることが出来るP-Sliceには１が割り与えられている。一方、双方向予測、単方向予測、画面内予測を用いることが出来るB-Sliceでは２が割り与えられている。【０１１５】
このように、直前の同じスライスタイプで復号化された量子化マトリクスのモデル化パラメータを呼び出して再設定することで、モデル化パラメータの受信に必要となる符号量を削減することが可能となる。【０１１６】
本発明の本実施の形態において、図１７を用いることも可能である。図１７は、図１５中のNumOfMatrixが削除された構造となっている。当該スライスで利用可能な量子化マトリクスが１つのみの場合、図１６より簡単化された本シンタクスを用いる。本シンタクスは図１５でNumOfMatrixが１の場合とほぼ同じ動作を示す。【０１１７】
上述したように量子化マトリックスが生成されると、復号されている変換係数３１２は量子化マトリックスを用いて逆量子化され（ステップＳ２０６）、更に逆変換部３０３により逆変換される（ステップＳ２０７）。これにより、誤差信号が再生される。このとき、予測部３０５により予測情報３１６に基づいて予測画像が生成され（Ｓ２０９）、この予測画像と誤差信号とが加算される（ステップＳ２０９）。この結果、復号画像信号が再生される。この復号画像信号は参照メモリ３０４に記憶されると共に外部装置に出力される。【０１１８】
以上説明したように本実施の形態では、入力されてきた符号化データを基に対応するマトリクス生成タイプに応じて、量子化マトリクスを生成し、逆量子化で利用することによって、量子化マトリクス自体の符号量を削減できる。【０１１９】
上述した各部の機能は、コンピュータに記憶されているプログラムによって実現できる。【０１２０】
本実施形態においては動画像符号化を例にとり説明したが、静止画像符号化にも本発明を適用することができる。また、ビデオ装置に限らず、オーディオ装置にも適用することができる。【０１２１】
本発明によると、量子化マトリクスを生成するための生成関数のインデックス、量子化マトリクスの変化の度合いを表す変化度、歪み度、補正項のうちいずれかの１つ以上のパラメータを用いて複数の量子化マトリクスを生成し、当該量子化マトリクスを用いて量子化及び逆量子化を行い、最適な量子化マトリクス生成パラメータセットを符号化して送信することで、従来の量子化マトリクス送信方法より高い符号化効率を実現できる。【０１２２】
本発明によれば、低ビットレート時における符号化効率を向上させることが可能な動画像符号化・復号化方法及び装置を実現できる。
【産業上の利用可能性】
【０１２３】
ビデオ、オーディオ装置、モバイル機器、放送、情報端末、ネットワークなどの各分野に渡り動画像、静止画像、音声などの符号化及び復号化に適用できる。
【図１】
2007094100.tif 000012
【図２】
2007094100.tif 000013
【図３】
2007094100.tif 000014
【図４Ａ】
2007094100.tif 000015
【図４Ｂ】
2007094100.tif 000016
【図４Ｃ】
2007094100.tif 000017
【図４Ｄ】
2007094100.tif 000018
【図５Ａ】
2007094100.tif 000019
【図５Ｂ】
2007094100.tif 000020
【図６Ａ】
2007094100.tif 000021
【図６Ｂ】
2007094100.tif 000022
【図６Ｃ】
2007094100.tif 000023
【図７】
2007094100.tif 000024
【図８】
2007094100.tif 000025
【図９】
2007094100.tif 000026
【図１０】
2007094100.tif 000027
【図１１】
2007094100.tif 000028
【図１２】
2007094100.tif 000029
【図１３】
2007094100.tif 000030
【図１４】
2007094100.tif 000031
【図１５】
2007094100.tif 000032
【図１６】
2007094100.tif 000033
【図１７】
2007094100.tif 000034
【図１８】
2007094100.tif 000035
【図１９】
2007094100.tif 000036
【手続補正書】
【提出日】平成19年12月12日(2007.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
量子化マトリクスを用いて変換係数を量子化する動画像符号化方法において、
量子化マトリクスの生成タイプを選択するステップと、
前記生成タイプに対応して予め用意された複数の関数にパラメータを設定して複数の生成関数を求めるステップと、
前記複数の生成関数を用いて複数の量子化マトリクスを生成する量子化マトリクス生成ステップと、
前記複数の量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化して量子化変換係数を生成する量子化ステップと、
前記量子化変換係数、前記生成タイプを示す情報および前記パラメータの情報を多重化して符号化することにより、符号化信号を生成する符号化ステップと、
を含む動画像符号化方法。
【請求項６】
前記パラメータは、量子化マトリクスの変化の程度を表す変化度、歪み度および補正項のうちの少なくとも一つを含む請求の範囲第５項記載の動画像符号化方法。
【請求項７】
前記生成関数を求めるステップは、正弦関数、余弦関数、Ｎ次関数、シグモイド関数、ガウス関数のいずれか一つを用いて定義された前記関数に、前記パラメータを設定することにより前記生成関数を求める、請求の範囲第５項記載の動画像符号化方法。
【請求項８】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの演算精度を、前記生成関数に設定された前記パラメータの精度に対応して変更するステップを含む請求の範囲第５項記載の動画像符号化方法。
【請求項９】
前記生成関数を求めるステップでは、前記パラメータに応じた前記複数の生成関数の計算値が予め格納されたテーブルを選択し、
前記量子化マトリクス生成ステップは、前記選択されたテーブルを参照して前記複数の量子化マトリクスを生成するための計算を行う、請求の範囲第５項記載の動画像符号化方法。
【請求項１０】
（削除）
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
前記符号化ステップは、符号化シーケンス、符号化ピクチャ、もしくは符号化スライスのいずれかのヘッダ情報として、前記複数の量子化マトリクスのうちの前記量子化ステップで用いられた量子化マトリクスを示す情報を符号化する請求の範囲５項記載の動画像符号化方法。
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
変換係数の各周波数位置に対応した量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化方法において、
入力符号化信号を復号して、量子化変換係数、量子化マトリクスの生成タイプを示す情報および量子化マトリクスを生成するための生成関数のパラメータの情報を獲得する復号ステップと、
前記生成タイプに対応して予め用意された複数の関数に前記生成関数のパラメータを設定して、複数の生成関数を求めるステップと、
前記複数の生成関数を用いて、複数の量子化マトリクスを生成する量子化マトリクス生成ステップと、
前記生成された複数の量子化マトリクスを用いて、前記量子化変換係数を逆量子化して、変換係数を求める逆量子化ステップと、
前記変換係数に基づいて、復号画像を生成する復号画像生成ステップと、
を含む動画像復号化方法。
【請求項１８】
（削除）
【請求項１９】
（削除）
【請求項２０】
（削除）
【請求項２１】
前記パラメータは、量子化マトリクスの変化の程度を表す変化度、歪み度および補正項のうちの少なくとも一つを含む請求の範囲第１７項記載の動画像復号化方法。
【請求項２２】
前記生成関数を求めるステップは、正弦関数、余弦関数、Ｎ次関数、シグモイド関数、ガウス関数のいずれか一つを用いて定義された前記関数に、前記パラメータを設定することにより前記生成関数を求める、請求の範囲第１７項記載の動画像復号化方法。
【請求項２３】
前記量子化マトリクス生成ステップは、量子化マトリクスを生成するときの演算精度を、前記生成関数に設定された前記パラメータの精度に対応して変更するステップを含む請求の範囲第１７項記載の動画像復号化方法。
【請求項２４】
前記生成関数を求めるステップでは、前記パラメータに応じた前記複数の生成関数の計算値が予め格納されたテーブルを選択し、
前記量子化マトリクス生成ステップは、前記選択されたテーブルを参照して前記複数の量子化マトリクスを生成するための計算を行う、請求の範囲第１７項記載の動画像復号化方法。
【請求項２５】
（削除）
【請求項２６】
前記量子化マトリクス生成ステップは、復号された量子化マトリクスの生成パラメータ内の生成関数インデックスに対応する生成関数が復号化の際に利用できないとき利用可能な生成関数で代用して量子化マトリクスを生成するステップを含む請求の範囲第１７項記載の動画像復号化方法。
【請求項２７】
（削除）
【請求項２８】
（削除）
【請求項２９】
符号化シーケンス、符号化ピクチャ、又は符号化スライスのいずれかのヘッダ情報として、前記複数の量子化マトリクスのうちの前記逆量子化ステップで用いられた量子化マトリクスを示す情報を符号化する請求の範囲第１７項記載の動画像復号化方法。
【請求項３０】
（削除）
【請求項３１】
（削除）
【請求項３２】
量子化マトリクスを用いて変換係数を量子化する動画像符号化装置において、
量子化マトリクスの生成タイプを選択する選択部と、
前記生成タイプに対応して予め用意された複数の関数にパラメータを設定して複数の生成関数を求める生成関数取得部と、
前記複数の生成関数を用いて複数の量子化マトリクスを生成する量子化マトリクス生成部と、
前記複数の量子化マトリクスを用いて、入力画像信号に関する変換係数を量子化して量子化変換係数を生成する量子化部と、
前記量子化変換係数、前記生成タイプを示す情報および前記パラメータの情報を多重化して符号化することにより、符号化信号を生成する符号化部と、
を含む動画像符号化装置。
【請求項３３】
変換係数の各周波数位置に対応した量子化マトリクスを用いて変換係数の逆量子化を行う動画像復号化装置において、
入力符号化信号を復号して、量子化変換係数、量子化マトリクスの生成タイプを示す情報および量子化マトリクスを生成するための生成関数のパラメータの情報を獲得する復号部と、
前記生成タイプに対応して予め用意された複数の関数に前記生成関数のパラメータを設定して、複数の生成関数を求める生成関数取得部と、
前記複数の生成関数を用いて、複数の量子化マトリクスを生成する量子化マトリクス生成部と、
前記生成された複数の量子化マトリクスを用いて、前記量子化変換係数を逆量子化して、変換係数を求める逆量子化部と、
前記変換係数に基づいて、復号画像を生成する復号画像生成部と、
を含む動画像復号化装置。
【国際調査報告】
2007094100.tif 000037
2007094100.tif 000038
2007094100.tif 000039
2007094100.tif 000040