(57)【特許請求の範囲】
【請求項１】
量子化マトリクスを用いて画像を量子化する量子化手段と、
前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を符号化する符号化手段とを有し、
前記符号化手段は、前記差分値が正の値である場合に、前記差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号を用いて符号化することを特徴とする画像符号化装置。
【請求項２】
前記符号化手段は、前記量子化マトリクス内の複数の係数を走査して、前記第１の係数と、前記第１の係数と走査の順序が隣接する前記第２係数との差分値を符号化することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
さらに、前記差分値が正の値である場合に、前記差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数を用いて符号化する符号化方法、又は当該符号化方法と異なる他の符号化方法のいずれの方法を用いるかを決定する決定手段を有し、
前記符号化手段は、前記決定手段によって決定された符号化方法に基づいて前記量子化マトリクス内の複数の要素の差分値を符号化することを特徴とする請求項１又は請求項２に記載の画像符号化装置。
【請求項４】
前記符号化手段は、同一の絶対値を持つ正負の値に対応する各符号に関し、正の値に対応する符号の長さが、当該正の値と同一の絶対値を持つ負の値に対応する符号の長さよりも短いものを含む正負非対称のテーブルを用いて符号化する符号化方法、又は、同一の絶対値を持つ正負の値に対応する各符号の長さが常に同一である正負対称のテーブルを用いて符号化する前記他の符号化方法を用いて、前記量子化マトリクス内の複数の要素の差分値を符号化することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
さらに、前記決定手段によって決定された符号化方法を示す識別子を生成する生成手段を有し、
前記符号化手段は、前記生成手段によって生成された前記識別子に基づいて前記量子化マトリクス内の複数の要素の差分値を符号化することを特徴とする請求項３に記載の画像符号化装置。
【請求項６】
前記符号化手段は、符号化対象の値に対応するパラメータを用いて前記差分値を符号化することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像符号化装置。
【請求項７】
前記符号化手段は、前記量子化マトリクス内の複数の係数のうち、最初に走査される最初の係数と所定の値との差分値、又は、当該最初の係数の値を符号化することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像符号化装置。
【請求項８】
前記符号化手段は、前記第１の係数と前記第２の係数との差分値を符号化する場合に、前記差分値を正の値を持つインデックスにマッピングし、前記インデックスを符号化し、
前記差分値が負の値である場合に、前記差分値にマッピングされるインデックスよりも小さいインデックスのうち少なくとも一つは、当該負の値よりも大きい絶対値を持つ正の値にマッピングされることを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像符号化装置。
【請求項９】
前記符号化手段は、前記第１の係数と前記第２の係数との差分値を符号化する場合に、符号化対象の値を正の値を持つインデックスにマッピングする複数のテーブルのうち選択されたテーブルを用いて、前記差分値を正の値を持つインデックスにマッピングし、前記インデックス及び前記選択されたテーブルの識別子を符号化し、
前記複数のテーブルのうち第１のテーブル における、同一の絶対値を持つ負の値に対応するインデックスは正の値に対応するインデックスよりも常に大きく、前記第１のテーブルには、任意の負の値に対応するインデックスよりも小さいインデックスに対応する値であって、当該負の値の絶対値よりも大きい正の値が、少なくとも一つ存在することを特徴とする請求項８に記載の画像符号化装置。
【請求項１０】
前記符号化手段は、前記第１のテーブルを生成するために、前記第１のテーブルと異なる第２のテーブル においてインデックスの順に初めて出てくる負の値に対応するインデックスの値を大きくするための調整に関する情報を符号化することを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
量子化マトリクスを用いて画像を量子化する量子化工程と、
前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を符号化する符号化工程とを有し、
前記差分値が正の値である場合に、前記差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号を用いて符号化することを特徴とする画像符号化方法。
【請求項１２】
画像を符号化したビットストリームを復号する画像復号装置であって、
前記ビットストリームに含まれるデータであって前記画像を量子化した量子化係数のデータを逆量子化する場合に用いられる、量子化マトリクスに対応する符号データから、前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を復号する復号手段と、
前記量子化マトリクスを用いて前記量子化係数のデータを逆量子化する逆量子化手段とを有し、
前記復号手段は、前記復号される差分値が正の値である場合に、当該差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号から、前記差分値を復号することを特徴とする画像復号装置。
【請求項１３】
前記復号手段は、前記量子化マトリクス内の複数の係数のうち、前記第１の係数と、前記量子化マトリクスの符号化時の走査の順序が前記第１の係数と隣接する前記第２の係数との差分値を復号することを特徴とする請求項１２に記載の画像復号装置。
【請求項１４】
さらに、前記復号される差分値が正の値である場合に、前記差分値が当該正の値と同一の絶対値を持つ負の値である場合のビット数より少ないビット数の符号から前記差分値を復号する復号方法、又は当該復号方法とは異なる他の復号方法のいずれの方法を用いるかを決定する決定手段を有し、
前記復号手段は、前記決定手段によって決定された復号方法に基づいて前記量子化マトリクス内の複数の要素の差分値を復号することを特徴とする請求項１２又は請求項１３に記載の画像復号装置。
【請求項１５】
前記復号手段は、同一の絶対値を持つ正負の値に対応する各符号に関し、正の値に対応する符号の長さが、当該正の値と同一の絶対値を持つ負の値に対応する符号の長さよりも短いものを含む正負非対称のテーブルを用いて復号する復号方法、又は、同一の絶対値を持つ正負の値に対応する各符号の長さが常に同一である正負対称のテーブルを用いて復号する前記他の復号方法を用いて、前記量子化マトリクス内の複数の要素の差分値を復号することを特徴とする請求項１４に記載の画像復号装置。
【請求項１６】
さらに、前記決定手段によって決定された復号方法を示す識別子を取得する取得手段を有し、
前記復号手段は、前記取得手段によって取得された前記識別子に基づいて前記量子化マトリクス内の複数の要素の差分値を復号することを特徴とする請求項１４に記載の画像復号装置。
【請求項１７】
前記復号手段は、前記量子化マトリクスに対応する符号データから得られる符号データから、当該得られる符号データに対応するパラメータを用いて、前記差分値を復号することを特徴とする請求項１２乃至請求項１６のいずれか一項に記載の画像復号装置。
【請求項１８】
前記復号手段は、前記量子化マトリクス内の複数の係数のうち、走査の順序が最初の係数と所定の値との差分値、又は当該最初の係数の値を、復号することを特徴とする請求項１２乃至請求項１７のいずれか一項に記載の画像復号装置。
【請求項１９】
前記復号手段は、前記第１の係数と前記第２の係数との差分値を復号する場合に、正の値を持つインデックスを再生し、インデックスと差分値とのマッピングに関するテーブルを用いて前記再生したインデックスから前記差分値を生成し、
前記再生したインデックスが負の値に対応する場合に、前記再生したインデックスより小さいインデックスのうち少なくとも一つは、当該負の値よりも大きい絶対値を持つ正の値に対応することを特徴とする請求項１２乃至請求項１８のいずれか一項に記載の画像復号装置。
【請求項２０】
前記復号手段は、前記第１の係数と前記第２の係数との差分値を復号する場合に、正の値を持つインデックスを再生し、インデックスと差分値とのマッピングに関する複数のテーブルのうち選択されたテーブルに関する識別子を復号し、前記選択されたテーブルを用いて前記再生したインデックスから前記差分値を生成し、
前記複数のテーブルのうち第１のテーブルにおける、同一の絶対値を持つ負の値に対応するインデックスは正の値に対応するインデックスよりも常に大きく、前記第１のテーブルには、任意の負の値に対応するインデックスよりも小さいインデックスに対応する値であって、当該負の値の絶対値よりも大きい正の値が少なくとも一つ存在することを特徴とする請求項１９に記載の画像復号装置。
【請求項２１】
前記復号手段は、前記第１のテーブルを生成するために、前記第１のテーブルと異なる第２のテーブルにおいてインデックスの順に初めて出てくる負の値に対応するインデックスの値を大きくするための調整に関する情報を復号することを特徴とする請求項２０に記載の画像復号装置。
【請求項２２】
画像を符号化したビットストリームを復号する画像復号方法であって、
前記ビットストリームに含まれるデータであって前記画像を量子化した量子化係数のデータを逆量子化する場合に用いられる、量子化マトリクスに対応する符号データから、前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を復号する復号工程と、
前記量子化マトリクスを用いて前記量子化係数のデータを逆量子化する逆量子化工程とを有し、
前記復号される差分値が正の値である場合に、当該差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号から、前記差分値を復号することを特徴とする画像復号方法。
【請求項２３】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至請求項１０のいずれか一項に記載の画像符号化装置として機能させることを特徴とするプログラム。
【請求項２４】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１２乃至請求項２１のいずれか一項に記載の画像復号装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に画像中の量子化マトリクスの符号化方法・復号方法に関する。
【背景技術】
【０００２】
動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においてはｓｃａｌｉｎｇ＿ｌｉｓｔ情報を符号化することにより、量子化マトリクスの各要素を任意の値に変更することができる。非特許文献１の７．３．２．１．１．１節の記載によれば、直前の要素に差分値であるｄｅｌｔａ＿ｓｃａｌｅを加算することで量子化マトリクスの各要素は任意の値をとることができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４  （０３／２０１０）  Ａｄｖａｎｃｅｄｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Ｈ．２６４においては、前述の差分値であるｄｅｌｔａ＿ｓｃａｌｅを図５（ａ）に示されるｓｉｇｎｅｄ  Ｅｘｐ−Ｇｏｌｏｍｂ符号と呼ばれる方式を用いて符号化する。例えば、直前の要素と符号化する要素との差分が０であれば二値符号１を符号化し、差分が−２であれば二値符号００１０１を符号化する。この方式では、符号化対象値の絶対値が大きくなるほど二値符号長が大きくなり、負の値でも正の値でも絶対値が同一であれば、かかる符号長が同一となるという特徴がある。
【０００５】
また、Ｈ．２６４においては、量子化マトリクスの左上の低周波成分にあたる要素から右下の高周波成分にあたる要素の方向に量子化マトリクス内の各要素を走査する。一般的に画像符号化においては、人間の視覚特性に合わせて低周波成分の要素を小さくし、高周波成分の要素を大きくすることが多い。そのため、走査された量子化係数の要素は左上から右下にかかるにつれ大きくなり、符号化対象となる直前の要素との差分も負の値よりも正の値をとる確率が大きくなっていた。
【０００６】
しかしながら、Ｈ．２６４で用いられているｓｉｇｎｅｄ  Ｅｘｐ−Ｇｏｌｏｍｂ符号では、正の値と負の値にかかる符号長が同一であるため、量子化マトリクスの符号量が多くなってしまうという課題が生じていた。
【０００７】
したがって、本発明は上述した課題を解決するためになされたものであり、量子化マトリクスの符号化に正負非対称の符号化方式を導入することにより、高効率の量子化マトリクス符号化・復号を実現することを目的としている。
【課題を解決するための手段】
【０００８】
上述課題を解決するため、本発明の画像符号化装置は以下の構成を有する。即ち、量子化マトリクスを用いて画像を量子化する量子化手段と、前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を符号化する符号化手段とを有し、前記符号化手段は、前記差分値が正の値である場合に、前記差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号を用いて符号化することを特徴とする。
【０００９】
また、本発明の画像復号装置は以下の構成を備える。即ち、画像を符号化したビットストリームを復号する画像復号装置であって、前記ビットストリームに含まれるデータであって前記画像を量子化した量子化係数のデータを逆量子化する場合に用いられる、量子化マトリクスに対応する符号データから、前記量子化マトリクスに含まれる複数の係数のうち、第１の係数と第２の係数との差分値を復号する復号手段と、前記量子化マトリクスを用いて前記量子化係数のデータを逆量子化する逆量子化手段とを有し、前記復号手段は、前記復号される差分値が正の値である場合に、当該差分値が当該正の値と同一の絶対値を持つ負の値である場合の符号のビット数より少ないビット数の符号から、前記差分値を復号することを特徴とする。
【発明の効果】
【００１０】
本発明により、量子化マトリクス符号化のための符号量を削減し、高効率の量子化マトリクス情報符号化・復号が可能になる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】実施形態２における画像復号装置の構成を示すブロック図
【図３】実施形態３における画像符号化装置の構成を示すブロック図
【図４】実施形態４における画像復号装置の構成を示すブロック図
【図５】（ａ）、（ｂ）正負対称および正負非対称の符号化テーブルの一例を示す図
【図６】量子化マトリクスの一例を示す図
【図７】量子化マトリクスの符号化例を示す図
【図８】（ａ）、（ｂ）ビットストリーム構造の一例を示す図
【図９】実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート
【図１０】実施形態２に係る画像復号装置における画像復号処理を示すフローチャート
【図１１】実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート
【図１２】実施形態４に係る画像復号装置における画像復号処理を示すフローチャート
【図１３】本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図
【図１４】（ａ）、（ｂ）実施形態５および実施形態６における正負非対称の符号化テーブルの一例を示す図
【図１５】（ａ）、（ｂ）正負の値を正のインデックスにマッピングするためのテーブルの一例を示す図
【図１６】（ａ）、（ｂ）正のインデックスに対する符号化テーブルの一例を示す図
【図１７】実施形態５および実施形態６における量子化マトリクスの符号化例を示す図
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
また、本発明では、同一の絶対値を持つ正負の値に対応する符号の長さが正の値に対応する符号長が短いものが含まれている符号化方式を正負非対称の符号化方式と呼称する。また、その符号化処理に用いられる符号化テーブルを正負非対称の符号化テーブルと呼称し、その復号処理に用いられる復号テーブルを正負非対称の復号テーブルと呼称する。例えば、図５（ｂ）に示される符号化テーブルは正負非対称の符号化テーブルの一例である。一方、図５（ａ）に示されるｓｉｇｎｅｄ  Ｅｘｐ−Ｇｏｌｏｍｂ方式のように、同一の絶対値を持つ正負の値に対応する符号の長さが常に同一である符号化方式を正負対称の符号化方式と呼称する。また、その符号化処理に用いられる符号化テーブルを正負対称の符号化テーブルと呼称し、その復号処理に用いられる復号テーブルを正負対称の復号テーブルと呼称する。
【００１４】
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。
【００１５】
図１において、１０１は入力画像を複数のブロックに分割するブロック分割部である。１０２はブロック分割部１０１で分割された各ブロックを、ブロック単位で予測を行い、予測方法を決定し、それに従って差分値算出を行い、予測誤差を算出する予測部である。静止画または動画の場合のイントラフレームではイントラ予測を行い、動画の場合は動き補償予測も行うものとする。イントラ予測は一般的には、複数の参照方法に対して、周囲の画素のデータからその予測値を算出する参照画素を参照する方法（予測方法）を選択することで実現する。
【００１６】
１０３は各ブロックの予測誤差に対して直交変換を行う変換部であり、入力されたブロックサイズまたはそれを細分化したブロックサイズを単位に直交変換を行い、直交変換係数を算出する。以下では直交変換を行うブロックを変換ブロックと呼称する。直交変換に関しては特に限定しないが、離散コサイン変換やアダマール変換等を用いてもよい。また、本実施形態では説明のため、８×８画素のブロック単位の予測誤差を縦横２分割し、４×４画素の変換ブロック単位で直交変換を行うものとするが、変換ブロックの大きさはこれに限定されない。ブロックと同一の大きさの変換ブロックを用いて直交変換を行っても良いし、ブロックを縦横２分割よりもさらに細かい単位で分割した変換ブロックを用いて直交変換を行っても良い。
【００１７】
１０６は量子化マトリクスを生成し、一旦格納する量子化マトリクス保持部である。格納される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値としてあらかじめ指定されたものを使用してももちろん良い。
【００１８】
１０４は量子化マトリクス保持部１０６に格納された量子化マトリクスによって、前記直交変換係数を量子化する量子化部である。この量子化によって量子化係数を得ることができる。１０５はこのようにして得られた量子化係数を、符号化して量子化係数符号データを生成する係数符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。１０７は量子化マトリクス保持部１０６に格納された量子化マトリクスを符号化して、量子化マトリクス符号データを生成する量子化マトリクス符号化部である。
【００１９】
１０８はヘッダ情報や予測、変換に関する符号を生成するとともに、係数符号化部１０５で生成された量子化係数符号データおよび量子化マトリクス符号化部１０７で生成された量子化マトリクス符号データを統合する統合符号化部である。予測、変換に関する符号とは、例えば選択した予測方法や変換ブロックの分割の様子等の符号であるとする。
【００２０】
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化の処理においても適用可能である。本実施形態では説明のため、ブロック分割部１０１においては８×８画素のブロックに分割するものとして説明するが、これに限定されない。
【００２１】
１フレーム分の画像データはブロック分割部１０１に入力され、８×８画素のブロック単位に分割される。分割された画像データは予測部１０２に入力される。予測部１０２ではブロック単位の予測が行われ、予測誤差が生成される。変換部１０３では、予測部１０２で生成された予測誤差に対して変換ブロックサイズを決定して直交変換を行い、直交変換係数を生成する。そして、直交変換係数を量子化部１０４に入力する。本実施形態では、８×８画素のブロック単位の予測誤差を４×４画素の変換ブロック単位に分割して直交変換を行うものとする。
【００２２】
量子化マトリクス保持部１０６には、該フレームの量子化に用いられる量子化マトリクスが保持されている。図６（ａ）および（ｂ）は４×４画素の変換ブロックに対応する量子化マトリクスの一例である。図６（ａ）は４×４画素の変換ブロックの二次元形状に対応した表記で、図６（ｂ）は量子化マトリクスの各要素を走査した一次元形状での表記であり、内容に違いはない。本実施形態では、図６に示された量子化マトリクスのうち、図６（ｂ）の一次元形状で保持されているものとするが、量子化マトリクス内の要素や保持の形状はもちろんこれに限定されない。例えば、本実施形態に加えて８×８画素の変換ブロックサイズも用いる場合には、８×８画素変換ブロックに対応する他の量子化マトリクスを保持することになる。
【００２３】
量子化マトリクス符号化部１０７は量子化マトリクスを量子化マトリクス保持部１０６から順に読み出し、符号化して量子化マトリクス符号データを生成する。具体的な量子化マトリクスの符号化方法の例について図６（ｂ）を用いて説明する。太枠の６００は、量子化マトリクスを表している。説明を簡易にするため、４×４画素の変換ブロックに対応した１６画素分の構成とし、太枠内の各正方形は要素を表しているものとする。ここでは図６（ｂ）に示された量子化マトリクスが符号化されるものとする。生成された量子化マトリクス符号データは、統合符号化部１０８に出力される。
【００２４】
図６（ｂ）は量子化マトリクスの要素が６から始まり、変動しながら１３まで増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、所定の初期値と最初の要素である６の差分値を符号化し、その後は符号化する要素と直前の要素との差分値を順に符号化する。また、最初の要素の符号化に関しては、所定の初期値との差分ではなく、要素の値そのものである６を符号化しても良い。本実施形態では、差分値の符号化においては、図５（ｂ）に示される正負非対称の符号化テーブルを用いて符号化されるものとするが、符号化テーブルはこれに限定されない。同一の絶対値を持つ正負の値に対応する符号の長さが正の値に対応する符号長が短いものが含まれていれば良い。
【００２５】
図７は、前記所定の初期値を８として、図６に示された量子化マトリクスを図５（ａ）、図５（ｂ）の各符号化テーブルで符号化した際の例を示している。図７の要素の行は図６に示された量子化マトリクスの各要素を示しており、差分値の行は所定の初期値８および直前の要素との差分値を示している。正負対称二値符号の行は図５（ａ）で示された正負対称符号化テーブルを用いた場合の符号を示しており、合計５４ビットが必要となる。一方、正負非対称二値符号の行は図５（ｂ）で示された正負非対称符号化テーブルを用いた場合の符号を示しており、合計４３ビットが必要であり、本実施形態ではより少ない符号量で同一の量子化マトリクスを符号化できる。
【００２６】
また、本実施形態では変換ブロックサイズ毎に量子化マトリクスが生成され、符号化されるが、他の変換ブロックサイズに対応する量子化マトリクスを用いて符号化しても良い。例えば、８×８画素の量子化マトリクスはその要素単位で符号化し、４×４画素の量子化マトリクスは８×８画素の量子化マトリクス内の２×２要素で平均値をとったものを予測値として、その差分を符号化しても構わない。
【００２７】
図１に戻り、量子化部１０４では、変換部１０３から出力された直交変換係数を量子化マトリクス保持部１０６に格納されている量子化マトリクスを用いて量子化して量子化係数を生成する。生成された量子化係数は係数符号化部１０５に入力される。
【００２８】
係数符号化部１０５では、量子化部１０４で生成された量子化係数を符号化し、量子化係数符号データを生成して統合符号化部１０８に出力する。
【００２９】
統合符号化部１０８は画像のシーケンス、フレーム、ピクチャおよびスライスのヘッダといった符号を生成する。また、これらのヘッダのいずれかに量子化マトリクス符号化部１０７で生成された量子化マトリクス符号データを挿入する。こうしたヘッダ部分の符号や係数符号化部１０５で生成された量子化係数符号データを統合し、ビットストリームを生成し出力する。
【００３０】
図８（ａ）は実施形態１で出力されるビットストリームの一例である。本実施形態では、ビットストリーム中のシーケンスヘッダ部に量子化マトリクスが符号化されている構成となっているが、符号化の位置はこれに限定されない。ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスの走査方法と変換ブロックサイズを指定することでその一部を変更するようにすることも可能である。
【００３１】
図９は実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ９０１にて、量子化マトリクス保持部１０６は量子化マトリクスを一つ以上生成する。
【００３２】
ステップＳ９０２にて、量子化マトリクス符号化部１０７は量子化マトリクス保持部１０６で生成されたそれぞれの量子化マトリクスを符号化する。本実施形態では、量子化マトリクス符号化部１０７は量子化マトリクスの各要素と直前の要素との差分を、図５（ｂ）に示される正負非対称の符号化テーブルを用いて符号化されるものとするが、使用される符号化テーブルはこれに限定されない。ステップＳ９０３にて、統合符号化部１０８はビットストリームのヘッダ部の符号化を行い出力する。
【００３３】
ステップＳ９０４にて、ブロック分割部１０１は、フレーム単位の入力画像をブロック単位に分割する。ステップＳ９０５にて、予測部１０２はブロック単位の予測を行い、予測誤差を生成する。
【００３４】
ステップＳ９０６にて、変換部１０３はステップＳ９０５で生成された予測誤差に対して変換ブロックサイズを決定して直交変換を行い、直交変換係数を生成する。ステップＳ９０７にて、量子化部１０４はステップＳ９０６で生成された直交変換係数を、量子化マトリクス保持部１０６に格納された量子化マトリクスを用いて量子化して量子化係数を生成する。
【００３５】
ステップＳ９０８にて、係数符号化部１０５はステップＳ９０７で生成された量子化係数を符号化し、量子化係数符号データを生成する。
【００３６】
ステップＳ９０９にて、画像符号化装置は、当該ブロック内の全ての変換ブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ９１０に進み、終了していなければ次の変換ブロックを対象としてステップＳ９０６に戻る。
【００３７】
ステップＳ９１０にて、画像符号化装置は、全てのブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象としてステップＳ９０４に戻る。
【００３８】
以上の構成と動作により、特にステップＳ９０２に示した正負非対称の符号化テーブルを用いた符号化の処理により、量子化マトリクスの符号量がより少ないビットストリームを生成することができる。
【００３９】
なお、本実施形態においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測を使用できるフレームにおいても対応できることは明らかである。さらに、本実施形態では説明のためにブロックを８×８画素、変換ブロックを４×４画素としたが、これに限定されない。例えば１６×１６画素や３２×３２画素などのブロックサイズへの変更が可能であり、また、ブロックの形状も正方形に限定されず、１６×８画素などの長方形でも良い。
【００４０】
また、変換ブロックサイズはブロックサイズの縦横それぞれ半分としたが、同じ大きさでも構わないし、縦横それぞれ半分よりもさらに細かいサイズでももちろん構わない。
【００４１】
＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成されたビットストリームの復号について説明する。
【００４２】
図２において、２０１は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部２０１は図１の統合符号化部１０８と逆の動作を行う。
【００４３】
２０６はビットストリームのヘッダ情報から量子化マトリクス符号データを復号する量子化マトリクス復号部である。２０７は量子化マトリクス復号部２０６で復号された量子化マトリクスを一旦格納しておく量子化マトリクス保持部である。
【００４４】
一方、２０２は復号・分離部２０１で分離された符号から変換ブロックサイズの情報を復号し、復号された変換ブロックサイズごとに、さらに量子化係数符号を復号し、量子化係数を再生する係数復号部である。
【００４５】
２０３は量子化マトリクス保持部２０７に格納された量子化マトリクスを用いて量子化係数に逆量子化を行い、直交変換係数を再生する逆量子化部である。２０４は図１の変換部１０３の逆となる逆直交変換を行い、予測誤差を再生する逆変換部である。２０５は予測誤差と復号済みの画像データからブロックの画像データを再生する予測再構成部である。
【００４６】
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成された動画像ビットストリームをフレーム単位で入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。また、本実施形態では説明を容易にするため、イントラ予測復号処理のみを説明するが、これに限定されずインター予測復号処理においても適用可能である。
【００４７】
図２において、入力された１フレーム分のビットストリームは復号・分離部２０１に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され出力される。ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部２０６に入力され、後段の逆量子化処理で用いられる量子化マトリクスが再生される。この時、本実施形態では、図５（ｂ）に示される正負非対称の復号テーブルを用いて量子化マトリクスの各要素の差分値を復号し、その差分値および所定の初期値から量子化マトリクスが再生されるものとするが、使用される復号テーブルはこれに限定されない。再生された量子化マトリクスは量子化マトリクス保持部２０７に入力され、一旦格納される。
【００４８】
また、復号・分離部２０１で分離された符号のうち、変換ブロックサイズに関する情報や量子化係数符号データは係数復号部２０２に入力される。まず、係数復号部２０２は入力された変換ブロックサイズの情報から変換ブロックサイズを抽出する。そして抽出された変換ブロックサイズに基づいて、変換ブロックごとに量子化係数符号データを復号し、量子化係数を再生し、逆量子化部２０３に出力する。
【００４９】
逆量子化部２０３は、係数復号部２０２で再生された量子化係数および量子化マトリクス保持部２０７に格納されている量子化マトリクスを入力する。そして、前記量子化マトリクスを用いて逆量子化を行い、直交変換係数を再生し、逆変換部２０４に出力する。逆変換部２０４は、直交変換係数を入力し、図１の変換部１０３の逆となる逆直交変換を行い、予測誤差を再生し、予測再構成部２０５に出力する。
【００５０】
予測再構成部２０５は、入力された予測誤差に復号済みの周囲の画素データから予測を行ってブロック単位の画像データを再生し、出力する。
【００５１】
図１０は、実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。まず、ステップＳ１００１にて、復号・分離部２０１がヘッダ情報を復号し、符号を後段に出力するために分離する。
【００５２】
ステップＳ１００２にて、量子化マトリクス復号部２０６はヘッダ情報に含まれる量子化マトリクス符号データを、図５（ｂ）に示される正負非対称のテーブルを用いて復号し、後段の逆量子化処理で用いる量子化マトリクスが再生される。
【００５３】
ステップＳ１００３にて、係数復号部２０２は復号するブロックの各変換ブロックの大きさに関する情報を復号し、変換ブロックサイズを抽出する。ステップＳ１００４にて、係数復号部２０２は変換ブロック単位で量子化係数符号データを復号し、量子化係数を再生する。
【００５４】
ステップＳ１００５にて、逆量子化部２０３はステップＳ１００２で復号された量子化マトリクスを用いてステップＳ１００４にて再生された量子化係数を逆量子化し、直交変換係数を再生する。ステップＳ１００６にて、逆変換部２０４はステップＳ１００５で再生された直交変換係数に対し、逆直交変換を行い、予測誤差を再生する。
【００５５】
ステップＳ１００７にて、画像復号装置は、当該ブロック内の全ての変換ブロックの復号が終了したか否かの判定を行い、終了していればステップＳ１００８に進み、終了していなければ次の変換ブロックを対象としてステップＳ１００４に戻る。
【００５６】
ステップＳ１００８にて、予測再構成部２０５は復号済みの周囲の画素データから予測を行い、ステップＳ１００６で再生された予測誤差に加算して、ブロックの復号画像を再生する。
【００５７】
ステップＳ１００９にて、画像復号装置は、全てのブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次のブロックを対象として、ステップＳ１００３に戻る。
【００５８】
以上の構成と動作により、実施形態１で生成された、量子化マトリクスの符号量がより少ないビットストリームの復号を行い、再生画像を得ることができる。また、実施形態１と同様にブロックのサイズ、変換ブロックのサイズ、ブロックの形状についてはこれに限定されない。
【００５９】
また、本実施形態では、図５（ｂ）に示される正負非対称の復号テーブルを用いて量子化マトリクスの各要素の差分値を復号し、その差分値および所定の初期値から量子化マトリクスが再生されるものとするが、使用される復号テーブルはこれに限定されない。
【００６０】
また、１つのシーケンスのビットストリーム中で量子化マトリクス符号データが複数回含まれている場合、量子化マトリクスの更新をすることも可能である。復号・分離部２０１で量子化マトリクス符号データを検出し、量子化マトリクス復号部２０６で復号する。復号された量子化マトリクスのデータを量子化マトリクス保持部２０７の該当する量子化マトリクスに置き換える。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスを判別することでその一部を変更することも可能である。
【００６１】
また、本実施形態では１フレーム分の符号データを蓄積してから処理を行う方式を例にとって説明したが、これに限定されない。例えば、ブロック単位や複数のブロックで構成されるスライス単位といった入力方法でも構わない。さらにはブロック等の構成ではなく、固定長のパケット等に分割されているものでも構わない。
【００６２】
＜実施形態３＞
図３は本実施形態の画像符号化装置を示すブロック図である。図３において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００６３】
３２１は各量子化マトリクスをどのように符号化するかを示す量子化マトリクス符号化方法情報を生成する、符号化制御情報生成部である。３０７は符号化制御情報符号化部３２１で生成された量子化マトリクス符号化方法情報に基づいて、量子化マトリクス保持部１０６に格納された量子化マトリクスを符号化して、量子化マトリクス符号データを生成する量子化マトリクス符号化部である。
【００６４】
３０８は図１の統合符号化部１０８と同様に、ヘッダ情報や予測、変換に関する符号を生成する統合符号化部であり、前記統合符号化部１０８とは符号化制御情報生成部３２１から量子化マトリクス符号化方法情報を入力し、これを符号化することが異なる。
【００６５】
上記画像符号化装置における画像の符号化動作を以下に説明する。符号化制御情報生成部３２１では、まず、各量子化マトリクスをどのように符号化するかを示す量子化マトリクス符号化方法情報を生成する。本実施形態では、前記量子化マトリクス符号化方法情報が０であれば、量子化マトリクスの各要素と直前の要素との差分値を図５（ａ）に示される正負対称の符号化テーブルを用いて符号化するものとする。また、１であれば、量子化マトリクスの各要素と直前の要素との差分値を図５（ｂ）に示される正負非対称の符号化テーブルを用いて符号化するものとする。量子化マトリクスの各要素の符号化方法はこれらに限定されず、図５（ａ）、（ｂ）に示されたもの以外の符号化テーブルを用いても良い。
【００６６】
また、前記量子化マトリクス符号化方法情報と量子化マトリクスの符号化方法との組合せはこれに限定されない。量子化マトリクス符号化方法情報の生成方法については特に限定しないが、ユーザが入力しても良いし、固定値としてあらかじめ指定されたものを使用して良いし、量子化マトリクス保持部１０６に格納されている量子化マトリクスの特性から算出してももちろん良い。生成された量子化マトリクス符号化方法情報は量子化マトリクス符号化部３０７と統合符号化部３０８に入力される。
【００６７】
量子化マトリクス符号化部３０７では、入力された量子化マトリクス符号化方法情報に基づいて、量子化マトリクス保持部１０６に格納された各量子化マトリクスを符号化し、量子化マトリクス符号データを生成して統合符号化部３０８に出力する。
【００６８】
統合符号化部３０８では、符号化制御情報生成部３２１で生成された量子化マトリクス符号化方法情報を符号化し、量子化マトリクス符号化情報符号を生成し、ヘッダ情報等に組み込んで出力する。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。図８（ｂ）に量子化マトリクス符号化情報符号を含むビットストリームの例を示す。量子化マトリクス符号化情報符号はシーケンス、ピクチャ等のヘッダのいずれに入れても構わないが、各量子化マトリクス符号データより前に存在する。
【００６９】
図１１は実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１１において、実施形態１の図９と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００７０】
ステップＳ１１５１にて、符号化制御情報生成部３２１は、後段のステップＳ１１５２における量子化マトリクス符号化方法を決定する。ステップＳ１１５２にて、量子化マトリクス符号化部３０７は、ステップＳ１１５１で決定した量子化マトリクス符号化方法に基づいて、ステップＳ９０１で生成された量子化マトリクスを符号化する。
【００７１】
ステップＳ１１５３では量子化マトリクス符号化方法情報を符号化し、量子化マトリクス符号化情報符号を生成し、他の符号と同様にヘッダ部に組込み出力する。
【００７２】
以上の構成と動作により、各量子化マトリクスが最適な符号化方法で符号化され、量子化マトリクスの符号量がより少ないビットストリームを生成することができる。
【００７３】
＜実施形態４＞
図４は本実施形態の画像復号装置を示すブロック図である。図４において、実施形態２の図２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態３で生成されたビットストリームの復号について説明する。
【００７４】
４０１は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。図２の復号・分離部２０１とはビットストリームのヘッダ情報から量子化マトリクス符号化情報符号を分離して後段に出力することが異なる。
【００７５】
４２１は復号・分離部４０１で分離された量子化マトリクス符号化情報符号を復号し、量子化マトリクス符号化方法の情報を再生する復号制御情報復号部である。４０６はビットストリームのヘッダ情報から復号・分離部４０１で分離された量子化マトリクス符号データを前記量子化マトリクス符号化方法の情報に基づいて復号する量子化マトリクス復号部である。
【００７６】
上記画像復号装置における画像の復号動作を以下に説明する。
【００７７】
図４において、入力された１フレーム分のビットストリームは復号・分離部４０１に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され出力される。ヘッダ情報に含まれる量子化マトリクス符号化情報符号は復号制御情報復号部４２１に入力され、量子化マトリクスの符号化方法の情報を再生する。そして、再生された量子化マトリクスの符号化方法の情報は量子化マトリクス復号部４０６に入力される。
【００７８】
一方、ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部４０６に入力される。そして、量子化マトリクス復号部４０６は入力された量子化マトリクスの符号化方法の情報に基づいて量子化マトリクス符号データを復号し、後段の逆量子化処理で用いられる量子化マトリクスが再生される。再生された量子化マトリクスは量子化マトリクス保持部２０７に格納される。
【００７９】
図１２は実施形態４に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態２の図１０と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
【００８０】
ステップＳ１００１にて、復号・分離部４０１はヘッダ情報を復号する。
【００８１】
ステップＳ１２５１にて、復号制御情報復号部４２１はヘッダ情報に含まれる量子化マトリクス符号化情報符号を復号し、量子化マトリクスの符号化方法の情報を再生する。
【００８２】
ステップＳ１２５２にて、量子化マトリクス復号部４０６はステップＳ１２５１にて再生された量子化マトリクスの符号化方法の情報に基づいて、ヘッダ情報に含まれる量子化マトリクス符号データを復号し、量子化マトリクスを再生する。
【００８３】
以上の構成と動作により、実施形態３で生成された、各量子化マトリクスが最適な符号化方法で符号化され、量子化マトリクスの符号量がより少ないビットストリームの復号を行い、再生画像を得ることができる。
【００８４】
＜実施形態５＞
実施形態では、画像符号化装置は実施形態１の図１と同じ構成をとる。ただし、量子化マトリクス符号化部１０７の動作が異なる。従って、量子化マトリクス符号化部１０７以外の符号化に関しては実施形態１と同様であり、説明を省略する。
【００８５】
量子化マトリクス符号化部１０７は量子化マトリクスを量子化マトリクス保持部１０６から順に読み出し、符号化して量子化マトリクス符号データを生成するが、実施形態１の量子化マトリクス符号化部１０７とは符号化方法が異なる。
【００８６】
具体的な量子化マトリクスの符号化方法の例について図６（ｂ）を用いて説明する。図６（ｂ）は量子化マトリクスの要素が６から始まり、変動しながら１３まで増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、所定の初期値と最初の要素である６の差分値を符号化し、その後は符号化する要素と直前の要素との差分値を順に符号化する。また、最初の要素の符号化に関しては、所定の初期値との差分ではなく、要素の値そのものである６を符号化しても良い。
【００８７】
本実施形態では、差分値の符号化においては、図１５（ｂ）に示されるテーブルを用いて、正の値を持つインデックスにマッピングし、図１６（ａ）に示される符号化テーブルを用いて対応する二値符号を生成するものとするが、テーブルはこれらに限定されない。
【００８８】
差分値を正の値のインデックスにマッピングするテーブルにおいては、下記の２つの条件を満たせば良い。１つ目の条件は、同一の絶対値を持つ正負の値に対応するインデックスの大きさについて、負の値に対応するインデックスは正の値に対応するインデックスよりも常に大きくなければならないということである。２つ目の条件は、ある負の値に対応するインデックスよりも小さいインデックスに対応するその負の値の絶対値よりも大きい正の値が少なくとも一つは存在しなければならないということである。具体例を用いて上記の条件について説明すると、図１５（ａ）はＨ．２６４でも用いられている符号化対象値を正のインデックスにマッピングするテーブルであるが、これは１つ目の条件は満たすが２つ目の条件は満たさない。一方、図１５（ｂ）は本実施形態で用いられるテーブルであるが、これは−１の値に対応するインデックスが３であり、２の値に対応するインデックスが２であるため、上記２つの条件を両方とも満たしている。図１５（ｂ）のテーブルは図１５（ａ）のテーブルをベースに、インデックスの順に負の値が初めて出るインデックスの値、すなわち−１に対応するインデックスの値を１大きく調整することで生成されている。同様の方法を用いて、既存のテーブルから差分値を正の値のインデックスにマッピングするテーブルを生成しても良いし、全く異なった方法でテーブルを生成しても、上記の２つの条件が満たされていれば問題ない。
【００８９】
符号化テーブルについては、本実施形態ではテーブルの共通性を重視し、Ｈ．２６４でも用いられている図１６（ａ）に示されている符号化テーブルを用いたが、符号化効率を重視し、図１６（ｂ）に示されるような他の符号化テーブルを用いても良い。
【００９０】
図１７は前記所定の初期値を８として、図６に示された量子化マトリクスを図１５（ｂ）と図１６（ａ）のテーブルを用いて共通性重視で符号化した際の例および図１５（ｂ）と図１６（ｂ）のテーブルを用いて符号化効率重視で符号化した際の例を示している。図１７の要素の行は図６（ｂ）に示された量子化マトリクスの各要素を示しており、差分値の行は所定の初期値８および直前の要素との差分値を示している。共通性重視の行は図１５（ｂ）と図１６（ａ）のテーブルを用いた場合の符号を示しており、合計４８ビット必要となる。一方、符号化効率重視の行は図１５（ｂ）と図１６（ｂ）で示されたテーブルを用いた場合の符号を示しており、合計４３ビット必要となる。いずれの場合でも図５（ａ）で示された従来方式の正負対称符号化テーブルを用いた場合の合計５４ビットよりも少ない符号量で同一の量子化マトリクスを符号化できることを示している。
【００９１】
本実施形態における画像符号化処理を示すフローチャートは実施形態１の図９と同様である。ただし、ステップＳ９０２の動作が異なる。従って、ステップＳ９０２以外の符号化動作に関しては実施形態１と同様であり、説明を省略する。
【００９２】
ステップＳ９０２にて、量子化マトリクス符号化部１０７は量子化マトリクス保持部１０６で生成されたそれぞれの量子化マトリクスを符号化する。本実施形態では、図６（ｂ）に示された量子化マトリクスをステップＳ９０１で生成する場合を例にとって説明する。量子化マトリクス符号化部１０７は、生成された量子化マトリクスの各要素と直前の要素との差分を、図１５（ｂ）に示されるテーブルを用いて正の値を持つインデックスにマッピングし、図１６（ａ）に示される符号化テーブルを用いて符号化する。もちろん、差分を正の値にマッピングするテーブルやインデックスを符号化するテーブルはこれらに限定されない。
【００９３】
以上の構成と動作により、既存の符号化テーブルなどを共通化することにより回路規模などの増大を抑えつつ、量子化マトリクスの符号量が少ないビットストリームを生成することができる。
【００９４】
本実施形態では、符号化される量子化マトリックスから算出される差分値を、一旦正の値を持つインデックスに変換してから符号化するという形で２段階の処理を行ったが、符号化テーブルを適切に用意することにより１段階の処理とすることも可能である。例えば本実施形態で示した差分値を図１５（ｂ）のテーブルを用いてインデックスに変換してから図１６（ａ）のテーブルを用いて符号化する処理は、差分値を図１４（ａ）のテーブルを用いて直接符号化する処理と同等である。反対に、例えば図１４（ｂ）のテーブルを用いて直接符号化する処理は、図１５（ｂ）のテーブルを用いてインデックスに変換してから図１６（ｂ）のテーブルを用いて符号化するという２段階に分割することもできる。また、図１５（ａ）のテーブルを用いたインデックス変換と図１６（ａ）のテーブルを用いた符号化処理を組み合わせると図５（ａ）のテーブルを用いた符号化処理と同等であるため、こうした処理の組み合わせにより符号化テーブルを生成することも可能である。符号化テーブルの生成においては、既存の符号化テーブルに対し、想定される確率分布によって符号の調整を行って生成することも可能である。例えば、図５（ｂ）の符号化テーブルは、符号化対象値の確率分布を考慮して、図５（ａ）の符号化テーブルから−２、０、１、２の各値に対応する符号を調節して生成することもできる。また、図１５（ｂ）において、正の値の出現する確率がさらに高い場合には、インデックスの順に負の値が初めて出るインデックスの値を大きくすることで調整することが可能であり、調整に関する情報を符号化してヘッダに含めることもできる。例えば、図１５（ａ）のテーブルから図１５（ｂ）のテーブルを生成する際には、−１に対応するインデックスの出現を１大きくしたので、１を符号化してヘッダに含ませる。このようにして、それぞれの量子化マトリクスに最適なテーブルを用いて符号化を行うこともできる。
【００９５】
また、ヘッダにテーブルを切り替える情報を符号化して含めることで、共通性を重視する符号化と符号化効率を重視する符号化を切り替えることができ、用途に応じて使い分けることが可能になる。また、正の値の出現確率に応じてテーブルを切り替える情報を含めることで出現確率に応じて最適な符号化を可能にできる。
【００９６】
＜実施形態６＞
本実施形態では、画像復号装置は実施形態２の図２と同じ構成をとる。ただし、量子化マトリクス復号部２０６の動作が異なる。従って、量子化マトリクス復号部２０６以外の復号に関しては実施形態２と同様であり、説明を省略する。また、本実施形態では実施形態６で生成されたビットストリームの復号について説明する。
【００９７】
量子化マトリクス復号部２０６は実施形態５の量子化マトリクス符号化部１０７と逆の動作を行う。ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部２０６に入力され、後段の逆量子化処理で用いられる量子化マトリクスが再生される。本実施形態では、図１６（ａ）の復号テーブルを用いて正の値を持つインデックスを再生し、図１５（ｂ）のテーブルを用いて量子化マトリクスの各要素の差分値を生成し、その差分値および所定の初期値から量子化マトリクスが再生されるものとする。ただし、使用されるテーブルはこれらに限定されない。実施形態６で用いられているテーブルと対応したものであれば他のテーブルを用いても構わない。
【００９８】
本実施形態における画像復号処理を示すフローチャートは実施形態２の図１０と同様である。ただし、ステップＳ１００２の動作が異なる。従って、ステップＳ１００２以外の復号動作に関しては実施形態２と同様であり、説明を省略する。
【００９９】
ステップＳ１００２にて、量子化マトリクス復号部２０６はヘッダ情報に含まれる量子化マトリクス符号データを図１６（ａ）および図１５（ｂ）のテーブルを用いて復号して差分値を再生し、後段の逆量子化処理で用いる量子化マトリクスを生成する。本実施形態では図１７の共通性重視の行に示された４８ビットの量子化マトリクス符号データを例にとって説明する。量子化マトリクス符号データは図１６（ａ）に示される復号テーブルを用いて復号され正の値を持つインデックスが再生される。次に図１５（ｂ）に示されるテーブルを用いて、図１７の差分値の行に示された差分値の行列が生成される。そして、初期値を８に最初の差分値を加算し、以後、前の要素に差分値を加えることで、図１７の要素の行に示された量子化マトリクスの各要素を再生し、量子化マトリクスを生成する。同様に、図１７の符号化効率重視の行に示された４３ビットの量子化マトリクス符号データについても量子化マトリクス符号データは図１６（ｂ）に示される復号テーブルと図１５（ｂ）のテーブルを用いて復号できる。
【０１００】
以上の構成と動作により、既存の復号テーブルなどを共通化することにより回路規模などの増大を抑えつつ、実施形態５で生成された量子化マトリクスの符号量が少ないビットストリームを復号して画像を再生することができる。
【０１０１】
本実施形態では、量子化マトリクス符号データを復号して、一旦正の値を持つインデックスを生成してから差分値を算出するという形で２段階の処理を行ったが、復号テーブルを適切に用意することにより１段階の処理とすることも可能である。例えば、本実施形態で示した、量子化マトリクス符号データを図１６（ａ）のテーブルを用いてインデックスを再生し、図１５（ｂ）のテーブルを用いて差分値に変換する処理は、図１４（ａ）のテーブルを用いて直接復号する処理と同等である。反対に、例えば図１４（ｂ）のテーブルを用いて直接復号する処理は、図１６（ｂ）のテーブルを用いて復号してから図１５（ｂ）のテーブルを用いて変換するという２段階に分割することもできる。また、図１６（ａ）のテーブルを用いた復号処理と図１５（ａ）のテーブルを用いたインデックス変換を組み合わせると図５（ａ）のテーブルを用いた復号処理と同等であるため、こうした処理の組み合わせにより復号テーブルを生成することも可能である。
【０１０２】
また、テーブルを切り替える情報をヘッダから抽出し復号ことで、共通性を重視して符号化されたビットストリームか符号化効率を重視して符号化されたビットストリームを判定でき、用途に適合した復号を行うことも可能になる。
【０１０３】
＜実施形態７＞
図１〜図４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１〜図４に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
【０１０４】
図１３は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【０１０５】
ＣＰＵ１３０１は、ＲＡＭ１３０２やＲＯＭ１３０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１３０１は、図１〜図４に示した各処理部として機能することになる。
【０１０６】
ＲＡＭ１３０２は、外部記憶装置１３０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１３０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１３０２は、ＣＰＵ１３０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１３０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【０１０７】
ＲＯＭ１３０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１３０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１３０１に対して入力することができる。表示部１３０５は、ＣＰＵ１３０１による処理結果を表示する。また表示部１３０５は例えば液晶ディスプレイのような表示装置で構成される。
【０１０８】
外部記憶装置１３０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１３０６には、ＯＳ（オペレーティングシステム）や、図１〜図４に示した各部の機能をＣＰＵ１３０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１３０６には、処理対象としての各画像データが保存されていても良い。
【０１０９】
外部記憶装置１３０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１３０１による制御に従って適宜ＲＡＭ１３０２にロードされ、ＣＰＵ１３０１による処理対象となる。Ｉ／Ｆ１３０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１３０７を介して様々な情報を取得したり、送出したりすることができる。１３０８は上述の各部を繋ぐバスである。
【０１１０】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１３０１が中心となってその制御を行う。
【０１１１】
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【０１１２】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
0005871628.tif 000002
【図２】
0005871628.tif 000003
【図３】
0005871628.tif 000004
【図４】
0005871628.tif 000005
【図５】
0005871628.tif 000006
【図６】
0005871628.tif 000007
【図７】
0005871628.tif 000008
【図８】
0005871628.tif 000009
【図９】
0005871628.tif 000010
【図１０】
0005871628.tif 000011
【図１１】
0005871628.tif 000012
【図１２】
0005871628.tif 000013
【図１３】
0005871628.tif 000014
【図１４】
0005871628.tif 000015
【図１５】
0005871628.tif 000016
【図１６】
0005871628.tif 000017
【図１７】
0005871628.tif 000018