(57)【要約】本発明の動画像符号化方法は、ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、ブロック中のサブセットの配置を変更する。ここで、前記サブセットの配置は、（ｉ）〜（ｖ）の少なくとも１つに関連して変更される。（ｉ）ピクチャの符号化完了、（ｉｉ）所定数のブロックの符号化完了、（ｉｉｉ）符号化対象のピクチャの内容、（ｉｖ）ブロックのピクチャ中の位置、（ｖ）各周波数係数としきい値との比較。【特許請求の範囲】
【請求項１】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、
ブロック中のサブセットの配置を変更する
ことを特徴とする動画像符号化方法。
【請求項２】
前記サブセットの配置は、（ｉ）〜（ｖ）の少なくとも１つに関連して変更される
（ｉ）ピクチャの符号化完了、（ｉｉ）所定数のブロックの符号化完了、（ｉｉｉ）符号化対象のピクチャの内容、（ｉｖ）ブロックのピクチャ中の位置、（ｖ）各周波数係数としきい値との比較
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数をゼロに抑制し、
前記符号化において、選択された周波数係数とゼロに抑制された周波数係数とを含む周波数係数を可変長符号に符号化する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記符号化において、選択されていない周波数係数を、可変長符号化の対象から除外する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
前記選択において、前記サブセットに属する周波数係数を逐次走査し、
前記符号化において、走査された周波数係数を可変長符号に符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項６】
前記選択において、
サブセットに属する周波数係数を走査順に並び替え、
並び替え後に前記サブセットに属する周波数係数を逐次走査する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項７】
前記動画像符号化方法は、さらに、
ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込み、
前記符号化において、前記配置データが埋め込まれた前記量子化マトリクスを符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項８】
前記動画像符号化方法は、さらに、
ブロック中のサブセットの配置を特定する配置データを生成し、
前記符号化において、前記配置データを符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項９】
前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含む
ことを特徴とする請求項８記載の動画像符号化方法。
【請求項１０】
前記配置データは、ブロック内の周波数係数毎に前記サブセットに属するか否かを示すビットマップデータである
ことを特徴とする請求項８記載の動画像符号化方法。
【請求項１１】
可変長符号（複数）を、量子化係数（複数）と、ブロック中のサブセットの配置を特定する配置データとに復号化し、
配置データに基づいてブロック中のサブセットの配置内に復号化量子化係数を配置し、
配置データに基づいてブロック中のサブセットの配置外にゼロ係数を配置し、
復号化された量子化係数（複数）と所定の値とが配置されたブロックを逆量子化し、
逆量子化されたブロックを直交変換する
ことを特徴とする動画像復号化方法。
【請求項１２】
前記復号化において、可変長符号（複数）から量子化的リスクを復号化し、
前記配置データは復号化された量子化マトリクスから抽出される
ことを特徴とする請求項１１記載の動画像符号化方法。
【請求項１３】
前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含む
ことを特徴とする請求項１１記載の動画像符号化方法。
【請求項１４】
前記配置データは、ブロック内の量子化係数毎に前記セグメントに属するか否かを示すビットマップデータである
ことを特徴とする請求項１１記載の動画像符号化方法。
【請求項１５】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化装置であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする動画像符号化装置。
【請求項１６】
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化する復号手段と、
配置データに基づいてブロック中のサブセットの配置内の位置に復号化量子化係数を配置し、また、配置データに基づいてブロック中のサブセットの配置外の位置に量子化係数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とが配置されたブロックを逆量子化する逆量子化手段と、
逆量子化されたブロックを直交変換する直交変換手段と
ことを特徴とする動画像復号化装置。
【請求項１７】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する半導体装置であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする半導体装置。
【請求項１８】
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化する復号手段と、
配置データに基づいてブロック中のサブセットの位置に復号化された量子化係数を配置し、また、配置データに基づいてブロック中のサブセット以外の位置に量子化係数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とを含むブロック逆量子化し逆量子化手段と、
逆量子化されたブロックを直交変換する直交変換手段と
ことを特徴とする半導体装置。
【請求項１９】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化するコンピュータ読み取り可能なプログラムであって、前記プログラムは、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、
ブロック中のサブセットの配置を変更する
ことをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能なプログラムであって、
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化し、
配置データに基づいてブロック中のサブセットの配置内の位置に復号化量子化係数を配置し、
配置データに基づいてブロック中のサブセットの配置外の位置に量子化係数として所定の値を配置し、
復号化された量子化係数（複数）と所定の値とが配置されたブロックを逆量子化し、
逆量子化されたブロックを逆直交変換する
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、動画像データを圧縮する符号化に関し、特に、特に高い符号化効率を実現する動画符号化方法、動画復号化方法およびその装置に関する。
【背景技術】
【０００２】  動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信される、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネル、メディアに送信及び格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。【０００３】  動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ．２６ｘで示されるＩＴＵ−Ｔ規格、及びＭＰＥＧ−ｘで示されるＩＳＯ／ＩＥＣ規格がある。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ規格（非特許文献１）である。【０００４】  これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。
（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素ブロックに分割する。
（ｂ）動画像データのそれぞれのブロックを空間領域から周波数領域に変換する。
（ｃ）周波数領域の変換係数を量子化することによって、全体のデータ量を削減する。
（ｄ）量子化変換係数をエントロピー符号化する。
（ｅ）連続するフレームのブロック間の変化のみを符号化するために、連続するフレームのブロック間の時間的依存性を利用する。これは、動き予測・補償技術を用いる。【０００５】  画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数要素で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波数成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。【０００６】  ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、およびＨ．２６４／ＡＶＣといった、現在の動画像符号化規格は、量子化後の周波数係数をさらに圧縮するためにエントロピー符号化を用いる。【０００７】  このエントロピー符号化は、２次元の量子化変換係数ブロックを１次元シーケンスに変換するために、量子化された変換係数の２次元ブロックを走査する処理を含む。通常、ジグザグ走査のような所定の走査方法が用いられる。この走査は、最低周波数係数（つまり、ＤＣ係数）から開始され、ブロックのゼロでない全ての係数が走査されると同時に終了する。このような走査方法の問題点の一つは、ゼロでない最後の係数に達するまでに多くのゼロである係数を走査しなければならないことである。【０００８】  このようにして取得された、量子化変換係数の１次元シーケンスは、（ラン、レベル）と呼ばれる一連のいくつかの組として表現される。（ラン、レベル）の各組は、例えばハフマン符号に基づいて、可変長符号に符号化される。可変長符号は、典型的なビデオ画像において発生する、より短い符号語を最もよく用いられるラン・レベルの組に割り当てるように、最適化される。このように、量子化変換係数のブロック全体が符号化される。【０００９】  多くの応用において、符号化動画像データの蓄積又は転送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を増加させることは、符号化画像の画質劣化を引き起こす。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ２６４│ＩＳＯ／ＩＥＣ  １４４９６−１０  ｖｅｒｓｉｏｎ  １″Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ−Ｐａｒｔ  １０：Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ″
【発明の開示】
【発明が解決しようとする課題】
【００１０】  本発明は、画質を劣化させず、かつ高いデータ圧縮率を実現する動画像符号化方法、動画像復号化方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】  上記目的を達成するため本発明の動画像符号化方法は、ブロックを構成する複数の画素を周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、ブロック中のサブセットの配置を変更することを特徴とする。この構成によれば、第１に、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化することによって高いデータ圧縮率を実現することができる。第２に、ブロック中のサブセットの配置を変更することによって、選択されなかった量子化係数に起因するピクチャの画質劣化を防止することができる。もし、数１０フレームに渡ってサブセットがずっと同じであれば、選択されなかった量子化係数に起因するピクチャの画質劣化が人の目にもはっきり見えてしまう。本発明では、例えば個々のフレームではサブセット以外の周波数成分が欠落するが、サブセットの配置を変更することにより連続フレームでは欠落する周波数成分が時間とともに変化していく。そうすると、連続するフレームでは、人の目には残像の時間的な積分効果より、個々の周波数成分の欠落が見えないので、人の目に対して画質劣化が生じない。【００１２】  ここで、前記サブセットの配置は、（ｉ）〜（ｖ）の少なくとも１つに関連して変更されれもよい。（ｉ）ピクチャの符号化完了、（ｉｉ）所定数のブロックの符号化完了、（ｉｉｉ）符号化対象のピクチャの内容、（ｉｖ）ブロックのピクチャ中の位置、（ｖ）各周波数係数としきい値との比較。この構成によれば、サブセットの変更を規則的に単純化し、または画像の内容に応じて適切に行うことができる。【００１３】  ここで、前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数をゼロに抑制し、前記符号化において、選択された周波数係数とゼロに抑制された周波数係数とを含む周波数係数を可変長符号に符号化してもよい。この構成によれば、選択された量子化係数とゼロに抑制された量子化係数とを可変長符号に符号化するので、復号化装置ではサブセットの位置を知る必要がなく、従来の復号化装置において動画像を再生することができる。【００１４】  ここで、前記符号化において、選択されていない周波数係数を、可変長符号化の対象から除外してもよい。この構成によれば、選択された量子化係数のみを可変長符号に符号化するので、抑圧されたゼロを符号化する場合よりもさらに高いデータ圧縮率を実現することができ、しかも、人の目には画質が劣化しない。【００１５】  ここで、前記選択において、前記サブセットに属する周波数係数を逐次走査し、前記符号化において、走査された周波数係数を可変長符号に符号化してもよい。【００１６】  ここで、前記選択において、サブセットに属する周波数係数を走査順に並び替え、並び替え後に前記サブセットに属する周波数係数を逐次走査してもよい。この構成によれば、並び替えによって、サブセットに含まれない変換係数をスキップする必要がなくなり、走査が容易となる。【００１７】  ここで、前記動画像符���化方法は、さらに、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込み、前記符号化において、前記配置データが埋め込まれた前記量子化マトリクスを符号化してもよい。この構成によれば、量子化マトリクスに配置データを埋め込むので、データ量を増加させることなく（データ圧縮率を低下させることなく）、復号化装置にサブセットの配置を通知することができる。【００１８】  ここで、前記動画像符号化方法は、さらに、ブロック中のサブセットの配置を特定する配置データを生成し、前記符号化において、前記配置データを符号化するとしてもよい。【００１９】  ここで、前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含むようにしてもよい。【００２０】  ここで、前記配置データは、ブロック内の周波数係数毎に前記サブセットに属するか否かを示すビットマップデータであってもよい。【００２１】  また、本発明の動画像復号化方法、動画像符号化装置、動画像復号化装置、半導体装置、プログラムも、上記と同様である。
【発明の効果】
【００２２】  本発明によれば、高いデータ圧縮率を実現することができ、かつ、ピクチャの画質劣化を防止することができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。
【図２】図２は、動画像復号化装置の構成を示すブロック図である。
【図３】図３は、複数のブロックに分割されたフレームを示す図である。
【図４Ａ】図４Ａは、量子化前の係数ブロックの一例を示す図である。
【図４Ｂ】図４Ｂは、量子化後の係数ブロックの一例を示す図である。
【図５】図５は、抑制部による抑制の様子を示す説明図である。
【図６Ａ】図６Ａは、サブセットの変更例を示す図である。
【図６Ｂ】図６Ｂは、サブセットの変更例を示す図である。
【図７】図７は、動画符号化装置の動作を示すフローチャートを示す図である。
【図８】図８は、実施の形態２における動画像符号化装置の構成を示すブロック図である。
【図９】図９は、動画像復号化装置の構成を示すブロック図である。
【図１０】図１０は、量子化係数のスキャンを示す説明図である。
【図１１】図１１は、量子化係数の並び替えを示す説明図である。
【図１２Ａ】図１２Ａは、配置データ埋め込み前の量子化マトリクスの一例を示す図である。
【図１２Ｂ】図１２Ｂは、配置データ埋め込み後の量子化マトリクスの一例を示す図である。
【図１３】図１３は、動画符号化装置の動作を示すフローチャートを示す図である。
【図１４】図１４は、動画符号化装置と動画復号化装置の間のシグナリングを示す説明図である。
【図１５】図１５は、動画復号化装置の動作を示すフローチャートを示す図である。
【図１６】図１６は、実施の形態３における動画像符号化装置の構成を示すブロック図である。
【図１７】図１７は、動画像復号化装置の構成を示すブロック図である。
【図１８】図１８は、動画符号化装置の動作を示すフローチャートを示す図である。
【図１９】図１９は、動画符号化装置と動画復号化装置の間のシグナリングを示す説明図である。
【図２０】図２０は、セグメント番号により配置データを表現する説明図である。
【図２１Ａ】図２１Ａは、ビットマップデータにより配置データを表現する説明図である。
【図２１Ｂ】図２１Ｂは、ビットマップデータにより配置データを表現する説明図である。
【図２２】図２２は、動画復号化装置の動作を示すフローチャートを示す図である。
【図２３Ａ】図２３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。
【図２３Ｂ】図２３Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。
【図２３Ｃ】図２３Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。
【図２４】図２４は、コンテンツ供給システムの全体構成を示すブロック図である。
【図２５】図２５は、画像符号化方法および画像復号化方法を用いた携帯電話の具体例を示す図である。
【図２６】図２６は、携帯電話のブロック図である。
【図２７】図２７は、ディジタル放送用システムの例を示す図である。
【符号の説明】
【００２４】  １００〜１０２  動画符号化装置
１１０  減算器
１２０  変換・量子化部
１３０  逆量子化・逆変換部
１３５  加算器
１３７  デブロックフィルタ
１４０  メモリ
１５０  イントラ予測部
１６０  動き補償予測部
１７０  動き予測部
１８０  スイッチ
１９０、１９１  エントロピー符号化部
３００、３０１、３０３  抑制部
３０２  埋め込み部
３０４  配置データ生成部
２００〜２０２  動画復号化装置
２１０  エントロピー復号化部
２２０  逆量子化・逆変換部
２３０  加算器
２４０  デブロックフィルタ
２５０  メモリ
２６０  イントラ予測部
２７０  動き補償予測部
２８０  スイッチ
３１０  セグメント
８００  量子化マトリクス
８１０  低周波セグメント
８２０  高周波セグメント
８０１  ゼロ挿入部
９０２  配置データ抽出部
９０３  配置データ復号化部
ｆ１〜ｆ４  フレーム
【発明を実施するための最良の形態】
【００２５】  （実施の形態１）
本実施の形態における動画像符号化装置および方法は、ブロックを構成する画素を周波数を示す複数の係数に直交変換し、複数の係数を量子化し、複数の量子化係数からそのサブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化し、また、ブロック中のサブセットの配置を変更することを特徴とする。さらに、本発明の動画像符号化装置および方法は、さらにサブセットに属さない量子化係数をゼロに抑制し、符号化において、選択された量子化係数とゼロに抑制された量子化係数とを含む量子化係数を可変長符号に符号化することを特徴とする。【００２６】  ここで、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化するのは、高いデータ圧縮率を実現するためである。また、ブロック中のサブセットの配置を変更することは、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止するためである。これにより、高いデータ圧縮率を実現し、しかも画質劣化を防止することができる。【００２７】  以下図面を用いて本実施の形態における動画像符号化装置を具体的に説明する。【００２８】  図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。同図において、動画像符号化装置１００は、減算器１１０、変換・量子化部１２０、抑制部３００、逆量子化・逆変換部１３０、加算器１３５、デブロックフィルタ１３７、メモリ１４０、イントラ予測部１５０、動き補償予測部１６０、動き予測部１７０、スイッチ１８０、エントロピー符号化部１９０を備える。【００２９】  減算器１１０は、符号化対象の動画像（入力信号）中のピクチャを構成するブロック毎に、当該ブロックと予測画像との差分を予測残差として求める。ここで予測画像は、イントラ予測部１５０または動き補償予測部１６０からスイッチ１８０を介して減算器１１０に入力される。ブロックは、１枚のピクチャを分割することにより得られる（図３参照）。ブロックのサイズは、Ｎ×Ｍ画素である。Ｎは４、８または１６が一般的である。Ｍも同様である。以下の処理は基本的にブロック単位になされる。【００３０】  変換・量子化部１２０は、減算器１１０からの予測残差を直交変換し、さらに量子化する。直交変換において、予測残差ブロックは、周波数を示す複数の係数からなる係数ブロックに変換（図４Ａ参照）される。図４Ａでは、４つの隣接する４×４の係数ブロックの一例を示してある。量子化において、係数ブロックの各係数は、量子化パラメータおよび量子化マトリクスの各要素によって割り算される。これにより、量子化係数ブロックが得られる（図４Ｂ参照）。図４Ｂのように、量子化係数ブロックでは、非ゼロの量子化係数と、多くのゼロの量子化係数とを含む。【００３１】  抑制部３００は、複数の量子化係数からなる量子化係数ブロックから、そのサブセット（図５参照）に属する量子化係数を選択し、さらにサブセットに属さない量子化係数をゼロに抑制する。このサブセットは、例えばピクチャごとに変更される。この変更により、抑制された量子化係数に対応する周波数成分の欠落がピクチャ毎に変化するので、人の目には認識されなくなる。その結果、画質劣化を防止することができる。【０��３２】  逆量子化・逆変換部１３０、加算器１３５、デブロックフィルタ１３７は、抑制部３００から出力される抑制後の量子化係数ブロックを局所的に（つまり、動画符号化装置１００の内部で）復号化する。【００３３】  メモリ１４０は、局所的に復号された画素ブロックを格納する。これにより参照用のピクチャが再構成される。【００３４】  イントラ予測部１５０は、イントラピクチャ（Ｉピクチャ）用の予測画像を生成する。【００３５】  動き補償予測部１６０は、動き予測部１７０からの動きベクトルに従って、インターピクチャ（ＰピクチャまたはＢピクチャ）用の予測画像を生成する。【００３６】  動き予測部１７０は、参照ピクチャに対する符号化対象ブロックの動きを検出し、動きベクトルを出力する。【００３７】  スイッチ１８０は、イントラ予測部１５０からの予測画像または動き補償予測部１６０からの予測画像を選択的に減算器１１０に出力するためのスイッチである。【００３８】  エントロピー符号化部１９０は、抑制部３００から出力される抑制後の量子化係数ブロックを可変長符号に符号化する。抑制後の量子化係数ブロックは、選択された量子化係数（サブセット内量子化係数）と、サブセット外のゼロに抑制された量子化係数とを含む。可変長符号化では、抑制後の量子化係数ブロック中の量子化係数を走査（例えばジグザグ走査）することによって１次元の量子化係数の列に変換し、さらに、量子化係数の列から（０ラン長、レベル）の組を順に抽出する。抽出された（０ラン長、レベル）の組は、１つの可変長符号に符号化される。それゆえ、抑制後の量子化係数ブロックは、ゼロを多く含むので、（０ラン長、レベル）の組の数が少なくなり、可変長符号の数も少なくなる。このようにして、可変長符号の符号量を削減することができる。【００３９】  図２は、動画像復号化装置の構成を示すブロック図である。同図において、動画復号化装置２００は、エントロピー復号化部２１０、逆量子化・逆変換部２２０、加算器２３０、デブロックフィルタ２４０、メモリ２５０、イントラ予測部２６０、動き補償予測部２７０を備える。この動画復号化装置２００は、従来技術における動画復号化装置と同じでよい。なぜなら、動画符号化装置１００から伝送される符号列から得られるブロック内の量子化変換係数の数は１つも削減されていないからである。【００４０】  動画復号化装置２００を簡単に説明する。エントロピー復号化部２１０は、動画符号化装置１００からの符号列（ビットストリーム）を可変長復号化する。これにより、量子化変換係数ブロックと、動きベクトルなどが得られる。量子化変換係数ブロックは、逆量子化・逆変換手段２２０に送られ、動きベクトルは動き補償予測手段２７０に送られる。量子化係数ブロックは、逆量子化・逆変換手段２２０によって、逆量子化され、されに逆直交変換される。これにより、予測残差ブロックが得られる。予測残差ブロックは、インター予測モードの場合、動き補償予測手段２７０からの予測画像に加算され、イントラ測モードの場合、イントラ予測部２６０からの予測画像に加算される。これにより、画素ブロックが再構成される。この画素ブロックは、デブロックフィルタ２４０によりフィルタリングさ��た後、参照ピクチャの一部としてメモリ２５０に格納される。【００４１】  図５は、抑制部３００による選択および抑制の様子を示す説明図である。同図では、抑制部３００の前後のエレメントと、抑制部３００に入力される量子化変換係数ブロックと、抑制部３００から出力される抑制後の量子化変換係数ブロックとを図示している。【００４２】  抑制部３００に入力される量子化変換係数ブロックは、４×４のセグメントからなる。ここでセグメントは、１つの量子化係数または複数（４×４等）の量子化係数からなる。量子化変換係数ブロックの左上は最も周波数の低い（直流成分の）量子化変換係数である。量子化変換係数ブロック中の右にいくほど、水平方向の周波数ｆｘが高くなる。また、量子化変換係数ブロック中の下にいくほど、水平方向の周波数ｆｙが高くなる。【００４３】  抑制部３００から出力される量子化変換係数ブロックは、ハッチングされているサブセットと、それ以外とに分けて図示されている。このサブセットは、低周波数のセグメントＬＦと、高周波数のセグメント８とを含む。図中の１〜１２は、セグメントに付与されたセグメント番号を表している。【００４４】  人の目の感度は、低周波数の変化には敏感で、高周波数の変化には鈍感になる。それゆえ、セグメントＬＦは、サブセットに含めることが望ましい。さらに、サブセットの変更は、セグメントＬＦを必須にし、高周波のセグメントのみ変更することが望ましい。【００４５】  図６Ａは、サブセットの変更例を示す図である。同図ではピクチャ毎にサブセットを変更する例を示している。ピクチャｆ１のサブセットは、セグメントＬＦおよびセグメント６からなる（ＬＦ＋６と表記する）。ピクチャｆ２のサブセットは（ＬＦ＋７）であり、ピクチャｆ３のサブセットは（ＬＦ＋８）である。【００４６】  このように図６Ａの例では、サブセットは（ＬＦ＋Ｎ）である。このＮは、例えば、ピクチャの符号化が完了する毎に１ずつインクリメントされる。ただしＮ＝１２の次はＮ＝１に戻る。こうすれば、極めて単純な規則でサブセットをピクチャ毎に効果的に変更することができる。なお、セグメントの番号は、図６Ａに限らす、所望の周波数の順にすることができる。例えば、水平方向の高周波数と、垂直方向の高周波数とが交互になる順にしてもよい。また、ランダムな順にしてもよい。【００４７】  図６Ｂは、サブセットの別の変更例を示す図である。この例では、この例では、サブセット内のセグメントＬＦ以外のセグメントは、セグメント内の量子化係数の平均がしきい値以上のセグメントから選択される。ピクチャｆ１のサブセットは（ＬＦ＋７）である。この場合、セグメント７の量子化係数の平均がしきい値以上である。ピクチャｆ２のサブセットは（ＬＦ＋２＋４）である。この場合、セグメント２の量子化係数の平均がしきい値以上であり、セグメント４の量子化係数の平均がしきい値以上である。ピクチャｆ３のサブセットは（ＬＦ＋９＋１２）である。この場合、セグメント９の量子化係数の平均がしきい値以上であり、セグメント２の量子化係数の平均がしきい値以上である。【００４８】  この例では、サブセット内の高周波セグメントの量子化係数の平均がしきい値以上なので、画像への影響が大きいセグメントを積極的にサブセットに含めることになる。これにより画質劣化を抑えることができる。このように、ピクチャの画像内容に応じてサブセットを適応的に決定するようにしてもよい。【００４９】  図７は、動画符号化装置１００の動作を示すフローチャートを示す図である。同図のように、動画符号化装置１００は、符号化対象のピクチャを複数のブロックに分割し（ステップＳ１０）、サブセットの配置を設定または変更する（Ｓ１５）。さらに、以下の処理をブロック毎に行う。変換・量子化部１２０は、予測誤差ブロックを変換係数ブロックに変換し（ステップＳ２０）、さらに、量子化する（ステップＳ３０）。【００５０】  さらに、抑制部３００は、量子化変換係数ブロックから、サブセットに属する量子化変換係数を選択し、さらに、サブセットに属さない量子化変換係数をゼロに抑制する（ステップＳ４０）。エントロピー符号化部１９０は、選択された量子化変換係数と、ゼロに抑制された量子化変換係数とを、可変長符号に符号化する（ステップＳ５０）。【００５１】  以上説明してきたように本実施の形態における動画像符号化装置は、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化するので、高いデータ圧縮率を実現することができる。また、動画像符号化装置は、ブロック中のサブセットの配置を例えばピクチャ単位やブロック単位で変更するので、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止することができる。このように、高いデータ圧縮率を実現し、しかも画質劣化を防止することができる。【００５２】  なお、上記サブセットの位置は、ブロック内でなくてもよく、ピクチャ内の予め定められた数の予め決められた周波数成分をサブセットの位置としてもよい。これによっても、達成される高圧縮率と画質劣化とのトレード・オフを、簡単な方法で適切に設定することができる。【００５３】  また、サブセット内のセグメントは、予め決められた周波数順によって変更してもよい。このようにして特定の周波数順を適切に選択することにより、得られる画像の画質の劣化を制御し最低限にとどめることができる。【００５４】  また、サブセットの位置は、フレームごとに、またはフレーム内の画像エリアごとに変更してもよい。例えば、ブロックのピクチャ中の位置に応じて変更してもよい。このようにして、サブセットの位置を動的に変更することを、簡単な方法で実施することができる。【００５５】  また、サブセットの位置は、予め定められた周波数のシーケンスにしたがって変更してもよい。したがって、周波数の変更を簡単な方法で達成することができる。【００５６】  また、連続的に変更される所定数のサブセットの位置には、全ての周波数を含むようにしてもよい。これにより、ある時間内に少なくとも一度はすべての周波数成分が画質に寄与することになる。また、連続的に変更される所定数のサブセットの位置には、重要な周波数成分を含むようにしてもよい。【００５７】  また、サブセットの位置は、動画像の内容（例えば、映画、ニュース、野球、サッカー、ドラマ、アニメ、音楽番組、ゲーム、ＣＭ等）に応じて適応的に定めてもよい。【００５８】  また、本実施���形態においては、変換・量子化部１２０において、周波数変換と量子化の処理を施した後、抑圧部３００において量子化係数を抑圧する方法について説明したが、これは周波数変換後の周波数変換係数を抑圧し、その後量子化処理を施しても良く、本実施の形態と全く同じ効果を得ることができる。【００５９】  また、本実施の形態においては、１フレーム（ピクチャ）をブロックに分割し、ブロックを１符号化単位として周波数変換、量子化、抑圧、エントロピー符号化等の処理を施す場合について説明したが、これは１フレーム（ピクチャ）を分割することなく１ブロックと扱い、当該ブロックを１符号化単位として符号化しても良く、本実施の形態と全く同じ効果を得ることができる。【００６０】  また、本実施の形態においては、抑圧部３００において量子化係数を強制的に抑圧する方法について説明したが、これは変換・量子化部１２０で実施する量子化処理において用いる量子化マトリクスを操作することにより、ほぼ同様の効果を得ることができる。具体的には、抑圧したい周波数成分に対する量子化マトリクス値を大きな値（例えば、量子化マトリクス値が取りうる値の最大値）にすれば良い。これにより、量子化係数は必ずしも０にはならないため、効果は本実施の形態よりも若干劣る。しかし、量子化係数の絶対値は０近傍の値となるため、本実施の形態とほぼ同様の効果を得ることができる。またこの場合には、抑圧部３００での処理は不要となる。【００６１】  （実施の形態２）
実施の形態１では、サブセット内の量子化係数を選択し、サブセット外の量子化係数をゼロに抑圧する動画像符号化装置について説明した。これに対して本実施の形態では、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化する動画像符号化装置について説明する。この場合、画像復号化装置はサブセットの位置を判定できないと復号化できないので、本実施の形態では、さらに、画像符号化装置から画像復号化装置にブロック内のサブセットの位置を知らせる構成についても説明する。【００６２】  図８は、実施の形態２における動画符号化装置１０１の構成を示すブロック図である。同図の動画符号化装置１０１の構成は、図１と比較して、抑制部３００の代わりに抑制部３０１および埋め込み部３０２を備える点が異なっている。同じ構成要素には同じ符号を付けているので説明を省略し、以下異なる点を中心に説明する。【００６３】  抑制部３０１は、変換・量子化部１２０からの量子化係数ブロックから、サブセットに属する量子化係数を選択する。具体的には、抑制部３０１は、量子化係数ブロック内の複数の量子化係数を順に走査し、走査された量子化係数がサブセットに属する場合はその量子化係数をエントロピー符号化部１９０に出力し、走査された量子化係数がサブセットに属さない場合はその量子化係数をエントロピー符号化部１９０に出力しない。その結果、エントロピー符号化部１９０は、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化することになる。【００６４】  埋め込み部３０２は、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込む。配置データが埋め込まれた量子化マトリクスは、エントロピー符号化部１９０により符号化され、動画復号化装置に伝送される。動画復号化装置は、量子化マトリクスから配置データを抽出することにより、サブセットの位置を判断することができる。【００６５】  図９は、動画像復号化装置２０１の構成を示すブロック図である。同図の動画復号化装置２０１の構成は、図２と比較して、配置データ抽出部９０２とゼロ挿入部９０１とが追加された点とが異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。【００６６】  配置データ抽出部９０２は、エントロピー復号化部２１０によって復号化された量子化マトリクスから配置データ抽出する。【００６７】  ゼロ挿入部９０１は、配置データ抽出部９０２からの配置データに従ってブロック内のサブセットの配置を判定し、エントロピー復号化部２１０からの復号化量子化係数をブロック中のサブセットの位置に配置し、ブロック中のサブセット以外の位置に量子化係数として所定の値（ゼロ）を配置する。【００６８】  図１０は、抑制部３０１における量子化係数ブロックのスキャンを示す説明図である。同図は、８×８の量子化係数ブロックを示す。ハッチング部分はサブセットを示す。一般に、量子化係数ブロック内の量子化係数は、非ゼロ係数とゼロ係数の２種類に分類される。本発明では、さらに、異なる観点から量子化係数ブロック内の量子化係数は、定型ゼロ��数と非定型係数の２種類に分類される。【００６９】  ここで、定型ゼロ係数とは、サブセットに属さない量子化係数である。定型ゼロ係数は、動画復号化装置２０１のゼロ挿入部９０１によってブロック中のサブセット外の位置に定型的にゼロに設定される係数を意味する。動画復号化装置２０１内では全ての定型ゼロ係数はゼロ係数である。また、動画符号化装置１０１では、定型ゼロ係数は、抑制部３０１による走査でスキップされる係数であり、エントロピー符号化部１９０により符号化対象から除外される係数を意味する。動画符号化装置１０１内では定型ゼロ係数は、符号化対象から除外されるので、その値は意味を有しない。また、実施の形態１の動画符号化装置１００では、定型ゼロ係数は、抑制部３００によって選択されずにゼロに抑制された量子化係数をいう。動画符号化装置１００内では、全ての定型ゼロ係数はゼロ係数である（ゼロに抑制される）。【００７０】  また、非定型係数とは、定型ゼロ係数以外の量子化係数であり、つまりサブセットに属する量子化係数をいう。非定型係数は、非ゼロ係数またはゼロ係数である。【００７１】  図１０のように抑制部３０１は、量子化係数ブロックの走査において、サブセットに属する量子化係数（非定型係数）のみを選択し、サブセットに属さない量子化係数（定型ゼロ係数）をスキップする。同図のジグザグスキャンにおける実線部分は走査において選択されることを意味し、破線部分は走査においてスキップされることを意味する。【００７２】  図１１は、抑制部３０１におけるスキャン動作の変形例を示す説明図である。同図左側に示すように抑制部３０１は、サブセットに属する量子化係数を走査順で飛ばない位置に並び替える。図では、高周波セグメント内の４つの量子化係数を低周波セグメントに隣接する位置に並び替えている。同図右側は、抑制部３０１による、並び替え後の走査を示している。このように並び替えにより走査におけるスキップをなくすことができる。つまり、個々の量子化係数がサブセット内か否かを判定しながら走査する必要がなくなるので、走査を単純化し高速化することができる。【００７３】  次に、埋め込み部３０２による、量子化マトリクスへの配置データの埋め込みについて説明する。【００７４】  図１２Ａは、配置データ埋め込み前の量子化マトリクスの一例を示す図である。同図ではＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格で用いられるデフォルト量子化マトリクス８００を示している。８ｘ８量子化マトリクスは６４の量子化値より構成される。各値は対応する変換係数の量子化に用いられる量子化値である。変換係数ブロック内の各変換係数は、対応する量子化値で除算され、その結果の整数部分が量子化変換係数となる。量子化値が大きければ、変換係数の量子化は粗くなる。量子化値は量子化マトリクスの左上から右下に向かって大きくなる。よって、高周波数領域の変換係数は、低周波数領域に比べて粗い量子化が行われる。【００７５】  図１２Ｂは、配置データ埋め込み後の量子化マトリクスの一例を示す図である。同図では８×８の量子化マトリクス８０１を示している。ハッチングされたセグメント８１０、８２０はサブセットの位置を示す。セグメント８１０、８２０内の各値は、���子化値である。一方、ハッチングされていない部分には配置データが埋め込まれている。ハッチングされていない部分の各値「２５５」は、量子化値を意味するのではなく、量子化変換係数ブロックの対応する位置がサブセット外であることを意味する特別な値であり、言い換えれば、量子化変換係数ブロック中の定型ゼロ係数の位置を示している。このように量子化マトリクスに埋め込まれた配置データは、直接的には量子化変換係数ブロック内の全ての定型ゼロ係数の位置を示し、間接的には量子化変換係数ブロック内の非定型係数の位置（サブセットの配置）を示している。【００７６】  このように量子化マトリクスに配置データを埋め込むことにより、動画復号化装置２０１の配置データ抽出部９０２は、配置データを量子化マトリクスから容易に抽出することができる。【００７７】  図１３は、動画符号化装置１０１の動作を示すフローチャートを示す図である。同図は、図７と比べて、ステップＳ４０の代わりにステップＳ４１、Ｓ４２が追加されている点が異なっている。同じ点は説明を省略して異なる点について説明する。【００７８】  抑制部３０１は、変換・量子化部１２０からの量子化係数ブロックに対して、サブセットに属する量子化係数（非定型係数）のみを選択し、サブセットに属さない量子化係数（定型ゼロ係数）をスキップする（ステップＳ４１）。これにより、サブセット外の定型ゼロ係数は走査および符号化の対象から除外され、符号化効率を向上させる。さらに、埋め込み部３０２は、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込む（ステップＳ４２）。配置データを量子化マトリクスに埋め込むことによって、動画復号化装置にブロック中のサブセットの配置（より正確にはサブセットでない部分の位置、つまり定型ゼロ係数の位置）をシグナリングすることができる。【００７９】  図１４は、動画符号化装置と動画復号化装置の間のシグナリングを示す模式図である。図中のユニット９１０は、動画符号化装置１０１における、変換・量子化部１２０のうちの量子化する部分、抑制部３０１、埋め込み部３０２およびエントロピー符号化部１９０に相当する。ユニット９４０は、動画復号化装置２０１における、エントロピー復号化部２１０、ゼロ挿入部９０１、配置データ抽出部９０２および逆量子化・逆変換部２２０に相当する。定型ゼロ係数の位置を示す配置データは、量子化マトリクスに埋め込まれるので、量子化マトリクスと共に動画復号化装置２０１にシグナリングされる。このシグナリングは、シーケンス、ピクチャ、フレーム、フィールド、スライス、マクロブロック、又は所定数のブロック毎に行われる。シグナリングされた配置データに基づいて、動画復号化装置２０１は動画符号化装置１０１が用いたサブセットの走査を再構築し、変換係数に復号化する。【００８０】  同図では、定型ゼロ係数の位置を知らせるために量子化マトリクス（Ｑ−ｍａｔｒｉｘ）が用いられている。量子化マトリクスは、量子化に用いられる量子化値を変換係数９００ごとに特定する。量子化マトリクス中の特別な値（例えば２５５）は、それに対応する変換係数が定型ゼロ係数であることを意味する。その結果、この変換係数には、動画符号化装置１０１において走査も符号化も行われない。量子化マトリクスは、他のピクチャ情報データと共に動画像復号化装置に送信される。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格によると、量子化マトリクスは画像レベルで変更することができる。量子化マトリクスが６４個の８ビット値で構成されることを示すｓｃａｌｉｎｇ＿ｍａｔｒｉｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが設定される。ユニット９４０は、走査も符号化も行われなかった変換係数９００を、量子化マトリクス９３０を用いて判定し、ユニット９１０によって行われたサブセットの有効な走査を再構築する。よって、動画像復号化装置有効な走査を行い、サブセット９２０内の変換係数を復号化し、完全なセット９５０の復号化済み変換係数を生成する。【００８１】  図１４に示される動作は、ある画像領域を符号化するために用いられた空間周波数を制限するために用いることも可能である。これは、除外対象となる変換係数に対応する量子化マトリクス内の要素を特別な値（例えば、２５５）に明示的に設定することで実現可能である。除外された変換係数は、このように定型ゼロ係数としてマークされ、走査も符号化も行われない。このようにして、符号化対象となるデータの量がさらに低減され、符号化効率が改善される。【００８２】  上記方法は、ビデオ画像を符号化するために実際に用いられた変換係数のサブセットのみを符号化する。よって、サブセットは画像内容に応じて適宜、又は変換ステップの結果に応じて設定することも可能である。例えば、同一フレーム内の、又は先行するフレーム間のすでに符号化された画像領域を変換した結果に応じてサブセットを設定してもよい。また、サブセットは変換係数で構成されるサブセットからなる所定のシーケンスに応じて変更することも可能である。サブセットの変更は、例えば、シーケンス毎、ピクチャ毎、スライス毎、又はマクロブロック毎に行うことができる。【００８３】  図１５は、動画復号化装置の動作を示すフローチャートを示す図である。同図において、エントロピー復号化部２１０は、動画符号化装置１０１からの可変長符号列（ビットストリーム）を、サブセット内の変換係数に復号化し、量子化マトリクスに復号化する（ステップＳ１１０）。配置データ抽出部９０２は、復号化された量子化マトリクスから配置データを抽出し、配置データからブロック中のサブセットの配置（または定型ゼロ係数の位置）を判定する（ステップＳ１１５）。さらに９０１は、ブロック中のサブセットの位置に復号化量子化係数を配置し、ブロック中のサブセット外の位置に量子化係数として所定の値ゼロを挿入する（ステップＳ１２０）。これにより、ブロック内の量子化変換係数ブロックのフルセットが得られる。さらに、逆量子化・逆変換部２２０は、量子化変換係数ブロックを、逆量子化することにより変換係数ブロックを生成し（ステップＳ１３０）、変換係数ブロックを逆直交変換する（ステップＳ１４０）。これにより予測残差ブロックが得られる。さらに加算器２３０は、予測残差ブロックと予測画像とを加算することにより画素ブロックを再構成する（ステップＳ１５０）。再構成されたブロックからなるピクチャは表示されるか、又は、記録媒体に記録される。【００８４】  以上説明してきたように本実施の形態の画像符号化装置１０１は、画素データを周波数領域に変換した後、所定のサブセットに含まれる変換係数のみを走査し、符号化する。これにより、さらに高いデータ圧縮率を実現することができる。また、定型ゼロ係数の位置に関する配置データを量子化マトリックスに埋め込む。また、動画像符号化装置２０１は、ブロック中のサブセットの配置を変更するので、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止することができる。さらに、動画復号化装置２０１は、定型ゼロ係数の位置に関する情報が量子化マトリックスから抽出し、所定のサブセット内に含まれる量子化変換係数と、ブロック中のサブセット外の定型ゼロ係数の位置にゼロを挿入する。これにより、ブロック中のサブセット内およびサブセット外の全ての変換係数を復号化する。ビットストリームに含まれていない定型ゼロ係数を正しい位置に挿入し、適切に復号化することができる。【００８５】  （実施の形態３）
実施の形態２では、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化し、また、サブセットの位置を示す配置データを量子化マトリクスに埋め込む動画像符号化装置について説明した。これに対して、本実施の形態では、配置データを量子化係数に埋め込まないで、符号列（ビットストリーム）中に符号化する動画像符号化装置について説明する。【００８６】  図１６は、本実施の形態における動画符号化装置１０２の構成を示すブロック図である。同図は、図８と比較して、抑制部３０１および埋め込み部３０２の代わりに抑制部３０３および配置データ生成部３０４を備える点と、エントロピー符号化部１９０の代わりにエントロピー符号化部１９１を備える点とが異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。【００８７】  抑制部３０３は、図１１で示した並び替えの後に量子化係数ブロック内の複数の量子化係数を順に走査する。これ以外は抑制部３０１と同じである。【００８８】  配置データ生成部３０４は、ブロック中のサブセットの配置を特定する配置データを生成する。配置データは、エントロピー符号化部１９０により符号化され、動画復号化装置に伝送される。【００８９】  エントロピー符号化部１９１は、エントロピー符号化部１９０の機能に加えて、配置データ生成部３０４により生成された配置データを符号化する。【００９０】  図１７は、動画像復号化装置２０２の構成を示すブロック図である。同図は、図９と比較して、配置データ抽出部９０２の代わりに配置データ復号化部９０３を備える点が異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。【００９１】  配置データ復号化部９０３は、エントロピー復号化部２１０から得られる符号化された配置データを配置データに復号化する。【００９２】  図１８は、動画符号化装置１０２の動作を示すフローチャートを示す図である。同図は、図３と比べて、ステップＳ４２の代わりにステップＳ４３を有する点と、ステップＳ５１の代わりにステップＳ５２を有する点とが異なる。同じ点は説明を省略して異なる点について説明する。また、ステップＳ４３において、配置データ生成部３０４は、量子化変換係数ブロック内のサブセットの配置を示す葉位置データを生成する。【００９３】  図１９は、動画符号化装置１０２と動画復号化装置２０２の間のシグナリングを示す模式図である。図中のユニット７１０は、動画符号化装置１０２における動画符号化装置１０２の量子化、抑制部３０３およびエントロピー符号化部１９１に相当する。ユニット７６０は、動画符号化装置１０２における配置データ生成部３０４に相当する。【００９４】  また、ユニット７４０は、動画復号化装置２０１における、エントロピー復号化部２１０、９０１および逆量子化・逆変換部２２０に相当する。ユニット７８０は、動画復号化装置２０１における配置データ復号化部９０３に相当する。【００９５】  配置データは、符号化情報７７０に含まれ、ユニット７６０からユニット７８０にシグナリングされる。【００９６】  このようなシグナリングは、明示的��は暗示的に行うことができる。明示的シグナリングは、同図のように、配置データを符号化情報に含め、符号化済みビデオデータを示すビットストリーム中に符号化情報を符号化することによる。ところで、配置データは、定型ゼロ係数の配置が変化した場合にのみ送信すれば十分である。よって、定型ゼロ係数の配置を連続する複数ブロックにおいて一定に保つことは、必要な格納容量又は送信帯域を最適化することに有用である。例えば、明示的シグナリングは、シーケンス、ピクチャ、フレーム、フィールド、ブロック又はその所定番号ごとに行われてもよい。【００９７】  なお、暗示的シグナリングは、実施の形態２で説明した。この場合、ビットストリームに新たに追加される情報は全くない。【００９８】  なお、量子化変換係数を定型ゼロ係数及び非定型係数に分割するための方法（サブセットの変更方法）は、予め複数のサブセットの順序を示すシーケンスとして予め定めてもよい。このようなシーケンスは、例えばフレーム、スライス又はブロック等を符号化するために、個々に用いられる分割パターン（ｓｅｇｍｅｎｔａｔｉｏｎ  ｐａｔｔｅｒｎ）からなる。それぞれの分割パターンは、ブロック内の定型ゼロ係数の位置および非定型係数の位置を示すサブセットの配置を定義する。また、そのようなシーケンスの開始は、当該ピクチャの種別によって定義されてもよい。例えば、Ｉフレームの送信によって、シーケンスは自動的に再始動されてもよい。一方、シーケンスの再始動は、当該フレーム、スライス、又はブロック等のヘッダにおいてリセットフラグを設定することによって明示的にシグナリングされてもよい。このように、符号化によってシーン変化を説明することができる。【００９９】  さらに、フレーム、スライス、ブロック等を符号化するために個々に用いられる分割パターンからなる特定のシーケンスは、例えばシーケンスパラメータヘッダにおいて、動画像符号化装置から動画像復号化装置へ明示的に送信されてもよい。当該ブロックを符号化するために用いられた分割パターンは、次に、例えばピクチャ単位で、暗示的に切り替えられる。この方法は、マルチパス符号化において特に有用である。例えば、第１パスにおいてシーンの周波数が解析され、第２パスにおいてシーンの周波数に適用的に分割パターンが決定さえるようにすることができる。【０１００】  次に、配置データ生成部３０４により生成される配置データについて説明する。【０１０１】  図２０は、セグメント番号により配置データを表現する説明図である。同図では、量子化変換係数ブロックを、０〜１２の数で示される複数のセグメントに分割する例を示す。それぞれのセグメントは、非定型係数を含むかどうかによって、アクティブ（ａｃｔｉｖｅ）又はイナクティブ（ｉｎａｃｔｉｖｅ）に区別される。アクティブなセグメントのみがスキャンされ、符号化される。【０１０２】  配置データはこのアクティブセグメントを示し、例えばアクティブセグメントは、アクティブセグメントの識別子によってシグナリングされる。同図の例において、セグメント０とセグメント７のみがアクティブである。この情報は、動画復号化装置２０２に明示的又は暗示的にシグナリングが可能である。明示的シグナリングは、アクティブ又はイナクティブセグメントを列挙する専用のコード文字を用いてもよい。一方、これらのコード文字は、アクティブセグメントの識別子であってもよい。例えば、図８に示されるセグメンテーションはセグメンテーション識別子１、もう一つをセグメンテーション識別子２等としてもよい。【０１０３】  なお、明示的および暗示的シグナリングは、アクティブセグメント又はセグメントの特定の組み合わせがアクティブであるという条件の特定の順序を特定するプロトコルに基づいていてもよい。これらの条件は、当該フレーム又はブロック、画像コンテンツ等の数に応じて決められてもよい。例えば、セグメント０、１、・・・、１２は、それぞれ連続するブロック、マクロブロック、スライス、フィールド、フレーム等に適用されるようにしてもよい。アクティブセグメントの特定の組み合わせは、ｎフレームごとに適用されるべきであると定義してもよい。ここで、ｎ−１の異なる組み合わせの組（ｎ−１  ｏｔｈｅｒ  ｃｏｍｂｉｎａｔｉｏｎｓ）はそれぞれｎ−１フレームに適用されなければならない。上記どちらの場合においても、アクティブ又はイナクティブに関する追加情報を送信する必要はない。【０１０４】  図２１Ａは、ビットマップデータにより配置データを表現する説明図である。同図において、太線枠は、非定型係数の位置を示すアクティブセグメントを示す。アクティブセグメントに対応する非定型係数は、走査および符号化の対象になる。同図のように配置データは、アクティブセグメントに対応するビットマップデータとして表現することができる。より具体的なビットマップデータの例を図２１Ｂに示す。同図では、セグメント毎にアクティブであるか否か（非定型係数であるか定型ゼロ係数であるか）を示すセグメンテーションビットマップデータを示す。１つのセグメントは１つの係数に対応する。これにより、ブロック内のサブセットの配置をしめすために、ブロック内の非定型係数および定型ゼロ係数の位置を容易に表現することができ、配置データを容易に生成することができる。【０１０５】  なお、１つのセグメントは、隣接する複数の係数に対応してもよい。【０１０６】  また、図２１Ｂに示されるセグメンテーションビットマップにマップ番号１を付与し、別のセグメンテーションビットマップにマップ番号２を付与する等としてもよい。この場合、動画符号化装置１０２から動画復号化装置２０２に、予め各セグメンテーションビットマップマップを通知しておき、サブセットの変更時にマップ番号を通知するようにしてもよい。【０１０７】  図２２は、動画復号化装置の動作を示すフローチャートを示す図である。同図は、図１５と比べて、ステップＳ１１５の代わりにステップＳ１１６を有する点が異なっている。同じ点は説明を省略して異なる点を中心に説明する。Ｓ１１６において、配置データ抽出部９０２は、エントロピー復号化部２１０からの符号化配置データを配置データに複合化する。配置データは、図２０のようにセグメント識別子で表現される。あるいは、図２１Ｂのようにセグメンテーションビットマップデータで表現されていてもよい。【０１０８】  以上説明してきたように、本実施の形態の動画像符号化装置は、サ��セット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化し、また、サブセットの位置を示す配置データを生成し、配置データを符号列（ビットストリーム）中に符号化する。【０１０９】  なお、上記実施の形態１〜３における変形例のいくつかについて説明する。【０１１０】  上記変換係数のサブセットの配置は、予め定められたシーケンスに応じて変更してもよい。また、サブセットの配置は、予め定められたシーケンスに応じてフレームごと、フィールドごと、もしくは画像領域ごとに変更してもよい。よって、動画符号化装置おおよび動画復号化装置がともに予め定められたシーケンスに従ってサブセットを変更することにより、追加のシグナリング情報を動画復号化装置動画像復号化装置に送信する必要がないため、符号化効率を最大化することができる。【０１１１】  上記サブセットの配置を変更するシーケンスは、動画像復号化装置へシグナリングしてもよい。よって、動画像符号化装置は、特定のシーケンスを選択し、その選択結果を動画像復号化装置へ通知してもよい。よって、動画像復号化装置は、符号化済みビデオデータを復号化することができる。【０１１２】  上記サブセットの配置を変更するシーケンスの再始動の指示を、動画像復号化装置へシグナリングしてもよい。このようにして、動画像復号化装置は、画像特性（プロパティ）の突然の変化にも対応することができる。【０１１３】  上記サブセットの配置を変更するシーケンスは、所定の種別のフレームが符号化又は復号化される度に再始動してもよい。このようにして、Ｉフレーム等のフレーム種別情報を、シーケンスの再始動を暗示的にシグナリングするために用いることができる。【０１１４】  上記サブセット内の変換係数の並び替え方法を示す情報を、動画像復号化装置へシグナリングしてもよい。この情報は、変換係数及び変換係数がビデオデータにおいて符号化された順番を定義してもよい。このことは、動画像符号化装置によって用いられた有効なスキャンをするために、動画像復号化装置が、変換係数のサブセットを特定し、復号化済みビデオデータを復号化することを可能にする。【０１１５】  上記配置データは、変換係数の所定のサブセットの一部、又は一部でない変換係数の列挙からなることが好ましい。よって、動画像復号化装置は、動画像符号化装置によって用いられた有効スキャンを容易に再構築し、符号化済みビデオデータを復号化することができる。【０１１６】  上記配置データは、予め定められた複数のサブセットのうちの一つサブセットを特定するようにしてもよい。このように、配置データは一つの番号からなってもよい。予め定められた複数のサブセットは、動画符号化装置および動画復号化装置内に共に予め設定しておいてもよいし、動画符号化装置から動画復号化装置にシグナリングしてもよい。【０１１７】  上記配置データのシグナリングは、変換係数の所定のサブセットが変更される度におこなわれることが好ましい。このことは、動画像復号化装置が、動画像符号化装置によって用いられた変換係数に即応することを可能にする。【０１１８】  上記配置データのシグナリングは、少なくとも２つの画像領域に対して１回、もしくは所定のピクチャ、フレーム、フィールド、スライス、マクロブロック、又はブロックの数に対して１回行われることが好ましい。よって、符号化効率におけるゲインを、変換係数の同一の所定のサブセットを繰り返し適用することによって最大化することができる。【０１１９】  上記配置データは、ビデオデータにおいて符号化してもよい。このように、配置データを、動画像復号化装置へ最も容易に送信することができる。【０１２０】  上記変換係数のサブセットの配置は、画像領域の画像コンテンツ、隣接する画像領域の画像コンテンツ、又は先行するフレームにおける画像領域の画像コンテンツに適応して設定してもよい。このように、動画像復号化装置は、ビデオデータを符号化するために用いられた周波数のセットを最適化することができる。【０１２１】  変換係数のサブセットの配置は、変換又は量子化ステップの結果から得られる既知の情報に基づいて設定してもよい。また、上記サブセットの配置は、非ゼロ係数をできるだけ多く含むことが好ましい。よって、符号化済みデータにおける冗長性を削減し、符号化効率を高めることができる。【０１２２】  画像領域は画素ブロックであり、画像は同一サイズの複数のブロックに分割してもよい。よって、復号化済み画像領域から画像を復号化しアセンブルする際に、画像を画像領域に分割することが簡略化される。【０１２３】  上記サブセットの配置は、各画像エリアの画像内容に適応させることが好ましい。例えば、画像内容にもっとも寄与する周波数をサブセットに含めればよい。その結果、符号化するデータの量を増やすことなく、復号画像の画質を改善することができる。【０１２４】  上記サブセットの配置は、ノン・ゼロ変換係数の存在やサイズに適応するよう設定してもよい。したがって、周波数領域における画像表現にもっとも寄与する周波数成分に基づいて選択する。このようにして簡単な方法で、画質を制御することができる。【０１２５】  上記サブセットの配置における、低周波数と高周波数の割合は、各画像エリアの変換係数の周波数の特徴次第で適応的に設定してもよい。低周波数部分を強制的に伝送し、低周波数と高周波数の寄与を適応的に設定することによって、簡単かつ効果的な方法で画質を制御することができる。【０１２６】  上記サブセットの配置は、予め定められた閾値を超えるひとつの周波数のみを、予め決められた周波数として設定してもよい。それゆえ、重要な周波数成分を、簡単かつ効果的な方法で選択することができる。【０１２７】  上記サブセットの配置は、予め決められた周波数を設定するための閾値は、適応的に設定してもよい。このようにして、複数の周波数の設定は、例えば画像内容や利用可能なデータレートなどに簡単に適応させることができる。【０１２８】  上記サブセットの配置は、低周波数成分の重要度が高周波成分よりも高くなるように、最低周波数を含むセグメントには、最大の重要度を設定してもよい。【０１２９】  （実施の形態４）
さらに、上記実施の形態１〜３で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。【０１３０】  図２３Ａ〜図２３Ｃは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。【０１３１】  図２３Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。【０１３２】  また、図２３Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。【０１３３】  なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。【０１３４】  （実施の形態５）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。【０１３５】  図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。【０１３６】  このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。【０１３７】  しかし、コンテンツ供給システムｅｘ１００は図２４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。【０１３８】  カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。【０１３９】  また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。【０１４０】  このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ���１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。【０１４１】  このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。【０１４２】  図２５は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。【０１４３】  さらに、携帯電話ｅｘ１１５について図２６を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）の制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。【０１４４】  電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。【０１４５】  携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。【０１４６】  さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力され���電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。【０１４７】  データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。【０１４８】  画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。【０１４９】  多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。【０１５０】  データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。【０１５１】  また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。【０１５２】  次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データ���再生される。【０１５３】  なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。【０１５４】  更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。【０１５５】  なお、カーナビゲーションｅｘ４１３の構成は例えば図２６に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。【０１５６】  また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。【０１５７】  このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。【０１５８】  なお、図１、図２、図８、図９、図１６、図１７に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ���されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１５９】  集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０１６０】  さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。【０１６１】  また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施の形態の記録媒体１１５のように別構成としても良い。【０１６２】  なお、図１、図２、図８、図９、図１６、図１７示したブロック図の各機能ブロックおよび図７、図１３、図１５、図１８、図２２に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。【０１６３】  このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。【０１６４】  また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１６５】  本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図１】
2006118288.tif 000002
【図２】
2006118288.tif 000003
【図３】
2006118288.tif 000004
【図４Ａ】
2006118288.tif 000005
【図４Ｂ】
2006118288.tif 000006
【図５】
2006118288.tif 000007
【図６Ａ】
2006118288.tif 000008
【図６Ｂ】
2006118288.tif 000009
【図７】
2006118288.tif 000010
【図８】
2006118288.tif 000011
【図９】
2006118288.tif 000012
【図１０】
2006118288.tif 000013
【図１１】
2006118288.tif 000014
【図１２Ａ】
2006118288.tif 000015
【図１２Ｂ】
2006118288.tif 000016
【図１３】
2006118288.tif 000017
【図１４】
2006118288.tif 000018
【図１５】
2006118288.tif 000019
【図１６】
2006118288.tif 000020
【図１７】
2006118288.tif 000021
【図１８】
2006118288.tif 000022
【図１９】
2006118288.tif 000023
【図２０】
2006118288.tif 000024
【図２１Ａ】
2006118288.tif 000025
【図２１Ｂ】
2006118288.tif 000026
【図２２】
2006118288.tif 000027
【図２３Ａ】
2006118288.tif 000028
【図２３Ｂ】
2006118288.tif 000029
【図２３Ｃ】
2006118288.tif 000030
【図２４】
2006118288.tif 000031
【図２５】
2006118288.tif 000032
【図２６】
2006118288.tif 000033
【図２７】
2006118288.tif 000034
【手続補正書】
【提出日】平成19年10月18日(2007.10.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、
ブロック中のサブセットの配置を変更する
ことを特徴とする動画像符号化方法。
【請求項２】
前記サブセットの配置は、(i)〜(v)の少なくとも１つに関連して変更される
(i)ピクチャの符号化完了、(ii)所定数のブロックの符号化完了、(iii)符号化対象のピクチャの内容、(iv)ブロックのピクチャ中の位置、(v)各周波数係数としきい値との比較
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数をゼロに抑制し、
前記符号化において、選択された周波数係数とゼロに抑制された周波数係数とを含む周波数係数を可変長符号に符号化する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
前記符号化において、選択されていない周波数係数を、可変長符号化の対象から除外する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
前記選択において、前記サブセットに属する周波数係数を逐次走査し、
前記符号化において、走査された周波数係数を可変長符号に符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項６】
前記選択において、
サブセットに属する周波数係数を走査順に並び替え、
並び替え後に前記サブセットに属する周波数係数を逐次走査する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項７】
前記動画像符号化方法は、さらに、
ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込み、
前記符号化において、前記配置データが埋め込まれた前記量子化マトリクスを符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項８】
前記動画像符号化方法は、さらに、
ブロック中のサブセットの配置を特定する配置データを生成し、
前記符号化において、前記配置データを符号化する
ことを特徴とする請求項４記載の動画像符号化方法。
【請求項９】
前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含む
ことを特徴とする請求項８記載の動画像符号化方法。
【請求項１０】
前記配置データは、ブロック内の周波数係数毎に前記サブセットに属するか否かを示すビットマップデータである
ことを特徴とする請求項８記載の動画像符号化方法。
【請求項１１】
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化し、
配置データに基づいてブロック中のサブセットの配置内に復号化量子化係数を配置し、
配置データに基づいてブロック中のサブセットの配置外にゼロ係数を配置し、
復号化された量子化係数と所定の値とが配置されたブロックを逆量子化し、
逆量子化されたブロックを直交変換する
ことを特徴とする動画像復号化方法。
【請求項１２】
前記復号化において、可変長符号から量子化的リスクを復号化し、
前記配置データは復号化された量子化マトリクスから抽出される
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１３】
前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含む
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１４】
前記配置データは、ブロック内の量子化係数毎に前記セグメントに属するか否かを示すビットマップデータである
ことを特徴とする請求項１１記載の動画像復号化方法。
【請求項１５】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化装置であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする動画像符号化装置。
【請求項１６】
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化する復号手段と、
配置データに基づいてブロック中のサブセットの配置内の位置に復号化量子化係数を配置し、また、配置データに基づいてブロック中のサブセットの配置外の位置に量子化係数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とが配置されたブロックを逆量子化する逆量子化手段と、
逆量子化されたブロックを直交変換する直交変換手段と
を備えることを特徴とする動画像復号化装置。
【請求項１７】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する半導体装置であって、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択する選択手段と、
ブロック中のサブセットの配置を変更する変更手段と
を備えることを特徴とする半導体装置。
【請求項１８】
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化する復号手段と、
配置データに基づいてブロック中のサブセットの位置に復号化された量子化係数を配置し、また、配置データに基づいてブロック中のサブセット以外の位置に量子化係数として所定の値を配置する配置手段と、
復号化された複数の量子化係数と所定の値とを含むブロック逆量子化し逆量子化手段と、
逆量子化されたブロックを直交変換する直交変換手段と
を備えることを特徴とする半導体装置。
【請求項１９】
ブロックを構成する複数の画素を、周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化するコンピュータ読み取り可能なプログラムであって、前記プログラムは、
量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、
ブロック中のサブセットの配置を変更する
ことをコンピュータに実行させることを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能なプログラムであって、
可変長符号を、複数の量子化係数と、ブロック中のサブセットの配置を特定する配置データとに復号化し、
配置データに基づいてブロック中のサブセットの配置内の位置に復号化量子化係数を配置し、
配置データに基づいてブロック中のサブセットの配置外の位置に量子化係数として所定の値を配置し、
復号化された量子化係数と所定の値とが配置されたブロックを逆量子化し、
逆量子化されたブロックを逆直交変換する
ことをコンピュータに実行させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを圧縮する符号化に関し、特に、特に高い符号化効率を実現する動画像符号化方法、動画像復号化方法およびその装置に関する。
【背景技術】
【０００２】
動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信される、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネル、メディアに送信及び格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。
【０００３】
動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ.２６ｘで示されるＩＴＵ-Ｔ規格、及びＭＰＥＧ-ｘで示されるＩＳＯ／ＩＥＣ規格がある。最新の動画像符号化規格は、Ｈ.２６４/ＭＰＥＧ-４ ＡＶＣ規格（非特許文献１）である。
【０００４】
これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。
（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素ブロックに分割する。
（ｂ）動画像データのそれぞれのブロックを空間領域から周波数領域に変換する。
（ｃ）周波数領域の変換係数を量子化することによって、全体のデータ量を削減する。
（ｄ）量子化変換係数をエントロピー符号化する。
（ｅ）連続するフレームのブロック間の変化のみを符号化するために、連続するフレームのブロック間の時間的依存性を利用する。これは、動き予測・補償技術を用いる。
【０００５】
画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数要素で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。
【０００６】
ＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-４、Ｈ.２６３、およびＨ.２６４/ＡＶＣといった、現在の動画像符号化規格は、量子化後の周波数係数をさらに圧縮するためにエントロピー符号化を用いる。
【０００７】
このエントロピー符号化は、２次元の量子化変換係数ブロックを１次元シーケンスに変換するために、量子化された変換係数の２次元ブロックを走査する処理を含む。通常、ジグザグ走査のような所定の走査方法が用いられる。この走査は、最低周波数係数（つまり、ＤＣ係数）から開始され、ブロックのゼロでない全ての係数が走査されると同時に終了する。このような走査方法の問題点の一つは、ゼロでない最後の係数に達するまでに多くのゼロである係数を走査しなければならないことである。
【０００８】
このようにして取得された、量子化変換係数の１次元シーケンスは、（ラン、レベル）と呼ばれる一連のいくつかの組として表現される。（ラン、レベル）の各組は、例えばハフマン符号に基づいて、可変長符号に符号化される。可変長符号は、典型的なビデオ画像において発生する、より短い符号語を最もよく用いられるラン・レベルの組に割り当てるように、最適化される。このように、量子化変換係数のブロック全体が符号化される。
【０００９】
多くの応用において、符号化動画像データの蓄積又は転送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を増加させることは、符号化画像の画質劣化を引き起こす。
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 “Information technology - Coding of audio-visual objects - Part 10:Advanced video coding”
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、画質を劣化させず、かつ高いデータ圧縮率を実現する動画像符号化方法、動画像復号化方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため本発明の動画像符号化方法は、ブロックを構成する複数の画素を周波数を示す複数の係数に直交変換し、前記複数の係数を量子化し、複数の量子化係数を符号化する動画像符号化方法であって、量子化前の前記複数の係数および量子化後の複数の量子化係数の何れかである複数の周波数係数のブロックからそのサブセットに属する量子化係数を選択し、ブロック中のサブセットの配置を変更することを特徴とする。この構成によれば、第１に、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化することによって高いデータ圧縮率を実現することができる。第２に、ブロック中のサブセットの配置を変更することによって、選択されなかった量子化係数に起因するピクチャの画質劣化を防止することができる。もし、数１０フレームに渡ってサブセットがずっと同じであれば、選択されなかった量子化係数に起因するピクチャの画質劣化が人の目にもはっきり見えてしまう。本発明では、例えば個々のフレームではサブセット以外の周波数成分が欠落するが、サブセットの配置を変更することにより連続フレームでは欠落する周波数成分が時間とともに変化していく。そうすると、連続するフレームでは、人の目には残像の時間的な積分効果より、個々の周波数成分の欠落が見えないので、人の目に対して画質劣化が生じない。
【００１２】
ここで、前記サブセットの配置は、(i)〜(v)の少なくとも１つに関連して変更されてもよい。(i)ピクチャの符号化完了、(ii)所定数のブロックの符号化完了、(iii)符号化対象のピクチャの内容、(iv)ブロックのピクチャ中の位置、(v)各周波数係数としきい値との比較。この構成によれば、サブセットの変更を規則的に単純化し、または画像の内容に応じて適切に行うことができる。
【００１３】
ここで、前記動画像符号化方法は、さらに前記サブセットに属さない周波数係数をゼロに抑制し、前記符号化において、選択された周波数係数とゼロに抑制された周波数係数とを含む周波数係数を可変長符号に符号化してもよい。この構成によれば、選択された量子化係数とゼロに抑制された量子化係数とを可変長符号に符号化するので、復号化装置ではサブセットの位置を知る必要がなく、従来の復号化装置において動画像を再生することができる。
【００１４】
ここで、前記符号化において、選択されていない周波数係数を、可変長符号化の対象から除外してもよい。この構成によれば、選択された量子化係数のみを可変長符号に符号化するので、抑圧されたゼロを符号化する場合よりもさらに高いデータ圧縮率を実現することができ、しかも、人の目には画質が劣化しない。
【００１５】
ここで、前記選択において、前記サブセットに属する周波数係数を逐次走査し、前記符号化において、走査された周波数係数を可変長符号に符号化してもよい。
【００１６】
ここで、前記選択において、サブセットに属する周波数係数を走査順に並び替え、並び替え後に前記サブセットに属する周波数係数を逐次走査してもよい。この構成によれば、並び替えによって、サブセットに含まれない変換係数をスキップする必要がなくなり、走査が容易となる。
【００１７】
ここで、前記動画像符号化方法は、さらに、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込み、前記符号化において、前記配置データが埋め込まれた前記量子化マトリクスを符号化してもよい。この構成によれば、量子化マトリクスに配置データを埋め込むので、データ量を増加させることなく（データ圧縮率を低下させることなく）、復号化装置にサブセットの配置を通知することができる。
【００１８】
ここで、前記動画像符号化方法は、さらに、ブロック中のサブセットの配置を特定する配置データを生成し、前記符号化において、前記配置データを符号化するとしてもよい。
【００１９】
ここで、前記配置データは、ブロックを構成する複数のセグメントのうち、前記サブセットに対応するセグメントを識別する識別子を含むようにしてもよい。
【００２０】
ここで、前記配置データは、ブロック内の周波数係数毎に前記サブセットに属するか否かを示すビットマップデータであってもよい。
【００２１】
また、本発明の動画像復号化方法、動画像符号化装置、動画像復号化装置、半導体装置、プログラムも、上記と同様である。
【発明の効果】
【００２２】
本発明によれば、高いデータ圧縮率を実現することができ、かつ、ピクチャの画質劣化を防止することができる。
【発明を実施するための最良の形態】
【００２３】
（実施の形態１）
本実施の形態における動画像符号化装置および方法は、ブロックを構成する画素を周波数を示す複数の係数に直交変換し、複数の係数を量子化し、複数の量子化係数からそのサブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化し、また、ブロック中のサブセットの配置を変更することを特徴とする。さらに、本発明の動画像符号化装置および方法は、さらにサブセットに属さない量子化係数をゼロに抑制し、符号化において、選択された量子化係数とゼロに抑制された量子化係数とを含む量子化係数を可変長符号に符号化することを特徴とする。
【００２４】
ここで、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化するのは、高いデータ圧縮率を実現するためである。また、ブロック中のサブセットの配置を変更することは、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止するためである。これにより、高いデータ圧縮率を実現し、しかも画質劣化を防止することができる。
【００２５】
以下図面を用いて本実施の形態における動画像符号化装置を具体的に説明する。
【００２６】
図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。同図において、動画像符号化装置１００は、減算器１１０、変換・量子化部１２０、抑制部３００、逆量子化・逆変換部１３０、加算器１３５、デブロックフィルタ１３７、メモリ１４０、イントラ予測部１５０、動き補償予測部１６０、動き予測部１７０、スイッチ１８０、エントロピー符号化部１９０を備える。
【００２７】
減算器１１０は、符号化対象の動画像（入力信号）中のピクチャを構成するブロック毎に、当該ブロックと予測画像との差分を予測残差として求める。ここで予測画像は、イントラ予測部１５０または動き補償予測部１６０からスイッチ１８０を介して減算器１１０に入力される。ブロックは、１枚のピクチャを分割することにより得られる（図３参照）。ブロックのサイズは、Ｎ×Ｍ画素である。Ｎは４、８または１６が一般的である。Ｍも同様である。以下の処理は基本的にブロック単位になされる。
【００２８】
変換・量子化部１２０は、減算器１１０からの予測残差を直交変換し、さらに量子化する。直交変換において、予測残差ブロックは、周波数を示す複数の係数からなる係数ブロックに変換（図４Ａ参照）される。図４Ａでは、４つの隣接する４×４の係数ブロックの一例を示してある。量子化において、係数ブロックの各係数は、量子化パラメータおよび量子化マトリクスの各要素によって割り算される。これにより、量子化係数ブロックが得られる（図４Ｂ参照）。図４Ｂのように、量子化係数ブロックでは、非ゼロの量子化係数と、多くのゼロの量子化係数とを含む。
【００２９】
抑制部３００は、複数の量子化係数からなる量子化係数ブロックから、そのサブセット（図５参照）に属する量子化係数を選択し、さらにサブセットに属さない量子化係数をゼロに抑制する。このサブセットは、例えばピクチャごとに変更される。この変更により、抑制された量子化係数に対応する周波数成分の欠落がピクチャ毎に変化するので、人の目には認識されなくなる。その結果、画質劣化を防止することができる。
【００３０】
逆量子化・逆変換部１３０、加算器１３５、デブロックフィルタ１３７は、抑制部３００から出力される抑制後の量子化係数ブロックを局所的に（つまり、動画像符号化装置１００の内部で）復号化する。
【００３１】
メモリ１４０は、局所的に復号された画素ブロックを格納する。これにより参照用のピクチャが再構成される。
【００３２】
イントラ予測部１５０は、イントラピクチャ（Ｉピクチャ）用の予測画像を生成する。
【００３３】
動き補償予測部１６０は、動き予測部１７０からの動きベクトルに従って、インターピクチャ（ＰピクチャまたはＢピクチャ）用の予測画像を生成する。
【００３４】
動き予測部１７０は、参照ピクチャに対する符号化対象ブロックの動きを検出し、動きベクトルを出力する。
【００３５】
スイッチ１８０は、イントラ予測部１５０からの予測画像または動き補償予測部１６０からの予測画像を選択的に減算器１１０に出力するためのスイッチである。
【００３６】
エントロピー符号化部１９０は、抑制部３００から出力される抑制後の量子化係数ブロックを可変長符号に符号化する。抑制後の量子化係数ブロックは、選択された量子化係数（サブセット内量子化係数）と、サブセット外のゼロに抑制された量子化係数とを含む。可変長符号化では、抑制後の量子化係数ブロック中の量子化係数を走査（例えばジグザグ走査）することによって１次元の量子化係数の列に変換し、さらに、量子化係数の列から（０ラン長、レベル）の組を順に抽出する。抽出された（０ラン長、レベル）の組は、１つの可変長符号に符号化される。それゆえ、抑制後の量子化係数ブロックは、ゼロを多く含むので、（０ラン長、レベル）の組の数が少なくなり、可変長符号の数も少なくなる。このようにして、可変長符号の符号量を削減することができる。
【００３７】
図２は、動画像復号化装置の構成を示すブロック図である。同図において、動画像復号化装置２００は、エントロピー復号化部２１０、逆量子化・逆変換部２２０、加算器２３０、デブロックフィルタ２４０、メモリ２５０、イントラ予測部２６０、動き補償予測部２７０を備える。この動画像復号化装置２００は、従来技術における動画像復号化装置と同じでよい。なぜなら、動画像符号化装置１００から伝送される符号列から得られるブロック内の量子化変換係数の数は１つも削減されていないからである。
【００３８】
動画像復号化装置２００を簡単に説明する。エントロピー復号化部２１０は、動画像符号化装置１００からの符号列（ビットストリーム）を可変長復号化する。これにより、量子化変換係数ブロックと、動きベクトルなどが得られる。量子化変換係数ブロックは、逆量子化・逆変換手段２２０に送られ、動きベクトルは動き補償予測手段２７０に送られる。量子化係数ブロックは、逆量子化・逆変換手段２２０によって、逆量子化され、さらに逆直交変換される。これにより、予測残差ブロックが得られる。予測残差ブロックは、インター予測モードの場合、動き補償予測手段２７０からの予測画像に加算され、イントラ測モードの場合、イントラ予測部２６０からの予測画像に加算される。これにより、画素ブロックが再構成される。この画素ブロックは、デブロックフィルタ２４０によりフィルタリングされた後、参照ピクチャの一部としてメモリ２５０に格納される。
【００３９】
図５は、抑制部３００による選択および抑制の様子を示す説明図である。同図では、抑制部３００の前後のエレメントと、抑制部３００に入力される量子化変換係数ブロックと、抑制部３００から出力される抑制後の量子化変換係数ブロックとを図示している。
【００４０】
抑制部３００に入力される量子化変換係数ブロックは、４×４のセグメントからなる。ここでセグメントは、１つの量子化係数または複数（４×４等）の量子化係数からなる。量子化変換係数ブロックの左上は最も周波数の低い（直流成分の）量子化変換係数である。量子化変換係数ブロック中の右にいくほど、水平方向の周波数ｆｘが高くなる。また、量子化変換係数ブロック中の下にいくほど、水平方向の周波数ｆｙが高くなる。
【００４１】
抑制部３００から出力される量子化変換係数ブロックは、ハッチングされているサブセットと、それ以外とに分けて図示されている。このサブセットは、低周波数のセグメントＬＦと、高周波数のセグメント８とを含む。図中の１〜１２は、セグメントに付与されたセグメント番号を表している。
【００４２】
人の目の感度は、低周波数の変化には敏感で、高周波数の変化には鈍感になる。それゆえ、セグメントＬＦは、サブセットに含めることが望ましい。さらに、サブセットの変更は、セグメントＬＦを必須にし、高周波のセグメントのみ変更することが望ましい。
【００４３】
図６Ａは、サブセットの変更例を示す図である。同図ではピクチャ毎にサブセットを変更する例を示している。ピクチャｆ１のサブセットは、セグメントＬＦおよびセグメント６からなる（ＬＦ＋６と表記する）。ピクチャｆ２のサブセットは（ＬＦ＋７）であり、ピクチャｆ３のサブセットは（ＬＦ＋８）である。
【００４４】
このように図６Ａの例では、サブセットは（ＬＦ＋Ｎ）である。このＮは、例えば、ピクチャの符号化が完了する毎に１ずつインクリメントされる。ただしＮ＝１２の次はＮ＝１に戻る。こうすれば、極めて単純な規則でサブセットをピクチャ毎に効果的に変更することができる。なお、セグメントの番号は、図６Ａに限らず、所望の周波数の順にすることができる。例えば、水平方向の高周波数と、垂直方向の高周波数とが交互になる順にしてもよい。また、ランダムな順にしてもよい。
【００４５】
図６Ｂは、サブセットの別の変更例を示す図である。この例では、サブセット内のセグメントＬＦ以外のセグメントは、セグメント内の量子化係数の平均がしきい値以上のセグメントから選択される。ピクチャｆ１のサブセットは（ＬＦ＋７）である。この場合、セグメント７の量子化係数の平均がしきい値以上である。ピクチャｆ２のサブセットは（ＬＦ＋２＋４）である。この場合、セグメント２の量子化係数の平均がしきい値以上であり、セグメント４の量子化係数の平均がしきい値以上である。ピクチャｆ３のサブセットは（ＬＦ＋９＋１２）である。この場合、セグメント９の量子化係数の平均がしきい値以上であり、セグメント２の量子化係数の平均がしきい値以上である。
【００４６】
この例では、サブセット内の高周波セグメントの量子化係数の平均がしきい値以上なので、画像への影響が大きいセグメントを積極的にサブセットに含めることになる。これにより画質劣化を抑えることができる。このように、ピクチャの画像内容に応じてサブセットを適応的に決定するようにしてもよい。
【００４７】
図７は、動画像符号化装置１００の動作を示すフローチャートを示す図である。同図のように、動画像符号化装置１００は、符号化対象のピクチャを複数のブロックに分割し（ステップＳ１０）、サブセットの配置を設定または変更する（Ｓ１５）。さらに、以下の処理をブロック毎に行う。変換・量子化部１２０は、予測誤差ブロックを変換係数ブロックに変換し（ステップＳ２０）、さらに、量子化する（ステップＳ３０）。
【００４８】
さらに、抑制部３００は、量子化変換係数ブロックから、サブセットに属する量子化変換係数を選択し、さらに、サブセットに属さない量子化変換係数をゼロに抑制する（ステップＳ４０）。エントロピー符号化部１９０は、選択された量子化変換係数と、ゼロに抑制された量子化変換係数とを、可変長符号に符号化する（ステップＳ５０）。
【００４９】
以上説明してきたように本実施の形態における動画像符号化装置は、サブセットに属する量子化係数を選択し、選択された量子化係数を可変長符号に符号化するので、高いデータ圧縮率を実現することができる。また、動画像符号化装置は、ブロック中のサブセットの配置を例えばピクチャ単位やブロック単位で変更するので、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止することができる。このように、高いデータ圧縮率を実現し、しかも画質劣化を防止することができる。
【００５０】
なお、上記サブセットの位置は、ブロック内でなくてもよく、ピクチャ内の予め定められた数の予め決められた周波数成分をサブセットの位置としてもよい。これによっても、達成される高圧縮率と画質劣化とのトレード・オフを、簡単な方法で適切に設定することができる。
【００５１】
また、サブセット内のセグメントは、予め決められた周波数順によって変更してもよい。このようにして特定の周波数順を適切に選択することにより、得られる画像の画質の劣化を制御し最低限にとどめることができる。
【００５２】
また、サブセットの位置は、フレームごとに、またはフレーム内の画像エリアごとに変更してもよい。例えば、ブロックのピクチャ中の位置に応じて変更してもよい。このようにして、サブセットの位置を動的に変更することを、簡単な方法で実施することができる。
【００５３】
また、サブセットの位置は、予め定められた周波数のシーケンスにしたがって変更してもよい。したがって、周波数の変更を簡単な方法で達成することができる。
【００５４】
また、連続的に変更される所定数のサブセットの位置には、全ての周波数を含むようにしてもよい。これにより、ある時間内に少なくとも一度はすべての周波数成分が画質に寄与することになる。また、連続的に変更される所定数のサブセットの位置には、重要な周波数成分を含むようにしてもよい。
【００５５】
また、サブセットの位置は、動画像の内容（例えば、映画、ニュース、野球、サッカー、ドラマ、アニメ、音楽番組、ゲーム、ＣＭ等）に応じて適応的に定めてもよい。
【００５６】
また、本実施の形態においては、変換・量子化部１２０において、周波数変換と量子化の処理を施した後、抑圧部３００において量子化係数を抑圧する方法について説明したが、これは周波数変換後の周波数変換係数を抑圧し、その後量子化処理を施しても良く、本実施の形態と全く同じ効果を得ることができる。
【００５７】
また、本実施の形態においては、１フレーム（ピクチャ）をブロックに分割し、ブロックを１符号化単位として周波数変換、量子化、抑圧、エントロピー符号化等の処理を施す場合について説明したが、これは１フレーム（ピクチャ）を分割することなく１ブロックと扱い、当該ブロックを１符号化単位として符号化しても良く、本実施の形態と全く同じ効果を得ることができる。
【００５８】
また、本実施の形態においては、抑圧部３００において量子化係数を強制的に抑圧する方法について説明したが、これは変換・量子化部１２０で実施する量子化処理において用いる量子化マトリクスを操作することにより、ほぼ同様の効果を得ることができる。具体的には、抑圧したい周波数成分に対する量子化マトリクス値を大きな値（例えば、量子化マトリクス値が取りうる値の最大値）にすれば良い。これにより、量子化係数は必ずしも０にはならないため、効果は本実施の形態よりも若干劣る。しかし、量子化係数の絶対値は０近傍の値となるため、本実施の形態とほぼ同様の効果を得ることができる。またこの場合には、抑圧部３００での処理は不要となる。
【００５９】
（実施の形態２）
実施の形態１では、サブセット内の量子化係数を選択し、サブセット外の量子化係数をゼロに抑圧する動画像符号化装置について説明した。これに対して本実施の形態では、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化する動画像符号化装置について説明する。この場合、画像復号化装置はサブセットの位置を判定できないと復号化できないので、本実施の形態では、さらに、画像符号化装置から画像復号化装置にブロック内のサブセットの位置を知らせる構成についても説明する。
【００６０】
図８は、実施の形態２における動画像符号化装置１０１の構成を示すブロック図である。同図の動画像符号化装置１０１の構成は、図１と比較して、抑制部３００の代わりに抑制部３０１および埋め込み部３０２を備える点が異なっている。同じ構成要素には同じ符号を付けているので説明を省略し、以下異なる点を中心に説明する。
【００６１】
抑制部３０１は、変換・量子化部１２０からの量子化係数ブロックから、サブセットに属する量子化係数を選択する。具体的には、抑制部３０１は、量子化係数ブロック内の複数の量子化係数を順に走査し、走査された量子化係数がサブセットに属する場合はその量子化係数をエントロピー符号化部１９０に出力し、走査された量子化係数がサブセットに属さない場合はその量子化係数をエントロピー符号化部１９０に出力しない。その結果、エントロピー符号化部１９０は、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化することになる。
【００６２】
埋め込み部３０２は、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込む。配置データが埋め込まれた量子化マトリクスは、エントロピー符号化部１９０により符号化され、動画像復号化装置に伝送される。動画像復号化装置は、量子化マトリクスから配置データを抽出することにより、サブセットの位置を判断することができる。
【００６３】
図９は、動画像復号化装置２０１の構成を示すブロック図である。同図の動画像復号化装置２０１の構成は、図２と比較して、配置データ抽出部９０２とゼロ挿入部９０１とが追加された点とが異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。
【００６４】
配置データ抽出部９０２は、エントロピー復号化部２１０によって復号化された量子化マトリクスから配置データ抽出する。
【００６５】
ゼロ挿入部９０１は、配置データ抽出部９０２からの配置データに従ってブロック内のサブセットの配置を判定し、エントロピー復号化部２１０からの復号化量子化係数をブロック中のサブセットの位置に配置し、ブロック中のサブセット以外の位置に量子化係数として所定の値（ゼロ）を配置する。
【００６６】
図１０は、抑制部３０１における量子化係数ブロックのスキャンを示す説明図である。同図は、８×８の量子化係数ブロックを示す。ハッチング部分はサブセットを示す。一般に、量子化係数ブロック内の量子化係数は、非ゼロ係数とゼロ係数の２種類に分類される。本発明では、さらに、異なる観点から量子化係数ブロック内の量子化係数は、定型ゼロ係数と非定型係数の２種類に分類される。
【００６７】
ここで、定型ゼロ係数とは、サブセットに属さない量子化係数である。定型ゼロ係数は、動画像復号化装置２０１のゼロ挿入部９０１によってブロック中のサブセット外の位置に定型的にゼロに設定される係数を意味する。動画像復号化装置２０１内では全ての定型ゼロ係数はゼロ係数である。また、動画像符号化装置１０１では、定型ゼロ係数は、抑制部３０１による走査でスキップされる係数であり、エントロピー符号化部１９０により符号化対象から除外される係数を意味する。動画像符号化装置１０１内では定型ゼロ係数は、符号化対象から除外されるので、その値は意味を有しない。また、実施の形態１の動画像符号化装置１００では、定型ゼロ係数は、抑制部３００によって選択されずにゼロに抑制された量子化係数をいう。動画像符号化装置１００内では、全ての定型ゼロ係数はゼロ係数である（ゼロに抑制される）。
【００６８】
また、非定型係数とは、定型ゼロ係数以外の量子化係数であり、つまりサブセットに属する量子化係数をいう。非定型係数は、非ゼロ係数またはゼロ係数である。
【００６９】
図１０のように抑制部３０１は、量子化係数ブロックの走査において、サブセットに属する量子化係数（非定型係数）のみを選択し、サブセットに属さない量子化係数（定型ゼロ係数）をスキップする。同図のジグザグスキャンにおける実線部分は走査において選択されることを意味し、破線部分は走査においてスキップされることを意味する。
【００７０】
図１１は、抑制部３０１におけるスキャン動作の変形例を示す説明図である。同図左側に示すように抑制部３０１は、サブセットに属する量子化係数を走査順で飛ばない位置に並び替える。図では、高周波セグメント内の４つの量子化係数を低周波セグメントに隣接する位置に並び替えている。同図右側は、抑制部３０１による、並び替え後の走査を示している。このように並び替えにより走査におけるスキップをなくすことができる。つまり、個々の量子化係数がサブセット内か否かを判定しながら走査する必要がなくなるので、走査を単純化し高速化することができる。
【００７１】
次に、埋め込み部３０２による、量子化マトリクスへの配置データの埋め込みについて説明する。
【００７２】
図１２Ａは、配置データ埋め込み前の量子化マトリクスの一例を示す図である。同図ではＨ.２６４／ＭＰＥＧ４−ＡＶＣ規格で用いられるデフォルト量子化マトリクス８００を示している。８×８量子化マトリクスは６４の量子化値より構成される。各値は対応する変換係数の量子化に用いられる量子化値である。変換係数ブロック内の各変換係数は、対応する量子化値で除算され、その結果の整数部分が量子化変換係数となる。量子化値が大きければ、変換係数の量子化は粗くなる。量子化値は量子化マトリクスの左上から右下に向かって大きくなる。よって、高周波数領域の変換係数は、低周波数領域に比べて粗い量子化が行われる。
【００７３】
図１２Ｂは、配置データ埋め込み後の量子化マトリクスの一例を示す図である。同図では８×８の量子化マトリクス８０１を示している。ハッチングされたセグメント８１０、８２０はサブセットの位置を示す。セグメント８１０、８２０内の各値は、量子化値である。一方、ハッチングされていない部分には配置データが埋め込まれている。ハッチングされていない部分の各値「２５５」は、量子化値を意味するのではなく、量子化変換係数ブロックの対応する位置がサブセット外であることを意味する特別な値であり、言い換えれば、量子化変換係数ブロック中の定型ゼロ係数の位置を示している。このように量子化マトリクスに埋め込まれた配置データは、直接的には量子化変換係数ブロック内の全ての定型ゼロ係数の位置を示し、間接的には量子化変換係数ブロック内の非定型係数の位置（サブセットの配置）を示している。
【００７４】
このように量子化マトリクスに配置データを埋め込むことにより、動画像復号化装置２０１の配置データ抽出部９０２は、配置データを量子化マトリクスから容易に抽出することができる。
【００７５】
図１３は、動画像符号化装置１０１の動作を示すフローチャートを示す図である。同図は、図７と比べて、ステップＳ４０の代わりにステップＳ４１、Ｓ４２が追加されている点が異なっている。同じ点は説明を省略して異なる点について説明する。
【００７６】
抑制部３０１は、変換・量子化部１２０からの量子化係数ブロックに対して、サブセットに属する量子化係数（非定型係数）のみを選択し、サブセットに属さない量子化係数（定型ゼロ係数）をスキップする（ステップＳ４１）。これにより、サブセット外の定型ゼロ係数は走査および符号化の対象から除外され、符号化効率を向上させる。さらに、埋め込み部３０２は、ブロック中のサブセットの配置を特定する配置データを量子化マトリクスに埋め込む（ステップＳ４２）。配置データを量子化マトリクスに埋め込むことによって、動画像復号化装置にブロック中のサブセットの配置（より正確にはサブセットでない部分の位置、つまり定型ゼロ係数の位置）をシグナリングすることができる。
【００７７】
図１４は、動画像符号化装置と動画像復号化装置の間のシグナリングを示す模式図である。図中のユニット９１０は、動画像符号化装置１０１における、変換・量子化部１２０のうちの量子化する部分、抑制部３０１、埋め込み部３０２およびエントロピー符号化部１９０に相当する。ユニット９４０は、動画像復号化装置２０１における、エントロピー復号化部２１０、ゼロ挿入部９０１、配置データ抽出部９０２および逆量子化・逆変換部２２０に相当する。定型ゼロ係数の位置を示す配置データは、量子化マトリクスに埋め込まれるので、量子化マトリクスと共に動画像復号化装置２０１にシグナリングされる。このシグナリングは、シーケンス、ピクチャ、フレーム、フィールド、スライス、マクロブロック、又は所定数のブロック毎に行われる。シグナリングされた配置データに基づいて、動画像復号化装置２０１は動画像符号化装置１０１が用いたサブセットの走査を再構築し、変換係数に復号化する。
【００７８】
同図では、定型ゼロ係数の位置を知らせるために量子化マトリクス（Q-matrix）が用いられている。量子化マトリクスは、量子化に用いられる量子化値を変換係数９００ごとに特定する。量子化マトリクス中の特別な値（例えば２５５）は、それに対応する変換係数が定型ゼロ係数であることを意味する。その結果、この変換係数には、動画像符号化装置１０１において走査も符号化も行われない。量子化マトリクスは、他のピクチャ情報データと共に動画像復号化装置に送信される。Ｈ．２６４/ＭＰＥＧ４−ＡＶＣ規格によると、量子化マトリクスは画像レベルで変更することができる。量子化マトリクスが６４個の８ビット値で構成されることを示すscaling＿matrix＿present＿flagが設定される。ユニット９４０は、走査も符号化も行われなかった変換係数９００を、量子化マトリクス９３０を用いて判定し、ユニット９１０によって行われたサブセットの有効な走査を再構築する。よって、動画像復号化装置有効な走査を行い、サブセット９２０内の変換係数を復号化し、完全なセット９５０の復号化済み変換係数を生成する。
【００７９】
図１４に示される動作は、ある画像領域を符号化するために用いられた空間周波数を制限するために用いることも可能である。これは、除外対象となる変換係数に対応する量子化マトリクス内の要素を特別な値（例えば、２５５）に明示的に設定することで実現可能である。除外された変換係数は、このように定型ゼロ係数としてマークされ、走査も符号化も行われない。このようにして、符号化対象となるデータの量がさらに低減され、符号化効率が改善される。
【００８０】
上記方法は、ビデオ画像を符号化するために実際に用いられた変換係数のサブセットのみを符号化する。よって、サブセットは画像内容に応じて適宜、又は変換ステップの結果に応じて設定することも可能である。例えば、同一フレーム内の、又は先行するフレーム間のすでに符号化された画像領域を変換した結果に応じてサブセットを設定してもよい。また、サブセットは変換係数で構成されるサブセットからなる所定のシーケンスに応じて変更することも可能である。サブセットの変更は、例えば、シーケンス毎、ピクチャ毎、スライス毎、又はマクロブロック毎に行うことができる。
【００８１】
図１５は、動画像復号化装置の動作を示すフローチャートを示す図である。同図において、エントロピー復号化部２１０は、動画像符号化装置１０１からの可変長符号列（ビットストリーム）を、サブセット内の変換係数に復号化し、量子化マトリクスに復号化する（ステップＳ１１０）。配置データ抽出部９０２は、復号化された量子化マトリクスから配置データを抽出し、配置データからブロック中のサブセットの配置（または定型ゼロ係数の位置）を判定する（ステップＳ１１５）。さらに９０１は、ブロック中のサブセットの位置に復号化量子化係数を配置し、ブロック中のサブセット外の位置に量子化係数として所定の値ゼロを挿入する（ステップＳ１２０）。これにより、ブロック内の量子化変換係数ブロックのフルセットが得られる。さらに、逆量子化・逆変換部２２０は、量子化変換係数ブロックを、逆量子化することにより変換係数ブロックを生成し（ステップＳ１３０）、変換係数ブロックを逆直交変換する（ステップＳ１４０）。これにより予測残差ブロックが得られる。さらに加算器２３０は、予測残差ブロックと予測画像とを加算することにより画素ブロックを再構成する（ステップＳ１５０）。再構成されたブロックからなるピクチャは表示されるか、又は、記録媒体に記録される。
【００８２】
以上説明してきたように本実施の形態の画像符号化装置１０１は、画素データを周波数領域に変換した後、所定のサブセットに含まれる変換係数のみを走査し、符号化する。これにより、さらに高いデータ圧縮率を実現することができる。また、定型ゼロ係数の位置に関する配置データを量子化マトリクスに埋め込む。また、動画像符号化装置２０１は、ブロック中のサブセットの配置を変更するので、選択されなかった量子化係数の欠落に起因するピクチャの画質劣化を防止することができる。さらに、動画像復号化装置２０１は、定型ゼロ係数の位置に関する情報が量子化マトリクスから抽出し、所定のサブセット内に含まれる量子化変換係数と、ブロック中のサブセット外の定型ゼロ係数の位置にゼロを挿入する。これにより、ブロック中のサブセット内およびサブセット外の全ての変換係数を復号化する。ビットストリームに含まれていない定型ゼロ係数を正しい位置に挿入し、適切に復号化することができる。
【００８３】
（実施の形態３）
実施の形態２では、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化し、また、サブセットの位置を示す配置データを量子化マトリクスに埋め込む動画像符号化装置について説明した。これに対して、本実施の形態では、配置データを量子化係数に埋め込まないで、符号列（ビットストリーム）中に符号化する動画像符号化装置について説明する。
【００８４】
図１６は、本実施の形態における動画像符号化装置１０２の構成を示すブロック図である。同図は、図８と比較して、抑制部３０１および埋め込み部３０２の代わりに抑制部３０３および配置データ生成部３０４を備える点と、エントロピー符号化部１９０の代わりにエントロピー符号化部１９１を備える点とが異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。
【００８５】
抑制部３０３は、図１１で示した並び替えの後に量子化係数ブロック内の複数の量子化係数を順に走査する。これ以外は抑制部３０１と同じである。
【００８６】
配置データ生成部３０４は、ブロック中のサブセットの配置を特定する配置データを生成する。配置データは、エントロピー符号化部１９０により符号化され、動画復号化装置に伝送される。
【００８７】
エントロピー符号化部１９１は、エントロピー符号化部１９０の機能に加えて、配置データ生成部３０４により生成された配置データを符号化する。
【００８８】
図１７は、動画像復号化装置２０２の構成を示すブロック図である。同図は、図９と比較して、配置データ抽出部９０２の代わりに配置データ復号化部９０３を備える点が異なっている。同じ構成要素には同じ符号をつけているので説明を省略し、以下異なる点を中心に説明する。
【００８９】
配置データ復号化部９０３は、エントロピー復号化部２１０から得られる符号化された配置データを配置データに復号化する。
【００９０】
図１８は、動画像符号化装置１０２の動作を示すフローチャートを示す図である。同図は、図３と比べて、ステップＳ４２の代わりにステップＳ４３を有する点と、ステップＳ５１の代わりにステップＳ５２を有する点とが異なる。同じ点は説明を省略して異なる点について説明する。また、ステップＳ４３において、配置データ生成部３０４は、量子化変換係数ブロック内のサブセットの配置を示す葉位置データを生成する。
【００９１】
図１９は、動画像符号化装置１０２と動画像復号化装置２０２の間のシグナリングを示す模式図である。図中のユニット７１０は、動画像符号化装置１０２における動画像符号化装置１０２の量子化、抑制部３０３およびエントロピー符号化部１９１に相当する。ユニット７６０は、動画像符号化装置１０２における配置データ生成部３０４に相当する。
【００９２】
また、ユニット７４０は、動画像復号化装置２０１における、エントロピー復号化部２１０、９０１および逆量子化・逆変換部２２０に相当する。ユニット７８０は、動画像復号化装置２０１における配置データ復号化部９０３に相当する。
【００９３】
配置データは、符号化情報７７０に含まれ、ユニット７６０からユニット７８０にシグナリングされる。
【００９４】
このようなシグナリングは、明示的又は暗示的に行うことができる。明示的シグナリングは、同図のように、配置データを符号化情報に含め、符号化済みビデオデータを示すビットストリーム中に符号化情報を符号化することによる。ところで、配置データは、定型ゼロ係数の配置が変化した場合にのみ送信すれば十分である。よって、定型ゼロ係数の配置を連続する複数ブロックにおいて一定に保つことは、必要な格納容量又は送信帯域を最適化することに有用である。例えば、明示的シグナリングは、シーケンス、ピクチャ、フレーム、フィールド、ブロック又はその所定番号ごとに行われてもよい。
【００９５】
なお、暗示的シグナリングは、実施の形態２で説明した。この場合、ビットストリームに新たに追加される情報は全くない。
【００９６】
なお、量子化変換係数を定型ゼロ係数及び非定型係数に分割するための方法（サブセットの変更方法）は、予め複数のサブセットの順序を示すシーケンスとして予め定めてもよい。このようなシーケンスは、例えばフレーム、スライス又はブロック等を符号化するために、個々に用いられる分割パターン（segmentation pattern）からなる。それぞれの分割パターンは、ブロック内の定型ゼロ係数の位置および非定型係数の位置を示すサブセットの配置を定義する。また、そのようなシーケンスの開始は、当該ピクチャの種別によって定義されてもよい。例えば、Ｉフレームの送信によって、シーケンスは自動的に再始動されてもよい。一方、シーケンスの再始動は、当該フレーム、スライス、又はブロック等のヘッダにおいてリセットフラグを設定することによって明示的にシグナリングされてもよい。このように、符号化によってシーン変化を説明することができる。
【００９７】
さらに、フレーム、スライス、ブロック等を符号化するために個々に用いられる分割パターンからなる特定のシーケンスは、例えばシーケンスパラメータヘッダにおいて、動画像符号化装置から動画像復号化装置へ明示的に送信されてもよい。当該ブロックを符号化するために用いられた分割パターンは、次に、例えばピクチャ単位で、暗示的に切り替えられる。この方法は、マルチパス符号化において特に有用である。例えば、第１パスにおいてシーンの周波数が解析され、第２パスにおいてシーンの周波数に適用的に分割パターンが決定されるようにすることができる。
【００９８】
次に、配置データ生成部３０４により生成される配置データについて説明する。
【００９９】
図２０は、セグメント番号により配置データを表現する説明図である。同図では、量子化変換係数ブロックを、０〜１２の数で示される複数のセグメントに分割する例を示す。それぞれのセグメントは、非定型係数を含むかどうかによって、アクティブ（active）又はイナクティブ（inactive）に区別される。アクティブなセグメントのみがスキャンされ、符号化される。
【０１００】
配置データはこのアクティブセグメントを示し、例えばアクティブセグメントは、アクティブセグメントの識別子によってシグナリングされる。同図の例において、セグメント０とセグメント７のみがアクティブである。この情報は、動画像復号化装置２０２に明示的又は暗示的にシグナリングが可能である。明示的シグナリングは、アクティブ又はイナクティブセグメントを列挙する専用のコード文字を用いてもよい。一方、これらのコード文字は、アクティブセグメントの識別子であってもよい。例えば、図８に示されるセグメンテーションはセグメンテーション識別子１、もう一つをセグメンテーション識別子２等としてもよい。
【０１０１】
なお、明示的および暗示的シグナリングは、アクティブセグメント又はセグメントの特定の組み合わせがアクティブであるという条件の特定の順序を特定するプロトコルに基づいていてもよい。これらの条件は、当該フレーム又はブロック、画像コンテンツ等の数に応じて決められてもよい。例えば、セグメント０、１、・・・、１２は、それぞれ連続するブロック、マクロブロック、スライス、フィールド、フレーム等に適用されるようにしてもよい。アクティブセグメントの特定の組み合わせは、nフレームごとに適用されるべきであると定義してもよい。ここで、n-１の異なる組み合わせの組（n-１ other combinations）はそれぞれn-１フレームに適用されなければならない。上記どちらの場合においても、アクティブ又はイナクティブに関する追加情報を送信する必要はない。
【０１０２】
図２１Ａは、ビットマップデータにより配置データを表現する説明図である。同図において、太線枠は、非定型係数の位置を示すアクティブセグメントを示す。アクティブセグメントに対応する非定型係数は、走査および符号化の対象になる。同図のように配置データは、アクティブセグメントに対応するビットマップデータとして表現することができる。より具体的なビットマップデータの例を図２１Ｂに示す。同図では、セグメント毎にアクティブであるか否か（非定型係数であるか定型ゼロ係数であるか）を示すセグメンテーションビットマップデータを示す。１つのセグメントは１つの係数に対応する。これにより、ブロック内のサブセットの配置をしめすために、ブロック内の非定型係数および定型ゼロ係数の位置を容易に表現することができ、配置データを容易に生成することができる。
【０１０３】
なお、１つのセグメントは、隣接する複数の係数に対応してもよい。
【０１０４】
また、図２１Ｂに示されるセグメンテーションビットマップにマップ番号１を付与し、別のセグメンテーションビットマップにマップ番号２を付与する等としてもよい。この場合、動画像符号化装置１０２から動画像復号化装置２０２に、予め各セグメンテーションビットマップマップを通知しておき、サブセットの変更時にマップ番号を通知するようにしてもよい。
【０１０５】
図２２は、動画像復号化装置の動作を示すフローチャートを示す図である。同図は、図１５と比べて、ステップＳ１１５の代わりにステップＳ１１６を有する点が異なっている。同じ点は説明を省略して異なる点を中心に説明する。Ｓ１１６において、配置データ抽出部９０２は、エントロピー復号化部２１０からの符号化配置データを配置データに複合化する。配置データは、図２０のようにセグメント識別子で表現される。あるいは、図２１Ｂのようにセグメンテーションビットマップデータで表現されていてもよい。
【０１０６】
以上説明してきたように、本実施の形態の動画像符号化装置は、サブセット外の量子化係数を可変長符号化の対象から除外し、サブセット内の量子化係数のみを可変長符号に符号化し、また、サブセットの位置を示す配置データを生成し、配置データを符号列（ビットストリーム）中に符号化する。
【０１０７】
なお、上記実施の形態１〜３における変形例のいくつかについて説明する。
【０１０８】
上記変換係数のサブセットの配置は、予め定められたシーケンスに応じて変更してもよい。また、サブセットの配置は、予め定められたシーケンスに応じてフレームごと、フィールドごと、もしくは画像領域ごとに変更してもよい。よって、動画像符号化装置および動画像復号化装置がともに予め定められたシーケンスに従ってサブセットを変更することにより、追加のシグナリング情報を動画像復号化装置に送信する必要がないため、符号化効率を最大化することができる。
【０１０９】
上記サブセットの配置を変更するシーケンスは、動画像復号化装置へシグナリングしてもよい。よって、動画像符号化装置は、特定のシーケンスを選択し、その選択結果を動画像復号化装置へ通知してもよい。よって、動画像復号化装置は、符号化済みビデオデータを復号化することができる。
【０１１０】
上記サブセットの配置を変更するシーケンスの再始動の指示を、動画像復号化装置へシグナリングしてもよい。このようにして、動画像復号化装置は、画像特性（プロパティ）の突然の変化にも対応することができる。
【０１１１】
上記サブセットの配置を変更するシーケンスは、所定の種別のフレームが符号化又は復号化される度に再始動してもよい。このようにして、Ｉフレーム等のフレーム種別情報を、シーケンスの再始動を暗示的にシグナリングするために用いることができる。
【０１１２】
上記サブセット内の変換係数の並び替え方法を示す情報を、動画像復号化装置へシグナリングしてもよい。この情報は、変換係数及び変換係数がビデオデータにおいて符号化された順番を定義してもよい。このことは、動画像符号化装置によって用いられた有効なスキャンをするために、動画像復号化装置が、変換係数のサブセットを特定し、復号化済みビデオデータを復号化することを可能にする。
【０１１３】
上記配置データは、変換係数の所定のサブセットの一部、又は一部でない変換係数の列挙からなることが好ましい。よって、動画像復号化装置は、動画像符号化装置によって用いられた有効スキャンを容易に再構築し、符号化済みビデオデータを復号化することができる。
【０１１４】
上記配置データは、予め定められた複数のサブセットのうちの一つサブセットを特定するようにしてもよい。このように、配置データは一つの番号からなってもよい。予め定められた複数のサブセットは、動画像符号化装置および動画像復号化装置内に共に予め設定しておいてもよいし、動画像符号化装置から動画像復号化装置にシグナリングしてもよい。
【０１１５】
上記配置データのシグナリングは、変換係数の所定のサブセットが変更される度におこなわれることが好ましい。このことは、動画像復号化装置が、動画像符号化装置によって用いられた変換係数に即応することを可能にする。
【０１１６】
上記配置データのシグナリングは、少なくとも２つの画像領域に対して１回、もしくは所定のピクチャ、フレーム、フィールド、スライス、マクロブロック、又はブロックの数に対して１回行われることが好ましい。よって、符号化効率におけるゲインを、変換係数の同一の所定のサブセットを繰り返し適用することによって最大化することができる。
【０１１７】
上記配置データは、ビデオデータにおいて符号化してもよい。このように、配置データを、動画像復号化装置へ最も容易に送信することができる。
【０１１８】
上記変換係数のサブセットの配置は、画像領域の画像コンテンツ、隣接する画像領域の画像コンテンツ、又は先行するフレームにおける画像領域の画像コンテンツに適応して設定してもよい。このように、動画像復号化装置は、ビデオデータを符号化するために用いられた周波数のセットを最適化することができる。
【０１１９】
変換係数のサブセットの配置は、変換又は量子化ステップの結果から得られる既知の情報に基づいて設定してもよい。また、上記サブセットの配置は、非ゼロ係数をできるだけ多く含むことが好ましい。よって、符号化済みデータにおける冗長性を削減し、符号化効率を高めることができる。
【０１２０】
画像領域は画素ブロックであり、画像は同一サイズの複数のブロックに分割してもよい。よって、復号化済み画像領域から画像を復号化しアセンブルする際に、画像を画像領域に分割することが簡略化される。
【０１２１】
上記サブセットの配置は、各画像エリアの画像内容に適応させることが好ましい。例えば、画像内容にもっとも寄与する周波数をサブセットに含めればよい。その結果、符号化するデータの量を増やすことなく、復号画像の画質を改善することができる。
【０１２２】
上記サブセットの配置は、ノン・ゼロ変換係数の存在やサイズに適応するよう設定してもよい。したがって、周波数領域における画像表現にもっとも寄与する周波数成分に基づいて選択する。このようにして簡単な方法で、画質を制御することができる。
【０１２３】
上記サブセットの配置における、低周波数と高周波数の割合は、各画像エリアの変換係数の周波数の特徴次第で適応的に設定してもよい。低周波数部分を強制的に伝送し、低周波数と高周波数の寄与を適応的に設定することによって、簡単かつ効果的な方法で画質を制御することができる。
【０１２４】
上記サブセットの配置は、予め定められた閾値を超えるひとつの周波数のみを、予め決められた周波数として設定してもよい。それゆえ、重要な周波数成分を、簡単かつ効果的な方法で選択することができる。
【０１２５】
上記サブセットの配置は、予め決められた周波数を設定するための閾値は、適応的に設定してもよい。このようにして、複数の周波数の設定は、例えば画像内容や利用可能なデータレートなどに簡単に適応させることができる。
【０１２６】
上記サブセットの配置は、低周波成分の重要度が高周波成分よりも高くなるように、最低周波数を含むセグメントには、最大の重要度を設定してもよい。
【０１２７】
（実施の形態４）
さらに、上記実施の形態１〜３で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１２８】
図２３Ａ〜図２３Ｃは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０１２９】
図２３Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【０１３０】
また、図２３Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１３１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３２】
（実施の形態５）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
【０１３３】
図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１３４】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１３５】
しかし、コンテンツ供給システムｅｘ１００は図２４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１３６】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【０１３７】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１３８】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１３９】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１４０】
図２５は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【０１４１】
さらに、携帯電話ｅｘ１１５について図２６を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１４２】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１４３】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１４４】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１４５】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１４６】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１４７】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１４８】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１４９】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１５０】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１５１】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１５２】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１５３】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２６に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１５４】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１５５】
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１５６】
なお、図１、図２、図８、図９、図１６、図１７に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１５７】
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１５８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１５９】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施の形態の記録媒体１１５のように別構成としても良い。
【０１６０】
なお、図１、図２、図８、図９、図１６、図１７に示したブロック図の各機能ブロックおよび図７、図１３、図１５、図１８、図２２に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。
【０１６１】
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１６２】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１６３】
本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図面の簡単な説明】
【０１６４】
【図１】図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。
【図２】図２は、動画像復号化装置の構成を示すブロック図である。
【図３】図３は、複数のブロックに分割されたフレームを示す図である。
【図４Ａ】図４Ａは、量子化前の係数ブロックの一例を示す図である。
【図４Ｂ】図４Ｂは、量子化後の係数ブロックの一例を示す図である。
【図５】図５は、抑制部による抑制の様子を示す説明図である。
【図６Ａ】図６Ａは、サブセットの変更例を示す図である。
【図６Ｂ】図６Ｂは、サブセットの変更例を示す図である。
【図７】図７は、動画像符号化装置の動作を示すフローチャートを示す図である。
【図８】図８は、実施の形態２における動画像符号化装置の構成を示すブロック図である。
【図９】図９は、動画像復号化装置の構成を示すブロック図である。
【図１０】図１０は、量子化係数のスキャンを示す説明図である。
【図１１】図１１は、量子化係数の並び替えを示す説明図である。
【図１２Ａ】図１２Ａは、配置データ埋め込み前の量子化マトリクスの一例を示す図である。
【図１２Ｂ】図１２Ｂは、配置データ埋め込み後の量子化マトリクスの一例を示す図である。
【図１３】図１３は、動画像符号化装置の動作を示すフローチャートを示す図である。
【図１４】図１４は、動画像符号化装置と動画像復号化装置の間のシグナリングを示す説明図である。
【図１５】図１５は、動画像復号化装置の動作を示すフローチャートを示す図である。
【図１６】図１６は、実施の形態３における動画像符号化装置の構成を示すブロック図である。
【図１７】図１７は、動画像復号化装置の構成を示すブロック図である。
【図１８】図１８は、動画像符号化装置の動作を示すフローチャートを示す図である。
【図１９】図１９は、動画像符号化装置と動画像復号化装置の間のシグナリングを示す説明図である。
【図２０】図２０は、セグメント番号により配置データを表現する説明図である。
【図２１Ａ】図２１Ａは、ビットマップデータにより配置データを表現する説明図である。
【図２１Ｂ】図２１Ｂは、ビットマップデータにより配置データを表現する説明図である。
【図２２】図２２は、動画像復号化装置の動作を示すフローチャートを示す図である。
【図２３Ａ】図２３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。
【図２３Ｂ】図２３Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。
【図２３Ｃ】図２３Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。
【図２４】図２４は、コンテンツ供給システムの全体構成を示すブロック図である。
【図２５】図２５は、画像符号化方法および画像復号化方法を用いた携帯電話の具体例を示す図である。
【図２６】図２６は、携帯電話のブロック図である。
【図２７】図２７は、ディジタル放送用システムの例を示す図である。
【符号の説明】
【０１６５】
１００〜１０２  動画像符号化装置
１１０  減算器
１２０  変換・量子化部
１３０  逆量子化・逆変換部
１３５  加算器
１３７  デブロックフィルタ
１４０  メモリ
１５０  イントラ予測部
１６０  動き補償予測部
１７０  動き予測部
１８０  スイッチ
１９０、１９１  エントロピー符号化部
３００、３０１、３０３  抑制部
３０２  埋め込み部
３０４  配置データ生成部
２００〜２０２  動画像復号化装置
２１０  エントロピー復号化部
２２０  逆量子化・逆変換部
２３０  加算器
２４０  デブロックフィルタ
２５０  メモリ
２６０  イントラ予測部
２７０  動き補償予測部
２８０  スイッチ
３１０  セグメント
８００  量子化マトリクス
８１０  低周波セグメント
８２０  高周波セグメント
８０１  ゼロ挿入部
９０２  配置データ抽出部
９０３  配置データ復号化部
ｆ１〜ｆ４  フレーム
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006118288.tif 000035
【図２】
2006118288.tif 000036
【図３】
2006118288.tif 000037
【図４Ａ】
2006118288.tif 000038
【図４Ｂ】
2006118288.tif 000039
【図５】
2006118288.tif 000040
【図６Ａ】
2006118288.tif 000041
【図６Ｂ】
2006118288.tif 000042
【図７】
2006118288.tif 000043
【図８】
2006118288.tif 000044
【図９】
2006118288.tif 000045
【図１０】
2006118288.tif 000046
【図１１】
2006118288.tif 000047
【図１２Ａ】
2006118288.tif 000048
【図１２Ｂ】
2006118288.tif 000049
【図１３】
2006118288.tif 000050
【図１４】
2006118288.tif 000051
【図１５】
2006118288.tif 000052
【図１６】
2006118288.tif 000053
【図１７】
2006118288.tif 000054
【図１８】
2006118288.tif 000055
【図１９】
2006118288.tif 000056
【図２０】
2006118288.tif 000057
【図２１Ａ】
2006118288.tif 000058
【図２１Ｂ】
2006118288.tif 000059
【図２２】
2006118288.tif 000060
【図２３Ａ】
2006118288.tif 000061
【図２３Ｂ】
2006118288.tif 000062
【図２３Ｃ】
2006118288.tif 000063
【図２４】
2006118288.tif 000064
【図２５】
2006118288.tif 000065
【図２６】
2006118288.tif 000066
【図２７】
2006118288.tif 000067
【国際調査報告】
2006118288.tif 000068
2006118288.tif 000069
2006118288.tif 000070
2006118288.tif 000071