(57)【要約】【課題】本発明は、画像の解像度、ビットレート、明るさや色変化などに関わらず高圧縮率で符号化する画像符号化装置、画像復号化装置を提供する。【解決手段】本発明の画像符号化装置は、ピクチャをブロック単位で符号化する画像符号化方法であって、直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する決定部Deと、選択されたサイズを単位にブロックを直交変換する直行変換部T1と、変換により得られたブロックデータを符号化し、符号化後のブロックデータと、選択されたサイズに関するサイズ情報とを含む符号列を生成する可変長符号化部VLC1とを有し、前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示し、前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである。【選択図】図４
2004254327.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャをブロック単位で符号化する画像符号化方法であって、
直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する選択ステップと、
選択されたサイズを単位にブロックを直交変換する変換ステップと、
変換ステップで得られたブロックデータを符号化する符号化ステップと、
符号化後のブロックデータと、選択ステップにおいて選択されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップと
を有することを特徴とする画像符号化方法。
【請求項２】
前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである
ことを特徴とする請求項２記載の画像符号化方法。
【請求項４】
前記サイズ情報は、選択ステップで選択されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項５】
前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示す
ことを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記変換ステップにおいて、直交変換後のブロックをそのサイズに応じた重みマトリクスを用いて量子化する
ことを特徴とする請求項４記載の画像符号化方法。
【請求項７】
前記変換ステップにおいて、直交変換後のブロックデータが第２のサイズである場合、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択する
ことを特徴とする請求項６記載の画像符号化方法。
【請求項８】
前記符号化ステップにおいて、第２のサイズに対応する重みマトリクスを符号化し、
前記生成ステップにおいて、符号化された重みマトリクスを符号列に含ませる
ことを特徴とする請求項７記載の画像符号化方法。
【請求項９】
前記サイズ情報は、符号列のシーケンス単位に含まれる
ことを特徴とする請求項４記載の画像符号化方法。
【請求項１０】
前記選択ステップにおいて、符号列のビットレート、ピクチャの解像度および外部からの指示の少なくとも１つに応じて第１サイズと第２サイズの何れかを選択する
ことを特徴とする請求項４記載の画像符号化方法。
【請求項１１】
前記第１及び第２のサイズは輝度ブロックのサイズであり、
前記選択ステップにおいて、直交変換すべき色差ブロックのサイズを、輝度ブロックの縦横２分の１のサイズに決定する
ことを特徴とする請求項４記載の画像符号化方法。
【請求項１２】
ピクチャをブロック単位で復号化する画像復号化方法であって、
符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出ステップと
サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換ステップと
を有することを特徴とする画像復号化方法。
【請求項１３】
前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示す
ことを特徴とする請求項１２記載の画像復号化方法。
【請求項１４】
前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである
ことを特徴とする請求項１３記載の画像復号化方法。
【請求項１５】
前記サイズ情報は、決定ステップで決定されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示す
ことを特徴とする請求項１２記載の画像復号化方法。
【請求項１６】
前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示す
ことを特徴とする請求項１５記載の画像復号化方法。
【請求項１７】
前記逆変換ステップにおいて、直交変換後のブロックデータをそのサイズに応じた重みマトリクスを用いて量子化する
ことを特徴とする請求項１５記載の画像復号化方法。
【請求項１８】
前記逆変換ステップにおいて、直交変換後のブロックが第２のサイズである場合、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択する
ことを特徴とする請求項１７記載の画像復号化方法。
【請求項１９】
前記抽出化ステップにおいて、第２のサイズに対応する重みマトリクスを抽出する
ことを特徴とする請求項１８記載の画像復号化方法。
【請求項２０】
前記サイズ情報は、符号列のシーケンス単位に含まれる
ことを特徴とする請求項１５記載の画像復号化方法。
【請求項２１】
前記決定ステップにおいて、符号列のビットレートおよびピクチャの解像度の少なくとも一方に応じて前記サイズ情報を決定する
ことを特徴とする請求項１５記載の画像復号化方法。
【請求項２２】
前記ピクチャは輝度信号と色差信号とを含み、
前記決定ステップにおいて、直交変換すべき色差ブロックのサイズを、輝度ブロックの縦横２分の１に決定する
ことを特徴とする請求項１５記載の画像復号化方法。
【請求項２３】
ピクチャをブロック単位で符号化する画像符号化装置であって、
直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中１つを決定する決定手段と、
決定されたサイズを単位にブロックを直交変換する変換手段と、
変換手段で得られたブロックデータを符号化する符号化手段と、
符号化後のブロックデータと、決定手段において決定されたサイズに関するサイズ情報とを含む符号列を生成する生成手段と
を有することを特徴とする画像符号化装置。
【請求項２４】
ピクチャをブロック単位で復号化する画像復号化装置であって、
符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出手段と
サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換手段と
を有することを特徴とする画像復号化装置。
【請求項２５】
ピクチャをブロック単位で符号化するためのプログラムであって、
直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中１つを選択する選択ステップと、
選択されたサイズを単位にブロックを直交変換する変換ステップと、
変換ステップで得られたブロックデータを符号化する符号化ステップと、
符号化後のブロックデータと、決定ステップにおいて決定されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項２６】
ピクチャをブロック単位で復号化するためのプログラムであって、
符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出ステップと
サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを復号化する画像復号化方法、画像符号化装置、画像復号化装置に関し、特に高圧縮率化のための改良に関する。
【背景技術】
【０００２】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合  電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構  国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１、MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１、MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像や高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU-T H.264 の標準化活動が進んでいる。
【０００５】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００６】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
【０００７】
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
【０００８】
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャの探索範囲内で最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
図１はビットストリームのデータ構造の例を示した説明図である。図１に示すようにビットストリームは以下のような階層構造を有している。ビットストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。各ピクチャはさらに複数のスライスから構成されている。スライスは、各ピクチャ内の帯状の領域であり、複数のマクロブロックから構成されている。ストリーム、GOP、ピクチャおよびスライスはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。
【０００９】
また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１で説明した符号化ビットストリームの場合と同じである。
【００１０】
図２は従来の画像符号化装置の構成を示すブロック図である。同図において、画像符号化装置１は、入力される画像信号Vin を圧縮符号化することにより、可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出部ＭＥ、動き補償部ＭＣ、減算部Ｓｕｂ、直交変換部Ｔ、量子化部Ｑ、逆量子化部ＩＱ、逆直交変換部ＩＴ、加算部Ａｄｄ、ピクチャメモリPicMem、スイッチＳＷ、および可変長符号化部ＶＬＣを備えている。
【００１１】
画像信号Vin は、減算部Ｓｕｂおよび動き検出部ＭＥに入力される。減算部Ｓｕｂは、入力された画像信号Vin と予測画像との差分を予測誤差としてブロック単位で計算し、直交変換部Ｔに出力する。直交変換部Ｔは、予測誤差を周波数係数に直交変換し、量子化部Ｑに出力する。量子化部Ｑは、入力された周波数係数を量子化し、量子化値Qcoefを可変長符号化部ＶＬＣに出力する。
【００１２】
逆量子化部ＩＱは、量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部ＩＴに出力する。逆直交変換部ＩＴは、周波数係数を予測誤差に逆周波数変換し、加算部Ａｄｄに出力する。加算部Ａｄｄは、予測誤差と動き補償部ＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリPicMemに保存される。
【００１３】
一方、画像信号Vin がマクロブロック単位で入力された動き検出部ＭＥは、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。この動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができる。動きベクトル検出に用いられた参照ピクチャは、識別番号（参照インデックスIndex）により指定される。参照インデックスIndexによって、ピクチャメモリPicMem中の各ピクチャが有するピクチャ番号は参照インデックスと対応付けされている。
【００１４】
動き補償部ＭＣでは、上記処理によって検出された動きベクトルおよび参照インデックスIndexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像として最適な画像を読み出す。
可変長符号化部VLCは量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを可変長符号化して符号化ストリームStrとする。
【００１５】
図３は従来の画像復号化装置の構成を示すブロック図である。同図において、図２に示した画像符号化装置のブロック図と同じ動作をする部には同じ番号を付し、説明を省略する。
可変長復号化部VLDは符号化ストリームStrを復号化し、量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを出力する。量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶは、ピクチャメモリPicMem、動き補償部ＭＣおよび逆量子化部ＩＱに入力され復号化処理が行われる。その動作は図２の従来の画像符号化装置における復号動作と同じである。
【非特許文献１】ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification (2002-8-10)
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来の画像符号化装置によれば画素数の多い画像や様々なコンテンツの画像の全てに対して高圧縮率で圧縮することは困難であり、画質の向上および高圧縮率を実現することが必要とされている。
より詳しく言うと、従来の画像符号化装置では、直交変換の単位となるブロックサイズとして、固定の大きさの直交変換サイズを使用している。そのため、解像度の高い画像から小さい画像まで、輝度や色の変化の多い画像から小さい画像までの様々なコンテンツの画像に対して高圧縮率を実現することは困難である。というのは、直交変換サイズは、例えばMPEG-1やMPEG-2、MPEG-4では８ｘ８画素であり、MPEG-4 AVCすなわちITU-T H.264では４ｘ４単位である。この点、解像度の低い画像に比べて解像度の高い画像（HDTV等）は、画素間の相関が強く且つCRT等の表示デバイスの画素間の密度も高いことから、直交変換サイズを大きくすることが望ましいと考えられる。更に、扱うコンテンツの高周波数成分が少ない場合には直交変換サイズが大きい方が望ましく、高周波数成分が多い場合には直交変換サイズは小さい方が望ましい場合が多いと考えられる。
【課題を解決するための手段】
【００１７】
本発明はかかる点に鑑み、画像の解像度の大小、ビットレートの高低、明るさや色変化の多さなどに関わらず高圧縮率で符号化する画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびそのプログラムを提供することを目的とする。 
この目的を達成するため、本発明の画像符号化方法は、ピクチャをブロック単位で符号化する画像符号化方法であって、直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する選択ステップと、選択されたサイズを単位にブロックを直交変換する変換ステップと、変換ステップで得られたブロックデータを符号化する符号化ステップと、符号化後のブロックデータと、選択ステップにおいて選択されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップとを有する。
【００１８】
この構成によれば、直交変換サイズを選択するので、解像度の大小、ビットレートの高低、明るさや色変化の多さなどに応じて適切な直交変換をして符号化することができる。その結果、どのような画像に対しても圧縮率を高めることができる。
ここで、前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示すようにしてもよい。また、前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかとしてもよい。
【００１９】
この構成によれば、符号列における上記の所定区間毎に、直交変換のサイズが固定か否かを示すことができる。
【００２０】
ここで、前記サイズ情報は、選択ステップで選択されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示すようにしてもよい。また、前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示すようにしてもよい。
【００２１】
この構成によれば、４ｘ４画素の第１のサイズと８ｘ８画素の第２のサイズとを選択的に切り替えることにより、圧縮率を高めることができる。
【００２２】
ここで、前記変換ステップにおいて、直交変換後のブロックデータをそのサイズに応じた重みマトリクスを用いて量子化するようにしてもよい。
この構成によれば、重みマトリクスが、直交変換された周波数成分を量子化する際に各周波数成分ごとに量子化ステップの大きさを重み付けにより変更する。第１のサイズと第２のサイズとでサイズに応じた重みマトリクスが使用されることにより、符号化効率を更に向上させることができる。
【００２３】
ここで、前記符号化ステップにおいて、第２のサイズに対応する重みマトリクスを符号化し、前記生成ステップにおいて、符号化された重みマトリクスを符号列に含ませるようにしてもよい。
この構成によれば、例えば、画像符号化方法と復号化方法の双方において、第１のサイズに対応する重みマトリクスをデフォルトとして定めておき、画像符号化方法において第２のサイズに対応する重みマトリクスを選択的に使用することができる。
【００２４】
ここで、前記選択ステップにおいて、符号列のビットレート、ピクチャの解像度および外部からの指示の少なくとも１つに応じて第１サイズと第２サイズの何れかを選択するようにしてもよい。
この構成によれば、第１サイズと第２サイズの選択を、符号列のビットレート、ピクチャの解像度および外部からの指示の何れかに応じて柔軟に行うことができる。
【発明の効果】
【００２５】
以上の説明したように本発明の画像符号化方法、画像復号化方法によれば、画像の解像度の大小、ビットレートの高低、明るさや色変化の多さなどどのような画像に対しても効率よく圧縮することができる。
また、本発明の画像符号化装置、画像復号化装置、そのためのプログラムについても同様の効果がある。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図４から図２１を用いて説明する。
＜画像符号化装置＞
図４は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。同図において、画像符号化装置１は、決定部Ｄe、動き検出部ＭＥ、動き補償部ＭＣ、減算部Ｓｕｂ、直交変換部Ｔ１、量子化部Ｑ１、逆量子化部ＩＱ１、逆直交変換部ＩＴ１、加算部Ａｄｄ、ピクチャメモリPicMem、スイッチＳＷ、および可変長符号化部ＶＬＣ１を備える。
【００２７】
決定部Ｄeは、直交変換部Ｔ１における直交変換のブロックサイズ（以下直交変換サイズと呼ぶ。）Tsizeと、量子化部Ｑ１における量子化マトリクスを変更するための重みマトリクスWmatrixとを決定する。この直交変換サイズTsizeは、第１のサイズと第２のサイズとから選択的にマクロブロック毎に決定される。第１のサイズは４ｘ４画素、第２のサイズは８ｘ８画素であるものとする。また、重みマトリクスWmatrixには、第１サイズに対応する重みマトリクスＷ４と第２サイズに対応する重みマトリクスＷ８とがある。
【００２８】
直交変換サイズの決定は、符号化対象の解像度の大きさ、輝度変化や色変化の多さ(高周波成分の多さ)、符号化後の符号列Strのビットレート等に基づいて行われる。例えば、決定部Ｄｅは次のように直交変換サイズを選択する。
第１の例として、決定部Ｄｅは符号化対象の画像の解像度が第１のしきい値以上である場合は第２のサイズを選択し、小さい場合は第１のサイズを選択する。第１のしきい値は、ＨＤＴＶの解像度等でよい。
【００２９】
第２の例として、決定部Ｄｅは符号化後のビットレートが、第２のしきい値以上になる場合は第２のサイズを選択し、小さい場合は第１のサイズを選択する。第２のしきい値は１０Ｍbps等でよい。
第３の例として、決定部Ｄｅは、以前の直交変換結果から高周波成分の多さを判断し、高周波成分が第３のしきい値よりも多い場合は第２のサイズを選択し、少ない場合は第１のサイズを選択する。つまり、高周波成分の多さの判断は、ｎ次よりも高次の周波数係数の個数や大きさをカウントすればよい。また、第３のしきい値は、画質等に応じて予め定めた値でよい。
【００３０】
上記第１から第３の例において、決定部Ｄｅは、さらに、動き補償のブロックサイズに応じて直交変換サイズを決定するようにしてもよい。図５（ａ）〜図５（ｇ）は、画面間符号化の場合における、動き補償のブロックサイズ（以下動き補償サイズと呼ぶ。）を示す図である。即ち、図５（ａ）は１６ｘ１６画素、図５（ｂ）は１６ｘ８画素、図５（ｃ）は８ｘ１６画素、図５（ｄ）は８ｘ８画素の動き補償サイズを示している。図５（ｄ）の８ｘ８画素単位から、更に図５（ｅ）の８ｘ４画素、図５（ｆ）の４ｘ８画素、図５（ｇ）の４ｘ４画素の何れかに再分割した単位を動き補償サイズとすることができる。動き補償サイズと直交変換サイズとは、処理の簡単化やブロック境界で発生する歪を分散させないために、両者のブロックの大きさの整合が取れていることが望ましい。そこで、決定部Ｄｅは、動き補償サイズよりも小さい直交変換サイズの方が小さくなるように、直交変換サイズを決定する。
【００３１】
すなわち、画面間符号化の場合には、動き補償サイズが図５（ａ）〜図５（ｄ）（１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素）の場合には、図５（ｄ）の８ｘ８画素のブロックをちょうど１もしくは複数個包含する。この場合には８ｘ８画素単位で直交変換を行うと効率が良くなるので、決定部Ｄｅは、直交変換サイズを第２のサイズ（８ｘ８画素）と決定すればよい。一方、動き補償サイズが図５（ｅ）〜図５（ｇ）のように８ｘ８画素より小さい場合には、決定部Ｄｅは第１のサイズ（４ｘ４画素）と決定すればよい。
【００３２】
決定部Ｄｅにおいて直交変換サイズを第１のサイズと第２のサイズの間で切り替える頻度が多いほど画像符号化装置および画像復号化の構成が複雑になるが、逆に符号化効率は向上する。
【００３３】
なお、決定部Ｄｅは、直交変換サイズの決定をマクロブロック毎に決定する代わりに、スライス毎、ピクチャ毎、ＧＯＰ毎、シーケンス毎に決定するようにしてもよい。また、外部から直交変換のサイズを指定された場合は、決定部Ｄｅはそのサイズを直交変換サイズTsizeとしてもよい。
【００３４】
動き補償部ＭＣは、動き検出部ＭＥによって検出された動きベクトルに従って参照ブロックを読み出して、参照ブロックから予測画像を生成し、減算部ｓｕｂに出力する。この予測画像は、図５（ａ）〜図５（ｇ）から選択された動き補償サイズのブロック単位に出力される。
減算部Ｓｕｂは、図５（ａ）〜図５（ｇ）に示した動き補償サイズの中から選択された動き補償サイズを有するブロック単位で、画像信号Vin と予測画像との差分を予測誤差として計算し、直交変換部Ｔ１に出力する。
【００３５】
直交変換部Ｔ１は、決定部Ｄｅから出力される直交変換サイズTsizeのブロックを単位に、予測誤差を周波数係数に直交変換し、量子化部Ｑ１に出力する。直交変換サイズTsizeが第２のサイズ（８ｘ８画素)を示す場合の、直交変換について図６（ａ）、図６（ｂ）を用いて説明する。図６（ａ）左側は１６ｘ１６画素の輝度マクロブロックを示す。画面内符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeが第２のサイズを示すので、８ｘ８画素単位に直交変換を行う。さらに、図６（ａ）右側に示すように、直交変換部Ｔ１は、直交変換後の４つの８ｘ８ブロックからＤＣ成分４つをまとめて１つの２ｘ２画素の輝度ＤＣブロックを生成し、この輝度ＤＣブロックを２ｘ２単位の直交変換を行う。なお、輝度ＤＣブロックの生成と２ｘ２単位の直交変換は省略してもよい。また、画面間符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeが第２のサイズを示すので、８ｘ８画素単位で直交変換する。この場合、輝度ＤＣブロックの生成及び直交変換はなされない。
【００３６】
図６（ｂ）左側は、８ｘ８画素の色差信号のマクロブロックを示している。一般に、画像信号では輝度信号に対して色差信号の画素数は水平・垂直ともに１／２である。従って、色差信号のマクロブロックの画素数は８ｘ８画素となる。画面内符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeに示される第２のサイズの１／２の４ｘ４画素単位で直交変換を行い、直交変換後の４つの４ｘ４の色差ブロックのＤＣ成分４つをまとめて１つの２ｘ２色差ＤＣブロックを生成し、この色差ＤＣブロックを２ｘ２単位の直交変換する。なお、色差ＤＣブロックの生成と２ｘ２単位の直交変換は省略してもよい。また、画面間符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeに示される第２のサイズの１／２の４ｘ４画素単位で直交変換する。この場合、輝度ＤＣブロックの生成及び直交変換はなされない。
【００３７】
このように、直交変換サイズTsizeが第２のサイズを示す場合、直交変換部Ｔ１は、輝度ブロック及び色差ブロックに対して、画面内符号化では２段階の直交変換を行い、画面間符号化では１段階の直交変換を行う。また、直交変換サイズTsizeが第１のサイズを示す場合は、サイズが異なるだけで同様に直交変換するが、画面内符号化及び画面間符号化ともに１段階の符号化でよい。
【００３８】
量子化部Ｑ１は、直交変換部Ｔ１から入力される４ｘ４又は８ｘ８サイズの周波数係数ブロックを量子化し、量子化値Qcoefを可変長符号化部ＶＬＣ１に出力する。その際、量子化部Ｑ１は、決定部Ｄｅからの重みマトリクスWmatrixにより量子化マトリクスを重み付けし、重み付け後の量子化マトリクスを用いて周波数係数ブロックを量子化する。重みマトリクスの説明図を図７（ａ）、図７（ｂ）に示す。決定部Ｄｅから入力される重みマトリクスWmatrixは、直交変換サイズが第１のサイズである場合は、図７（ｂ）に示す４ｘ４のサイズの重みマトリクスW4matであり、直交変換サイズが第２のサイズである場合は図７（ａ）に示す８ｘ８のサイズの重みマトリクスW8matである。重みマトリクスは、直交変換された周波数成分を量子化する際に各周波数成分ごとに量子化ステップの大きさを変更する。この重みマトリクスを導入することで圧縮率が向上できることはMPEG-2で知られている。本実施の形態では、複数の直交変換サイズを切り替えることから、各直交変換サイズ毎に異なる重みマトリクスを導入することで、符号化効率を更に改善することができる。図７（ａ）におけるW8i,j（i、jはそれぞれ０から７）は、８行８列におけるi行j列成分の重みを示す。図７（ｂ）におけるW4i,j（i,jはそれぞれ０から３）は、４行４列のi行j列成分の重みを示す。
【００３９】
逆量子化部ＩＱ１は、量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部ＩＴ１に出力する。つまり、逆量子化部ＩＱ１は、決定部Ｄｅから入力される重みマトリクスWmatrixに従って、量子化部Ｑ１と逆の処理を行う。
逆直交変換部ＩＴ１は、逆量子化部ＩＱ１からの周波数係数ブロックを予測誤差に逆周波数変換し、加算部Ａｄｄに出力する。つまり、逆直交変換のサイズは、決定部Ｄｅから入力される直交変換サイズTsizeのブロック単位に、直交変換部Ｔ１と逆の処理を行う。
【００４０】
加算部Ａｄｄは、減算部subと同じ動き補償サイズのブロック単位で、予測誤差と動き補償部ＭＣから出力される予測画像とを加算して復号化画像とする。
スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリPicMemに保存される。
動き検出部ＭＥは、画像信号Vin がマクロブロック単位で入力され、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。この動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができる。動きベクトル検出に用いられた参照ピクチャは、識別番号（参照インデックスIndex）により指定される。参照インデックスIndexによって、ピクチャメモリPicMem中の各ピクチャが有するピクチャ番号は参照インデックスと対応付けされている。
【００４１】
動き補償部ＭＣでは、上記処理によって検出された動きベクトルおよび参照インデックスIndexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像として最適な画像を読み出す。
可変長符号化部VLC1は、量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを可変長符号化して符号化ストリームStrとして出力する。その際、可変長符号化部VLC1は、直交変換サイズTsizeに基づいてサイズ情報TsizeFlagを生成し、サイズ情報TsizeFlagと、重みマトリクスWmatrixとを符号化する。この重みマトリクスWmatrixには、８ｘ８直交変換に対応する重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matとがある。
【００４２】
図８は、画像符号化装置における符号化処理を示すフローチャートである。決定部Ｄｅは、マクロブロック単位に直交変換サイズTsizeおよび重みマトリクスWmatrixを決定する（Ｓ１０）。この直交変換サイズTsizeおよび重みマトリクスWmatrixに従って直交変換及び量子化がなされる。さらに、可変長符号化部VLC1は、所定区間毎つまりシーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかの区間毎にTsizeを示すサイズ情報TsizeFlagを符号化列strに含めるように符号化する。ここで、サイズ情報TsizeFlagでは、（Ａ）〜（Ｃ）の何れかの意味を有する。（Ａ）所定区間において全ての直交変換サイズが８ｘ８画素である。（Ｂ）所定区間において全ての直交変換サイズが４ｘ４画素である。（Ｃ）所定区間において直交変換サイズが８ｘ８画素と４ｘ４画素の何れであるか不明である（つまり混在している）。なお、サイズ情報TsizeFlag（Ａ）〜（Ｃ）の全ての区別を示す必要は無く、例えば（Ａ）と（Ｃ）や、（Ｂ）と（Ｃ）、もしくは直交変換サイズの８ｘ８と４ｘ４の混在を許容しない場合は（Ａ）と（Ｂ）の区別のみを示すようにしてもよい。
【００４３】
可変長符号化部VLC1は、例えば、図９（ａ）に示すように所定区間としてＧＯＰ毎にサイズ情報TsizeFlagを符号化する場合は、直交変換サイズTsizeがその区間において第２のサイズ（８ｘ８画素)のみであるか第１のサイズ（４ｘ４画素）のみであるかを判定する（S１１、１２）。
判定結果が８ｘ８のみである場合には、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが８ｘ８のみであることを示すサイズ情報TsizeFlagを符号化し（Ｓ１３）、８ｘ８の重みマトリクスW8matを符号化する（Ｓ１４）。この場合の符号列strの例を図１０(ｂ)に示す。
【００４４】
判定結果が４ｘ４のみである場合には、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが４ｘ４のみであることを示すサイズ情報TsizeFlagを符号化し（Ｓ１５）、４ｘ４の重みマトリクスW4matを符号化する（Ｓ１６）。この場合の符号列strの例を図１０(ｃ)に示す。
判定結果が４ｘ４のみでも８ｘ８でもない場合には（つまり両者が混在している場合には）、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが４ｘ４のみでも８ｘ８のみでもないことを示すサイズ情報TsizeFlagを符号化し（Ｓ１７）、４ｘ４の重みマトリクスW4matおよび８ｘ８の重みマトリクスW8matを符号化する（Ｓ１８）。この場合の符号列strの例を図１０(ａ)に示す。なお、この場合可変長符号化部VLC1は、マクロブロック毎の直交変換サイズTsizeが第１のサイズであるか第２のサイズであるかを復号装置に知らせるために、マクロブロック毎に直交変換サイズTsizeを含めるように符号化することが望ましい。
【００４５】
上記では可変長符号化部VLC1がＧＯＰ単位でサイズ情報TsizeFlagを符号化する例を示したが、図９（ｂ）に示すようにスライス単位でサイズ情報TsizeFlagを符号化してもよい。この場合、重みマトリクスは、図１１（ａ）〜図１１(ｃ)に示すように符号化される。
図１１（ａ）は第１のサイズと第２のサイズとが所定区間で混在する場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で両方の直交変換サイズが混在することを示すサイズ情報TsizeFlagとそれにひきつづき８ｘ８直交変換用重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matが符号化されている。８ｘ８直交変換用重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matの順序はこの順序に限らず、逆の順序で配置することに決めても構わない。図１１（ｂ）は所定区間で第２のサイズのみが直交変換で使用される場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で８ｘ８直交変換サイズであることを示すサイズ情報TsizeFlagとそれにひきつづき８ｘ８直交変換用重みマトリクスW8matが符号化されている。図１１（ｃ）は４ｘ４単位直交変換のみが使用される場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で４ｘ４直交変換サイズであることを示すサイズ情報TsizeFlagとそれにひきつづき４ｘ４直交変換用重みマトリクスW4matを符号化する。
【００４６】
また、可変長符号化部VLC1は、図９（ｃ）に示すようにサイズ情報TsizeFlagをマクロブロック単位で符号化してもよい。ただし、図９（ｃ）の場合では、サイズ情報TsizeFlagの代わりに直交変換サイズTsizeそのものを符号化してもよい。上記の図９（ａ）〜図９（ｃ）はサイズ情報TsizeFlagがどの位置に挿入されるかを示している。複数のピクチャから構成されるストリームやシーケンス単位で切替える場合には、図９（ａ）のようにストリームやシーケンスの先頭に挿入することが望ましい。これは、画像サイズや画像の性質がストリームやシーケンスの単位で殆ど変化しない場合に効果的である。画像の内容がピクチャ単位で変化し、ピクチャ毎に直交変換サイズを変える必要がある場合には、図９（ｂ）に示すように各ピクチャの先頭にサイズ情報TsizeFlagを配置するのことが望ましい。更に、各マクロブロック毎に直交変換サイズを変える必要がある場合には、図９（ｃ）に示すように各マクロブロックの先頭にサイズ情報TsizeFlagを配置することが望ましい。
【００４７】
＜変形例＞
（１）  図１２は、図８に示した画像符号化処理の変形例を示すフローチャートである。同図では、サイズ情報TsizeFlagが上記の（Ｂ）と（Ｃ）の区別を示す場合の符号化処理を示している。図８と同じ処理内容のステップには同じステップ番号を付してある。このようにすればサイズ情報TsizeFlagは、上述の所定区間において直交変換サイズが４ｘ４画素に固定であるか否かを示すことになり、１ビットで表すことができる。
（２）重みマトリクスW8matと重みマトリクスW4matは、個々に最適な値が設定されることが望ましい。ただし、決定部Ｄｅが重みマトリクスWmatrixをストリーム単位もしくはピクチャ単位で決定する場合には、重みマトリクスW8matから重みマトリクスW4matを導出したり、逆に重みマトリクスW4matから重みマトリクスW8mat導出するようにしてもよい。
図１３は、重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像符号化処理を示すフローチャートである。同図は、図８と比較してステップＳ１９が追加されている。同じ処理内容のステップには同じステップ番号を付してあるので説明を省略し、異なる点のみ説明する。ステップＳ１９において可変長符号化部VLC1は、８ｘ８単位の重みマトリクスから４ｘ４単位の重みマトリクスW4matを下記のよう導出し、符号化する。
【００４８】
W4 i,j = K * W8 2i, 2j（i,jは０から３、Ｋは定数）
なお、直交変換部T1も、重みマトリクスW4matを同様に導出して直交変換に用いる。
また、可変長符号化部VLC1は、導出された４ｘ４単位の重みマトリクスW4matの符号化を省略してもよい。
また、量子化部Ｑ１および逆量子化部ＩＱ１は、同じ直交変換サイズであっても、画面内符号化の場合と画面間符号化で違う重みマトリクスを使用してもよい。更に、輝度信号と色差信号で違う重みマトリクスを使用しても良い。
【００４９】
なお、量子化部Ｑ１および逆量子化部ＩＱ１は、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択するようにしてもよい。
更に、量子化部Ｑ１および逆量子化部ＩＱ１は、重みマトリクスが特に効果がある大きな直交変換サイズのみ（例えば第２のサイズ）重みマトリクスによる量子化マトリクスの重み付けを行い、他方（第１のサイズ）は重みマトリクスによる量子化マトリクスの重み付けをしないようにしてもよい。
【００５０】
＜画像復号化装置＞
図１４は、本発明の実施の形態における画像復号化装置の構成を示すブロック図である。
【００５１】
同図において、図４に示した画像符号化装置のブロック図と同じ構成要素には同じ番号を付してあるので、説明を省略する。
符号化ストリームStrは可変長復号化部VLD1で復号化される。復号結果には、重みマトリクスWmatrixと直交変換サイズTsizeが含まれる。逆量子化部ＩＱ1は、重みマトリクスWmatrixによって量子化マトリクスの重み付けを行い、重み付け後の量子化マトリクスを用いて逆量子化する。逆直交変換部ＩＴ1は、直交変換サイズTsizeに応じた逆直交変換を行う。その他の動作は図３の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じである。
【００５２】
図１５は、画像復号化装置における可変長復号化処理を示すフローチャートである。同図のように、可変長復号化部VLD1は、符号化ストリームStrからサイズ情報TsizeFlagを復号化し（Ｓ３０）、サイズ情報TsizeFlagが第２のサイズ（８ｘ８画素)のみを示すかどうかを判定し（Ｓ３１）、第２のサイズのみを示す場合は、重みマトリクスW8matを復号化する（Ｓ３３）。サイズ情報TsizeFlagが８ｘ８直交変換のみを示さないとき、可変長復号化部VLD1は、次にサイズ情報TsizeFlagが第１のサイズ（４ｘ４画素）のみを示す場合（Ｓ３２）、４ｘ４の重みマトリクスW4matを復号化する（Ｓ３４）。さらに、サイズ情報TsizeFlagが４ｘ４直交変換のみを示さない場合、８ｘ８重みマトリクスW8matと４ｘ４重みマトリクスWmatを復号化する（Ｓ３５）。この復号結果に従って、逆量子化および逆直交変換が行われる。
【００５３】
なお、重みマトリクスW4matが符号列Strに符号化されていない場合には、画像復号化装置は、重みマトリクスW8matから重みマトリクスW4matを導出するようにしてもよい。図１６に、重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像復号化処理を示すフローチャートを示す。同図の処理は、図１５に対してステップＳ３６が追加されている。ステップＳ３６では、図１３に示したステップＳ１９と同様にして、重みマトリクスW8matから重みマトリクスW4matが導出される。
【００５４】
以上のように、画像復号化装置は、図４に示した画像符号化装置によって符号化された符号化ストリームStrを正しく復号化することができる。なお、直交変換サイズTsizeは可変長復号化部VLD1から取得されるものとしたが、上記実施の形態で説明したように動き補償ブロックの大きさに基いて切替える場合は、動き補償ブロックの大きさから直交変換サイズTsizeを導出するようにしてもよい。
【００５５】
さらに、上記実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００５６】
図１７（ａ）〜図１７（ｃ）は、上記実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００５７】
図１７ （ｂ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１７ (a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００５８】
また、図１７（ｃ） は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００５９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
【００６０】
図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６１】
しかし、コンテンツ供給システムex１００は図１８のような組合せに限定されず、何れかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、何れでも構わない。
【００６２】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６３】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６４】
このシステムを構成する各機器の符号化、復号化には上記実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【００６５】
図１９は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００６６】
さらに、携帯電話ex１１５について図２０を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００６７】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００６８】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００６９】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７０】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００７１】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００７３】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７４】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００７５】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２１に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置の何れかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７６】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００７７】
なお、カーナビゲーションex４１３の構成は例えば図２０に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００７８】
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述した何れの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【産業上の利用可能性】
【００７９】
本発明は、ピクチャをブロック単位に符号化する画像符号化装置、画像復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図面の簡単な説明】
【００８０】
【図１】ビットストリームのデータ構造の例を示した説明図である。
【図２】従来の画像符号化装置の構成を示すブロック図である。
【図３】従来の画像復号化装置の構成を示すブロック図である。
【図４】本発明の実施の形態における画像符号化装置の構成を示すブロック図である。
【図５】（ａ）〜（ｇ）画面間符号化の場合における、動き補償のブロックサイズを示す図である。
【図６】（ａ）１６ｘ１６画素の輝度マクロブロックとその直交変換ブロックを示す図である。（ｂ）８ｘ８画素の色差マクロブロックとその直交変換ブロックを示す図である。
【図７】（ａ）８ｘ８のサイズの重みマトリクスを示す図である。（ｂ）４ｘ４のサイズの重みマトリクスを示す図である。
【図８】画像符号化装置における符号化処理を示すフローチャート図である。
【図９】（ａ）〜（ｃ）符号列中のサイズ情報が挿入される位置を示す図である。
【図１０】（ａ）〜（ｃ）符号列中のＧＯＰ単位にサイズ情報および重みマトリクスが挿入される位置を示す図である。
【図１１】（ａ）〜（ｃ）符号列中のスライス単位にサイズ情報および重みマトリクスが挿入される位置を示す図である。
【図１２】画像符号化処理の変形例を示すフローチャート図である。
【図１３】８ｘ８の重みマトリクスから４ｘ４の重みマトリクスを導出する場合の画像符号化処理を示すフローチャートである。
【図１４】本発明の実施の形態における画像復号化装置の構成を示すブロック図である。
【図１５】画像復号化装置における可変長復号化処理を示すフローチャート図である。
【図１６】重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像復号化処理を示すフローチャートである。
【図１７】（ａ）〜（ｃ）上記実施の形態の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。
【図１８】コンテンツ供給システムの全体構成を示すブロック図である。
【図１９】画像符号化方法および画像復号化方法を用いた携帯電話の概観を示す図である。
【図２０】携帯電話の構成を示すブロック図である。
【図２１】ディジタル放送用システムの全体構成を示す図である。
【符号の説明】
【００８１】
Ｄｅ  決定部
ＭＥ  動き検出部
ＭＣ  動き補償部
Ｓｕｂ  減算部
Ｔ１  直交変換部
Ｑ１  量子化部
ＩＱ１、逆量子化部
ＩＴ１  逆直交変換部
Ａｄｄ  加算部
PicMem  ピクチャメモリ
ＳＷ  スイッチ
ＶＬＣ１  可変長符号化部
Ｃｓ  コンピュータ・システム
ＦＤ  フレキシブルディスク
ＦDD  フレキシブルディスクドライブ
【図１】
2004254327.tif 000003
【図２】
2004254327.tif 000004
【図３】
2004254327.tif 000005
【図４】
2004254327.tif 000006
【図５】
2004254327.tif 000007
【図６】
2004254327.tif 000008
【図７】
2004254327.tif 000009
【図８】
2004254327.tif 000010
【図９】
2004254327.tif 000011
【図１０】
2004254327.tif 000012
【図１１】
2004254327.tif 000013
【図１２】
2004254327.tif 000014
【図１３】
2004254327.tif 000015
【図１４】
2004254327.tif 000016
【図１５】
2004254327.tif 000017
【図１６】
2004254327.tif 000018
【図１７】
2004254327.tif 000019
【図１８】
2004254327.tif 000020
【図１９】
2004254327.tif 000021
【図２０】
2004254327.tif 000022
【図２１】
2004254327.tif 000023