(57)【要約】【課題】  ブロック単位でＤＣＴとＭＰを切り替えて符号化を行う際に、さらに符号化効率を向上させる。【解決手段】  複数の領域からなる画像信号と領域情報とを入力とし、画像信号を画像ブロックに分割する分割手段１０１と、画像ブロックを符号列に変換する第１の変換手段１０２、第２の変換手段１０３と、第１の変換手段１０２と第２の変換手段１０３により生成された符号列から、いずれかを選択する選択手段１０４と、選択手段１０４により選択された符号列を合成し、出力符号列を生成する符号列生成手段１０５とから構成され、第１の変換手段１０２は、領域情報に基づいて変換基底関数を決定して変換処理を行い、第２の変換手段１０３は、領域情報に関係なく変換基底関数を決定して変換処理を行う。【選択図】  図１
2005167655.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、
前記画像信号を画像ブロックに分割する分割ステップと、
前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、
前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、
前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップとを含み、
前記Ｎ個の変換ステップは、前記領域情報に基づいて変換基底関数を決定して変換処理を行う第１の変換ステップと、前記領域情報に関係なく変換基底関数を決定して変換処理を行う第２の変換ステップとを含む
ことを特徴する変換符号化方法。
【請求項２】
前記符号列生成ステップでは、前記選択ステップで選択した符号列の識別子を記述することを特徴とする請求項１記載の変換符号化方法。
【請求項３】
前記第１の変換ステップは、
前記ブロック内の領域情報に基づいて、変換基底関数を生成する変換基底決定ステップと、
前記変換基底決定ステップにより生成された変換基底関数を用いて、前記ブロックの画素値を変換係数に変換する変換ステップとを含む
ことを特徴する請求項１記載の変換符号化方法。
【請求項４】
前記第２の変換ステップでは、
所定の変換基底群の中から選択した変換基底の線形和により前記ブロック内の画像信号を表現し、前記変換基底の番号、前記変換基底を配置するブロック内の画素位置、前記変換基底を加算する際の重みを符号列中に記述する
ことを特徴する請求項１記載の変換符号化方法。
【請求項５】
前記第２の変換ステップでは、
前記変換基底を選択した順に、前記変換基底の番号、前記変換基底を配置するブロック内の位置、前記変換基底を加算する際の重みを符号列中に記述する
ことを特徴する請求項４記載の変換符号化方法。
【請求項６】
前記第２の変換ステップでは、
ブロック内の所定の画素順に、前記変換基底の番号、前記変換基底を加算する際の重みを符号列中に記述する
ことを特徴する請求項４記載の変換符号化方法。
【請求項７】
前記第２の変換ステップでは、
前記選択ステップにより前記第２の変換ステップの符号列が選択された場合、前記符号列を生成する際に選択された前記変換基底の番号を計数し、計数結果に従って、前記変換基底の番号の符号化方法を変更する
ことを特徴とする請求項４記載の変換符号化方法。
【請求項８】
前記第２の変換ステップでは、
前記選択ステップにより前記第２の変換ステップの符号列が選択された場合、前記符号列を生成する際に選択された前記変換基底の番号を計数し、計数結果に従って、前記変換基底の番号の符号化方法を変更し、
前記符号列生成ステップでは、
前記第２の変換ステップが、前記変換基底の番号の符号化方法を変更したことを示す情報を前記符号列中に記述する
ことを特徴とする請求項４記載の変換符号化方法。
【請求項９】
Ｍ個の領域からなる画像信号をＮ個（Ｎ≧２）の変換方法を用いて符号化し生成した符号列と、前記領域を示す領域情報とを入力とし、
前記符号列中に記述された前記変換方法を示す情報に基づいて、前記符号列を分割する符号列分割ステップと、
前記符号列分割ステップにより分割された符号列に対して、逆変換を施し復号化画像を生成するＮ個の逆変換ステップと、
前記逆変換ステップにより生成された復号化画像を合成する合成ステップとを含み、
前記Ｎ個の逆変換ステップは、前記領域情報に基づいて変換基底関数を決定して逆変換処理を行う第１の逆変換ステップと、前記領域情報に関係なく変換基底関数を決定して逆変換処理を行う第２の逆変換ステップとを含む
ことを特徴する変換復号化方法。
【請求項１０】
前記符号列分割ステップでは、前記符号列中に記述されている識別子に基づいて符号列を分割する
ことを特徴とする請求項９記載の変換復号化方法。
【請求項１１】
前記第１の逆変換ステップは、
前記ブロック内の領域情報に基づいて、変換基底関数を生成する変換基底決定ステップと、
前記変換基底決定ステップにより生成された変換基底関数を用いて、前記ブロックの変換係数を画素値に変換する逆変換ステップとを含む
ことを特徴とする請求項９記載の変換復号化方法。
【請求項１２】
前記第２の逆変換ステップでは、
前記符号列中に記述されている前記変換基底の番号、前記変換基底を配置するブロック内の位置、前記変換基底を加算する際の重みに基づいて復号化画像を生成する
ことを特徴とする請求項９記載の変換復号化方法。
【請求項１３】
前記第２の逆変換ステップでは、
復号化した前記変換基底の番号、前記変換基底を加算する際の重みを前記変換基底を配置するブロック内の位置に基づいて加算し復号化画像を生成する
ことを特徴とする請求項１２記載の変換復号化方法。
【請求項１４】
前記第２の逆変換ステップでは、
復号化した前記変換基底の番号、前記変換基底を加算する際の重みをブロック内の所定の画素順に加算し復号化画像を生成する
ことを特徴とする請求項１２記載の変換復号化方法。
【請求項１５】
前記第２の逆変換ステップでは、
前記符号列を生成する際に選択された前記変換基底の番号を計数し、計数結果に従って、前記変換基底の番号の復号化方法を変更する
ことを特徴とする請求項１２記載の変換復号化方法。
【請求項１６】
前記第２の逆変換ステップでは、
前記符号列が前記変換基底の番号の符号化方法を変更しながら生成したかを示す情報を前記符号列中から取得し、前記符号列が前記変換基底の番号の符号化方法を変更しながら生成されている場合には、前記符号列を生成する際に選択された前記変換基底の番号を計数し、計数結果に従って、前記変換基底の番号の復号化方法を変更する
ことを特徴とする請求項１２記載の変換復号化方法。
【請求項１７】
コンピュータにより、請求項１記載の変換符号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、
前記画像信号を画像ブロックに分割する分割ステップと、
前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、
前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、
前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップとを実行させ、
前記Ｎ個の変換ステップは、前記領域情報に基づいて変換基底関数を決定して変換処理を行う第１の変換ステップと、前記領域情報に関係なく変換基底関数を決定して変換処理を行う第２の変換ステップとを含む
ことを特徴とするプログラム。
【請求項１８】
コンピュータにより、請求項９記載の変換復号化方法を行うためのプログラムであって、
上記プログラムはコンピュータに、
Ｍ個の領域からなる画像信号をＮ個（Ｎ≧２）の変換方法を用いて符号化し生成した符号列と、前記領域を示す領域情報とを入力とし、
前記符号列中に記述された前記変換方法を示す情報に基づいて、前記符号列を分割する符号列分割ステップと、
前記符号列分割ステップにより分割された符号列に対して、逆変換を施し復号化画像を生成するＮ個の逆変換ステップと、
前記逆変換ステップにより生成された復号化画像を合成する合成ステップとを実行させ、
前記Ｎ個の逆変換ステップは、前記領域情報に基づいて変換基底関数を決定して逆変換処理を行う第１の逆変換ステップと、前記領域情報に関係なく変換基底関数を決定して逆変換処理を行う第２の逆変換ステップとを含む
ことを特徴とするプログラム。
【請求項１９】
データを格納した記録媒体であって、上記データは、
Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、
前記画像信号を画像ブロックに分割する分割ステップと、
前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、
前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、
前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップとにより生成され、
前記データは、前記符号列生成ステップにより、前記選択ステップで選択した符号列の識別子が記述されている
ことを特徴とする記録媒体。
【請求項２０】
データを格納した記録媒体であって、上記データは、
Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、
前記画像信号を画像ブロックに分割する分割ステップと、
前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、
前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、
前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップとにより生成され、
前記Ｎ個の変換ステップは、所定の変換基底群の中から選択した変換基底の線形和により前記ブロック内の画像信号を表現し、前記変換基底の番号、前記変換基底を配置するブロック内の画素位置、前記変換基底を加算する際の重みを符号列中に記述する変換ステップを含み、
前記データは、前記変換基底を選択した順に、前記変換基底の番号、前記変換基底を配置するブロック内の位置、前記変換基底を加算する際の重みが記述されている
ことを特徴とする記録媒体。
【請求項２１】
データを格納した記録媒体であって、上記データは、
Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、
前記画像信号を画像ブロックに分割する分割ステップと、
前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、
前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、
前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップとにより生成され、
前記Ｎ個の変換ステップは、所定の変換基底群の中から選択した変換基底の線形和により前記ブロック内の画像信号を表現し、前記変換基底の番号、前記変換基底を配置するブロック内の画素位置、前記変換基底を加算する際の重みを符号列中に記述する変換ステップを含み、
前記データは、ブロック内の所定の画素順に、前記変換基底の番号、前記変換基底を加算する際の重みが記述されている
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を符号化または復号化する際に用いる変換符号化方法および変換復号化に関するものである。
【背景技術】
【０００２】
ＪＰＥＧ方式、ＭＰＥＧビデオ方式に代表される従来の画像符号化方式においては、画面を予め定められた単位に分割し、その分割単位で符号化を行う。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２方式においては、マクロブロックと呼ばれる水平１６画素、垂直１６画素の単位で動き補償を行う。そして、動き補償後の残差信号に対しては、画面中の各マクロブロックに含まれるブロックと呼ばれる水平８画素、垂直８画素の単位で離散コサイン変換（以下ＤＣＴと略す）を行い、変換係数に量子化等の処理を行うことにより、最終的な符号列を得る。
【０００３】
これに対して近年、低ビットレート用の変換符号化方式として、マッチングパースート（Matching Pursuit、以下ＭＰと略す）方式が提案されている（非特許文献１）。非特許文献１で提案されているＭＰ方式では、動き補償後の残差信号を符号化する際に、予め定められた多数の変換基底（非直交変換基底）を用いて、画面内の任意の位置に一つの変換基底を置く処理を繰り返すことにより符号化する方法である。
【０００４】
ＤＣＴとＭＰとを比較すると、ＤＣＴは高ビットレートでの符号化効率が高く、ＭＰは低ビットレートでの符号化効率が高くなる。そこでこの両者の特性を活かすために、ブロック単位で、ＤＣＴとＭＰを切り替える方式が提案されている（非特許文献２）。
【非特許文献１】R.Neff et. al., "Very Low Bit-Rate Video Coding Based on Matching Persuits", IEEE Trans. on Circuits and Systems for Video Technology, Vol.７, No.１, pp. １５８-１７１, Feb. １９９７.
【非特許文献２】S.Valente, "Video coding ecology using DCT and block-restricted matching pursuit," International Conference on Image Processing, ２００３.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方法では、画像をすべて矩形ブロックに分割して変換処理を行う。ＤＣＴを用いた場合、一般に異なる領域（異なる物体や異なる動き）の情報がＤＣＴブロック内に存在すると、高周波数成分が増加することから、符号化効率が低下することが知られている。
本発明は、上記従来の課題を解決するものであり、矩形ブロックに分割して、ブロック単位でＤＣＴとＭＰを切り替えて符号化を行う際に、さらに符号化効率を向上させることができる変換符号化方法および変換復号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するために、第１の発明は、Ｍ個の領域からなる画像信号と前記領域を示す領域情報とを入力とし、前記画像信号を画像ブロックに分割する分割ステップと、前記画像ブロックを符号列に変換するＮ個（Ｎ≧２）の変換ステップと、前記Ｎ個の変換ステップにより生成されたＮ個の符号列から、１つの符号列を選択する選択ステップと、前記選択ステップにより選択された符号列を合成し、出力符号列を生成する符号列生成ステップと、を含み、前記Ｎ個の変換ステップは、前記領域情報に基づいて変換基底関数を決定して変換処理を行う第１の変換ステップと、前記領域情報に関係なく変換基底関数を決定して変換処理を行う第２の変換ステップと、を含むことを特徴する変換符号化方法である。
【０００７】
第２の発明は、Ｍ個の領域からなる画像信号をＮ個（Ｎ≧２）の変換方法を用いて符号化し生成した符号列と、前記領域を示す領域情報とを入力とし、前記符号列中に記述された前記変換方法を示す情報に基づいて、前記符号列を分割する符号列分割ステップと、前記符号列分割ステップにより分割された符号列に対して、逆変換を施し復号化画像を生成するＮ個の逆変換ステップと、前記逆変換ステップにより生成された復号化画像を合成する合成ステップとを含み、前記Ｎ個の逆変換ステップは、前記領域情報に基づいて変換基底関数を決定して逆変換処理を行う第１の逆変換ステップと、前記領域情報に関係なく変換基底関数を決定して逆変換処理を行う第２の逆変換ステップと、を含むことを特徴する変換復号化方法である。
【発明の効果】
【０００８】
以上の様に、本発明の変換符号化方法、変換復号化方法においては、領域情報を有する画像信号を符号化する際に、ブロック単位に分割し、２つの変換方法で符号化を行う。第１の変換方法は、ブロック内の領域毎に直交変換を行って符号化を行い、第２の変換方法は、ブロック内を領域に分割せずに、双直交変換を行って符号化（ＭＰ符号化）を行う。そして、ブロック毎に符号化効率が高くなる方を選択し、その符号列を出力する。一般に、符号化レートが高くなると直交変換の符号化効率が高く、また符号化レートが低くなると双直交変換の符号化効率が高くなる。また、動き補償後の残差信号に変換符号化を施す場合、残差成分が多い場合には直交変換の方が符号化効率が高く、残差成分が少ない場合には双直交変換の方が符号化効率が高くなる。そのため、上記の処理を行うことにより、低符号化レートから高符号化レートまで、幅広い符号化レートで高い符号化効率を達成することができ、ブロックの特性に応じて符号化効率の高い変換方法を選択することができる。また、直交変換においては、異なる領域の画像が一つのブロック内に入ると符号化効率が落ちることが知られているが、同じブロックに属する領域毎に直交変換を施すことにより、直交変換時の符号化効率を高くすることができる。このように本発明の変換符号化方法、変換復号化方法はその実用的価値が高い。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について、図１から図１３を用いて説明する。
（実施の形態１）
図１は、本発明の変換符号化方法を用いた動画像符号化装置１００のブロック図であり、分割手段１０１、第１の変換手段１０２、第２の変換手段１０３、選択手段１０４、符号列生成手段１０５から構成される。
【００１０】
画像信号と領域情報とは分割手段１０１に入力される。ここで、画像信号は通常の画像信号、または動き補償後の残差信号である。画像信号と領域情報の例を図２（ａ）、図２（ｂ）に示す。領域情報は、画像信号を物体毎の領域や、動境界で分割した領域等を示す情報である。ここでは、図２（ｂ）に示すように、領域２０１〜領域２０４の４つの領域に分割されているものとする。
【００１１】
分割手段１０１では、所定の大きさで、入力された画像信号を分割する。ここでは画像信号をブロック形状に分割するとし、水平Ｎ画素×垂直Ｎ画素のブロックに分割を行う。例えばＮとしては４、８、１６等の値を取ることが出来る。分割手段１０１は、各ブロックの画像信号Ｐを第１の変換手段１０２と第２の変換手段１０３とに出力する。また、各ブロックに対する領域情報Ｒを第１の変換手段１０２に対して出力する。
【００１２】
第１の変換手段１０２での処理について説明する。
図３は、第１の変換手段１０２の構成を示すブロック図である。第１の変換手段１０２は、垂直方向変換手段３０１、水平方向変換手段３０２、垂直方向変換基底生成手段３０３、水平方向変換基底生成手段３０４、水平方向逆変換手段３０５、垂直方向逆変換手段３０６、可変長符号化手段３０７、量子化手段３０８、逆量子化手段３０９とから構成される。
【００１３】
図２（ｃ）は、図２（ｂ）の領域２０３の近辺を拡大した図であり、領域２０３の近辺は波線で示すようにブロックに分割されているとする。今、図２（ｃ）に示すブロック２１０が入力されるとする。また、この場合の領域情報を図４（ａ）に示す。図４（ａ）において、各正方形は画素を示しており、水平８画素、垂直８画素のブロックである事を示している。また、白の部分が領域２０１を、黒の部分が領域２０３を示している。
【００１４】
第１の変換手段１０２では、ブロック２１０のうち、領域２０１の画素と領域２０３の画素とを別に符号化する。ここでは領域２０３の画素の符号化方法について説明する。
垂直方向変換基底生成手段３０３では、ブロック２１０内の領域２０３の画素に対して、垂直方向の変換係数を求めるための変換基底を生成する。この場合、列毎に領域２０３に属する画素数を計数し、その結果に基づいて変換基底を生成する。例えば、列４０１については、領域２０３の画素は２個であるので、（数１）においてＭ＝２として変換基底を決定する。また、列４０２については、領域２０３の画素は７個であるので、（数１）においてＭ＝７として変換基底を決定する。ここで（数１）において、ｖは垂直方向の周波数成分であり、ｙはブロック内の垂直方向の空間座標を示す。
【００１５】
【数１】
2005167655.tif 000003
【００１６】
垂直方向変換手段３０１は、ブロック内の領域情報Ｒに基づいて、符号化対象画素（領域２０３の画素）を垂直方向にブロック端まで移動させる。この場合、図４（ｂ）が符号化対象画素を垂直方向にブロック端まで移動したブロックとなる。そして、垂直方向変換基底生成手段３０３から入力された垂直方向の変換基底を用いて、列毎に垂直方向の変換を行い、変換係数を生成し、それを水平方向変換手段３０２に対して出力する。
【００１７】
水平方向変換基底生成手段３０４では、水平方向の変換係数を求めるための変換基底を決定する。この場合、領域情報Ｒに基づいて、図４（ｂ）の状態で行毎に領域２０３に属する垂直方向変換係数の数を計数し、その結果に基づいて行毎の変換基底を生成する。例えば、行４０３については、領域２０３の係数は５個であるので、（数２）においてＭ＝５として変換基底を決定する。また、列４０４については、領域２０３の係数は１個であるので、（数２）においてＭ＝１として変換基底を決定する。（数２）において、ｕは水平方向の周波数成分であり、ｘはブロック内の水平方向の空間座標を示す。
【００１８】
【数２】
2005167655.tif 000004
【００１９】
水平方向変換手段３０２は、垂直方向に変換した変換係数ブロックに対して、領域情報Ｒに基づいて、水平方向にブロック端まで移動させる。この場合、図４（ｃ）が垂直方向に変換された変換係数を水平方向にブロック端まで移動したブロックとなる。そして、水平方向変換基底生成手段３０４から入力された水平方向の変換基底を用いて、行毎に水平方向の変換を行い、２次元の変換係数を生成する。
【００２０】
以上の処理により、水平方向変換手段３０２では、２次元の変換係数が得られたことになり、この場合の係数は、図４（ｃ）における斜線部となる。
量子化手段３０８では、水平方向変換手段３０２で生成された２次元の変換係数に対して量子化処理が施され、量子化された変換係数ブロックＣ１が出力される。ここで量子化とは、変換係数を所定の値（量子化値）で除算する処理を指す。量子化値は、変換係数毎に異なっても良い。
【００２１】
逆量子化手段３０９では、逆量子化処理が施され、逆量子化された変換係数が水平方向逆変換手段３０５に対して出力される。ここで逆量子化とは、量子化された変換係数に量子化値を積算する処理を指す。
水平方向逆変換手段３０５は、ブロック２１０の領域２０３の変換係数ブロックに対して（この際の係数は図４（ｃ）の斜線部の位置にある）、水平方向変換基底生成手段３０４から入力された水平方向の変換基底を用いて、行毎に水平方向の逆変換を行い、逆変換係数ブロックを生成する。
【００２２】
垂直方向逆変換手段３０６は、水平方向に逆変換した逆変換係数ブロックに対して、領域情報Ｒに基づいて、図４（ｂ）の状態となるように、係数を水平方向に移動させる。そして、垂直方向変換基底生成手段３０３から入力された垂直方向の変換基底を用いて、列毎に垂直方向の逆変換を行い、２次元の逆変換係数（復号画素値）を生成する。そして最後に、領域情報Ｒに基づいて、復号画素を垂直方向に移動させ、図４（ａ）の状態とする。これを復号ブロックＤ１として出力する。
【００２３】
可変長符号化手段３０７では、変換係数ブロックＣ１に対して可変長符号化を施す。この場合、図４（ｄ）に示すように、低周波数係数から高周波数係数に向かって係数の１次元化を行い、係数０の連続長と、非零係数値とを作成し、予め定めた符号帳や算術符号化を用いて符号列Ｓ１を生成し出力する。また、この際の符号量Ｂ１を出力する。
以上の処理は、ブロック２１０のうち、領域２０１の画素についても同様の処理が行われ、これによりブロック２１０に対する第１の変換手段１０２の処理が完了する。この場合に生成されるブロック２１０の符号列は図７（ａ）のようになる。
【００２４】
続いて、第２の変換手段１０３での処理について説明する。
図５は、第２の変換手段１０３の構成を示すブロック図である。第２の変換手段１０３は、変換手段５０１、量子化手段５０２、逆量子化手段５０３、逆変換手段５０４、変換基底群保持手段５０５、可変長符号化手段５０６、から構成される。
変換手段５０１には、各ブロックの画像信号Ｐが入力される。ここでは、図２（ｃ）に示すブロック２１０が入力されるとする。第２の変換手段１０３では、ブロック２１０のうち、領域２０１の画素と領域２０３の画素とを区別せずに符号化する。
【００２５】
処理対象ブロック（ここではブロック２１０）は、変換手段５０１に入力され、変換手段５０１では、処理対象ブロックに対してＭＰ符号化を行う。変換手段５０１において用いる変換基底は、変換基底群保持手段５０５に保持されているものとする。ＭＰ符号化においては、双直交な基底関数が用いられる。例えば、双直交な基底関数の例としては、ガボール関数がある。
【００２６】
第２の変換手段１０３の処理での処理方法を図６のフローチャートを用いて説明する。
図６のフローチャートにおいては、ブロックの未符号化画像信号（初期値は入力画像信号）をｆ（ｘ，ｙ）で示す。また、変換基底群保持手段５０５には、変換基底群ｇｋ（ｘ，ｙ）が保持されている。
ステップＳ６０１では、初期値としてｎを１に設定する。以降、終了条件を満たすまで、ステップＳ６０２からステップＳ６０４の処理を繰り返す。
【００２７】
ステップＳ６０２では、変換手段５０１において、画像信号ｆ（ｘ，ｙ）のブロック内の各位置（ｄｘ，ｄｙ）について、各変換基底ｇｋ'（ｘ，ｙ）に対する内積値を計算し、その値をα（ｋ，ｄｘ，ｄｙ）とする。ここで、変換基底ｇｋ'（ｘ，ｙ）は、変換基底群保持手段５０５で保持された変換基底群ｇｋ（ｘ，ｙ）に対して、ブロック内でのノルム値を正規化したものである。
【００２８】
ステップＳ６０３では、変換手段５０１において、α（ｋ，ｄｘ，ｄｙ）の中から最大値を求め、そのときの位置をｄｎ＝（ｄｎｘ，ｄｎｙ）、変換基底の番号をｋｎ、内積値をαｎとする。そして、位置ｄｎ、変換基底番号ｋｎを可変長符号化手段５０６に対して、内積値αｎを量子化手段５０２に対して出力する。
ステップＳ６０４では、量子化手段５０２において、ステップＳ６０３で選択された内積値αｎに対して量子化処理を行う。ここで量子化処理とは、予め定めた量子化値によって、内積値αｎを除算する処理のことを指す。量子化された内積値をｑｎとする。
【００２９】
ステップＳ６０５では、逆量子化手段５０３において、量子化された内積値ｑｎに対して逆量子化処理を行う。ここで逆量子化処理とは、入力値に対する前記の量子化値の積を求める処理のことを指す。逆量子化された内積値をαｎ'とする。
ステップＳ６０６では、逆変換手段５０４において、ｇｋｎ（ｘ＋ｄｎｘ，ｙ＋ｄｎｙ）×αｎ'を求め、それをｆ'（ｘ，ｙ）として変換手段５０１に対して出力する。また、ｆ'（ｘ，ｙ）を累積加算し復号画像信号を生成する。
【００３０】
ステップＳ６０７では、ｆ（ｘ，ｙ）からｆ'（ｘ，ｙ）を引き、未符号化画像信号を更新する。
ステップ６０８では、可変長符号化手段５０６において、可変長符号化が施される。可変長符号化手段５０６では、変換手段５０１から出力された、位置ｄｎ、変換基底番号ｋｎ、および量子化手段５０２から出力された量子化された内積値ｑｎ（上記の３つを合わせてアトムと呼ぶ）に対して、可変長符号化を行って符号列を生成する。
【００３１】
可変長符号化の第１の方法としては、変換手段５０１により選択した順に符号列中に記述する方法がある。この方法を用いることにより、復号化側で符号列の復号化中にエラーを検出した場合であっても、画質に対する影響を最小限に押さえることができる。なぜならば、変換手段５０１では、残差信号のエネルギーを最も小さくする事ができる順にアトムの選択がなされるからである。この場合の符号列のフォーマット例を図７（ｂ）に示す。またこの際、アトムの情報は、前の値との差分値を符号化しても良い。例えば、位置の差分、基底番号の差分、内積値の差分である。これにより、符号化効率の向上を図ることができる。
【００３２】
可変長符号化の第２の方法としては、ブロック内の位置関係に基づいた所定順にアトムを並べ直す。順序としては、ブロック内で左上から右下に向かってのラスタ順等がある。そして並べ直した順序で、アトムの情報を可変長符号化する。ブロック内の各画素位置に対して、アトムの個数、アトムの個数分の変換基底番号と内積値の組、を記述した場合の符号列のフォーマット例を図７（ｃ）に示す。また、ブロック内の各画素位置に対して、アトムが存在する画素位置についてのみ、アトムの個数、アトムの個数分の変換基底番号と内積値の組、を記述した場合の符号列のフォーマット例を図７（ｄ）に示す。この場合、現在の画素位置から、アトムが存在する次の画素位置までの画素の個数を記述する。図７（ｃ）、図７（ｄ）に示すような可変長符号化列フォーマットを用いることによって、位置情報の符号量を削減することができ、符号化効率を向上することができる。
【００３３】
ステップＳ６０９では、終了条件を満たすか否かの判定を行う。終了条件としては、例えば、所定の回数だけステップＳ６０２〜Ｓ６０８の処理を行った場合や（これはｎの値により判定できる）、未符号化画像信号のエネルギーが所定値を下回った場合（これは未符号化画像信号のエネルギーが所定のしきい値を下回った場合で判定する）、発生符号量が所定量に達した場合（これは可変長符号化手段５０６により生成した符号列の符号量を計数した結果により判定する）、１ビットの情報量に対する１回の符号化処理による未符号化画像信号のエネルギーの減少値が所定値を下回った場合（これは未符号化画像信号のエネルギーと符号列の符号量を計数結果から判定する）、等がある。終了条件を満たさなければ、ステップＳ６１０でｎを１増加させた後、再びステップＳ６０２以降の処理を繰り返す。終了条件を満たせばステップ６１１の処理を行う。
【００３４】
ステップ６１１では、逆変換手段５０４において生成した復号画像信号をＤ２として出力する。また、可変長符号化手段５０６で生成した符号列をＳ２として、符号列の符号量をＢ２として出力する。
選択手段１０４には、処理対象ブロックの入力画像Ｐと、第１の変換手段１０２により処理した処理対象ブロックの復号化画像Ｄ１、符号列Ｓ１、符号量Ｂ１と、第２の変換手段１０３により処理した処理対象ブロックの復号化画像Ｄ２、符号列Ｓ２、符号量Ｂ２とが入力される。そして、いずれかの符号列を選択する。
【００３５】
第１の選択方法としては、処理対象ブロックの入力画像Ｐと、復号化画像Ｄ１、Ｄ２との誤差エネルギーを求め、その誤差エネルギーが小さい方を選択する。
第２の選択方法としては、処理対象ブロックの入力画像Ｐと、復号化画像Ｄ１、Ｄ２との誤差エネルギーを求め（それらをそれぞれＥ１、Ｅ２とする）、Ｅ１＋λＢ１とＥ２＋λＢ２とを計算し、その値の小さい方を選択する。ここでλは重み係数である。
【００３６】
選択された方の符号列Ｓと、第１の変換手段１０２の出力と第２の変換手段１０３の出力とのいずれを選択したかという選択情報Ｌとは、符号列生成手段１０５に対して出力される。
符号列生成手段１０５では、選択情報Ｌと符号列Ｓとを接続して、処理対象ブロックの符号列とする。符号列のフォーマット例を図８に示す。
【００３７】
以上のように、本発明の変換符号化方法においては、領域情報を有する画像信号を符号化する際に、ブロック単位に分割し、２つの変換方法で符号化を行う。第１の変換方法は、ブロック内の領域毎に直交変換を行って符号化を行い、第２の変換方法は、ブロック内を領域に分割せずに、双直交変換を行って符号化（ＭＰ符号化）を行う。そして、ブロック毎に符号化効率が高くなる方を選択し、その符号列を出力する。
【００３８】
一般に、符号化レートが高くなると直交変換の符号化効率が高く、また符号化レートが低くなると双直交変換の符号化効率が高くなる。また、動き補償後の残差信号に変換符号化を施す場合、残差成分が多い場合には直交変換の方が符号化効率が高く、残差成分が少ない場合には双直交変換の方が符号化効率が高くなる。そのため、上記の処理を行うことにより、低符号化レートから高符号化レートまで、幅広い符号化レートで高い符号化効率を達成することができ、ブロックの特性に応じて符号化効率の高い変換方法を選択することができる。また、直交変換においては、異なる領域の画像が一つのブロック内に入ると符号化効率が落ちることが知られているが、同じブロックに属する領域毎に直交変換を施すことにより、直交変換時の符号化効率を高くすることができる。
【００３９】
なお、本発明の実施の形態においては、第１の変換手段の変換基底として、離散コサイン変換基底を用いて説明したが、これは他の変換基底であっても良い。例えば、他の変換基底としては、離散フーリエ変換、離散サイン変換、アダマール変換等の変換基底がある。
また、本発明の実施の形態においては、ブロック内に存在する領域毎に変換係数を求める場合について説明したが、これは例えばブロック内で存在する画素数が少ない領域に対しては、その領域に対する変換係数を求めなくても良い。これは、ブロック内に存在するその領域の画素数が少なければ、領域別に符号化しなくても画質劣化は小さいと考えられ、かつその領域の変換係数を求めないことにより、符号量を減らすことができるためである。このような処理を行うためには、画素数に対するしきい値を設定しておき、ブロック内のある領域の画素数がそのしきい値以上であれば、変換処理を行い、しきい値未満であれば変換処理を施さない、とすれば良い。この場合、符号化側と復号化側とでしきい値を予め設定しておくことや、符号列中にそのしきい値を記述することにより、どのように各ブロックを処理するかは、領域情報から自動的に判定することができる。
【００４０】
また、本発明の実施の形態においては、ブロック毎に第１の変換手段１０２と、第２の変換手段１０３のいずれかを選択して処理を行う場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては第１の変換手段１０２または第２の変換手段１０３のいずれかのみを用いて符号化処理をしても良い。これは、輝度成分と比較して、色差成分は画質劣化が目につきにくい特性を有しているためであり、処理量の削減を図ることができる。
【００４１】
また、本発明の実施の形態においては、第１の変換手段１０２と、第２の変換手段１０３の２つの変換手段を用いて各ブロックを処理し、符号化効率の高い変換手段を選択する場合について説明したが、変換手段は３つ以上あっても良い。例えば、第３の変換手段として、ブロック内の領域を考慮せずにブロック全体を離散コサイン変換等の直交変換により変換する方法を用いることができる。これにより、さらに処理量は増加するが、さらに符号化効率の向上を図ることができる。
【００４２】
また、本実施の形態においては、第２の変換手段１０３では、変換基底群保持手段５０５が保持している変換基底群を用いて、変換手段５０１で変換処理を行う場合について説明したが、これは変換手段５０１での変換基底の選択頻度によって、アトム情報についての可変長符号化方法を適応的に変換させても良い。例えば、選択手段１０４が、選択手段１０４で第１の変換手段１０２と第２の変換手段１０３の生成した符号列のうち、いずれが選択されかを示す選択情報Ｌを第２の変換手段１０３に対して出力する。そして、第２の変換手段１０３では、選択情報Ｌを可変長符号化手段５０６で受け、第２の変換手段１０３の生成した符号列が選択された場合に、その符号列を生成する際に用いたアトムの変換基底番号を計数する。この動作を所定期間（例えば１フレーム期間）行い、その期間内で選択された回数が多い変換基底番号に対しては、次の期間では符号長が短くなるように符号化方法や符号化テーブルを適応的に変更する。この処理は、変換基底番号の計数を各ブロック毎に計数を行い、所定期間（例えば１フレーム分、フレーム先頭から、シーケンス先頭から）の累積値を用いて、ブロック単位で符号化方法や符号化テーブルを適応的に変更しても良い。このような処理を行うことにより、時間的に隣接したフレームや、現在のフレームで用いられた変換基底番号の分布に従って、符号化方法や符号化テーブルを適応的に変更するため、現在のフレームやブロックを符号化する際に選択される可能性が高い変換基底番号に対して、より短い符号を割り当てることができ、全体の符号量の削減を図ることができる。また、選択手段１０４で第２の変換手段１０３の生成した符号列を選択した場合にのみ、使用した変換基底番号の計数を行うので、符号列中にどのように符号化方法や符号化テーブルを変更したかを記述する必要がなく、付加情報のための符号は不要である。また、このように適応的に、可変長符号化方法や可変長符号化テーブルを変更しながら符号化した場合、定期的に可変長符号化方法や可変長符号化テーブルの再初期化を行っても良い。また、このように適応的に、可変長符号化方法や可変長符号化テーブルを変更しながら符号化したかどうかを示すフラグを符号列のヘッダ中に記述しても良い。これにより、符号列の伝送中等にエラーが発生し、符号列を途中から（例えば次のフレームの先頭から）復号化する場合に、再初期化されているフレームまでは復号化を中止し、再初期化されているフレームから復号化を再開することにより、正しく復号化処理を行うことができる。
【００４３】
また、本発明の実施の形態においては、各ブロックを第１の変換方法と第２の変換方法とを用いて符号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては一方の変換方法のみを用いて符号化処理をしても良い。これは、輝度成分と比較して、色差成分は画質劣化が目につきにくい特性を有しているためであり、色差成分は１つの変換方法のみを用いることにより、符号量は削減することができながら、画質劣化も最小限に押さえることができる。この場合の符号化装置の構成を図９に示す。図９においては、色差成分を第１の変換手段１０２により処理する場合の構成を示している。
【００４４】
（実施の形態２）
図１０は、本発明の変換復号化方法を用いた動画像復号化装置１０００のブロック図であり符号列分離手段１００１、第１の逆変換手段１００２、第２の逆変換手段１００３、合成手段１００４から構成される。
【００４５】
符号列分離手段１００１には、符号列が入力される。ここでは、実施の形態１で説明した本発明の変換符号化方法を用いた動画像符号化装置により生成された符号列が入力されるものとする。符号列は図８に示すように、ブロック毎に選択情報Ｌとそのブロックの符号列Ｓの組み合わせにより構成されているとする。符号列分離手段１００１では、選択情報Ｌを復号化することにより、そのブロックの符号列Ｓが第１の変換方法と第２の変換方法のいずれにより生成されているかを判断する。そして、そのブロックの符号列Ｓが第１の変換方法により生成されている場合には、ブロックの符号列Ｓを第１の逆変換手段１００２に対して出力する。また、そのブロックの符号列Ｓが第２の変換方法により生成されている場合には、ブロックの符号列Ｓを第２の逆変換手段１００３に対して出力する。
【００４６】
第１の逆変換手段１００２での処理について説明する。
図１１は、第１の逆変換手段１００２の構成を示すブロック図である。第１の逆変換手段１００２は、可変長復号化手段１１０１、逆量子化手段１１０２、水平方向逆変換手段１１０３、垂直方向逆変換手段１１０４、合成手段１１０５、垂直方向変換基底生成手段１１０７、水平方向変換基底生成手段１１０６とから構成される。
【００４７】
可変長復号化手段１１０１には、図７（ａ）に示すフォーマットの符号列が入力されるとする。ここではブロック２１０の符号列が入力されるとする。可変長復号化手段１１０１は、入力された符号列を、領域毎（領域２０１と領域２０３）の変換係数にして逆量子化手段１１０２に対して出力する。この際、ブロックに複数の領域の符号列が存在するか否か、また複数の領域の符号列が存在する際に、いくつの領域の符号列が存在するかは、領域情報から得ることができる。
【００４８】
逆量子化手段１１０２では、逆量子化処理が施され、逆量子化された変換係数が水平方向逆変換手段１１０３に対して出力される。ここで逆量子化とは、量子化された変換係数に量子化値を積算する処理を指す。
水平方向逆変換手段１１０３は、ブロック２１０の領域２０１と領域２０３のそれぞれの変換係数に対して、逆変換を施す。例えば、領域２０３の変換係数の場合、ブロック２１０の領域２０３の変換係数ブロックに対して（この際の係数は図４（ｃ）の斜線部の位置にある）、水平方向変換基底生成手段１１０６から入力された水平方向の変換基底（（数２）を用いて生成）を用いて、行毎に水平方向の逆変換を行い、逆変換係数ブロックを生成する。
【００４９】
垂直方向逆変換手段１１０４は、水平方向に逆変換した逆変換係数ブロックに対して、領域情報Ｒに基づいて、図４（ｂ）の状態となるように、係数を水平方向に移動させる。そして、垂直方向変換基底生成手段１１０７から入力された垂直方向の変換基底（（数１）を用いて生成）を用いて、列毎に垂直方向の逆変換を行い、２次元の逆変換係数（復号画素値）を生成する。そして最後に、領域情報Ｒに基づいて、復号画素を垂直方向に移動させ、図４（ａ）の状態とする。復号画素は合成手段１１０５に対して生成される。
【００５０】
合成手段１１０５では、ブロック内の各領域の復号画素（ブロック２１０の場合は、領域２０１と領域２０３の復号画素）を合成して、復号ブロックＤ１として出力する。
第２の逆変換手段１００３での処理について説明する。
図１２は第２の逆変換手段１００３の構成を示すブロック図であり、可変長復号化手段１２０１、逆量子化手段１２０２、逆変換手段１２０３、変換基底群保持手段１２０４からから構成される。
【００５１】
可変長復号化手段１２０１には、図７（ｂ）、図７（ｃ）または図７（ｄ）に示すフォーマットの符号列が入力されるものとする。可変長復号化手段１２０１は、入力符号列に対して可変長復号化を施す。例えば符号列が図７（ｂ）のフォーマットである場合には、各ブロックに対するアトムの個数を復号化した後、順に各アトムの情報（位置情報、変換基底番号、内積値）を復号化していく。また符号列が図７（ｃ）のフォーマットである場合には、ブロック内の各画素位置に対するアトムの個数を復号化した後、順に各アトムの情報（変換基底番号、内積値）を復号化していく。また符号列が図７（ｄ）のフォーマットである場合には、ブロック内の各画素位置に対するアトムの個数を復号化した後、順に各アトムの情報（変換基底番号、内積値）を復号化していく。この場合に、画素位置は図７（ｃ）のフォーマットの場合には１ずつ増加させていくが、図７（ｄ）のフォーマットの場合には符号列に記述されている画素数分だけ増加させていく。復号化された位置情報ｄｎ（＝（ｄｎｘ，ｄｎｙ））、変換基底番号ｋｎは逆変換手段１２０３に対して出力され、量子化された内積値ｑｎは逆量子化手段１２０２に対して出力される。
【００５２】
逆量子化手段１２０２では、量子化された内積値ｑｎに対して逆量子化処理を行う。ここで逆量子化処理とは、入力値と量子化値との積を求める処理のことを指す。逆量子化された内積値をαｎ'は、逆変換手段１２０３に対して出力される。
変換基底群保持手段１２０４では、逆変換手段１２０３で用いる変換基底群ｇｋ（ｘ，ｙ）を生成、保持する。ここで、逆変換手段１２０３ではＭＰ復号化を行うとし、ＭＰ符号化においては、双直交な基底関数が用いられる。例えば、双直交な基底関数の例としては、ガボール関数がある。
【００５３】
逆変換手段１２０３においては、ｇｋｎ'（ｘ＋ｄｎｘ，ｙ＋ｄｎｙ）×αｎ'を求め、それを累積加算し復号画像信号を生成する。ここで、変換基底ｇｋ'（ｘ，ｙ）は、変換基底群保持手段１２０４で保持された変換基底群ｇｋ（ｘ，ｙ）に対して、ブロック内でのノルム値を正規化したものである。復号画像信号は復号ブロックＤ２として出力する。
合成手段１００４は、第１の逆変換手段１００２から出力された復号ブロックＤ１と、第２の逆変換手段１００３から出力された復号ブロックＤ２とを、符号列分離手段１００１から出力された選択情報Ｌを元にして、ブロック単位で合成し、復号化画像フレームを生成し、出力する。
【００５４】
以上のように、本発明の変換復号化方法においては、領域情報を有する画像信号を符号化する際に、ブロック単位に分割し、２つの変換方法で符号化された符号列を入力とし、符号列中に記述されている変換符号化方法に基づいて、変換復号化方法（逆変換方法）をブロック単位で切り替える。第１の逆変換方法は、ブロック内の領域毎に逆直交変換を行って復号化を行い、第２の逆変換方法は、ブロック内を領域に分割せずに、双直交変換を行って復号化（ＭＰ復号化）を行う。そして、復号化されたブロックを合成して、復号化フレームを生成する。
【００５５】
したがって、本発明の変換復号化方法を用いることによって、本発明の変換符号化方法を用いて生成した符号列を正しく復号化することができる。
なお、本発明の実施の形態においては、第１の逆変換手段の変換基底として、離散コサイン変換基底を用いて説明したが、これは他の変換基底であっても良い。例えば、他の変換基底としては、離散フーリエ変換、離散サイン変換、アダマール変換等の変換基底がある。
【００５６】
また、本発明の実施の形態においては、ブロック内に存在する領域毎に変換係数が求められている場合について説明したが、これは例えばブロック内で存在する画素数が少ない領域に対しては、その領域に対する変換係数が求められていなくても良い。この場合、画素数に対するしきい値を設定しておき、ブロック内のある領域の画素数がそのしきい値以上であれば、逆変換処理を行い、しきい値未満であれば逆変換処理を施さない、とすれば良い。この場合、符号化側と復号化側とでしきい値を予め設定しておくことや、符号列中にそのしきい値を記述することにより、どのように各ブロックを処理するかは、領域情報から自動的に判定することができる。
【００５７】
また、本発明の実施の形態においては、ブロック毎に第１の逆変換手段１００２と、第２の逆変換手段１００３のいずれかを用いて処理を行う場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては第１の逆変換手段１００２または第２の逆変換手段１００３のいずれかのみを用いて復号化処理をしても良い。
また、本発明の実施の形態においては、第１の逆変換手段１００２と、第２の逆変換手段１００３の２つの逆変換手段を用いて各ブロックを処理する場合について説明したが、逆変換手段は３つ以上あっても良い。例えば、第３の逆変換手段として、ブロック内の領域を考慮せずにブロック全体を離散コサイン変換等の逆直交変換により変換する方法を用いることができる。これは、符号化側の処理と同様にすればよい。
【００５８】
また、本実施の形態においては、第２の逆変換手段１００３では、変換基底群保持手段１２０４が保持している変換基底群を用いて、逆変換手段１２０３で逆変換処理を行う場合について説明したが、これは可変長復号化手段１２０１において、符号列中の変換基底の出現頻度によって、アトム情報についての可変長復号化方法を適応的に変換させても良い。例えば、可変長復号化手段１２０１では、符号列を復号化して得られたアトムの変換基底番号を計数する。この動作を所定期間（例えば１フレーム期間）行い、その期間内で選択された回数が多い変換基底番号に対しては、次の期間では符号長が短くなるように復号化方法や復号化テーブルを適応的に変更する。この処理は、変換基底番号の計数を各ブロック毎に計数を行い、所定期間（例えば１フレーム分、フレーム先頭から、シーケンス先頭から）の累積値を用いて、ブロック単位で復号化方法や復号化テーブルを適応的に変更しても良い。また、このように適応的に、可変長復号化方法や可変長復号化テーブルを変更しながら復号化した場合、定期的に可変長復号化方法や可変長復号化テーブルの再初期化を行っても良い。また、符号化側で適応的に可変長符号化方法や可変長符号化テーブルを変更しながら符号化したかどうかを示すフラグが符号列のヘッダ中に記述されている場合、そのフラグを参照しながら可変長復号化方法や可変長復号化テーブルの再初期化を行えば良い。これにより、符号列の伝送中等にエラーが発生し、符号列を途中から（例えば次のフレームの先頭から）復号化する場合に、再初期化されているフレームまでは復号化を中止し、再初期化されているフレームから復号化を再開することにより、正しく復号化処理を行うことができる。
【００５９】
また、本発明の実施の形態においては、各ブロックを第１の逆変換方法と第２の逆変換方法とを用いて符号化する場合について説明したが、これはカラー画像信号の輝度成分についてのみ行い、色差成分に対しては一方の逆変換方法のみを用いて復号化処理をしても良い。この場合、例えば、符号列分離手段１００１において、色差成分の符号列を第１の逆変換手段１００２に対して常に出力するようにすれば良い。
【００６０】
（実施の形態３）
さらに、上記各実施の形態で示した変換符号化方法および変換復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００６１】
図１３は、上記各実施の形態の変換符号化方法および変換復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１３(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１３(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００６２】
また、図１３(c)は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。変換符号化方法および変換復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより変換符号化方法および変換復号化方法を実現する上記変換符号化方法および変換復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６３】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６４】
（実施の形態４）
さらにここで、上記実施の形態で示した変換符号化方法および変換復号化方法の応用例とそれを用いたシステムを説明する。
【００６５】
図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６６】
しかし、コンテンツ供給システムex１００は図１４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００６７】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６８】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６９】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１５は、上記実施の形態で説明した変換符号化方法および変換復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００７０】
さらに、携帯電話ex１１５について図１６を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００７１】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００７２】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００７３】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７４】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００７５】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７６】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７７】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００７８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは  基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【００８０】
なお、カーナビゲーションex４１３の構成は例えば図１６に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００８１】
このように、上記実施の形態で示した変換符号化方法および変換復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【００８２】
本発明にかかる変換符号化方法および変換復号化方法は、領域情報を有する画像信号を符号化する際に、ブロック単位に分割し、２つの変換方法で符号化を行い、ブロック毎に符号化効率が高くなる方を選択することにより、符号化効率の向上を図ることができるという効果を有し、蓄積、伝送、通信等における変換符号化方法および変換復号化方法として有用である。
【図面の簡単な説明】
【００８３】
【図１】本発明の変換符号化方法を用いた変換符号化装置の構成を示すブロック図（実施の形態１）である。
【図２】本発明の変換符号化方法を説明するための画像信号と領域情報を示す模式図（実施の形態１）である。
【図３】本発明の変換符号化装置における第１の変換手段の構成を示すブロック図（実施の形態１）である。
【図４】本発明の変換符号化装置における第１の変換手段の動作を説明するための模式図（実施の形態１）である。
【図５】本発明の変換符号化装置における第２の変換手段の構成を示すブロック図（実施の形態１）である。
【図６】本発明の変換符号化装置における第２の変換手段の動作を示すフローチャート（実施の形態１）である。
【図７】本発明の変換符号化装置により生成した符号列の構成例を示す模式図（実施の形態１）である。
【図８】本発明の変換符号化装置により生成した符号列の構成例を示す模式図（実施の形態１）である。
【図９】本発明の変換符号化方法を用いた変換符号化装置の一変形例を示すブロック図（実施の形態１）である。
【図１０】本発明の変換復号化方法を用いた変換復号化装置の構成を示すブロック図（実施の形態２）である。
【図１１】本発明の変換復号化装置における第１の逆変換手段の構成を示すブロック図（実施の形態２）である。
【図１２】本発明の変換復号化装置における第２の逆変換手段の構成を示すブロック図（実施の形態２）である。
【図１３】上記各実施の形態の変換符号化方法および変換復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３）である。
【図１４】コンテンツ供給システムの全体構成を示すブロック図（実施の形態４）である。
【図１５】変換符号化方法および変換復号化方法を用いた携帯電話の例（実施の形態４）である。
【図１６】携帯電話のブロック図（実施の形態４）である。
【図１７】ディジタル放送用システムの例（実施の形態４）である。
【符号の説明】
【００８４】
１０１  分離手段
１０２  第１の変換手段
１０３  第２の変換手段
１０４  選択手段
１０５  符号列生成手段
１００１  符号列分離手段
１００２  第１の逆変換手段
１００３  第２の逆変換手段
１００４  合成手段
Ｃｓ  コンピュータ・システム
ＦＤ  フレキシブルディスク
ＦＤＤ  フレキシブルディスクドライブ
【図１】
2005167655.tif 000005
【図２】
2005167655.tif 000006
【図３】
2005167655.tif 000007
【図４】
2005167655.tif 000008
【図５】
2005167655.tif 000009
【図６】
2005167655.tif 000010
【図７】
2005167655.tif 000011
【図８】
2005167655.tif 000012
【図９】
2005167655.tif 000013
【図１０】
2005167655.tif 000014
【図１１】
2005167655.tif 000015
【図１２】
2005167655.tif 000016
【図１３】
2005167655.tif 000017
【図１４】
2005167655.tif 000018
【図１５】
2005167655.tif 000019
【図１６】
2005167655.tif 000020
【図１７】
2005167655.tif 000021