(57)【特許請求の範囲】
【請求項１】
動画像を複数のブロックに分割し、この分割したブロックを直交変換すると共に、この直交変換により得られた変換係数領域での動き補償予測を行って得た動き補償予測値を符号化することにより動画像の符号化を行うようにした動き補償予測＋変換符号化装置において、
Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置であって、Ｎ×Ｎ個の変換係数を用いて第ｍ−１階層を符号化する手段と、
Ｎ×Ｎ個の変換係数を有する第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値とＮ×Ｎ変換係数を有する前記第ｍ−１階層の動き補償予測値とを変換係数毎に切り換えることにより、前記第ｍ階層の予測値を求めるための、前記第ｍ−１階層における量子化器の出力が０である場合には前記第ｍ階層の動き補償予測値を、前記第ｍ−１階層における量子化器の出力が１以上である場合には前記第ｍ−１階層の動き補償予測値を入力画像信号との差分を求めるために変換係数毎に出力する、切り換え手段と、
前記第ｍ階層の動き補償予測誤差信号と前記第ｍ−１階層の逆量子化器の出力との差分信号を求める手段と、
符号化ビットストリームを生成するために上記差分信号を量子化した信号を符号化する手段と、
を具備し、前記第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリックスを、前記第ｍ−１階層における量子化器の出力が０となる変換係数のとき、前記ｍ−１階層の量子化マトリックスの値に書き換え、第ｍ−１階層における量子化器の出力が１以上となる変換係数のとき書き換えない手段を設けることを特徴とする動画像符号化装置。
【請求項２】
前記第ｍ階層（ｍ＝２〜Ｍ）における２次元直交変換係数の量子化値を１次元系列に並べ変える際に、前記第ｍ−１階層における量子化器の出力が０となる変換係数よりも、前記第ｍ−１階層における量子化器の出力が１以上となる変換係数を先に並べる手段を有することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記動画像の背景とオブジェクトを識別するためのアルファマップ信号を符号化する手段と、このアルファマップ信号に従って前記オブジェクトの任意形状画像を変換係数に変換する手段と、前記アルファマップ信号に従って上記変換係数を逆変換することにより、任意形状画像を再生する手段を有し、前記動き補償に際して、前記アルファマップ信号を用いて前記第ｍ階層および第ｍ−１階層における注目領域部分の画像の動き補償予測を行うことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
請求項１記載の画像符号化装置により得られる前記符号化ビットストリームから、前記第ｍ階層（ｍ＝２〜Ｍ）までの符号を取り出す手段と、
前記第ｍ階層までの各階層の符号を復号化する手段と、
前記復号化手段により復号された量子化値を各階層において逆量子化する手段と、
前記第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と前記第ｍ−１階層の動き補償予測値とを変換係数毎に切り換えることにより、前記第ｍ階層の予測値を求めるための、前記第ｍ−１階層における量子化器の出力が０である場合には前記第ｍ階層の動き補償予測値を、前記第ｍ−１階層における量子化器の出力が１以上である場合には前記第ｍ−１階層の動き補償予測値を前記逆量子化する手段の出力と加算するために変換係数毎に出力する切り換え手段と、
前記第ｍ階層での動き補償予測値と前記第ｍ−１階層での動き補償予測値とを加算することで前記第ｍ階層の動き補償予測誤差信号を再生する手段を有し、前記第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、前記第ｍ−１階層における量子化値が０となる変換係数のとき、前記ｍ−１階層の量子化マトリックスの値に書き換え、前記第ｍ−１階層における量子化値が１以上となる変換係数のとき書き換えない手段を設けることを特徴とする動画像復号化装置。
【請求項５】
前記動画像の背景とオブジェクトを識別するためのアルファマップ信号を復号化する手段と、
前記アルファマップ信号に従って変換係数に変換された任意形状画像を逆変換することにより、任意形状画像を再生する手段を有し、前記動き補償に際して、前記アルファマップ信号を用いて前記第ｍ階層および第ｍ−１階層における注目領域部分の画像の動き補償予測を行うことを特徴とする請求項４に記載の動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号を高能率に符号化し伝送・蓄積する、画像符号化・復号化装置、特に、多階層に解像度や画質を可変可能なスケーラブル符号化の可能なスケーラビリティ機能を有する動画像符号化・復号化装置に関する。
【０００２】
【従来の技術】
画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位でブロック分けし、その各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。
【０００３】
ところで、画像符号化の機能として、ビットストリームを部分的に復号することで、画質（ＳＮＲ； Signal to Noise Ratio）、空間解像度、時間解像度を段階的に可変とすることを可能にするスケーラビリティの機能が要求されている。
【０００４】
ＩＳＯ／ＩＥＣにおいて標準化されたメディア統合系動画像符号化標準であるＭＰＥＧ２のビデオパート（ＩＳ１３８１８‐２）にも、スケーラビリティの機能が取り入れられている。
【０００５】
このスケーラビリティは、図１６、図１７に示されるような階層的な符号化法により実現される。図１６は、ＳＮＲスケーラビリティの場合でのエンコーダ（符号化装置）の構成例とデコーダ（復号化装置）の構成例を、また、図１７は、空間スケーラビリティの場合でのエンコーダの構成例とデコーダの構成例をそれぞれ示したものである。
【０００６】
図１６、図１７において、Ｄは遅延手段であって、ベースレイヤ（下位階層）からの予測値が得られるまでの遅延を与えるためのものであり、ＤＣＴは離散コサイン変換（直交変換）を行う手段、Ｑは量子化を行う量子化器、ＩＱは逆量子化を行う逆量子化器、ＩＤＣＴは逆ＤＣＴを行う手段、ＦＭはフレームメモリ、ＭＣは動き補償予測を行う手段、ＶＬＣは可変長符号化を行う手段、ＶＬＤは可変長復号化を行う手段、ＤＳはダウンサンプリングする手段、ＵＳはアップサンプリングを行う手段、ｗは重み付けパラメータ（０，０．５，１）をそれぞれ示している。
【０００７】
図１６の（ａ）は符号化のためのエンコーダを、そして、図１６の（ｂ）はデコーダの構成例を示している。エンコーダにおいては、画質の低いレイヤであるベースレイヤ（下位階層）と、画質の高いレイヤであるエンハンスメントレイヤ（上位階層）に別れている。
【０００８】
そして、ベースレイヤではＭＰＥＧ１あるいはＭＰＥＧ２で符号化され、エンハンスメントレイヤでは、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化する。すなわち、より細かく量子化して符号化する。そして、ベースレイヤ情報にエンハンスメントレイヤの情報を加えることで、精細さを向上させることができ、高画質の画像の伝送・蓄積が可能になる。
【０００９】
このように画像をベースレイヤとエンハンスメントレイヤに分け、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化することで、高精細な画像の符号化／復号化できるようにする技術をＳＮＲスケーラビリティという。
【００１０】
図１６の（ａ）のエンコーダでは、入力画像をベースレイヤとエンハンスメントレイヤにそれぞれ入力し、ベースレイヤではこれを前フレームの画像から得た動き補償予測値との誤差分を得る処理をした後に直交変換（ＤＣＴ）し、その変換係数を量子化して可変長復号化し、ベースレイヤ出力とする。また、量子化出力は、逆量子化した後、逆ＤＣＴし、これに前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、前フレームの動き補償予測値とする。
【００１１】
一方、エンハンスメントレイヤでは入力画像を、ベースレイヤからの予測値が得られるまでの遅延を与えたのちに、前フレームの画像から得たエンハンスメントレイヤでの動き補償予測値との誤差分を得る処理をし、その後に直交変換し（ＤＣＴ）、その変換係数にベースレイヤの逆量子化出力分の補正を加えてからこれを量子化して可変長復号化し、エンハンスメントレイヤ出力とする。また、量子化出力は、逆量子化した後、ベースレイヤにて得た前フレームの動き補償予測値を加えて逆ＤＣＴし、これにエンハンスメントレイヤで得た前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、エンハンスメントレイヤでの前フレームの動き補償予測値とする。
【００１２】
これにより、ＳＮＲスケーラビリティを使用した動画像の符号化を行うことができる。
【００１３】
図１６のＳＮＲスケーラビリティは、図では２階層で表現しているが、更に階層数を増やすことで、様々なＳＮＲの再生画像が得られる。
【００１４】
図１６の（ｂ）に示すデコーダでは、それぞれ別個に与えられるエンハンスメントレイヤとベースレイヤの可変長復号化データを、それぞれ別個に可変長復号化し、逆量子化してから両者を加え、これを逆ＤＣＴした後、前フレームの動き補償予測値を加えて画像信号を復元すると共に、復元した画像信号から得た１フレーム前の画像から動き補償予測を行い、前フレームの動き補償予測値とする。
【００１５】
以上が、ＳＮＲスケーラビリティを採用した符号化と復号化の例である。
【００１６】
一方、空間スケーラビリティは、空間解像度からみたものであり、空間解像度の低いベースレイヤと空間解像度の高いエンハンスレイヤに分けて符号化する。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使用して符号化し、エンハンスレイヤではベースレイヤの画像をアップサンプリング（低解像度画像の画素間に平均値等の画素を付加し、高解像度画像を作成すること）してエンハンスレイヤと同じサイズの画像を作成し、エンハンスレイヤの画像からの動き補償予測と、このアップサンプリングされた画像からの動き補償予測とから適応的に予測をすることで、効率の良い符号化をすることができるようにするものであり、エンコーダの構成例は図１７の（ａ）の如きであり、デコーダの構成例は図１７の（ｂ）の如きで実現できるものである。
【００１７】
図１７の空間スケーラビリティは、例えば、ＭＰＥＧ２のビットストリームの一部を取り出すとＭＰＥＧ１でデコードすることができるという後方互換性を実現するために存在しており、様々な解像度の画像を再生することができるようにする機能ではない（参考文献：”特集  ＭＰＥＧ”テレビ誌，Vol.49,No.4,pp.458-463,1995 ）。
【００１８】
すなわち、ＭＰＥＧ２における動画像の符号化技術においては、高画質の画像の高能率符号化と高画質再生を目指しており、符号化した画像に忠実な画像が再現できるようにしている。
【００１９】
しかしながら、マルチメディアの普及に伴い、再生側のシステムでは、高能率符号化された高画質画像のデータをフルデコードすることができる再生装置の要求の他、携帯用のシステムなどのように、画質はともかくとして画面が再生できれば良いような用途や、システム価格を抑制するために、簡易型とするシステムの要求などがある。
【００２０】
このような要求に応えるためには、例えば、画像を８×８画素のマトリックスにブロック分けし、各ブロック単位でＤＣＴを行った場合に、８×８の変換係数が得られるわけであるから、本来ならば第１低周波項から第８低周波項までの分を復号化しなければならないところを、第１低周波項から第４低周波項までの分を復号化したり、第１低周波項から第６低周波項までの分を復号化したりといった具合に、再生は８×８ではなく、４×４とか、６×６の情報で復元するといったように簡素化することで対応できることになる。
【００２１】
しかし、本来、８×８であるものを４×４とか、６×６の情報で復元すると、動き補償予測値都のミスマッチが生じ、誤差が累積するため、画像が著しく劣化する。このような符号化側と復号化側とのミスマッチを如何に克服するかが大きな課題となる。
【００２２】
なお、標準化はされてはいないが、符号化側と復号化側との空間解像度の違いに対処すべく、空間解像度を変換する方法として直交変換（例えばＤＣＴ（離散コサイン変換））係数の一部を、元の次数よりも小さな次数で逆変換することにより、空間解像度を可変にする方法もある。
【００２３】
しかし、解像度変換された画像で動き補償予測を行う際に、動き補償予測に起因したドリフトと呼ばれる画質劣化が再生画像に発生してしまう（参考文献：岩橋他、“スケーラブル・デコーダにおけるドリフト低減のための動き補償”、信学技報ＩＥ９４−９７，１９９４）。
【００２４】
従って、符号化側と復号化側とのミスマッチ克服のための技術としては問題がある。
【００２５】
一方、図１７の空間スケーラビリティは、例えば、ＭＰＥＧ２のビットストリームの一部を取り出すとＭＰＥＧ１でデコードすることができるという後方互換性を実現するために存在しており、様々な解像度の画像を再生する機能ではない（参考文献：”特集  ＭＰＥＧ”テレビ誌，Vol.49,No.4,pp.458-463,1995 ）。このように、スケーラビリティ機能を実現するために階層的な符号化が行なわれるため、情報が分割されて符号化され、符号化効率の低下が発生する。
【００２６】
また、J.Y.A.Wang et.al."Applying Mid-level Vision Techniques for Video Data Compression and Manipulation",M.I.T.MediaLab.Tech.Report No.263,Feb.1994，において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。
【００２７】
この方式では、図１８のように背景と被写体（以後、オブジェクトと呼ぶ）を分けて符号化している。このように、背景（ｃ）やオブジェクト（ｂ）を別々に符号化するために、オブジェクトの形状や画面内の位置を表すアルファマップ信号（図１８（ｄ）白画素がオブジェクトの画素を示す）が必要となる。なお、背景のアルファマップ信号（ｅ）は、オブジェクトのアルファマップ信号から一意に求められる。
【００２８】
このような符号化法では、任意形状の画像を符号化する必要がある。任意形状画像の符号化法としては、先に出願した特願平７‐９７０７３号に記載の任意形状画像信号の直交変換法がある。図１９は、任意形状画像を正方ブロックで等分割した際に、形状の境界部を含むエッジブロックに対する変換手段を図示したものである。
【００２９】
図１９に示すように、入力されたエッジブロック信号の中で、まず、斜線で示されるコンテントの内部に含まれる画素の値を分離回路（ＳＥＰ）で分離し、その平均値ａを平均値計算回路（ＡＶＥ）にて求める。
【００３０】
次に、セレクタ（ＳＥＬ）において、アルファマップ（alpha-map ）が斜線部の画素を示す場合には、ブロックメモリ（ＭＥＭ）に蓄積された斜線部の画素値を、その他の画素を示す場合には、平均値ａを出力する。このように処理されたブロックの信号を２次元ＤＣＴすることで、斜線部の画素に対する変換係数を求める。
【００３１】
一方、逆変換は、この変換係数を逆ＤＣＴして得られるブロック内の画素値の中から、斜線部の画素値を分離することで実現される。
【００３２】
【発明が解決しようとする課題】
このように、動画像の符号化において、多階層に分割することが可能なスケーラブル符号化法では、符号化効率が大幅に低下するおそれがあった。また、背景とオブジェクトを分離して符号化する任意形状画像の符号化装置においても解像度と画質を可変とすることが可能なスケーラブル符号化が必要となる。また、任意形状画像の動き補償予測符号化の効率を改善する必要がある。
【００３３】
また、ミッドレベル符号化法においては、図１９に示したように、単純に、オブジェクトの内部の平均値を背景部に均一に配置する方法は、少ない演算で実現できるというメリットがある。しかし、反面、オブジェクトと背景の境界に画素値の段差が生じることがあり、その場合に、ＤＣＴを施すと、高周波数成分が多く発生するため、符号量が少なくならないという不具合がある。
【００３４】
そこで、この発明の目的とするところは、第１には、動画像の符号化において、多階層に分割することが可能なスケーラブル符号化法での符号化効率の向上を図ることができるようにした符号化装置および復号化装置を提供することにある。
【００３５】
また、この発明の目的とするところは、第２には、背景とオブジェクトを分離して符号化する任意形状画像の符号化装置において、解像度と画質を可変とすることを可能に、しかも、符号化効率の良いスケーラブル符号化装置および復号化装置を提供することにある。するスケーラブル符号化装置および復号化装置を提供することにある。
【００３６】
また、この発明の目的とするところは、第３には、任意形状画像の動き補償予測符号化の効率を改善することにある。
【００３７】
また、この発明の目的とするところは、第４には、オブジェクトの内部の平均値を背景部に均一に配置する方法を採用した場合において、オブジェクトと背景の境界に画素値の段差が生じても、ＤＣＴを施した際に、高周波数成分が多く発生することによる符号量が少なくならないという欠点を改善することにある。
【００３８】
【課題を解決するための手段】
本発明は、上記第１の目的を達成するため、
第１には、変換係数領域での動き補償予測が用られる動き補償予測＋変換符号化装置において、
Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置であって、
第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階層の動き補償予測値とを変換係数毎に切り換えることにより、第ｍ階層の予測値を求めるための、第ｍ−１階層における量子化器の出力が０である場合には第ｍ階層の動き補償予測値を第ｍ−１階層における量子化器の出力が１以上である場合には第ｍ−１階層の動き補償予測値を変換係数毎に出力する切り換え手段と、
第ｍ階層の動き補償予測誤差信号と第ｍ−１階層の逆量子化器の出力との差分信号を求める手段と、前記差分信号を量子化した信号を符号化した後、蓄積および伝送する手段とを設けて動画像符号化装置を構成する。
【００３９】
また、本発明は第２には、上記第１の目的を達成するため、前記第１の構成の符号化装置で符号化された符号化ビットストリームから、第ｍ階層（ｍ＝２〜Ｍ）までの符号を取り出す手段と、
第ｍ階層までの各階層の符号を復号化する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階層の動き補償予測値とを変換係数毎に切り換えることにより、第ｍ階層の予測値を求めるための、第ｍ−１階層における量子化器の出力が０である場合には第ｍ階層の動き補償予測値を第ｍ−１階層における量子化器の出力が１以上である場合には第ｍ−１階層の動き補償予測値を変換係数毎に出力する切り換え手段と、第ｍ階層の逆量子化器の出力と第ｍ−１階層の逆量子化器の出力とを加算することで第ｍ階層の動き補償予測誤差信号を再生する手段を設けて動画像復号化装置を構成する。
【００４０】
また、本発明は第３には、前記第１の目的を達成するため、
前記第１の構成の動画像符号化装置であって、
第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、第ｍ−１階層における量子化器の出力が０となる変換係数と、第ｍ−１階層における量子化器の出力が１以上となる変換係数とで切り換える手段を有する構成とすることを特徴とする。
【００４１】
また、本発明は第４には、上記第１の目的を達成するため、
前記第２の構成の画像復号化装置であって、
第ｍ階層（ｍ＝２〜Ｍ）の量子化マトリクスを、第ｍ−１階層における量子化値が０となる変換係数と、第ｍ−１階層における量子化値が１以上となる変換係数とで切り換える手段を有する構成とすることを特徴とする。
【００４２】
また、本発明は第５には、上記第１の目的を達成するため、
前記第１あるいは前記第３の構成の動画像符号化装置であって、
第ｍ階層（ｍ＝２〜Ｍ）における２次元直交変換係数の量子化値を１次元系列に並べ変える際に、第ｍ−１階層における量子化器の出力が０となる変換係数よりも、第ｍ−１階層における量子化器の出力が１以上となる変換係数を先に並べる並べ換え手段を有する構成とする。
【００４３】
また、本発明は第６には、上記第１の目的を達成するため、
前記第２あるいは前記第４の構成の動画像復号化装置であって、
前記第５の構成における並べ換え手段により１次元系列に並べ換えられた第ｍ階層（ｍ＝２〜Ｍ）における２次元直交変換係数の量子化値を、もとの２次元系列に並べ換える第２の並べ換え手段を設けて構成する。
【００４４】
また、本発明は第７には、上記第２の目的を達成するため、
前記第１または前記第３または前記第５の構成の動画像符号化装置において、
入力画像の背景とオブジェクトを識別するためのアルファマップ信号を用い、このアルファマップ信号を符号化する手段と、前記アルファマップ信号にしたがって任意形状画像を変換係数に変換する手段と、前記アルファマップ信号にしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を設けた構成とする。
【００４５】
また、本発明は第８には、前記第２の目的を達成するため、
前記第２または前記第４または前記第６の構成の画像復号化装置において、
入力画像の背景とオブジェクトを識別するためのアルファマップ信号を用い、このアルファマップ信号にしたがって変換係数に変換された任意形状画像を逆変換することにより、任意形状画像を再生する手段を設ける構成とする。
【００４６】
また、本発明は第９には、上記第２の目的を達成するため、
入力画像の背景と１つ以上のオブジェクトを識別するためのアルファマップ信号を用い、このアルファマップ信号を符号化する手段と、アルファマップにしたがって任意形状画像を変換係数に変換する手段と、アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を有する、動き補償予測を用いた動画像符号化装置において、
背景および各オブジェクトに対して、各々に対応するフレームメモリを有する構成とする。
【００４７】
また、本発明は第１０には、上記第２の目的を達成するため、
符号化されて与えられた入力画像の背景と１つ以上のオブジェクトを識別するためのアルファマップ信号を復号化する手段と、再生されたアルファマップにしたがって任意形状画像を変換係数に変換する手段と、再生されたアルファマップにしたがって変換係数に変換された任意形状画像を逆変換することにより、任意形状画像を再生する手段を有する、動き補償予測を用いた動画像復号化装置において、
背景および各オブジェクトに対して、各々に対応するフレームメモリを有する構成とする。
【００４８】
また、本発明は第１１には、上記第３の目的を達成するため、
入力画像の背景と１つ以上のオブジェクトを識別するためのアルファマップ信号を用い、このアルファマップ信号にしたがって、任意形状画像を動き補償予測を用いて符号化する動画像符号化装置において、
複数のオブジェクトあるいは背景を含むブロックでは、各オブジェクトおよび背景毎に動きベクトルを検出する手段を有し、
複数のオブジェクトあるいは背景を含むブロックにおいては、１つのオブジェクトあるいは背景を含むブロックよりも、動きベクトルの検出範囲を狭くすることを特徴とする動きベクトル検出回路を設けて動画像符号化装置を構成する。
【００４９】
また、本発明は第１１には、上記第４の目的を達成するため、画像の背景とオブジェクトを識別するためのアルファマップの符号と、画像を所要画素数単位で区分して構成されるブロックの直交変換係数を入力とする動画像復号装置において、
上記アルファマップ信号を符号化して出力する手段と、上記ブロック毎に上記アルファマップを用いてオブジェクト部分の平均値を求める手段と、上記ブロックの背景部分に上記平均値を配置する手段と、オブジェクト内の画素について背景の近くか否かを上記アルファマップ信号を用いて判定する手段と、背景の近くであると判定されたオブジェクト内の画素については、上記平均値を中心に縮小処理する手段と、各ブロックを直交変換して直交変換係数を出力する手段とを設けて動画像符号化装置を構成する。
【００５０】
さらには、画像の背景とオブジェクトを識別するためのアルファマップの符号と、画像を所要画素数単位で区分して構成されるブロックの直交変換係数を入力とする動画像復号装置において、
上記アルファマップの符号からアルファマップ信号を復号する手段と、上記直交変換係数からブロックを復号する手段と、オブジェクト部分の平均値を求める手段と、オブジェクト内の画素について背景の近くか否かを上記アルファマップ信号を用いて判定する手段と、この判定手段により背景の近くであると判定されたオブジェクト内の画素については、上記平均値を中心に拡大する手段とを設けて動画像復号装置を構成する。
【００５１】
【発明の実施の形態】
本発明では、Ｎ×Ｎ個の変換係数毎に変換係数の領域で、動き補償を行う際に、既に復号済みの下位階層（ベースレイヤ）の量子化値に基づいて上位階層（エンハンスメントレイヤ）の符号化を行うようにし、これにより、符号化効率の低下の少ない符号化を可能にする符号化方式を実現するようにする。
【００５２】
また、本発明では上記符号化装置において、任意形状の画像領域を示すアルファマップ信号にしたがって、その任意形状の画像領域に対して直交変換を施すことができるようにしたことにより、任意形状画像について、画質を可変とした再生画像が得られるようにする。
【００５３】
また、本発明では背景と１つ以上のオブジェクトに対して、各々フレームメモリを用意し、背景あるいは各オブジェクト毎に動き補償予測を行うようにすることで、オブジェクトの重なりにより隠ぺいされる部分の予測効率を改善することができるようにする。
【００５４】
また、オブジェクト境界部での動きベクトル検出の範囲を小さくすることで、動き補償予測符号化の効率を向上させることを可能にする。
【００５５】
以下、図面を参照して本発明の具体例を説明する。
【００５６】
本発明は、図１５の画像伝送システムにおける送受信装置（図１５のＡ，Ｂ）内の、画像符号化・復号化装置に関するものである。
【００５７】
（第１の具体例）
図１、図２および図３、図４を用いて、本発明の第１の具体例を説明する。本具体例は、全体でＭ階層のＳＮＲスケーラビリティを実現する符号化装置および復号化装置であり、第ｍ階層での動き補償予測信号を、第ｍ−１階層の動き補償予測信号と第ｍ階層の動き補償予測信号とを変換係数毎に適応的に切り換えることで、第ｍ階層の符号化効率を向上させるものである。図面では、ベースレイヤが第ｍ−１階層に対応し、エンハンスメントレイヤが第ｍ階層に対応している。
【００５８】
《符号化装置の構成》
初めに符号化装置から説明する。図１は、本発明の符号化装置のブロック図である。
【００５９】
図において、１００はＤＣＴ回路、１１０および１１１は差分回路、１２０は差分回路、１３０は量子化回路、１４０は可変長符号化回路、１５０は多重化回路、１６０は出力バッファである。
【００６０】
また、１７０は逆量子化回路、１８０および１９０は加算回路、２００は動き補償予測装置、３００はセレクタ、４００は符号化制御回路である。
【００６１】
また、２０１は動き補償予測装置、１３１は量子化回路、１４１は可変長符号化回路、１７１は逆量子化回路、２００はエンハンスメントレイヤの動き補償予測装置、４１０は符号化制御回路、５００は動きベクトル検出回路、１５１は多重化回路、１６１は出力バッファ、１９１は加算回路である。
【００６２】
前記ＤＣＴ回路１００は、入力された画像信号１０を直交変換（ＤＣＴ）して周波数成分別の変換係数を得るものであり、差分回路１１０はこのＤＣＴ回路１００からの変換係数とセレクタ３００を介して選択的に与えられるエンハンスレイヤの動き補償予測装置２００の出力（ＥMC）またはベースレイヤの動き補償予測装置２０１の出力（ＢMC）との差を求めるものであり、差分回路１２０はこの差分回路１１０の出力と、逆量子化回路１７１の出力との差を求めるものである。
【００６３】
また、量子化回路１３０はこの差分回路１２０の出力を、符号化制御回路４００から与えられる量子化スケールに従って量子化するものであり、可変長符号化回路１４０はこの量子化回路１３０の量子化出力と符号化制御回路４００から与えられる量子化スケールなどのサイド情報を、可変長符号化する回路である。
【００６４】
また、多重化回路１５０はこの可変長符号化回路１４０から与えられる量子化出力の可変長符号とサイド情報の可変長符号とを多重化する回路であり、出力バッファ１６０はこの多重化回路１５０で多重化されたデータストリームを一時保持して出力するものである。
【００６５】
符号化制御回路４００はバッファ１６０から与えられるバッファ空き情報に基づいて、最適な量子化スケールＱ*scaleの情報を出力すると共に、この量子化スケールＱ*scaleの情報はサイドインフォメーションとして可変長符号化回路１４０にも与えて量子化回路１３０による量子化の実施と可変長符号化回路１４０による可変長符号化処理の実施制御をするものである。
【００６６】
逆量子化回路１７０は量子化回路１３０からの量子化出力を受けてこれを逆量子化して出力するものであり、加算回路１８０はこの逆量子化回路１７０の出力と逆量子化回路１７１からの出力とを加算する回路であり、加算回路１９０は加算回路１８０の出力とセレクタ３００により選択されて出力される補償予測値を加算する回路である。
【００６７】
動き補償予測装置２００は、加算回路１８０の出力と動きベクトル検出回路５００にて検出された動きベクトルとから、エンハンスメントレイヤでの動き補償予測値を求める回路であり、セレクタ３００はこの動き補償予測装置２００の求めた動き補償予測値と、動き補償予測装置２０１の求めた動き補償予測値とを受け、２値化回路３１０の出力対応にこれら両動き補償予測値の一方を選択して出力するものである。
【００６８】
以上の構成のうち、差分回路１１０、差分回路１２０、量子化回路１３０、可変長符号化回路１４０、多重化回路１５０、出力バッファ１６０、逆量子化回路１７０、加算回路１８０、加算回路１９０、動き補償予測装置２００、セレクタ３００、符号化制御回路４００によりエンハンスメントレイヤが構成される。
【００６９】
前記動きベクトル検出回路５００は、前記ＤＣＴ回路１００に入力される画像信号１０と同じ画像信号を入力として受け、この画像信号より動きベクトルを検出する回路であり、動き補償予測装置２０１は動きベクトル検出回路５００より供給される動きベクトルと加算回路１９１からの加算出力とを元に、動き補償予測を行ってＤＣＴ係数に変換された動き補償予測値（ＢMC）を得る装置である。
【００７０】
差分回路１１１は前記ＤＣＴ回路１００から出力される変換係数と動き補償予測装置２０１から出力される動き補償予測値（ＢMC）との差を求める回路であり、量子化回路１３１はこの差分回路１１１の出力を、符号化制御回路４１０の指示する量子化スケールで量子化する回路である。
【００７１】
そして、２値化回路３１０は、この量子化回路１３１の出力する量子化値が“０”であるか否かを判定して、“０”ならば“０”を、“０”でなければ“１”を出力する回路であり、逆量子化回路１７１は符号化制御回路４１０の指示する量子化スケールで逆量子化する回路であり、加算回路１９１はこの逆量子化回路１７１の出力と動き補償予測装置２０１の出力とを加算して動き補償予測装置２０１に与える回路である。
【００７２】
また、可変長符号化回路１４１は量子化回路１３１の量子化出力と符号化制御回路４０１から与えられる量子化スケールなどのサイド情報を、可変長符号化する回路であり、多重化回路１５１はこの可変長符号化回路１４１から与えられる量子化出力の可変長符号とサイド情報の可変長符号とを多重化する回路であり、出力バッファ１６１はこの多重化回路１５１で多重化されたデータストリームを一時保持して出力するものである。
【００７３】
符号化制御回路４１０はバッファ１６１から与えられるバッファ空き情報に基づいて、最適な量子化スケールＱ*scaleの情報を出力すると共に、この量子化スケールＱ*scaleの情報はサイドインフォメーションとして可変長符号化回路１４１にも与えて量子化回路１３１による量子化の実施と可変長符号化回路１４１による可変長符号化処理の実施を制御するものである。
【００７４】
なお、これら差分回路１１１、量子化回路１３１、可変長符号化回路１４１、多重化回路１５１、出力バッファ１６１、逆量子化回路１７１、加算回路１９１、動き補償予測装置２０１、２値化回路３１０、符号化制御回路４１０、動きベクトル検出回路５００により、ベースレイヤが構成される。
【００７５】
このような構成の本装置はつぎのように動作する。
【００７６】
入力される画像信号１０はＤＣＴ回路１００と動きベクトル検出回路５００とに供給される。動きベクトル検出回路５００ではこの画像信号１０より動きベクトルを検出して動き補償予測装置２００，２０１および可変長符号化回路１４１に与える。
【００７７】
一方、ＤＣＴ回路１００に入力された画像信号１０は、このＤＣＴ回路１００において、Ｎ×Ｎ画素のサイズのブロックに分割されて、Ｎ×Ｎ画素毎に直交変換処理されることにより、それぞれのブロックについて、Ｎ×Ｎ個の変換係数が求められる。この変換係数は画像の空間周波数成分を直流成分から各交流成分までの各成分別に分離したＮ×Ｎ個の変換係数である。
【００７８】
ＤＣＴ回路１００により得られたこのＮ×Ｎ個の変換係数は、エンハンスメントレイヤの差分回路１１０およびベースレイヤの差分回路１１１に供給される。
【００７９】
ベースレイヤでは、この変換係数は差分回路１１１において、動き補償予測装置２０１より供給される、ＤＣＴ係数に変換された動き補償予測値（ＢMC）との差が求められることにより、予測誤差信号を得る。そして、この予測誤差信号は量子化回路１３１に供給される
量子化回路１３１では、この予測誤差信号は、符号化制御回路４１０より供給される量子化スケール（Ｑ*scale）で量子化された後、可変長符号化回路１４１および逆量子化回路１７１に供給される。
【００８０】
可変長符号化回路１４１では、この量子化された予測誤差信号を、符号化制御回路４１０より供給される量子化サイズ等のサイドインフォメーション情報や動きベクトル検出回路５００より供給される動きベクトルの情報をそれぞれ可変長符号化する。そして、この可変長符号化した出力は多重化回路１５１に与えてここで多重化した後、出力バッファ１６１に供給する。出力バッファ１６１では、この多重化された信号を符号化ビットストリーム２１として伝送路あるいは蓄積媒体に出力する。また、出力バッファ１６１はバッファの内容量を符号化制御回路４１０にフィードバックする。
【００８１】
符号化制御回路４１０はこのバッファの内容量情報に応じて、量子化回路１３１の出力を制御すると共に、量子化スケールＱ*scaleを出力して量子化回路１３１に与える。また、この量子化スケールＱ*scaleの情報はサイドインフォメーションとして可変長符号化回路１４１にも与える。
【００８２】
符号化制御回路４１０が、前記バッファの内容量情報に応じて、量子化回路１３１の出力を制御することにより、出力バッファ１６１が溢れないように、量子化スケールを制御しながら量子化を進めることができるようになる。
【００８３】
そして、量子化スケールＱ*scaleの情報はサイドインフォメーションとして可変長符号化回路１４１において可変長符号化され、多重化回路１５１で多重化して画像符号化装置出力とすることで、画像復号化装置側で復号化回路する際の逆量子化に使用する量子化スケールを得ることができるようにしている。
【００８４】
一方、逆量子化回路１７１に供給された予測誤差信号の量子化値は、逆量子化された後、加算回路１９１に送られ、この加算回路１９１において動き補償予測値ＢMCと加算され、変換係数領域での再生値が求められた後、動き補償予測装置２０１に供給される。
【００８５】
エンハンスメントレイヤでは、エンハンスレイヤの動き補償予測装置２００の出力ＥMCと、ベースレイヤの動き補償予測装置２０１の出力ＢMCとを、変換係数毎に適応的に切り換えて出力する。すなわち、これはセレクタ３００が、ベースレイヤでの量子化回路１３１の出力ＢQ の値に基づいて、エンハンスレイヤの動き補償予測装置２００の出力（ＥMC）と、ベースレイヤの動き補償予測装置２０１の出力ＢMCとを後述する方法で変換係数毎に適応的に切り換えることによって出力する。
【００８６】
一方、差分回路１１０において、ＤＣＴ回路１００より供給される入力画像の変換係数と、セレクタ３００の出力Ｅp との予測誤差信号が計算され、その結果が差分回路１２０に供給される。差分回路１２０では、逆量子化回路１７１より供給される逆量子化値ＢQ の信号３０と、差分回路１１０の出力との差分が計算されて差分値出力信号ＥC として量子化回路１３０に供給される。この差分値出力信号ＥC はすなわち動き補償予測誤差信号である。
【００８７】
量子化回路１３０では、この差分値出力信号ＥC を、符号化制御回路４００より供給される量子化スケールＱ*scaleで量子化した後、可変長符号化回路１４０および逆量子化回路１７０に供給する。
【００８８】
そして、可変長符号化回路１４０では、この量子化された動き補償予測誤差信号を、サイドインフォメーション情報と共に可変長符号化して多重化回路１５０に送り、多重化回路１５０ではこれらの信号を多重化した後、出力バッファ１６０に供給する。
【００８９】
出力バッファ１６０では、この多重化信号をエンハンスメントレイヤ用の符号化ビットストリーム２０として伝送路あるいは蓄積媒体に出力すると共に、バッファの内容量を符号化制御回路４００にフィードバックする。
【００９０】
なお、逆量子化回路１７０に供給された量子化値は、ここで逆量子化された後、加算回路１８０において、ベースレイヤの逆量子化回路１７１から供給される出力３０と加算されことにより、予測誤差信号が再生される。
【００９１】
そして、この加算回路１８０で再生された予測誤差信号は加算回路１９０において動き補償予測値ＥMCと加算されることにより、変換係数領域での再生値が求められる。そして、この再生値は動き補償予測装置２００に供給される。
【００９２】
図２は、文献（T.K.Tan et.al."A Frequency Scalable Coding Scheme  Employing Pyramid and Subband Techniques",IEEE Trans. CAS for Video Technology,Vol.4,No.2,Apr. 1994）に記載されている前記セレクタ３００に適用して最適な切り換え手段の例である。
【００９３】
図２において、ベースレイヤにおける量子化回路１３１の出力ＢQ の値が“０”であるか否かを、２値化回路３１０において判定する。この判定結果はセレクタ３００に与えられる。そして、セレクタ３００は、量子化回路１３１の出力ＢQ の値が“０”であれば、エンハンスメントレイヤ用動き補償予測装置２００の変換係数出力ＥMCを選択し、“１”であればベースレイヤ用動き補償予測装置２０１の変換係数出力ＢMCを選択する。
【００９４】
すなわち、２値化回路３１０はベースレイヤにおける量子化回路１３１の出力ＢQ の値が“０”である場合には“０”を、“０”でなければ“１”を出力するので、この２値化回路３１０の出力が“０”であるときにＥMCを、そして、“１”である時にＢMCを、セレクタ３００に選択させることにより、量子化回路１３１の出力ＢQ が“０”である位置の変換係数には、エンハンスレイヤ側の動き補償予測装置２００の変換係数出力ＥMCを、そして、量子化回路１３１の出力ＢQ が“０”でない位置の変換係数には、ベースレイヤ側の動き補償予測装置２０１の変換係数出力ＢMCを当て嵌めるといった処理がなされることになる。
【００９５】
ここで、ベースレイヤにおける量子化回路１３１には差分回路１１１からの出力が与えられて、この差分回路１１１の出力を量子化するように構成してあり、差分回路１１１にはＤＣＴ回路１００の出力と、それより１画面前の時点の画像から動き補償予測装置２０１が得た動き補償予測値とが与えられて、両者の差を得るように構成してあるから、求めた動き補償予測値が当っていれば、差分回路１１１の出力する両者の差はないことになるから、“０”となる筈である。
【００９６】
従って、ベースレイヤにおける量子化回路１３１の出力ＢQ である量子化値の中で“０”でない係数（図の白丸印で囲んだ部分の値）は、動き補償予測が当たらなかった係数ということになる。
【００９７】
ここで、動き補償予測装置２００において、動きベクトル検出回路５００より供給される、ベースレイヤと同じ動きベクトルを用いて動き補償予測を行なうと、エンハンスメントレイヤにおいても同じ位置の係数（白丸印で囲んだ部分の値）の動き補償予測は外れたと推定される。
【００９８】
そこで、この係数に関しては、セレクタ３００においてＢMCを選択する。
【００９９】
一方、その他の係数は動き補償が当たっていると推定されるため、セレクタ３００において、より符号化歪の少ないエンハンスメントレイヤの予測値を選択する。これにより、エンハンスメントレイヤで符号化される信号ＥC は、動き補償予測が外れた場合にはベースレイヤの量子化誤差信号となり、動き補償予測が当たった場合にはエンハンスメントレイヤの動き補償予測誤差信号となり、動き補償予測の外れた係数に対する符号化効率が改善されることになる。
【０１００】
なお、上記文献に開示してある技術においては、ベースレイヤでは解像度の低い画像を再生することを前提としているため、ＤＣＴ回路１００で求められた変換係数の中で低域の１／４の係数を分離してベースレイヤに供給している。このため、解像度変換に伴う誤差により、変換係数毎に予測を切り換えるための推定の信頼性が低下する。
【０１０１】
一方、本具体例ではベースレイヤとエンハンスメントレイヤの解像度が等しいため、推定の精度が高くなる点が上記文献開示の技術と異なるものであり、画像の品位と云う点で大きな差となる。
【０１０２】
《動き補償予測装置２００、２０１の構成例》
ここで、本発明装置に用いる動き補償予測装置２００、２０１の構成例を説明しておく。
【０１０３】
図３は、動き補償予測装置２００、２０１の構成例を示すブロック図である。動き補償予測装置２００，２０１は、ＩＤＣＴ回路２１０、フレームメモリ２２０、動き補償回路２３０、ＤＣＴ回路２４０で構成される。
【０１０４】
ＩＤＣＴ回路２１０は、加算回路１９０または１９１の出力を逆直交変換（ＩＤＣＴ）して再生画像信号に戻す回路であり、フレームメモリ２２０はこの逆直交変換されて得られた再生画像信号を参照画像としてフレーム単位で保持するメモリであり、動き補償回路２３０は、フレームメモリ２２０に蓄積されている画像信号（参照画像）の中から、動きベクトルで指し示された位置の画像をブロック単位で切り出すものであり、ＤＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣＴ）して出力するものである。なお、動きベクトルは、動きベクトル検出回路５００から与えられる。
【０１０５】
このような構成において、変換係数領域での再生値はＩＤＣＴ回路２１０において再生画像信号に逆変換され、フレームメモリ２２０に蓄積される。動き補償回路２３０では、このフレームメモリ２２０に蓄積されている参照画像の中から、動きベクトルで指し示された位置の画像をブロック単位で切り出して、ＤＣＴ回路２４０に供給する。そして、ＤＣＴ回路２４０では、これをＤＣＴすることで、ＤＣＴ係数領域での動き補償予測値として出力する。
【０１０６】
このようにして、ＤＣＴ係数領域での動き補償予測値を求めることができる。
【０１０７】
以上は符号化装置の説明であった。つぎに復号化装置について説明する。
【０１０８】
《復号化装置の構成》
図４は、本発明の第１の具体例における復号化装置のブロック図である。
【０１０９】
図に示すように、本発明の復号化装置は、可変長復号化回路１４３、分離化回路１５２，１５３、入力バッファ１６２，１６３、逆量子化回路１７２，１７３、加算回路１９３、動き補償予測装置２０３、可変長復号化回路１４２、入力バッファ１６２、加算回路１８１，１９２、セレクタ３００、動き補償予測装置２０２、２値化回路３１０、逆量子化回路１７３とから構成される。
【０１１０】
これらのうち、入力バッファ１６２、分離化回路１５２、可変長復号化回路１４２、逆量子化回路１７２、加算回路１８１，１９２、セレクタ３００、動き補償予測装置２０２によりエンハンスメントレイヤを構成しており、入力バッファ１６３、分離化回路１５３、可変長復号化回路１４３、逆量子化回路１７３、加算回路１９３、２値化回路３１０、動き補償予測装置２０３によりベースレイヤを構成している。
【０１１１】
エンハンスメントレイヤにおける入力バッファ１６２は、符号化され多重化されたエンハンスメントレイヤにおけるビットストリーム２２を受けてこれを一時保持するものであり、分離化回路１５２はこの入力バッファ１６２を介して得られるビットストリーム２２を分離化して、多重化されていた信号を元のかたちに分離してサイドインフォメーションの情報の符号化情報と画像の差分値出力信号ＥC の符号化情報に戻す回路である。
【０１１２】
可変長復号化回路１４２はこの分離化回路１５２で分離された符号化信号を可変長復号化して元のサイドインフォメーションの情報と画像の差分値出力信号ＥC に復元するものである。また、逆量子化回路１７２はこの復元されたサイドインフォメーションの情報における量子化スケールＱ*scaleの情報を元に、この可変長復号化回路１４２からの画像の差分値出力信号ＥC を逆量子化して出力するものであり、加算回路１８１はこの逆量子化された信号と、ベースレイヤ用の逆量子化回路１７３からの逆量子化出力を加算するものである。
【０１１３】
また、加算回路１９２はこの加算回路１８１の出力とセレクタ３００からの出力Ｅp を加算して出力するものであり、動き補償予測装置２０２はこの加算回路１９２出力とベースレイヤ用の可変長復号化回路１４３からの出力である復号化された画像の差分値出力信号ＥC を受けて動き補償予測値ＥMCを得るものである。この動き補償予測装置２０２の出力する動き補償予測値ＥMCは、エンハンスメントレイヤの出力４０となる他、セレクタ３００の一方の入力として利用される。
【０１１４】
セレクタ３００は、エンハンスメントレイヤ用の動き補償予測装置２０２の出力（動き補償予測値ＥMC）とベースレイヤ用の動き補償予測装置２０３の出力を入力とし、２値化回路３１０の出力に応じてこれらのうちの一方を選択して出力する回路である。
【０１１５】
入力バッファ１６３は、符号化され多重化されて入力されたベースレイヤ用のビットストリーム２３を受けてこれを一時保持するものであり、分離化回路１５３はこの入力バッファ１６３を介して得られるビットストリーム２３を分離化して、多重化されていた信号を元のかたちに分離してサイドインフォメーションの情報の符号化情報と画像の差分値出力信号ＥC の符号化情報に戻す回路である。
【０１１６】
可変長復号化回路１４３はこの分離化回路１５３で分離された符号化信号を可変長復号化して元のサイドインフォメーションの情報と画像の差分値出力信号ＥC に復元するものである。また、逆量子化回路１７３はこの復元されたサイドインフォメーションの情報における量子化スケールＱ*scaleの情報を元に、この可変長復号化回路１４３からの画像の差分値出力信号ＥC を逆量子化して加算回路１８１と１９３に与えるものであり、加算回路１９３はこの逆量子化された信号と、ベースレイヤ用の動き補償予測装置２０３からの動き補償予測値ＥMCを受けて、両者を加算するものである。
【０１１７】
動き補償予測装置２０３はこの加算回路１９３の出力と１画面前の自己の出力である動き補償予測値ＥMCを受けて現在の画面の動き補償予測値ＥMCを得るものである。この動き補償予測装置２０３の出力する動き補償予測値ＥMCは、ベースレイヤの出力４１となる他、セレクタ３００の他方の入力として利用される。
【０１１８】
つぎにこのような構成の復号化装置の作用を説明する。この装置においては、ベースレイヤのビットストリーム２３が、入力バッファ１６３に与えられ、エンハンスメントレイヤのビットストリーム２２が、入力バッファ１６２に与えられる。
【０１１９】
そして、入力されたベースレイヤのビットストリーム２３は、入力バッファ１６３に蓄積された後、分離化回路１５３に供給される。そして、分離化回路１５３で元の信号種別対応に信号分離される。すなわち、ビットストリーム２３は変換係数の量子化値や動きベクトル、量子化スケール等のサイドインフォメーション情報の信号が多重化されており、この分離化回路１５３に与えることによって変換係数の量子化値や動きベクトル、そして、サイドインフォメーションの情報における量子化スケールＱ*scale等といった元の符号に分離する。
【０１２０】
分離化回路１５３で分離された符号は、各々、可変長復号化回路１４３に供給され、変換係数の量子化値、動きベクトル、量子化スケールＱ*scale等の信号に復号される。そして、復号された信号のうち、動きベクトルは動き補償予測装置２０３に与えられ、また、変換係数の量子化値と量子化スケールＱ*scaleは、逆量子化回路１７３に与えられ、当該逆量子化回路１７３において変換係数の量子化値は量子化スケールＱ*scale対応に逆量子化された後、加算回路１９３に供給される。
【０１２１】
加算回路１９３では、この逆量子化された変換係数と、動き補償予測装置２０３より供給される変換係数領域での動き補償予測値とが加算され、変換係数領域での再生値が求められる。
【０１２２】
この再生値は、動き補償予測装置２０３に供給される。動き補償予測装置２０３の構成は図３に示す如きの構成であり、加算回路１９３から与えられた再生値は動き補償予測装置２０３内のＩＤＣＴ回路２１０において逆直交変換されて再生画像信号４１として出力されると共に、動き補償予測装置２０３内のフレームメモリ２２０に蓄積される。
【０１２３】
動き補償予測装置２０３では、動き補償回路２３０がこのフレームメモリ２２０に蓄積されている画像信号（参照画像）の中から、前記与えられた動きベクトルを元に、当該動きベクトルで指し示された位置の画像をブロック単位で切り出す。そして、ＤＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣＴ）して変換係数出力ＢMCとして加算回路１９３およびセレクタ３００に出力する。
【０１２４】
一方、エンハンスメントレイヤにはエンハンスメントレイヤ用のビットストリーム２２が供給され、このビットストリーム２２は、エンハンスメントレイヤ用の入力バッファ１６２に蓄積された後、分離化回路１５２に供給される。
【０１２５】
そして、分離化回路１５２で分離される。すなわち、ビットストリーム２２は変換係数の量子化値や動きベクトル、量子化スケールＱ*scaleの情報等の信号が多重化されており、この分離化回路１５２に与えることによって変換係数の量子化値や動きベクトル、量子化スケールＱ*scaleの情報等の元の符号に分離する。
【０１２６】
分離化回路１５２で分離された変換係数の量子化値や動きベクトル等の符号は、各々、可変長復号化回路１４２に供給され、変換係数の量子化値、動きベクトル等の信号に復号される。そして、復号された信号のうち、動きベクトルは動き補償予測装置２０２に与えられ、また、変換係数の量子化値は量子化スケールＱ*scaleと共に、逆量子化回路１７２に与えられ、ここで当該量子化スケールＱ*scale対応に前記変換係数の量子化値は逆量子化された後、加算回路１８１に供給され、逆量子化回路１７３から供給されるベースレイヤの逆量子化値３１と加算されてから、加算回路１９２に供給される。
【０１２７】
加算回路１９３では、加算回路１８１の出力とセレクタ３００より供給される信号ＥP とが加算され、変換係数領域での再生値が求められる。この再生値は、動き補償予測装置２０２に供給される。動き補償予測装置２０２は図３に示す如きの構成であり、前記再生値はこの動き補償予測装置２０２内のＩＤＣＴ回路２１０にて逆直交変換されて再生画像信号４０として出力されると共に、動き補償予測装置２０２内のフレームメモリ２２０に蓄積される。
【０１２８】
動き補償予測装置２０２では、動き補償回路２３０がこのフレームメモリ２２０に蓄積されている画像信号（参照画像）の中から、前記与えられた動きベクトルを元に、当該動きベクトルで指し示された位置の画像をブロック単位で切り出す。そして、ＤＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣＴ）して変換係数出力ＢMCとしてセレクタ３００に出力する。
【０１２９】
一方、セレクタ３００には、２値化回路３１０の判定結果が与えられて前記ＢMCとＥMCのうちの一方を選択する。
【０１３０】
すなわち、２値化回路３１０にはベースレイヤにおける可変長復号化回路１４３の出力ＢQ が与えられ、当該２値化回路３１０はその値が“０”であるか否かを、判定する。この判定結果はセレクタ３００に与えられる。
【０１３１】
そして、セレクタ３００は、可変長復号化回路１４３の出力ＢQ の値が“０”であれば、動き補償予測装置２０２の変換係数出力ＥMCを選択し、“１”であれば動き補償予測装置２０３の変換係数出力ＢMCを選択する。
【０１３２】
すなわち、２値化回路３１０はベースレイヤにおける可変長復号化回路１４３の出力ＢQ の値が“０”である場合には“０”を、“０”でなければ“１”を出力するので、この２値化回路３１０の出力が“０”であるときにＥMCを、そして、“１”である時にＢMCを、セレクタ３００に選択させることにより、可変長復号化回路１４３の出力ＢQ が“０”である位置の変換係数には、エンハンスレイヤ側の動き補償予測装置２０２の変換係数出力ＥMCを、そして、可変長復号化回路１４３の出力ＢQ が“０”でない位置の変換係数には、ベースレイヤ側の動き補償予測装置２０３の変換係数出力ＢMCを当て嵌めるといった処理がなされることになる。
【０１３３】
ここで、ベースレイヤにおける可変長復号化回路１４３の出力は、符号化側において求めた動き補償予測誤差信号と動きベクトルとを含んでいる。
【０１３４】
そして、これらの信号は動き補償予測装置２０３に与えられることにより、動き補償予測装置２０３では、１画面前の画像と現在の画像との動き補償予測誤差分を得る。
【０１３５】
また、一方、２値化回路３１０には可変長復号化回路１４３からの復号されたベースレイヤ用動き補償予測値信号が与えられ、２値化回路３１０は、この信号の値が“０”ならば“０”を、そして、“０”以外であれば“１”を出力してセレクタ３００に与える。
【０１３６】
そして、セレクタ３００は、２値化回路３１０の出力が“０”ならばより符号化歪の少ないエンハンスメントレイヤ用動き補償予測装置２０３の出力ＥMCを選択し、“１”であればそれよりも符号化歪みの大きいベースレイヤ用動き補償予測装置２０２の変換係数出力ＢMCを選択する。
【０１３７】
結局、ここでの処理は、ベースレイヤ用の動き補償予測で得たＤＣＴ係数の誤差が零であれば、エンハンスメントレイヤ用動き補償予測装置２００の変換係数出力ＥMCの再生値である動き補償予測装置２０２の出力を選択し、“１”であればベースレイヤ用動き補償予測装置２０１の変換係数出力ＢMCの再生値である動き補償予測装置２０３の出力を選択する。
【０１３８】
これは符号化装置側での処理と同様の処理となる。
【０１３９】
従って、エンハンスメントレイヤにおける動き補償予測の変換係数出力は、符号化側での選択同様に、動き補償予測が外れている部分ではベースレイヤ用のものを、当たっている部分では符号化歪みの少ないエンハンスメントレイヤ用のものを使用することになり、符号化装置側でのこのような切り替えに追従して、画像再生を支障なく行えるようになる。
【０１４０】
以上の第１の具体例は、動画像の画面を所定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換することにより、空間周波数の帯域別に分けた変換係数を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域で、上位および下位の階層別に動き補償を行う動画像の符号化において、動き補償を行う際に、下位階層（ベースレイヤ）についての既に復号済みの量子化値に基づいて動き補償予測の当り外れを判定し、動き補償予測が当っている場合は上位階層（エンハンスメントレイヤ）用に求めた符号化歪みの少ない動き補償予測値を用い、動き補償予測が外れている場合は下位階層（ベースレイヤ）用に求めたエンハンスメントレイヤ用より符号化歪みの多い動き補償予測値を用いて上位階層の符号化を行うようにしたものであり、これにより、動き補償予測の外れた係数に対する符号化効率を改善して符号化効率の低下の少ない符号化を可能にする符号化方式を実現することができるようになる。
【０１４１】
（第２の具体例）
以上は、スケーラブル符号化法での動画像全体の符号化を効率良く行う例であったが、動画像における背景とオブジェクトを分離して符号化する任意形状の画像の符号化に適用する例をつぎに説明する。図５、図６および図７を用いて、本発明の第２の具体例を説明をする。本具体例は、前記第１の具体例の技術を、アルファマップ信号で示された任意形状の画像に適用するものである。
【０１４２】
図５は、第２の具体例としての本発明符号化装置のブロック図である。
【０１４３】
本例は、第１の具体例で説明した符号化装置と基本構成は変わらない。従って、図１と図４に示す構成と同一の要素については、同一符号を付してその説明は省略する。
【０１４４】
《第２の具体例における符号化装置の構成》
初めに符号化装置から説明する。図５は、本発明の符号化装置のブロック図である。この構成で図１と異なる部分は、ＤＣＴ回路１００に代えて任意形状直交変換回路１０１を設けたこと、入力はフレームメモリ７００を介して受けるようにしたこと、符号化制御回路４００に代えて４２０の符号化制御回路を設けたこと、符号化制御回路４１０に代えて４３０の符号化制御回路を設けたこと、エンハンスメントレイヤの動き補償予測装置２００に代えて６００の動き補償予測装置を設けたこと、動き補償予測装置２０１に代えて６０１の動き補償予測装置を設けたこと、動きベクトル検出回路５００に代えて５１０の動きベクトル検出回路を設けたこと、多重化回路１５１に代えて１５５の多重化回路を設けたこと、の８点である。
【０１４５】
フレームメモリ７００は入力画像信号をフレーム単位で一時保持するメモリであり、任意形状直交変換回路１０１は別途与えられるアルファマップを参照して、このフレームメモリ７００の画像のうちの注目領域部分を取り出し、この注目領域部分を所要の画素サイズのブロックに分割して、各ブロックについてＤＣＴを行う回路である。
【０１４６】
また、符号化制御回路４２０は、アルファマップを参照し、出力バッファ１６０の出力するバッファ内容量情報対応にエンハンスメントスレイヤ用の最適な量子化スケールを与える量子化スケールＱ*scaleとサイドインフォメーション情報を発生するものであり、符号化制御回路４３０は、アルファマップを参照し、出力バッファ１６１の出力するバッファ内容量情報対応にベースレイヤ用の最適な量子化スケールを与える量子化スケールＱ*scaleとサイドインフォメーション情報を発生するものである。
【０１４７】
また、動き補償予測装置６００は、アルファマップを参照し、加算回路１９０から供給される変換係数領域での再生値と１画面前の同再生値とから注目領域部分の画像の動き補償予測を行うものであり、動き補償予測装置６０１は、アルファマップを参照し、加算回路１９１から供給される変換係数領域での再生値と１画面前の同再生値とから注目領域部分の画像の動き補償予測を行うものである。
【０１４８】
また、動きベクトル検出回路５１０は、アルファマップを参照して、フレームメモリ７００の画像のうちの注目領域部分の画像の動きベクトルを検出するものである。
【０１４９】
多重化回路１５５は、ベースレイヤ用のものであり、可変長符号化回路１４１から受ける予測誤差信号の可変長符号化した符号、量子化スケール情報を含むモード情報等のサイドインフォメーション情報の可変長符号化した符号、および、動きベクトルの可変長符号化した符号と、別途与えられるアルファマップのコード（alpha-code）を多重化して出力バッファ１６１に供給する構成である。
【０１５０】
このような構成の本装置は、画像信号１０を入力すると、この画像信号１０は一旦、フレームメモリ７００に蓄積され、読み出されて任意形状直交変換回路１０１と動きベクトル検出回路５１０に与えられる。任意形状直交変換回路１０１には、この画像信号１０の他に、画像の背景部分と目的部分とを区別するためのマップ情報の信号であるアルファマップ信号５０が入力される。
【０１５１】
ここでアルファマップ信号は、例えば、クロマキィ技術等の応用により、取得することができるもので、例えば人物（オブジェクト）と背景（バックグラウンド）とを区別するアルファマップの場合、人物像をクロマキィ技術でとらえて、そのとらえた画像を２値化することにより、人物像領域が“１”、背景領域が“０”のビットマップ形式の画像が得られるので、それを用いれば良い。
【０１５２】
任意形状直交変換回路１０１ではこのアルファマップ信号を参照して、画像の注目領域がどこであるかを知り、その注目領域について、Ｎ×Ｎ画素構成の正方形ブロックに画像を分割し、その分割ブロック毎に直交変換してＮ×Ｎ個の変換係数にする。アルファマップを利用した画像の任意形状領域の直交変換技術としては、本件発明者らが既に技術を確立させて特許出願済みの前述の特願平７‐９７０７３号に開示した手法を用いれば良い。
【０１５３】
第２の具体例における符号化装置の処理動作の説明の途中であるが、ここで変形例として段差を小さくするための処理例に触れておく。
【０１５４】
上述の第２の具体例による手法によると、背景にはオブジェクトの平均値が配置されるのであるが、この処理に加えて、オブジェクトの画素値をその平均値を中心にして所定のスケーリング係数で縮小すると、オブジェクトと背景の境界の画素値の段差を小さくすることができる。その詳細を説明する。
【０１５５】
＜段差を小さくするための処理例＞
［オブジェクト部分に縮小処理を加える例］
オブジェクトと背景の境界の画素値の段差を小さくするために、オブジェクトの画素値をその平均値を中心にして所定のスケーリング係数で縮小する例を図２０と図２１に示す。実際の画像は２次元の信号であるが、ここでは簡単のため、１次元の信号とした。これらの図においては縦軸には画素値を、横軸には画素列をとっており、画素列ｅの位置よりも左側がオブジェクトの領域、右側が背景の領域であるものとする。図２０は背景部分にオブジェクトの画素値平均値ａを配置した状態を示す。
【０１５６】
これに対して画素値平均値ａを中心に、縮小した結果を図２１に示す。これを式で表すと縮小前の輝度値をｘ、縮小後の輝度値をｙとした場合、縮小後の輝度値ｙは、
ｙ＝ｃ×（ｘ−ａ）＋ａ
と表すことができる。ここで、ｃは“０”と“１”の間の定数である。
【０１５７】
また、この例のように、縮小は図２２に示したオブジェクト内の全ての画素ｘ1 〜ｘ23に対して行う方法もあるが、オブジェクトのうち、背景部分との境界に近い面素ｘ1 〜ｘ8 に対してのみ、縮小を行うようにしても段差は小さくなる。このようにすると、境界に近いか否かの判定の演算が必要になるが、オブジェクトのうちの背景との境界に接しないｘ9 〜ｘ23の画素は元のままに保たれるというメリットがある。
【０１５８】
この例ではオブジェクト内の画素のうち、上下左右のいずれかで背景と接しているものを境界に近い画素と判定した。
【０１５９】
以上が、オブジェクトと背景の境界の画素値の段差を小さくするために、オブジェクトの画素値をその平均値を中心にして所定のスケーリング係数で縮小する例を説明したが、背景部分に処理を加えることにより、オブジェクトと背景の境界の画素値の段差を小さくすることもできる。その例を次に説明する。
【０１６０】
＜段差を小さくするための処理例＞
［背景部分に処理を加える例］
背景部分に処理を加える具体例を図２３に示す。
これは、背景の画素のうち、オブジェクトの領域に近いものの面素値を、段差がを小さくする方向に修正するものである。具体例を図２４に示す。ここで、ｘｎ（ｎ＝１〜２３）がオブジェクトの画素値であり、ａn （n ＝１〜４１）が背景の面素値である。処理前においては、背景の面素値ａn は全て、画素値平均値ａに等しい。
【０１６１】
まず、上下左右のいずれかでオブジェクトの領域の画素に接している背景画素ａ1 〜ａ9 の値をその接しているオブジェクトの画素ｘn と自身の両素値の平均値で置き換える。例えば、背景画素ａ1 は“（ａ1 ＋ｘ1 ）／２”で置き換え、背景画素ａ3 は“（ａ3 ＋ｘ2 ＋ｘ3 ）／３”で置き換える。
【０１６２】
次に背景画素ａ1 〜ａ9 に接するａ10〜ａ17の背景画素を、同様に例えばａ10を“（ａ10＋ａ1 ）／２”で置き換える。ここで、背景画素ａ1 は先に置き換えた後の値を用いる。
【０１６３】
以下同様に、ａ18〜ａ24の背景画素の置き換え等を順次行っていく。これにより、オブジェクトと背景との境界部分の画素値の段差は小さくなる。
【０１６４】
以上のように、画素値を修正すると、ブロックの平均値が変化してしまうので、それがもとのブロック平均値になるように背景部分の面素値に補正を加えてもよい。ここで補正とは、例えば背景の全ての画素に一定の値を加減算したり、あるいは、境界から離れた背景め画素値を境界に近い部分で修正した輝度値方向とは反対の方向に修正するといったようなことを指す。
【０１６５】
また、オブジェクト内の面素値を修正した場合は、画像を復号した後に修正分を元に戻すことで入力画像に近いものを得ることができる。例えば、平均値を中心に縮小する前述した例では、符号化時に縮小した画素の複号値をｙd とし、修正後の画素値をｘd とすると、
ｘd ＝（ｙd −ａd ）／ｃ＋ａd
のように修正する。ここで、ａd は復号画像のオブジェクトの平均値あるいは背景の平均値、あるいはブロック全体の平均値である。符号化・復号化歪により、ｙd はｙと多少異なる値になる場合が多いが、このように修正することで、ｘに近いｘd を得ることができる。
【０１６６】
［符号化装置の構成例］
以上の例の符号化装置のブロック図を、図２５に示す。２００３は切り替え器、２００４は判定器、２００５は切り替え器、２００６は符号化器、２００９は切り替え器、２０１０は縮小器、２０１１は平均器、２０１７はＤＣＴ回路である。
【０１６７】
これらのうち、符号化器２００６は外部から入力されるアルファマップ信号２００１を符号化するものであり、切り替え器２００３は、アルファマップ信号２００１と画像信号２００２を入力とし、アルファマップ信号２００１をもとに、画像信号２００２をオブジェクト画像２００７と背景画像２００８に分別すると共に、背景画像２００８を廃棄するものである。ここで廃棄とは必ずしもどこか別のところへ送るという意味ではなく、そのまま放置するなりして、その後は用いないという意味である。
【０１６８】
また、判定器２００４は、アルファマップ信号２００１をもとに、切り替え器２００３を介して与えられたオブジェクト画像２００７のうち、現在処理中の画素である注目画素が、背景に接しているか否かを判定し、その判定結果２０１３を切り替え器２００９に与えるといった機能を有するものである。
【０１６９】
平均器２０１１は、切り替え器２００３を介して与えられるオブジェクト画像２００７から、オブジェクト画像の平均値２０１２を計算して縮小器２０１０と切り替え器２００５に出力するものであり、縮小器２０１０はこの平均値２０１２を中心にしてオブジェクト画像２００７の振幅を縮小処理して縮小画像２０１４を得ると共に、この得られた縮小画像２０１４を切り替え器２００９に出力するものである。
【０１７０】
切り替え器２００９は、この縮小画像２０１４と切り替え器２００３からのオブジェクト画像２００７を受け、判定器２００４の判定結果２０１３を用いて、注目画素が背景に接する部分の画素である場合には前記縮小画像２０１４をオブジェクトの符号化画像２０１５として選択して出力し、接しない場合は前記オブジェクト画像２００７をオブジェクトの符号化画像２０１５として選択して出力するものである。
【０１７１】
切り替え器２００５は、アルファマップ信号２００１と切り替え器２００９の出力するオブジェクトの符号化画像２０１５および平均器２０１１の求めた平均値２０１２を入力とし、前記入力されたアルファマップ信号２００１に基づき、現在処理している画素である注目画素がオブジェクトであればオブジェクトの符号化面像２０１５を選択してこれを符号化画像２０１６として出力し、背景であれば、平均値２０１２を選択してこれを符号化画像２０１６として出力するといった機能を有する。
【０１７２】
ＤＣＴ回路２０１７は、切り替え器２００５の出力する符号化画像２０１６をＤＣＴ処理し、変換係数２０１８として出力するものである。
【０１７３】
このような構成の符号化装置においては、外部からアルファマップ信号２００１と画像信号２００２と画像信号２００２とが入力される。そして、これらのうち、アルファマップ信号２００１は切り替え器２００３と判定器２００４、切り替え器２００５および符号化器２００６にそれぞれ送られ、また、画像信号２００２は切り替え器２００３に送られる。
【０１７４】
切り替え器２００３では、入力されたアルファマップ信号２００１をもとに、画像信号２００２をオブジェクト画像２００７と背景画像２００８に分別し、背景画像２００８は廃棄する。上述したように、廃棄とは必ずしもどこか別のところへ送るという意味ではなく、そのまま放置するなりして、その後は用いないという意味である。
【０１７５】
切り替え器２００３が分別したオブジェクト画像２００７は切り替え器２００９と縮小器２０１０、平均器２０１１に送られる。そして、平均器２０１１ではオブジェクト画像の平均値２０１２が計算され、その平均値２０１２は縮小器２０１０と切り替え器２００５に送られる。縮小器２０１０では平均値２０１２を中心にしてオブジェクト画像２００７の振幅を縮小処理し、この縮小処理によって得た縮小画像２０１４を切り替え器２００９に送る。
【０１７６】
一方、アルファマップ信号２００１を受けた判定器２００４ではオブジェクト画像のうち、現在処理中の画素である注目画素が背景に接しているか否かを判定し、その判定結果２０１３が切り替え器２００９に送られる。切り替え器２００９では、判定器２００４からの判定結果２０１３により、注目画素が背景に接する場合には縮小画像２０１４をオブジェクトの符号化画像２０１５として選択し、接しない場合はオブジェク卜画像２００７をオブジェクトの符号化画像２０１５として選択して出力する。
【０１７７】
切り替え器２００９から出力されたオブジェクトの符号化画像２０１５は切り替え器２００５に送られ、切り替え器２００５ではアルファマップ信号２００１を参照して、注目画素がオブジェクトであればオブジェクトの符号化面像２０１５を符号化画像２０１６とし、背景であれば、平均値２０１２を符号化画像２０１６として選択して出力する。
【０１７８】
切り替え器２００５から出力された符号化画像２０１６はＤＣＴ回路２０１７に送られてここでＤＣＴが施されて、変換係数２０１８が求められ、この変換係数２０１８が外部に出力される。また、アルファマップ信号２００１は符号化器２００６で符号化され、アルファマップの符号２０１９として外部に出力される。
【０１７９】
なお、アルファマップは画像の符号化の前に符号化を行い、その復号信号を切り替え器２００３、２００５、判定器２００４に入力する方法もある。こうするとアルファマップの符号化・復号に歪がある場合に、アルファマップ信号を符号化側と復号側で一致させることができる。
【０１８０】
図２５の符号化装置に対応する復号化装置の構成例を図２６に示す。
図中、２０２０は復号器、２０２１は逆ＤＣＴ回路、２０２３，２０２５は切り替え器、２０２４は判定器、２０２９は切り替え器、２０３０は拡大器、２０３１は平均器である。
【０１８１】
これらのうち、復号器２０２０は、外部から入力されるアルファマップの符号２０１９を受けてこれを複号すると共に、この複号して得たアルファマップ信号２０２２を切り替え器２０２３、判定器２０２４、切り替え器２０２５に与えるものである。また、逆ＤＣＴ回路２０２１は外部から入力された変換係数２０１８を逆ＤＣＴ処理し、画像を復号すると共に、その復号されて得られた画像である復号画像２０２６を切り替え器２０２３に与える構成である。
【０１８２】
判定器２０２４は、復号器２０２０で複号されたアルファマップ信号２０２２をもとに、オブジェクト画像２０２７のうち注目画素が背景に接しているか否かを判定するものであり、その判定結果２０３４を切り替え器２０２９に出力するものである。
【０１８３】
切り替え器２０２３は、復号器２０２０で複号されたアルファマップ信号２０２２をもとに、逆ＤＣＴ回路２０２１から与えられる復号画像２０２６のうち、オブジェクト画像２０２７と背景画像２０２８に分別すると共に、オブジェクト画像２０２７は切り替え器２０２９，拡大器２０３０および平均器２０３１に出力し、背景画像２０２８は廃棄するものである。
【０１８４】
平均器２０３１は、切り替え器２０２３から与えられるオブジェクト画像２０２７の平均値２０３２を計算し、その求めた平均値２０３２を拡大器２０３０に出力するものであり、拡大器２０３０は、この平均値２０３２を中心にしてオブジェクト画像２０２７の振幅を拡大して、拡大画像２０３３を得ると共に、この拡大画像２０３３を切り替え器２０２９に出力するものである。
【０１８５】
切り替え器２０２９は、入力されたオブジェクト画像２０２７と拡大画像２０３３のうち、判定器２０２４の出力する判定結果２０３４により、注目画素が背景に接する場合には拡大画像２０３３をオブジェクトの復号画像２０３５として選択して切り替え器２０２５に出力し、接しない場合はオブジェクト画像２０２７をオブジェクトの復号画像２０３５として選択して切り替え器２０２５に出力するものである。
【０１８６】
切り替え器２０２５は、オブジェクトの復号画像２０３５と、背景としての別に入力される信号２０３７とを受け、アルファマップ信号２０２２をもとに、注目画素がオブジェクトであれば、これらのうち、オブジェクトの復号画像２０３５を再生画像２０３６として選択して外部に出力し、背景であれば、前記信号２０３７を再生画像２０３６として選択して外部に出力するものである。
【０１８７】
このような構成の復号化装置において、外部からアルファマップの符号２０１９と変換係数２０１８とが入力される。そして、アルファマップの符号２０１９は復号器２０２０に、また、変換係数２０１８は逆ＤＣＴ回路２０２１に送られる。
【０１８８】
復号器２０２０ではアルファマップ信号２０２２が復号され、切り替え器２０２３、判定器２０２４、切り替え器２０２５に送られる。逆ＤＣＴ回路２０２１において画像が復号され、その復号画像２０２６は切り替え器２０２３に送られる。
【０１８９】
切り替え器２０２３では、復号器２０２０で複号されたアルファマップ信号２０２２をもとに、復号画像２０２６がオブジェクト画像２０２７と背景画像２０２８に分別され、背景画像２０２８は廃棄される。切り替え器２０２３により分別されたオブジェクト画像２０２７は、切り替え器２０２９と拡大器２０３０、平均器２０３１に送られる。
【０１９０】
そして、平均器２０３１ではオブジェクト画像２０２７の平均値２０３２が計算され、その平均値２０３２は拡大器２０３０に送られる。
【０１９１】
拡大器２０３０では平均値２０３２を中心にしてオブジェクト画像２０２７の振幅が拡大処理され、これによって得られた拡大画像２０３３は切り替え器２０２９に送られる。
【０１９２】
一方、判定器２０２４ではオブジェクト画像２０２７のうち注目画素が背景に接しているか否かを判定し、その判定結果２０３４が切り替え器２０２９に送られる。切り替え器２０２９では、判定結果２０３４により、注目画素が背景に接する場合には拡大画像２０３３が選択されてオブジェクトの復号画像２０３５として出力され、接しない場合はオブジェクト画像２０２７が選択されてオブジェクトの復号画像２０３５として出力される。
【０１９３】
切り替え器２０２９より出力されたオブジェクトの復号画像２０３５は切り替え器２０２５に送られ、切り替え器２０２５ではアルファマップ信号２０２２を参照して、現在処理中の画素である注目画素がオブジェクトであれば、オブジェクトの復号画像２０３５を再生画像２０３６して外部に出力し、また、背景であれば、背景用として別に入力されている信号２０３７が再生画像２０３６として選択されて出力される。なお、この背景の信号２０３７としては、別途符号化した背景画像を再生したものや、予め定めた模様などが用いられる。
以上が、段差を小さくするための処理例である。
【０１９４】
段差を小さくするための処理例について説明を挟んだが、再び、第２の具体例における本論に戻る。
【０１９５】
任意形状直交変換回路１０１ではアルファマップ信号を参照して、画像の注目領域がどこであるかを知り、その注目領域について、Ｎ×Ｎ画素構成の正方形ブロックに画像を分割し、その分割ブロック毎に直交変換してＮ×Ｎ個の変換係数にする段までは既に説明した。
【０１９６】
ここで、オブジェクトと背景の境界を含むブロックでは、オブジェクト用の変換係数と背景用の変換係数とが求められる。この変換係数は、エンハンスメントレイヤおよびベースレイヤの差分回路１１０および１１１に供給される。
【０１９７】
この変換係数を受けたベースレイヤの差分回路１１１においては、動き補償予測装置６０１より供給される、直交変換係数に変換された動き補償予測値（ＢMC）との予測誤差信号が計算され、その結果が量子化回路１３１に供給される。そして、量子化回路１３１では、この予測誤差信号を、符号化制御回路４３０より供給される量子化スケールＱ*scaleで量子化した後、可変長符号化回路１４１および逆量子化回路１７１に供給する。
【０１９８】
可変長符号化回路１４１では、この量子化された予測誤差信号は可変長符号化される。また、符号化制御回路４３０から与えられる量子化スケール情報を含むモード情報等のサイドインフォメーション情報、および、動きベクトル検出回路５１０より供給される動きベクトルも可変長符号化回路１４１でそれぞれ可変長符号化される。
【０１９９】
そして、可変長符号化回路１４１でそれぞれ可変長符号化されたこれら符号は多重化回路１５５に与えられ、また、符号化されてこの多重化回路１５５に与えられたアルファマップコードの符号５５と共に、この多重化回路１５５にて多重化された後、出力バッファ１６１に供給される。
【０２００】
出力バッファ１６１では、この多重化された信号を符号化ビットストリーム２１として伝送路あるいは蓄積媒体に出力すると共に、バッファの内容量を符号化制御回路４３０にフィードバックする。そして、符号化制御回路４３０はこのバッファの内容量対応に最適な量子化スケールＱ*scaleを発生することになる。
【０２０１】
一方、逆量子化回路１７１に供給された予測誤差信号の量子化値は、逆量子化された後、加算回路１９１において動き補償予測値（ＢMC）と加算され、変換係数領域での再生値が求められた後、動き補償予測装置６０１に供給される。
【０２０２】
エンハンスメントレイヤでは、セレクタ３００がベースレイヤでの量子化回路１３１の出力（ＢQ ）の値に基づいて選択動作することにより、エンハンスレイヤの動き補償予測装置６００の出力（ＥMC）と、ベースレイヤの動き補償予測装置６０１の出力（ＢMC）とを、後述する方法で変換係数毎に適応的に切り換えてこれをＥp として出力する。
【０２０３】
すなわち、ベースレイヤでの量子化回路１３１の出力（ＢQ ）を２値化回路３１０に与えることにより、当該２値化回路３１０はＢQ の値が“０”であれば“０”を出力し、“０”以外の値であれば“１”を出力してセレクタ３００に与える。
【０２０４】
セレクタ３００は２値化回路３１０の出力が“０”であればＥMCを、そして、“１”である時にＢMCを選択してＥp として出力することにより、量子化回路１３１の出力ＢQ が“０”である位置の変換係数には、エンハンスレイヤ側の動き補償予測装置６００の変換係数出力ＥMCを、そして、量子化回路１３１の出力ＢQ が“０”でない位置の変換係数には、ベースレイヤ側の動き補償予測装置６０１の変換係数出力ＢMCを当て嵌めるといった処理をすることになる。
【０２０５】
ここで、ベースレイヤにおける量子化回路１３１には差分回路１１１からの出力が与えられて、当該出力を量子化するように構成してあり、差分回路１１１には任意形状直交変換回路１０１の出力と、それより１画面前の時点の画像から動き補償予測装置６０１が得た動き補償予測値とが与えられて、両者の差を得るように構成してあるから、求めた動き補償予測値が当っていれば、差分回路１１１の出力する両者の差はないことになるから、“０”となる筈である。
【０２０６】
従って、ベースレイヤにおける量子化回路１３１の出力ＢQ である量子化値の中で“０”でない係数は、動き補償予測が当たらなかった係数ということになる。
【０２０７】
そして、動き補償予測装置６００において、動きベクトル検出回路５１０より供給される、ベースレイヤと同じ動きベクトルを用いて動き補償予測を行なうと、エンハンスメントレイヤにおいても同じ位置の係数の動き補償予測は外れたと推定される。
【０２０８】
そこで、この係数に関しては、セレクタ３００においてベースレイヤ用の動き補償予測装置６０１の出力であるＢMCを選択する。
【０２０９】
一方、その他の係数は動き補償が当たっていると推定されるため、セレクタ３００において、より符号化歪の少ないエンハンスメントレイヤの予測値を選択する。これにより、エンハンスメントレイヤで符号化される信号ＥC は、動き補償予測が外れた場合にはベースレイヤの量子化誤差信号となり、動き補償予測が当たった場合にはエンハンスメントレイヤの動き補償予測誤差信号となり、動き補償予測の外れた係数に対する符号化効率が改善されることになる。
【０２１０】
一方、エンハンスメントレイヤ側における差分回路１１０では、任意形状直交変換回路１０１より供給される入力画像の変換係数と、セレクタ３００の出力（Ｅp ）との予測誤差信号が計算され、その結果が差分回路１２１に供給される。
【０２１１】
また、差分回路１２１には、逆量子化回路１７１より供給されるＢQ の逆量子化値３０が供給され、従って差分回路１２１はこれと差分回路１１０の出力との差分ＥC を計算して予測誤差信号として量子化回路１３０に供給する。
【０２１２】
そして、量子化回路１３０は、この信号ＥC を、符号化制御回路４２０からバッファ内容量対応に与えられる量子化スケールＱ*scaleで量子化する。そして、この量子化出力を可変長符号化回路１４０および逆量子化回路１７０に供給する。可変長符号化回路１４０では、この量子化された予測誤差信号は、符号化制御回路４２０から与えられるモード情報等のサイドインフォメーション情報と共にそれぞれ別に可変長符号化して、多重化回路１５０に与える。
【０２１３】
多重化回路１５０でこれら各可変長符号を多重化した後に出力バッファ１６０に供給する。出力バッファ１６０では、これを一旦保持し、符号化ビットストリーム２０として伝送路あるいは蓄積媒体に出力すると共に、バッファの内容量を符号化制御回路４２０にフィードバックする。これを受けて符号化制御回路４２０は内容量対応の最適な量子化スケールＱ*scaleを発生し、量子化回路１３０と可変長符号化回路１４０に与えることになる。
【０２１４】
また、量子化回路１３０より逆量子化回路１７０に供給された量子化値はここで逆量子化された後、加算回路１８０においてベースレイヤの逆量子化回路１７１から供給される出力３０が加えられ、予測誤差信号が再生される。
【０２１５】
この加算回路１８０において再生された予測誤差信号は加算回路１９０においてセレクタ３００から与えられる動き補償予測値（Ｅp ）と加算され、変換係数領域での再生値が求められた後、動き補償予測装置６００に供給される。
【０２１６】
図６は、動き補償予測装置６００，６０１のブロック図である。動き補償予測装置６００，６０１は、任意形状逆直交変換回路６１０、フレームメモリ６２０、動き補償回路６３０、任意形状直交変換回路６４０より構成されている。任意形状逆直交変換回路６１０は、入力信号である再生画像信号をアルファマップ信号にしたがって逆直交変換する回路であり、フレームメモリ６２０はこの逆直交変換されたものをフレーム単位で一時保持するためのメモリである。動き補償回路６３０は動きベクトルの情報を受けて、フレームメモリ６２０の画像における前記動きベクトルで指し示された位置の画像をブロック単位で切り出して、任意形状直交変換回路６４０に供給するものであり、任意形状直交変換回路６４０はこの供給された画像に対して、アルファマップ信号に従って直交変換することにより、任意形状の動き補償予測値を直交変換することで、変換係数領域での動き補償予測値を求めるものである。
【０２１７】
このような構成において、変換係数領域での再生値が動き補償予測装置６００，６０１に与えられると、この再生値は当該動き補償予測装置内の任意形状逆直交変換回路６１０において、別途供給されるアルファマップ信号５０にしたがって再生画像信号に逆変換された後、フレームメモリ６２０に蓄積される。
【０２１８】
動き補償予測装置内の動き補償回路６３０では、フレームメモリ６２０に蓄積されている参照画像の中から、動きベクトルで指し示された位置の画像をブロック単位で切り出して、動き補償予測装置内の任意形状直交変換回路６４０に供給する。当該画像のブロックを受けた任意形状直交変換回路６４０では、外部から与えられるアルファマップ信号５０に従って直交変換することにより、任意形状の動き補償予測値を直交変換することができ、変換係数領域での動き補償予測値を求めて出力することができる。ここで、オブジェクトと背景の境界を含むブロックでは、オブジェクトと背景の変換係数を各々求める。
【０２１９】
こうして、変換係数領域での再生値から動き補償予測装置６００，６０１は変換係数領域での動き補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００に与えることになる。
【０２２０】
以上は第２の具体例における符号化装置の説明であった。つぎに第２の具体例における復号化装置について説明する。
【０２２１】
《第２の具体例における復号化装置の構成例》
図７は、本発明の復号化装置のブロック図である。
【０２２２】
この構成で図４と異なる部分は、動き補償予測装置２０１に代えて６０２の動き補償予測装置を設けたこと、動き補償予測装置２０３に代えて６０３の動き補償予測装置を設けたこと、分離化回路１５３に代えて１５７の分離化回路を設けたこと、の３点である。
【０２２３】
動き補償予測装置６０２，６０３はいずれもアルファマップ信号（alpha-map ）を参照して動き補償予測を行うものであり、分離化回路１５７は、分離化回路１５３が変換係数の量子化値や動きベクトル、量子化スケール等のサイドインフォメーション情報の各信号に分離して１４３に渡す構成であったのに対して、さらにアルファコードの符号を分離して、図示しないアルファマップ復号化装置に渡す機能を追加した点が異なる。
【０２２４】
このような構成において、変換係数の量子化値や動きベクトル、量子化スケール等のサイドインフォメーション情報そして、アルファコードなどが符号化され多重化されているベースレイヤ用のビットストリーム２３がベースレイヤの入力段に入力されると、このビットストリーム２３は、入力バッファ１６７に蓄積された後、分離化回路１５７に供給される。
【０２２５】
そして、この分離化回路１５７で変換係数の量子化値、動きベクトル、サイドインフォメーション情報、アルファマップコード等に分離される。分離された符号のうち、変換係数の量子化値、動きベクトル、サイドインフォメーション情報は、各々、可変長復号化回路１４３に供給され、変換係数の量子化値、動きベクトル、量子化スケール等の信号に復号される。なお、アルファマップ信号の符号（アルファコード）５６は、図示しないアルファマップ復号化装置に供給され、アルファマップ信号に変換されて動き補償予測装置６０２，６０３に与えられることになる。
【０２２６】
可変長復号化回路１４３で復号されたもののうち、変換係数の量子化値は、逆量子化回路１７３において逆量子化された後、加算回路１９３に供給される。加算回路１９３では、この逆量子化された変換係数と、動き補償予測装置６０３より供給される変換係数領域での動き補償予測値とが加算され、変換係数領域での再生値が求められる。
【０２２７】
この再生値は、動き補償予測装置６０３に供給され、任意形状逆直交変換回路６１０にて再生画像信号に逆変換され、出力再生画像信号４１として出力されると共に、フレームメモリ６２０に蓄積される。
【０２２８】
一方、変換係数の量子化値や量子化スケール等のサイドインフォメーション情報の信号が符号化され、多重化されたエンハンスメントレイヤのビットストリーム２２がエンハンスメントレイヤの入力段に入力されると、入力バッファ１６２に蓄積された後、分離化回路１５２に供給される。そして、分離化回路１５２で変換係数の量子化値の符号、サイドインフォメーション情報の符号等に分離される。
【０２２９】
分離化回路１５２で分離された符号は、各々、可変長復号化回路１４２に供給され、符号から変換係数の量子化値、量子化スケール等の信号に復号される。そして、変換係数の量子化値は、逆量子化回路１７２において逆量子化された後、加算回路１８１に供給され、ここでベースレイヤの逆量子化回路１７３から供給される逆量子化値３１と加算されて、加算回路１９２に供給される。
【０２３０】
加算回路１９２では、加算回路１８１の出力とセレクタ３００より供給される信号ＥP とが加算されて変換係数領域での再生値が求められる。この再生値は、動き補償予測装置６０２に供給され、この動き補償予測装置６０２内に設けてある任意形状逆直交変換回路６１０（図６参照）にて再生画像信号に逆変換されて、出力再生画像信号４０として出力されると共に、動き補償予測装置６０２内に設けてあるフレームメモリ６２０（図６参照）に蓄積される。
【０２３１】
動き補償予測装置内の動き補償回路６３０（図６参照）では、フレームメモリ６２０に蓄積されている参照画像の中から、動きベクトルで指し示された位置の画像をブロック単位で切り出して、動き補償予測装置内の任意形状直交変換回路６４０に供給する。任意形状直交変換回路６４０では、外部から与えられるアルファマップ信号５０に従って任意形状の動き補償予測値を直交変換することで、変換係数領域での動き補償予測値を求めて出力する。ここで、オブジェクトと背景の境界を含むブロックでは、オブジェクトと背景の変換係数を各々求める。
【０２３２】
こうして、動き補償予測装置６００，６０１は、変換係数領域での再生値から変換係数領域での動き補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００に与えることになる。
【０２３３】
《動き補償予測装置６００、６０１、６０２、６０３の構成》
図８を用いて、第２の具体例における動き補償予測装置６００、６０１、６０２、６０３の別の実施形態を説明する。この例は、従来よりオブジェクトの移動により隠ぺいされる背景領域の符号化効率を改善するために用いられている背景予測方式（例えば、宮本他：”背景予測を用いた適応予測符号化方式”PCSJ88,7-4,pp.93〜94、渡邊他：”適応４種差分−ＤＣＴ符号化方式”PCSJ88,8-2,pp.117 〜118 ）をオブジェクト同士の重なりに対しても使用可能なように拡張したものである。
【０２３４】
図８に示すように、動き補償予測装置は、任意形状逆直交変換回路６１０、ＳＷ回路６５０、フレームメモリ６２１，６２２，６２３、ＳＷ回路６５１、動き補償回路６３０、任意形状直交変換回路６４０とから構成される。
【０２３５】
任意形状逆直交変換回路６１０は、アルファマップ信号にしたがって再生画像信号を逆変換するものであり、変換係数領域での再生値が動き補償予測装置に与えられると、この再生値が当該動き補償予測装置の構成要素である任意形状逆直交変換回路６１０に与えられ、これによって、当該任意形状逆直交変換回路６１０は、再生値をアルファマップ信号（alpha-map ）に従って再生画像信号に逆変換するものである。このアルファマップ信号（alpha-map ）は復号化系に設けてある図示しないアルファマップ復号化装置から与えられる構成である。
【０２３６】
当該任意形状逆直交変換回路６１０にて逆変換された再生画像信号は、複数あるフレームメモリ６２１，６２２，６２３に蓄積されるが、フレームメモリ６２１，６２２，６２３のうち、どのフレームメモリに蓄積するか選択するのがＳＷ回路６５０である。フレームメモリ６２１，６２２，６２３のうち、例えば、フレームメモリ６２１と６２２はオブジェクト用、フレームメモリ６２３は背景用とする。オブジェクト用のフレームメモリが２画面分用意されているのは、画面に現われるオブジェクトが２種類ある場合に、それぞれオブジェクト別に画像を保持するためであり、オブジェクトが２種類以上ある場合に対処するためにはオブジェクト用のフレームメモリはその数分、用意してＳＷ回路６５０で選択できるようにすれば良い。
【０２３７】
ＳＷ回路６５０はアルファマップ信号（alpha-map ）に従ってスイッチを切り替えることにより、任意形状逆直交変換回路６１０からの再生画像信号をアルファマップ信号（alpha-map ）対応にフレームメモリ６２１，６２２，６２３に振り分けて蓄積させることができる。
【０２３８】
ＳＷ回路６５１はアルファマップ信号（alpha-map ）に従ってスイッチを切り替えることにより、アルファマップ信号（alpha-map ）対応にフレームメモリ６２１，６２２，６２３を選択してそのメモリに蓄積されている再生画像信号を読出すものであり、動き補償回路６３０は、ＳＷ回路６５１を介してフレームメモリ６２１，６２２，６２３から読み出された再生画像信号（参照画像）の中から、動きベクトルで指し示された位置の画像をブロック単位で切り出して、任意形状直交変換回路６４０に供給するものである。
【０２３９】
任意形状直交変換回路６４０は、フレームメモリ６２１，６２２，６２３からＳＷ回路６５１を介して読み出された動きベクトル指示位置の画像の再生画像信号をアルファマップ信号（alpha-map ）に基づいて直交変換することにより、アルファマップ信号（alpha-map ）で示される任意形状の画像の動き補償予測値を直交変換することができるもので、変換係数領域での動き補償予測値を求めて出力するものである。
【０２４０】
なお、図８の構成において、任意形状逆直交変換回路６１０に与えられるアルファマップは、複数のオブジェクトおよび背景に対して、該画素がいずれのオブジェクトに属しているかを特定することが可能であるとする。
【０２４１】
このような構成において、変換係数領域での再生値が動き補償予測装置に与えられると、この再生値はアルファマップ信号（alpha-map ）で示される任意形状の画像部分が任意形状逆直交変換回路６１０にて逆直交変換され、再生画像信号となる。この再生画像信号は、アルファマップ信号にしたがって、ＳＷ回路６５０により各々のオブジェクトおよび背景のフレームメモリ６２１，６２２，６２３に蓄積する。
【０２４２】
この蓄積された信号はアルファマップ信号にしたがって、ＳＷ回路６５１により順次選択されて読み出され、動き補償回路６３０に与えられ、動き補償予測値が求められる。
【０２４３】
このように、動き補償回路６３０において動き補償予測値を求める際には、アルファマップ信号にしたがって、ＳＷ回路６５１により各々のフレームメモリに蓄積されている参照画像より動き補償予測値を作成する。これにより、オブジェクト同士の重なりにより隠ぺいされた領域の符号化効率が向上する。
【０２４４】
動き補償回路６３０において求められた動き補償予測値は、任意形状直交変換回路６４０に送られ、ここでアルファマップ信号（alpha-map ）に基づいて直交変換することにより、アルファマップ信号（alpha-map ）で示される任意形状の画像の動き補償予測値の直交変換係数が得られることになる。
【０２４５】
このように、この例においては、動き補償回路６３０において動き補償予測値を求める際に、アルファマップ信号にしたがってオブジェクトと背景別に画像を蓄積したフレームメモリに蓄積された画像より、それぞれの動き補償予測値を作成するようにした。これにより、オブジェクト同士の重なりにより隠ぺいされた領域の符号化効率が向上する。
【０２４６】
《量子化器および逆量子化器の構成例》
次に、図２および、図９乃至図１１を用いて、第１の具体例および第２の具体例における量子化器１３０，１３１および逆量子化器１７０，１７１，１７２，１７３の別の構成例を説明する。
【０２４７】
図９および図１０の量子化マトリクスは、ＭＰＥＧ２のテストモデルであるＴＭ５に記載されているものである。ここでは、８×８個の変換係数に対して水平方向（ｈ）と垂直方向（ｖ）の２次元マトリクスで表記している。
【０２４８】
次式は、図９、図１０の量子化マトリクスを用いた量子化および逆量子化の例である。
【０２４９】
0003788823.tif 000002
ここで、
coef(v,h): 変換係数, level(v,h): 量子化値, coef'(v,h): 変換係数（再生値）
w(v,h):量子化マトリクス, Q_scale:量子化スケール
である。
【０２５０】
本例は、変換係数毎に量子化ステップサイズの重みを変えるための量子化マトリクスに関するものである。ＳＮＲスケーラビリティでは、ベースレイヤに比べてエンハンスメントレイヤの量子化が細かく行われる。
【０２５１】
従って、ベースレイヤでは、図９，図１０のような量子化マトリクスを用い、低域の変換係数を細かく量子化し、高域の係数を粗く量子化することで、量子化ステップサイズを一定にして符号化した場合と同じ符号化レートで符号化した場合に主観的な評価が高くなうことが多い。また、量子化回路において、センターデッドゾーンを大きくすることで、０の発生確率を高くした方が符号化効率が高くなり、低いレートでの再生画質が向上する。
【０２５２】
一方、エンハンスメントレイヤでも、高域の変換係数を粗く量子化すると、細かなテクスチャが再現されず、視覚的な劣化が生じ、高域の変換係数での帰還量子化雑音の影響も増加する。
【０２５３】
そこで、エンハンスメントレイヤではベースレイヤの量子化値ＢQ が“０”でない変換係数にのみ量子化マトリクスを用いる。図１１は、図２の例に対して得られた量子化マトリクスの例である。これにより、エンハンスメントレイヤでは、動き補償予測誤差の大きな変換係数の量子化誤差が大きくなるが、変化の大きな所での量子化誤差は視覚特性のマスキング効果により、目だたないため、視覚的な劣化は少ない。
【０２５４】
次に、図２と図１２、図１３を用いて、第１の具体例および第２の具体例において、量子化された変換係数を可変長符号化する際に行われる、１次元系列への変換の例を説明する。この１次元系列への変換は、一般に図１２に示されるジグザグスキャンと呼ばれる変換法が用いられる。
【０２５５】
図１２は水平方向（ｈ）と垂直方向（ｖ）各々８個に分けた２次元マトリクスであるが、図１２では、８×８個の変換係数を、升目内に付された番号が若い順に並べることで低域の変換係数が先に、高域の変換係数が後に並ぶことになる。従って、量子化値は順序が後になるほど“０”になる確率が高くなり、０ランの数と０ランの後の量子化値との組み合わせ事象を可変長符号化する際に符号化効率が高くなる。これは、低域の変換係数の方が電力が大きいという性質を利用したものである。
【０２５６】
そこで、本例では、エンハンスレイヤにおけるスキャン順序を、ベースレイヤの量子化値ＢQ が“０”でない位置の変換係数を、ＢQ が“０”となる位置の変換係数よりも先に並べ、各々をジグザグスキャンの順序の若い順に並べている。
【０２５７】
これは、ＢQ が“０”となる位置の変換係数は、エンハンスメントレイヤの動き補償予測誤差信号であり、ＢQ が“０”でない位置の変換係数は、ベースレイヤの量子化誤差であるため、両者の統計的性質が異なるものとの仮定に基づいている。図１３は、図２で示した例に対するスキャン順序である。図１３における升目内に振られた番号の順がスキャン順序である。
【０２５８】
上記の例では、変換基底がブロック間でオーバラップしていない例を示した。一方、文献：“如澤他，動き補償フィルタバンク構造を用いた画像符号化，PCSJ92,8-5,1992 ”では、基底がオーバラップしている場合でも変換後差分構成を取ることで符号化効率の低下の少ない動き補償フィルタバンク構造を用いた符号化法を提案している。
【０２５９】
本発明のように直交変換係数領域での予測符号化装置（変換後差分構成）には、上記文献の考え方が適用できるので、動き補償フィルタバンク構造を、上記の例に適用しても良い。
【０２６０】
以上の第２の具体例は、動画像の画面を所定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換することにより、空間周波数の帯域別に分けた変換係数を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域で、上位および下位の階層別に動き補償を行う動画像の符号化において、アルファマップ情報を用いて注目領域の画像についての動き補償を行うと共に、当該動き補償を行う際に、下位階層（ベースレイヤ）についての既に復号済みの量子化値に基づいて動き補償予測の当り外れを判定し、動き補償予測が当っている場合は上位階層（エンハンスメントレイヤ）用に求めた符号化歪みの少ない動き補償予測値を用い、動き補償予測が外れている場合は下位階層（ベースレイヤ）用に求めたエンハンスメントレイヤ用より符号化歪みの多い動き補償予測値を用いて上位階層の符号化を行うようにしたものであり、これにより、動き補償予測の外れた係数に対する符号化効率を改善して符号化効率の低下の少ない符号化を可能にする符号化方式を実現することができるようになる。
【０２６１】
従って、背景とオブジェクトを分離して符号化する任意形状画像の符号化装置において、解像度と画質を可変とすることが可能であり、しかも、符号化効率の良いスケーラブルな符号化装置および復号化装置を提供できる。
【０２６２】
（第３の具体例）
次に、図１４を用いて第３の具体例を説明する。
【０２６３】
図のように、オブジェクトと背景の境界を含むブロック（実線で囲んだブロック）では、オブジェクトと背景とで別々に動きベクトルが検出される。この際、オブジェクトあるいは背景のいずれかの画素数が少なくなるために、ノイズの影響が大きくなり動きベクトルの信頼性が低下する。
【０２６４】
そこで、境界部のブロックでは、他のブロック（破線のブロック）よりも動きベクトルの検出範囲を狭めるようにする。
【０２６５】
また、現フレームのオブジェクトは、参照フレームのやはりオブジェクトの部分から動いてきたものであるので、オブジェクトの部分の動きベクトルの探索範囲を参照フレームのオブジェクトの内部に限定した方が、動きベクトルの誤検出を削減できる。さらには、探索範囲を限定することで動きベクトルの探索演算量を少なくする効果もある。背景についても同様に、背景部分から動きベクトルを求めるようにする。
【０２６６】
このように、境界部のブロックでは、他のブロック（破線のブロック）よりも動きベクトルの検出範囲を狭めることで、大きな誤差が発生しにくくすることができるようになる。
【０２６７】
（応用例）
最後に、本発明の応用例として本発明の動画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図１５を用いて説明する。
【０２６８】
図１５（ａ）に示すように、このシステムは、パーソナルコンピュータ（ＰＣ）１００１に備え付けられたカメラ１００２より入力された動画像信号は、ＰＣ１００１に組み込まれた動画像符号化装置によって符号化される。この動画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。
【０２６９】
無線機１００４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた動画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。
【０２７０】
一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された動画像信号は、ＥＷＳ１００６に組み込まれた動画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはＰＣ１００１に組み込まれた動画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。
【０２７１】
図１５（ｂ）は、図１５（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像符号化装置の、そして、図１５（ｃ）は、図１５（ａ）におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像復号化装置の構成を概略的に示すブロック図である。
【０２７２】
図１５（ｂ）に示す動画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。情報源符号化部１１０１における処理や、伝送路符号化部１１０４における可変長符号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。
【０２７３】
一方、図１５（ｃ）に示す動画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。
【０２７４】
これらでの復号化処理は、本発明の各具体例で説明した如きの処理手法を適用する。
【０２７５】
【発明の効果】
以上、本発明によれば、大幅な符号化効率の低下無しに、任意形状画像の画質を多段階に可変とした、スケーラブル符号化が実現される。また、本発明によれば、任意形状の画像をＤＣＴ処理した際の発生符号量を少なくすることが可能となる。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の第１の具体例における符号化装置の構成例を示すブロック図。
【図２】本発明を説明するための図であって、本発明に適用する予測値切り換え法を説明する図。
【図３】本発明を説明するための図であって、本発明の第１の具体例における動き補償予測装置の構成例を示すブロック図。
【図４】本発明を説明するための図であって、本発明の第１の具体例における復号化装置の構成例を示すブロック図。
【図５】本発明を説明するための図であって、本発明の第２の具体例における符号化装置の構成例を示すブロック図。
【図６】本発明を説明するための図であって、本発明の第２の具体例における動き補償予測装置の構成例を示すブロック図。
【図７】本発明を説明するための図であって、本発明の第２の具体例における復号化装置の構成例を示すブロック図。
【図８】本発明を説明するための図であって、本発明の第３の具体例における動き補償予測装置の構成例を示すブロック図。
【図９】本発明を説明するための図であって、本発明に用いる量子化マトリクスの例を示す図。
【図１０】本発明を説明するための図であって、本発明に用いる量子化マトリクスの例を示す図。
【図１１】図２の例に対して得られた量子化マトリクスの例。
【図１２】水平方向（ｈ）と垂直方向（ｖ）各々８個に分けた２次元マトリクスの例。
【図１３】図２で示した例に対するスキャン順序を示す図。
【図１４】本発明を説明するための図であって、本発明の第４の具体例を説明する図。
【図１５】本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を説明するための図。
【図１６】ＭＰＥＧ２のＳＮＲスケーラビリティのブロック図。
【図１７】ＭＰＥＧ２の空間スケーラビリティのブロック図。
【図１８】アルファマップを説明する図。
【図１９】任意形状画像の直交変換を説明する図。
【図２０】本発明の第２の具体例における変形例を説明するための図であって、背景に平均値を配した例を示す図。
【図２１】本発明の第２の具体例における変形例を説明するための図であって、段差を小さくした例を説明するための図。
【図２２】本発明の第２の具体例における変形例を説明するための図であって、ブロック画素値の例を示す図。
【図２３】本発明の第２の具体例における変形例を説明するための図であって、段差を小さくした別の例を説明するための図。
【図２４】本発明の第２の具体例における変形例を説明するための図であって、ブロック画素値の例を示す図。
【図２５】本発明の第２の具体例における変形例としての符号化装置の例を示すブロック図。
【図２６】本発明の第２の具体例における変形例としての復号化装置の例を示すブロック図。
【符号の説明】
１００，２４０，２０１７…離散コサイン変換回路（ＤＣＴ回路）
１０１，６４０…任意形状直交変換回路
１１０，１１１，１２０，１２１…差分回路
１３０，１３１…量子化回路
１４０，１４１…可変長符号化回路
１４２，１４３…可変長復号化回路
１５０，１５１，１５５…多重化回路
１５２，１５３，１５７…分離化回路
１６０，１６１…出力バッファ
１６２，１６３…入力バッファ
１７０，１７１，１７２，１７３…逆量子化回路
１８０〜１８２，１９０〜１９３…加算回路
２００〜２０３，６００〜６０３…動き補償予測装置。
２１０，２０２１…逆離散コサイン変換回路（ＩＤＣＴ回路）
２２０，６２０，６２１〜６２３，７００…フレームメモリ
２３０，６３０…動き補償回路
３００…セレクタ
３１０…２値化回路
４００，４１０，４２０，４３０…符号化制御回路
５００，５１０…動きベクトル検出回路
６１０…任意形状逆直交変換回路
６５０，６５１…ＳＷ回路
２００３，２００５，２００９，２０２３，２０２５，２０２９…切り替え器
２００４，２０２４…判定器
２００６…符号化器
２０１０…縮小器
２０１１，２０３１…平均器
２０２０…復号器
２０３０…拡大器。
【図１】
0003788823.tif 000003
【図２】
0003788823.tif 000004
【図３】
0003788823.tif 000005
【図４】
0003788823.tif 000006
【図５】
0003788823.tif 000007
【図６】
0003788823.tif 000008
【図７】
0003788823.tif 000009
【図８】
0003788823.tif 000010
【図９】
0003788823.tif 000011
【図１０】
0003788823.tif 000012
【図１１】
0003788823.tif 000013
【図１２】
0003788823.tif 000014
【図１３】
0003788823.tif 000015
【図１４】
0003788823.tif 000016
【図１５】
0003788823.tif 000017
【図１６】
0003788823.tif 000018
【図１７】
0003788823.tif 000019
【図１８】
0003788823.tif 000020
【図１９】
0003788823.tif 000021
【図２０】
0003788823.tif 000022
【図２１】
0003788823.tif 000023
【図２２】
0003788823.tif 000024
【図２３】
0003788823.tif 000025
【図２４】
0003788823.tif 000026
【図２５】
0003788823.tif 000027
【図２６】
0003788823.tif 000028