(57)【特許請求の範囲】
【請求項１】
複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる画素信号ベクトルを該ブロックに対応する変換基底ベクトルの重み付け線形和として出力する画像符号化装置において、
前記複数の構成要素の境界情報に基づいて、前記複数のブロックのうち前記複数の構成要素の境界を含まないブロックの画素信号ベクトルを予め定められた直交変換基底ベクトルの重み付け線形和として変換出力する第１の変換手段と、
前記境界情報に基づいて、前記複数のブロックのうち前記境界を含むブロックにおける前記複数の構成要素に対応する符号化対象の各画像領域に対してそれぞれ、前記直交変換基底ベクトルを該画像領域の形状に合わせて修正した新たな変換基底ベクトルを導出し、前記境界を含むブロックの画素信号ベクトルを当該ブロックにおける画像領域毎に対応する新たな変換基底ベクトルの重み付け線形和として変換出力する第２の変換手段と、
前記境界情報に基づいて、前記第１の変換手段からの変換出力と前記第２の変換手段からの変換出力のいずれかを選択的に出力することで符号化された画像信号を直列に出力する選択出力手段とを具備し、前記第２の変換手段は、前記境界を含む各ブロックについて、前記直交変換基底ベクトルの前記各画像領域に対応する成分を保持するとともに、該成分以外の対応しない成分をゼロとして前記直交変換基底ベクトルをマスキングし、マスキングされた各直交変換基底ベクトルを該直交変換基底ベクトルのノルムの自乗で除することによりスカラー倍することにより、前記各画像領域の形状に合わせて修正された前記新たな変換基底ベクトルを導出することを特徴とする画像符号化装置。
【請求項２】
前記第２の変換手段によって、画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積を計算することにより前記修正された新たな変換基底ベクトルに対応する係数を求めて該係数毎に異なる重み付け演算を施した後の絶対値が最大となる前記係数を選択し、該係数に対応する前記直交変換基底ベクトルと該係数との積を前記画素信号ベクトルから減じることで残差信号ベクトルを導出して該残差信号ベクトルを前記画像信号ベクトルと置き換え、さらに、置き換えられた該画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積に基づいて新たな絶対値最大の係数の選択および新たな残差信号ベクトルの導出を行うことを前記各画像領域に対応する残差信号電力が予め定められた値以下になるまで繰り返すことにより前記修正された新たな変換基底ベクトルの係数を決定し、前記画像信号ベクトルを前記修正された新たな変換基底ベクトルの重み付け線形和として表現して変換出力することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記第２の変換手段によって、画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積を計算することにより前記修正された新たな変換基底ベクトルに対応する係数を求めて各係数の中から絶対値最大の係数を選択し、該絶対値最大の係数に対応する前記直交変換基底ベクトルと該絶対値最大の係数との積を前記画素信号ベクトルから減じることで残差信号ベクトルを導出して該残差信号ベクトルを前記画像信号ベクトルと置き換え、さらに、置き換えられた該画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積に基づいて新たな絶対値最大の係数の選択および新たな残差信号ベクトルの導出を行うことを前記各画像領域に対応する残差信号電力が予め定められた値以下になるまで繰り返すことにより前記修正された新たな変換基底ベクトルの係数を決定し、前記画像信号ベクトルを前記修正された新たな変換基底ベクトルの重み付け線形和として表現して変換出力することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記直交変換基底ベクトルは離散コサイン変換基底ベクトルであることを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置に関し、特に分割されたブロック毎に各画像構成要素について処理を行う画像符号化装置に関するものである。
【０００２】
【従来の技術】
従来の画像信号の高能率符号化は、画像信号の水平または垂直方向の相関を利用した直交変換により特定の変換係数に信号電力を集中させて必要ビット数の削減を図るものが多い。この直交変換を用いた高能率符号化では１枚の画像を一定数の画素からなる一定形状の複数の単位ブロック（以下、ブロックと記す）に分割して各ブロック毎に変換を行い、各ブロック内の画素を基本となる基底ベクトルの重み付き線形和として表し、この重みを量子化してこの対応番号を伝送している。
【０００３】
ＭＰＥＧの標準化に代表されるこれまでの画像符号化においては、１枚の画像はその画像内容とは関係なく連続したデータ列としてのみ扱われ、より少ないビット数でより高忠実に画像の波形（パターン）を再現することが目標とされている。このような従来の画像符号化では、通常ＤＣＴ(Discrete Cosine Transform) 等のように基本的に定常性を前提とした処理が用いられている。このため、前景と背景といった画像信号に本質的に内在する非定常性により、符号化効率や復号画質の低下をきたすことになる。また従来、画像の信号処理やハンドリングは、１枚の画像毎に、動画像の場合にはひと続きのフレーム毎に一括して扱われている。すなわち、画像構成要素単位等、より小さな単位で信号処理やハンドリングを行うことは考慮されていない。
【０００４】
そこで、近年、画像信号を各画像構成要素に対応する複数の画像領域に分割した上で処理して符号化を行うための研究が活発になってきている。この符号化では、上述のような非定常性を回避した上で、画像領域毎に最適な処理手法を選択して施すことができるため、より高性能な符号化が可能となる。また、画像構成要素毎に処理が可能となるため、よりハンドリング性のよい画像処理を行うことができる。
【０００５】
従来の画像信号の波形符号化では、ＤＣＴ符号化に代表されるように画像を一定サイズの矩形ブロックに分割して処理を行っていた。しかし、画像領域毎に処理する場合、画像領域形状は一般に矩形にはならないので、従来の手法（画像を一定サイズの矩形ブロックに分割してブロック毎に処理する方式）をそのまま用いることができない。そこで、従来のブロックベースの符号化手法を基本に、任意形状の符号化対象画像領域を構成する画素群に対して処理を行う拡張手法がいくつか提案されている。
【０００６】
任意形状の画像領域の符号化に従来の符号化手法、特に、直交変換を用いる手法は、画像領域の形状からそれに合致した変換基底を導出して用いる手法、および変換対象画像信号を操作して基底自体はＤＣＴなど従来のものをそのまま用いる手法の２つに大別される。
【０００７】
前者の手法として、Gilge による手法、加藤による手法、および松田らによる手法が挙げられる。Gilge は多項式を基本として形状から直交変換の基底を求めている(Gilge M., Engelhardt T. and Mehlan R.：“Coding of Arbitrary Shaped Image Segments Based on a Generalized Orthogonal Transform ”，Signal Processing Image Comm., 1,2, pp.153-180(Oct. 1989))。
【０００８】
また加藤や松田らは、画像の相関モデルおよび画像領域形状からＫＬ（カルーネン・レーベ）変換基底を導出している(Kato Y.，“Segment-based Still Image Coding Arbitrary Shape Orthogonal Transforms”，Proc pcs’91, pp.357-360(Sept. 1991)，松田一朗、伊東晋、宇都宮敏男：“画像の適応的可変ブロック形状ＫＬ変換符号化”，信学論  Ｂ−Ｉ，vol.J76-B-I, No.5, pp.399-408(May 1993))。
【０００９】
加藤は同時に、ＫＬ変換基底導出に必要な固有値問題を解く代わりに、ＤＣＴの基底を初期基底として用い、これを画像領域形状内で直交化することにより任意形状ＫＬ変換に類似した基底を持つ任意形状ＤＣＴ（ＡＳ(Arbitrary Shaped)−ＤＣＴ）を提案している。このＡＳ−ＤＣＴでは、符号化対象画像領域の画像形状をもとに導く変換基底の数がその画素数に等しくなるため、変換基底毎に計算される伝送すべき変換係数の数も画素数に等しくなる。
【００１０】
これらの手法により、ほぼ最適な電力集中特性を得ることができる。また、これらの手法では、変換基底は画像領域形状から導出しているので、画像領域形状さえ伝送していれば基底関数を伝送しなくても受信側で再現することができる。
【００１１】
後者の手法として、Sikoraらによる手法、木村による手法、および伊藤らによる手法が挙げられる。SikoraらによるＳＡ(Shape Adaptive)−ＤＣＴ手法（Sikora T. and Makai B.：“Shape-adaptive DCT for generic encoding of video”，ＩＥＥＥ Trans. on Circuits and Systems for Video Technology，5,1(1995))では、まず画像領域の水平方向のライン毎に領域の幅に応じた次数の１次元ＤＣＴを施し、得られた係数を低周波側にシフトして最低周波数係数が垂直に並ぶようにする。次に、同様の操作を垂直方向に対して行う。このＳＡ−ＤＣＴでは、符号化対象画像領域の画素数に一致した次数の１次元ＤＣＴにより各々の変換を行う。したがって、これも最終的には伝送すべき変換係数の数は符号化対象画像領域の画素数に等しくなる。
【００１２】
また、木村、および伊藤らによって、矩形形状の２次元ＤＣＴを用いることにより、矩形ブロック内で符号化対象画像領域に属さない画素については画像領域内画素の平均レベル等で外挿を行う手法（ＲＦ−ＤＣＴ：Region Filling DCT）が提案されている（木村淳一：“ブロック内領域分割による画像符号化の検討”，Proc．PCSJ’95, 3-7,pp.39-40(Oct. 1995) ，伊藤典男、堅田裕之、草尾寛：“任意形状領域に対するＤＣＴ実現手法の検討”，Proc．PCSJ’95, 5-2, pp.77-78(Oct. 1995)) 。
【００１３】
このＲＦ−ＤＣＴでブロック内に２つの画像領域が混在するときには、画像領域毎にブロックＤＣＴを行う。このため変換係数は画像領域毎にブロックの大きさ分だけ（すなわち、２つの画像領域を含んだブロックの画素数だけ）導出される。したがって、両方の画像領域分を併せると、１ブロックに対し２ブロック分の数の変換係数が導出され、これら２ブロック分の変換係数を伝送する必要がある。しかし、この伝送すべき変換係数の数は非圧縮の場合である。
【００１４】
ＲＦ−ＤＣＴでは、見かけ上画素数の倍の変換係数を伝送する必要があり、ＡＳ−ＤＣＴやＳＡ−ＤＣＴ、あるいは画像領域分割を行わず単純にブロックに対しブロックＤＣＴをかける場合に比べて符号化効率上不利であるように見える。しかし、通常ＤＣＴを用いた高能率符号化においては視覚的に重要かつ電力の大半を占める低周波成分に相当する変換係数のみを伝送するため、実効的に伝送する変換係数の数はＳＡ−ＤＣＴなどの場合と殆ど同じである。
【００１５】
【発明が解決しようとする課題】
しかしながら、従来のブロックベースの符号化手法を基本に任意形状の画素群に対して従来のＤＣＴを適用するの拡張手法いくつか提案されているものの、ＡＳ−ＤＣＴにおける基底の導出の際には、固有値問題の解を導出したり、シュミットの直交化法を使用する必要があるため、演算量が膨大なものとなり、あまり大きな形状の画像領域を扱うことは現実的ではないという問題点がある。また、導出された基底は正弦関数ではないので変換は周波数分析としての意味合いは薄く、視覚特性を考慮した量子化を変換係数に施すことが困難であるという問題点がある。
【００１６】
また、ＳＡ−ＤＣＴ手法は１次元ＤＣＴと係数の周波数シフト処理で実現できるため比較的簡単な処理で済むが、周波数シフト処理により画像領域の輪郭形状に応じてライン間の位相がずらされるため、垂直方向の相関が低くなるという問題点がある。また最終的に求められる係数の位置は空間周波数的な意味合いをあまり持たないので、視覚特性の導入が困難になるという問題点がある。さらに、ＲＦ−ＤＣＴ手法は簡易であり、低周波の画像領域内外の連続性はある程度保証されるものの、中・高周波については不連続となり、挿入画素レベルの最適性、ひいては画像領域内画素記述法としての最適性は保証されないという問題点がある。
【００１７】
このように、従来のブロックベースの符号化手法を基本に任意形状の画素群の処理を行う上記した各拡張手法では、符号化効率、計算量、視覚特性の導入を可能とする周波数分析能力の点でいずれも問題点を有している。
【００１８】
そこで本発明は、上記の問題点を解決した画像符号化装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記の課題を解決するために本発明装置では、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる画素信号ベクトルを該ブロックに対応する変換基底ベクトルの重み付け線形和として出力する画像符号化装置において、前記複数の構成要素の境界情報に基づいて、前記複数のブロックのうち前記複数の構成要素の境界を含まないブロックの画素信号ベクトルを予め定められた直交変換基底ベクトルの重み付け線形和として変換出力する第１の変換手段と、前記境界情報に基づいて、前記複数のブロックのうち前記境界を含むブロックにおける前記複数の構成要素に対応する符号化対象の各画像領域に対してそれぞれ、前記直交変換基底ベクトルを該画像領域の形状に合わせて修正した新たな変換基底ベクトルを導出し、前記境界を含むブロックの画素信号ベクトルを当該ブロックにおける画像領域毎に対応する新たな変換基底ベクトルの重み付け線形和として変換出力する第２の変換手段と、前記境界情報に基づいて、前記第１の変換手段からの変換出力と前記第２の変換手段からの変換出力のいずれかを選択的に出力することで符号化された画像信号を直列に出力する選択出力手段とを具備し、前記第２の変換手段は、前記境界を含む各ブロックについて、前記直交変換基底ベクトルの前記各画像領域に対応する成分を保持するとともに、該成分以外の対応しない成分をゼロとして前記直交変換基底ベクトルをマスキングし、マスキングされた各直交変換基底ベクトルを該直交変換基底ベクトルの自乗のノルムで除することによりスカラー倍することにより、前記各画像領域の形状に合わせて修正された前記新たな変換基底ベクトルを導出する構成とした。
【００２１】
また、前記第２の変換手段によって、画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積を計算することにより前記修正された新たな変換基底ベクトルに対応する係数を求めて各係数の中から絶対値最大の係数を選択し、該絶対値最大の係数に対応する前記直交変換基底ベクトルと該絶対値最大の係数との積を前記画素信号ベクトルから減じることで残差信号ベクトルを導出して該残差信号ベクトルを前記画像信号ベクトルと置き換え、さらに、置き換えられた該画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積に基づいて新たな絶対値最大の係数の選択および新たな残差信号ベクトルの導出を行うことを前記各画像領域に対応する残差信号電力が予め定められた値以下になるまで繰り返すことにより前記修正された新たな変換基底ベクトルの係数を決定し、前記画像信号ベクトルを前記修正された新たな変換基底ベクトルの重み付け線形和として表現して変換出力する構成とした。
【００２２】
また、前記第２の変換手段によって、画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積を計算することにより前記修正された新たな変換基底ベクトルに対応する係数を求めて該係数毎に異なる重み付け演算を施した後の絶対値が最大となる前記係数を選択し、該係数に対応する前記直交変換基底ベクトルと該係数との積を前記画素信号ベクトルから減じることで残差信号ベクトルを導出して該残差信号ベクトルを前記画像信号ベクトルと置き換え、さらに、置き換えられた該画像信号ベクトルと前記修正された新たな変換基底ベクトルとの内積に基づいて新たな絶対値最大の係数の選択および新たな残差信号ベクトルの導出を行うことを前記各画像領域に対応する残差信号電力が予め定められた値以下になるまで繰り返すことにより前記修正された新たな変換基底ベクトルの係数を決定し、前記画像信号ベクトルを前記修正された新たな変換基底ベクトルの重み付け線形和として表現して変換出力する構成とした。
【００２３】
また、前記直交変換基底ベクトルは離散コサイン変換基底ベクトルであるように構成した。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。
【００２５】
（第１の実施の形態）
図１は本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【００２６】
本実施の形態では、処理対象画像は人などの前景と背景とで構成されていて画像構成要素数は２であり、分割された各単位ブロック（以下、ブロックと記す）内の画像領域は最大で２（最小は１）である。また、各画像構成要素が画面内で占める領域を表す領域情報（境界情報）は既知であるものとする。
【００２７】
図１に示す画像符号化装置は、領域情報が入力されるブロック化回路１，処理対象の画像信号が入力されるブロック化回路２，ＤＣＴ(Discrete Cosine Transform；離散コサイン変換）基底供給回路３，サポート領域修正回路４および５，係数導出回路６および７および８，組合せ回路９，判定回路１０，並びに切替え回路１１により構成されている。サポート領域修正回路は、処理対象画像の画像構成要素数だけ必要である。
【００２８】
画像信号はブロック化回路２に、その領域情報はブロック化回路１に供給され、Ｎ×Ｎの一定の寸法の複数のブロックに対するブロック信号およびブロック領域情報に分割される。画素数Ｎの値は一般には８または１６であるが、本実施の形態ではＮ＝８として説明する。
【００２９】
ここで、図２はブロック化された領域情報の一例を示す説明図である。
【００３０】
図２において、画像２０は画像構成要素として人と背景とを含んでおり、水平方向（ｘ方向）に８分割、垂直方向（ｙ方向）に６分割され、４８個の矩形ブロックの領域情報に分割されている。図２中＊を付した１５個のブロック領域情報（（ｘ，ｙ）＝（３，３），（４，１），（４，２），（４，３），（４，４），（４，５），（４，６），（５，１），（５，４），（５，６），（６，１），（６，２），（６，３），（６，４），（６，５））は、各ブロックが人を画像構成要素とする網掛け部分で示す画像領域２１の一部と、白地で示す背景を画像構成要素とする画像領域２２の一部とで構成されることを表している。換言すれば、これらのブロック情報はブロック内に画像構成要素の境界があり、画像が非矩形で構成されることを表している。
【００３１】
その他のブロック領域情報は、各ブロックが人のみ、または背景のみを画像構成要素とすることを表している。換言すれば、これらのブロック情報はブロック内に画像構成要素の境界がなく、画像が矩形で構成されることを表している。図２で示したようにブロック化回路１によってブロック化されたブロック領域情報は、サポート領域修正回路４および５，係数導出回路６，並びに判定回路１０に供給される。サポート領域修正回路４および５では、ＤＣＴ基底供給回路３から供給されたＤＣＴ基底のサポート領域をブロック毎に画像領域形状に応じて修正する。サポート領域修正回路４では２つの画像領域のうち１つの画像領域（たとえば人とする）の領域形状に、サポート領域修正回路５ではもう一方の画像領域（背景とする）の領域形状に対応して修正が行われる。サポート領域修正回路４および５によるサポート領域修正方法については後述する。
【００３２】
また、ブロック化回路２によってブロック化された画像信号は、係数導出回路６および７および８に供給される。人のみで構成されるブロックおよび背景のみで構成されるブロックの画像信号に対しては、係数導出回路６によりＤＣＴ基底供給回路３から供給された２次元ＤＣＴ基底を修正せずに用いて、ＤＣＴ係数の導出およびその符号化を行う。係数導出回路６からの符号化データは、切替え回路１１に供給される。
【００３３】
人の一部と背景の一部とが混在するブロックの画像信号に対しては、係数導出回路７および８により各々サポート領域修正回路４および５から供給される修正されたＤＣＴ基底を用いてＤＣＴ係数の導出およびその符号化を行う。このＤＣＴ係数の導出およびその符号化については後述する。
【００３４】
係数導出回路７および８からの符号化データは、それぞれ組み合わせ回路９に供給される。そして、１つのブロックを構成する２つの画像領域を記述する符号化データが多重された符号化データとされて、組み合わせ回路９から切替え回路１１に供給される。組み合わせ回路９による符号化データの多重は、切替え回路１１によりブロック単位の切替えを行なうために１つのブロック内の２つの画像領域の符号化データをまとめるための処理であり、係数導出回路７および８からの２つの符号化データ列を単に直列に並べるものである。
【００３５】
一方、判定回路１０では、ブロック化回路１から供給された各ブロックのブロック領域情報に基づいて、各ブロック毎に１つの画像領域（人または背景）のみが存在するか２つの画像領域（人および背景）が混在するかを判定する。この判定回路１０からの判定信号は、切替え回路１１に供給される。
【００３６】
切替え回路１１は判定回路１０からの判定信号に基づき、１つの画像領域のみが存在するブロックに対しては係数導出回路６からの符号化データを、２つの画像領域が混在するブロックに対しては組み合わせ回路９からの符号化データを選択的に切替えて圧縮された直列データとして出力する。すなわち、図２において＊を施した２つの画像領域が混在するブロックに対しては組み合わせ回路９からの直列に多重された符号化データを出力し、その他の１つの画像領域から構成されるブロックに対しては係数導出回路６からの重み付け線形和で表される符号化データを出力する。
【００３７】
次に、サポート領域修正回路４および５によるサポート領域修正の方法について説明する。
【００３８】
図３はサポート領域修正回路４および５において処理されるブロック内の符号化対象画像領域の一例を示す説明図である。
【００３９】
本実施の形態では、前述したとおり分割された各ブロックの寸法は８×８（Ｎ＝８）であり、たとえばサポート領域修正回路４により一つの画像構成要素である人を表す網掛け部分の画素群（符号化対象画素数Ｍ＝３１）に対してサポート領域修正を行うものとする。この場合、もう一つのサポート領域修正回路５によって、他の画像構成要素である背景を表す白色で示す画素群に対するサポート領域修正が人を表す網掛け部分の画素群に対するサポート領域修正とは別々に行われる。このため、一つの画像を構成する画像構成要素の数だけサポート領域修正回路が必要になる。
【００４０】
ここでは、説明の便宜上サポート領域修正回路４によるサポート領域修正についてのみ説明し、サポート領域修正回路５によるサポート領域修正についての説明は省略する。ＤＣＴ基底供給回路３からは、予め定められた大きさＮ×Ｎ（Ｎ＝８）の
【００４１】
【外１】
0003907724.tif 000002
【００４２】
が供給される。
【００４３】
上記ＤＣＴ基底ベクトル（後に説明する図４（ａ）参照、ただし図４では１次元の表現である）のＮ×Ｎ個の各々の成分のうち、符号化対象（サポート）画像領域に対応するＭ個（Ｍ＝３１）の成分を保持し、その他の３３個の成分が０となるように
【００４４】
【外２】
0003907724.tif 000003
【００４５】
を設定し、符号化対象画像領域を修正する。そして、以下に示す式（１）の演算を行って
【００４６】
【外３】
0003907724.tif 000004
【００４７】
を求め、マスキングされたベクトルをノルムの自乗で除算することで符号化対象画像構成要素の形状に修正された新たな変換基底ベクトルを算出し、ノルム補正を行う。すなわち、
【００４８】
【数１】
0003907724.tif 000005
【００４９】
により
【００５０】
【外４】
0003907724.tif 000006
【００５１】
が求められる。この新たな変換基底ベクトルは、ＤＣＴ基底ベクトルをスカラー倍することで非正規であることを補正されている。
【００５２】
図４は上述したサポート領域修正の例を示す説明図である。図４では、説明の便宜上、２次元のブロックではなく１次元の８画素のブロックに対する例を示している。図４（ａ）は予め定められたＤＣＴ基底ベクトルを、図４（ｂ）はサポート領域修正後のマスキングされたベクトルを、図４（ｃ）はノルム補正後の新たな変換基底ベクトルをそれぞれ表している。
【００５３】
図４中、網掛けされた正方形は符号化対象画素を、白い正方形は符号化対象外の画素を表している。図４（ｂ）に示すサポート領域修正後のマスキングされたベクトルは、ＤＣＴ基底ベクトルの符号化対象外の画素に対応する所定の成分をマスキングされて０とされており、図４（ｃ）に示すノルム補正後の画像構成要素の形状に修正された新たな変換基底ベクトルは、マスキングされたベクトルの符号化対象画素に対応する各成分をスカラー倍したものとなっている。
【００５４】
次に、係数導出回路７および８における係数導出法について説明する。
【００５５】
ここで、
【００５６】
【外５】
0003907724.tif 000007
【００５７】
を示すブロック化回路２からの画像信号ベクトル（要素数Ｎ×Ｎ）とする。
【００５８】
まず、第１の段階では、上記画像信号ベクトルとノルム補正後の修正された
【００５９】
【外６】
0003907724.tif 000008
【００６０】
との内積を計算してスカラー関数
【００６１】
【数２】
0003907724.tif 000009
【００６２】
に変換して修正された
【００６３】
【外７】
0003907724.tif 000010
【００６４】
を求め、これらの係数の中から次式により絶対値が最大の係数ｃk を選択する。
【００６５】
【数３】
0003907724.tif 000011
【００６６】
次に、第２の段階では、絶対値最大の係数ｃk に対応する
【００６７】
【外８】
0003907724.tif 000012
【００６８】
次式のとおり絶対値が最大の係数ｃk と絶対値が最大の係数ｃk に対応する上記ＤＣＴ基底ベクトルとの積の成分を上記画像信号ベクトルから減じて除去することで残差信号ベクトルを求め、これを画像信号ベクトルと置き換える。
【００６９】
【数４】
0003907724.tif 000013
【００７０】
次に、第３の段階では、第２の段階において求めた上記の残差信号ベクトルで置き換えられた画像信号ベクトルと前記したノルム補正後の修正された新たな変換基底ベクトルとの内積を第１の段階と同様に再び計算してスカラー関数に変換して、この関数の係数のうちから第１の段階と同様に新たな絶対値最大の係数を選択する。
【００７１】
次に、第４の段階では、第３の段階において選択された絶対値が最大の係数ｃk とこの係数に対応するＤＣＴ基底ベクトルとの積の成分を画像信号ベクトルから減じて除去することで第２の段階と同様に再び新たな残差信号ベクトルを求め、画像信号ベクトルと置き換える。
【００７２】
次に、第５の段階では、第４の段階において求められた残差信号ベクトル、すなわち画像信号ベクトルに基づいて、残差信号ベクトルによる残差信号電力が予め十分小さな値に定められた閾値以下であるかを評価し、閾値以下であればこのときの修正された新たな変換基底ベクトルの係数を採用し、重み付け線形和としてて符号化して変換出力する。ここで残差信号電力の評価は符号化対象画像構成要素分だけとする。すなわち、第２の段階での処理はＮ×Ｎの要素に対して施されるが、目的は符号化対象のＭ個の画素のレベルを表現することにあるので、誤差の評価は残差信号ベクトルの要素のうち、このＭ個に対応する要素の自乗和で行なう。
【００７３】
一方、残差信号電力が十分小さな閾値以下になっていないと判定されたときは再び第３の段階に戻って処理を続行し、第５の段階において残差信号電力が予め十分小さな値に定められた閾値以下であると評価されるまで、第３の段階と第４の段階と第５の段階の処理を繰り返し実行する。
【００７４】
なお、各変換基底ベクトルは直交していないので、一度除かれた成分が他の成分の除去に伴って再び現れることもある。この場合、同一変換基底の係数を累積し、その結果を最終的に採用する。
【００７５】
このように、上記した本実施の形態によれば、比較的小さなハードウェア規模で、高能率かつ画像構成要素単位で画像信号のハンドリングを行うことのできる画像符号化を実現することができる。
【００７６】
図５は近年発表された従来の任意形状符号化と本発明の第１の実施の形態による画像符号化の諸特性を比較して表す説明図である。なお、本発明による符号化手法では、一般的変換基底を領域情報に基づいて画像構成要素の形状に修正した変換基底を導出しているので、本出願人らはこの手法を（ＲＳ(Region Shaped) −ＤＣＴ）と名付けている。
【００７７】
図５において、各特性の良し悪しを表す印は、二重丸は非常に優れていることを、丸は優れていることを、三角は普通であることを、×は劣っていることをそれぞれ表している。
【００７８】
本発明によるＤＣＴを用いたＲＳ−ＤＣＴによる高能率符号化では見かけ上画素数の倍の変換係数が導出されるが、視覚的に重要かつ電力の大半を占める低周波成分に相当する変換係数のみを高い電力集中特性により伝送するため、実効的に伝送する変換係数の数は従来のＳＡ−ＤＣＴなどの場合と同等以下であることが計算機によるシミュレーションにより確認されている。このため、ＲＳ−ＤＣＴはデコーダー演算量が少なくて済み、周波数分析能力が特に優れており、他の特性でも劣る点がないことがわかる。
【００７９】
（他の実施の形態）
本実施の形態は、第１の実施の形態と同様のブロック構成により実現できる。ただし、係数導出回路７および８は、変換係数毎に異なった重み付けを持つ評価関数を用いて係数導出を行うように構成されている点で第１の実施の形態とは異なっている。
【００８０】
すなわち、係数導出回路７および８による係数導出における第１の段階において、たとえば下式のように係数の次数の逆数で重み付けした各係数の絶対値の中から絶対値最大の係数ｃk の選択を行ってもよい。
【００８１】
【数５】
0003907724.tif 000014
【００８２】
重み付けは係数ｃk の選択にのみ用い、係数ｃk を選択した後の第２の段階以降の処理は第１の実施の形態による処理と同様に行う。この手法により、高周波の係数の出現を抑えることができ、第１の実施の形態と比べてさらに情報量の削減を行なうことができる。
【００８３】
なお、ここでは次数の逆数を重み付けに用いることにより高周波電力を低減したが、どの係数に電力を集中させたいかという目的に応じて任意の重み付けを用いてもよい。
【００８４】
上記した各実施の形態における符号化処理による符号化データは、基本的に従来のブロックベースの復号法によって復号することができる。１ブロックに２つの画像領域があるときは、各々のデータを復号すると各々についてブロック形状の復号画像が得られる。これらから、別途伝送した領域情報に従い、有効な画像信号を画素毎に選択し、両方の画像領域の画像信号が混在した所望の１ブロックの画像信号が得られる。
【００８５】
このように本発明装置では、従来のブロックベースの符号化と同等の復号演算量、周波数分析能力をもたせるために、従来の矩形形状のブロック符号化処理に必要最小限の修正を施している。すなわち、符号化対象画像領域が非矩形のとき、従来の符号化に用いる変換基底のサポート領域をその符号化対象画像領域に合わせるように修正した上で矩形処理することにより、従来符号化との整合性を保ちつつ任意形状画像信号の処理を行なうことができる。本発明装置に係わる変換手法は矩形変換を基本とするが、変換基底として一定の次数のブロックベースの変換基底を修正して用いている点で、符号化対象画像領域毎に変換基底を導出して用いる従来技術の前者の手法と考え方を異にし、基底自体を従来のものを用いる従来技術の後者の手法の２つ目とも考え方を異にし、従来の技術に記載した三つの手法のいずれにも属さない新規な手法である。
【００８６】
【発明の効果】
以上説明したように本発明によれば、従来の符号化に用いている一般的な変換基底をその符号化対象画像領域に合わせるように修正した上で処理することにより従来符号化との整合性を保つことができ、視覚的に重要かつ電力の大半を占める低周波成分に相当する変換係数のみを高い電力集中特性により伝送するため、実効的に伝送する変換係数の数は従来の任意形状ＤＣＴなどの場合と同等以下となり、デコーダー演算量が少なくて済み比較的小さなハードウェアにより実現でき、また周波数分析能力が特に優れているために容易に視覚特性の導入を行うことができるという効果がある。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【図２】ブロック化された領域情報の一例を示す説明図である。
【図３】サポート領域修正回路４および５において処理されるブロック内の符号化対象画像領域の一例を示す説明図である。
【図４】サポート領域修正の例を示す説明図である。
【図５】近年発表された従来の任意形状符号化と本発明の第１の実施の形態による画像符号化の諸特性を比較して表す説明図である。
【符号の説明】
１，２  ブロック化回路
３  ＤＣＴ基底供給回路
４，５  サポート領域修正回路
６，７，８  係数導出回路
９  組合わせ回路
１０  判定回路
１１  切替え回路
２０  画像
２１  前景
２２  背景
【図１】
0003907724.tif 000015
【図２】
0003907724.tif 000016
【図３】
0003907724.tif 000017
【図４】
0003907724.tif 000018
【図５】
0003907724.tif 000019