(57)【特許請求の範囲】
【請求項１】
任意形状の部品画像を組み合わせた画像の編集を行うための画像符号化装置であって、
前記部品画像領域を矩形に区切り、その結果得られる符号化対象領域が任意形状の場合に、該符号化対象領域内部の画素値を用いて外挿補間を行うことにより、矩形の符号化ブロックを構成する外挿補間部と、
前記外挿補間された矩形の符号化ブロックに対し直交変換を行う直交変換部と、
前記直交変換により得られる係数を符号化する変換係数符号化部と、
前記部品画像領域の形状情報を符号化する形状情報符号化部とを備え、
前記外挿補間部は、まず前記符号化対象領域の境界部より順に外挿補間の対象となる画素をその垂直方向及び水平方向に隣接する２画素の平均値で置換して、前記符号化対象領域の外接四角形に相当する領域を外挿し、次に外挿補間の対象となる画素をその周囲の前記外接四角形に相当する領域の３画素の平均値で置換する処理を、前記符号化ブロックの境界まで繰り返すことを特徴とする画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、任意形状画像を対象とする画像符号化装置及び画像復号装置に関するものである。
【０００２】
【従来の技術】
画像符号化において、特に超低ビットレート符号化方式を実現するため、従来の矩形の画像領域以外に任意形状の画像を取り扱う手法の要求がある。また、データベース上に部品となる画像を蓄積しておき、これらを組み合わせた画像の編集・加工を可能にする符号化方式でも上記手法が必要と考えられる。
【０００３】
図９は、任意形状を取り扱う一般的な画像符号化器の構成を示す図で、入力された原画像は、任意形状直交変換部１において、その形状情報に基づき直交変換され、得られた係数は量子化部２で量子化され、可変長符号化される。また、形状情報も、例えば、チェイン符号化法などにより符号化される。こうした符号化装置において、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）のような直交変換を任意形状の領域に適用するための拡張方式が導入されている。
【０００４】
すなわち、図１０に示されるような部品画像陰影を、例えば８×８の矩形領域（変換ブロック）Ａに分割し、直交変換を施す場合に、境界部Ｂは、図１０に示すような符号化領域Ｉと背景ＩＩに分けられるため、従来手法を直接適用できず、任意形状を取り扱うための何らかの拡張が必要になる。
【０００５】
一方、復号器は、図１２に示すように、逆量子化部３にて逆量子化され、逆直交変換部４で元の任意形状画像が得られるという符号化と逆の手順がとられる。
【０００６】
任意形状を取り扱うための拡張法としては、例えば、文献「ＤＣＴを用いた画像の可変ブロック形状変換符号化の性能評価」（１９９２年画像符号化シンポジウム（ＰＣＳ  Ｊ９２），７−１０）に記載されている方式がある。図１３は、この方式を用いた任意形状直交変換手法を示している。図１３において、入力された原画像は、形状情報に基づき、適切なデータ数のＤＣＴ変換部５にて１次元ＤＣＴを施され、転置部６で低周波方向にシフトした後に転置を行い、もう一度同様の１次元ＤＣＴ変換７が施され、低周波部へのシフトが行われ、変換が終了する。ここで、形状情報を加味しながら複数のサンプル点の直交変換を施す点が従来の矩形ベースの直交変換と大きく異なる。一方、復号はこの逆の手段をとる。また、文献「Ｓｈａｐｅ−Ｄａｐｔｉｖｅ  ＤＣＴ  ｆｏｒ  Ｇｅｎｅｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｖｉｄｅｏ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，  Ｖｏｌ．５，  Ｎｏ．１，  １９９５年２月）でも、同様にして任意形状領域へＤＣＴを適用する手法が紹介されている。
いずれの方式も、Ｈ．２６３に代表される標準符号化方式の構成を大きく変更することなく、任意形状をした画像を効率良く符号化できるのが特徴である。
【０００７】
【発明が解決しようとする課題】
前述のごとく、任意形状直交変換は、例えば、ＤＣＴの場合で言えば、図１３に示したように、矩形ベースのＤＣＴと比べると、符号化装置・復号化装置ともに複雑な処理が必要とされる。すなわち、従来の８点ＤＣＴの他に７点以下のＤＣＴも合わせて実現する必要があること、領域形状情報に基づいた、データのシフトも必要とされる。それゆえ、実用的にはこうした拡張は複雑な構造を要し、ハードウェア実現時のコスト低減の障害になる恐れがある。
【０００８】
本発明は、従来の符号化装置の構成をあまり変更せずに上述のごとき複雑さを軽減し、しかも、従来の任意形状直交変換とほとんど同様の符号化効率で任意の領域に対し、直交変換もしくは逆直交変換を行う装置を提供することを目的としてなされたものである。
【０００９】
【課題を解決するための手段】
本発明の画像符号化装置は、任意形状の部品画像を組み合わせた画像の編集を行うための画像符号化装置であって、前記部品画像領域を矩形に区切り、その結果得られる符号化対象領域が任意形状の場合に、該符号化対象領域内部の画素値を用いて外挿補間を行うことにより、矩形の符号化ブロックを構成する外挿補間部と、前記外挿補間された矩形の符号化ブロックに対し直交変換を行う直交変換部と、前記直交変換により得られる係数を符号化する変換係数符号化部と、前記部品画像領域の形状情報を符号化する形状情報符号化部とを備え、前記外挿補間部は、まず前記符号化対象領域の境界部より順に外挿補間の対象となる画素をその垂直方向及び水平方向に隣接する２画素の平均値で置換して、前記符号化対象領域の外接四角形に相当する領域を外挿し、次に外挿補間の対象となる画素をその周囲の前記外接四角形に相当する領域の３画素の平均値で置換する処理を、前記符号化ブロックの境界まで繰り返すことを特徴とする。
また、本発明の画像復号装置は、任意形状の部品画像を組み合わせて編集された画像の再生を行うための画像復号装置であって、前記部品画像領域を矩形に区切り、その結果得られる任意形状の符号化対象領域と外挿補間領域とからなる矩形の符号化ブロックにおける変換係数の符号化データを復号する変換係数復号部と、前記部品画像領域の形状情報の符号化データを復号する形状情報復号部と、前記復号された変換係数に対し、逆直交変換を行い矩形ブロック画像を得る逆直交変換部と、前記矩形ブロック画像単位で、前記復号された形状情報に基づいて、前記矩形ブロック画像から、前記外挿補間領域を削除して、所望の任意形状の符号化対象領域を抽出する領域外情報削除部とを備えたことを特徴とする。
【００１０】
上記のように構成された手段を用いれば、任意形状の画像に対して矩形を構成することができ、これらの領域に従来の直交変換を適用できる。さらに、補間する画素の値として、その周辺画素との相関が高くなるように定めることで、この補間領域を変換・符号化することによって生じるオーバーヘッドを最小限に押えることができる。また、これを復号し、逆直交変換を適用して構成されるブロックは、符号化対象領域と補間領域に分けられるが、境界情報を用いることで余分な補間領域を削除でき、それゆえ元の任意形状領域を得ることができる。
【００１１】
【発明の実施の形態】
図１は、本発明の画像符号化装置による任意形状直交変換部１０の一構成例を示す図で、外挿補間部１１は、入力された任意形状領域を形状情報を用いて外挿補間し、矩形領域を生成する。形状情報は図示しない形状情報生成部にて生成され、形状情報符号化部にて符号化される。直交変換部１２は、先の外挿補間１１で得られた矩形画像を従来の直交変換手法にて変換する。直交変換の方式としては、ＤＣＴやＷａｖｌｅｔｅ変換などが考えられる。直交変換後の変換係数は図示しない変換係数符号化部にて符号化される。
【００１２】
図２は、図１に示した外挿補間部１１の詳細を説明するためのブロック図で、補間値決定部１１ａは、外挿補間を行う画素値を決定し、領域補間部１１ｂは、先に決定された値を用いて外挿補間を行う。
補間値決定部１１ａでは、変換係数の低周波成分への偏りが大きくなるよう、周辺の画素との相関が大きくなるような値を用いて外挿補間を行う。これには、図３に示すように、境界部より順に補間対象画素をその周囲の１画素あるいは数画素の平均値で置き換える手法が考えられる。すなわち、図４に摸式的に示すように、まず、図４（Ａ）に示すように２画素の平均値で置換する補間処理を境界部より順に行っていく。これを繰り返すと、マスクの外接四角形に相当する領域が外挿されるが、これ以上の外挿は行われない。そこで、図４（Ｂ）に示すように、外接四角形のどこか一辺の３つの画素の平均値で置換し、再び、図４（Ａ）の外挿を行う。以上の操作をブロックの境界まで繰り返すことにより外挿を終了する。
【００１３】
補間値決定部１１ａの手法としては、上記の他に図５に示すように領域内の境界部全画素の平均値、もしくは、領域内の全画素値の平均値を求め、これで補間画素を置き換える手法が考えられる。
また、別の補間値決定部の手法としては、上記の他に、図６に示すように、あらかじめ補間する画素値を決定しておき、これで補間画素を置き換える手法も考えられる。この場合、図２の補間値決定部１１ａへの原画像，形状情報の入力は必要ない。
【００１４】
図７は、任意形状逆直交変換部２０の一実施例を示すブロック図で、逆直交変換部２１では、入力された変換係数に従来の逆直交変換を施す。例えば、前記任意形状直交変換部１０でＤＣＴを用いた場合はＩＤＣＴを用いる。
領域外情報削除部２２は、復号された形状情報と逆直交変換部２１より得られた矩形情報により元の任意形状画像を構成する。すなわち、形状情報を用いて不要な補間領域を削除し、もとの任意形状領域を得る部分である。
以上のようにして、従来手法と同様の構成に補間装置を追加するだけで任意形状をした画像に対しても直交変換を施すことができる。
【００１５】
【発明の効果】
本発明によれば、任意領域に対して、直交変換を適用することができ、しかも、従来の矩形領域の直交変換部の前に外挿補間装置を付加しただけで、この装置はそれほど複雑なものになり得ない。また、従来の逆直交変換処理の後で形状情報を用いて不要な領域を切り落とすだけで任意形状を得ることができるものである。ゆえに、本手法は従来法よりも形状情報を積極的に利用することで、直交変換部分がより複雑になるのを防ぐことができる。また、本来不要な外挿領域と領域内部の画素間の相関をできるだけ高めているため、不要な領域を符号化しても符号化効率をほとんど低下させることなく実現可能である。
【図面の簡単な説明】
【図１】本発明の請求項１，２，３，４，５，６における任意形状直交変換装置の実施例を示すブロック図である。
【図２】対象画素を何らかの手法により決定された値を用いて補間する手法を摸式的に表した図である。
【図３】対象画素を境界部よりその周辺画素値を用いて順次補間する手法を摸式的に表した図である。
【図４】対象画素を境界部よりその周辺画素値を用いて順次補間する手法をより詳細に表した図である。
【図５】対象画素を符号化領域もしくはその境界部の平均画素値を用いて補間する手法を摸式的に表した図である。
【図６】対象画素をあらかじめ定めた値を用いて順次補間する手法を摸式的に表した図である。
【図７】本発明の請求項７における任意形状直交逆変換装置の実施例を示すブロック図である。
【図８】本発明と従来法の比較のため、図１の直交変換部を更に詳しく示した図である。
【図９】従来の任意形状符号化装置例を示すブロック図である。
【図１０】部品画像の符号化領域とその分割手法を摸式的に表した図である。
【図１１】任意形状を含む符号化対象ブロックを摸式的に表した図である。
【図１２】従来の任意形状復号化装置例を示すブロック図である。
【図１３】従来のＤＣＴを用いた任意形状直交変換装置の一例を説明するための図である。
【符号の説明】
１…任意形状直交変換部、２…量子化部、３…逆量子化部、４…任意形状逆直交変換部、５，７…ＤＣＴ部、６…転置部、１０…任意形状直交変換部、１１…外挿補間部、１２…直交変換部、１１ａ…補間値決定部、１１ｂ…領域補間部、２０…任意形状直交逆変換部、２１…逆直交変換部、２２…領域外情報削除部。
【図１】
0003563837.tif 000002
【図２】
0003563837.tif 000003
【図３】
0003563837.tif 000004
【図４】
0003563837.tif 000005
【図５】
0003563837.tif 000006
【図６】
0003563837.tif 000007
【図７】
0003563837.tif 000008
【図８】
0003563837.tif 000009
【図９】
0003563837.tif 000010
【図１０】
0003563837.tif 000011
【図１１】
0003563837.tif 000012
【図１２】
0003563837.tif 000013
【図１３】
0003563837.tif 000014