(57)【特許請求の範囲】
【請求項１】
入力信号を複数の解像度スケールに分離し、１つの解像度スケールの信号から他の解像度スケールの信号の予測をおこなう画像符号化装置において、
入力された画像の輝度信号を、それぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析し、複数の分析値を得る分析手段と、
前記分析手段における第１のフィルタの分析値について極大値を与える２次元座標の位置を特徴点として検出する特徴点検出手段と、
前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、
前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率を算出し、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数とする補正係数演算手段と、
前記特徴点検出手段により検出された特徴点の位置およびその位置における分析値を符号化する特徴点符号化手段と、
前記補正係数を符号化する補正係数符号化手段と
を有する画像符号化装置。
【請求項２】
前記入力画像信号の低周波成分を検出する低周波成分検出手段と、
検出された低周波成分信号を符号化する低周波成分符号化手段とを有し、
前記分析手段は、前記低周波成分検出手段により検出された低周波成分を入力された画像の輝度信号から減じた低周波成分除去信号について分析をおこなうことを特徴とする
請求項１記載の画像符号化装置。
【請求項３】
入力された画像の輝度信号がそれぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析され、
第１のフィルタの分析値について極大値を与える２次元座標の位置が特徴点として検出され、
前記特徴点の位置を連結して線情報を生成し、前記第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値が予測されて前記第２のフィルタの予測分析値が求められ、
前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率が算出されて、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数が求められ、
符号化された前記特徴点の位置およびその位置における分析値と、符号化された前記補正係数を含む信号を入力して、分析元の信号を復号する画像復号化装置であって、
符号化された前記第１のフィルタから得られる特徴点の位置およびその位置における分析値と、符号化された前記補正係数を復号する復号手段と、
前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、
前記復号手段により復号された前記補正係数で前記第２のフィルタの予測分析値の補正を行う補正手段と、
補正を行った後の各解像度スケールの情報に基づいて、再合成フィルタにより画像の輝度信号を復元する復元手段と
を有する画像復号化装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、たとえば複数の解像度（多重解像度）における画像の輝度信号の特徴抽出処理、符号化処理および復号化処理を行う画像信号処理装置に関する。
【０００２】
【従来の技術】
一般に、多重解像度における画像圧縮において画像の輝度信号を扱う場合、全スケールの異なる解像度スケールを持つ複数のフィルタにより出力された信号の特徴点の位置およびその位置における分析値を用いて、符号化および復号化を行う。
一方、本願出願人は、特願平５−２４５３８７号の出願明細書（以下、文献１という）において、異なる解像度スケールを持つ複数のフィルタで画像を分析合成する符号化処理においては、個々の解像度スケールのフィルタの分析値の相関が大きいことを見出した。そこで、各解像度スケールの相関を積極的に利用して、画像圧縮を効率的に行うために、異なる解像度スケールを持つ複数のフィルタのうちの一つの特徴点の位置を用いて、他のスケールの特徴点の位置の予測を行う装置を提案した。
符号化装置では、全スケールの異なる解像度スケールの特徴点の位置における分析値および上述した複数のフィルタのうちの一つの特徴点の位置を用いて符号化する。復号化装置ではこの逆操作を行う。
【０００３】
【発明が解決しようとする課題】
しかし、特徴点の位置だけの予測は、画像データの圧縮があまり効率的に行えず、さらに、予測誤差により、視覚的に画像の輝度信号の劣化が生じる。
その結果として、従来の異なる解像度スケールを持つ複数のフィルタで画像を分析合成する符号化処理においては、依然として改良すべき点が存在する。また、このようにして符号化した信号を復号する場合も、改良すべき点がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像データの符号化の精度を向上させることができる画像符号化装置を提供することにある。
また、本発明の他の目的は、画像データの復号化の精度を向上させることができる画像復号化装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像符号化装置は、入力信号を複数の解像度スケールに分離し、１つの解像度スケールの信号から他の解像度スケールの信号の予測をおこなう画像符号化装置において、入力された画像の輝度信号を、それぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析し、複数の分析値を得る分析手段と、前記分析手段における第１のフィルタの分析値について極大値を与える２次元座標の位置を特徴点として検出する特徴点検出手段と、前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率を算出し、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数とする補正係数演算手段と、前記特徴点検出手段により検出された特徴点の位置およびその位置における分析値を符号化する特徴点符号化手段と、前記補正係数を符号化する補正係数符号化手段とを有する。
また、本発明の画像復号化装置は、入力された画像の輝度信号がそれぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析され、第１のフィルタの分析値について極大値を与える２次元座標の位置が特徴点として検出され、前記特徴点の位置を連結して線情報を生成し、前記第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値が予測されて前記第２のフィルタの予測分析値が求められ、前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率が算出されて、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数が求められ、符号化された前記特徴点の位置およびその位置における分析値と、符号化された前記補正係数を含む信号を入力して、分析元の信号を復号する画像復号化装置であって、符号化された前記第１のフィルタから得られる特徴点の位置およびその位置における分析値と、符号化された前記補正係数を復号する復号手段と、前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、前記復号手段により復号された前記補正係数で前記第２のフィルタの予測分析値の補正を行う補正手段と、補正を行った後の各解像度スケールの情報に基づいて、再合成フィルタにより画像の輝度信号を復元する復元手段とを有する。
【０００６】
【作用】
本発明の画像符号化装置においては、入力された画像の輝度信号を、異なる解像度スケールを持つ複数のフィルタで分析し、異なる解像度スケールを持つ複数のフィルタのうち１つのスケールの分析値について特徴点を検出し、特徴点の位置、その位置における分析値および他の解像度スケールの分析値を用いて予測された他の解像度スケールの分析値の補正を行うための補正係数を計算する。そして、１つのフィルタの特徴点の位置、１つのフィルタの特徴点の位置における分析値および補正係数を符号化する。
その結果、画像信号を効率よく符号化できる。
好適には、入力輝度信号の低周波成分を検出し、検出された低周波成分を入力された画像の輝度信号から減じた低周波成分除去輝度信号について上記分析を行う。
【０００７】
また、本発明の画像復号化装置においては、符号化された入力画像の輝度信号を用いて、複数のフィルタのうちの１つの解像度スケールのフィルタの分析値の特徴点およびその位置における分析値も求め、凸射影法でもとの輝度信号に対応する２次元信号を復元する。この２次元信号を用いて、他の解像度スケールの特徴点の位置およびその位置における分析値を同時に予測し、送られてきた補正係数で特徴点の位置における分析値の補正を行う。補正を行なった後の各解像度スケールの情報に基づいて、再合成フィルタにより、画像の輝度信号を復元する。その結果、効率的に画像信号を復号できる。
好適には、この画像復号化装置は、上記画像符号化装置と協働する。
【０００８】
【実施例】
本発明の多重解像度を用いた画像信号分析合成装置としての画像符号化装置および画像復号化装置の実施例を図面を参照して述べる。
図１は本発明の多重解像度を用いた画像信号分析合成装置、換言すれば、画像符号化装置の全体構成図である。
この符号化装置は、本実施例においては、輝度信号Ｙを入力して、多重解像度を用いた画像信号分析処理をする。さらに、復号化するのに他の必要な解像度スケールの情報を予測するための補正係数を求め、これらのデータを変調データCData として記録媒体、伝送媒体などに送出する。
なお、好適には、図７を参照して後述するように、この画像符号化装置と協働する画像復号化装置が設けられて、画像処理系を構成する。
【０００９】
図１に示した符号化装置は、符号化部１０１、局所復号化部１０２および圧縮変調部１０３を有し、これらが、図示の如く接続されて構成されている。
この符号化装置（多重解像度を用いた画像信号分析合成装置）への入力信号は画像の輝度信号Ｙである。
輝度信号Ｙを２次元の座標位置(x,y) に対する輝度レベルを与える関数として、輝度信号Ｙ(x,y) と表す。
【００１０】
以下、図１に示した符号化装置の各部分の詳細について述べる。
図２は、図１に示した符号化装置の符号化部１０１の回路構成図である。
図２に示すように、符号化部１０１は、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３、低周波成分検出部２０４、線情報圧縮部２０５、圧縮処理部２０６、および低周波成分圧縮部２０７を有し、これらが、図示のごとく接続されて構成されている。
【００１１】
先ず、輝度信号Ｙ(x,y) は、図１の符号部１０１に印加される。つまり、図２の低周波成分検出部２０４に印加される。
低周波成分検出部２０４は、入力された輝度信号Ｙ(x,y) の低周波成分を検出して、低周波輝度信号ＹL(x,y)を低周波成分圧縮部２０７に印加する。
元の入力輝度信号Ｙ(x,y) から、低周波成分検出部２０４で検出した低周波輝度信号ＹL(x,y)を引いた輝度信号を、低周波成分除去輝度信号Ｙ0(x,y)と表す。この輝度信号Ｙ0(x,y)については、式７を用いて後述する。
低周波成分圧縮部２０７は、印加された低周波輝度信号ＹL(x,y)について間引きなどを行い、さらにＤＣＴ(Discrete Cosine Transformation:離散コサイン変換) やウェーブレット変換などの変換符号化処理を行って、低周波輝度信号ＹL(x,y)を圧縮した低周波成分圧縮信号CLOWを生成し、この低周波成分圧縮信号CLOWを変調部１０３に印加する。
【００１２】
低周波成分検出部２０４からの低周波成分除去輝度信号Ｙ0(x,y)が、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３に印加される。
第１の輝度信号分析部２０１は、輝度信号Ｙ0(x,y)を第１の解像度スケールs0を持つフィルタで分析し、分析結果から特徴点を検出してその位置を連結して線情報LY(k;s0)とする。記号k は線情報につけた番号を示す。また、第１の輝度信号分析部２０１は、その線情報LY(k;s0)が与える位置における第１分析結果としての振幅情報A1Y(x,y;s0) およびA2Y(x,y; s0)を算出する。ここで、簡単のため、振幅情報A1Y(x,y;s0) およびA2Y(x,y;s0) をAmY(k;s0) と呼ぶ。線情報LY(k;s0)が、線情報圧縮部２０５に印加され、振幅情報AmY(k;s0) が圧縮処理部２０６に印加される。
【００１３】
次に、第２の輝度信号分析部２０２は、輝度信号Ｙ0(x,y)を第２の解像度スケールs1を持つフィルタで分析を行う。分析結果はW1Y(x,y;s1) およびW2Y(x,y; s1)とする。簡単のため、分析結果W1Y(x,y;s1) およびW2Y(x,y; s1)をAmY(k;s1) と呼ぶ。
同様に、第３の輝度信号分析部２０３は、輝度信号Ｙ0(x,y)を第３の解像度スケールs2を持つフィルタで分析し、分析結果はW1Y(x,y;s2) およびW2Y(x,y;s2) とする。簡単のため、分析結果W1Y(x,y;s2) およびW2Y(x,y;s2) をAmY(k;s2) と呼ぶ。
【００１４】
線情報圧縮部２０５は、線情報LY(k;s0)を、たとえば、チェイン符号化、ハフマン符号化、ランレングス符号化などの符号化方式で圧縮した圧縮線情報CLY(k;s0) を生成し、この圧縮線情報CLY(k;s0) を変調部１０３に出力すると同時に、局所復号化部１０２にも出力する。
圧縮処理部２０６は、振幅情報AmY(k;s0) を予測符号化、ＤＰＣＭなどを用いて圧縮した振幅圧縮信号CAmY(k; s0) として変調部１０３および局所復号化部１０２に出力する。
第２の輝度信号分析部２０２と第３の輝度信号分析部２０３の分析結果AmY(k;s1) およびAmY(k; s2)は局所復号化部１０２だけに出力する。
【００１５】
図３は、図１に示した符号化装置の局所復号化部１０２の回路構成図である。図３に示すように、局所復号化部１０２は、線情報伸長部３０１、分析結果伸長部３０２、信号成分算出部３０３、第１の補間部３０４、第２の補間部３０５、解像度スケールs0の情報（特徴点の位置および特徴点の位置における分析値）から解像度スケールs1の情報を予測するための第１の予測フィルタ３０６、第２の予測フィルタ３０７、解像度スケールs0の情報から解像度スケールs2の情報を予測するための第３の予測フィルタ３０８、第４の予測フィルタ３０９、第１の補正係数演算部３１０、および、第２の補正係数演算部３１１を有し、これらが、図示のごとく接続されて構成されている。
【００１６】
局所復号化部１０２の働きに関する詳細は後述する。ここでは概念的な部分だけを紹介する。
局所復号化部１０２の線情報伸長部３０１は、図２の線情報圧縮部２０５から出力されたCLY(k;s0) を用いて線情報 LY(k;s0) を求める。分析結果伸長部３０２は、図２の圧縮処理部２０６から出力された振幅情報 CAmY(k;s0) を用いて輝度信号 AmY(x,y; s0) を求める。次に、信号成分算出部３０３は、線情報 LY(k;s0) 内の連結した点の座標系列(x,y) からx 方向とy 方向の接線方向を独立に求め、輝度信号 AmY(k;s0)とを用いて、信号 W1YP(x,y;s0) および W2YP(x,y;s0) を求める。
信号 W1YP(x,y;s0),W2YP(x,y;s0)は特徴点のみで値を持ち、その他の場所では０である信号であるので、第１の補間部３０４および第２の補間部３０５において凸射影法を用いて分結結果W1Y'(x,y;s0)およびW2Y'(x,y;s0)を出力する。
【００１７】
このとき、分析結果W1Y'(x,y;s0)およびW2Y'(x,y;s0)を用いて、第１の予測フィルタ３０６および第２の予測フィルタ３０７において解像度スケールs1の分析結果W1Y"(x,y;s1)およびW2Y"(x,y;s1)を求め、第１の補正係数演算部３１０に出力する。同時に図２の第２の輝度信号分析部２０２から出力された分析結果 W1Y(x,y;s1)および W2Y(x,y;s1)も第１の補正係数演算部３１０に印加する。第１の補正係数演算部３１０において、分析値W1Y(x,y;s1) 、W2Y(x,y;s1) 、W1Y"(x,y;s1)およびW2Y"(x,y;s1)を用いて第１の補正係数Cp(x,y;s01) を求める。
同様に、第２の補正係数Cp(x,y;s02) も求めることができる。
【００１８】
線情報圧縮部２０５から出力された圧縮線情報CLY(k; s0)、圧縮処理部２０６から出力された振幅圧縮信号CAmY(k;s0)、低周波成分圧縮部２０７から出力された低周波成分圧縮信号CLOW、および、局所復号化部１０２の第１および第２の補正係数演算部３１０，３１１から出力された第１の補正係数Cp(x,y; s01), 第２の補正係数Cp(x,y;s02) を入力して、これらの信号に、誤り訂正符号などを付加し、必要に応じて適切な変調をかけて、変調データ CDataとして、図５に示した信号復号化装置、あるいは、記録媒体あるいは伝送媒体に出力する。
【００１９】
次に、図２に示した各部の輝度信号分析部の詳細について述べる。
図４は、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３の回路構成図である。
まず、線情報および第１の輝度信号分析部（第１の輝度信号分析部）２０１について述べる。
第１の輝度信号分析部２０１は、第１の分析フィルタ４０１、第２の分析フィルタ４０２、スレッショルド演算部４０３、第１の特徴点検出部４０４、第２の特徴点検出部４０５、第１の線情報連結部４０６、第２の線情報連結部４０７、第１の線情報選択部４０８、および、第２の線情報選択部４０９を有する。
第１の分析フィルタ４０１および第２の分析フィルタ４０２はそれぞれ、輝度信号Ｙ0(x,y)に対する第１の解像度スケールs0のフィルタである。この例では、第１の分析フィルタ４０１および第２の分析フィルタ４０２はそれぞれ、スムーシング関数の１次微分型の分析フィルタを用いる。ただし、第１の分析フィルタ４０１のインパルス応答を下記式で表すW1(x,y;s0)とし、第２の分析フィルタ４０２のインパルス応答を下記式で表すW2(x,y;s0)とする。
【００２０】
【数１】
0003735876.tif 000002
【００２１】
【数２】
0003735876.tif 000003
【００２２】
ここで、関数θ1(x,y;s0) およびθ2(x,y;s0) は適切なスムーシング関数を示しており、この例ではＢスプライン（B-spline）関数を用いる。第１のインパルス応答W1(x,y;s0)および第２のインパルス応答W2(x,y;s0)は周波数領域では次のように表すことができる。
【００２３】
【数３】
0003735876.tif 000004
【００２４】
【数４】
0003735876.tif 000005
【００２５】
インパルス応答を式１および式２で与えられるフィルタは低周波成分が含まれていないので、予めローパスフィルタで輝度信号Ｙの低周波成分だけを別系統で圧縮する必要がある。
本実施例において、低周波成分検出部２０４においてそれを行う。低周波成分検出部２０４におけるフィルタのインパルス応答 W0(x,y)は周波数領域で下記式で定義される。
【００２６】
【数５】
0003735876.tif 000006
【００２７】
記号Ｓは大きなスケールとする。
低周波成分検出部２０４は、輝度信号Ｙ(x,y) にこのインパルス応答W0(x,y) を畳み込み、その出力を低周波輝度信号ＹL(x,y)として出力し、元の入力輝度信号Ｙ(x,y) から低周波輝度信号ＹL(x,y)を引いた低周波成分除去輝度信号Ｙ0(x,y)を出力する。この低周波成分除去輝度信号Ｙ0(x,y)が、第１の分析フィルタ４０１および第２の分析フィルタ４０２に入力される。
【００２８】
【数６】
0003735876.tif 000007
【００２９】
【数７】
0003735876.tif 000008
【００３０】
記号**は座標位置(x,y) に関する２次元の畳み込み積分あるいは離散信号の畳み込み累積加算を示す。
低周波成分除去輝度信号Ｙ0(x,y)は、インパルス応答が式１および式２で与えられる第１の分析フィルタ４０１および第２の分析フィルタ４０２でそれぞれフィルタリングされて、下記式で表されるフィルタリング処理結果W1Y(x,y;s0),W2Y(x,y;s0) となる。
【００３１】
【数８】
0003735876.tif 000009
【００３２】
【数９】
0003735876.tif 000010
【００３３】
これらフィルタリング処理結果W1Y(x,y;s0) およびW2Y(x,y;s0) は、スレッショルド演算部４０３において、適当な振幅のスレッショルドで、下記式で定義される輝度信号A1Y(x,y;s0) とA2Y(x,y;s0) となる。
【００３４】
【数１０】
0003735876.tif 000011
【００３５】
【数１１】
0003735876.tif 000012
【００３６】
スレッショルド演算部４０３で算出された輝度信号 A1Y(x,y;s0)とA2Y(x,y;s0)は、特徴点検出部４０４、４０５にそれぞれ入力され、そこで特徴点が検出される。この実施例では特徴点は、極大値を与える点として定義される。
輝度信号A1Y(x,y;s0) およびA2Y(x,y;s0) の極大値を与える点を求める方法はいくつか考えられるが、この例では簡単に輝度信号A1Y(x,y;s0) をx 方向に差分をとり、その符号がプラスからマイナスに変わった点を極大値を与える点とする。また、輝度信号A2Y(x,y;s0) のy 方向にも同じ処理を行い、これも極大値を与える点とする。
このようにして、第１および第２の特徴点検出部４０４、４０５で求められた特徴点の位置を、下記式で表されるP1Y(x,y;s0) およびP2Y(x,y;s0) で表す。
【００３７】
【数１２】
0003735876.tif 000013
【００３８】
【数１３】
0003735876.tif 000014
【００３９】
この特徴点の位置P1Y(x,y;s0) とP2Y(x,y;s0) は、第１の線情報連結部４０６、および第２の線情報連結部４０７において連結され線情報L1Y(k;s0) およびL2Y(k;s0) となる。また、該線情報L1Y(k;s0) およびL2Y(k;s0) は、第１および第２の線情報選択部４０８、４０９において、重要な線情報が選択され、線情報LY(k；s0) として出力される。
【００４０】
図５は第１の線情報連結部４０６および第２の線情報連結部４０７において線情報L1Y(k;s0) およびL2Y(k;s0) を生成する動作を示すフローチャートである。以下、図５に示したフローチャートの流れに沿って、第１の線情報連結部４０６の処理を述べる。但し、第２の線情報連結部４０７も同じ動作であるので、ここでは省略する。
【００４１】
最初に、特徴点の位置P1Y(x,y;s0) の左上位置(x,y)=(0,0) から右へ特徴点の位置P1Y(x,y;s0)=1 となる点を探し、その点が端点かどうかをチェックする。
端点は、図６に示したように、特徴点の位置P1Y(x0,y0;s0)=1 のような位置(x0,y0) を中心にその近傍に８つの画素を考え、そのうち１つ以下の近傍にしか特徴点の位置P(x,y;s0)=１の点がない場合で定義する。なお、画面の端においては外側を特徴点の位置P(x,y;s0)=0 として判断する。
【００４２】
この座標(x,y) を line[k][l].x とline[k][l].yという記憶領域に記憶する。この端点(x,y) における特徴点の位置PY(x,y;s0)を０にセットすることで、その後のサーチにおいて連結候補から外す。ここで、k は線の番号に相当する数であり、l は連結していった点に順番に１、２、３、・・とつけられた自然数である。
なお、後述するようにline[k][0].xにはk 番目の線として連結した点の数が記憶される。
端点を見つけた後、同じく８近傍(x',y') を考え最初に見つかった特徴点の位置P(x',y';s0)=1 の点を連結する。このとき連結した点において特徴点の位置PY(x',y';s0)=0とすることにより、その後のサーチにおいて連結候補から外す。
また、l=l+1 としてline[k][l].x =x',line[k][l].y=y'として、この特徴点をk 番目の線情報のl 番目の点として登録する。
以下、このことを８近傍に特徴点がなくなるまで続ける。最後に、連結した点の数をline[k][0].xに記憶する。
また、このスケールにおいて線の数が何本あったかをline[0][0].xに記憶する。
【００４３】
このline[k][l].x,line[k][l].y を
line[0][0].x, （線の数=K(s))
line[1][0].x  （１番目の線を構成する点の数）
line[1][1].x,line[1][1].y （一番目の線の一番目の点の(x,y) 座標）
line[1][2].x,line[1][2].y （一番目の線の二番目の点の(x,y) 座標）
・
line[2][0].x  （２番目の線を構成するための点の数）
line[2][1].x,line[2][1].y （二番目の線の一番目の点の(x,y) 座標）
・
のように出力しこの系列を線情報L1Y(k;s0) とする。
【００４４】
以上、第１の輝度信号分析部２０１の解像度スケールs0を持ったフィルタの輝度信号分析部について述べたが、第２の輝度信号分析部２０２の解像度スケールs1を持ったフィルタの輝度信号分析部も第１の輝度信号分析部２０１とほとんど同じである。
つまり、第２の輝度信号分析部２０２は、第１の輝度信号分析部２０１における第１の分析フィルタ４０１および第１の分析フィルタ４０２に対応する第２のフィルタバンク４１１および第２のフィルタバンク４１２を有する。
第２の輝度信号分析部２０２が第１の輝度信号分析部２０１と異なる点は、第２の輝度信号分析部２０２には、第１の輝度信号分析部２０１における第１のフィルタバンク４０１および第２のフィルタバンク４０２に対応する第１のフィルタバンク４１１および第２のフィルタバンク４１２しかないことである。
【００４５】
以下、第２の輝度信号分析部２０２の詳細を述べる。
第１のフィルタバンク４１１、第２のフィルタバンク４１２はそれぞれ、インパルス応答、フィルタリング処理結果がそれぞれ下記式で表される解像度スケールs1を持つフィルタバンクである。
【００４６】
【数１４】
0003735876.tif 000015
【００４７】
【数１５】
0003735876.tif 000016
【００４８】
【数１６】
0003735876.tif 000017
【００４９】
【数１７】
0003735876.tif 000018
【００５０】
解像度スケールs2を持ったフィルタの第３の輝度信号分析部２０３は、上述した第２の輝度信号分析部２０２と同じ構成をしており、第２の輝度信号分析部２０２と同様の処理を行う。つまり、第３の輝度信号分析部２０３は、第２の輝度信号分析部２０２の第１のフィルタバンク４１１および第２のフィルタバンク４１２と対応する第１のフィルタバンク４２１および第２のフィルタバンク４２２を有する。
第１のフィルタバンク４２１および第２のフィルタバンク４２２のインパルス応答、フィルタリング処理結果は下記式で定義される。
【００５１】
【数１８】
0003735876.tif 000019
【００５２】
【数１９】
0003735876.tif 000020
【００５３】
【数２０】
0003735876.tif 000021
【００５４】
【数２１】
0003735876.tif 000022
【００５５】
線情報圧縮部２０５において線情報LY(k;s0)を適当な方法で圧縮する。この例では、チェイン符号化を用いて一点あたり３ビットの情報にする。その手続きは以下のとおりである。
まず、line[k][l].x,line[k][l].y は始点情報としてそのまま情報を持つ。たとえば256x256 の画像を想定した場合、それぞれ８ビット必要である。始点以外の位置は８近傍のうちどの方向に連結したかを指定すればよいので３ビット必要である。したがって、CLY(k;s)は次のようなデータ列となる。
（１）はじめに、スケールs0における線の本数K(s0) を送り、
（２）次に、線の長さ、始点の座標(x,y) 、と送り、
（３）以下、３ビットずつ８近傍のうちの一つを指定する。
これが線情報圧縮部２０５の出力CLY(k;s0) として出力される。
【００５６】
一方、圧縮処理部２０６において、特徴点における分析情報の圧縮が行なわれる。ここでは、予測符号化の一つとしてＤＰＣＭを用いるものとする。すなわち、各線において前の特徴点における分析値との差をとってその差を適当に量子化する。ここで、簡単のため、解像度スケールs1の振幅情報W1Y(x,y;s1) および W2Y(x,y;s1)を振幅情報AmY(k;s1) といい、解像度スケールs2の振幅情報W1Y(x,y;s2) およびW2Y(x,y;s2) を振幅情報AmY(k;s2) という。
ＤＰＣＭ処理された振幅情報AmY(k;s0) を振幅圧縮信号CAmY(k;s0)とする。
低周波成分輝度信号YL(x,y) は、低周波成分圧縮部２０７において圧縮される。この輝度信号YL(x,y) はいわゆるローパスフィルタの出力であるので、間引いてサンプリングを落すことができる。
この実施例では、式５で定義されるローパスフィルタの特性を考えて、もとのサンプル列の2 s サンプルごとのデータがあれば十分と考えられる。したがって、(i, j)を画面の座標を表すパラメータとして、下記式に表すように間引いた画像データYL'(i,j),UL'(i,j),VL'(i,j)を考える。
【００５７】
【数２２】
0003735876.tif 000023
【００５８】
ここで、i,j は i・(2S ) <X,j・(2S ) <Yとなるi,j=0,1,2,,,, である。
この画像データYL'(i,j),UL'(i,j),VL' (i,j) をＤＣＴなど通常の２次元の圧縮技術を用いて低周波成分圧縮信号CLOWにして低周波成分圧縮部２０７から出力する。
変調部１０３は、これらの入力されたデータ列に適当な誤り訂正符号を付加して変調データCData として出力する。
【００５９】
次に、上述した変調データCData を復号する復号化装置について述べる。
図７は復号化装置の全体構成図であり、図８はその一部の詳細構成図である。この復号化装置は、波形復元処理部５０１、二次元信号復元処理部５０２、線情報伸長部５０３、分析結果伸長部５０４、低周波成分伸長部５０５、および圧縮変調信号受信部５０６を有している。
信号の中身は伝送、記録媒体での誤り、量子化の影響を考えなければ、また、二次元信号復元処理部５０２での逆変換や予測での誤差を考えなければ符号化装置と全く同じになる。
【００６０】
通信媒体を介して送られてきた変調データCData に対応する情報CData2は、圧縮変調信号受信部５０６において、変調部１０３でかけられた変調、誤り符号などの処理を行い、信号CLY2(k;s0),CAmY2(k;s0)、および、第１の補正係数Cp2(k;s01)、第２の補正係数Cp2(k;s02)が得られる。これらの信号は、図１における圧縮線情報CLY(k;s0) 、振幅圧縮信号CAmY(k;s0)、第１の補正係数 Cp(x,y;s01)、第２の補正係数Cp(x,y;s02) に対応する。
低周波成分伸長部５０５においては低周波成分圧縮部２０７で行なわれた２次元信号の圧縮の逆変換を行う。また、低周波成分伸長部５０５は、低周波成分圧縮部２０７で行われた間引きの逆である補間を行う。たとえば、次式で定義される作用は間引きの逆に相当する。
【００６１】
【数２３】
0003735876.tif 000024
【００６２】
【数２４】
0003735876.tif 000025
【００６３】
ただし、x=0,...,X-1,y=0,...,Y-1 であり、[x/(2 S )]は、x/(2S ) で小数点部を切捨てた整数である。また、L0(x,y) は適切なローパスフィルタのインパルス応答である。
これが低周波成分伸長部５０５の出力として、波形復元処理部５０１に送られる。
線情報伸長部５０３では圧縮された線情報CLY2(k;s) の入力として図１の線情報LY(k;s) に相当する特徴点の線情報LY2(k;s)を求める。これは線情報圧縮部２０５の逆変換に相当する。すなわち、線情報圧縮部２０５においては始点の座標と図６で示される８近傍のうちの一つを指定する３ビットの情報系列にされていたので、始点の座標(x,y) を読んだ後３ビットずつを用いて、図６で示された方向に座標を進めて線情報を座標系列LY2(k;s)として復元する。
【００６４】
分析結果伸長部５０４では、信号符号化装置における圧縮処理部２０６の逆変換を行う。すなわち、ＤＰＣＭの逆変換である。これは、一つ前の系列の値に累積加算していくことで実現される。得られた系列を、振幅情報AmY2(k;s) として二次元信号復元処理部５０２へ送る。
二次元信号復元処理部５０２は、特徴点の位置に関する情報LY2(k;s)とその位置における振幅情報AmY2( k;s)を用いて凸射影法を用いてもとの輝度信号に対応する２次元信号Y2(x,y) を復元する。二次元信号復元処理部５０２の内部に関してさらに詳細な説明を図８を参照して行う。
波形復元処理部５０１は、各スケールからの復元値と低周波の値をもとに、もとの波形Y(x,y)の復元値Y'(x,y) を出力する。
【００６５】
図８は二次元信号復元処理部５０２の内部のブロック図である。
二次元信号復元処理部５０２は、信号成分算出部６０１、第１の補間部６０２、第２の補間部６０３、解像度スケールs1の第１の予測フィルタ６０４、第２の予測フィルタ６０５、解像度スケールs2の第３の予測フィルタ６０６、第４の予測フィルタ６０７、解像度スケールs1の補正部６０８、解像度スケールs2の補正部６０９、解像度スケールs0の第１の逆フィルタバンク６１０、第２の逆フィルタバンク６１１、解像度スケールs1の第３の逆フィルタバンク６１２、第４の逆フィルタバンク６１３、解像度スケールs2の第５の逆フィルタバンク６１４、および、第６の逆フィルタバンク６１５を有する。
解像度スケールs1とs2に対しては同じ処理を施すので、解像度スケールs0とs1を代表させて、説明を行う。
【００６６】
信号成分算出部６０１において振幅情報AmY2(k;s0)は特徴点の位置に関する情報である線情報LY2 (k;s0)で指定される座標に対応する振幅情報AmY2(k;s0)をおき、２次元情報AY2P(x,y;s0)に変換される。２次元情報AY2P(x,y;s0)は、線情報LY2(k ;s0)が指定した座標においてのみ値を持ち、それ以外では０の２次元情報である。
信号成分算出部６０１は、線情報LY2(k;s0) 内の連結した点の座標系列(x,y) からx 方向とy 方向の接線方向を独立に求めてから決定する。前述の輝度信号AmY2(k;s0)とを用いて、信号W1YP(x,y;s0)およびW2YP(x,y;s0)を求める。
信号W1YP(x,y;s0),W2YP(x,y;s0) は特徴点のみで値を持ち、その他の場所では０である信号であるので、第１の補間部６０２および第２の補間部６０３において補間がかけられる。ここで述べている信号成分算出部６０１および第１の補間部６０２、第２の補間部６０３はそれぞれ前述した図３に示した信号成分算出部３０３および第１の補間部３０４、第２の補間部３０５と同じものである。補間の方法は種々考えられるが、ここでは振動が少ないという条件から導かれた関数による補間をかける。
【００６７】
はじめに、信号W1YP(x,y;s0)はx 方向への偏微分の極大点が極小点だったので、y を固定して、x 方向に補間をかける。いま、x ＿i,x ＿(i+1) がx 方向にスキャンして求められた連続する特徴点とする。その間を
【００６８】
【数２５】
0003735876.tif 000026
【００６９】
【数２６】
0003735876.tif 000027
【００７０】
で定義される補間も同様にして行う。
y 方向の補間も同様にして行う。その補間関数をe2(y) とする。
これらを解像度スケールs0の第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１へ印加する。
第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１は、式１および式２で与えられるフィルタバンクの逆フィルタである。
第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１の出力を逆インパルス応答 IW1(x,y;s0),IW2(x,y;s0)とし、位置（x,y ）に関する２次元のフーリエ変換結果をFIW1( ωx,ωy;s0) およびFIW2( ωx,ωy;s0) とすると、逆フィルタはフーリエ空間で次のように与えられる。
【００７１】
【数２７】
0003735876.tif 000028
【００７２】
【数２８】
0003735876.tif 000029
【００７３】
このようにして定義されたフィルタを通ってYY1(x,y;s0),YY2(x,y;s0) を出力する。
【００７４】
【数２９】
0003735876.tif 000030
【００７５】
【数３０】
0003735876.tif 000031
【００７６】
次に、解像度スケールs0の第１の補間部６０２、および、第２の補間部６０３の出力W1Y'(x,y;s0)およびW2Y'(x,y;s0)を解像度スケールs1の第１の予測フィルタ６０４および第２の予測フィルタ６０５に印加する。第１の予測フィルタ６０４および第２の予測フィルタ６０５の周波数領域でのインパルズ応答をPW1(ωx,ωy;s01),PW2( ωx,ωy;s01)とすると、次のように与えられる。
【００７７】
【数３１】
0003735876.tif 000032
【００７８】
【数３２】
0003735876.tif 000033
【００７９】
第１の予測フィルタ６０４および第２の予測フィルタ６０５の出力をそれぞれW1Y"(x,y; s1),W2Y"(x,y;s1)とし、これらを解像度スケールs1の補正部６０８に印加する。第１の予測フィルタ６０４および第２の予測フィルタ６０５はそれぞれ前述した図３に示した第１の予測フィルタ３０６および第２の予測フィルタ３０７と同じものである。
【００８０】
解像度スケールs1の補正部６０８では、先ず、予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)の特徴点を求める。次に、特徴点において、予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)との２乗和をとられ、さらに、その平方根をとられて、最大値を求める。つまり、最大値をMp"(x,y; s1)とすると、次のように表すことができる。
【００８１】
【数３３】
0003735876.tif 000034
【００８２】
但し、ここで、MAX[ ]は[ ] の最大値を表す意味をする。
また、同様に、図２の第２の輝度信号分析部２０２の分析結果W1Y(x,y;s1) およびW2Y(x,y; s1)の２乗和をとり、その平方根を取って、最大値を求める。すなわち、この場合の最大値をMp(x,y;s1)とすると、次のように表すことができる。
【００８３】
【数３４】
0003735876.tif 000035
【００８４】
そして、両方の最大値の比率（補正係数）を計算する。たとえば、上述した場合の補正係数はCp(x,y;s01) とすると、次のようになる。
【００８５】
【数３５】
0003735876.tif 000036
【００８６】
このとき、特徴点の位置における予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)に補正係数Cp(x,y; s01)で補正を行う。補正後の出力はW1Y'(x,y;s1)およびW2Y'(x,y,s1)として、次のように表すことができる。
【００８７】
【数３６】
0003735876.tif 000037
【００８８】
【数３７】
0003735876.tif 000038
【００８９】
これらを解像度スケールs1の第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３へ印加する。
第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３は、式１および式２で与えられるフィルタバンクの解像度スケールs1の逆フィルタである。
第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３の出力を逆インパルス応答IW1(x,y;s1),IW2(x,y;s1) とし、位置（x,y ）に関する２次元のフーリエ変換結果をFIW1( ωx,ωy;s1),FIW2( ωx,ωy;s1) とすると、逆フィルタはフーリエ空間で次のように与えられる。
【００９０】
【数３８】
0003735876.tif 000039
【００９１】
【数３９】
0003735876.tif 000040
【００９２】
このようにして定義されたフィルタを通ってYY1(x,y;s1),YY2(x,y;s1) を出力する。
【００９３】
【数４０】
0003735876.tif 000041
【００９４】
【数４１】
0003735876.tif 000042
【００９５】
解像度スケールs2の予測および補正も解像度スケールs1の予測および補正と同様に行うので、ここでは省略する。
最後に、すべての解像度スケールに関して足し合わされ、Y2(x,y) が得られる。
【００９６】
【数４２】
0003735876.tif 000043
【００９７】
以上で予測および補正を含む復号化が完成したことになる。
最後に求められたY2(x,y) に低周波成分YL2(x,y)を加えて、最終的な輝度信号Y'(x,y) を得る。
【００９８】
本発明の上記実施例の変形態様を述べる。
入力がカラー画像の場合でも、異なる解像度スケールを持つフィルタの分析値間の相関が大きいので、この方法が適用できる。たとえば、YUV 信号を扱う場合でも、Y,U,V を独立に処理し個々の成分に対してスケール間の相関を利用できる。
さらに、Y,U,V 信号間の相関を利用すれば、さらなる圧縮が期待できる。カラー画像信号としてR,G,B を使用した場合も同様である。
【００９９】
また、本発明においては、第１の分析フィルタ２０１および第２の分析フィルタ２０２の分析フィルタとしてスムージング関数としての３次のＢスプライン以外の方法も適用できる。たとえば、本発明においては、ガウス関数の一回微分などを用いることもできる。
また、上記実施例では、補正係数を求める時や補正を行うときなどは、特徴点における分析値しか使わないが、本発明においては、補正係数を求めるときや補正を行うときなどは画像のピクセル全体における分析値を用いてもよい。
【０１００】
【発明の効果】
本発明によれば、一つの解像度スケールによる特徴点の位置およびその位置における分析値から他のスケールの特徴点の位置およびその位置における分析値を同時に予測することにより、画像情報を効率的に、一層少なく符号化、復号化できる。
【図面の簡単な説明】
【図１】図１は本発明の多重解像度を用いた画像信号分析合成装置（画像符号化装置）の全体構成図である。
【図２】図２は、図１に示した符号化部１０１の回路構成図である。
【図３】図３は、図１に示した局所復号化部１０２の回路構成図である。
【図４】図４は、図２に示した第１の輝度信号分析部２０１、第２の輝度信号分析部２０２および第３の輝度信号分析部２０３の詳細な構成を示す図である。
【図５】図５は、図４に示した線情報連結部４０６の処理を示すフローチャートである。
【図６】図６は、図４に示した線情報連結部４０６の動作を説明するためのグラフである。
【図７】図７は復号化装置の全体構成図である。
【図８】図８は、図７に示した復号化装置の二次元信号復元処理部５０２の構成図である。
【符号の説明】
１０１・・符号化部
１０２・・局所復号化部
１０３・・圧縮変調部
２０１〜２０３・・輝度信号分析部
２０４・・低周波数成分検出部
２０５・・線情報圧縮部
２０６・・圧縮処理部
２０７・・低周波数成分圧縮部
３０１・・線情報伸長部
３０２・・分析結果伸長部
３０３・・信号成分算出部
３０４、３０５・・補間部
３０６〜３０９・・予測フィルタ
３１０、３１１・・補正係数演算部
４０１、４０２・・分析フィルタ
４０３・・スレッショルド演算部
４０４、４０５・・特徴点検出部
４０６、４０７・・線情報連結部
４０８、４０９・・線情報選択部
４１１〜４２２・・フィルタバンク
５０１・・波形復元処理部
５０２・・二次元信号復元処理部
５０３・・線情報伸長部
５０４・・分析結果伸長部
５０５・・低周波成分伸長部
５０６・・圧縮変調信号受信部
６０１・・信号成分算出部
６０２、６０３・・補間部
６０４〜６０７・・予測フィルタ
６０８、６０９・・補正部
６１０〜６１５・・逆フィルタバンク
【図１】
0003735876.tif 000044
【図２】
0003735876.tif 000045
【図３】
0003735876.tif 000046
【図４】
0003735876.tif 000047
【図５】
0003735876.tif 000048
【図６】
0003735876.tif 000049
【図７】
0003735876.tif 000050
【図８】
0003735876.tif 000051