(57)【特許請求の範囲】
【請求項１】
符号化対象となるカラー画像信号に含まれる複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する抽出手段と、
前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する検出手段と、
前記検出手段で検出した前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する分析符号化手段と、
前記抽出手段が抽出した前記複数の信号要素の前記低周波成分を圧縮する圧縮手段と
を有する画像情報符号化装置。
【請求項２】
前記カラー画像信号は色動画像信号であり、
前記信号要素は輝度信号と色差信号であること
を特徴とする請求項１に記載の画像情報符号化装置。
【請求項３】
前記カラー画像信号は色動画像信号であり、
前記信号要素は３原色に対応する色信号であること
を特徴とする請求項１に記載の画像情報符号化装置。
【請求項４】
前記特徴点は、前記色動画像信号のエッジであること
を特徴とする請求項２または３に記載の画像情報符号化装置。
【請求項５】
前記複数の信号要素の分析は、前記カラー画像信号を１次微分型の分析フィルタによりフィルタリングすることにより行われること
を特徴とする請求項１〜４のいずれかに記載の画像情報符号化装置。
【請求項６】
カラー画像信号に含まれる複数の信号要素から各々抽出されて圧縮された複数の低周波成分と、前記複数の信号要素の各々から当該信号要素に対応する前記低周波成分を除去して得られた非低周波成分のうち一つの前記信号要素の前記非低周波成分を基に検出された特徴点の位置を示す符号化された位置情報と、前記特徴点における前記複数の信号要素の前記非低周波成分を分析して符号化された分析結果とを含む画像情報符号を復号する画像情報復号装置であって、
前記位置情報を復号する第１の復号手段と、
前記第１の復号手段が復号した前記位置情報が示す特徴点の位置を基に、前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の復号手段と、
前記複数の信号要素の前記圧縮された前記低周波成分を伸長する伸長手段と、
前記複数の信号要素の各々について、前記伸長手段で伸長された前記低周波成分と、前記第２の復号手段が生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する生成手段と
を有する画像情報復号装置。
【請求項７】
前記カラー画像信号は色動画像信号であり、前記信号要素は輝度信号と色差信号であること
を特徴とする請求項６に記載の画像情報復号装置。
【請求項８】
前記カラー画像信号は色動画像信号であり、前記信号要素は３原色に対応する色信号であること
を特徴とする請求項６に記載の画像情報復号装置。
【請求項９】
前記特徴点は、前記色動画像信号のエッジであること
を特徴とする請求項７または８に記載の画像情報復号装置。
【請求項１０】
符号化対象となるカラー画像信号に含まれる複数の信号要素の各々を符号化する画像情報符号化装置と、
前記画像情報符号化装置が符号化した前記複数の信号要素を復号する画像情報復号装置と
を有し、
前記画像情報符号化装置は、
前記複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する抽出手段と、
前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する検出手段と、
前記検出手段で検出した前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する分析符号化手段と、
前記抽出手段が抽出した前記複数の信号要素の前記低周波成分を圧縮する圧縮手段と
を有し、
前記画像情報復号装置は、
前記分析符号化手段が符号化した前記位置情報を復号する第１の復号手段と、
前記第１の復号手段が復号した前記位置情報が示す特徴点の位置を基に、前記分析符号化手段が符号化した前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の復号手段と、
前記圧縮手段が前記圧縮した前記複数の信号要素の前記低周波成分を伸長する伸長手段と、
前記複数の信号要素の各々について、前記伸長手段で伸長された前記低周波成分と、前記第２の復号手段が生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する生成手段と
を有する
画像情報処理システム。
【請求項１１】
符号化対象となるカラー画像信号に含まれる複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する第１の工程と、
前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する第２の工程と、
前記第２の工程で検出した前記特徴点の前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する第３の工程と、
前記第１の工程で抽出した前記複数の信号要素の前記低周波成分を圧縮する第４の工程と
を有する画像情報符号化方法。
【請求項１２】
カラー画像信号に含まれる複数の信号要素から各々抽出されて圧縮された複数の低周波成分と、前記複数の信号要素の各々から当該信号要素に対応する前記低周波成分を除去して得られた非低周波成分のうち一つの前記信号要素の前記非低周波成分を基に検出された特徴点の位置を示す符号化された位置情報と、前記特徴点における前記複数の信号要素の前記非低周波成分を分析して符号化された分析結果とを含む画像情報符号を復号する画像情報復号方法であって、
前記位置情報を復号する第１の工程と、
前記第１の工程で復号した前記位置情報が示す特徴点の位置を基に、前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の工程と、
前記複数の信号要素の前記圧縮された前記低周波成分を伸長する第３の工程と、
前記複数の信号要素の各々について、前記第３の工程で伸長された前記低周波成分と、前記第２の工程で生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する第４の工程と
を有する画像情報復号方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像情報の特徴点の情報を抽出し、該特徴点の情報に基づいて画像情報を圧縮および伸長する画像情報符号化装置および復号装置に関する。
【０００２】
【従来の技術】
従来から動画像情報を圧縮して符号化する方法として、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式等が用いられている。
ＭＰＥＧ方式によりカラー（色）動画像情報を符号化する場合、まず輝度信号（Ｙ）および色差信号（Ｕ，Ｖ）の内、輝度信号Ｙを用いて動き補償処理が行われる。
さらに輝度信号Ｙおよび色差信号Ｕ，Ｖの残差信号に対して独立に離散コサイン変換（ＤＣＴ）処理が行われる。
【０００３】
【発明が解決しようとする課題】
上述した、例えばＭＰＥＧ方式等の通常の動画像情報のトランスフォーム符号化方式においては、動画像情報を構成する輝度信号（Ｙ）要素と色差信号（Ｕ，Ｖ）要素、あるいは、赤色信号（Ｒ）要素、緑色信号（Ｇ）要素、および青色信号（Ｂ）要素は相互に密接な相関性を有するにもかかわらず、この相関性を積極的に利用することは行われていなかった。
また、映像における物体と物体との境界（エッジ）等の特徴点においては、一般に動画像情報の輝度信号要素（Ｙ）要素と色差信号（Ｕ，Ｖ）要素、あるいは、各色信号（Ｒ，Ｇ，Ｂ）要素は、相互に非常に深い関係を有する。
しかし、動画像情報の上記特徴点の位置情報などを用いた動画像情報の符号化方式、例えばウエーブレットを用いた符号化方式においても、輝度信号要素と色差信号要素、あるいは、各色信号間の相互の相関性を積極的に用いた方式の例はまだ知られていない。
【０００４】
本発明は上述した従来技術の問題点に鑑みてなされたものであり、色動画像情報の特徴点の位置情報を用いた符号化方式において、輝度信号要素（Ｙ）と色差信号（Ｕ，Ｖ）要素、あるいは、各色信号（Ｒ，Ｇ，Ｂ）要素それぞれの特徴点の位置情報の類似性を積極的に使う画像情報符号化装置および復号装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
第１の観点の発明の画像情報符号化装置は、符号化対象となるカラー画像信号に含まれる複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する抽出手段と、前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する検出手段と、前記検出手段で検出した前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する分析符号化手段と、前記抽出手段が抽出した前記複数の信号要素の前記低周波成分を圧縮する圧縮手段とを有する。
【０００６】
第２の観点の発明の画像情報復号装置は、カラー画像信号に含まれる複数の信号要素から各々抽出されて圧縮された複数の低周波成分と、前記複数の信号要素の各々から当該信号要素に対応する前記低周波成分を除去して得られた非低周波成分のうち一つの前記信号要素の前記非低周波成分を基に検出された特徴点の位置を示す符号化された位置情報と、前記特徴点における前記複数の信号要素の前記非低周波成分を分析して符号化された分析結果とを含む画像情報符号を復号する画像情報復号装置であって、前記位置情報を復号する第１の復号手段と、前記第１の復号手段が復号した前記位置情報が示す特徴点の位置を基に、前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の復号手段と、前記複数の信号要素の前記圧縮された前記低周波成分を伸長する伸長手段と、前記複数の信号要素の各々について、前記伸長手段で伸長された前記低周波成分と、前記第２の復号手段が生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する生成手段とを有する。
【０００７】
第３の観点の発明の画像情報処理システムは、符号化対象となるカラー画像信号に含まれる複数の信号要素の各々を符号化する画像情報符号化装置と、前記画像情報符号化装置が符号化した前記複数の信号要素を復号する画像情報復号装置とを有し、前記画像情報符号化装置は、前記複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する抽出手段と、前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する検出手段と、前記検出手段で検出した前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する分析符号化手段と、前記抽出手段が抽出した前記複数の信号要素の前記低周波成分を圧縮する圧縮手段とを有し、前記画像情報復号装置は、  前記分析符号化手段が符号化した前記位置情報を復号する第１の復号手段と、前記第１の復号手段が復号した前記位置情報が示す特徴点の位置を基に、前記分析符号化手段が符号化した前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の復号手段と、前記圧縮手段が前記圧縮した前記複数の信号要素の前記低周波成分を伸長する伸長手段と、前記複数の信号要素の各々について、前記伸長手段で伸長された前記低周波成分と、前記第２の復号手段が生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する生成手段とを有する。
【０００８】
第４の観点の発明の画像情報符号化方法は、符号化対象となるカラー画像信号に含まれる複数の信号要素の各々について、当該信号要素の低周波成分と、当該信号要素から前記低周波成分を除去した非低周波成分とを抽出する第１の工程と、前記複数の信号要素のうち１つの前記信号要素の前記非低周波成分を基に特徴点の位置を検出する第２の工程と、前記第２の工程で検出した前記特徴点の前記位置における前記複数の信号要素の前記非低周波成分を分析し、当該分析の結果を示す分析結果と、前記検出手段が検出した前記特徴点の位置を示す位置情報とを符号化する第３の工程と、前記第１の工程で抽出した前記複数の信号要素の前記低周波成分を圧縮する第４の工程とを有する。
【０００９】
第５の観点の発明の画像情報復号方法は、カラー画像信号に含まれる複数の信号要素から各々抽出されて圧縮された複数の低周波成分と、前記複数の信号要素の各々から当該信号要素に対応する前記低周波成分を除去して得られた非低周波成分のうち一つの前記信号要素の前記非低周波成分を基に検出された特徴点の位置を示す符号化された位置情報と、前記特徴点における前記複数の信号要素の前記非低周波成分を分析して符号化された分析結果とを含む画像情報符号を復号する画像情報復号方法であって、前記位置情報を復号する第１の工程と、前記第１の工程で復号した前記位置情報が示す特徴点の位置を基に、前記複数の信号要素の前記非低周波成分の前記分析結果を復号して前記複数の信号要素の前記非低周波成分を生成する第２の工程と、前記複数の信号要素の前記圧縮された前記低周波成分を伸長する第３の工程と、前記複数の信号要素の各々について、前記第３の工程で伸長された前記低周波成分と、前記第２の工程で生成した前記非低周波成分とを加算して、前記複数の信号要素を生成する第４の工程とを有する。
【００１０】
【実施例】
本発明の画像情報符号化装置および復号装置の実施例の説明に先立ち、画像情報の特徴点を検出し、この特徴点の位置情報等に基づいて画像情報の圧縮符号化を行い、またこのように圧縮符号化された動画像情報を伸長複合化する方法の原理を説明する。
【００１１】
近年、画像信号等の分析合成の手法として、例えば画像信号における物体と背景の境界といった信号のエッジに注目し、信号のエッジにおける情報から元の信号を合成する方法が報告されている。
例えば、Ｊａｃｑｕｅｓ  ＦｒｏｍｅｎｔとＳｔｅｐｈａｎｅ  ＭａｌｌｅｔによるＳｅｃｏｎｄ  ｇｅｎｅｒａｔｉｏｎ  ｃｏｍｐａｃｔ  ｉｍａｇｅ  ｃｏｄｉｎｇ  ｗｉｔｈ  ｗａｖｅｌｅｔ．（Ｗａｖｅｌｅｔｓ−Ｔｕｔｏｒｉａｌ  ｉｎ  Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，II：６５５〜６７８，１９９１）に開示される信号分析と合成方法が上記の方法の一つであり、この方法について以下に説明する。
【００１２】
まず、一次元的な信号ｆ（ｘ）を想定する。
この例では、最初に信号ｆ（ｘ）の多重解像度法を用いた分析を行う。
ここで、多重解像度法とは、複数の異なる解像度を有するフィルターを使用して信号の分析を行う方法をいう。
この多重解像度法を用いた分析に用いる分析フィルターの特性を関数φa （ｘ）で表す。
関数φa （ｘ）は周波数領域ωでは次式で表される。
【００１３】
【数１】
0003640405.tif 000002
【００１４】
ただし、関数φa （ｘ）のａは多重解像度におけるスケールを表す。
また、式１中のｉは虚数を表す。また、＾は、この記号を付したその関数のフーリエ変換を表す（以下同じ）。
これは、同じく周波数領域ωで次式で表される関数の元の領域ｘでの関数θ（ｘ）の微分結果である。
【００１５】
【数２】
0003640405.tif 000003
【００１６】
このフィルターφa （ｘ）と信号ｆ（ｘ）を畳み込んだ結果を関数Ｗa ｆ（ｘ）と表す。
参考文献１には、この振幅｜Ｗa ｆ（ｘ）｜の極大値を与える位置（ aｘn ）（ただしｎは自然数）のフィルター出力Ｗa ｆ（ aｘn ）だけを用いて元の信号を近似できることが示されている。
極大値からの信号の復元の説明の前に、Ｗa ｆ（ｘ）から元の信号ｆ（ｘ）を復元することに関して説明する。
【００１７】
ここで述べる方法はウェーブレットと呼ばれるものであり、近年盛んに研究されている方法である。
分析関数が次式で表される場合、
【００１８】
【数３】
0003640405.tif 000004
【００１９】
合成に用いるフィルターφj * （ｘ）は、次式で表される。
【００２０】
【数４】
0003640405.tif 000005
【００２１】
ここで、関数の上に付した線は複素共役を表す。また、スケールａに関してはａ＝２j となるように選んでいる。ただし、ｊ＝ｊ1 ，．．．，ｊJ を用いている。
ここで、分析合成に関してまとめてみる。元の信号をｆo （ｘ）とすると、
【００２２】
【数５】
0003640405.tif 000006
【００２３】
【数６】
0003640405.tif 000007
【００２４】
とする。ただし、式５で＊は畳み込み演算をあらわす。
【００２５】
【数７】
0003640405.tif 000008
【００２６】
ただし、ｊ＝  ｊ１，．．．  ，ｊJ 、が分析され、
【００２７】
【数８】
0003640405.tif 000009
【００２８】
【数９】
0003640405.tif 000010
【００２９】
で合成される。このようにして、Ｗj ｆ（ｘ）とｓ(jJ)（ｘ）から元の信号ｆo （ｘ）を復元することができる。
【００３０】
したがって、先に述べたＷj ｆ（ jｘn ）からＷj ｆ（ｘ）を補関することによりＷ jｆ（ｘ）を近似し上述した逆変換でｆの近似を得ることができる。
補関する方法を以下に述べる。
補関して得られた関数を‘Ｗj ｆ（ｘ）とすると、
【００３１】
【数１０】
0003640405.tif 000011
【００３２】
という関数を、
【００３３】
【数１１】
0003640405.tif 000012
【００３４】
という形式に変形することができる。
さらにこの関数は２点 jｘn 、 jｘ(n+1) を通るので、この事実を利用して式１２および式１３を得る。
【００３５】
【数１２】
0003640405.tif 000013
【００３６】
【数１３】
ｅ（j ｘn+1 ）＝  Ｗj ｆ（j ｘn+1 ）−‘Ｗj ｆ（j ｘn+1 ）…（１３）
【００３７】
式１２および式１３を式１１に代入し、α、βを求めて次式に示すように補完関数を更新する。
【００３８】
【数１４】
‘Ｗj ｆ（ｘ）＝‘Ｗj ｆ（ｘ）＋αｅｘｐ（Ａｘ）＋βｅｘｐ（−Ａｘ）…（１４）
【００３９】
この更新された補完関数および式８を用いて信号ｆ（ｘ）の推定値ｆ' （ｘ）を求め、再び式７を用いてＷj ｆ（ｘ）を再定義する。
以上の処理を繰り返すことによりｆ' （ｘ）を更新し、ｆ（ｘ）を復元することができる。
最後に、式９を用いて、ｆo （ｘ）を得る。
【００４０】
以下、第１の実施例として本発明の符号化装置１０を図１〜図３を参照して説明する。
符号化装置１０は、例えば信号要素として輝度信号Ｙ、および、２種類の色差信号Ｕ，Ｖの３種類の信号を含むカラー動画像情報の特徴点を検出し、該特徴点におけるそれぞれの信号要素を分析し、該分析結果を特徴点の位置情報とともに圧縮符号化する装置である。
【００４１】
図１は、本発明の符号化装置１０の構成を示す図である。
以下、輝度信号Ｙおよび色差信号Ｕ，Ｖを画像情報の２次元の座標（ｘ，ｙ）に対応付けてそれぞれ輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ）、色差信号Ｖ（ｘ，ｙ）と表す。
図１において、信号分析部１０１は、入力される２次元形式の画像情報の輝度信号Ｙ（ｘ，ｙ）の低周波成分を除去して信号Ｙ０（ｋ；ｓ）を生成する。
次に、信号Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタで分析して特徴点を抽出する。
さらに、抽出された特徴点を連結して線情報ＬＹ（ｋ；ｓ）を生成し、線情報ＬＹ（ｋ；ｓ）を線情報圧縮部１０４、および、信号分析部１０２、１０３に入力する。
また、線情報ＬＹ（ｋ；ｓ）で示される各特徴点における輝度信号Ｙ（ｘ，ｙ）の分析結果として信号ＡｍＹ（ｋ；ｓ）を分析結果圧縮部１０５に入力する。
ただし、ｋは各線情報ＬＹ（ｋ；ｓ）それぞれにユニークに付される番号であり、特徴点とは画像情報中の物体と背景の境界等に存在するエッジ等の画像情報中の特徴的な点をいう。
【００４２】
信号分析部１０２は、入力される色差信号Ｕ（ｘ，ｙ）の低周波成分を除去して信号Ｕ０（ｘ，ｙ）とし、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）によって示される画像情報の特徴点において、信号Ｕ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタにより分析し、その分析結果として信号ＡｍＵ（ｋ；ｓ）を分析結果圧縮部１０６に入力する。
信号分析部１０３は、入力される色差信号Ｖ（ｘ，ｙ）の低周波成分を除去して信号Ｖ０（ｘ，ｙ）とし、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）によって示される画像情報の特徴点において、信号Ｖ０（ｘ，ｙ）をいくつかの解像度スケールｓを有するフィルタにより分析し、その分析結果として信号ＡｍＶ（ｋ；ｓ）を分析結果圧縮部１０７に入力する。
信号分析部１０１〜１０３それぞれの構成は、図２を参照して後述する。
【００４３】
線情報圧縮部１０４は、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）を、以下に述べるチェイン符号化等の方法により１点当たり３ビットの情報に圧縮し、圧縮結果を信号ＣＬＹ（ｋ；ｓ）として変調部１０９に入力する。
以下、演算回路１０４の圧縮動作を説明する。
まず、線情報ＬＹ（ｋ；ｓ）の端の点の座標を圧縮せずに記憶する。
この線情報ＬＹ（ｋ；ｓ）の始点の座標は後述する記憶領域ｌｉｎｅ〔ｋ〕〔１〕．ｘ，ｌｉｎｅ〔ｋ〕〔１〕．ｙに記憶される。
例えば画面の画素数として２５６×２５６を想定した場合、座標を表すためにはｘ軸情報およびＹ軸情報がそれぞれ８ビットを必要とする。
この情報量を圧縮するために、始点以外の特徴点の位置を、特徴点の列が隣接する画素のいずれに連結するかにより示す。
従って、この例においては８×８ビット必要であった情報量を３ビットに圧縮可能である。
従って、信号ＣＬＹ（ｋ；ｓ）は次のようなデータ列となる。
まず、ある解像度スケールｓにおける線の本数ｋ（ｓ）を変調部１０９に送り、次に、線の長さ、始点の座標（ｘ，ｙ）、を変調部１０９に送り、以下３ビットずつ端点がつながる方向を示す情報が連続して送られる。
【００４４】
分析結果圧縮部１０５は、信号分析部１０１から入力される信号ＡｍＹ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＹ（ｋ；ｓ）として変調部１０９に入力する。
分析結果圧縮部１０６は、信号分析部１０２から入力される信号ＡｍＵ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＵ（ｋ；ｓ）として変調部１０９に入力する。
分析結果圧縮部１０７は、信号分析部１０３から入力される信号ＡｍＶ（ｋ；ｓ）を予測符号化方式等により圧縮し、圧縮結果を信号ＣＡｍＶ（ｋ；ｓ）として変調部１０９に入力する。
第１の実施例においては、分析結果圧縮部１０５〜１０７における圧縮は、例えば最も簡単なＤＰＣＭ方式による。
すなわち、各線において前の特徴点における分析値との差を取ってその差を適切に量子化する。
低周波成分圧縮部１０８は、信号ＹＬ（ｉ，ｊ），ＵＬ（ｉ，ｊ），ＶＬ（ｉ，ｊ）を圧縮する。
信号分析部１０１〜１０３から低周波成分圧縮部１０８に入力される信号は、いわゆるローパスフィルタ出力であるので、間引いてサンプリング数を落とすことができる。
第１の実施例においては、式１８で定義されるローパスフィルタの特性を考えて、もとのサンプル列の２s サンプルごとのデータがあれば十分である。
従って、（ｉ，ｊ）を画面の座標を表すパラメータとして、間引き処理は次式のように表される。
【００４５】
【数１５】
0003640405.tif 000014
【００４６】
【数１６】
0003640405.tif 000015
【００４７】
【数１７】
0003640405.tif 000016
【００４８】
上記各式の間引き結果を信号ＹＬ’（ｉ，ｊ），ＵＬ’（ｉ，ｊ），ＶＬ’（ｉ，ｊ）とする。
ここで、数値ｉ，ｊは、ｉ・２s ＜ｘ，ｊ・２s ＜ｙを与える０以上の整数である。
低周波成分圧縮部１０８はさらに、この信号ＹＬ’（ｉ，ｊ），ＵＬ’（ｉ，ｊ），ＶＬ’（ｉ，ｊ）にＤＣＴ処理等の２次元的圧縮処理を行って信号ＣＬＯＷとして変調部１０９に入力する。
【００４９】
変調部１０９は、線情報圧縮部１０４、分析結果圧縮部１０５〜１０７、および、低周波成分圧縮部１０８において画像情報の各信号要素を処理して得られた信号ＣＬＹ（ｋ；ｓ）、信号ＣＡｍＹ（ｋ；ｓ）、信号ＣＡｍＵ（ｋ；ｓ）、信号ＣＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷを多重化し、誤り訂正符号を付加し、さらに所定の変調を行って信号ＣＤａｔａとして出力する。
信号ＣＤａｔａは、符号化装置１０に接続される例えば光ディスク記録装置（図示せず）に供給される。
【００５０】
図２は、図１に示した信号分析部１０１〜１０３の構成を示す図である。
図２において、低周波成分処理部２０３は、入力される輝度信号Ｙ（ｘ，ｙ）から低周波成分を分離して信号Ｙ０（ｘ，ｙ）としてフィルタ２０１、２０２に入力し、分離された低周波成分を圧縮して信号ＹＬ（ｋ；ｓ）として出力する。輝度信号Ｙ（ｘ，ｙ）の低周波成分の分離おより該低周波成分の圧縮方法を以下に説明する。
低周波成分処理部２０３は、輝度信号Ｙ（ｘ，ｙ）のインパルス応答Ｗ０（ｘ，ｙ）を算出する。
インパルス応答Ｗ０（ｘ，ｙ）を算出する演算は次式で表される。
【００５１】
【数１８】
0003640405.tif 000017
【００５２】
低周波成分処理部２０３は、インパルス応答Ｗ０（ｘ，ｙ）を用いて輝度信号Ｙ（ｘ，ｙ）に畳み込み演算を行って圧縮し、信号ＹＬ（ｋ；ｓ）として出力する。
さらに、低周波成分処理部２０３は、輝度信号Ｙ（ｘ，ｙ）から信号ＹＬ（ｋ；ｓ）を減算し、信号Ｙ０（ｘ，ｙ）を生成する。
低周波成分処理部２０３における畳み込み演算および信号Ｙ０（ｘ，ｙ）算出のための演算は、次式で表される。
【００５３】
【数１９】
0003640405.tif 000018
【００５４】
【数２０】
0003640405.tif 000019
【００５５】
フィルタ２０１は、スムージング関数の１次微分型の多重解像度フィルタであって、低周波成分処理回路２０３により輝度信号Ｙ（ｘ，ｙ）から低周波成分が除去された後の信号Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓで分析し、分析結果をフィルタ２０１のインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）として演算回路２０４に入力する。
フィルタ２０２は、スムージング関数の１次微分型の多重解像度フィルタであって、輝度信号Ｙ（ｘ，ｙ）をいくつかの解像度スケールｓで分析し、分析結果をフィルタ２０２のインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）として演算回路２０４に入力する。
フィルタ２０１、２０２における処理は、次式で表される。
【００５６】
【数２１】
0003640405.tif 000020
【００５７】
【数２２】
0003640405.tif 000021
【００５８】
式１８および式１９において、関数Ｇ（ｘ，ｙ；ｓ）は所定のスムージング関数であり、例えば次式のガウス関数が用いられる。
【００５９】
【数２３】
0003640405.tif 000022
【００６０】
式２０において、Ｎ（ｓ）は正規化のための所定の定数であり、次式で表される。
【００６１】
【数２４】
0003640405.tif 000023
【００６２】
つまり、フィルタ２０１、２０２においては、式１８および式１９に式１６および式１７を代入して次式の演算が行われる。
【００６３】
【数２５】
0003640405.tif 000024
【００６４】
【数２６】
0003640405.tif 000025
【００６５】
演算回路２０４は、インパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、さらに加算結果の平方根を算出して信号ＡＹ（ｘ，ｙ；ｓ）を生成する。
つまり、演算回路２０４における演算は次式で表される。
【００６６】
【数２７】
0003640405.tif 000026
【００６７】
ここで、第２の実施例において後述する復号装置３０の処理において必要になるもう１つの信号ＰｈＹ（ｘ，ｙ；ｓ）について述べる。
信号ＰｈＹ（ｘ，ｙ；ｓ）は、第１の実施例における符号化装置１０においては符号化を行わない。
信号ＰｈＹ（ｘ，ｙ；ｓ）は、次式で定義される。
【００６８】
【数２８】
0003640405.tif 000027
【００６９】
ただし、ａｔａｎ〔ｙ，ｘ〕は、ｙ＝ｓｉｎ（ｐｈ）、ｘ＝ｃｏｓ（ｐｈ）を与える位相情報ｐｈ（−π≦ｐｈ≦π）を求める関数である。
従って、信号Ａｙ（ｘ，ｙ；ｓ）と信号ＰｈＹ（ｘ，ｙ；ｓ）を用いてインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）を求めることができる。
【００７０】
【数２９】
0003640405.tif 000028
【００７１】
【数３０】
0003640405.tif 000029
ただし、第１の実施例においては、復号装置３０において線情報ＬＹ（ｋ；ｓ）接線方向を利用することにより、信号ＰｈＹ（ｘ，ｙ；ｓ）に関する情報は符号化していない。
【００７２】
特徴点検出部２０６は、演算回路２０４において算出された信号ＡＹ（ｘ，ｙ；ｓ）に基づいて、その特徴点の位置情報ＰＹ（ｘ，ｙ；ｓ）を検出して情報抽出部２０５および線情報算出部２０７に入力する。
信号ＡＹ（ｘ，ｙ；ｓ）の特徴点は、信号ＡＹ（ｘ，ｙ；ｓ）の極大点を与える点として定義される。
信号ＡＹ（ｘ，ｙ；ｓ）の極大点を検出する方法は、信号ＡＹ（ｘ，ｙ；ｓ）の微分値が０となる点を検出する等、種々の方法が考えられる。
第１の実施例の符号化装置１０においては、信号ＡＹ（ｘ，ｙ；ｓ）の極大点の簡易な検出方法として、例えば以下のような方法を採用する。
まず、信号ＡＹ（ｘ，ｙ；ｓ）のｘ軸方向の隣接するサンプル間の差分を算出し、この差分の符号が正から負に変化した点を極大点として検出する。
同様に、信号ＡＹ（ｘ，ｙ；ｓ）の隣接するサンプル間の差分の算出をｙ軸方向にも行い、差分の符号が正から負に変化した点を極大点として検出する。
上述のように求められた極大点の位置情報ＰＹ（ｘ，ｙ；ｓ）は、次式に示す形式の信号である。
【００７３】
【数３１】
0003640405.tif 000030
【００７４】
線情報算出部２０７は、特徴点検出部２０６において求められた信号ＡＹ（ｘ，ｙ；ｓ）の極大点の位置情報ＰＹ（ｘ，ｙ；ｓ）に基づいて極大点を連結し、線情報ＬＹ（ｋ；ｓ）を算出して演算回路１０４および情報抽出部２０５に入力する。
以下、図３〜図６を参照して線情報算出部２０７における線情報ＬＹ（ｋ；ｓ）算出処理を説明する。
図３は、図２に示した線情報算出部２０７における特徴点の連結処理を示すフローチャートである。
図４は、図３に示したＳ１００の処理を示すフローチャートである。
図５は、図３に示したＳ３００の処理を示すフローチャートである。
図６は、画像情報の近傍画素を説明する図である。
【００７５】
まず、信号ＰＹ（ｘ，ｙ；ｓ）の左上隅の座標（ｘ，ｙ）＝（０，０）の画素から順次右へ信号ＰＹ（ｘ，ｙ；ｓ）＝１となる画素を探し、その画素が端点かどうかをチェックする。
つまり図６に示すように、信号ＰＹ（ｘ，ｙ；ｓ）＝１となる画素を中心に、その画素に隣接する８つの画素０〜７を考える。
端点は、図６に示す画素０〜７の内の１つ以下の画素にしか信号ＰＹ（ｘ，ｙ；ｓ）＝１の画素がない場合の中心の画素として定義される。
線情報算出部２０７は、上記定義に従って信号ＰＹ（ｘ，ｙ；ｓ）から端点を検出する。
なお、線情報算出部２０７は、画面の端の画像情報おいては、画面からはみ出る画素についてＰＹ（ｘ，ｙ；ｓ）＝０として端点の検出を行う。
【００７６】
端点として検出された画素の座標（ｘ，ｙ）のｘ座標およびｙ座標をそれぞれ、特徴点検出部２０６内のｌｉｎｅ〔ｋ〕〔ｌ〕．ｘとｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ（図示せず）という記憶領域に記憶する。
記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙに記憶された端点の座標（ｘ，ｙ）における信号ＰＹ（ｘ，ｙ；ｓ）を０にセットし、その後の端点検出処理において連結候補から外す。
ここで、数値ｋは線の番号に相当する数であり、数値ｌは連結していった点に順番に１，２・・・と付された自然数である。
なお、後述するように記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘにはｋ番目の線として連結した点の数が記憶される。
【００７７】
端点を見つけた後、同じく図６の画素０〜７の内の１つの画素の座標（ｘ’，ｙ’）を考え，初めに見つかった信号ＰＹ（ｘ’，ｙ’；ｓ）＝１の点を連結する。
このとき連結した点においてＰＹ（ｘ’，Ｙ’；ｓ）＝０とセットすることにより、その後の端点検出処理において連結候補から外す。
また、ｌをインクリメントし（ｌ＝ｌ＋１とし）、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ＝ｘ’、ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ＝ｙ’として、この特徴点をｋ番目の線情報のｌ番目の点として登録する。
上記の処理を画像情報の全画素について行い、図６の画素０〜７に特徴点がなくなるまで続ける。
最後に、連結した点の数をｌｉｎｅ〔ｋ〕〔ｌ〕．ｘに記憶し、このスケールｓにおける線の数をｌｉｎｅ〔０〕〔０〕．ｘに記憶する。
ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘおよびｌｉｎｅ〔ｋ〕〔ｌ〕．ｙに記憶された情報を線情報ＬＹ（ｋ；ｓ）としてスケールの小さい順に、例えば次表の形式で線情報ＬＹ（ｋ；ｓ）として出力する。
【００７８】
【表１】
ｌｉｎｅ〔０〕〔０〕．ｘ（線の数＝ｋ（ｓ））
ｌｉｎｅ〔１〕〔０〕．ｘ（１番目の線を構成する点の数）
ｌｉｎｅ〔１〕〔１〕．ｘ，ｌｉｎｅ〔１〕〔１〕．ｙ（一番目の線の一番目の点の（ｘ，ｙ）座標）
ｌｉｎｅ〔１〕〔２〕．ｘ，ｌｉｎｅ〔１〕〔２〕．ｙ（一番目の線の２番目の点の（ｘ，ｙ）座標）
・
・
・
ｌｉｎｅ〔２〕〔０〕．ｘ (２番目の線を構成するための点の数）
ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘ，ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙ（２番目の線の一番目の点の（ｘ，ｙ）座標）
・
・
【００７９】
情報抽出部２０５は、線情報算出部２０７から入力される線情報ＬＹ（ｋ；ｓ）に基づいて、信号ＡＹ（ｘ，ｙ；ｓ）から線情報ＬＹ（ｋ；ｓ）に示される各特徴点に対応する値を抽出して信号Ａｍ（ｋ；ｓ）として出力する。
以下、情報抽出部２０５における処理を説明する。
情報抽出部２０５は、信号ＡＹ（ｘ，ｙ；ｓ）と線情報ＬＹ（ｋ；ｓ）を用いて、信号ＡＹ（ｘ，ｙ；ｓ）のうち必要な情報である特徴点の位置における信号ＡＹ（ｘ，ｙ；ｓ）を抽出する。
線情報算出部２０７が検出した各線に沿って、信号Ｙ０（ｘ，ｙ）の分析値をトレースすると１次元の信号が得られる。
この１次元信号を信号ＡｍＹ’（ｋ；ｓ）と記す。
【００８０】
後述の復号装置３０においては、式２９および式３０に示す演算を行って、インパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）を復元する。
この際に用いられる位相情報信号ＰｈＹ（ｘ，ｙ；ｓ）は、線情報ＬＹ（ｋ；ｓ）の接線方向を求め、その角度のｃｏｓ，ｓｉｎ成分で近似することができる。
この近似は、角度については連結した点の進行方向に接線ベクトルを想定し、そのベクトルとｘ軸の正の方向の単位ベクトルが構成する角度として、〔０，２π）の区間で一意に決めることができる。
ここで、〔または、〕は閉区間を示し、（または）は開区間を示す。
しかし、信号ＰｈＹ（ｘ，ｙ；ｓ）を近似する場合、線情報ＬＹ（ｋ；ｓ）について上記と逆向きに接ベクトルを与えた方が式２９および式３０をよく近似する場合がある。
１つの線において常にこの方向が進行方向あるいは逆方向に決まっていれば、線の連結の方向を信号ＰｈＹ（ｘ，ｙ；ｓ）に合うように始点と終点を入れ替えればよい。
しかし、この方向が途中で変わるという問題が起きることが考えられる。
したがって、常に進行方向に対しての接線ベクトルの方向を考え、ｘ軸との角度を信号ＰｈＹ（ｘ，ｙ；ｓ）とし、振幅情報信号ＡｍＹ（ｘ，ｙ；ｓ）に１ビット付加し、信号ＡｍＹ（ｘ，ｙ；ｓ）の値の正負を示すことができるようにすることによりこの問題に対処する。
このプラスマイナスを考慮した振幅情報をあらためて信号ＡｍＹ（ｋ；ｓ）と定義する。
したがって、信号ＡｍＹ（ｋ；ｓ）には振幅情報としてはマイナスの値も入ることになる。
【００８１】
上述した情報抽出部２０５の処理を示した図３〜図５を説明する。
図３において、
ステップ０１（Ｓ０１）において、数値ｋを０クリアする。
ステップ０２（Ｓ０２）において、画像情報の画素の座標を（ｘ，ｙ）＝（０，０）とする。
ステップ０３（Ｓ０３）において、信号ＰＹ（ｘ，ｙ；ｓ）の値が１であるか否かを判断する。
１である場合、図４に示すＳ１００の処理に進み、１でない（０である）場合Ｓ０４の処理に進む。
ステップ０４（Ｓ０４）において、ｘの値をインクリメント（ｘ＝ｘ＋１）する。
ステップ０５（Ｓ０５）において、ｘの値が画像情報のＸ軸の最大値Ｘであるか否かを判断する。
Ｘである場合Ｓ０３の処理に進み、Ｘでない場合Ｓ０６の処理に進む。
ステップ０６（Ｓ０６）において、ｘの値を０クリア（ｘ＝０）し、ｙの値をインクリメント（ｙ＝ｙ＋１）する。
ステップ０７（Ｓ０７）において、ｙの値が画像情報のｙ軸の最大値Ｙであるか否かを判断する。
Ｙである場合Ｓ０３の処理に進み、Ｙでない場合Ｓ０７の処理に進む。
ステップ２００（Ｓ２００）において、Ｓ１００の処理の返り値である数値ｅｄを判断する。
数値ｅｄが２以下である場合Ｓ３００の処理に進み、２以上である場合Ｓ０４の処理に進む。
【００８２】
図４において、
ステップ１０１（Ｓ１０１）において、数値ｄｘ，ｄｙを−１にセットし、数値ｅｄを０クリアする。
ここで、数値ｄｘ，ｄｙは、図６に示した中心画素に対する近傍の画素０〜７を示し、例えばｄｘ＝−１，ｄｙ＝−１とした場合、図６の画素０を示す。
また数値ｅｄは、処理の対象となっている画素の信号ＰＹ（ｘ，ｙ；ｓ）が１であると検出された回数を示す。
ステップ１０２（Ｓ１０２）において、ｘ’＝ｘ＋ｄｘ、ｙ’＝ｙ＋ｄｙの演算を行う。
ステップ１０３（Ｓ１０３）において、信号ＰＹ（ｘ，ｙ；ｓ）が１であるか否かを判断する。
１である場合Ｓ１０４の処理に進み、１でない（０である）場合Ｓ１０５の処理に進む。
ステップ１０４（Ｓ１０４）において、数値ｅｄをインクリメント（ｅｄ＝ｅｄ＋１）する。
ステップ１０５（Ｓ１０５）において、ｄｘをインクリメントする。
ステップ１０６（Ｓ１０６）において、ｄｘを−１にセットし、ｄｙをインクリメント（ｄｙ＝ｄｙ＋１）する。
ステップ１０７（Ｓ１０７）において、ｄｙが２であるか否かを判断する。
２である場合Ｓ１０２の処理に進に、２でない場合、図３のＳ２００の処理に進む。
【００８３】
図５において、
ステップ３０１（Ｓ３０１）において、数値ｋをインクリメント（ｋ＝ｋ＋１）し、数値ｌを０にセットする。
ステップ３０２（Ｓ３０２）において、処理の対象となる画素の信号ＰＹ（ｘ，ｙ；ｓ）を０にセットし、ｄｘ，ｄｙを−１にセットし、記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｘにｘをセットし、記憶領域ｌｉｎｅ〔ｋ〕〔ｌ〕．ｙにｙをセットする。
ステップ３０３（Ｓ３０３）において、ｘ’＝ｘ＋ｄｘ、ｙ’＝ｙ＋ｄｙの演算を行う。
ステップ３０４（Ｓ３０４）において、信号ＰＹ（ｘ，ｙ；ｓ）が１であるか否かを判断する。
１である場合Ｓ３１０の処理に進み、１でない（０である）場合Ｓ３０５の処理に進む。
ステップ３０５（Ｓ３０５）において、ｄｘをインクリメント（ｄｘ＝ｄｘ＋１）する。
ステップ３０６（Ｓ３０６）において、ｄｙが１であるか否かを判断する。
１である場合Ｓ３０７の処理に進み、１でない場合（０である場合）Ｓ３０３の処理に進む。
ステップ３０７（Ｓ３０７）において、ｄｘを−１にセットし、ｄｙをインクリメント（ｄｙ＝ｄｙ＋１）する。
ステップ３０８（Ｓ３０８）において、ｄｙが２であるか否かを判断する。
２である場合Ｓ３０９の処理に進み、２でない場合Ｓ３０３の処理に進む。
ステップ３０９（Ｓ３０９）において、記憶領域ｌｉｎｅ〔ｋ〕〔０〕に１をセットする。
ステップ３１０（Ｓ３１０）において、ｘにｘ’をセットし、ｙにｙ’をセットし、数値ｌをインクリメント（ｌ＝ｌ＋１）する。
【００８４】
再び図２を参照して説明を行う。
信号分析部１０２、１０３は、信号分析部１０１と同様な構成を有する。
信号分析部１０１と信号分析部１０２、１０３の異なる点は、信号分析部１０２、１０３には、特徴点検出部２０６、線情報算出部２０７に対応する部分がないことである。
信号分析部１０２、１０３においては、信号分析部１０１で生成された線情報ＬＹ（ｋ；ｓ）に含まれる特徴点の位置情報を用いて処理を行う。
【００８５】
低周波成分処理部２１３は、低周波成分処理部２０３と同じ動作を行う。
つまり低周波成分処理部２１３は、信号分析部１０１の低周波成分処理部２０３が輝度信号Ｙ（ｘ，ｙ）に対して行った処理と同様の処理を色差信号Ｕ（ｘ，ｙ）に対して行う。
つまり低周波成分処理部２１３は、色差信号Ｕ（ｘ，ｙ）の低周波成分を分離して信号ＵＬ（ｘ，ｙ）として出力し、色差信号Ｕ（ｘ，ｙ）から信号ＵＬ（ｘ，ｙ）を減算して信号Ｕ０（ｘ，ｙ）としてフィルタ２１１、２１２に入力する。
【００８６】
フィルタ２１１、２１２は、フィルタ２０１、２０２と同じインパルス応答特性を有するフィルタバンクである。
フィルタ２１１は、符号化装置１０のフィルタ２０１が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｕ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２１３から入力された信号Ｕ０（ｘ，ｙ）について式１８に示した演算を行い、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）を算出して演算回路２１４に入力する。
フィルタ２１２は、符号化装置１０のフィルタ２０２が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｕ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２１３から入力された信号Ｕ０（ｘ，ｙ）について式１９に示した演算を行い、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）を算出して演算回路２１４に入力する。
【００８７】
演算回路２１４は、符号化装置１０の演算回路２０４がインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を、フィルタ２１１、２１２から入力されるインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）に対して行う。
つまり、インパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｕ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、この加算結果の平方根を算出して信号ＡＵ（ｘ，ｙ；ｓ）として情報抽出部２１５に入力する。
情報抽出部２１５は、情報抽出部２０５が線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＹ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を信号ＡＵ（ｘ，ｙ；ｓ）に対して行う。
つまり、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＵ（ｘ，ｙ；ｓ）から特徴点に対応するものを抽出して信号ＡｍＵ（ｋ；ｓ）として出力する。
【００８８】
以下、信号分析部１０２における処理を数式により定義する。
【００８９】
【数３２】
0003640405.tif 000031
【００９０】
【数３３】
0003640405.tif 000032
【００９１】
【数３４】
0003640405.tif 000033
【００９２】
【数３５】
0003640405.tif 000034
【００９３】
【数３６】
0003640405.tif 000035
【００９４】
ここで、信号ＡｍＵ（ｋ；ｓ）は、特徴点を与える線情報ＬＹ（ｋ；ｓ）に沿ってトレースした信号ＡＵ（ｘ，ｙ；ｓ）の１次元信号である。
【００９５】
信号分析部１０３における処理は、信号分析部１０２における処理と同じである。
低周波成分処理部２２３は、信号分析部１０１の低周波成分処理部２０３が輝度信号Ｙ（ｘ，ｙ）に対して行った処理と同様の処理を色差信号Ｖ（ｘ，ｙ）に対して行う。
つまり低周波成分処理部２２３は、色差信号Ｖ（ｘ，ｙ）の低周波成分を分離して信号ＶＬ（ｘ，ｙ）として出力し、色差信号Ｖ（ｘ，ｙ）から信号ＶＬ（ｘ，ｙ）を減算して信号Ｖ０（ｘ，ｙ）としてフィルタ２２１、２２２に入力する。
フィルタ２２１は、符号化装置１０のフィルタ２０１が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｖ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２２３から入力された信号Ｖ０（ｘ，ｙ）について式１８に示した演算を行い、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）を算出して演算回路２２４に入力する。
フィルタ２２２は、符号化装置１０のフィルタ２０２が信号Ｙ０（ｘ，ｙ）に対して行った処理と同様な処理を信号Ｖ０（ｘ，ｙ）に対して行う。
つまり、低周波成分処理部２２３から入力された信号Ｖ０（ｘ，ｙ）について式１９に示した演算を行い、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）を算出して演算回路２２４に入力する。
【００９６】
演算回路２２４は、符号化装置１０の演算回路２０４がインパルス応答Ｗ１Ｙ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ２Ｙ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理をフィルタ２２１、２２２から入力されるインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）に対して行う。
つまり、インパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）およびインパルス応答Ｗ１Ｖ（ｘ，ｙ；ｓ）をそれぞれ２乗して加算し、この加算結果の平方根を算出して信号ＡＶ（ｘ，ｙ；ｓ）として情報抽出部２２５に入力する。
情報抽出部２２５は、情報抽出部２０５が線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＹ（ｘ，ｙ；ｓ）に対して行った処理と同様な処理を信号ＡＶ（ｘ，ｙ；ｓ）に対して行う。
つまり、信号分析部１０１から入力される線情報ＬＹ（ｋ；ｓ）に基づいて信号ＡＶ（ｘ，ｙ；ｓ）から特徴点に対応するものを抽出して信号ＡｍＶ（ｋ；ｓ）として出力する。
【００９７】
以下、信号分析部１０３における処理を数式により定義する。
【００９８】
【数３７】
0003640405.tif 000036
【００９９】
【数３８】
0003640405.tif 000037
【０１００】
【数３９】
0003640405.tif 000038
【０１０１】
【数４０】
0003640405.tif 000039
【０１０２】
【数４１】
0003640405.tif 000040
ここで、信号ＡｍＶ（ｋ；ｓ）は、特徴点を与える線情報ＬＹ（ｋ；ｓ）に沿ってトレースした信号ＡＶ０（ｘ，ｙ；ｓ）の１次元信号である。
【０１０３】
以下、再び図１を参照して符号化装置１０の動作を説明する。
ここで、入力される輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）は同じ強さであると仮定する。
通常、各信号Ｙ（ｘ，ｙ），Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）の強度比は４：２：２程度となるが、符号化装置１０に入力される前に色動画情報に適切な補間、あるいは、間引き等の変換が行なわれることが多く、このような変換が行われる場合、各信号の強度はほぼ同じであると考えることができる。
【０１０４】
信号分析部１０１は、輝度信号Ｙ（ｘ，ｙ）から低周波成分を除いた成分Ｙ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析する。
さらに信号分析部１０１は、各スケールの分析結果から特徴点を検出し、検出された特徴点の位置を連結して線情報ＬＹ（ｋ；ｓ）を生成する。
また、その線情報ＬＹ（ｋ；ｓ）に基づき、線情報ＬＹ（ｋ；ｓ）の各特徴点の位置の分析結果の値を抽出して信号ＡｍＹ（ｋ；ｓ）を生成する。
線情報ＬＹ（ｋ；ｓ）は、演算回路１０４、信号分析部１０２、および、信号分析部１０３に入力される。
また、信号ＡｍＹ（ｋ；ｓ）は、分析結果圧縮部１０５に入力される。
【０１０５】
信号分析部１０２は、色差信号Ｕ（ｘ，ｙ）から低周波成分を除いた信号Ｕ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析し、線情報ＬＹ（ｋ；ｓ）に基づいて特徴点に対応する信号ＡｍＵ（ｋ；ｓ）を抽出する。
信号ＡｍＵ（ｋ；ｓ）は、分析結果圧縮部１０６に入力される。
信号分析部１０３は、色差信号Ｖ（ｘ，ｙ）から低周波成分を除いた信号Ｖ０（ｘ，ｙ）をいくつかの解像度スケールｓを持つフィルターで分析し、線情報ＬＹ（ｋ；ｓ）に基づいて特徴点に対応する信号ＡｍＶ（ｋ；ｓ）を抽出する。
信号ＡｍＶ（ｋ；ｓ）は、分析結果圧縮部１０７に入力される。
【０１０６】
演算回路１０４は、線情報ＬＹ（ｋ；ｓ）をチェイン符号化などの方法で圧縮し、信号ＣＬＹ（ｋ；ｓ）として出力する。
分析結果圧縮部１０５〜１０７は、それぞれ信号ＡｍＹ（ｋ；ｓ）、信号ＡｍＵ（ｋ；ｓ）、および、信号ＡｍＶ（ｋ；ｓ）を予測符号化等により圧縮し、分析結果ＣＡｍＹ（ｋ；ｓ）、分析結果ＣＡｍＵ（ｋ；ｓ）、および、分析結果ＣＡｍＶ（ｋ；ｓ）を生成し、変調部１０９に入力する。
一方、信号分析部１０１〜１０３は、輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ）、および、色差信号Ｖ（ｘ，ｙ）の低周波成分ＹＬ（ｘ，ｙ）、低周波成分ＵＬ（ｘ，ｙ）、および、低周波成分ＶＬ（ｘ，ｙ）を生成し、低周波成分圧縮部１０８に入力する。
【０１０７】
低周波成分圧縮部１０８は、低周波成分ＹＬ（ｘ，ｙ）、低周波成分ＵＬ（ｘ，ｙ）、および、低周波成分ＶＬ（ｘ，ｙ）に間引処理等を行い、さらにＤＣＴ（離散的コサイン変換）およびウェーブレット変換等のトランスフォーム符号化を行って圧縮し、信号ＣＬＯＷとして変調部１０９に入力する。
変調部１０９は、信号ＣＬＹ（ｋ；ｓ）、分析結果ＣＡｍＹ（ｋ；ｓ）、分析結果ＣＡｍＵ（ｋ；ｓ）、分析結果ＣＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷを多重化し、誤り訂正符号等の付加を行って変調をかけ、信号ＣＤａｔａを生成し、符号化装置１０に接続される伝送媒体等に入力する。
【０１０８】
第１の実施例の符号化装置１０は、特徴点の検出が輝度信号Ｙ（ｘ，ｙ）に基づいて行われるように構成されているが、特徴点の検出が色差信号Ｕ（ｘ，ｙ）あるいは色差信号Ｕ（ｘ，ｙ）に基づいて行われるように構成してもよい。
また、符号化装置１０の各部分は、それぞれ独立したハードウェアにより構成されているか、あるいは、全てあるいは一部を計算機上にソフトウェア的に実現されているかを問わない。
また、符号化装置１０と同様な構成の装置は、輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）に対してだけでなく、光の３原色に対応する色信号（Ｒ，Ｇ，Ｂ）に対しても同等の処理を行うことができる。
【０１０９】
以下、本発明の第２の実施例として、第１の実施例に示した符号化装置１０により符号化された画像情報を復号する復号装置３０を、図７〜１１を参照して説明する。
図７〜図１０を参照して復号装置３０の構成を説明する。
図７は、本発明の復号装置３０の構成を示す図である。
図７と図１を比較してわかるように、復号装置３０は、第１の実施例に示した符号化装置１０における信号処理および信号の流れを逆にした構成となっている。
図７において、復調部３０９は、例えば符号化装置１０によって符号化され、記録あるいは伝送されてきた符号化信号を復調し、誤り訂正を行い、さらに信号ＣＬＹ２（ｋ；ｓ）、信号ＡｍＹ２（ｋ；ｓ）、信号ＡｍＵ２（ｋ；ｓ）、信号ＡｍＶ２（ｋ；ｓ）、および、信号ＣＬＯＷの各信号に分離して、演算回路３０４、伸長部３０５〜３０７、および、低周波成分伸長部３０８に入力する。
ここで、信号ＣＬＹ２（ｋ；ｓ）、信号ＡｍＹ２（ｋ；ｓ）、信号ＡｍＵ２（ｋ；ｓ）、信号ＡｍＶ２（ｋ；ｓ）、および、信号ＣＬＯＷは、それぞれ図１に示した信号ＣＬＹ（ｋ；ｓ）、信号ＡｍＹ（ｋ；ｓ）、信号ＡｍＵ（ｋ；ｓ）、信号ＡｍＶ（ｋ；ｓ）、および、信号ＣＬＯＷに対応する。
図７に示す各信号は、それぞれ図１に示した各信号の名称に２を付したものとなっており、符号化装置１０と復号装置３０との間の記録媒体あるいは伝送路上で、復号装置３０９において訂正不可能な誤りが発生しない限り、対応する信号と変換誤差および量子化誤差の範囲で同じである。
【０１１０】
低周波成分伸長部３０８は、受信した符号化信号について符号化装置１０の低周波成分圧縮部１０８と逆の変換を行い、伸長して２次元信号を得る。
すなわち、式１５〜式１７の左辺に相当する信号を得る。
さらに、低周波成分圧縮部１０８で行なわれた間引きの逆である補間を行なう。
この補完処理は、例えば次式で表される。
【０１１１】
【数４２】
0003640405.tif 000041
【０１１２】
【数４３】
0003640405.tif 000042
【０１１３】
【数４４】
0003640405.tif 000043
【０１１４】
【数４５】
0003640405.tif 000044
【０１１５】
【数４６】
0003640405.tif 000045
【０１１６】
【数４７】
0003640405.tif 000046
【０１１７】
ただし、ｘ＝０，・・・，Ｘ−１、ｙ＝０，・・・，Ｙ−１を示し、〔ｘ／２s 〕は、数値ｘ／２s の小数点部を切り捨てた整数を示す。
また、Ｌ０（ｘ，ｙ）は適切なローパスフィルタのインパルス応答である。
低周波成分伸長部３０８によって生成された信号ＹＬ２（ｋ；ｓ）、信号ＵＬ２（ｋ；ｓ）、および、信号ＶＬ２（ｋ；ｓ）は、それぞれ信号逆変換部３０１〜３０３に入力される。
【０１１８】
演算回路３０４は、圧縮された線情報信号ＣＬＹ（ｋ；ｓ）を処理して、符号化装置１０における線情報ＬＹ（ｋ；ｓ）に相当する特徴点の線情報ＬＹ２（ｋ；ｓ）を求める。
演算回路３０４における処理は、演算回路１０４の処理の逆変換に相当する。
すなわち、演算回路１０４においては、線情報ＬＹ（ｋ；ｓ）は、線情報ＬＹ（ｋ；ｓ）の座標、および、図６に示した画素０〜７の内の１つを指定する３ビットの情報系列に圧縮されるので、始点の座標（ｘ，ｙ）をよんだ後、それに続く信号系列の３ビットずつを順次用い、図６で指定された方向に座標を進めて線情報を線情報ＬＹ２（ｋ；ｓ）を復元する。
伸長部３０５〜３０７は、それぞれ分析結果圧縮部１０５〜１０７の逆変換処理、すなわち第１の実施例に説明したＤＰＣＭの逆変換を行う。
ＤＰＣＭの逆変換は、１つ前の系列の値に差分を累積加算していくことで実現される。
ＤＰＣＭの逆変換により得られた信号系列を、信号ＡｍＹ２（ｋ；ｓ），ＡｍＵ２（ｋ；ｓ），ＡｍＶ２（ｋ；ｓ）として、それぞれ信号逆変換部３０１〜３０３に入力する。
【０１１９】
信号逆変換部３０１は、特徴点の位置に関する情報として線情報ＬＹ２（ｋ；ｓ）、および、線情報ＬＹ２（ｋ；ｓ）に含まれる各特徴点における信号ＡｍＹ２（ｋ；ｓ）を用いて凸射影法により、元の輝度信号Ｙ（ｘ，ｙ）に対応する２次元信号Ｙ２（ｘ，ｙ）を復元する。
信号逆変換部３０１の処理は、信号逆変換部３０２、３０３においても、それぞれ色差信号Ｕ２（ｘ，ｙ），Ｖ２（ｘ，ｙ）について同様である。
【０１２０】
信号逆変換部３０１〜３０２の構成および動作を図８〜１１を参照してさらに説明する。
図８は、図７に示した第１の信号逆変換部３０１の構成を示す図である。
図９は、図７に示した第２の信号逆変換部３０２の構成を示す図である。
図１０は、図７に示した第３の信号逆変換部３０３の構成を示す図である。
信号逆変換部３０１〜３０３それぞれは、符号化装置１０における輝度信号Ｙ（ｘ，ｙ）、色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）に対応する輝度信号Ｙ２（ｘ，ｙ）、色差信号Ｕ２（ｘ，ｙ），Ｖ２（ｘ，ｙ）の復元を行う。
図８〜図１０を参照してわかるように、信号逆変換部３０１〜３０３を構成する各部分は処理ループを構成しており、信号逆変換部３０１〜３０３それぞれにおける処理は、それぞれ入力信号が異なるだけで同一である。
また、図８〜図１０の各部の接続に付した信号に付されたＹ，Ｕ，Ｖは、それぞれ処理の対象が輝度信号Ｙ、色差信号Ｕ，Ｖであることを示す。
以下、信号逆変換部３０１についてのみ説明する。
【０１２１】
変換部４０１は、線情報ＬＹ２（ｋ；ｓ）により指定される特徴点の座標に、対応する信号ＡｍＹ２（ｋ；ｓ）を当てはめて２次元情報ＡＹ２Ｐ（ｘ，ｙ；ｓ）に変換する。
２次元情報ＡＹ２Ｐ（ｘ，ｙ；ｓ）は、線情報ＬＹ２（ｋ；ｓ）により指定される特徴点の座標においてのみ有意な値を有し、それ以外の座標においては０の値をとる２次元情報である。
変換部４０１の処理においては、さらに移相情報として第１の実施例で説明した信号ＰｈＹ（ｘ，ｙ）に相当する信号ＰｈＹ２（ｘ，ｙ）が必要となる。
【０１２２】
演算部４０２において、この信号ＰｈＹ２（ｘ，ｙ）は、線情報ＬＹ２（ｋ；ｓ）に含まれる連結した特徴点の座標系列（ｘ，ｙ）から、以下に説明する方法により接線方向を求めたのちに算出される。
【０１２３】
第１の実施例の符号化装置１０においては、線情報ＬＹ（ｋ；ｓ）をチェイン符号化をもちいて符号化したため、ＬＹ２（ｋ；ｓ）に含まれている（ｘ，ｙ）の系列は格子状に標本化されており、そのままでは接線方向を求めにくい。
そこでまず、ある解像度スケールｓのある線の点の系列（ｘq ，ｙq ）を考える。
ここで、添字ｑは、順序づけられた点につけられたインデックスであり、ｑ＝１，・・・，Ｑ（ｋ）である。
また、Ｑ（ｋ）は，ｋ番目の線に含まれる点の数を表す。
【０１２４】
以下、特定の特徴点の線に対応する線情報ＬＹ２（ｋ；ｓ）に着目して説明を行うので、Ｑ（ｋ）をＱと記す。
ここで、関数ｐｘ（ｔ）という関数を定義する。
関数ｐｘ（ｔ）は、ある連結された特徴点の系列（ｘp ）の始点からの長さｔをパラメータとし、ｘp を表した関数である。
長さｔはインデックスｑに対して一意に決まる。
同様に関数ｐｙ（ｔ）を、ある連結された特徴点の系列（ｙq ）の始点からの長さｔおよび座標ｙq で定義する。
この関数ｐｘ（ｑ）と関数ｐｙ（ｑ）を、関数Ｇ０（ｔ）の特性を有するローパスフィルタでフィルタリングする。
【０１２５】
【数４８】
0003640405.tif 000047
【０１２６】
【数４９】
0003640405.tif 000048
【０１２７】
この関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）は、格子状の標本化の影響がとれた曲線を与える。
関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）をｔに関して１回微分したものをｄｐｘ（ｔ），ｄｐｙ（ｔ）とする。
実際には，関数Ｇ０（ｔ）を予め１階微分した関数Ｇ１（ｔ） =∂Ｇ０（ｔ）/ ∂ｔを求めて、次式の関数Ｇ１（ｔ）を関数ｐｘ（ｑ）と関数ｐｙ（ｑ）に畳み込み演算を行ってフィルタリングを行う。
【０１２８】
【数５０】
0003640405.tif 000049
【０１２９】
【数５１】
0003640405.tif 000050
【０１３０】
上式のベクトル〔ｄｐｘ〔ｔ〕，ｄｐｘ〔ｔ〕〕が接線ベクトルになる。
従って、解像度スケールｓのこの線より求めた角度は次式で表される。
【０１３１】
【数５２】
0003640405.tif 000051
【０１３２】
前述したようにｑとｔは１対１対応で一意に決まる。
全ての線と解像度スケールでこれらを求める。
特徴点以外での座標において信号ＰＹ２（ｘ，ｙ；ｓ）＝０として演算部４０２の出力とする。
信号ＰｈＹ２（ｘ，ｙ）は、変換部４０１に入力される。
【０１３３】
変換部４０１は、信号ＰｈＹ２（ｘ，ｙ）および信号ＡＹ２（ｘ，ｙ；ｓ）を用いてインパルス応答Ｗ２ＹＰ（ｘ，ｙ；ｓ），Ｗ２ＹＰ（ｘ，ｙ；ｓ）を求める。
この演算は次式で表される。
【０１３４】
【数５３】
0003640405.tif 000052
【０１３５】
【数５４】
0003640405.tif 000053
【０１３６】
一方、演算部４０９、４１０は、初期状態においてＷ１ＹＰ”（ｘ，ｙ；ｓ）＝Ｗ１ＹＰ’（ｘ，ｙ；ｓ）＝０とセットして出力する。
信号Ｗ１ＹＰ”（ｘ，ｙ；ｓ），Ｗ１ＹＰ’（ｘ，ｙ；ｓ）は、演算部４０５、４０６に入力され、演算部４０５、４０６は、線情報ＬＹ２（ｋ；ｓ）に含まれる特徴点に対応する信号Ｗ１ＹＰ”（ｘ，ｙ；ｓ），Ｗ１ＹＰ’（ｘ，ｙ；ｓ）の値のみをサンプルして信号Ｗ１ＹＰ’（ｘ，ｙ；ｓ），Ｗ２ＹＰ’（ｘ，ｙ；ｓ）として出力する。
すなわち、次式の演算が行われる。
【０１３７】
【数５５】
0003640405.tif 000054
【０１３８】
【数５６】
0003640405.tif 000055
【０１３９】
信号Ｗ１ＹＰ’（ｘ，ｙ；ｓ），Ｗ２ＹＰ’（ｘ，ｙ；ｓ）は、減算回路４１１、４１２において、変換部４０１および演算部４０２の出力信号から減算され、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ），ＤＷ２ＹＰ（ｘ，ｙ；ｓ）として演算部４０３、４０４に入力される。
【０１４０】
【数５７】
0003640405.tif 000056
【０１４１】
【数５８】
0003640405.tif 000057
【０１４２】
ここで、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）、ＤＷ２ＹＰ（ｘ，ｙ；ｓ）は、特徴点のみで有意な値を有し、その他の点では０である信号である。
従って、演算部４０３、４０４は、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）、ＤＷ２ＹＰ（ｘ，ｙ；ｓ）に補完処理を行う。
補間の方法は種々考えられるが、ここでは振動が少ないという条件から導かれた関数による補間をかける。
まず、信号ＤＷ１ＹＰ（ｘ，ｙ；ｓ）はｘ方向への偏微分の極大点か極小点だったので、ｙを固定して、ｘ方向に補間をかける。
いま、ｘi ，ｘ(i+1) がｘ方向にスキャンしても続く特徴点とする。
その間を、
【０１４３】
【数５９】
0003640405.tif 000058
【０１４４】
で定義される関数で補間する。
ただし、ｋ（ｓ）は解像度スケールｓに依存した適当な正の数である。
未知数ａ，ｂは次式の２つの境界条件で求めることができる。
【０１４５】
【数６０】
0003640405.tif 000059
【０１４６】
【数６１】
0003640405.tif 000060
【０１４７】
ｙ方向の補間も同様に行なう。
その補間関数を関数ｅ２（ｙ）とする。
次に関数ｅ１（ｘ），ｅ２（ｙ）を演算部４０９、４１０の出力に加える。
すなわち、次式により各ｓとｙを固定した状態で各区間の関数ｅ１（ｘ）を求め、
【０１４８】
【数６２】
0003640405.tif 000061
【０１４９】
同じく、各ｓとｘを固定した状態で各区間でｅ２（ｙ）を求め、
【０１５０】
【数６３】
0003640405.tif 000062
【０１５１】
として、信号Ｗ１Ｙ’（ｘ，ｙ；ｓ），Ｗ２Ｙ’（ｘ，ｙ；ｓ）を演算部４０７、４０８に入力する。
演算部４０７、４０８は、式６４および式６５で与えられる特性を有するフィルターバンクの逆フィルターである。
この逆フィルタ特性を関数ＩＷ１（ｘ，ｙ；ｓ），ＩＷ２（ｘ，ｙ；ｓ）とし、ｘ，ｙに関する２次元フーリエ変換をＦＩＷ１（ｗｘ，ｗｙ；ｓ），ＦＩＷ２（ｗｘ，ｗｙ；ｓ）とすると、逆フィルターはフーリエ空間で次式のように与えられる。
【０１５２】
【数６４】
0003640405.tif 000063
【０１５３】
【数６５】
0003640405.tif 000064
【０１５４】
ただし、ＦＷ１（ｗｘ，ｗｙ；ｓ），ＦＷ２（ｗｘ，ｗｙ；ｓ）はそれぞれＷ１（ｘ，ｙ；ｓ），Ｗ２（ｘ，ｙ；ｓ）のフーリエ変換を表し、”* ”は複素共役をとることを意味する。
また、関数Ｃ（ｗｘ，ｗｙ）を次式で定義する。
【０１５５】
【数６６】
0003640405.tif 000065
【０１５６】
ここで、上式のＳＵＭ(s=1,...,S) は、すべての解像度スケールｓに関する和を意味する。
【０１５７】
上式で定義されるフィルターを通って信号ＹＹ１（ｘ，ｙ；ｓ），ＹＹ２（ｘ，ｙ；ｓ）を出力する。
【０１５８】
【数６７】
0003640405.tif 000066
【０１５９】
【数６８】
0003640405.tif 000067
【０１６０】
これらの信号ＹＹ１（ｘ，ｙ；ｓ），ＹＹ２（ｘ，ｙ；ｓ）は、すべての解像度スケールｓに関して足し合わされ、信号Ｙ０’（ｘ，ｙ）が得られる。
【０１６１】
【数６９】
0003640405.tif 000068
【０１６２】
信号Ｙ０’（ｘ，ｙ）は、演算部４０９、４１０に入力される。
演算部４０９、４１０においては、図２に示したフィルタ２０１、２０２と同じ分析が行われる。
【０１６３】
【数７０】
0003640405.tif 000069
【０１６４】
【数７１】
0003640405.tif 000070
【０１６５】
以上で処理ループが完成する。
最初の初期値においては  Ｗ１Ｙ”（ｘ，ｙ；ｓ）＝Ｗ２Ｙ”（ｘ，ｙ；ｓ）＝０だったが、このループで適当な信号となり，再び演算部４０３〜４０８を介して信号Ｙ０'(ｘ，ｙ）が得られる。
以上の処理を適当な条件を満たすまで繰り返す。
この例では構成の簡略化のために、例えば１０回上述の処理を繰り返して終了する。
最後に求められた信号Ｙ０’（ｘ，ｙ）に低周波成分ＹＬ２（ｘ，ｙ）を加えて最終的な輝度信号Ｙ（ｘ，ｙ）を得る。
色差信号Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）についても、復号装置３０２、３０３の各部分において、対応する信号逆変換部３０１の各部分と同じ処理が行われる。
【０１６６】
以下、各実施例に述べた本発明の画像情報符号化装置および復号装置の変形例を説明する。
第２の実施例の復号装置３０においても、第１の実施例の符号化装置１０と同様に、信号要素として色信号Ｒ，Ｇ，Ｂを含む動画像情報を復号することが可能である。
信号要素として色信号Ｒ，Ｇ，Ｂを含む動画像情報も通常、信号要素として輝度信号Ｙ、および、色差信号Ｕ，Ｖを含む動画像情報と同様に、各信号要素間で特徴点が深い相関関係を有する、あるいは、共通であると考えられるからである。
この場合、例えば色信号Ｇを輝度信号Ｙの代わりに、色信号Ｒを色差信号Ｕの代わりに、また、色信号Ｂを色差信号Ｖの代わりに符号化装置１０に入力して符号化を行い、符号化装置１０により符号化された符号化信号を復号装置３０により復調することができる。
【０１６７】
また、符号化装置１０において、輝度信号Ｙに基づいて特徴点の線情報ＬＹ（ｋ；ｓ）を求め、同一の画面の色信号Ｒ，Ｇ，Ｂに対して線情報ＬＹ（ｋ；ｓ）を用いて符号化、復号化することも考えられる。
また、符号化装置１０のフィルタ２０１、２０２の特性は、上述したガウス関数を一回微分した形式のものに限らず、例えばスムーシング関数として３次のＢスプラインなどを用てもよい。
また、処理の対象となる動画像信号のサンプル（標本）数は、輝度信号Ｙおよび色差信号Ｕ，Ｖにおいて同数としたが、異なっていてもよい。
この場合、各信号について適切な間引きや補間を行い、標本数変換して標本数をそろえれば本発明の符号化処理等を容易に行うことができる。
また、輝度信号Ｙおよび色差信号Ｕ，Ｖ相互の標本位置がずれている場合、補正して正確に特徴点を対応付けることも容易である。
【０１６８】
また、標本数あるいは標本点の補正は入力信号にでなく、線情報の状態で行なうことも可能である。
すなわち、線情報ＬＹ（ｋ；ｓ）の系列を式４８および式４９で行なったように、長さｔのパラメータ表現にしてから、長さを変換して再標本することにより大きさの異なる線情報ＬＹ（ｋ；ｓ）と相似な特徴点からなる曲線を作ることができる。
あるいは、式４８および式４９に示した関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）をそれぞれ違う値で定数倍すれば、縦横比の異なる幾何学的変換を行なった曲線を作ることができる。
また、関数ｌｐｘ（ｔ），ｌｐｙ（ｔ）に適当な値を加えることは標本点をその値だけずらすことに相当する。
このようにして、標本数、標本点の補正を線情報の段階で行なうことも可能である。
【０１６９】
上述の実施例においては、輝度信号Ｙ（ｘ，ｙ）の特徴点情報である線情報ＬＹ（ｋ；ｓ）のみをもちいて符号化、復号化を行なったが、色差信号Ｕ，Ｖ信号においても特徴点検出を行ない、線情報ＬＹ（ｋ；ｓ）に存在しない特徴点を符号化することにより画質を向上させるとことが可能である。
また、逆に輝度信号Ｙ（ｘ，ｙ）では特徴点として存在し、色差信号Ｕ，Ｖにおいては対応する位置に特徴点が存在しない場合、この事実を示すための情報を符号化し復号するように構成してもよい。
また、復号装置３０も符号化装置１０と同様に、各部分をハードウェア的に構成しても、あるいは、計算機上でソフトウェア的に構成してもよい。
上述の各実施例に示したほか、例えば上述の各変形例に示したように、本発明の画像情報符号化装置および復号装置は種々の構成をとることができる。
【０１７０】
【発明の効果】
以上述べたように本発明は、例えば動画像情報に含まれる複数の信号要素間の相関を積極的に利用した、従来になかった画像情報符号化装置および復号装置を提供する。
また本発明によれば、カラー動画像情報を構成する複数の信号の特徴点のすべてあるいは一部を共通化することによりカラー動画像情報の圧縮効率を非常に高めることができ、情報量を少なく符号化可能であり、また、この符号化信号を適切に復号化できる。
【図面の簡単な説明】
【図１】第１の実施例における本発明の符号化装置の構成を示す図である。
【図２】図１に示した各信号分析部の構成を示す図である。
【図３】図２に示した線情報算出部における特徴点の連結処理を示すフローチャートである。
【図４】図３に示したＳ１００の処理を示すフローチャートである。
【図５】図３に示したＳ３００の処理を示すフローチャートである。
【図６】画像情報の近傍画素を説明する図である。
【図７】第２の実施例における本発明の復号装置の構成を示す図である。
【図８】図７に示した第１の信号逆変換部の構成を示す図である。
【図９】図７に示した第２の信号逆変換部の構成を示す図である。
【図１０】図７に示した第３の信号逆変換部の構成を示す図である。
【符号の説明】
１０・・・符号化装置、１０１〜１０３・・・信号分析部、１０４・・・演算回路、１０５〜１０７・・・分析結果圧縮部、１０８・・・低周波成分圧縮部、１０９・・・変調部、２０１，２０２，２１１，２１２，２２１，２２２・・・フィルタ、２０３，２１３，２２３・・・低周波成分処理部、２０４，２１４，２２４・・・演算回路、２０５，２１５，２２５・・・情報抽出部、２０６・・・特徴点検出部、２０７・・・線情報算出部、３０・・・復号装置、３０１〜３０３・・・信号逆変換部、３０４・・・演算回路、３０５〜３０７・・・伸長部、３０８・・・低周波成分伸長部、４０１・・・変換部、４０２〜４１０・・・演算部、４１１，４１２・・・減算回路
【図１】
0003640405.tif 000071
【図２】
0003640405.tif 000072
【図３】
0003640405.tif 000073
【図４】
0003640405.tif 000074
【図５】
0003640405.tif 000075
【図６】
0003640405.tif 000076
【図７】
0003640405.tif 000077
【図８】
0003640405.tif 000078
【図９】
0003640405.tif 000079
【図１０】
0003640405.tif 000080