(57)【特許請求の範囲】
【請求項１】
符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成手段と、
上記入力ディジタル画像信号から、上記所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出し手段と、
上記クラス情報生成手段で生成された上記クラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出し手段で抽出された複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数と上記第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整装置。
【請求項２】
請求項１において、
上記予測係数は、
エラーの無い教師信号と上記入力画像信号に対応し、エラーを含む生徒信号を用いて学習装置によって予め生成され、
上記学習装置は、
上記生徒信号から、所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成手段と、
上記生徒信号から、上記所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出し手段と、
予測係数と上記第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算手段とからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整装置。
【請求項３】
符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成ステップと、  上記入力ディジタル画像信号から、上記所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出しステップと、
上記クラス情報生成ステップで生成された上記クラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出しステップで抽出された複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
上記予測係数と上記第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整方法。
【請求項４】
請求項３において、
上記予測係数は、
エラーの無い教師信号と上記入力画像信号に対応し、エラーを含む生徒信号を用いて学習によって予め生成され、
上記学習は、
上記生徒信号から、所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成ステップと、  上記生徒信号から、上記所定の注目画素周辺に位置し、且つ上記エラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出しステップと、
予測係数と上記第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算ステップとからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、符号化されたディジタル画像信号を復号化した後にノイズを低減するようにしたエラー修整装置および方法に関する。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式のひとつとしてＭＰＥＧ２（Moving Picture Expert Group phase ２) による符号化方式が用いられている。ＭＰＥＧ２による送受信または記録再生システムでは、画像信号に対してＭＰＥＧ２による圧縮符号化処理を施して送信または記録し、また、受信または再生した画像信号に対して、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復号化を施すことにより、元の画像信号を復元する。
【０００３】
ＭＰＥＧ２による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号化処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号化装置に対して伝送される。
【０００４】
ＭＰＥＧに限らず、復号化によって得られる画像信号の特性は、適用される符号化復号化方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。この相違が符号化復号化処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号化処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
【０００５】
本願出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、時間的および／または空間的な相関を利用してエラーの無い画素データによってエラーの画素データを修整するエラー修整処理と比較して、解像度の劣化を防止しつつエラーを修整することができる。
【０００６】
【発明が解決しようとする課題】
復号化された画像信号に対してクラス分類適応処理を適用することによって、エラーを修整する時に、対象とする画像信号が上述したような特性の相違を有している。それによって、クラス分類適応処理の予測精度が低下するため、十分なエラー修整性能を得られないという問題があった。
【０００７】
また、クラス分類適応処理において、対象画像信号の動き情報をクラスに導入することによって予測性能を向上することができる。その動き情報は、動きベクトルのような詳細な動き情報の表現形式が効果的である。しかしながら、符号化復号化処理を経た画像信号から動きベクトルを検出する場合には、復号画像信号の歪みのために動きベクトルの検出精度が低下し、また、動きベクトル検出のために、多量の演算処理が必要となるという問題があった。
【０００８】
従って、この発明の目的は、符号化復号化の処理を経たディジタル画像信号に対して付加情報を使用したクラス分類適応処理を行うことによって、エラー修整処理を良好に行うことが可能なエラー修整装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出し手段と、
第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
付加情報および特徴量からクラス情報を生成するクラス情報生成手段と、
入力ディジタル画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出し手段と、
クラス情報生成手段で生成されたクラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出し手段で抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数と第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整装置である。
【００１０】
請求項３の発明は、符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出しステップと、
第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
付加情報および特徴量からクラス情報を生成するクラス情報生成ステップと、
入力ディジタル画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出しステップと、
クラス情報生成ステップで生成されたクラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出しステップで抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数と第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整方法である。
【００２０】
請求項１および３の発明によれば、入力ディジタル画像信号の特徴量と共に復号化処理用の付加情報を使用したクラス分類適応処理を行うことが可能となり、クラス分類適応処理を適用したエラー修整処理における予測精度を向上することができる。
【００２１】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。まず、図１を参照して、予測画像信号（すなわち、エラー修整された画像信号）の生成に係る構成について説明する。入力ビットストリームが復号器１に供給される。ここでは、入力ビットストリームは、送受信システム（または記録再生システム、以下、同様である。）において、ＭＰＥＧ２で圧縮符号化された画像データと、付加情報等のその他のデータとである。復号器１からは、復号化された画像信号と、復号化用の付加情報とが出力される。
【００２２】
付加情報は、復号化処理に必要な付随情報であり、入力ビットストリーム中のシーケンス層、ＧＯＰ層、ピクチャー層のそれぞれのヘッダ中に挿入されており、復号器１は、付加情報を使用して復号化処理を行い、また、付加情報を分離して出力する。
【００２３】
また、入力信号または復号器１で復号された画像信号に関して、エラー訂正符号を使用したエラー検出、訂正処理がエラー訂正部１０においてなされる。エラー訂正符号の訂正能力の範囲内のエラーが訂正される。しかしながら、エラー訂正符号によって訂正不可能なエラーが発生することもある。エラー訂正処理後において、復号画像信号の各画素単位で、訂正不可能なエラー画素位置情報を示すエラーフラグがエラー訂正部１０から出力される。このエラーフラグによって指示されるエラー画素に対してクラス分類適応処理が適用され、エラーが修整される。エラーフラグがエラー無しを示すものである場合には、エラー修整が不要である。したがって、エラーフラグに応じて復号データそのものと、クラス分類適応処理でエラー修整された画素値（予測値）とを選択するセレクタ１１が設けられている。セレクタ１１に対する復号画像信号を遅延させる遅延部（図示しない）が設けられ、クラス分類適応処理による遅れが補償される。
【００２４】
付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。例えばクラス分類適応処理に使用される付加情報として、以下に挙げるものがある。
【００２５】
(1) 信号種類情報：コンポーネント信号の各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂのコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等）
(2) 画像フォーマット情報：インターレース／プログレッシブの識別情報、フィールドまたはフレーム周波数（時間解像度情報）、水平画素数や垂直ライン数の画像サイズ情報（空間解像度情報）、４：３，１６：９等のアスペクトレシオ情報
(3) 画質情報：伝送ビットレート（圧縮率）情報
(4) 動きベクトル：水平と垂直の動き量情報
画像符号化の対象信号は、種々のものがあり、上述の付加情報を含む各種制御信号を伝送することによって受信側での復号を実現している。上述の付加情報で示される種々の仕様や属性によって、復号画像信号の信号特性が大きく異なる。そこで、この特性情報をクラス分類適応処理に導入することによって、予測性能の向上が図られる。
【００２６】
復号器１からの復号化画像信号とエラー訂正部１０からのエラーフラグとが領域切出し部４および予測タップデータ生成部５に供給される。領域切出し部４は、入力画像信号から複数の画素からなる領域を抽出し、抽出した領域に係る画素データを特徴量抽出部６に供給する。この場合、エラーフラグにより示されるエラーの注目画素のみならず、その時間および／または空間的に近傍のエラー画素は、クラスタップの画素としては使用されない。一方、クラスタップ内の画素数を所定数に保つために、１または複数のエラー画素が存在する時に、そのエラー画素に変えて使用される画素が予め決められている。それによって、クラスタップ内の画素数が一定数とされる。予測タップデータ生成部５においても、同様にエラー画素が予測演算に使用されず、所定の周辺の画素がエラー画素に代えて使用される。
【００２７】
特徴量抽出部６は、供給される画素データに１ビットＡＤＲＣ等の処理を施すことによってＡＤＲＣコードを生成し、生成したＡＤＲＣコードをクラスコード生成部７に供給する。領域切出し部４において抽出される複数の画素領域をクラスタップと称する。クラスタップは、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。後述するように、クラスは、注目（目標）画素ごとに決定される。
【００２８】
ＡＤＲＣは、クラスタップ内の画素値の最大値および最小値を求め、最大値および最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットＡＤＲＣの場合では、タップ内の複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣの処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ベクトル量子化等の画素値のビット数を圧縮する符号化を使用するようにしても良い。
【００２９】
また、特徴量抽出部６からクラスコード生成部７に対して、エラーフラグに基づくクラス情報が供給される。すなわち、クラスタップ領域内のエラー画素位置のパターンがエラークラスとしてクラスコード生成部７に供給される。クラスタップ領域内の画素数に応じた組み合わせ数のパターンが存在する。
【００３０】
クラスコード生成部７には、付加情報クラス生成部３において、付加情報に基づいて生成された付加情報クラスも供給される。クラスコード生成部７は、付加情報クラスとＡＤＲＣコードとエラークラスとに基づいて、クラス分類の結果を表すクラスコードを発生し、クラスコードを予測係数ＲＯＭ８に対してアドレスとして供給する。ＲＯＭ８は、供給されるクラスコードに対応する予測係数セットを予測演算部９に出力する。予測係数セットは、後述する学習処理によって予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。予測係数は、外部から予測係数のダウンロードが可能なＲＡＭの構成のメモリに蓄積しても良い。
【００３１】
一方、予測タップデータ生成部５は、入力画像信号から複数の画素からなる所定の領域（予測タップ）を抽出し、抽出した予測タップの画素データを予測演算部９に供給する。予測タップは、クラスタップと同様に、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。予測タップデータ生成部５に対して、エラーフラグが供給されており、エラーフラグによってエラー画素と指示されるものは、予測演算に使用されず、代わりの画素で置き換えられる。予測演算部９は、予測タップデータ生成部５から供給される画素データと、ＲＯＭ８から供給される予測係数セットとに基づいて以下の式（１）に従う積和演算を行うことによって、予測画素値（エラー修整後の画素値）を生成し、予測画素値を出力する。予測タップと上述したクラスタップは、同一、または別々の何れでも良い。
【００３２】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が予測タップの各画素データであり、ｗ1 ，‥‥，ｗn が予測係数セットである。予測演算は、この式（１）で示す１次式に限らず、２次以上の高次式でも良いし、非線形であっても良い。
【００３３】
予測画像信号は、復号器１の出力画像信号中のエラーが修整されたものである。クラス分類適応処理は、固定係数のフィルタによってエラー画素を補間するのと異なり、予め実際の画像信号を使用して求めた予測係数を使用するので、より真値に近い画素値を求めるように、エラーを修整することができる。
【００３４】
図２は、領域切出し部４によって抽出されるクラスタップの配置の一例を示す。復号化画像信号の内で注目画素とその周辺の複数画素との合計７個の画素によってクラスタップが設定される。図３は、予測タップデータ生成部５から出力される予測タップの配置の一例を示す。復号化画像信号の内で、注目画素と注目画素を中心とした周辺の複数の画素との合計１３個の画素によって予測タップが設定される。なお、図２および図３において、実線は、第１フィールドを示し、破線が第２フィールドを示す。また、図示のタップの配置は、一例であって、種々の配置を使用することができる。
【００３５】
次に、図４を参照して、クラスコード生成部７において形成されるクラスコード（予測係数ＲＯＭのアドレス）と、予測係数ＲＯＭ８に記憶されている予測係数との一例について説明する。図４に示すクラス情報の内で、信号種類クラス、フォーマットクラス、圧縮率（伝送レート）クラス、動きベクトルクラスは、付加情報クラス生成部３で生成されるクラスである。信号特徴量クラスは、特徴量抽出部６で抽出された特徴量に基づくクラス、例えばＡＤＲＣクラスである。エラークラスは、エラーフラグに基づいて特徴量抽出部６で生成されるクラスである。図４の表において、最も左側の信号種類クラスがアドレスの最上位側となり、最も右側のエラークラスが最も下位側となる。
【００３６】
信号種類クラスは、例えばＹ，Ｕ，ＶとＹ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応して予測係数が別々に求められ、各信号種類がクラスＫ０，Ｋ１で区別される。フォーマットクラスは、処理対象の画像の時空間解像度特性に対応したもので、例えば２種類とされ、各フォーマットクラスに対応してＦ０，Ｆ１のクラスが規定される。例えばインターレースの画像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ１のクラスが割り当てられる。画像フォーマットのクラスの他の例は、フィールドまたはフレーム周波数、水平画素数または垂直ライン数である。一例として、Ｆ０，Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解像度が高くなる。
【００３７】
圧縮率（伝送レート）クラスは、画質情報に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1 が用意されている。圧縮率が高いほど符号化歪み量が多くなる。動きベクトルクラスは、注目画素が含まれるフレーム（現フレーム）と時間的に前のフレームとの間の動きベクトルに応じたクラスであり、ｊ種類用意されている。圧縮率クラスおよび動きベクトルクラスは、個々の値でも良いが、その場合には、クラス数が多くなるので、代表的な複数の値にまとめられている。例えば適当なしきい値によって形成された複数の範囲毎に一つの代表値を設定し、その代表値に対応したクラスを設定すればよい。具体的には、水平方向および垂直方向の動きを表現した動きベクトルから静止、小さな動き、大きな動きとの３段階のクラスを形成しても良い。
【００３８】
以上の４種類のクラスが付加情報クラス生成部３において生成されるクラスである。但し、上述したクラスは、一例であり、一部のクラスのみを使用しても良い。例えば付加情報クラスのみをクラスとして使用しても良い。そして、上述した４種類のクラスの下位側に、特徴量抽出部６において生成された信号特徴量クラス（例えばＡＤＲＣコードに基づくクラス）が付加される。信号特徴量クラスとしては、ｋ種類用意されている。さらに、信号特徴量クラスの下位側にエラークラスが付加される。エラークラスとしては、ｍ種類用意されている。
【００３９】
このように、４種類の付加情報クラスと信号特徴量クラスとエラークラスで定まるクラス毎に予測係数セットがＲＯＭ８に記憶されている。上述した式（１）で示される予測演算を行う時には、ｗ1 ，ｗ2 ，‥‥，ｗn のｎ個の予測係数セットが各クラス毎に存在する。
【００４０】
図５を参照してこの発明の他の実施形態について説明する。一実施形態の構成を示す図１と対応する部分には、同一の参照符号を付して示す。他の実施形態は、復号器１からの復号画像信号の特性に基づいて、クラス分類のためのデータ抽出方法と、予測タップの構造を変更することによって、クラス分類適応処理の予測性能を向上するようにしたものである。
【００４１】
付加情報抽出部２によって抽出される付加情報によって、復号画像信号の特徴量を抽出するクラスタップ構造を変更するために、図５に示すように、付加情報によって領域切出し部４で抽出されるクラスタップのパターンが切り替えられる。特徴量抽出部６がＡＤＲＣによって特徴量としての波形、レベル分布を抽出する場合、対象画像の時間および／または空間解像度に応じてＡＤＲＣの対象とする領域の広さが変更される。また、信号の種類によって信号特性が異なるので、クラスタップ構造が変更される。さらに、画像のアスペクト比に応じてクラスタップ構造を変更することも可能である。
【００４２】
また、付加情報には、符号化復号化による画像の歪みを示す圧縮率（伝送レート情報）も含まれ、圧縮率の情報を付加情報から抽出することができる。一旦復号化された画像信号中の符号化歪み量を検出することは、難しい。異なる符号化歪み量の信号に対してクラス分類適応処理を適用した場合、予測性能の向上が困難である。そこで、この圧縮率（伝送レート情報）に対応してクラスタップの構成が変更される。さらに、動きベクトル情報に基づいてクラスタップの構成を変更することによって、時空間相関特性が高いクラスタップ構造を実現することができる。例えば静止の場合では、フレーム内でクラスタップを構成し、動きがあるときには、現在フレームに加えて前後のフレームにわたってクラスタップを構成するようになされる。
【００４３】
さらに、図５に示すように、クラスコード生成部７で形成されたクラスコードが予測タップデータ生成部５に対して制御信号として供給される。それによって、図４に示すような付加情報を加味したクラス毎に、最適な予測タップのパターンが設定されるようになされる。上述したクラスタップの構造を付加情報によって変更するのと同様に、クラス中の付加情報に応じて予測タップの構造が変更され、クラスタップの場合と同様に、予測タップを変更することによって、予測性能を向上することができる。
【００４４】
図６は、タップ（クラスタップまたは予測タップ）の領域を付加情報に応じて変更する一例を模式的に示すものである。図６は、現フレームとその前のフレームにそれぞれ属する空間的なタップによって時空間タップを設定する例を示し、破線の枠は、タップ領域を表している。また、×が付された画素は、エラー画素であることを示す。現フレーム内の二重丸の注目画素は、エラー画素であるため、クラス分類適応処理を適用したエラー修整の対象画素となる。
【００４５】
図６は、前フレームと現フレームとの間の動きベクトルによって、前フレームに設定される空間タップ（図６の例では、３×３画素の領域）の位置が変更される。この動き補正によって、相関が強い複数画素を使用してタップを構成することが可能となる。また、画像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じて、現フレームに設定される空間タップの領域が変更される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、注目された付加情報または付加情報クラスとしてクラスコード生成部７が生成するクラス情報中に含まれている。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラスが存在している。
【００４６】
一例として、Ｆ０が空間解像度が最も低く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度が高い。空間解像度が高くなるにしたがってタップが含まれる領域が徐々に拡大される。空間解像度が低い場合には、相関の強い画素が存在する範囲が狭くなるために、タップの領域も狭いものとされる。それによって、クラス分類適応処理によるエラー修整処理の性能の向上を図ることができる。
【００４７】
さらに、クラスコード生成部７では、クラスタップ中で、注目画素以外のエラー画素の分布のパターンに基づくエラークラスが生成される。また、予測タップ生成部５では、注目画素以外の画素で、エラー画素が他の画素で置き換えられる。
【００４８】
次に、学習すなわちクラス毎の予測係数を求める処理について説明する。一般的には、クラス分類適応処理によって予測されるべき画像信号と同一の信号形式の画像信号（以下、教師信号と称する）と、教師信号にクラス分類適応処理の目的とされる処理（すなわち、エラー修整処理）と関連する処理を行うことによって得られる画像信号（生徒信号）とに基づく所定の演算処理によって予測係数が決定される。ＭＰＥＧ２規格等に従う画像信号の符号化／復号化を経た画像信号を対象としてなされるクラス分類適応処理においては、学習は、例えば図７に示すような構成によって行われる。図７は、図５に示す他の実施形態における予測係数データを学習するための構成である。
【００４９】
学習のために、教師信号と入力画像信号が使用される。教師信号は、エラーがない信号であり、生徒信号は、エラーがある信号である。教師信号に対して、エラーを付加することによって入力画像信号を形成しても良い。入力画像信号が符号化器２１で例えばＭＰＥＧ２によって符号化される。符号化器２１の出力信号が図１における入力信号に相当する。符号化器２１の出力信号が復号器２２に供給される。復号器２２からの復号画像信号が生徒信号として使用される。また、復号器２２で分離された復号用の付加情報が付加情報抽出部２３に供給され、付加情報が抽出される。さらに、エラー訂正部３２においてエラー訂正処理がなされ、エラー訂正不可能なエラー画素の位置を指示するエラーフラグがエラー訂正部３２から出力される。
【００５０】
抽出された付加情報は、付加情報クラス生成部２４および領域切出し部２５に供給される。付加情報は、上述したのと同様に、信号種類情報、画像フォーマット情報、画質情報、動きベクトル等である。また、エラー訂正部３２からのエラーフラグが領域切出し部２５および予測タップデータ生成部２６に供給される。
【００５１】
復号器２２からの復号画像信号、すなわち、生徒信号が領域切出し部２５および予測タップデータ生成部２６に供給される。図５の構成と同様に、領域切出し部２５が付加情報抽出部２３で抽出された付加情報によって制御され、予測タップデータ生成部２６がクラスコード生成部２８で生成されたクラスの内の付加情報クラスによって制御される。それによって、時間的および／または空間的相関の高い複数の画素によってタップを設定することが可能とされる。領域切出し部２５で抽出されたクラスタップのデータが特徴量抽出部２７に供給され、特徴量抽出部２７においてＡＤＲＣ等の処理によって、特徴量を抽出する。この特徴量がクラスコード生成部２８に供給される。クラスコード生成部２８は、付加情報クラスとＡＤＲＣコードとエラークラスとに基づいて、クラス分類の結果を表すクラスコードを発生する。クラスコードは、正規方程式加算部２９に供給される。
【００５２】
一方、予測タップデータ生成部２６により抽出された予測タップの画素データであってエラーの無い画素データが正規方程式加算部２９に供給される。正規方程式加算部２９は、予測タップデータ生成部２６の出力と、教師信号とに基づく所定の演算処理によって、クラスコード生成部２８から供給されるクラスコードに対応する予測係数セットを解とする正規方程式のデータを生成する。正規方程式加算部２９の出力は、予測係数算出部３０に供給される。
【００５３】
予測係数算出部３０は、供給されるデータに基づいて正規方程式を解くための演算処理を行う。この演算処理によって算出された予測係数セットがメモリ３１に供給され、記憶される。予測推定に係る画像変換処理を行うに先立って、図５中の予測係数ＲＯＭ８にメモリ３１の記憶内容がロードされる。
【００５４】
正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数セットｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００５５】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （２）
（ｋ＝１，２，‥‥，ｍ）
【００５６】
ｍ＞ｎの場合、予測係数セットｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によって予測係数セットを一意に定める。
【００５７】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （３）
（ｋ＝１，２，‥‥ｍ）
【００５８】
【数１】
0004552264.tif 000002
【００５９】
式（４）のｅ2 を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００６０】
【数２】
0004552264.tif 000003
【００６１】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００６２】
【数３】
0004552264.tif 000004
【００６３】
【数４】
0004552264.tif 000005
【００６４】
【数５】
0004552264.tif 000006
【００６５】
式（８）が一般に正規方程式と呼ばれるものである。予測係数算出部３０は、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗi を算出する。
【００６６】
また、予測係数の生成は、図８に示すフローチャートで示されるようなソフトウェア処理によっても行うことができる。ステップＳ１から処理が開始され、ステップＳ２において、生徒信号を生成することによって、予測係数を生成するのに必要十分な学習データを生成する。ステップＳ３において、予測係数を生成するのに必要十分な学習データが得られたどうかを判定し、未だ必要十分な学習データが得られていないと判断された場合には、ステップＳ４に処理が移行する。
【００６７】
ステップＳ４において、生徒信号から抽出された特徴量と付加情報とエラーフラグからクラスを決定する。ステップＳ５においては、各クラス毎に正規方程式を生成し、ステップＳ２に戻って同様の処理手順を繰り返すことによって、予測係数セットを生成するのに必要十分な正規方程式を生成する。
【００６８】
ステップＳ３において、必要十分な学習データが得られたと判断されると、ステップＳ６に処理が移る。ステップＳ６では、正規方程式を掃き出し法によって解くことによって、予測係数セットｗ1 ，ｗ2 ，・・・・，ｗn を各クラス毎に生成する。そして、ステップＳ７において、生成した各クラス毎の予測係数セットｗ1 〜ｗn をメモリに記憶し、ステップＳ８で学習処理を終了する。
【００６９】
この発明は、上述したこの発明の一実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばＭＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使用する場合に対して、この発明を適用することができる。
【００７０】
【発明の効果】
上述したように、この発明は、エラーを修整するために、復号化された復号信号に対してクラス分類適応処理を適用する時に、対象とする復号信号が有する属性や、特性を示す復号用付加情報を用いることによって、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この発明では、復号用付加情報を用いることによって、対象信号の属性や、特性を反映したクラス分類が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この発明では、復号用付加情報を用いることによって、対象信号の属性や、特性を反映した適切な予測タップ構成が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。
【００７１】
また、この発明では、対象とする復号信号の動きベクトル情報を用いることによって、詳細なクラス分類、並びに適切な予測タップ構成が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この動きベクトル情報を復号信号から検出するのではなく、付加情報として伝送される動きベクトル情報を使用するので、動きベクトル検出に必要とされる膨大な演算を回避できる。しかも、復号信号から動きベクトルを検出する場合には、符号化歪みによって、動きベクトルの精度が低下するおそれがある。この発明では、付加情報に含まれる動きベクトル情報を使用するので、高精度の動きベクトル情報を使用でき、それによってクラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成を示すブロック図である。
【図２】クラスタップの画素配置の一例の略線図である。
【図３】予測タップの画素配置の一例の略線図である。
【図４】付加情報および特徴量に基づくクラスの一例を示す略線図である。
【図５】この発明の他の実施形態の構成を示すブロック図である。
【図６】この発明の他の実施形態を説明するための略線図である。
【図７】クラス分類適応処理を行う場合の予測係数の学習処理に係る構成の一例を示すブロック図である。
【図８】学習処理をソフトウェアで行う時の処理を示すフローチャートである。
【符号の説明】
１，２２・・・復号器、２，２３・・・付加情報抽出部、３，２４・・・付加情報クラス生成部、４，２５・・・領域切出し部、５，２６・・・予測タップデータ生成部、６，２７・・・特徴量抽出部，７，２８・・・クラスコード生成部、８・・・予測係数ＲＯＭ、９・・・予測演算部
【図１】
0004552264.tif 000007
【図２】
0004552264.tif 000008
【図３】
0004552264.tif 000009
【図４】
0004552264.tif 000010
【図５】
0004552264.tif 000011
【図６】
0004552264.tif 000012
【図７】
0004552264.tif 000013
【図８】
0004552264.tif 000014