(57)【特許請求の範囲】
【請求項１】
符号化されたディジタル画像信号を復号化することによって生成される入力画像信号に対して画素単位の予測信号処理を施すようにしたディジタル画像信号処理装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成手段と、
上記入力ディジタル画像信号から、上記所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する第２の領域切り出し手段と、
上記クラス情報生成手段で生成された上記クラス情報に対応して予め決定され、処理後の出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出し手段で抽出された予測タップ領域の複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数と上記第２の領域切り出し手段によって抽出される予測タップ領域の複数の画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理装置。
【請求項２】
請求項１において、
上記予測係数は、
上記出力画像信号と対応する教師信号と上記入力画像信号に対応する生徒信号を用いて学習装置によって予め生成され、
上記学習装置は、
上記生徒信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する学習用の第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する学習用の特徴量抽出手段と、
上記生徒信号に付随する復号化処理用の上記付加情報および上記特徴量からクラス情報を生成する学習用のクラス情報生成手段と、
上記生徒信号から、上記所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する学習用の第２の領域切り出し手段と、
予測係数と上記第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算手段とからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理装置。
【請求項３】
符号化されたディジタル画像信号を復号化することによって生成される入力画像信号に対して画素単位の予測信号処理を施すようにしたディジタル画像信号処理方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成ステップと、  上記入力ディジタル画像信号から、上記所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する第２の領域切り出しステップと、
上記クラス情報生成ステップで生成された上記クラス情報に対応して予め決定され、処理後の出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出しステップで抽出された予測タップ領域の複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
上記予測係数と上記第２の領域切り出しステップによって抽出される予測タップ領域の複数の画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理方法。
【請求項４】
請求項３において、
上記予測係数は、
上記出力画像信号と対応する教師信号と上記入力画像信号に対応する生徒信号を用いて学習によって予め生成され、
上記学習は、
上記生徒信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する学習用の第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する学習用の特徴量抽出ステップと、
上記生徒信号に付随する復号化処理用の上記付加情報および上記特徴量からクラス情報を生成する学習用のクラス情報生成ステップと、
上記生徒信号から、上記所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する学習用の第２の領域切り出しステップと、
予測係数と上記第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算ステップとからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、符号化されたディジタル画像信号に対してクラス分類適応処理を施すときに、予測精度を向上することができるディジタル画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式のひとつとしてＭＰＥＧ２（Moving Picture Expert Group phase ２) による符号化方式が用いられている。ＭＰＥＧ２による送受信または記録再生システムでは、画像信号に対してＭＰＥＧ２による圧縮符号化処理を施して送信または記録し、また、受信または再生した画像信号に対して、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復号化を施すことにより、元の画像信号を復元する。
【０００３】
ＭＰＥＧ２による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号化処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号化装置に対して伝送される。
【０００４】
ＭＰＥＧに限らず、復号化によって得られる画像信号の特性は、適用される符号化復号化方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。
この相違が符号化復号化処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号化処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
【０００５】
本願出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、種々の信号処理が可能なものである。例えば時空間の解像度を入力信号以上とする解像度創造の処理、サブサンプリングによって間引かれた画素の補間、ノイズの低減、エラーの修整等の処理が可能である。
【０００６】
【発明が解決しようとする課題】
クラス分類適応処理における予測精度を向上するには、クラスを決定するのに使用する複数の画素の時間および／または空間における相関が高いことが必要である。また、予測演算に使用する複数の画素の時間および／または空間における相関が高いことも、予測精度の向上に効果的である。
【０００７】
例えば、クラス分類適応処理において、対象画像信号の動き情報をクラスに導入することによって予測性能を向上することができる。その動き情報は、動きベクトルのような詳細な動き情報の表現形式が効果的である。しかしながら、符号化復号化処理を経た画像信号から動きベクトルを検出する場合には、復号画像信号の歪みのために動きベクトルの検出精度が低下し、また、動きベクトル検出のために、多量の演算処理が必要となるという問題があった。
【０００８】
従って、この発明の目的は、符号化復号化の処理を経たディジタル画像信号に対して付加情報を基づいて、クラス分類または予測演算に使用する複数のデータの抽出範囲または位置を変更することよって、予測精度を向上することが可能なディジタル画像信号処理装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、符号化されたディジタル画像信号を復号化することによって生成される入力画像信号に対して画素単位の予測信号処理を施すようにしたディジタル画像信号処理装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する第１の領域切り出し手段と、
第１の領域切出し手段によって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
付加情報および特徴量からクラス情報を生成するクラス情報生成手段と、
入力ディジタル画像信号から、所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する第２の領域切り出し手段と、
クラス情報生成手段で生成されたクラス情報に対応して予め決定され、処理後の出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出し手段で抽出された予測タップ領域の複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数と第２の領域切り出し手段によって抽出される予測タップ領域の複数の画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理装置である。
【００１０】
請求項３の発明は、符号化されたディジタル画像信号を復号化することによって生成される入力画像信号に対して画素単位の予測信号処理を施すようにしたディジタル画像信号処理方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺の複数の画素からなるクラスタップ領域を抽出する第１の領域切り出しステップと、
第１の領域切出しステップによって切り出されるクラスタップ領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
付加情報および特徴量からクラス情報を生成するクラス情報生成ステップと、
入力ディジタル画像信号から、所定の注目画素周辺の複数の画素からなる予測タップ領域を抽出する第２の領域切り出しステップと、
クラス情報生成ステップで生成されたクラス情報に対応して予め決定され、処理後の出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出しステップで抽出された予測タップ領域の複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数と第２の領域切り出しステップによって抽出される予測タップ領域の複数の画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするディジタル画像信号処理方法である。
【００１３】
この発明によれば、クラスタツプ領域および予測タツプ領域の少なくとも一方を復号化処理用の付加情報に基づいて変更することによって、クラス分類適応処理における予測精度を向上することができる。
【００１４】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、サブサンプリングで間引かれた画素をクラス分類適応処理によって補間するようにしたディジタル画像信号処理の例である。まず、図１を参照して、予測画像信号（すなわち、補間された画像信号）の生成に係る構成について説明する。入力ビットストリームが復号器１に供給される。ここでは、入力ビットストリームは、送受信システム（または記録再生システム、以下、同様である。）において、サブサンプリングされ、ＭＰＥＧ２で圧縮符号化された画像データと、付加情報等のその他のデータとである。復号器１からは、復号化された画像信号と、復号化用の付加情報とが出力される。復号器１においては、従来の処理による間引き画素の補間がなされるが、真値と補間画素値との誤差が十分には小さくならない。一実施形態では、クラス分類適応処理によって従来よりも改善された補間処理がなされ、復号器１の出力信号内の補間画素が一実施形態により生成された補間画素と置き換えられる。
【００１５】
付加情報は、復号化処理に必要な付随情報であり、入力ビットストリーム中のシーケンス層、ＧＯＰ層、ピクチャー層のそれぞれのヘッダ中に挿入されており、復号器１は、付加情報を使用して復号化処理を行い、また、付加情報を分離して出力する。付加情報中には、サブサンプリングの間引き構造を示す識別情報が含まれている。識別情報からサブサンプリングパターン生成部１０は、復号データ内の画素の位相に合わせて、補間対象画素か否かを表示するサブサンプリングパターンデータを生成する。復号データとクラス分類適応処理で生成された補間画素とがセレクタ１１に供給され、パターンデータにしたがって、セレクタ１１が制御され、その出力に間引き画素が補間された出力画像信号が得られる。なお、サブサンプリングパターンは、例えば複数の種類のものが用意されており、補間対象画素の位置によって切り替えられる。
【００１６】
付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。例えばクラス分類適応処理に使用される付加情報として、以下に挙げるものがある。
【００１７】
(1) 信号種類情報：コンポーネント信号の各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂのコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等）
(2) 画像フォーマット情報：インターレース／プログレッシブの識別情報、フィールドまたはフレーム周波数（時間解像度情報）、水平画素数や垂直ライン数の画像サイズ情報（空間解像度情報）、４：３，１６：９等のアスペクトレシオ情報
(3) 画質情報：伝送ビットレート（圧縮率）情報
(4) 動きベクトル：水平と垂直の動き量情報
画像符号化の対象信号は、種々のものがあり、上述の付加情報を含む各種制御信号を伝送することによって受信側での復号を実現している。上述の付加情報で示される種々の仕様や属性によって、復号画像信号の信号特性が大きく異なる。そこで、この特性情報をクラス分類適応処理に導入することによって、予測性能の向上が図られる。
【００１８】
復号器１からの復号化画像信号とサブサンプリングパターン生成部１０からのパターンデータとが領域切出し部４および予測タップデータ生成部５に供給される。領域切出し部４は、入力画像信号から複数の画素からなる領域を抽出し、抽出した領域に係る画素データ（サブサンプリングパターンで指示される伝送画素）を特徴量抽出部６に供給する。特徴量抽出部６は、供給される画素データに１ビットＡＤＲＣ等の処理を施すことによってＡＤＲＣコードを生成し、生成したＡＤＲＣコードをクラスコード生成部７に供給する。領域切出し部４において抽出される複数の画素領域をクラスタップと称する。クラスタップは、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。後述するように、クラスは、注目（目標）画素ごとに決定される。
【００１９】
ＡＤＲＣは、クラスタップ内の画素値の最大値および最小値を求め、最大値および最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットＡＤＲＣの場合では、タップ内の複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣの処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ベクトル量子化等の画素値のビット数を圧縮する符号化を使用するようにしても良い。
【００２０】
また、特徴量抽出部６からクラスコード生成部７に対して、パターンデータに基づくクラス情報が供給される。すなわち、補間の対象画素（注目画素）のサブサンプリングパターンがサブサンプリングパターンクラスとしてクラスコード生成部７に供給される。なお、サブサンプリングパターンクラスは、付加情報から付加情報クラス生成部３において生成することも可能である。
【００２１】
クラスコード生成部７には、付加情報クラス生成部３において、付加情報に基づいて生成された付加情報クラスも供給される。クラスコード生成部７は、付加情報クラスとＡＤＲＣコードとサブサンプリングパターンクラスとに基づいて、クラス分類の結果を表すクラスコードを発生し、クラスコードを予測係数ＲＯＭ８に対してアドレスとして供給する。ＲＯＭ８は、供給されるクラスコードに対応する予測係数セットを予測演算部９に出力する。予測係数セットは、後述する学習処理によって予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。予測係数は、外部から予測係数のダウンロードが可能なＲＡＭの構成のメモリに蓄積しても良い。
【００２２】
一方、予測タップデータ生成部５は、入力画像信号から複数の画素からなる所定の領域（予測タップ）を抽出し、抽出した予測タップの画素データを予測演算部９に供給する。予測タップは、クラスタップと同様に、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。予測タップデータ生成部５に対して、パターンデータが供給されており、パターンデータによって間引き画素と指示されるものは、予測タツプの画素として使用されない。予測演算部９は、予測タップデータ生成部５から供給される画素データと、ＲＯＭ８から供給される予測係数セットとに基づいて以下の式（１）に従う積和演算を行うことによって、予測画素値を生成し、予測画素値を出力する。予測タップと上述したクラスタップは、同一、または別々の何れでも良い。
【００２３】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が予測タップの各画素データであり、ｗ1 ，‥‥，ｗn が予測係数セットである。予測演算は、この式（１）で示す１次式に限らず、２次以上の高次式でも良いし、非線形であっても良い。
【００２４】
予測画像信号は、復号器１の出力画像信号中の間引き画素が補間修整されたものである。クラス分類適応処理は、固定係数のフィルタによって間引き画素を補間するのと異なり、予め実際の画像信号を使用して求めた予測係数を使用するので、より真値に近い画素値を求めるように、間引き画素を補間することができる。
【００２５】
図２は、領域切出し部４によって抽出されるクラスタップの配置の一例を示す。復号化画像信号の内で注目画素とその周辺の複数画素との合計７個の画素によってクラスタップが設定される。図３は、予測タップデータ生成部５から出力される予測タップの配置の一例を示す。復号化画像信号の内で、注目画素と注目画素を中心とした周辺の複数の画素との合計１３個の画素によって予測タップが設定される。なお、図２および図３において、実線は、第１フィールドを示し、破線が第２フィールドを示す。また、図示のタップの配置は、一例であって、種々の配置を使用することができる。
【００２６】
次に、図４を参照して、クラスコード生成部７において形成されるクラスコード（予測係数ＲＯＭのアドレス）と、予測係数ＲＯＭ８に記憶されている予測係数との一例について説明する。図４に示すクラス情報の内で、信号種類クラス、フォーマットクラス、圧縮率（伝送レート）クラス、動きベクトルクラスは、付加情報クラス生成部３で生成されるクラスである。信号特徴量クラスは、特徴量抽出部６で抽出された特徴量に基づくクラス、例えばＡＤＲＣクラスである。サブサンプリングパターンクラスは、パターンデータに基づいて特徴量抽出部６で生成されるクラスである。図４の表において、最も左側の信号種類クラスがアドレスの最上位側となり、最も右側の信号特徴量クラスが最も下位側となる。
【００２７】
信号種類クラスは、例えばＹ，Ｕ，ＶとＹ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応して予測係数が別々に求められ、各信号種類がクラスＫ０，Ｋ１で区別される。フォーマットクラスは、処理対象の画像の時空間解像度特性に対応したもので、例えば２種類とされ、各フォーマットクラスに対応してＦ０，Ｆ１のクラスが規定される。例えばインターレースの画像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ１のクラスが割り当てられる。画像フォーマットのクラスの他の例は、フィールドまたはフレーム周波数、水平画素数または垂直ライン数である。一例として、Ｆ０，Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解像度が高くなる。
【００２８】
圧縮率（伝送レート）クラスは、画質情報に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1 が用意されている。圧縮率が高いほど符号化歪み量が多くなる。動きベクトルクラスは、注目画素が含まれるフレーム（現フレーム）と時間的に前のフレームとの間の動きベクトルに応じたクラスであり、ｊ種類用意されている。圧縮率クラスおよび動きベクトルクラスは、個々の値でも良いが、その場合には、クラス数が多くなるので、代表的な複数の値にまとめられている。例えば適当なしきい値によって形成された複数の範囲毎に一つの代表値を設定し、その代表値に対応したクラスを設定すればよい。具体的には、水平方向および垂直方向の動きを表現した動きベクトルから静止、小さな動き、大きな動きとの３段階のクラスを形成しても良い。
【００２９】
以上の４種類のクラスが付加情報クラス生成部３において生成されるクラスである。但し、上述したクラスは、一例であり、一部のクラスのみを使用しても良い。例えば付加情報クラスのみをクラスとして使用しても良い。そして、上述した４種類のクラスの下位側に、特徴量抽出部６において生成されたサブサンプリングパターンクラスが付加される。サブサンプリングパターンクラスとしては、ｍ種類用意されている。さらに、サブサンプリングパターンクラスの下位側に特徴量抽出部６において生成された信号特徴量クラス（例えばＡＤＲＣコードに基づくクラス）が付加される。信号特徴量クラスとしては、ｋ種類用意されている。
【００３０】
このように、４種類の付加情報クラスとサブサンプリングパターンクラスと信号特徴量クラスで定まるクラス毎に予測係数セットがＲＯＭ８に記憶されている。上述した式（１）で示される予測演算を行う時には、ｗ1 ，ｗ2 ，‥‥，ｗn のｎ個の予測係数セットが各クラス毎に存在する。
【００３１】
さらに、この発明の一実施形態では、復号器１からの復号画像信号の特性に基づいて、クラス分類のためのデータ抽出方法と、予測タップの構造を変更することによって、クラス分類適応処理の予測性能を向上する。付加情報抽出部２によって抽出される付加情報によって、復号画像信号の特徴量を抽出するクラスタップ構造を変更するために、付加情報によって領域切出し部４で抽出されるクラスタップのパターンが切り替えられる。特徴量抽出部６がＡＤＲＣによって特徴量としての波形、レベル分布を抽出する場合、対象画像の画像フォーマット情報例えば時間および／または空間解像度に応じてＡＤＲＣの対象とするクラスタツプ領域の広さが変更される。また、信号の種類によって信号特性が異なるので、クラスタップ構造を変更しても良い。さらに、画像のアスペクト比に応じてクラスタップ構造を変更することも可能である。
【００３２】
また、付加情報には、符号化復号化による画像の歪みを示す圧縮率（伝送レート情報）も含まれ、圧縮率の情報を付加情報から抽出することができる。一旦復号化された画像信号中の符号化歪み量を検出することは、難しい。異なる符号化歪み量の信号に対してクラス分類適応処理を適用した場合、予測性能の向上が困難である。そこで、この圧縮率（伝送レート情報）に対応してクラスタップの構成が変更される。さらに、動きベクトル情報に基づいてクラスタップの構成を変更することによって、時空間相関特性が高いクラスタップ構造を実現することができる。例えば静止の場合では、フレーム内でクラスタップを構成し、動きがあるときには、現在フレームに加えて前後のフレームにわたってクラスタップを構成するようになされる。
【００３３】
さらに、クラスコード生成部７で形成されたクラスコードが予測タップデータ生成部５に対して制御信号として供給される。それによって、図４に示すような付加情報を加味したクラス毎に、最適な予測タップのパターンが設定されるようになされる。上述したクラスタップの構造を付加情報によって変更するのと同様に、クラス中の付加情報に応じて予測タップの構造が変更され、クラスタップの場合と同様に、予測タップを変更することによって、予測性能を向上することができる。
【００３４】
図５は、タップ（クラスタップまたは予測タップ）の領域を付加情報に応じて変更する一例を模式的に示すものである。図５は、現フレームとその前のフレームにそれぞれ属する空間的なタップによって時空間タップを設定する例を示し、破線の枠は、タップ領域を表している。また、○が付された画素は、伝送画素を示し、×が付された画素は、非伝送画素を示す。現フレーム内の四角が付された画素は、補間の対象である注目画素を示す。
【００３５】
図５は、前フレームと現フレームとの間の動きベクトルによって、前フレームに設定される空間タップ（図５の例では、３×３画素の領域）の位置が変更される。この動き補正によって、相関が強い複数画素を使用してタップを構成することが可能となる。また、画像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じて、現フレームに設定される空間タップの領域が変更される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、注目された付加情報または付加情報クラスとしてクラスコード生成部７が生成するクラス情報中に含まれている。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラスが存在している。
【００３６】
一例として、Ｆ０が空間解像度が最も低く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度が高い。空間解像度が高くなるにしたがってタップが含まれる領域が徐々に拡大される。空間解像度が低い場合には、相関の強い画素が存在する範囲が狭くなるために、タップの領域も狭いものとされる。それによって、クラス分類適応処理による補間処理の性能の向上を図ることができる。
【００３７】
次に、学習すなわちクラス毎の予測係数を求める処理について説明する。一般的には、クラス分類適応処理によって予測されるべき画像信号と同一の信号形式の画像信号（以下、教師信号と称する）と、教師信号にクラス分類適応処理の目的とされる処理（すなわち、補間処理）と関連する処理を行うことによって得られる画像信号（生徒信号）とに基づく所定の演算処理によって予測係数が決定される。ＭＰＥＧ２規格等に従う画像信号の符号化／復号化を経た画像信号を対象としてなされるクラス分類適応処理においては、学習は、例えば図６に示すような構成によって行われる。
【００３８】
学習のために、教師信号と入力画像信号が使用される。教師信号は、サブサンプリングされていない信号であり、生徒信号は、サブサンプリングされた信号である。教師信号をサブサンプリングすることによって入力画像信号を形成しても良い。入力画像信号が符号化器２１で例えばＭＰＥＧ２によって符号化される。符号化器２１の出力信号が図１における入力信号に相当する。符号化器２１の出力信号が復号器２２に供給される。復号器２２からの復号画像信号が生徒信号として使用される。また、復号器２２で分離された復号用の付加情報が付加情報抽出部２３に供給され、付加情報が抽出される。さらに、サブサンプリングパターン生成部３２においてパターンデータが生成され、伝送画素および非伝送画素の位置を指示するパターンデータがサブサンプリングパターン生成部３２から出力される。
【００３９】
抽出された付加情報は、付加情報クラス生成部２４および領域切出し部２５に供給される。付加情報は、上述したのと同様に、信号種類情報、画像フォーマット情報、画質情報、動きベクトル等である。また、サブサンプリングパターン生成部３２からのパターンデータが領域切出し部２５および予測タップデータ生成部２６に供給される。
【００４０】
復号器２２からの復号画像信号、すなわち、生徒信号が領域切出し部２５および予測タップデータ生成部２６に供給される。図１５の構成と同様に、領域切出し部２５が付加情報抽出部２３で抽出された付加情報によって制御され、予測タップデータ生成部２６がクラスコード生成部２８で生成されたクラスの内の付加情報クラスによって制御される。それによって、時間的および／または空間的相関の高い複数の画素によってタップを設定することが可能とされる。領域切出し部２５で抽出されたクラスタップのデータが特徴量抽出部２７に供給され、特徴量抽出部２７においてＡＤＲＣ等の処理によって、特徴量を抽出する。この特徴量がクラスコード生成部２８に供給される。クラスコード生成部２８は、付加情報クラスとＡＤＲＣコードとサブサンプリングパターンとに基づいて、クラス分類の結果を表すクラスコードを発生する。クラスコードは、正規方程式加算部２９に供給される。
【００４１】
一方、予測タップデータ生成部２６により抽出された予測タップの画素データであって、伝送画素データが正規方程式加算部２９に供給される。正規方程式加算部２９は、予測タップデータ生成部２６の出力と、教師信号とに基づく所定の演算処理によって、クラスコード生成部２８から供給されるクラスコードに対応する予測係数セットを解とする正規方程式のデータを生成する。正規方程式加算部２９の出力は、予測係数算出部３０に供給される。
【００４２】
予測係数算出部３０は、供給されるデータに基づいて正規方程式を解くための演算処理を行う。この演算処理によって算出された予測係数セットがメモリ３１に供給され、記憶される。予測推定に係る画像変換処理を行うに先立って、図１５中の予測係数ＲＯＭ８にメモリ３１の記憶内容がロードされる。
【００４３】
正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数セットｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００４４】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （２）
（ｋ＝１，２，‥‥，ｍ）
【００４５】
ｍ＞ｎの場合、予測係数セットｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によって予測係数セットを一意に定める。
【００４６】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （３）
（ｋ＝１，２，‥‥ｍ）
【００４７】
【数１】
0004552263.tif 000002
【００４８】
式（４）のｅ2 を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００４９】
【数２】
0004552263.tif 000003
【００５０】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００５１】
【数３】
0004552263.tif 000004
【００５２】
【数４】
0004552263.tif 000005
【００５３】
【数５】
0004552263.tif 000006
【００５４】
式（８）が一般に正規方程式と呼ばれるものである。予測係数算出部３０は、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗi を算出する。
【００５５】
また、予測係数の生成は、図７に示すフローチャートで示されるようなソフトウェア処理によっても行うことができる。ステップＳ１から処理が開始され、ステップＳ２において、生徒信号を生成することによって、予測係数を生成するのに必要十分な学習データを生成する。ステップＳ３において、予測係数を生成するのに必要十分な学習データが得られたどうかを判定し、未だ必要十分な学習データが得られていないと判断された場合には、ステップＳ４に処理が移行する。
【００５６】
ステップＳ４において、生徒信号から抽出された特徴量と付加情報とパターンデータからクラスを決定する。ステップＳ５においては、各クラス毎に正規方程式を生成し、ステップＳ２に戻って同様の処理手順を繰り返すことによって、予測係数セットを生成するのに必要十分な正規方程式を生成する。
【００５７】
ステップＳ３において、必要十分な学習データが得られたと判断されると、ステップＳ６に処理が移る。ステップＳ６では、正規方程式を掃き出し法によって解くことによって、予測係数セットｗ1 ，ｗ2 ，・・・・，ｗn を各クラス毎に生成する。そして、ステップＳ７において、生成した各クラス毎の予測係数セットｗ1 〜ｗn をメモリに記憶し、ステップＳ８で学習処理を終了する。
【００５８】
次に、時間および／または空間解像度を創造するようにしたこの発明の他の実施形態について説明する。図８は、予測画像信号の生成に係る構成を示す。上述した一実施形態の構成（図１）と対応する部分には、同一の参照符号を付してその説明は省略する。例えばＭＰＥＧの復号器１からは、復号化された画像信号と、復号化用の付加情報とが出力される。付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。
【００５９】
復号器１からの復号化画像信号が領域切出し部４および予測タップデータ生成部５に供給される。領域切出し部４は、入力画像信号から複数の画素からなる領域を抽出し、抽出した領域に係る画素データを特徴量抽出部６に供給する。特徴量抽出部６は、ＡＤＲＣコードを生成し、生成したＡＤＲＣコードをクラスコード生成部７に供給する。クラスコード生成部７には、付加情報クラス生成部３において、付加情報に基づいて生成された付加情報クラスも供給される。クラスコード生成部７は、付加情報クラスとＡＤＲＣコードに基づいて、クラス分類の結果を表すクラスコードを発生し、クラスコードを予測係数ＲＯＭ８に対してアドレスとして供給する。ＲＯＭ８は、供給されるクラスコードに対応する予測係数セットを予測演算部９に出力する。予測係数セットは、上述した学習処理によって予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。
【００６０】
一方、予測タップデータ生成部５は、入力画像信号から複数の画素からなる所定の領域（予測タップ）を抽出し、抽出した予測タップの画素データを予測演算部９に供給する。予測タップは、クラスタップと同様に、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。予測演算部９は、予測タップデータ生成部５から供給される画素データと、ＲＯＭ８から供給される予測係数セットとに基づいて積和演算を行うことによって、予測画素値を生成し、予測画素値を出力する。
【００６１】
予測画像信号は、復号器１の出力画像信号に対して、空間解像度がより高いものとされたものである。例えば、水平方向および垂直方向のそれぞれに関して画素数が元の画像の２倍とされた画像信号が出力される。クラス分類適応処理は、平均値等で画素を補間するものとは異なり、予め実際の画像信号を使用して求めた予測係数を使用するので、解像度を創造することができる処理である。また、この発明は、空間解像度に限らず、時間解像度を高くする処理に対しても適用できる。例えばフィールド周波数を６０Hzから１２０Hzとする処理に対しても適用することができる。さらに、時空間（空間および時間）の解像度を高くする処理を行うようにしても良い。
【００６２】
図９は、クラスコード生成部７において形成されるクラスコード（予測係数ＲＯＭのアドレス）と、予測係数ＲＯＭ８に記憶されている予測係数との一例を示す。一実施形態におけるクラスコード（図４参照）と比較すると、サブサンプリングクラスが含まれていない点を除いて同様のクラス情報が使用される。
【００６３】
このように、４種類の付加情報クラスと１種類の信号特徴量クラスとで定まるクラス毎に予測係数セットがＲＯＭ８に記憶されている。上述した式（１）で示される予測演算を行う時には、ｗ1 ，ｗ2 ，‥‥，ｗn のｎ個の予測係数セットが各クラス毎に存在する。
【００６４】
さらに、復号器１からの復号画像信号の特性に基づいて、クラス分類のためのデータ抽出方法と、予測タップの構造を変更することによって、クラス分類適応処理の予測性能を向上するようにしている。すなわち、付加情報抽出部２によって抽出される付加情報によって、復号画像信号の特徴量を抽出するクラスタップ構造を変更するために、付加情報例えば対象画像の時間および／または空間解像度によって領域切出し部４で抽出されるクラスタップの大きさまたは位置が切り替えられる。また、信号の種類によって信号特性が異なるので、クラスタップ構造が変更されるようにしても良く、アスペクト比に応じてクラスタップ構造を変更しても良い。また、圧縮率（伝送レート情報）に対応してクラスタップの構成を変更しても良い。さらに、動きベクトル情報に基づいてクラスタップの構成を変更することによって、時空間相関特性が高いクラスタップ構造を実現することができる。
【００６５】
さらに、クラスコード生成部７で形成されたクラスコードが予測タップデータ生成部５に対して制御信号として供給される。それによって、付加情報を加味したクラス毎に、最適な予測タップのパターンが設定されるようになされる。上述したクラスタップの構造を付加情報によって変更するのと同様に、クラス中の付加情報クラスに応じて予測タップの構造が変更され、クラスタップの場合と同様に、予測タップを変更することによって、予測性能を向上することができる。
【００６６】
図１０は、タップ（クラスタップまたは予測タップ）の領域を付加情報に応じて変更する一例を示すものである。図１０は、空間解像度と時間解像度の両者を創造する例を示している。すなわち、時間的に連続するフレーム（またはフィールド）Ｔ０，Ｔ１の中間に新たなフレームＴ’を作成し、また、元の画素数の４倍の画素数を作成する。
【００６７】
タップは、復号画像信号中に存在するフレームＴ０およびＴ１に属する画像中に構成される空間タップを合わせた時空間タップとされる。画像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じて、タップが含まれる範囲の領域が変更される。具体的なタップ構造は、これらの何れかの領域内に構成される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、付加情報クラスとしてクラスコード生成部７が生成するクラス情報中に含まれている。
【００６８】
一例として、Ｆ０が空間解像度が最も低く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度が高い。空間解像度が高くなるにしたがってタップが含まれる領域が徐々に拡大される。空間解像度が低い場合には、相関の強い画素が存在する範囲が狭くなるために、タップの領域も狭いものとされる。それによって、クラス分類適応処理による解像度創造の性能の向上を図ることができる。
【００６９】
また、フレームＴ０およびＴ１間の動き量に応じてタップが含まれる領域の位置が変更される。クラスタップの場合では、付加情報中の動きベクトルに応じてタップが含まれる領域の位置が変更される。予測タップの場合では、クラス情報中の動きベクトルクラスに応じてタップが含まれる領域の位置が変更される。このように領域の位置を変更することによって、より高い相関を持つ領域からクラスタップの画素を切出し、または予測タップの画素を抽出することができる。それによって、クラス分類適応処理の予測精度を向上することができる。
【００７０】
解像度のより高い出力画像信号を生成する他の実施形態において、教師信号として解像度の高い信号を使用し、復号画像信号に対応する生徒信号を使用することで、予測係数を予め求め、予測係数ＲＯＭ８に蓄積する。また、ソフトウェア処理によって予測係数を求めるようにしても良い。
【００７１】
この発明は、上述したこの発明の一実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばＭＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使用する場合に対して、この発明を適用することができる。
【００７２】
【発明の効果】
上述したようにこの発明では、復号用付加情報を用いることによって、対象信号の属性や、特性を反映した適切なクラスタツプおよび／または予測タップを設定することが可能となり、クラス分類適応処理の予測精度を向上することができる。すなわち、クラスを決定するのに使用する複数の画素の時空間の相関が高いものとなり、また、予測演算に使用する複数の画素の時空間の相関が高いものとなり、クラス分類適応処理における予測精度を向上することができる。
【００７３】
また、この発明では、対象とする復号信号の動きベクトル情報によってクラスタツプ、予測タツプの位置を切り替えている。この動きベクトル情報を復号信号から検出するのではなく、付加情報として伝送される動きベクトル情報を使用するので、動きベクトル検出に必要とされる膨大な演算を回避でき、しかも、動きベクトルの精度を高くできる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成を示すブロック図である。
【図２】クラスタップの画素配置の一例の略線図である。
【図３】予測タップの画素配置の一例の略線図である。
【図４】一実施形態における付加情報および特徴量に基づくクラスの一例を示す略線図である。
【図５】この発明の一実施形態を説明するための略線図である。
【図６】クラス分類適応処理を行う場合の予測係数の学習処理に係る構成の一例を示すブロック図である。
【図７】学習処理をソフトウェアで行う時の処理を示すフローチャートである。
【図８】この発明の他の実施形態の構成を示すブロック図である。
【図９】他の実施形態における付加情報および特徴量に基づくクラスの一例を示す略線図である。
【図１０】この発明の他の実施形態を説明するための略線図である。
【符号の説明】
１，２２・・・復号器、２，２３・・・付加情報抽出部、３，２４・・・付加情報クラス生成部、４，２５・・・領域切出し部、５，２６・・・予測タップデータ生成部、６，２７・・・特徴量抽出部，７，２８・・・クラスコード生成部、８・・・予測係数ＲＯＭ、９・・・予測演算部
【図１】
0004552263.tif 000007
【図２】
0004552263.tif 000008
【図３】
0004552263.tif 000009
【図４】
0004552263.tif 000010
【図５】
0004552263.tif 000011
【図６】
0004552263.tif 000012
【図７】
0004552263.tif 000013
【図８】
0004552263.tif 000014
【図９】
0004552263.tif 000015
【図１０】
0004552263.tif 000016