(57)【要約】【課題】クラス分類の精度を上げ、第２の画像信号の品質の向上を図る。【解決手段】残差クラス生成部１２１は、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データを得る際に使用されたＤＣＴデータブロックに基づいて残差クラスを示すクラスコードＣＬ０を生成する。その場合、ＤＣＴデータブロックからリファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去して用い、クラス分類精度を上げる。クラス分類部１２３は、クラスコードＣＬ０等を用いて、画素データが属するクラスを示すクラスコードＣＬを得る。タップ選択回路１２２は、予測タップの画素データｘｉを選択的に取り出す。演算回路１２５は、画素データｘｉと、係数メモリ１２４よりクラスコードＣＬに対応して読み出される係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを求める。【選択図】　　　　図１
2004134998.tif 000002
【特許請求の範囲】
【請求項１】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る補正データ取得手段と、
上記補正データ取得手段で得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する補正成分除去手段と、
少なくとも上記補正成分除去手段で補正成分が除去された差分データブロックを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号処理装置。
【請求項２】
上記画素データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記デジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、上記差分データブロックはＤＣＴ係数からなるＤＣＴデータブロックであり、
上記補正データ取得手段は、
上記差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個の、ＤＣＴ係数からなるＤＣＴデータブロックのＤＣ係数をそれぞれＤＣ係数とすると共に全てのＡＣ係数を０とした一個または複数個のＤＣＴデータブロックに対して逆離散コサイン変換を施す逆ＤＣＴ手段と、
上記逆ＤＣＴ手段で得られた一個または複数個の、画素データからなる画素データブロックより、上記リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して一個の、画素データからなる画素データブロックを得るブロック化手段と、
上記ブロック化手段で得られた画素データブロックに対して離散コサイン変換を施して、上記補正データとしてＤＣＴ係数からなるＤＣＴデータブロックを得るＤＣＴ手段とを有し、
上記歪み除去手段は、
上記差分データブロックの各ＡＣ係数に上記補正データの対応するＡＣ係数を加算することで、上記差分データブロックが有する補正成分を除去し、
上記クラス検出手段は、
少なくとも、上記補正成分が除去された差分データブロックのＡＣ係数を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
上記デジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、上記差分データブロックはＤＣＴ係数からなるＤＣＴデータブロックであり、
上記補正データ取得手段は、
上記差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個の、画素データからなる画素データブロックにおける画素データの平均値をブロック毎に得る平均値取得手段と、
上記一個または複数個の画素データブロックを構成する画素データが上記平均値取得手段で得られた平均値で置き換えられた状態で、該一個または複数個の画素データブロックより、上記リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して一個の、画素データからなる画素データブロックを得るブロック化手段と、
上記ブロック化手段で得られた画素データブロックに対して離散コサイン変換を施して、上記補正データとしてＤＣＴ係数からなるＤＣＴデータブロックを得るＤＣＴ手段とを有し、
上記歪み除去手段は、
上記差分データブロックの各ＡＣ係数に上記補正データの対応するＡＣ係数を加算することで、上記差分データブロックが有する補正成分を除去し、
上記クラス検出手段は、
少なくとも、上記補正成分が除去された差分データブロックのＡＣ係数を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第１のステップと、
上記第１のステップで得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する第２のステップと、
少なくとも上記第２のステップで補正成分が除去された差分データブロックを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記第３のステップで検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号処理方法。
【請求項６】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第１のステップと、
上記第１のステップで得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する第２のステップと、
少なくとも上記第２のステップで補正成分が除去された差分データブロックを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、
上記第３のステップで検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備える画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項７】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る補正データ取得手段と、
上記補正データ取得手段で得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する補正成分除去手段と、
少なくとも上記補正成分除去手段で補正成分が除去された差分データブロックを用いて、上記教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記クラス検出手段で検出されたクラス、上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項８】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第２のステップと、
上記第２のステップで得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する第３のステップと、
少なくとも上記第３のステップで補正成分が除去された差分データブロックを用いて、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第５のステップと、
上記第４のステップで検出されたクラス、上記第５のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める第６のステップと
を備えることを特徴とする係数データ生成方法。
【請求項９】
ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記教師信号における注目位置に対応した上記生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上記差分データブロックが有する上記リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第２のステップと、
上記第２のステップで得られた補正データを用いて、上記差分データブロックが有する補正成分を除去する第３のステップと、
少なくとも上記第３のステップで補正成分が除去された差分データブロックを用いて、上記教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第５のステップと、
上記第４のステップで検出されたクラス、上記第５のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて、クラス毎に、上記係数データを求める第６のステップと
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、少なくとも差分データブロックを用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものにあって、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を差分データブロックから除去し、この補正成分が除去された差分データブロックを上述のクラス検出に用いることによって、クラス分類の精度を上げ、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　２）による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【００１０】
この場合、少なくとも差分データブロックとしてのＤＣＴデータブロックを用いて、第２の画像信号における注目位置の画素データが属するクラスを検出することも考えられる。
【００１１】
しかし、このＤＣＴデータブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を持っている。そのため、このＤＣＴデータブロックをそのまま用いてクラス分類を行うとすれば、その補正成分によりクラス分類を精度よく行うことができず、第２の画像信号の品質の向上を図ることが困難となる。
【００１２】
そこで、この発明では、クラス分類の精度を上げ、第２の画像信号の品質の向上を図ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、差分データブロックが有するリファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る補正データ取得手段と、この補正データ取得手段で得られた補正データを用いて、差分データブロックが有する補正成分を除去する補正成分除去手段と、少なくとも補正成分除去手段で補正成分が除去された差分データブロックを用いて、第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、クラス検出手段で検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１４】
また、この発明に係る画像信号処理方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第２の画像信号における注目位置に対応した第１の画像信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、差分データブロックが有するリファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第１のステップと、この第１のステップで得られた補正データを用いて、差分データブロックが有する補正成分を除去する第２のステップと、少なくとも第２のステップで補正成分が除去された差分データブロックを用いて、第２の画像信号における注目位置の画素データが属するクラスを検出する第３のステップと、この第３のステップで検出されたクラスに対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１５】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１６】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１７】
第２の画像信号における注目位置に対応した第１の画像信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。
【００１８】
所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。このリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上述の補正成分を除去するための補正データが得られる。
【００１９】
ここで、リファレンスデータブロックは、差分データブロックに対して動き補償されて得られたものであって、上述した一個または複数個のデータブロックのデータを含むものとなる。そのため、このリファレンスデータブロックには、これら一個または複数個のデータブロックによるブロック段差歪みが含まれる。
【００２０】
そして、所定の差分データブロックは、符号化時に、所定のデータブロックからこのリファレンスデータブロックを差し引くことで得られたものである。したがって、所定の差分データブロックは、上述したように、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。
【００２１】
差分データブロックが有するブロック段差歪みを補正する成分は、上述したように得られる補正データを用いて除去される。少なくとも、このように補正成分が除去された差分データブロックを用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。
【００２２】
そして、このように検出されたクラスに対応して、第２の画像信号における注目位置の画素データが生成される。例えば、クラスに対応した、推定式で用いられる係数データが発生される。また、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択される。そして、これら係数データおよび複数の画素データが用いられ、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００２３】
例えば、上述したようにデジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、差分データブロックがＤＣＴ係数からなるＤＣＴデータブロックである場合、以下のようにして、補正データが取得される。
【００２４】
すなわち、差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個の、ＤＣＴ係数からなるＤＣＴデータブロックのＤＣ係数をそれぞれＤＣ係数とすると共に全てのＡＣ係数を０とした一個または複数個のＤＣＴデータブロックに対して逆離散コサイン変換が施される。
【００２５】
この逆離散コサイン変換によって得られた一個または複数個の、画素データからなる画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データが選択的に取り出されて一個の、画素データからなる画素データブロックが得られる。そして、この画素データブロックに対して離散コサイン変換を施すことで、補正データとしてのＤＣＴ係数からなるＤＣＴデータブロックが得られる。
【００２６】
あるいは、差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個の、画素データからなる画素データブロックにおける画素データの平均値がブロック毎に得られる。
【００２７】
一個または複数個の画素データブロックを構成する画素データが、上述のように得られた平均値で置き換えられた状態で、この一個または複数個の画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出されて一個の、画素データからなる画素データブロックが得られる。そして、この画素データブロックに対して離散コサイン変換を施すことで、補正データとしてのＤＣＴ係数からなるＤＣＴデータブロックが得られる。
【００２８】
上述したように補正データが得られる場合、差分データブロックの各ＡＣ係数に補正データの対応するＡＣ係数が加算されることで、差分データブロックが有する補正成分が除去される。またその場合、少なくとも、補正成分が除去された差分データブロックのＡＣ係数を用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。
【００２９】
このように、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、少なくとも差分データブロックを用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものにあって、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を差分データブロックから除去し、この補正成分が除去された差分データブロックを上述のクラス検出に用いるものであり、クラス分類の精度を向上させることができ、第２の画像信号の品質の向上を図ることができる。
【００３０】
この発明に係る係数データ生成装置は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、差分データブロックが有するリファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る補正データ取得手段と、この補正データ取得手段で得られた補正データを用いて、差分データブロックが有する補正成分を除去する補正成分除去手段と、少なくとも補正成分除去手段で補正成分が除去された差分データブロックを用いて、教師信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、クラス検出手段で検出されたクラス、データ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める演算手段とを備えるものである。
【００３１】
また、この発明に係る係数データ生成方法は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、教師信号における注目位置に対応した生徒信号の画素データを得る際に用いられた差分データブロックに係るリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、差分データブロックが有するリファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去するための補正データを得る第２のステップと、この第２のステップで得られた補正データを用いて、差分データブロックが有する補正成分を除去する第３のステップと、少なくとも第３のステップで補正成分が除去された差分データブロックを用いて、教師信号における注目位置の画素データが属するクラスを検出する第４のステップと、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データを選択する第５のステップと、第４のステップで検出されたクラス、第５のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データを求める第６のステップとを備えるものである。
【００３２】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００３３】
この発明において、複数の画素データからなる第１の画像信号は、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００３４】
教師信号における注目位置に対応した生徒信号の画素データは、所定の差分データブロック、およびこの差分データブロックに係るリファレンスデータブロックとを用いて得られる。所定の差分データブロックは、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。このリファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なる一個または複数個のデータブロックを用いて、上述の補正成分を除去するための補正データが得られる。
【００３５】
差分データブロックが有するブロック段差歪みを補正する成分は、上述したように得られる補正データを用いて除去される。そして、少なくとも、このように補正成分が除去された差分データブロックを用いて、教師信号における注目位置の画素データが属するクラスが検出される。
【００３６】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の画素データが選択される。そして、教師信号における注目位置の画素データが属するクラス、選択された複数の画素データおよび教師信号における注目位置の画素データを用いて、クラス毎に、係数データが求められる。
【００３７】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、第２の画像信号における注目位置の画素データが属するクラスに対応した係数データが選択的に使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００３８】
これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、クラス分類の精度を向上させることができ、第２の画像信号の品質の向上を図ることができる。
【００３９】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００４０】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００４１】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００４２】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、画素位置モード情報ｐｉ、ピクチャ情報ＰＩ，動き補償用ベクトル情報ＭＩも出力される。画素位置モード情報ｐｉは、出力される画素データが例えばＤＣＴブロックの８×８の画素位置のいずれにあったかを示す情報である。ピクチャ情報ＰＩは、出力される画素データがＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）のいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトル情報ＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際のリファレンスデータブロックがどのように動き補償されたかを示す情報である。
【００４３】
バッファメモリ１０８には、各画素データと対にして情報ｐｉ，ＰＩ，ＭＩも格納される。さらに、ＭＰＥＧ２復号化器１０７からは、後述する抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよびＤＣＴ係数は、後述する画像信号処理部１１０を構成する残差クラス生成部１２１に内蔵されたメモリに格納される。
【００４４】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００４５】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００４６】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００４７】
また、復号化器１０７は、ＩピクチャおよびＰピクチャのデータブロックをメモリ（図示せず）に記憶すると共に、これらのデータブロックを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分（残差）データブロックが出力されるとき、対応するリファレンスデータブロックＶｒｅｆを生成して出力する予測メモリ回路７８を有している。
【００４８】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分データブロックが出力されるとき、その差分データブロックに予測メモリ回路７８で生成されたリファレンスデータブロックＶｒｅｆを加算する加算回路７９を有している。なお、逆ＤＣＴ回路７７からＩピクチャのデータブロックが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータブロックＶｒｅｆは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャのデータブロックがそのまま出力される。
【００４９】
また、復号化器１０７は、加算回路７９より出力されるＩピクチャおよびＰピクチャのデータブロックを予測メモリ回路７８に供給してメモリに記憶させると共に、この加算回路７９より出力される各ピクチャのデータブロックを正しい順に並べ直して画像信号Ｖａとして出力するピクチャ選択回路８０と、このピクチャ選択回路８０より出力される画像信号Ｖａを出力する出力端子８１とを有している。
【００５０】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２を有している。抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いてリファレンスデータブロックＶｒｅｆを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩは予測メモリ回路７８、ピクチャ選択回路８０に供給され、これら予測メモリ回路７８、ピクチャ選択回路８０ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００５１】
なお、ピクチャ選択回路８０から画像信号Ｖａを出力する際、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、その画素データがＤＣＴブロックの８×８の画素位置のいずれにあったかを示す画素位置モード情報ｐｉ、さらにはその画素データに対応した動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００５２】
また、復号化器１０７は、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩを出力する出力端子８３と、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数を出力する出力端子８４とを有している。
【００５３】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００５４】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータブロックが得られる。この各ピクチャのデータブロックは加算回路７９を介してピクチャ選択回路８０に供給される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分（残差）データブロックが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータブロックＶｒｅｆが加算される。そして、加算回路７９より出力される各ピクチャのデータブロック（画素データブロック）はピクチャ回路８０で正しい順に並べ直されて出力端子８１に出力される。
【００５５】
なお、このようにピクチャ選択回路８０から画像信号Ｖａが出力される場合、この画像信号Ｖａを構成する各画素データの他に、それぞれの画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。
【００５６】
また、抽出回路７５で抽出される各ＤＣＴブロックに対応した量子化特性指定情報ＱＩは出力端子８３に出力される。さらに、可変長復号化回路７４で得られる各ＤＣＴブロックの量子化ＤＣＴ係数は出力端子８４に出力される。
【００５７】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ　Ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００５８】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。
【００５９】
この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが出力される。これら画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩもバッファメモリ１０８に一時的に格納される。
【００６０】
またこの場合、復号器１０７からは、各ＤＣＴブロックに対応した量子化特性指定情報ＱＩおよび各ＤＣＴデータブロックの量子化ＤＣＴ係数も出力される。これら量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数は、画像信号処理部１１０を構成する残差クラス生成部１２１に内蔵されたメモリに格納される。
【００６１】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。この画像信号処理部１１０では、バッファメモリ１０８に格納されている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩ、さらには残差クラス生成部１２１内のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、変換処理が行われる。
【００６２】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００６３】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属する残差クラスを示す残差クラスコードＣＬ０を生成する残差クラス生成部１２１を有している。この残差クラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、残差クラスコードＣＬ０が生成される。
【００６４】
図３は、残差クラス生成部１２１の具体的な構成を示している。
この残差クラス生成部１２１は、上述したＭＰＥＧ２復号化器１０７より出力される量子化特性指定情報ＱＩが入力される入力端子３１と、この入力端子３１に入力される量子化特性指定情報ＱＩを一時的に格納するためのメモリ３２と、上述したＭＰＥＧ２復号化器１０７より出力される量子化ＤＣＴ係数が入力される入力端子３３と、この入力端子３３に入力される量子化ＤＣＴ係数を一時的に格納するためのメモリ３４とを有している。
【００６５】
また、残差クラス生成部１２１は、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが入力される入力端子３５を有している。情報ＭＩ，ＰＩは、メモリ３２，３４に読み出し制御情報として供給されると共に、情報ＰＩは後述するクラス生成回路４３に動作制御情報として供給される。
【００６６】
ここで、画像信号Ｖｂにおける注目位置に対応した画像信号Ｖａの画素データを得る際に用いられたＤＣＴ係数からなるＤＣＴデータブロックを注目ＤＣＴデータブロックとすると共に、この注目ＤＣＴデータブロックに逆ＤＣＴを施して得られた画素データブロックに加算されるリファレンスデータブロックを注目リファレンスデータブロックとする。また、注目リファレンスデータブロックのブロック位置にブロック位置の全部または一部が重なり、この注目リファレンスデータブロックを構成する際に用いられた一個または複数個の画素データブロックを使用画素データブロックとし、さらにこの使用画素データブロックを得る際に用いられたＤＣＴデータブロックを使用ＤＣＴデータブロックとする。
【００６７】
ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４からは、注目ＤＣＴデータブロックが読み出されると共に、使用ＤＣＴデータブロックのＤＣ係数が読み出される。ここで、Ｐピクチャの場合には前方向からの予測符号化であるので、使用画素データブロックは１個、２個または４個となり、Ｂピクチャの場合には両方向からの予測符号化であるので、使用画素データブロックはそれぞれの方向で１個、２個または４個である。
【００６８】
図４Ａは、例えば、Ｐピクチャの場合であって、使用画素データブロックが４個であり、その４個の使用画素データブロックを得る際に用いられる４個の使用ＤＣＴデータブロックＤＢ１〜ＤＢ４を示している。この図４Ａにおいて、破線は、注目リファレンスデータブロックのブロック位置を示している。この場合、メモリ３４からは、この４個のＤＣＴデータブロックＤＢ１〜ＤＢ４のＤＣ係数ＤＣ１〜ＤＣ４が読み出される。
【００６９】
同様に、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３２からは、注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されると共に、使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂが読み出される。
【００７０】
また、残差クラス生成部１２１は、メモリ３４より読み出される使用ＤＣＴデータブロックのＤＣ係数を、メモリ３２より読み出されるその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂに基づいて逆量子化する逆量子化回路３６と、使用ＤＣＴデータブロックのそれぞれに対応して、逆量子化回路３６で得られたＤＣ係数をＤＣ係数とすると共に全てのＡＣ係数を０としたＤＣＴデータブロックに対して逆ＤＣＴを施す逆ＤＣＴ回路３７とを有している。この場合、使用ＤＣＴデータブロックの個数に対応した個数の画素データブロックが得られるが、個々の画素データブロックにおいては、それを構成する８×８の画素データは全て同じ値となる。
【００７１】
図４Ｂは、図４Ａに示す４個のＤＣＴデータブロックＤＢ１〜ＤＢ４に対応して得られた４個の画素データブロックＤＢ１′〜ＤＢ４′を示している。この図４Ｂにおいて、破線は、注目リファレンスデータブロックのブロック位置を示している。この場合、画素データブロックＤＢ１′〜ＤＢ４′は、それぞれｄｃ１〜ｄｃ４の値の画素データからなっている。なお、この図４Ｂは、図面の簡単化のため、画素データブロックＤＢ１′〜ＤＢ４′が４×４の画素データを含むように示している。
【００７２】
また、残差クラス生成部１２１は、逆ＤＣＴ回路３７で得られた画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して、一個の画素データブロックを得るブロック化回路３８を有している。
【００７３】
図４Ｃは、図４Ｂに示すように４個の画素データブロックＤＢ１′〜ＤＢ４′が得られた場合に、ブロック化回路３８で得られる一個の画素データブロックＤＢ０を示している。
【００７４】
なお、上述せずも、ピクチャ情報ＰＩがＰピクチャを示す場合には、上述したようにしてブロック化回路３８で一個の画素データブロックＤＢ０が得られる。しかし、ピクチャ情報ＰＩがＢピクチャを示す場合には、両方向の使用ＤＣＴデータブロックに対応して、上述した逆量子化回路３６、逆ＤＣＴ回路３７およびブロック化回路３８で並行して処理し、それぞれ一個の画素データブロックＤＢ０を得るようにする。そして、ブロック化回路３８は、最終的に両方向の画素データブロックＤＢ０の対応する画素データ同士を加算平均し、一個の画素データブロックＤＢ０を得る。
【００７５】
また、残差クラス生成部１２１は、ブロック化回路３８で得られた画素データブロックＤＢ０に対してＤＣＴを施して、ＤＣＴデータブロックを得るＤＣＴ回路３９を有している。図４Ｄは、ＤＣＴ回路３９で得られるＤＣＴデータブロックＤＢ０′の一例を示している。Ｃ０〜Ｃ１５はＤＣＴ係数を示し、Ｃ０はＤＣ係数、Ｃ１〜Ｃ１５はＡＣ係数を示している。
【００７６】
また、残差クラス生成部１２１は、ＤＣＴ回路３９で得られたＤＣＴデータブロックのＤＣＴ係数を、メモリ３２より読み出される注目ＤＣＴブロックに対応した量子化特性指定情報ＱＩａに基づいて量子化して補正データとしてのＤＣＴデータブロックを得る量子化回路４０とを有している。この場合、量子化特性指定情報ＱＩａに基づいて量子化を行うのは、補正データとしてのＤＣＴデータブロックの量子化特性を注目ＤＣＴデータブロックの量子化特性に合わせるためである。
【００７７】
ここで、この補正データとしてのＤＣＴデータブロックは、一個または複数個の使用データブロックのＤＣ係数に基づいて得られた画素データブロックにＤＣＴを施して得られたものである。そのため、このＤＣＴデータブロックを構成するＡＣ係数は、注目リファレンスデータブロックに含まれるブロック段差歪みに対応したものとなる。
【００７８】
また、注目リファレンスデータブロックは、注目ＤＣＴデータブロックに対して動き補償されて得られたものであって、上述した一個または複数個の使用データブロックのデータを含むものとなる。そのため、この注目リファレンスデータブロックには、これら一個または複数個のデータブロックによるブロック段差歪みが含まれる。
【００７９】
そして、注目ＤＣＴデータブロックは、符号化時に、所定のデータブロックからこの注目リファレンスデータブロックを差し引いて得られた差分（残差）データブロックに、さらにＤＣＴが施されて得られたものである。したがって、注目ＤＣＴデータブロックは、そのＡＣ係数部分に、上述したように注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。
【００８０】
また、残差クラス生成部１２１は、メモリ３４から読み出された注目ＤＣＴデータブロックの各ＡＣ係数に量子化回路４０で得られた補正データとしてのＤＣＴデータブロックの対応するＡＣ係数を加算して、注目ＤＣＴデータブロックが有する注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去する加算回路４１を有している。
【００８１】
上述したように補正データとしてのＤＣＴデータブロックを構成するＡＣ係数は、注目リファレンスデータブロックに含まれるブロック段差歪みに対応したものとなると共に、注目ＤＣＴデータブロックのＡＣ係数は注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。そのため、注目ＤＣＴデータブロックの各ＡＣ係数に補正データとしてのＤＣＴデータブロックの対応するＡＣ係数を加算することで、注目ＤＣＴデータブロックのＡＣ係数が有する注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分は除去される。
【００８２】
また、残差クラス生成部１２１は、加算回路４１で得られたブロック段差歪みの補正成分を除去した注目ＤＣＴデータブロックのＤＣＴ係数を、メモリ３２より読み出される注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａに基づいて逆量子化する逆量子化回路４２を有している。
【００８３】
また、残差クラス生成部１２１は、クラス生成回路４３と、このクラス生成回路４３で生成された残差クラスコードＣＬ０を出力する出力端子４４とを有している。クラス生成回路４３は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。一方、クラス生成回路４３は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、逆量子化回路４２で得られるＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成する。
【００８４】
この場合、クラス生成回路４３は、逆量子化回路４２で得られるＤＣＴデータブロックの各ＡＣ係数のそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｃｏｄｉｎｇ）等の処理を施し、レベル分布を示す残差クラスコードＣＬ０を生成する。
【００８５】
ＡＤＲＣは、ＤＣＴデータブロックの全てのＡＣ係数の最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各ＡＣ係数を量子化するものである。１ビットのＡＤＲＣの場合、各ＡＣ係数が平均値より大きいか、小さいかで１ビットに変換される。ＡＤＲＣ処理は、ＡＣ係数のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等のデータビット数を圧縮する符号化を使用するようにしてもよい。
【００８６】
なお、クラス生成回路４３は、ＰピクチャおよびＢピクチャを区別した状態で残差クラスコードＣＬ０を生成するようにしてもよい。これにより、ＰピクチャかＢピクチャかで異なるクラス分類が行われることとなり、画像信号処理部１１０で生成される画像信号Ｖｂの品質の向上を図ることができる。
【００８７】
図３に示す残差クラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属する残差クラスを示す残差クラスコードＣＬ０を生成するための動作を説明する。
【００８８】
ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４から一個または複数個の使用ＤＣＴデータブロックのＤＣ係数が読み出されて逆量子化回路３６に供給され、またメモリ３２からその使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂを読み出されて逆量子化回路３６に供給される（図４ＡのＤＣ１〜ＤＣ４参照）。逆量子化回路３６は、使用ＤＣＴデータブロックのＤＣ係数を情報ＱＩｂに基づいて逆量子化する。
【００８９】
逆量子化回路３６で逆量子化されたＤＣ係数は逆ＤＣＴ回路３７に供給される。逆ＤＣＴ回路３７は、逆量子化されたＤＣ係数をＤＣ係数とすると共に全てのＡＣ係数を０としたＤＣＴデータブロックに対して、逆ＤＣＴを施して画素データブロックを得る。この場合、使用ＤＣＴデータブロックの個数に対応した個数の画素データブロックが得られるが、個々の画素データブロックを構成する各画素データは全て同じ値となる（図４ＢのＤＢ１′〜ＤＢ４′参照）。
【００９０】
逆ＤＣＴ回路３７で得られた画素データブロックはブロック化回路３８に供給される。ブロック化回路３８は、逆ＤＣＴが施されて得られた画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して、一個の画素データブロックを得る（図４ＣのＤＢ０参照）。
【００９１】
このブロック化回路３８で得られた一個の画素データブロックはＤＣＴ回路３９に供給される。ＤＣＴ回路３９は、その一個の画素データブロックに対してＤＣＴを施し、ＤＣＴデータブロックを得る（図４ＤのＤＢ０′参照）。このようにＤＣＴ回路３９で得られたＤＣＴデータブロックは量子化回路４０に供給される。この量子化回路４０には、さらに、メモリ３２から注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて供給される。量子化回路４０は、ＤＣＴ回路３９で得られたＤＣＴデータブロックを、情報ＱＩａに基づいて量子化し、補正データとしてのＤＣＴデータブロックを得る。
【００９２】
この補正データとしてのＤＣＴデータブロックは、一個または複数個の使用ＤＣＴデータブロックのＤＣ係数に基づいて得られた画素データブロックにＤＣＴを施して得られたものである。そのため、この補正データとしてのＤＣＴデータブロックを構成するＡＣ係数は、注目リファレンスデータブロックに含まれるブロック段差歪みに対応したものとなる。
【００９３】
量子化回路４０で得られた補正データとしてのＤＣＴデータブロックは加算回路４１に供給される。この加算回路４１には、メモリ３４から注目ＤＣＴデータブロックが読み出されて供給される。この注目ＤＣＴデータブロックは、そのＡＣ係数部分に、注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。加算回路４１は、注目ＤＣＴデータブロックの各ＡＣ係数に、補正データとしてのＤＣＴデータブロックの対応するＡＣ係数を加算する。これにより、注目ＤＣＴデータブロックが有する、注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分が除去される。
【００９４】
加算回路４１でブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックは逆量子化回路４２に供給される。この逆量子化回路４２には、メモリ３２から注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて供給される。逆量子化回路４２は、ブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックを、情報ＱＩａに基づいて逆量子化する。
【００９５】
そして、クラス生成回路４３は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。一方、クラス生成回路４３は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、逆量子化回路４２で得られるＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成する。このようにクラス生成回路４３で生成されるクラスコードＣＬ０は出力端子４４に出力される。
【００９６】
このように図３に示す残差クラス生成部１２１は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すとき、注目ＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成するものであるが、この注目ＤＣＴデータブロックの各ＡＣ係数として、注目リファレンスデータブロックに含まれるブロック段差歪みの補正成分が除去されたものが用いられる。したがって、残差クラスのクラス分類の精度を向上させることができ、画像信号Ｖｂの品質の向上を図ることができる。
【００９７】
図５のフローチャートは、上述した残差クラスコードＣＬＯの生成処理の手順を示している。
まず、ステップＳＴ１で処理を開始し、ステップＳＴ２で、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ３４から一個または複数個の使用ＤＣＴデータブロックのＤＣ係数を読み出す。そして、ステップＳＴ３で、メモリ３２から使用ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩｂを読み出し、この情報ＱＩｂに基づいて、ステップＳＴ２で読み出されたＤＣ係数を逆量子化する。
【００９８】
次に、ステップＳＴ４で、逆量子化されたＤＣ係数をＤＣ係数とすると共に全てのＡＣ係数を０としたＤＣＴデータブロックに対して、逆ＤＣＴを施して画素データブロックを得る。そして、ステップＳＴ５で、逆ＤＣＴが施されて得られた画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して一個の画素データブロックを生成する。
【００９９】
次に、ステップＳＴ６で、生成された一個の画素データブロックに対してＤＣＴを施し、さらにメモリ３２から注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａを読み出し、この情報ＱＩａに基づいて量子化し、補正データとしてのＤＣＴデータブロックを得る。そして、ステップＳＴ７で、メモリ３４から注目ＤＣＴデータブロックを読み出し、その各ＡＣ係数に補正データとしてのＤＣＴデータブロックの対応するＡＣ係数を加算して、注目ＤＣＴデータブロックが有する注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を除去する。
【０１００】
次に、ステップＳＴ８で、ブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックを、注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａに基づいて逆量子化する。そして、ステップＳＴ９で、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成し、一方、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、ステップ８で得られたＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成する。その後に、ステップＳＴ１０で処理を終了する。
【０１０１】
図１に戻って、また、画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力するデータ選択手段としての予測タップ選択回路１２２を有している。この予測タップ選択回路１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。
【０１０２】
また、画像信号処理部１１０は、画像信号Ｖｂにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１２３を有している。
【０１０３】
このクラス分類部１２３は、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モードの情報ｐｉ、および残差クラス生成部１２１で生成された残差クラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１０４】
図６は、クラス分類部１２３の構成を示している。
このクラス分類部１２３は、画像信号Ｖａを入力する入力端子５０Ａと、この入力端子５０Ａに入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の画素データが属するｎ種類のクラスを検出するために使用するクラスタップの複数の画素データをそれぞれ選択的に取り出すタップ選択回路５０Ｂ１〜５０Ｂｎと、このタップ選択回路５０Ｂ１〜５０Ｂｎで取り出された画素データをそれぞれ用いてｎ種類のクラスを示すクラスコードＣＬ１〜ＣＬｎを生成するクラス生成回路５０Ｃ１〜５０Ｃｎとを有している。
【０１０５】
本実施の形態においては、６種類のクラスを示すクラスコードＣＬ１〜ＣＬ６を生成する。６種類のクラスは、空間波形クラス、時間変動クラス、ＡＣ変動クラス、フラットクラス、ライン相関クラス、ブロックエッジクラスである。各クラスについて簡単に説明する。
【０１０６】
▲１▼空間波形クラスを説明する。タップ選択回路５０Ｂ１およびクラス生成回路５０Ｃ１は、この空間波形クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ１は、画像信号ＶａのＴフレーム（現在フレーム）およびＴ−１フレーム（１フレーム前のフレーム）より、画像信号Ｖｂにおける注目位置に対して空間方向の周辺に位置する複数の画素データを選択的に取り出すものであり、上述した予測タップ選択回路１２２と同様のものである。クラス生成回路５０Ｃ１は、タップ選択回路５０Ｂ１で選択された複数の画素データのそれぞれに例えば１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｃｏｄｉｎｇ）等の処理を施し、空間波形クラスを示すクラスコードＣＬ１を生成する。
【０１０７】
▲２▼時間変動クラスを説明する。タップ選択回路５０Ｂ２およびクラス生成回路５０Ｃ２は、この時間変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ２は、画像信号Ｖａの現在フレーム（Ｔフレーム）から、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図７に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレーム（Ｔ−１フレーム）から、注目ブロックに対応したブロック（図７に示す過去ブロック）の画素データを取り出す。
【０１０８】
クラス生成回路５０Ｃ２は、注目ブロックの８×８個の画素データと過去ブロックの８×８個の画素データとの間で対応する画素毎に減算を行って８×８個の差分値を求め、さらにこの８×８個の差分値の二乗和を求め、この二乗和を閾値判定して、時間変動クラスを示すクラスコードＣＬ２を生成する。
【０１０９】
▲３▼ＡＣ変動クラスを説明する。タップ選択回路５０Ｂ３およびクラス生成回路５０Ｃ３は、このＡＣ変動クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ３は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図７に示す注目ブロック）の画素データを取り出すと共に、画像信号Ｖａの１フレーム前の過去フレームから、注目ブロックに対応したブロック（図７に示す過去ブロック）の画素データを取り出す。
【０１１０】
クラス生成回路５０Ｃ３は、注目ブロックの８×８個の画素データと、過去ブロックの８×８個の画素データとのそれぞれに対して、ＤＣＴ処理を施してＤＣＴ係数（周波数係数）を求める。そして、クラス生成回路５０Ｃ３は、ＡＣ部分の各基底位置において、どちらかに係数が存在する基底位置の数ｍ１と、そのうち符号反転しているものおよび片方の係数が０であるものの基底位置の数ｍ２を求め、ｍ１／ｍ２を閾値判定して、ＡＣ変動クラスを示すクラスコードＣＬ３を生成する。時間変動の少ないブロックでは、このＡＣ変動クラスにより、モスキート歪みに対応したクラス分類を行うことが可能である。
【０１１１】
▲４▼フラットクラスを説明する。タップ選択回路５０Ｂ４およびクラス生成回路５０Ｃ４は、このフラットクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ４は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図７に示す注目ブロック）の画素データを取り出す。クラス生成回路５０Ｃ４は、注目ブロックの８×８個の画素データの最大値と最小値を検出し、その差分であるダイナミックレンジを閾値判定して、フラットクラスを示すクラスコードＣＬ４を生成する。
【０１１２】
▲５▼ライン相関クラスについて説明する。タップ選択回路５０Ｂ５およびクラス生成回路５０Ｃ５は、このライン相関クラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ５は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図７に示す注目ブロック）の画素データを取り出す。
【０１１３】
クラス生成回路５０Ｃ５は、注目ブロックの８×８個の画素データの１ライン目と２ライン目、３ライン目と４ライン目、５ライン目と６ライン目、７ライン目と８ライン目の画素間で対応する画素毎に減算を行って８×４個の差分値を求め、さらにこの８×４個の差分値の二乗和を求め、この二乗和を閾値判定して、ライン相関クラスを示すクラスコードＣＬ５を生成する。このライン相関クラスは、静止画像などフレーム内の相関が高いか、あるいは動きが速くフレーム内よりもフィールド内の相関が高いかを示すものとなる。
【０１１４】
▲６▼ブロックエッジクラスについて説明する。タップ選択回路５０Ｂ６およびクラス生成回路５０Ｃ６は、このブロックエッジクラスの検出系を構成しているものとする。
タップ選択回路５０Ｂ６は、画像信号Ｖａの現在フレームから、画像信号Ｖｂにおける注目位置の画素データに対応したＤＣＴブロック（図７に示す注目ブロック）の画素データを取り出すと共に、その現在フレームから、注目ブロックに対して上下左右に隣接したブロック（図７に示す隣接ブロック）の画素データを取り出す。
【０１１５】
クラス生成回路５０Ｃ６は、注目ブロックの４辺の各８個の画素データとそれに隣接する隣接ブロックの画素データとの間で対応する画素毎に減算を行って４×８個の差分値を求め、さらにこの各８個の差分値の二乗和を求め、注目ブロックの４辺にそれぞれ対応した４個の二乗和をそれぞれ閾値判定して、ブロックエッジクラスを示すクラスコードＣＬ６を生成する。
【０１１６】
また、クラス分類部１２３は、画素位置モードの情報ｐｉを入力する入力端子５０Ｄと、残差クラスコードＣＬ０を入力する入力端子５０Ｅを有している。画素位置モードの情報ｐｉは、そのまま画素位置モードクラスを示すクラスコードＣＬｐとなる。例えば、ＤＣＴブロックが８×８の画素データからなるとき、このクラスコードＣＬｐは６４の画素位置モードのいずれかを表すコードとなる。
【０１１７】
また、クラス分類部１２３は、クラス生成回路５０Ｃ１〜５０Ｃｎで生成されるクラスコードＣＬ１〜ＣＬｎ、入力端子５０Ｄ，５０Ｅに入力されるクラスコードＣＬｐ，ＣＬ０を統合して１個のクラスコードＣＬとするクラス統合回路５０Ｆと、このクラスコードＣＬを出力する出力端子５０Ｇとを有している。
【０１１８】
本実施の形態において、クラス統合回路５０Ｆは、クラス生成回路５０Ｃ１〜５０Ｃ６で生成されたクラスコードＣＬ１〜ＣＬ６、さらにはクラスコードＣＬｐ，ＣＬ０を統合して、１つのクラスコードＣＬとする。
【０１１９】
図１に戻って、また、画像信号処理部１１０は、係数メモリ１２４を有している。この係数メモリ１２４は、後述する推定予測演算回路１２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１２０】
この係数データＷｉは、画像信号Ｖａを画像信号Ｖｂに変換するための情報である。この係数メモリ１２４に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ１２４には上述したクラス分類部１２３より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１２４からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。係数データＷｉの生成方法については後述する。
【０１２１】
また、画像信号処理部１１０は、予測タップ選択回路１２２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂにおける注目位置の画素データｙを演算する推定予測演算回路１２５を有している。
【０１２２】
【数１】
2004134998.tif 000003
【０１２３】
この画像信号処理部１１０の動作を説明する。
残差クラス生成部１２１では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となってバッファメモリ１０８に記憶されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリ３２，３４に格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、残差クラスコードＣＬ０が生成される。この残差クラスコードＣＬ０は、ピクチャ情報ＰＩがＩピクチャを示す場合には特定のコードとなり、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、ブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックの各ＡＣ係数に基づいて生成される。
【０１２４】
また、クラス分類部１２３では、バッファメモリ１０８に記憶されている画像信号Ｖａを構成する複数の画素データ、バッファメモリ１０８に画像信号Ｖｂにおける注目位置の画素データに対応した画像信号Ｖａの画素データと対となって格納されている画素位置モード情報ｐｉ、残差クラス生成部１２１で生成される残差クラスコードＣＬ０を用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１２５】
このようにクラス分類部１２３で生成されるクラスコードＣＬは読み出しアドレス情報として係数メモリ１２４に供給される。これにより、係数メモリ１２４からクラスコードＣＬに対応した係数データＷｉが読み出されて、推定予測演算回路１２５に供給される。
【０１２６】
また、バッファメモリ１０８に記憶されている画像信号Ｖａより、予測タップ選択回路１２２で、画像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１２７】
推定予測演算回路１２５では、予測タップの画素データｘｉと、係数メモリ１２４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂにおける注目位置の画素データｙが求められる。
【０１２８】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。この場合、画像信号Ｖａに基づいて選択された、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂにおける注目位置の画素データｙを生成するものである。
【０１２９】
したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が大幅に軽減されたものを良好に得ることができる。
【０１３０】
また、残差クラス生成部１２１では、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すとき、注目ＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成するものであるが、この注目ＤＣＴデータブロックの各ＡＣ係数として、注目リファレンスデータブロックに含まれるブロック段差歪みの補正成分が除去されたものが用いられるものであり、残差クラスのクラス分類の精度を向上させることができ、画像信号Ｖｂの品質の向上を図ることができる。
【０１３１】
次に、係数メモリ１２４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０１３２】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗｎは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
【０１３３】
ｙｋ＝Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ　　・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【０１３４】
ｍ＞ｎの場合、係数データＷ１，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
【０１３５】
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝　・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１３６】
【数２】
2004134998.tif 000004
【０１３７】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１３８】
【数３】
2004134998.tif 000005
【０１３９】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉを定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１４０】
【数４】
2004134998.tif 000006
【０１４１】
【数５】
2004134998.tif 000007
【０１４２】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１４３】
図８は、図１の画像信号処理部１１０の係数メモリ１２４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１４４】
また、係数データ生成装置１５０は、残差クラス生成部１５４を有している。この残差クラス生成部１５４は、上述した画像信号処理部１１０の残差クラス生成部１２１と同様に構成され、教師信号ＳＴにおける注目位置の画素データが属する残差クラスを示す残差クラスコードＣＬ０を生成する。この残差クラス生成部１５４に内蔵されたメモリには、ＭＰＥＧ２復号化器１５３より出力される量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が一時的に格納される。この残差クラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、残差クラスコードＣＬ０が生成される。
【０１４５】
また、係数データ生成装置１５０は、ＭＰＥＧ２復号化器１５３より出力される生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する予測タップ選択回路１５５を有している。この予測タップ選択回路１５５は、上述した画像信号処理部１１０の予測タップ選択回路１２２と同様に構成される。
【０１４６】
また、係数データ生成装置１５０は、教師信号ＳＴにおける注目位置の画素データが属するクラスを検出するクラス検出手段としてのクラス分類部１５６を有している。このクラス分類部１５６は、上述した画像信号処理部１１０のクラス分類部１２３と同様に構成される。
【０１４７】
このクラス分類部１５６は、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、および残差クラス生成部１５４で生成される残差クラスコードＣＬ０を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１４８】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整された教師信号ＳＴより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１４９】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１５０】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１５１】
次に、図８に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１５２】
残差クラス生成部１５４では、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、内蔵のメモリに格納されている量子化特性指定情報ＱＩおよび量子化ＤＣＴ係数が用いられて、教師信号ＳＴにおける注目位置の画素データが属する残差クラスを示す残差クラスコードＣＬ０が生成される。
【０１５３】
クラス分類部１５６では、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳを構成する複数の画素データ、ＭＰＥＧ２復号化器１５３より得られる、教師信号ＳＴにおける注目位置の画素データに対応した生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、残差クラス生成部１５４で生成された残差クラスコードＣＬ０を用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。
【０１５４】
また、ＭＰＥＧ２復号化器１５３より得られる生徒信号ＳＳより、予測タップ選択回路１５５で、教師信号ＳＴにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１５５】
そして、遅延回路１５７で時間調整された教師信号ＳＴから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス分類部１５６で生成されるクラスコードＣＬとを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１５６】
このように、図８に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１２４に格納される各クラスの係数データＷｉを生成することができる。
【０１５７】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、図１に示す画像信号処理部１１０において、画像信号Ｖａからこの係数データＷｉを用いて得られる画像信号Ｖｂは、画像信号Ｖａに比べて符号化雑音が軽減されたものとなる。
【０１５８】
なお、図１の画像信号処理部１１０における処理を、例えば図９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１５９】
まず、図９に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１６０】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１６１】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１６２】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１６３】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６４】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１６５】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６６】
図１０のフローチャートを参照して、図９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには画像信号Ｖａの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも入力する。
【０１６７】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１６８】
そして、ステップＳＴ２３で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１６９】
ステップＳＴ２５では、画像信号Ｖｂの注目位置に対応した画像信号Ｖａの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、残差クラスコードＣＬ０を生成し、さらにこの残差クラスコードＣＬ０、画像信号Ｖａを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７０】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力された画像信号Ｖａより、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０１７１】
次に、ステップＳＴ２８で、ステップＳＴ２２で入力された１フレームまたは１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２２に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。
【０１７２】
このように、図１０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１７３】
また、処理装置の図示は省略するが、図８の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１７４】
図１１のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの各ＤＣＴブロック部分に対応したＤＣＴ係数および量子化特性指定情報ＱＩ、さらには生徒信号ＳＳの画素データと対となっている画素位置モード情報ｐｉ、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも得る。
【０１７５】
そして、ステップＳＴ３５で、教師信号ＳＴの注目位置に対応した生徒信号ＳＳの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩと、量子化特性指定情報ＱＩおよびＤＣＴ係数を用いて、残差クラスコードＣＬ０を生成し、さらにこの残差クラスコードＣＬ０、生徒信号ＳＳを構成する複数の画素データおよび画素位置モード情報ｐｉを用いて、教師信号ＳＴにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１７６】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成された生徒信号ＳＳより、教師信号ＳＴにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１７７】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴにおける注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１７８】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１７９】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１８０】
このように、図１１に示すフローチャートに沿って処理をすることで、図８に示す係数データ生成装置１５０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０１８１】
なお、上述実施の形態において、画像信号処理部１１０の残差クラス生成部１２１では、使用ＤＣＴデータブロックを用いるものを示したが、この代わりに使用画素データブロックを用いる構成とすることもできる。
【０１８２】
図１２は、その場合における残差クラス生成部１２１Ａの構成を示している。この図１２において、図３と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１８３】
この残差クラス生成部１２１Ａは、上述したＭＰＥＧ２復号化器１０７（図２参）より出力される画像信号Ｖａが入力される入力端子４５と、この入力端子４５に入力される画像信号Ｖａを一時的に格納するためのメモリ４６とを有している。入力端子３５に入力される情報ＭＩ，ＰＩは、メモリ４６に読み出し制御情報として供給される。ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ４６からは、一個または複数個の使用画素データブロックが読み出される。図１３Ａは、例えば、Ｐピクチャの場合であって、４個の使用画素データブロックＤＢａ〜ＤＢｄが用いられた場合を示している。この図１３Ａにおいて、破線は、注目リファレンスデータブロックのブロック位置を示している。なお、この図１３Ａは、図面の簡単化のため、画素データブロックＤＢａ〜ＤＢｄが４×４の画素データを含むように示している。
【０１８４】
また、残差クラス生成部１２１Ａは、メモリ４６より読み出された画素データブロックにおける画素データの平均値をブロック毎に得る平均回路４７を有している。この場合、使用画素データブロックの個数に対応した個数の平均値が得られる。図１３Ａのように、使用画素データブロックの個数が４個である場合には、４個の平均値が得られる。
【０１８５】
また、残差クラス生成部１２１Ａは、上述した一個または複数個の使用画素データブロックを構成する画素データが平均回路４７で得られた平均値で置き換えられた状態で、この一個または複数個の使用画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して一個の画素データブロックを得るブロック化回路４８を有している。
【０１８６】
例えば、図１３Ａに示すような４個の使用画素データブロックＤＢａ〜ＤＢｄを構成する画素データを平均値で置き換えた場合には、図１３Ｂに示すようになる。この場合、ｄａはａ０〜ａ１５の平均値、ｄｂはｂ０〜ｂ１５の平均値、ｄｃはｃ０〜ｃ１５の平均値、ｄｄはｄ０〜ｄ１５の平均値である。また、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して得られる一個の画素データブロックＤＢ０は、図１３Ｃに示すようになる。
【０１８７】
図１２に示す残差クラス生成部１２１Ａのその他は、図３に示す残差クラス生成部１２１と同様に構成される。
図１２に示す残差クラス生成部１２１において、画像信号Ｖｂにおける注目位置の画素データが属する残差クラスを示す残差クラスコードＣＬ０を生成するための動作を説明する。
【０１８８】
ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ４６から一個または複数個の使用画素データブロックのＤＣＴ係数が読み出されて平均回路４７に供給される（図１３ＡのＤＢａ〜ＤＢｄ参照）。平均回路４７は、メモリ４６より読み出された画素データブロックにおける画素データの平均値をブロック毎に求める。
【０１８９】
平均回路４７で求められた平均値はブロック化回路４８に供給される。ブロック化回路４８は、上述した一個または複数個の使用画素データブロックを構成する画素データが平均回路４７で得られた平均値で置き換えられた状態で（図１３Ｂ参照）、この一個または複数個の使用画素データブロックより、リファレンスデータブロックのブロック位置（破線図示）に重なる位置に存在する画素データを選択的に取り出して一個の画素データブロックを得る（図１３ＣのＤＢ０参照）。
【０１９０】
このブロック化回路３８で得られた一個の画素データブロックはＤＣＴ回路３９に供給される。ＤＣＴ回路３９は、その一個の画素データブロックに対してＤＣＴを施し、ＤＣＴデータブロックを得る（図４ＤのＤＢ０′参照）。このようにＤＣＴ回路３９で得られたＤＣＴデータブロックは量子化回路４０に供給される。この量子化回路４０には、さらに、メモリ３２から注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて供給される。量子化回路４０は、ＤＣＴ回路３９で得られたＤＣＴデータブロックを、情報ＱＩａに基づいて量子化し、補正データとしてのＤＣＴデータブロックを得る。
【０１９１】
この補正データとしてのＤＣＴデータブロックは、一個または複数個の使用画素データブロックを構成する画素データの平均値に基づいて得られた画素データブロックにＤＣＴを施して得られたものである。そのため、この補正データとしてのＤＣＴデータブロックを構成するＡＣ係数も、図３に示す残差クラス生成部１２１におけると同様に、注目リファレンスデータブロックに含まれるブロック段差歪みに対応したものとなる。
【０１９２】
量子化回路４０で得られた補正データとしてのＤＣＴデータブロックは加算回路４１に供給される。この加算回路４１には、メモリ３４から注目ＤＣＴデータブロックが読み出されて供給される。この注目ＤＣＴデータブロックは、そのＡＣ係数部分に、注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を有している。加算回路４１は、注目ＤＣＴデータブロックの各ＡＣ係数に、補正データとしてのＤＣＴデータブロックの対応するＡＣ係数を加算する。これにより、注目ＤＣＴデータブロックが有する、注目リファレンスデータブロックに含まれるブロック段差歪みを補正する成分が除去される。
【０１９３】
加算回路４１でブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックは逆量子化回路４２に供給される。この逆量子化回路４２には、メモリ３２から注目ＤＣＴデータブロックに対応した量子化特性指定情報ＱＩａが読み出されて供給される。逆量子化回路４２は、ブロック段差歪みの補正成分が除去された注目ＤＣＴデータブロックを、情報ＱＩａに基づいて逆量子化する。
【０１９４】
そして、クラス生成回路４３は、ピクチャ情報ＰＩがＩピクチャを示す場合には、残差クラスコードＣＬ０として、特定のコードを生成する。一方、クラス生成回路４３は、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すときは、逆量子化回路４２で得られるＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成する。このようにクラス生成回路４３で生成されるクラスコードＣＬ０は出力端子４４に出力される。
【０１９５】
このように図１２に示す残差クラス生成部１２１Ａは、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示すとき、注目ＤＣＴデータブロックの各ＡＣ係数に基づいて残差クラスコードＣＬ０を生成するものであるが、この注目ＤＣＴデータブロックの各ＡＣ係数として、注目リファレンスデータブロックに含まれるブロック段差歪みの補正成分が除去されたものが用いられる。したがって、残差クラスのクラス分類の精度を向上させることができ、画像信号Ｖｂの品質の向上を図ることができる。
【０１９６】
図１４のフローチャートは、上述した残差クラスコードＣＬＯの生成処理の手順を示している。この図１４において、図５と対応する部分には同一符号を付して示している。
【０１９７】
まず、ステップＳＴ１で処理を開始し、ステップＳＴ１１で、ピクチャ情報ＰＩがＰピクチャまたはＢピクチャを示す場合、メモリ４６から一個または複数個の使用画素データブロックを読み出す。そして、ステップＳＴ１２で、読み出された一個または複数個の使用画素データブロックの画素データの平均値をブロック毎に求める。
【０１９８】
次に、ステップＳＴ１３で、一個または複数個の使用画素データブロックを構成する画素データが平均値で置き換えられた状態で、この一個または複数個の使用画素データブロックより、リファレンスデータブロックのブロック位置に重なる位置に存在する画素データを選択的に取り出して一個の画素データブロックを生成する。
【０１９９】
次に、ステップＳＴ６に進む。このステップＳＴ６以下は、上述した図５のフローチャートと同様であるので、説明は省略する。
【０２００】
また、上述実施の形態においては、ＭＰＥＧ２復号化器１０７から可変長復号化回路７４で得られる量子化ＤＣＴ係数が出力され、この量子化ＤＣＴ係数を残差クラス生成部１２１，１２１Ａのメモリ３４に格納して、残差クラスコードＣＬ０の生成に利用するものである。
【０２０１】
しかし、ＭＰＥＧ２復号化器１０７から逆量子化回路７６で得られる逆量子化されたＤＣＴ係数が出力されるようにし、この逆量子化されたＤＣＴ係数を残差クラス生成部１２１，１２１Ａのメモリ３４に格納して、残差クラスコードＣＬ０の生成に利用するように構成することもできる。
【０２０２】
その場合には、残差クラス生成部１２１，１２１Ａにおいて、逆量子化、量子化等の処理は不要となる。したがってその場合には、図３の残差クラス生成部１２１において、メモリ３２、逆量子化回路３６，４２、量子化回路４０は不要となる。同様に、図１２の残差クラス生成部１２１Ａにおいて、メモリ３２、量子化回路４０、逆量子化回路４２は不要となる。
【０２０３】
また、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、ブロック毎に動き補償予測符号化が行われたその他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０２０４】
【発明の効果】
この発明によれば、ブロック毎に動き補償予測符号化が行われたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際、少なくとも差分データブロックを用いて第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものにあって、リファレンスデータブロックに含まれるブロック段差歪みを補正する成分を差分データブロックから除去し、この補正成分が除去された差分データブロックを上述のクラス検出に用いるものであり、クラス分類の精度が向上することから、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】残差クラス生成部の構成を示すブロック図である。
【図４】残差クラス生成部の処理を説明するための図である。
【図５】残差クラス生成処理を示すフローチャートである。
【図６】クラス分類部の構成を示すブロック図である。
【図７】タップ選択用ブロックを示す図である。
【図８】係数データ生成装置の構成を示すブロック図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１０】画像信号処理を示すフローチャートである。
【図１１】係数データ生成処理を示すフローチャートである。
【図１２】残差クラス生成部の他の構成を示すブロック図である。
【図１３】残差クラス生成部の処理を説明するための図である。
【図１４】残差クラス生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１，１２１Ａ・・・残差クラス生成部、１２２・・・予測タップ選択回路、１２３・・・クラス分類部、１２４・・・係数メモリ、１２５・・・推定予測演算回路、１５０・・・係数データ生成装置、３００・・・画像信号処理装置
【図１】
2004134998.tif 000008
【図２】
2004134998.tif 000009
【図３】
2004134998.tif 000010
【図４】
2004134998.tif 000011
【図５】
2004134998.tif 000012
【図６】
2004134998.tif 000013
【図７】
2004134998.tif 000014
【図８】
2004134998.tif 000015
【図９】
2004134998.tif 000016
【図１０】
2004134998.tif 000017
【図１１】
2004134998.tif 000018
【図１２】
2004134998.tif 000019
【図１３】
2004134998.tif 000020
【図１４】
2004134998.tif 000021