(57)【要約】【課題】画像信号の符号化雑音を良好に軽減する。【解決手段】第２の処理部１２２は、Ｐピクチャ、Ｂピクチャの画像信号Ｖａ（Ｐ），Ｖａ（Ｂ）を符号化雑音を軽減したＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）に変換するための処理を行う。画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびその画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置する予測タップ、クラスタップの画素データを選択的に取り出す。演算回路１４５は、予測タップの画素データｘｉと、係数メモリ１４４よりクラスコードＣＬ２で読み出された係数データＷｉとを用いて、推定式に基づいて、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを求める。【選択図】　　　　図４
2004140694.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第１の画像信号および上記第２の画像信号に基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号処理装置。
【請求項２】
上記第２の画像信号に対して、上記第１の画像信号を基準とした動き補償を行う動き補償手段をさらに備え、
上記第１のデータ選択手段は、上記第２の画像信号として上記動き補償手段で動き補償された第２の画像信号を用いる
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記画素データ生成手段は、
上記第１の画像信号および上記第２の画像信号に基づいて、上記注目位置に対して時間方向および空間方向の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第２の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応した推定式の係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の第１の画素データを用いて、上記推定式に基づいて、上記第２の画像信号における上記注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
上記デジタル画像信号はＭＰＥＧ方式の符号化が行われたものであって、
上記第１のデータ選択手段は、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データがＩピクチャに係る画素データであるとき、上記第１の画像信号に基づいて上記複数の第１の画素データを選択し、
上記第２の画像信号における注目位置に対応した上記第１の画像信号の画素データがＰピクチャまたはＢピクチャに係る画素データであるとき、上記第１の画像信号および上記Ｐピクチャまたは上記Ｂピクチャの画素データを得る際に使用された上記第１の画像信号に対応した上記第２の画像信号に基づいて上記複数の第１の画素データを選択する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
上記第１の画像信号および上記第２の画像信号に基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する第２のステップと
を備えることを特徴とする画像信号処理方法。
【請求項６】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
上記第１の画像信号および上記第２の画像信号に基づいて、上記第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のステップと、
上記第１のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する第２のステップと
を備える画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項７】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、
上記生徒信号および上記教師信号に基づいて、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項８】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記生徒信号および上記教師信号に基づいて、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第３のステップと
を備えることを特徴とする係数データ生成方法。
【請求項９】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
上記生徒信号および上記教師信号に基づいて、上記教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第３のステップと
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換して符号化雑音を軽減する際、第１の画像信号の他に、符号化情報が軽減された第２の画像信号に基づいて第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データを生成することによって、第２の画像信号の品質の向上を図り、符号化雑音を良好に軽減できるようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　２）による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現されるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｃｅ　ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【０００９】
このような符号化雑音は、ＭＰＥＧ２による符号化方式だけでなく、その他の符号化方式によっても発生する。
【００１０】
この発明の目的は、符号化されたデジタル画像信号を復号化することによって得られた画像信号の符号化雑音を良好に軽減することにある。
【００１１】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第１の画像信号および第２の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００１２】
また、この発明に係る画像信号処理方法は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第１の画像信号および第２の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のステップと、この第１のステップで選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する第２のステップとを備えるものである。
【００１３】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１４】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００１５】
この第１の画像信号および第２の画像信号に基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。そして、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成される。
【００１６】
例えば、デジタル画像信号がＭＰＥＧ方式の符号化が行われたものである場合、以下のように複数の第１の画素データが選択される。すなわち、第２の画像信号における注目位置に対応した第１の画像信号の画素データがＩピクチャに係る画素データであるとき、第１の画像信号に基づいて複数の第１の画素データが選択される。また、第２の画像信号における注目位置に対応した第１の画像信号の画素データがＰピクチャまたはＢピクチャに係る画素データであるとき、第１の画像信号およびＰピクチャまたはＢピクチャの画素データを得る際に使用された第１の画像信号に対応した第２の画像信号に基づいて複数の第１の画素データが選択される。
【００１７】
このように複数の第１の画像データを用いて第２の画像信号における注目位置の画素データを生成するものであり、第２の画像信号として符号化雑音が軽減されたものを得ることが可能となる。
【００１８】
例えば、第１の画像信号および第２の画像信号に基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第２の画素データが選択され、この複数の第２の画素データに基づいて、その注目位置の画素データが属するクラスが検出される。そして、検出されたクラスに対応して発生された係数データおよび複数の第１の画素データを用いて、推定式に基づいて、第２の画像信号における注目位置の画素データが算出される。
【００１９】
係数データとして、第１の画像信号に対応しこの第１の画像信号と同様の符号化雑音を含む生徒信号と第２の画像信号に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データを用いることで、第２の画像信号として第１の画像信号に比べて符号化雑音を軽減したものを得ることできる。
【００２０】
また、複数の第１の画素データは、第１の画像信号の他に符号化雑音が軽減された第２の画像信号からも選択されるものであり、第２の画像信号の品質の向上を図ることができ、符号化雑音を良好に軽減できる。
【００２１】
なお、第２の画像信号に対して第１の画像信号を基準とした動き補償を行い、複数の第１の画素データを選択する際の第２の画像信号として、この動き補償された第２の画像信号を用いるようにしてもよい。第２の画像信号に動き補償が行われることで、時間方向に存在する各画面の画像信号から選択される複数の第１の画素データは相関が高いものとなり、この複数の第１の画素データを用いて生成される第２の画像信号における注目位置の画素データの品質を高めることができる。
【００２２】
この発明に係る係数データ生成装置は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、生徒信号および教師信号に基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める演算手段とを備えるものである。
【００２３】
また、この発明に係る係数データ生成方法は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、生徒信号および教師信号に基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択する第２のステップと、この第２のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める第３のステップとを備えるものである。
【００２４】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００２５】
この発明において、複数の画素データからなる第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。この発明は、この第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するものである。
【００２６】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。この生徒信号および教師信号に基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。そして、この複数の画素データおよび教師信号における注目位置の画素データを用いて、係数データが求められる。
【００２７】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、その係数データが使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。これにより、推定式を使用して第１の画像信号から第２の画像信号に変換する場合に、符号化されたデジタル画像信号を復号化して得られた画像信号の符号化雑音を良好に軽減できるようになる。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのデジタル放送受信機１００の構成を示している。
【００２９】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３０】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００３１】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００３２】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、ピクチャ情報ＰＩ，動き補償用ベクトル情報ＭＩも出力される。バッファメモリ１０８には、各画素データと対にして情報ＰＩ，ＭＩも格納される。
【００３３】
ピクチャ情報ＰＩは、出力される画素データがＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）のいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトル情報ＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際の参照画像信号がどのように動き補償されたかを示す情報である。
【００３４】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００３５】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００３６】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００３７】
また、復号化器１０７は、ＩピクチャおよびＰピクチャの画像信号をメモリ（図示せず）に記憶すると共に、これらの画像信号を用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分画像信号が出力されるとき、対応する参照画像信号Ｖｒｅｆを生成して出力する予測メモリ回路７８を有している。
【００３８】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分画像信号が出力されるとき、その差分画像信号に予測メモリ回路７８で生成された参照画像信号Ｖｒｅｆを加算する加算回路７９と、加算回路７９より出力される各ピクチャの画像信号Ｖａを出力する出力端子８１とを有している。
【００３９】
なお、逆ＤＣＴ回路７７からＩピクチャの画像信号が出力されるとき、予測メモリ回路７８から加算回路７９に参照画像信号Ｖｒｅｆは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画像信号がそのまま出力される。
【００４０】
ここで、ＭＰＥＧ方式の符号化では、従来周知のように、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化される。出力端子８１には、その符号化の順番で各ピクチャの画像信号Ｖａが出力される。
【００４１】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩ、動き補償用ベクトル情報ＭＩを抽出する抽出回路８２と、これらの情報ＰＩ，ＭＩを出力する出力端子８３とを有している。
【００４２】
抽出回路８２で抽出される動き補償用ベクトル情報ＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトル情報ＭＩを用いて参照画像信号Ｖｒｅｆを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩも予測メモリ回路７８に供給される。予測メモリ回路７８ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００４３】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【００４４】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャの画像信号が得られる。この各ピクチャの画像信号は加算回路７９を介して出力端子８１に出力される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの差分画像信号が出力されるとき、加算回路７９で予測メモリ回路７８より出力される参照画像信号Ｖｒｅｆが加算される。
【００４５】
なお、出力端子８１より出力される画像信号Ｖａを構成する各画素データと対となって、出力端子８３に動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが出力される。
【００４６】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ　Ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示器で構成されている。
【００４７】
図１に示すデジタル放送受信機１００の動作を説明する。
【００４８】
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも出力される。これらの情報ＭＩ，ＰＩもバッファメモリ１０８に一時的に格納される。
【００４９】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。この画像信号処理部１１０では、バッファメモリ１０８に格納されている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが用いられて変換処理が行われる。
【００５０】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【００５１】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号ＶａのうちＩピクチャの画像信号に対して変換処理を行う第１の処理部１２１と、バッファメモリ１０８に記憶されている画像信号ＶａのうちＰピクチャおよびＢピクチャに対して変換処理を行う第２の処理部１２２と、第１の処理部１２１で得られたＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２で得られたＰピクチャの画像信号Ｖｂ（Ｐ）を一時的に格納するバッファメモリ１２３とを有している。これら第１の処理部１２１および第２の処理部１２２の詳細を説明する図３は、第１の処理部１２１の構成を示している。この第１の処理部１２１は、予測タップ選択回路１３１およびクラスタップ選択回路１３２を有している。予測タップ選択回路１３１は、バッファメモリ１０８に格納されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。クラスタップ選択回路１３２は、バッファメモリ１０８に格納されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
【００５２】
予測タップおよびクラスタップの画素データは、それぞれＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する画素データである。
【００５３】
また、第１の処理部１２１は、クラスタップ選択回路１３２で選択的に取り出されるクラスタップの画素データから空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路１３３を有している。このクラス生成回路１３３は、クラスタップの画素データに１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｃｏｄｉｎｇ）等の処理を施すことによって、空間クラスを示すクラスコードＣＬ１を生成する。
【００５４】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【００５５】
また、第１の処理部１２１は、係数メモリ１３４を有している。この係数メモリ１３４は、後述する推定予測演算回路１３５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００５６】
この係数データＷｉは、画像信号Ｖａ（Ｉ）を画像信号Ｖｂ（Ｉ）に変換するための情報である。この係数メモリ１３４に格納される係数データＷｉは、予め画像信号Ｖａ（Ｉ）に対応した生徒信号と画像信号Ｖｂ（Ｉ）に対応した教師信号との間の学習によって生成される。この係数メモリ１３４には上述したクラス生成回路１３３で生成されるクラスコードＣＬ１が読み出しアドレス情報として供給される。この係数メモリ１３４からはクラスコードＣＬ１に対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１３５に供給される。係数データＷｉの生成方法については後述する。
【００５７】
また、第１の処理部１２１は、予測タップ選択回路１３１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを演算する推定予測演算回路１３５を有している。
【００５８】
【数１】
2004140694.tif 000003
【００５９】
この第１の処理部１２１の動作を説明する。
バッファメモリ１０８に記憶されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、クラスタップ選択回路１３２で、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス生成回路１３３に供給される。このクラス生成回路１３３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示すクラスコードＣＬ１が生成される。
【００６０】
このクラスコードＣＬ１は、画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬ１は、係数メモリ１３４に読み出しアドレス情報として供給される。この係数メモリ１３４からクラスコードＣＬ１に対応した係数データＷｉが読み出されて、推定予測演算回路１３５に供給される。
【００６１】
また、バッファメモリ１０８に記憶されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、予測タップ選択回路１３１で、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。
【００６２】
推定予測演算回路１３５では、予測タップの画素データｘｉと、係数メモリ１３４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データｙが求められる。
【００６３】
このように第１の処理部１２１では、Ｉピクチャの画像信号Ｖａ（Ｉ）から係数データＷｉを用いてＩピクチャの画像信号Ｖｂ（Ｉ）が得られる。この場合、画像信号Ｖａ（Ｉ）に基づいて選択された、画像信号Ｖｂ（Ｉ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスＣＬ１に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成するものである。
【００６４】
したがって、係数データＷｉとして、画像信号Ｖａ（Ｉ）に対応しこの画像信号Ｖａ（Ｉ）と同様の符号化雑音を含む生徒信号と画像信号Ｖｂ（Ｉ）に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂ（Ｉ）として画像信号Ｖａ（Ｉ）に比べて符号化雑音が軽減されたものを得ることができる。
【００６５】
図４は、第２の処理部１２２の構成を示している。この第２の処理部１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１４１と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１４２とを有している。
【００６６】
タップ選択回路１４１，１４２には、システムコントローラ１０１から、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対応した画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが、動作制御情報として供給される。予測タップおよびクラスタップの画素データは、それぞれ、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する画素データである。
【００６７】
タップ選択回路１４１，１４２は、それぞれ、バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されている、そのピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、既に符号化雑音が軽減されたＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、複数の画素データを選択的に取り出す。
【００６８】
ここで、タップ選択回路１４１，１４２は、動き補償用ベクトル情報ＭＩに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償を行う。
【００６９】
図５は、動き補償の一例を示している。この例は、Ｐピクチャの画像信号Ｖｂ（Ｐ）における注目位置に対して空間方向および時間方向の周辺に位置する画素データを取り出す場合であって、Ｐピクチャの画像信号Ｖａ（Ｐ）およびＩピクチャの画像信号Ｖｂ（Ｉ）が、画素データの選択対象である場合を示している。
【００７０】
この場合、画像信号Ｖｂ（Ｉ）に対して、画像信号Ｖａ（Ｐ）を基準とした動き補償が行われる。ここで、図５に示すように、ベクトル情報ＭＩが（−２，＋１）であったとき、タップ選択回路は、画像信号Ｖａ（Ｐ）からｘ１〜ｘ１３の画素データを選択的に取り出し、画像信号Ｖｂ（Ｉ）から（−２，＋１）だけずれた位置にあるｘ１〜ｘ１３の画素データを選択的に取り出す。
【００７１】
このように、予測タップ選択回路１４１において、動き補償を行って予測タップの画素データを選択的に取り出すようにしたことで、予測タップの画素データは相関が高いものとなる。そのため、この予測タップの画素データを用いて後述するように生成される画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）における注目位置の画素データの品質を高めることができる。
【００７２】
また、クラスタップ選択回路１４２において、動き補償を行ってクラスタップの画素データを選択的に取り出すようにしたことで、上述したように予測タップ選択回路１４１で動き補償が行われて選択された予測タップの画素データに対応した時空間クラスを良好に検出できる。
【００７３】
また、第２の処理部１２２は、クラスタップ選択回路１４２で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬ２を生成するクラス生成回路１４３を有している。このクラス生成回路１４３は、上記した第１の処理部１２１のクラス生成回路１３３と同様に、クラスタップの画素データに１ビットのＡＤＲＣ等の処理を施すことによって、空間クラスを示すクラスコードＣＬ２を生成する。
【００７４】
また、第１の処理部１２２は、係数メモリ１４４を有している。この係数メモリ１４４は、後述する推定予測演算回路１４５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【００７５】
この係数メモリ１４４には、Ｐピクチャの画像信号Ｖａ（Ｐ）をＰピクチャの画像信号Ｖｂ（Ｐ）に変換するためのＰピクチャ用の係数データＷｉと、Ｂピクチャの画像信号Ｖａ（Ｂ）をＢピクチャの画像信号Ｖｂ（Ｂ）に変換するためのＢピクチャ用の係数データＷｉとが別個のアドレスに格納されている。この係数メモリ１４４には、システムコントローラ１０１からピクチャ情報ＰＩが読み出し制御情報として供給される。
【００７６】
この係数メモリ１４４に格納される係数データＷｉは、予め画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に対応した生徒信号と画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）に対応した教師信号との間の学習によって生成される。この係数メモリ１４４には上述したクラス生成回路１４３で生成されるクラスコードＣＬ２が読み出しアドレス情報として供給される。この係数メモリ１４４からはクラスコードＣＬ２に対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１４５に供給される。係数データＷｉの生成方法については後述する。
【００７７】
また、第２の処理部１２２は、予測タップ選択回路１４１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１４４より読み出される係数データＷｉとから、上述の（１）式の推定式によって、作成すべき画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを演算する推定予測演算回路１４５を有している。
【００７８】
この第２の処理部１２２の動作を説明する。
バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されているその画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、クラスタップ選択回路１４２で、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。この場合、動き補償用ベクトル情報ＭＩに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償が行われる。
【００７９】
クラスタップ選択回路１４２で取り出されるクラスタップの画素データはクラス生成回路１４３に供給される。このクラス生成回路１４３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬ２が生成される。このクラスコードＣＬ２は、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｉ）における注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬ２は、係数メモリ１４４に読み出しアドレス情報として供給される。
【００８０】
この係数メモリ１４４からクラスコードＣＬ２に対応した係数データＷｉが読み出されて、推定予測演算回路１４５に供給される。この場合、ピクチャ情報ＰＩに基づいて、Ｐピクチャの画像信号Ｖｂ（Ｐ）を作成する場合にはＰピクチャ用の係数データＷｉが読み出され、Ｂピクチャの画像信号Ｖｂ（Ｂ）を作成する場合にはＢピクチャ用の係数データＷｉが読み出される。
【００８１】
また、バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されているその画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、予測タップ選択回路１４１で、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動き補償用ベクトル情報ＭＩに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償が行われる。
【００８２】
推定予測演算回路１４５では、予測タップの画素データｘｉと、係数メモリ１４４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｉ）における注目位置の画素データｙが求められる。
【００８３】
このように第２の処理部１２２では、ＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から、係数データＷｉを用いて、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）が得られる。この場合、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびＶｂ（Ｉ）、Ｖｂ（Ｐ）に基づいて選択された、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスＣＬ２に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを生成するものである。
【００８４】
したがって、係数データＷｉとして、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に対応しこの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）と同様の符号化雑音を含む生徒信号と画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）として画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に比べて符号化雑音が軽減されたものを得ることができる。
【００８５】
また、予測タップの画素データは、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から選択される他に、符号化雑音が軽減された画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択されるものであり、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質の向上を図ることができ、それらに含まれる符号化雑音を良好に軽減できる。
【００８６】
図１に戻って、また、画像信号処理部１１０は、第１の処理部１２１より出力されるＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２より出力されるＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、実際のフレーム／フィールドの順番に並べ換え、画像信号Ｖｂとして出力する並べ換え部１２４を有している。並べ換え部１２４は、バッファメモリ１２５を利用して並べ換え処理を行う。
【００８７】
画像信号処理部１１０の動作を説明する。
バッファメモリ１０８に格納されている画像信号ＶａのうちＩピクチャの画像信号Ｖａ（Ｉ）は第１の処理部１２１に供給される。第１の処理部１２１は、このＩピクチャの画像信号Ｖａ（Ｉ）から、係数データＷｉを用いて、符号化雑音を軽減したＩピクチャの画像信号Ｖｂ（Ｉ）を生成する。
【００８８】
この場合、画像信号Ｖａ（Ｉ）に基づいて選択された、画像信号Ｖｂ（Ｉ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスＣＬ１に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成する。
【００８９】
第１の処理部１２１で生成されたＩピクチャの画像信号Ｖｂ（Ｉ）は、並べ換え部１２４に供給されると共に、バッファメモリ１２３に供給されて一時的に格納される。このようにバッファメモリ１２３に格納されたＩピクチャの画像信号Ｖｂ（Ｉ）は、第２の処理部１２２で、Ｐピクチャの画像信号Ｖｂ（Ｐ）を生成する際に用いられる。
【００９０】
また、バッファメモリ１０８に格納されている画像信号ＶａのうちＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｉ）は第２の処理部１２２に供給される。第２の処理部１２２は、この画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびバッファメモリ１２３に格納されているＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）から、係数データＷｉを用いて、符号化雑音を軽減したＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）を生成する。
【００９１】
この場合、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびＶｂ（Ｉ）、Ｖｂ（Ｐ）に基づいて選択された、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスＣＬ２に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを生成する。
【００９２】
第２の処理部１２２で生成されたＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）は、並べ換え部１２４に供給される。また、第２の処理部１２２で生成されたＰピクチャの画像信号Ｖｂ（Ｐ）は、バッファメモリ１２３に供給されて一時的に格納される。このようにバッファメモリ１２３に格納されたＰピクチャの画像信号Ｖｂ（Ｉ）は、第２の処理部１２２で、Ｂピクチャの画像信号Ｖｂ（Ｂ）を生成する際に用いられる。
【００９３】
並べ換え部１２４は、第１の処理部１２１より出力されるＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２より出力されるＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、符号化の順番から実際のフレーム／フィールドの順番に並べ換え、画像信号Ｖｂとして順次出力する。
【００９４】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が軽減されたものを得ることができる。
【００９５】
また、Ｐピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る際に、第２の処理部１２２では、予測タップの画素データを画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から選択する他に、符号化雑音が軽減された画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択するものである。したがって、Ｐピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）の品質の向上を図ることができ、それらに含まれる符号化雑音を良好に軽減できる。
【００９６】
また、第２の処理部１２２では、画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）に対して画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償を行って予測タップの画素データを選択的に取り出すものである。したがって、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）における注目位置の画素データを生成するための予測タップの画素データは相関が高いものとなり、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質を高めることができる。
【００９７】
次に、第１の処理部１２１（図３参照）の係数メモリ１３４、第２の処理部１２２（図４参照）の係数メモリ１４４に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【００９８】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗｎは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（２）式が設定される。ｎは予測タップの数を示している。
ｙｋ＝Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ　　・・・（２）
（ｋ＝１，２，‥‥，ｍ）
【００９９】
ｍ＞ｎの場合、係数データＷ１，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（３）で定義して、（４）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝　・・・（３）
（ｋ＝１，２，‥‥ｍ）
【０１００】
【数２】
2004140694.tif 000004
【０１０１】
（４）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（５）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１０２】
【数３】
2004140694.tif 000005
【０１０３】
（５）式から係数データＷｉを求める具体的な手順について説明する。（６）式、（７）式のようにＸｊｉ，Ｙｉを定義すると、（５）式は、（８）式の行列式の形に書くことができる。
【０１０４】
【数４】
2004140694.tif 000006
【０１０５】
【数５】
2004140694.tif 000007
【０１０６】
（８）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０１０７】
図６は、第１の処理部１２１の係数メモリ１３４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
【０１０８】
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１０９】
また、係数データ生成装置１５０は、復号化器１５３より出力されるＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１５４と、同様に、復号化器１５３より出力されるＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１５４とを有している。これらのタップ選択回路１５４，１５５は、第１の処理部１２１のタップ選択回路１３１，１３２と同様に構成される。予測タップおよびクラスタップの画素データは、それぞれ、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する画素データである。
【０１１０】
また、係数データ生成装置１５０は、クラスタップ選択回路１５４で選択的に取り出されるクラスタップの画素データから空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路１５６を有している。このクラス生成回路１５６は、第１の処理部１２１のクラス生成回路１３３と同様に構成される。
【０１１１】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整されたＩピクチャの教師信号ＳＴ（Ｉ）より得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１５６で生成されるクラスコードＣＬ１とから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１５８を有している。
【０１１２】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴ（Ｉ）と生徒信号ＳＳ（Ｉ）との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１１３】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０１１４】
次に、図６に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１１５】
復号化器１５３で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、クラスタップ選択回路１５５で、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス生成回路１５６に供給される。このクラス生成回路１５６では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示すクラスコードＣＬ１が生成される。
【０１１６】
また、復号化器１５３で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、予測タップ選択回路１５４で、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１１７】
そして、遅延回路１５７で時間調整された教師信号ＳＴ（Ｉ）から得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１５６で生成されるクラスコードＣＬ１とを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０１１８】
このように、図６に示す係数データ生成装置１５０においては、第１の処理部１２１の係数メモリ１３４に格納される各クラスの係数データＷｉを生成することができる。
【０１１９】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、第１の処理部１２１において、画像信号Ｖａ（Ｉ）からこの係数データＷｉを用いて得られる画像信号Ｖｂ（Ｉ）は、画像信号Ｖａ（Ｉ）に比べて符号化雑音が軽減されたものとなる。
【０１２０】
図７は、第２の処理部１２２の係数メモリ１４４に格納すべき係数データＷｉを生成する係数データ生成装置１７０の構成を示している。
この係数データ生成装置１７０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１７１と、この教師信号ＳＴを一時的に格納するバッファメモリ１７２とを有している。
【０１２１】
また、係数データ生成装置１７０は、バッファメモリ１７２に一時的に格納さた教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１７３と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１７４とを有している。ここで、ＭＰＥＧ２復号化器１７４は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０１２２】
また、係数データ生成装置１７０は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１７５と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１７６とを有している。これらのタップ選択回路１７５，１７６は、第２の処理部１２２のタップ選択回路１４１，１４２と同様に構成される。
【０１２３】
タップ選択回路１７５，１７６には、復号化器１７４から、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対応した生徒信号ＳＳ（Ｐ）／ＳＳ（Ｉ）の画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが、動作制御情報として供給される。予測タップおよびクラスタップの画素データは、それぞれ、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する画素データである。
【０１２４】
タップ選択回路１７５，１７６は、それぞれ、復号化器１７４で得られるＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、複数の画素データを選択的に取り出す。
【０１２５】
ここで、タップ選択回路１７５，１７６は、動き補償用ベクトル情報ＭＩに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償を行う。
【０１２６】
また、係数データ生成装置１７０は、クラスタップ選択回路１７６で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬ２を生成するクラス生成回路１７７を有している。このクラス生成回路１７７は、第２の処理部１２２のクラス生成回路１４３と同様に構成される。
【０１２７】
また、係数データ生成装置１７０は、バッファメモリ１７２より読み出される教師信号ＳＴの時間調整を行うための遅延回路１７８と、この遅延回路１７８で時間調整されたＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）より得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１７５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１７７で生成されるクラスコードＣＬ２とから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（８）式参照）を生成する正規方程式生成部１７９を有している。
【０１２８】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）と生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１７９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１２９】
また、係数データ生成装置１７０は、正規方程式生成部１７９で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１８０と、この求められた各クラスの係数データＷｉを格納する係数メモリ１８１とを有している。
【０１３０】
次に、図７に示す係数データ生成装置１７０の動作を説明する。
入力端子１７１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、この教師信号ＳＴはバッファメモリ１７２に一時的に格納される。そして、このようにバッファメモリ１７２に一時的に格納された教師信号ＳＴに対して、ＭＰＥＧ２符号化器１７３で符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１７４に供給される。ＭＰＥＧ２復号化器１７４で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０１３１】
教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）の注目位置に対応した生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩが、復号化器１７４から予測タップ選択回路１７５およびクラスタップ選択回路１７６に、動作制御情報として供給される。
【０１３２】
復号化器１７４で生成されたＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、クラスタップ選択回路１７６で、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。この場合、動き補償用ベクトル情報ＭＩに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償が行われる。
【０１３３】
クラスタップ選択回路１７６で選択的に取り出されたクラスタップの画素データはクラス生成回路１７７に供給される。このクラス生成回路１７７では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬ２が生成される。
【０１３４】
また、復号化器１７４で生成されたＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、予測タップ選択回路１７５で、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動き補償用ベクトル情報ＭＩに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償が行われる。
【０１３５】
そして、遅延回路１７８で時間調整された教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）から得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１７５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１７７で生成されるクラスコードＣＬ２とを用いて、正規方程式生成部１７９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（８）式参照）が生成される。この正規方程式は係数データ決定部１８０で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１８１に格納される。
【０１３６】
このように、図７に示す係数データ生成装置１７０においては、第２の処理部１２２の係数メモリ１４４に格納される各クラスの係数データＷｉを生成することができる。
【０１３７】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、第２の処理部１２２において、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）等からこの係数データＷｉを用いて得られる画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）は、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に比べて符号化雑音が軽減されたものとなる。
【０１３８】
なお、図１の画像信号処理部１１０における処理を、例えば図８に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１３９】
まず、図１７に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１４０】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１４１】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１４２】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１４３】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１４４】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０１４５】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１４６】
図９のフローチャートを参照して、図８に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳ２２で、例えば入力端子３１４より装置内に１ＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅ）分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの画素データと対となっている動き補償用ベクトル情報ＭＩおよびピクチャ情報ＰＩも入力する。
【０１４７】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０１４８】
そして、ステップＳＴ２３で、画像信号Ｖａの全てのＧＯＰの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０１４９】
このステップＳＴ２５では、ステップＳＴ２２で入力されたＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を選択的に取り出し、このクラスタップの画素データを用いてＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスを示すクラスコードＣＬ１を生成する。
【０１５０】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力されたＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬ１に対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成する。このように生成される画像データからなるＩピクチャの画像信号Ｖｂ（Ｉ）は、ＲＡＭ３０３に一時的に格納される。
【０１５１】
そして、ステップＳＴ２８で、Ｉピクチャの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。一方処理が終了しているときは、ステップＳＴ２９に進み、ＰピクチャおよびＢピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る処理に移る。
【０１５２】
これらの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る処理は、上述したＩピクチャの画像信号Ｖｂ（Ｉ）を得るステップＳＴ２５〜ステップＳＴ２８までの処理と同様に行われる。ただし、予測タップおよびクラスタップの画素データは、ステップＳＴ２２で入力されたＰピクチャ、Ｂピクチャの画像信号Ｖａ（Ｐ），Ｖａ（Ｂ）の他に、生成されたＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択的に取り出される。また、画像信号Ｖａ（Ｐ），Ｖａ（Ｂ）を基準として、画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）に対して、動き補償用ベクトル情報ＭＩに基づいて動き補償が行われる。
【０１５３】
ステップＳＴ２９で、所定のＰピクチャまたはＢピクチャの処理が終了したとき、ステップＳＴ３０で、処理すべき次のピクチャがあるか否かを判定する。次のピクチャがあるときは、ステップＳＴ２９に戻って、そのピクチャの画像信号を得る処理に移る。一方、処理すべき次のピクチャがないときは、ステップＳＴ３１に進む。
【０１５４】
ステップＳＴ３１では、生成された１ＧＯＰ分の画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、符号化の順番から、実際のフレーム／フィールドの順番に並べ換えて、出力端子３１５に出力する。そして、その後、ステップＳＴ２２に戻って、次の１ＧＯＰ分の画像信号Ｖａの入力処理に移る。
【０１５５】
このように、図９に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１５６】
また、処理装置の図示は省略するが、図６の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１５７】
図１０のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１ＧＯＰ分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全てのＧＯＰの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０１５８】
次に、ステップＳＴ３５で、ステップＳＴ３４で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を選択的に取り出し、このクラスタップの画素データを用いてＩピクチャの教師信号ＳＴ（Ｉ）における注目位置の画素データが属するクラスを示すクラスコードＣＬ１を生成する。
【０１５９】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０１６０】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ１、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴ（Ｉ）における注目位置の画素データｙを用いて、クラス毎に、（８）式に示す正規方程式を得るための加算をする（（６）式、（７）式参照）。
【０１６１】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力されたＩピクチャの教師信号ＳＴ（Ｉ）の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１ＧＯＰ分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０１６２】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０１６３】
このように、図１０に示すフローチャートに沿って処理をすることで、図６に示す係数データ生成装置１５０と同様の手法によって、Ｉピクチャに係る各クラスの係数データＷｉを得ることができる。
【０１６４】
なお、詳細説明は省略するが、図７の係数データ生成装置１７０における処理も、上述した図６の係数データ生成装置１５０における処理と同様に、ソフトウェアで実現可能である。
【０１６５】
その場合、Ｉピクチャの教師信号ＳＴ（Ｉ）、生徒信号ＳＳ（Ｉ）の代わりに、Ｐピクチャの教師信号ＳＴ（Ｐ）、生徒信号ＳＳ（Ｐ）またはＢピクチャの教師信号ＳＴ（Ｂ）、生徒信号ＳＳ（Ｂ）が用いられる。また、クラスタップ、予測タップの画素データを得る際には、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の他に、この生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用された生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）も用いられる。これにより、ＰピクチャまたはＢピクチャに係る各クラスの係数データＷｉを得ることができる。
【０１６６】
なお、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル画像信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。符号化雑音軽減後の画像信号（第２の画像信号）をも用いて、第２の画像信号における注目位置の画素データを生成することで、第２の画像信号の品質の向上を図ることができ、符号化雑音を良好に軽減できる。
【０１６７】
また、上述の図１に示す画像信号処理部１１０の第２の処理部１２２では、ＭＰＥＧ２ストリームより抽出された動き補償用ベクトル情報ＭＩを用いて動き補償を行うものを示したが、画像信号Ｖａから動きベクトル情報を検出し、その検出された動き補償ベクトル情報を用いて動き補償を行うようにしてもよい。
【０１６８】
【発明の効果】
この発明によれば、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換して符号化雑音を軽減する際、第１の画像信号の他に、符号化雑音が軽減された第２の画像信号に基づいて第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データを生成するものであり、第２の画像信号の品質の向上を図ることができ、符号化雑音を良好に軽減できる。
【図面の簡単な説明】
【図１】実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】第１の処理部の構成を示すブロック図である。
【図４】第２の処理部の構成を示すブロック図である。
【図５】動き補償を説明するための図である。
【図６】係数データ生成装置の構成を示すブロック図である。
【図７】係数データ生成装置の構成を示すブロック図である。
【図８】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図９】画像信号処理を示すフローチャートである。
【図１０】係数データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８，１２３，１２５・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１の処理部、１２２・・・第２の処理部、１２４・・・並べ換え部、１３１，１４１・・・予測タップ選択回路、１３２，１４２・・・クラスタップ選択回路、１３３，１４３・・・クラス生成回路、１３４，１４４・・・係数メモリ、１３５，１４５・・・推定予測演算回路、１５０，１７０・・・係数データ生成装置、３００・・・画像信号処理装置
【図１】
2004140694.tif 000008
【図２】
2004140694.tif 000009
【図３】
2004140694.tif 000010
【図４】
2004140694.tif 000011
【図５】
2004140694.tif 000012
【図６】
2004140694.tif 000013
【図７】
2004140694.tif 000014
【図８】
2004140694.tif 000015
【図９】
2004140694.tif 000016
【図１０】
2004140694.tif 000017