(57)【要約】【課題】各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを、素早く、かつ精度よく検出する。【解決手段】選択回路２１で所定位置の周辺に位置する４個のマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして選択する。参照ブロック回路２３は、参照フレームから、所定位置を中心とした参照ブロックの画素データを読み出す。サーチブロック回路２４は、探索フレームから、探索範囲内の各候補ブロックに対応した画像データを順次読み出す。探索範囲は、所定位置に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲である。評価値算出回路２５は、参照ブロックと各候補ブロックとの間の差分絶対値和を評価値として求める。動きベクトル検出回路２６は、最小の評価値を与える候補ブロックの位置情報を、所定位置の動きベクトルＭＶとする。【選択図】        図１３
2004173013.tif 000002
【特許請求の範囲】
【請求項１】
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する動きベクトル検出装置であって、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする動きベクトル検出手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
上記第１のフレームの各ブロックの動きベクトルの度数分布を生成する度数分布生成手段をさらに備え、
上記候補ベクトル選択手段は、さらに、上記度数分布生成手段で生成された度数分布に基づいて、度数の高い方から所定数の動きベクトルを上位階層の候補ベクトルとして選択する
ことを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する動きベクトル検出方法であって、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する第１のステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記第１のステップで選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する第２のステップと、
上記第２のステップで検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする第３のステップと
を備えることを特徴とする動きベクトル検出方法。
【請求項４】
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出するために、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する第１のステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記第１のステップで選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する第２のステップと、
上記第２のステップで検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする第３のステップと
を備える動きベクトル検出方法をコンピュータに実行させるためのプログラム。
【請求項５】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する上記第１の画像信号の第１のフレームの、上記第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する動きベクトル検出部と、
上記第１の画像信号の上記第１のフレームおよび上記動きベクトル検出部で検出された動きベクトルによって動き補償が行われた上記第２の画像信号の上記第２のフレームに基づいて、上記第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記動きベクトル検出部は、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする動きベクトル検出手段とを有する
ことを特徴とする画像信号処理装置。
【請求項６】
上記画素データ生成手段は、
上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の第１の画素データを用いて、上記推定式に基づいて、上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有することを特徴とする請求項５に記載の画像信号処理装置。
【請求項７】
上記クラス検出手段は、少なくとも、
上記第１の画像信号の上記第１のフレームおよび上記動きベクトル検出部で検出された動きベクトルによって動き補償が行われた上記第２の画像信号の上記第２のフレームに基づいて選択された、上記第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第２の画素データを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出することを特徴とする請求項６に記載の画像信号処理装置。
【請求項８】
上記クラス検出手段は、少なくとも、
上記参照ブロックと最も相関の高い候補ブロックの探索範囲の基準位置からの位置情報または該最も相関の高い候補ブロックの相関情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する
ことを特徴とする請求項６に記載の画像信号処理装置。
【請求項９】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する上記第１の画像信号の第１のフレームの、上記第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する第１のステップと、上記第１の画像信号の上記第１のフレームおよび上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第２の画像信号の上記第２のフレームに基づいて、上記第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する第３のステップとを備え、
上記第１のステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
ことを特徴とする画像信号処理方法。
【請求項１０】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換するために、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する上記第１の画像信号の第１のフレームの、上記第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する第１のステップと、
上記第１の画像信号の上記第１のフレームおよび上記第１のステップで検出された動きベクトルによって動き補償が行われた上記第２の画像信号の上記第２のフレームに基づいて、上記第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する第３のステップとを備え、
上記第１のステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項１１】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応した教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る復号化手段と、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、上記教師信号における注目位置に対応した所定位置の動きベクトルを検出する動きベクトル検出部と、
上記生徒信号の上記第１のフレームおよび上記動きベクトル検出部で検出された動きベクトルによって動き補償が行われた上記教師信号の上記第２のフレームに基づいて、上記教師信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める演算手段とを備え、
上記動きベクトル検出部は、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする動きベクトル検出手段とを有する
ことを特徴とする係数データ生成装置。
【請求項１２】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応した教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、上記教師信号における注目位置に対応した所定位置の動きベクトルを検出する第２のステップと、
上記生徒信号の上記第１のフレームおよび上記第２のステップで検出された動きベクトルによって動き補償が行われた上記教師信号の上記第２のフレームに基づいて、上記教師信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第３のステップと、
上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第４のステップとを備え、
上記第２のステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
ことを特徴とする係数データ生成方法。
【請求項１３】
符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応した教師信号が符号化されて得られたデジタル画像信号を復号化して上記第１の画像信号に対応した生徒信号を得る第１のステップと、
複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、上記教師信号における注目位置に対応した所定位置の動きベクトルを検出する第２のステップと、
上記生徒信号の上記第１のフレームおよび上記第２のステップで検出された動きベクトルによって動き補償が行われた上記教師信号の上記第２のフレームに基づいて、上記教師信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第３のステップと、
上記第３のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第４のステップとを備え、
上記第２のステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
係数データ生成方法をコンピュータに実行させるためのプログラム。
【請求項１４】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
上記第２の画像信号の所定フレームにおける注目位置に係る、上記第１の画像信号の連続する複数フレームとの間の動きベクトルを検出する動きベクトル検出部と、
上記動きベクトル検出部で検出された複数の動きベクトルに基づいて動き補償が行われた上記第１の画像信号の連続する複数フレームに基づいて、上記第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の第１の画素データを用いて、上記第２の画像信号の所定フレームにおける注目位置の画素データを生成する画素データ生成手段とを備え、
上記第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記動きベクトル検出部は、
上記第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する上記第２の画像信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理部と、
上記第１の処理部で検出された動きベクトルを線形配分して上記第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理部とを有し、
上記第１の処理部は、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする動きベクトル検出手段とを有する
ことを特徴とする画像信号処理装置。
【請求項１５】
上記画素データ生成手段は、
上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記データ選択手段で選択された複数の第１の画素データを用いて、上記推定式に基づいて、上記第２の画像信号の所定フレームにおける注目位置の画素データを算出して得る演算手段とを有する
ことを特徴とする請求項１４に記載の画像信号処理装置。
【請求項１６】
上記クラス検出手段は、少なくとも、
上記動きベクトル検出部で検出された複数の動きベクトルに基づいて動き補償が行われた上記第１の画像信号の連続する複数フレームに基づいて選択された、上記第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第２の画素データを用いて、上記第２の画像信号の所定フレームにおける注目位置の画素データが属するクラスを検出する
ことを特徴とする請求項１５に記載の画像信号処理装置。
【請求項１７】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、
上記第２の画像信号の所定フレームにおける注目位置に対応した、上記第１の画像信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、
上記第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた上記第１の画像信号の連続する複数フレームに基づいて、上記第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号の所定フレームにおける注目位置の画素データを生成する第３のステップとを備え、
上記第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記第１のステップは、
上記第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する上記第２の画像信号に所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、
上記第１の処理ステップで検出された動きベクトルを線形配分して上記第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有し、
上記第１の処理ステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
ことを特徴とする画像信号処理方法。
【請求項１８】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換するために、
上記第２の画像信号の所定フレームにおける注目位置に対応した、上記第１の画像信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、
上記第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた上記第１の画像信号の連続する複数フレームに基づいて、上記第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の第１の画素データを用いて、上記第２の画像信号の所定フレームにおける注目位置の画素データを生成する第３のステップとを備え、
上記第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記第１のステップは、
上記第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する上記第２の画像信号に所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、
上記第１の処理ステップで検出された動きベクトルを線形配分して上記第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有し、
上記第１の処理ステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項１９】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、上記第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルを検出する動きベクトル検出部と、
上記動きベクトル検出部で検出された複数の動きベクトルに基づいて動き補償が行われた上記生徒信号の連続する複数フレームに基づいて、上記教師信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める演算手段とを備え、
上記生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記動きベクトル検出部は、
上記生徒信号の連続した複数フレームに関係する第１のフレームに存在する上記教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理部と、
上記第１の処理部で検出された動きベクトルを線形配分して上記教師信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理部とを有し、
上記第１の処理部は、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、
上記相関検出手段で検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとする動きベクトル検出手段とを有する
ことを特徴とする係数データ生成装置。
【請求項２０】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、上記第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、
上記第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた上記生徒信号の連続する複数フレームに基づいて、上記教師信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第３のステップとを備え、
上記生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記第１のステップは、
上記生徒信号の連続した複数フレームに関係する第１のフレームに存在する上記教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、
上記第１の処理ステップで検出された動きベクトルを線形配分して上記教師信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有し、
上記第１の処理ステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
ことを特徴とする係数データ生成方法。
【請求項２１】
複数の画素データからなる第１の画像信号を、該第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、上記第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、
上記第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた上記生徒信号の連続する複数フレームに基づいて、上記教師信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第２のステップと、
上記第２のステップで選択された複数の画素データおよび上記教師信号における注目位置の画素データを用いて上記係数データを求める第３のステップとを備え、
上記生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、
上記第１のステップは、
上記生徒信号の連続した複数フレームに関係する第１のフレームに存在する上記教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、
上記第１の処理ステップで検出された動きベクトルを線形配分して上記教師信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有し、
上記第１の処理ステップは、
上記所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、
上記第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの上記所定位置に対応した位置が上記選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、
上記検出された上記複数の候補ブロックに対応した相関情報に基き、上記参照ブロックと最も相関の高い候補ブロックの位置情報を、上記所定位置の動きベクトルとするステップとを有する
係数データ生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動きベクトルの検出装置および検出方法、それを使用した画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する際に、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択し、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出し、参照ブロックと最も相関の高い候補ブロックの位置情報を所定位置の動きベクトルとすることによって、所定位置の動きベクトルを素早く、かつ精度よく検出できるようにした動きベクトル検出装置等に係るものである。
【０００３】
また、この発明は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換して符号化雑音を軽減する際、第１の画像信号の他に、上述した動きベクトル検出装置等を用いて検出された動きベクトルにより動き補償された、符号化雑音軽減後の第２の画像信号に基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データを生成することによって、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００４】
また、この発明は、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際、上述した動きベクトル検出装置等を用いて検出された動きベクトルにより動き補償された、第１の画像信号の連続する複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号の所定フレームにおける注目位置の画素データを生成することによって、第２の画像信号の品質の向上を図るようにした画像信号処理装置等に係るものである。
【０００５】
【従来の技術】
画像信号の圧縮符号化方式として、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を用いたＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００６】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００７】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現されるという特長を有している。
【０００８】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Ｉｎｖｅｒｓｅ  ＤＣＴ）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００９】
【発明が解決しようとする課題】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【００１０】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状の雑音、いわゆるブロック雑音（ブロック歪み）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとした雑音、いわゆるモスキート雑音が発生する。
【００１１】
これらブロック雑音、モスキート雑音等の符号化雑音を、クラス分類適応処理によって除去することが考えられる。すなわち、符号化雑音を含む画像信号を第１の画像信号とし、符号化雑音が除去された画像信号を第２の画像信号とし、第２の画像信号における注目位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目位置の画素データを生成するものである。
【００１２】
この場合、第１の画像信号の第１のフレームの他に、符号化雑音が軽減された第２の画像信号の第２のフレームに基づいて、第２の画像信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択し、これら複数の画素データを用いて第２の画像信号における注目位置の画素データを生成し、第２の画像信号の品質の向上を図ることが考えられる。
【００１３】
この場合、第１のフレームの、第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出し、この動きベクトルによって第２の画像信号の第２のフレームの動き補償を行う必要がある。
【００１４】
この注目位置に対応した所定位置の動きベクトルを検出する際に、この所定位置が存在するマクロブロックに付加されている動き補償用ベクトルを利用し、この動き補償用ベクトルを上位階層の動きベクトルとして使用して階層的に動きベクトルを検出することが考えられる。
【００１５】
この場合、上位階層の画素データを生成する処理、この上位階層の画素データから上位階層の動きベクトルを検出する処理が不要となることから、動きベクトル検出の処理時間を短くできる。
【００１６】
しかし、動き補償用ベクトルは各マクロブロック毎に検出されて付加されたものである。そのため、あるマクロブロックの動き補償用ベクトルは、そのマクロブロック内に複数の動きベクトルが存在する場合、そのマクロブロック内の全ての画素位置に適合してはいない。所定位置によっては、この所定位置が存在するマクロブロックの動きベクトルより、それに隣接するマクロブロックの動きベクトルの方が、当該所定位置に適合したものとなる場合がある。
【００１７】
したがって、第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する際に、この所定位置が存在するマクロブロックに付加されている動き補償用ベクトルのみを上位階層の動きベクトルとして階層的に動きベクトルを検出した場合には、検出される動きベクトルの精度が低下し、その結果第２の画像信号の品質の向上が困難となる。
【００１８】
なお、第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する第２の画像信号に変換する場合にも、クラス分類適応処理を適用することが考えられる。この場合、第１の画像信号の連続する複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択し、これら複数の画素データを用いて第２の画像信号の所定フレームにおける注目位置の画素データを生成し、第２の画像信号の品質の向上を図ることが考えられる。
【００１９】
この場合、第２の画像信号の所定フレームにおける注目位置に係る、第１の画像信号の連続する複数フレームとの間の動きベクトルを検出し、この動きベクトルによって第１の画像信号の連続する複数フレームの動き補償を行う必要がある。この動きベクトルを上述したようにマクロブロックに付加されている動き補償用ベクトルを利用して検出する場合には、検出の処理時間を短くできるが、検出される動きベクトルの精度の低下、ひいては第２の画像信号の品質の劣化が問題となる。
【００２０】
この発明は、所定位置の動きベクトルを素早く、かつ精度よく検出できるようにすることにある。また、この発明の目的は、符号化されたデジタル画像信号を復号化することによって生成される第１の画像信号を第２の画像信号に変換して符号化雑音を軽減する際、第２の画像信号の品質の向上を図ることにある。また、この発明の目的は、第１の画像信号をこの第１の画像信号とは異なるフレーム数を有する第２の画像信号に変換する際、第２の画像信号の品質の向上を図ることにある。
【００２１】
【課題を解決するための手段】
この発明に係る動きベクトル検出装置は、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する動きベクトル検出装置であって、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、この相関検出手段で検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする動きベクトル検出手段とを備えるものである。
【００２２】
また、この発明に係る動きベクトル検出方法は、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する動きベクトル検出方法であって、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する第１のステップと、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が第１のステップで選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する第２のステップと、この第２のステップで検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする第３のステップとを備えるものである。
【００２３】
また、この発明に係るプログラムは、上述の動きベクトル検出方法をコンピュータに実行させるためのものである。
【００２４】
この発明においては、第１のフレームにおける所定位置の、第２のフレームとの間の動きベクトルを検出する。第１のフレームは複数のブロックに分割され、各ブロック毎に、第２のフレームとの間の動きベクトルを有している。
【００２５】
第１のフレームにおける所定位置の周辺に位置する複数のブロックの動きベクトルが、上位階層の動きベクトルとして選択される。ここで、所定位置の周辺に位置する複数のブロックには、この所定位置を含むブロックが含むものである。また、周辺は、空間方向（水平方向および垂直方向）および時間方向（フレーム方向）のいずれかまたは双方の周辺である。
【００２６】
第１のフレームの所定位置を中心とする参照ブロックが設定される。また、第２のフレームの所定位置に対応した位置が上述したように選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲を設定する。そして、参照ブロックと複数の探索範囲内の候補ブロックとの間の相関情報が検出される。
【００２７】
そして、相関検出手段で検出された複数の候補ブロックに対応した相関情報に基づいて、動きベクトルが検出される。この場合、参照ブロックと最も相関の高い候補ブロックの位置情報が所定値の動きベクトルとされる。
【００２８】
このように、ブロック毎に有する動きベクトルを上位階層の動きベクトルとして使用して、所定位置の動きベクトルを階層的に検出するものであり、動きベクトルを素早く検出できる。また、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用するものであり、所定位置の動きベクトルを精度よく検出できる。
【００２９】
なお、第１のフレームの各ブロックの動きベクトルの度数分布を生成する度数分布生成手段をさらに備え、動きベクトル選択手段は、さらに、度数分布生成手段で生成された度数分布に基づいて、度数の高い方から所定数の動きベクトルを上位階層の動きベクトルとして選択するようにしてもよい。
【００３０】
所定位置の周辺に位置する複数のブロックの動きベクトルに、所定位置に適合した動きベクトルが存在しないことも考えられる。その場合、上述したように度数分布に基づいて選択された動きベクトルの中に所定位置に適合した動きベクトルがある場合も想定される。したがって、上述したように度数分布に基づいて選択された動きベクトルを上位階層の動きベクトルに加えることで、所定位置の動きベクトルの検出精度をさらに高めることができる。
【００３１】
この発明に係る画像信号処理装置は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、上記第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する動きベクトル検出部と、第１の画像信号の第１のフレームおよび動きベクトル検出部で検出された動きベクトルによって動き補償が行われた第２の画像信号の第２のフレームに基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００３２】
そして、動きベクトル検出部は、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、この相関検出手段で検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする動きベクトル検出手段とを有するものである。
【００３３】
また、この発明に係る画像信号処理方法は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、第２の画像信号における注目位置に対応した所定位置の動きベクトルを検出する第１のステップと、第１の画像信号の第１のフレームおよび第１のステップで検出された動きベクトルによって動き補償が行われた第２の画像信号の第２のフレームに基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、この第２のステップで選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する第３のステップとを備えるものである。
【００３４】
そして、第１のステップは、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとするステップとを有するものである。
【００３５】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００３６】
この発明においては、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する。第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。例えば、デジタル画像信号は、ＭＰＥＧ方式の符号化が行われたものである。
【００３７】
第１の画像信号の第１のフレームは、複数のブロックに分割され、各ブロック毎に、第２のフレームとの間の動きベクトルを有している。この第１の画像信号の第１のフレームの、第２の画像信号における注目位置に対応した所定位置の動きベクトルが検出される。
【００３８】
この動きベクトルの検出は、上述した動きベクトル検出装置等により、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して、階層的に精度よく検出される。
【００３９】
第１の画像信号の第１のフレームおよび検出された動きベクトルによって動き補償された第２の画像信号の第２のフレームに基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。そして、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データが生成される。
【００４０】
このように複数の第１の画像データを用いて、第２の画像信号における注目位置の画素データを生成するものであり、第２の画像信号として符号化雑音が軽減されたものを得ることができる。
【００４１】
例えば、第２の画像信号における注目位置の画素データが属するクラスが検出される。そして、検出されたクラスに対応して発生された係数データおよび複数の第１の画素データを用いて、推定式に基づいて、第２の画像信号における注目位置の画素データが算出される。係数データとして、第１の画像信号に対応しこの第１の画像信号と同様の符号化雑音を含む生徒信号と第２の画像信号に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データを用いることで、第２の画像信号として第１の画像信号に比べて符号化雑音を軽減したものを得ることできる。
【００４２】
ここで、第１の画像信号の第１のフレームおよび検出された動きベクトルによって動き補償された第２の画像信号の第２のフレームに基づいて、第２の画像信号における注目位置に対応して時間方向および空間方向の周辺に位置する複数の第２の画素データが選択され、少なくともこの第２の画素データを用いて、第２の画像信号における注目位置の画素データが属するクラスが検出される。この場合、複数の第２の画素データは、第１の画像信号の他に符号化雑音が軽減された第２の画像信号からも選択されるものであり、クラス分類の精度を高めることができ、ひいては第２の画像信号の品質の向上を図ることができる。
【００４３】
また、少なくとも、所定位置の動きベクトルを検出する際に得られる、参照ブロックと最も相関の高い候補ブロックの探索範囲の基準位置からの位置情報またはこの最も相関の高い候補ブロックの相関情報を用いて、上記第２の画像信号における注目位置の画素データが属するクラスが検出される。第２の画像信号の第２のフレームを動き補償した動きベクトルに関連した情報を用いることで、的確なクラス分類を行うことができる。
【００４４】
また、所定位置の動きベクトルは、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して階層的に検出されるものであり、所定位置の動きベクトルが精度よく検出される。そして、複数の第１の画素データは、第１の画像信号の第１のフレームの他に、検出された動きベクトルで動き補償された符号化雑音軽減後の第２の画像信号の第２のフレームからも選択されるものである。
【００４５】
第２の画像信号に、上述のように検出された動き補償ベクトルによる動き補償が行われることで、時間方向に存在する第１フレーム、第２フレームから選択される複数の第１の画素データは相関が高いものとなる。したがって、この複数の第１の画素データを用いて生成される第２の画像信号における注目位置の画素データの品質の向上を図ることができる。
【００４６】
この発明に係る係数データ生成装置は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応した教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る復号化手段と、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、教師信号における注目位置に対応した所定位置の動きベクトルを検出する動きベクトル検出部と、生徒信号の第１のフレームおよび動きベクトル検出部で検出された動きベクトルによって動き補償が行われた教師信号の第２のフレームに基づいて、教師信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める演算手段とを備えるものである。
【００４７】
そして、動きベクトル検出部は、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、この相関検出手段で検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする動きベクトル検出手段とを有するものである。
【００４８】
また、この発明に係る係数データ生成方法は、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応した教師信号が符号化されて得られたデジタル画像信号を復号化して第１の画像信号に対応した生徒信号を得る第１のステップと、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームの、教師信号における注目位置に対応した所定位置の動きベクトルを検出する第２のステップと、生徒信号の第１のフレームおよび第２のステップで検出された動きベクトルによって動き補償が行われた教師信号の第２のフレームに基づいて、教師信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第３のステップと、この第３のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める第４のステップとを備えるものである。
【００４９】
そして、第２のステップは、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、この検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとするステップとを有するものである。
【００５０】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００５１】
この発明においては、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する。ここで、第１の画像信号は、符号化されたデジタル画像信号を復号化することによって生成されたものである。
【００５２】
第２の画像信号に対応する教師信号が符号化されて得られたデジタル画像信号がさらに復号化されて第１の画像信号に対応する生徒信号が得られる。
【００５３】
生徒信号の第１のフレームは、複数のブロックに分割され、各ブロック毎に、第２のフレームとの間の動きベクトルを有している。この生徒信号の第１のフレームの、教師信号における注目位置に対応した所定位置の動きベクトルが検出される。
【００５４】
この動きベクトルの検出は、上述した動きベクトル検出装置等により、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して、階層的に検出される。
【００５５】
生徒信号の第１のフレームおよび検出された動きベクトルで動き補償された教師信号の第２のフレームに基づいて、教師信号における注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。そして、この複数の画素データおよび教師信号における注目位置の画素データを用いて、係数データが求められる。
【００５６】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、その係数データが使用されて、推定式により、第２の画像信号における注目位置の画素データが算出される。
【００５７】
この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、第２の画像信号の所定フレームにおける注目位置に係る、第１の画像信号の連続する複数フレームとの間の動きベクトルを検出する動きベクトル検出部と、この動きベクトル検出部で検出された複数の動きベクトルに基づいて動き補償が行われた第１の画像信号の連続する複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の第１の画素データを用いて、第２の画像信号の所定フレームにおける注目位置の画素データを生成する画素データ生成手段とを備えるものである。
【００５８】
そして、第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、動きベクトル検出部は、第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する第２の画像信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理部と、この第１の処理部で検出された動きベクトルを線形配分して第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理部とを有するものである。
【００５９】
そして、第１の処理部は、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、この相関検出手段で検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする動きベクトル検出手段とを有するものである。
【００６０】
また、この発明に係る画像信号処理方法は、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する画像信号処理方法であって、第２の画像信号の所定フレームにおける注目位置に対応した、第１の画像信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、この第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた第１の画像信号の連続する複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択する第２のステップと、この第２のステップで選択された複数の第１の画素データを用いて、第２の画像信号の所定フレームにおける注目位置の画素データを生成する第３のステップとを備えるものである。
【００６１】
そして、第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、第１のステップは、第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する第２の画像信号に所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、この第１の処理ステップで検出された動きベクトルを線形配分して第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有するものである。
【００６２】
そして、第１の処理ステップは、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、この検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとするステップとを有するものである。
【００６３】
また、この発明に係るプログラムは、上述した画像信号処理方法をコンピュータに実行させるためのものである。
【００６４】
この発明においては、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する。第１の画像信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有している。
【００６５】
第２の画像信号の所定フレームにおける注目位置に係る、第１の画像信号の連続する複数フレームとの間の動きベクトルが検出される。
この場合、まず、第１の画像信号の連続した複数フレームに関係する第１のフレームに存在する第２の画像信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルが検出される。この動きベクトルの検出は、上述した動きベクトル検出装置等により、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して、階層的に検出される。そして、次に、この検出された動きベクトルが線形配分され、第２の画像信号の所定フレームの時間方向位置に対応した動きベクトルが得られる。
【００６６】
検出された複数の動きベクトルに基づいて動き補償が行われた第１の画像信号の連続した複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対応して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。そして、この複数の第１の画素データを用いて第２の画像信号の所定フレームにおける注目位置の画素データが生成される。
【００６７】
例えば、第２の画像信号における注目位置の画素データが属するクラスが検出される。そして、検出されたクラスに対応して発生された係数データおよび複数の第１の画素データを用いて、推定式に基づいて、第２の画像信号の所定フレームにおける注目位置の画素データが算出される。係数データとして、第１の画像信号に対応した生徒信号と第２の画像信号に対応した教師信号とを用いた学習によって得られた係数データが用いられる。
【００６８】
ここで、検出された動きベクトルによって動き補償された第１の画像信号の連続した複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対応して時間方向および空間方向の周辺に位置する複数の第２の画素データが選択され、少なくともこの第２の画素データを用いて、第２の画像信号の所定フレームにおける注目位置の画素データが属するクラスが検出される。この場合、複数の第２の画素データは、動き補償された第１の画像信号の連続した複数フレームから選択されるものであり、クラス分類の精度を高めることができ、ひいては第２の画像信号の品質の向上を図ることができる。
【００６９】
所定位置の動きベクトルの検出は、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して階層的に検出されるものであり、第２の画像信号の所定フレームにおける注目位置に係る、第１の画像信号の連続する複数フレームとの間の動きベクトルは精度よく検出される。
【００７０】
そして、複数の第１の画素データは、検出された動きベクトルで動き補償された第１の画像信号の連続した複数フレームから選択されるものである。これにより、第１の画像信号の連続した複数フレームから選択される複数の第１の画素データは相関が高いものとなる。したがって、この複数の第１の画素データを用いて生成される第２の画像信号の所定フレームにおける注目位置の画素データの品質の向上を図ることができる。
【００７１】
この発明に係る係数データ生成装置は、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルを検出する動きベクトル検出部と、この動きベクトル検出部で検出された複数の動きベクトルに基づいて動き補償が行われた生徒信号の連続する複数フレームに基づいて、教師信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択するデータ選択手段と、このデータ選択手段で選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める演算手段とを備えるものである。
【００７２】
そして、生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、動きベクトル検出部は、生徒信号の連続した複数フレームに関係する第１のフレームに存在する教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理部と、この第１の処理部で検出された動きベクトルを線形配分して教師信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理部とを有するものである。
【００７３】
そして、第１の処理部は、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択手段と、第１のフレームの上記所定位置を中心とする参照ブロックと上記第２のフレームの所定位置に対応した位置が動きベクトル選択手段で選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出する相関検出手段と、この相関検出手段で検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとする動きベクトル検出手段とを有するものである。
【００７４】
この発明に係る係数データ生成方法は、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルを検出する第１のステップと、この第１のステップで検出された複数の動きベクトルに基づいて動き補償が行われた生徒信号の連続する複数フレームに基づいて、教師信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データを選択する第２のステップと、この第２のステップで選択された複数の画素データおよび教師信号における注目位置の画素データを用いて係数データを求める第３のステップとを備えるものである。
【００７５】
そして、生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有し、第１のステップは、生徒信号の連続した複数フレームに関係する第１のフレームに存在する教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルを検出する第１の処理ステップと、この第１の処理ステップで検出された動きベクトルを線形配分して教師信号の所定フレームの時間方向位置に対応した動きベクトルを得る第２の処理ステップとを有するものである。
【００７６】
そして、第１の処理ステップは、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択するステップと、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出するステップと、この検出された複数の候補ブロックに対応した相関情報に基き、参照ブロックと最も相関の高い候補ブロックの位置情報を、所定位置の動きベクトルとするステップとを有するものである。
【００７７】
また、この発明に係るプログラムは、上述の係数データ生成方法をコンピュータに実行させるためのものである。
【００７８】
この発明においては、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する第２の画像信号に変換する際に使用される推定式の係数データを生成する。
【００７９】
第２の画像信号に対応した教師信号の所定フレームにおける注目位置に係る、第１の画像信号に対応した生徒信号の連続する複数フレームとの間の動きベクトルが検出される。
【００８０】
この場合、生徒信号の一部または全部のフレームは複数のブロックに分割され、各ブロック毎に他のフレームとの間の動きベクトルを有している。そして、まず、生徒信号の連続した複数フレームに関係する第１のフレームに存在する教師信号の所定フレームにおける注目位置に対応した所定位置の、第２のフレームとの間の動きベクトルが検出される。
【００８１】
この動きベクトルの検出は、上述した動きベクトル検出装置等により、所定位置が存在するブロックの動きベクトルだけでなく、このブロックの周辺のブロックの動きベクトルをも上位階層の動きベクトルとして使用して、階層的に検出される。そして、次に、この検出された動きベクトルが線形配分され、教師信号の所定フレームの時間方向位置に対応した動きベクトルが得られる。
【００８２】
検出された複数の動きベクトルに基づいて動き補償された生徒信号の連続する複数フレームに基づいて、教師信号の所定フレームにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データが選択される。そして、この複数の画素データおよび教師信号における注目位置の画素データを用いて、係数データが求められる。
【００８３】
上述したようにして第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データが生成されるが、第１の画像信号から第２の画像信号に変換する際には、その係数データが使用されて、推定式により、第２の画像信号の所定フレームにおける注目位置の画素データが算出される。
【００８４】
【発明の実施の形態】
以下、図面を参照しながら、この発明の第１の実施の形態について説明する。図１は、第１の実施の形態としてのデジタル放送受信機１００の構成を示している。
【００８５】
このデジタル放送受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００８６】
また、デジタル放送受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部１０６とを有している。
【００８７】
また、デジタル放送受信機１００は、このチューナ部１０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器１０７と、このＭＰＥＧ２復号化器１０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ１０８とを有している。
【００８８】
なお、本実施の形態において、ＭＰＥＧ２復号化器１０７からは、画像信号Ｖａを構成する各画素データの他に、ピクチャ情報ＰＩ，動き補償用ベクトルＭＩも出力される。バッファメモリ１０８には、各画素データと対にして情報ＰＩ，ＭＩも格納される。
【００８９】
ピクチャ情報ＰＩは、出力される画素データがＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）のいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトルＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際のリファレンスデータがどのように動き補償されたかを示す情報である。この動き補償用ベクトルＭＩは、周知のように、ＭＰＥＧ２符号化器で、マクロブロック毎に検出された動きベクトルである。
【００９０】
図２は、ＭＰＥＧ２復号化器１０７の構成を示している。
この復号化器１０７は、ＭＰＥＧ２ストリームが入力される入力端子７１と、この入力端子７１に入力されたＭＰＥＧ２ストリームを一時的に格納するストリームバッファ７２とを有している。
【００９１】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより周波数係数としてのＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を抽出する抽出回路７３と、この抽出回路７３で抽出された可変長符号化、例えばハフマン符号化されているＤＣＴ係数に対して可変長復号化を行う可変長復号化回路７４とを有している。
【００９２】
また、この復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより量子化特性指定情報ＱＩを抽出する抽出回路７５と、この量子化特性指定情報ＱＩに基づいて、可変長復号化回路７４より出力される量子化ＤＣＴ係数に対して逆量子化を行う逆量子化回路７６と、この逆量子化回路７６より出力されるＤＣＴ係数に対して逆ＤＣＴを行う逆ＤＣＴ回路７７とを有している。
【００９３】
また、復号化器１０７は、ＩピクチャおよびＰピクチャの画素データをメモリ（図示せず）に記憶すると共に、これらの画素データを用いて逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、対応するリファレンスデータＶｒｅｆを生成して出力する予測メモリ回路７８を有している。
【００９４】
また、復号化器１０７は、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、その残差データに予測メモリ回路７８で生成されたリファレンスデータＶｒｅｆを加算する加算回路７９と、この加算回路７９より出力される各ピクチャの画素データを画像信号Ｖａとして出力する出力端子８１とを有している。
【００９５】
なお、逆ＤＣＴ回路７７からＩピクチャの画素データが出力されるとき、予測メモリ回路７８から加算回路７９にリファレンスデータＶｒｅｆは供給されず、従って加算回路７９からは逆ＤＣＴ回路７７より出力されるＩピクチャの画素データがそのまま出力される。
【００９６】
ここで、ＭＰＥＧ方式の符号化では、従来周知のように、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化される。出力端子８１には、その符号化の順番で各ピクチャの画像信号Ｖａが出力される。
【００９７】
また、復号化器１０７は、ストリームバッファ７２に格納されているＭＰＥＧ２ストリームより符号化制御情報、すなわちピクチャ情報ＰＩおよび動き補償用ベクトルＭＩを抽出する抽出回路８２と、これらのピクチャ情報ＰＩおよび動き補償用ベクトルＭＩを出力する出力端子８３とを有している。
【００９８】
抽出回路８２で抽出される動き補償用ベクトルＭＩは予測メモリ回路７８に供給され、この予測メモリ回路７８ではこの動き補償用ベクトルＭＩを用いてリファレンスデータＶｒｅｆを生成する際に動き補償が行われる。抽出回路８２で抽出されるピクチャ情報ＰＩも予測メモリ回路７８に供給される。予測メモリ回路７８ではこのピクチャ情報ＰＩに基づいてピクチャの識別が行われる。
【００９９】
図２に示すＭＰＥＧ２復号化器１０７の動作を説明する。
ストリームバッファ７２に記憶されているＭＰＥＧ２ストリームが抽出回路７３に供給されて周波数係数としてのＤＣＴ係数が抽出される。このＤＣＴ係数は可変長符号化されており、このＤＣＴ係数は可変長復号化回路７４に供給されて復号化される。そして、この可変長復号化回路７４より出力される各ＤＣＴブロックの量子化ＤＣＴ係数が逆量子化回路７６に供給されて逆量子化が施される。
【０１００】
逆量子化回路７６より出力される各ＤＣＴブロックのＤＣＴ係数に対して逆ＤＣＴ回路７７で逆ＤＣＴが施されて各ピクチャのデータが得られる。この各ピクチャのデータは加算回路７９を介して出力端子８１に出力される。この場合、逆ＤＣＴ回路７７からＰピクチャまたはＢピクチャの残差データが出力されるとき、加算回路７９で予測メモリ回路７８より出力されるリファレンスデータＶｒｅｆが加算される。
【０１０１】
なお、出力端子８１より出力される画像信号Ｖａを構成する各画素データと対となって、出力端子８３にピクチャ情報ＰＩおよび動き補償用ベクトルＭＩが出力される。
【０１０２】
図１に戻って、また、デジタル放送受信機１００は、バッファメモリ１０８に記憶されている画像信号Ｖａを、ブロック雑音（ブロック歪み）やモスキート雑音などの符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ  ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）等の表示器で構成されている。
【０１０３】
図１に示すデジタル放送受信機１００の動作を説明する。
チューナ部１０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器１０７に供給されて復号化される。そして、この復号化器１０７より出力される画像信号Ｖａは、バッファメモリ１０８に供給されて一時的に格納される。この場合、復号器１０７からは、画像信号Ｖａの各画素データと対となって、動き補償用ベクトルＭＩおよびピクチャ情報ＰＩも出力される。これらピクチャ情報ＰＩおよび動き補償用ベクトルＭＩもバッファメモリ１０８に一時的に格納される。
【０１０４】
このようにバッファメモリ１０８に記憶されている画像信号Ｖａは画像信号処理部１１０に供給され、符号化雑音（符号化歪み）が低減された画像信号Ｖｂに変換される。この画像信号処理部１１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂを構成する画素データが得られる。この画像信号処理部１１０では、バッファメモリ１０８に格納されているピクチャ情報ＰＩおよび動き補償用ベクトルＭＩが用いられて変換処理が行われる。
【０１０５】
画像信号処理部１１０より出力される画像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【０１０６】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０８に記憶されている画像信号ＶａのうちＩピクチャの画像信号に対して変換処理を行う第１の処理部１２１と、バッファメモリ１０８に記憶されている画像信号ＶａのうちＰピクチャおよびＢピクチャに対して変換処理を行う第２の処理部１２２と、第１の処理部１２１で得られたＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２で得られたＰピクチャの画像信号Ｖｂ（Ｐ）を一時的に格納するバッファメモリ１２３とを有している。これら第１の処理部１２１および第２の処理部１２２の詳細を説明する図３は、第１の処理部１２１の構成を示している。この第１の処理部１２１は、予測タップ選択回路１３１およびクラスタップ選択回路１３２を有している。予測タップ選択回路１３１は、バッファメモリ１０８に格納されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。クラスタップ選択回路１３２は、バッファメモリ１０８に格納されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。
【０１０７】
予測タップおよびクラスタップの画素データは、それぞれＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する画素データである。
【０１０８】
また、第１の処理部１２１は、クラスタップ選択回路１３２で選択的に取り出されるクラスタップの画素データから空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路１３３を有している。このクラス生成回路１３３は、クラスタップの画素データに１ビットのＡＤＲＣ（Ａｄａｐｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｄｉｎｇ）等の処理を施すことによって、空間クラスを示すクラスコードＣＬ１を生成する。
【０１０９】
ＡＤＲＣは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットのＡＤＲＣの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣ処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ＶＱ（ベクトル量子化）等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
【０１１０】
また、第１の処理部１２１は、係数メモリ１３４を有している。この係数メモリ１３４は、後述する推定予測演算回路１３５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１１１】
この係数データＷｉは、画像信号Ｖａ（Ｉ）を画像信号Ｖｂ（Ｉ）に変換するための情報である。この係数メモリ１３４に格納される係数データＷｉは、予め画像信号Ｖａ（Ｉ）に対応した生徒信号と画像信号Ｖｂ（Ｉ）に対応した教師信号との間の学習によって生成される。この係数メモリ１３４には上述したクラス生成回路１３３で生成されるクラスコードＣＬ１が読み出しアドレス情報として供給される。この係数メモリ１３４からはクラスコードＣＬ１に対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１３５に供給される。係数データＷｉの生成方法については後述する。
【０１１２】
また、第１の処理部１２１は、予測タップ選択回路１３１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（１）式の推定式によって、作成すべき画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを演算する推定予測演算回路１３５を有している。
【０１１３】
【数１】
2004173013.tif 000003
【０１１４】
この第１の処理部１２１の動作を説明する。
バッファメモリ１０８に記憶されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、クラスタップ選択回路１３２で、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス生成回路１３３に供給される。このクラス生成回路１３３では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示すクラスコードＣＬ１が生成される。
【０１１５】
このクラスコードＣＬ１は、画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスの検出結果を表している。このクラスコードＣＬ１は、係数メモリ１３４に読み出しアドレス情報として供給される。この係数メモリ１３４からクラスコードＣＬ１に対応した係数データＷｉが読み出されて、推定予測演算回路１３５に供給される。
【０１１６】
また、バッファメモリ１０８に記憶されているＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、予測タップ選択回路１３１で、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。
【０１１７】
推定予測演算回路１３５では、予測タップの画素データｘｉと、係数メモリ１３４より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべきＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データｙが求められる。
【０１１８】
このように第１の処理部１２１では、Ｉピクチャの画像信号Ｖａ（Ｉ）から係数データＷｉを用いてＩピクチャの画像信号Ｖｂ（Ｉ）が得られる。この場合、画像信号Ｖａ（Ｉ）に基づいて選択された、画像信号Ｖｂ（Ｉ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスＣＬ１に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成するものである。
【０１１９】
したがって、係数データＷｉとして、画像信号Ｖａ（Ｉ）に対応しこの画像信号Ｖａ（Ｉ）と同様の符号化雑音を含む生徒信号と画像信号Ｖｂ（Ｉ）に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂ（Ｉ）として画像信号Ｖａ（Ｉ）に比べて符号化雑音が軽減されたものを得ることができる。
【０１２０】
図４は、第２の処理部１２２の構成を示している。この第２の処理部１２２は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１４１と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１４２とを有している。
【０１２１】
タップ選択回路１４１，１４２には、システムコントローラ１０１から、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対応した画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の画素データと対となっているピクチャ情報ＰＩと、後述する動きベクトル検出部１４３で検出された当該画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の画素データが位置する所定位置の動きベクトルＭＶとが、動作制御情報として供給される。予測タップおよびクラスタップの画素データは、それぞれ、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する画素データである。
【０１２２】
タップ選択回路１４１，１４２は、それぞれ、バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されている、そのピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、既に符号化雑音が軽減されたＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、複数の画素データを選択的に取り出す。
【０１２３】
ここで、タップ選択回路１４１，１４２は、動き補償用ベクトルＭＶに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償を行う。
【０１２４】
図５は、動き補償の一例を示している。この例は、Ｐピクチャの画像信号Ｖｂ（Ｐ）における注目位置に対して空間方向および時間方向の周辺に位置する画素データを取り出す場合であって、Ｐピクチャの画像信号Ｖａ（Ｐ）およびＩピクチャの画像信号Ｖｂ（Ｉ）が、画素データの選択対象である場合を示している。
【０１２５】
この場合、画像信号Ｖｂ（Ｉ）に対して、画像信号Ｖａ（Ｐ）を基準とした動き補償が行われる。ここで、図５に示すように、動きベクトルＭＶが（−２，＋１）であったとき、タップ選択回路は、画像信号Ｖａ（Ｐ）からｘ１〜ｘ１３の画素データを選択的に取り出し、画像信号Ｖｂ（Ｉ）から（−２，＋１）だけずれた位置にあるｘ１′〜ｘ１３′の画素データを選択的に取り出す。
【０１２６】
このように、予測タップ選択回路１４１においては、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の他に動き補償が行われた符号化雑音軽減後の画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）からも予測タップの画素データを選択的に取り出すものである。したがって、この予測タップの画素データを用いて後述するように生成される画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データの品質を高めることができる。
【０１２７】
また、クラスタップ選択回路１４２において、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の他に動き補償が行われた符号化雑音軽減後の画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）からもクラスタップの画素データを選択的に取り出すものである。したがって、上述したように予測タップ選択回路１４１で動き補償が行われて選択された予測タップの画素データに対応した時空間クラスを精度よく検出できる。
【０１２８】
また、第２の処理部１２２は、動きベクトル検出部１４３を有している。この動きベクトル検出部１４３は、バッファメモリ１０８よりシステムコントローラ１０１を介して供給される動き補償用ベクトルＭＩを用いて、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対応した画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の画素データが位置する所定位置（以下、「注目画素データ位置」という）の動きベクトルＭＶを検出する。
【０１２９】
この動きベクトル検出部１４３では、ブロックマッチング法により動きベクトルが検出される。これは、図６に示すように、探索フレームの候補ブロックを所定の探索範囲内で移動し、参照フレームの参照ブロックと最も合致している候補ブロックを検出することにより、動きベクトルを求めるものである。
【０１３０】
ブロックマッチング法では、図７Ａに示すように、１枚の画像、例えば水平Ｈ画素、垂直Ｖラインの１フレームの画像が図７Ｂに示すように、Ｐ画素×Ｑラインのブロックに細分化される。図７Ｂの例では、Ｐ＝５、Ｑ＝５の例である。ｃがブロックの中心画素位置である。
【０１３１】
図８Ａ〜Ｃは、ｃを中心画素とする参照ブロックとｃ´を中心とする候補ブロックの位置関係を示している。ｃを中心画素とする参照ブロックは、参照フレームの注目しているある参照ブロックであり、それと一致する探索フレームの候補ブロックが探索フレームにおいてｃ´を中心とするブロックの位置にあるものとしている。ブロックマッチング法では、探索範囲内において、参照ブロックと最も合致する候補ブロックを見出すことによって、動きベクトルを検出する。
【０１３２】
図８Ａの場合では、水平方向に＋１画素、垂直方向に＋１ライン、すなわち、（＋１，＋１）の動きベクトルが検出される。図８Ｂでは、（＋３，＋３）の動きベクトルＭＶが検出され、図８Ｃでは、（＋２，−１）の動きベクトルが検出される。動きベクトルは、参照フレームの参照ブロック毎に求められる。
【０１３３】
動きベクトルを探索する範囲を水平方向で±Ｓ画素、垂直方向で±Ｔラインとすると、参照ブロックは、その中心ｃに対して、水平に±Ｓ、垂直に±Ｔずれたところに中心ｃ´を有する候補ブロックと比較される必要がある。
【０１３４】
図９は、参照フレームのある参照ブロックの中心ｃの位置をＲとする時に、比較すべき探索フレームの（２Ｓ＋１）×（２Ｔ＋１）個の候補ブロックとの比較が必要なことを示している。すなわち、この図９のます目の位置にｃ´が存在する候補ブロックの全てが比較対象である。図９は、Ｓ＝４，Ｔ＝３とした例である。
【０１３５】
探索範囲内の比較で得られた評価値（すなわち、フレーム差の絶対値和、このフレーム差の二乗和、あるいはフレーム差の絶対値のｎ乗和等）の中で、最小値を検出することによって、動きベクトルが検出される。図９の探索範囲は、候補ブロックの中心が位置する領域であり、候補ブロックの全体が含まれる探索範囲の大きさは、（２Ｓ＋Ｐ）×（２Ｔ＋Ｑ）となる。
【０１３６】
また、動きベクトル検出部１４３では、上位階層および下位階層の２階層で動きベクトルＭＶを検出する。この場合、動きベクトル検出部１４３は、注目画素データ位置の周辺に位置する複数のマクロブロックの動き補償用ベクトルＭＩを、上位階層の動きベクトルとして用いる。ここで、注目画素データ位置の周辺に位置する複数のマクロブロックには、この注目画素データ位置を含むマクロブロックを含み、また周辺は空間方向（水平方向および垂直方向）および時間方向（フレーム方向）のいずれかまたは双方の周辺である。
【０１３７】
本実施の形態においては、例えば空間方向の周辺に位置する４個のマクロブロックの動きベクトルＭＩを上位階層の動きベクトルとして用いる。図１０は、注目画素データ位置を含むマクロブロックをＭＢ０とし、このマクロブロックＭＢ０に隣接する８個のマクロブロックをＭＢ１〜ＭＢ８としている。周知のように、マクロブロックの大きさは１６×１６画素であると共に、このマクロブロックは４個の４×４画素のブロックで構成されている。
【０１３８】
注目画素データ位置がａのブロックに含まれるとき、マクロブロックＭＢ０，ＭＢ１，ＭＢ２，ＭＢ８の動き補償用ベクトルＭＩが上位階層の動きベクトルとして選択される。同様に、注目画素データ位置がｂ，ｃ，ｄのブロックに含まれるとき、それぞれ［ＭＢ０，ＭＢ２，ＭＢ３，ＭＢ４］，［ＭＢ０，ＭＢ４，ＭＢ５，ＭＢ６］，［ＭＢ０，ＭＢ６，ＭＢ７，ＭＢ８］の動き補償用ベクトルＭＩが上位階層の動きベクトルとして選択される。
【０１３９】
このように、注目画素データ位置を含むマクロブロックＭＢ０の他にこのマクロブロックＭＢ０に隣接する３個のマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして選択するのは、マクロブロックＭＢ０に実際には複数の動きベクトルが存在する場合、注目画素データ位置によっては、マクロブロックＭＢ０の動き補償用ベクトルより、このマクロブロックＭＢ０に隣接するマクロブロックの動き補償用ベクトルの方が、当該注目画素データ位置に適合したものとなる場合があるからである。
【０１４０】
例えば、図１１に示すように、動き領域Ｍ１，Ｍ２が存在する場合（矢印は動き方向を示している）、マクロブロックＭＢ０内の注目画素データ位置がＱであるときには、マクロブロックＭＢ０の動き補償用ベクトルＭＩよりマクロブロックＭＢ１の動き補償用ベクトルＭＩの方が、当該注目画素データ位置に適合したものとなる。
【０１４１】
動きベクトル検出部１４３では、上述したように選択された上位階層の複数の動きベクトルを用いて、下位階層でブロックマッチング法による動きベクトル検出を行う。ブロックマッチングの評価関数は、参照フレームをＴで表し、探索フレームをＴ−１で表すと、（２）式で求められる。ただし、（ｕｎ，ｖｎ）は、下位階層ｎでの動きベクトル、（ｕｎ＋１，ｖｎ＋１）は上位階層での動きベクトルを示している。
【０１４２】
【数２】
2004173013.tif 000004
【０１４３】
この評価関数Ｅ（Ｙ）ｎで得られる相関情報としての評価値の最小を与える（ｕｎ，ｖｎ）を、下位階層の動きベクトルＶ０とする。最終的な動きベクトルＭＶは、（３）式により求められる。ここで、Ｖ１は、評価値の最小が得られた際に使用された上位階層の動きベクトルである。
ＭＶ＝Ｖ０＋Ｖ１                  ・・・（３）
【０１４４】
図１２のフローチャートは、動きベクトルＭＶの検出処理の手順を示している。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、Ｎ＝１に設定する。そして、ステップＳＴ３で、上述したように上位階層の動きベクトルとして選択された複数の動きベクトルＭＩのうち、Ｎ番目の動きベクトルＭＩを上位階層の動きベクトルとして、下位階層の探索を開始する。
【０１４５】
この場合、ＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の注目画素データ位置が存在するフレームが参照フレームとされ、そのピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）のフレームが探索フレームとされる。
【０１４６】
そして、参照フレーム（Ｔフレーム）に、注目画素データ位置に対応した画素データを中心とした参照ブロックを設定し、探索フレーム（Ｔ−１フレーム）の探索範囲内での探索を開始する。ここで、探索フレームは、上位階層の動きベクトルによって動き補償されている。つまり、探索フレームの探索範囲は、注目位置（注目画素データ位置）に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲とされる。
【０１４７】
次に、ステップＳＴ４で、探索範囲内での全ての探索が終了したか否かを判定する。探索が終了していないときは、ステップＳＴ５に進み、画素データを用いて、（２）式に基づいて、評価関数Ｅ（Ｙ）ｎによる相関情報としての評価値を求め、ステップＳＴ４に戻る。一方、探索が終了したときは、ステップＳＴ６に進む。
【０１４８】
ステップＳＴ６では、Ｎ＝Ｎｍａｘであるか否かを判定する。Ｎｍａｘは、上位階層の動きベクトルとして選択された複数の動きベクトルの個数を示している。本実施の形態においては、Ｎｍａｘ＝４である。Ｎ＝Ｎｍａｘでないときは、ステップＳＴ７でＮをインクリメントし、その後にステップＳＴ３に戻って、次の上位階層の動きベクトルを用いて、下位階層の探索を行う。一方、Ｎ＝Ｎｍａｘであるときは、ステップＳＴ８に進む。
【０１４９】
ステップＳＴ８では、相関情報としての評価値より動きベクトルＶ０を決定する。つまり、最小の評価値を与える（ｕｎ，ｖｎ）を動きベクトルＶ０とする。そして、ステップＳＴ９で、（３）式に基づいて、下位階層の動きベクトルＶ０に、それに対応する上位階層の動きベクトルＶ１を加算して最終的な動きベクトルＭＶを算出する。この場合、参照ブロックと最も相関の高い候補ブロックの位置情報を、注目画素データ位置の動きベクトルＭＶとしたことになる。ステップＳＴ９の処理の後に、ステップＳＴ１０で、処理を終了する。
【０１５０】
図１３は、動きベクトル検出部１４３の構成を示している。
動きベクトル検出部１４３は、注目画素データ位置の周辺に位置する４個のマクロブロックの動き補償用ベクトルＭＩを、上位階層の動きベクトルとして選択する動きベクトル選択回路２１と、この選択回路２１で選択された４個の動きベクトルＭＩ１〜ＭＩ４を蓄積しておくための動きベクトル蓄積部２２とを有している。動きベクトル選択回路２１には、注目画素データ位置の位置情報が、動作制御情報として供給される。
【０１５１】
また、動きベクトル検出部１４３は、バッファメモリ１０８（図８参照）に格納されている参照フレームから、注目画素データ位置を中心とした参照ブロックの画素データを選択的に読み出す参照ブロック回路２３と、バッファメモリ１０８に格納されている探索フレームから、探索範囲内の各候補ブロックに対応した画像データを順次読み出すサーチブロック回路２４とを有している。
【０１５２】
ここで、参照フレームは、ＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の注目画素データ位置が存在するフレームである。また、探索フレームは、そのそのピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）のフレームである。
【０１５３】
ここで、探索フレームの探索範囲は、注目画素データ位置に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲とされる。サーチブロック回路２４は、上位階層の動きベクトルとして、動きベクトル蓄積部２２に蓄積された４個の動きベクトルＭＩ１〜ＭＩ４を順次使用していく。そして、サーチブロック回路２４は、各上位階層の動きベクトルにより決定された探索範囲で、それぞれ複数の候補ブロックの画素データを順次読み出す。
【０１５４】
また、動きベクトル検出部１４３は、参照ブロック回路２３からの参照ブロックの画素データと、サーチブロック回路２４からの各候補ブロックの画像データとを用いて、上述した（２）式の評価関数Ｅ（Ｙ）ｎに基づいて、各候補ブロックの評価値を求める評価値算出回路２５を有している。ここで、評価値は参照ブロックと候補ブロックとの相関の度合いを示す相関情報であり、評価値算出回路２５は相関検出手段を構成している。
【０１５５】
なお、サーチブロック回路２４から評価値算出回路２５には、候補ブロックの画素データと共に、その候補ブロックが存在する探索範囲を決定した上位階層の動きベクトルも供給される。評価値算出回路２５は、算出した各候補ブロックの評価値を、上位階層の動きベクトル別に評価値メモリに記憶する。
【０１５６】
また、動きベクトル検出部１４３は、動きベクトル検出回路２６を有している。この動きベクトル検出回路２６は、評価値算出回路２５で算出された各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕｎ、ｖｎ）を、下位階層の動きベクトルＶ０とする。そして、最終的な動きベクトルＭＶを、上述した（３）式により求める。
【０１５７】
つまり、下位階層の動きベクトルＶ０に上位階層の動きベクトルＶ１を加算して、動きベクトルＭＶとする。この動きベクトルＶ１は、評価値の最小が得られた候補ブロックが存在する探索範囲を決定した上位階層の動きベクトルである。上述したように各候補ブロックの評価値は上位階層の動きベクトル別に評価値メモリに記憶されるので、この動きベクトルＶ１の情報は評価値メモリにおける最小の評価値の記憶位置情報から容易に得ることができる。
【０１５８】
この動きベクトル検出回路２６は、動きベクトルＭＶの他に、下位階層の動きベクトルＶ０および最小の評価値ＥＹｍｉｎも出力する。動きベクトルＭＶは、上述したように、予測タップおよびクラスタップの画素データを選択する際の動き補償に使用されるが、動きベクトルＶ０および評価値ＥＹｍｉｎは後述するようにクラス分類のために使用される。
【０１５９】
図１４は、評価値算出回路２５の構成を示している。
参照ブロックメモリ４１には、参照ブロック回路２３（図１３参照）で選択的に読み出された参照ブロックの画素データが格納される。候補ブロックメモリ４２には、サーチブロック回路２４（図１３参照）で選択的に読み出された候補ブロックの画素データが格納される。
【０１６０】
参照ブロックメモリ４１および候補ブロックメモリ４２の内容が、メモリコントローラ４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４およびレジスタ４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８およびレジスタ４９で累積加算される。この累積加算結果は、当該候補ブロックの評価値となる。
【０１６１】
評価値メモリコントローラ５１には、また、当該候補ブロックが存在する探索範囲を決定した上位階層の動きベクトルＭＩ１〜ＭＩ４も供給される。評価値メモリ５０には、上位階層の動きベクトルＭＩ１〜ＭＩ４でそれぞれ決定される探索範囲内の各候補ブロックの評価値が、上位階層の動きベクトル別に、下位階層の動きベクトル（ｕｎ，ｖｎ）（（２）式参照）の順に記憶される。
【０１６２】
この場合、ある候補ブロックの評価値は、その候補ブロックの下位階層の動きベクトル（ｕｎ，ｖｎ）を下位アドレスとし、その候補ブロックの上位階層の動きベクトル（ｕｎ＋１，ｖｎ＋１）に対応した上位アドレスを持つ、評価値メモリ５０のアドレスに記憶される。
【０１６３】
図１５は、動きベクトル検出回路２６の構成を示している。
評価値メモリ５０から、評価値メモリコントローラ５１の制御によって、上述したアドレス（上位アドレスおよび下位アドレスからなる）の順に、評価値が読み出される。この場合、評価値メモリコントローラ５１からは、下位アドレスである下位階層の動きベクトル（ｕｎ，ｖｎ）と、この下位階層の動きベクトルおよび上位アドレスに対応した上位階層の動きベクトル（ｕｎ＋１，ｖｎ＋１）を加算した動きベクトル（ｕ，ｖ）とが出力される。
【０１６４】
評価値メモリ５０から読み出された評価値は、比較器６１およびレジスタ６２に供給される。また、評価値メモリコントローラ５１より出力される動きベクトル（ｕ，ｖ）および下位階層の動きベクトル（ｕｎ，ｖｎ）は、それぞれレジスタ６３およびレジスタ６４に供給される。
【０１６５】
比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち評価値メモリ５０より読み出された評価値が小さいとき、レジスタ６２〜６４の内容を更新する信号を出力する。レジスタ６２には、最終的に最小の評価値ＥＹｍｉｎが保持される。また、レジスタ６３には、最小の評価値ＥＹｍｉｎを与える候補ブロックに対応した動きベクトル（ｕ，ｖ）が、動きベクトルＭＶとして保持される。さらに、レジスタ６４には、最小の評価値ＥＹｍｉｎを与える候補ブロックに対応した下位階層の動きベクトル（ｕｎ，ｖｎ）が、動きベクトルＶ０として保持される。
【０１６６】
図１３に示す動きベクトル検出部１４３の動作を説明する。
動きベクトル選択回路２１は、注目画素データ位置の位置情報に基づいて、注目画素データ位置の周辺に位置する４個のマクロブロックの動き補償用ベクトルＭＩを、上位階層の動きベクトルとして選択する。このように選択された４個の動きベクトルＭＩ１〜ＭＩ４は動きベクトル蓄積部２２に供給されて蓄積される。
【０１６７】
参照ブロック回路２３は、バッファメモリ１０８（図８参照）に格納されている参照フレームから、注目画素データ位置を中心とした参照ブロックの画素データを選択的に読み出す。
【０１６８】
また、サーチブロック回路２４は、バッファメモリ１０８に格納されている探索フレームから、探索範囲内の各候補ブロックに対応した画像データを順次読み出す。この場合、探索フレームの探索範囲は、注目画素データ位置に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲である。サーチブロック回路２４は、上位階層の動きベクトルとして動きベクトル蓄積部２２に蓄積された４個の動きベクトルＭＩ１〜ＭＩ４を順次使用し、各上位階層の動きベクトルにより決定された探索範囲でそれぞれ複数の候補ブロックの画素データを順次読み出す。
【０１６９】
参照ブロック回路２３で読み出された参照ブロックの画素データと、サーチブロック回路２４で読み出された各候補ブロックの画像データは評価値算出回路２５に供給される。評価値算出回路２５は、上述した（２）式の評価関数Ｅ（Ｙ）ｎに基づいて、各候補ブロックの評価値を求める。算出された各候補ブロックの評価値は、上位階層の動きベクトル別に、評価値メモリ５０（図１４参照）に記憶される。
【０１７０】
動きベクトル検出回路２６は、評価値算出回路２５で算出された各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロック、すなわち参照ブロックと最も相関の高い候補ブロックに対応した動きベクトル（ｕｎ、ｖｎ）を、下位階層の動きベクトルＶ０とする。そして、この下位階層の動きベクトルＶ０に、その候補ブロックの上位階層の動きベクトルＶ１を加算してなる動きベクトル（ｕ，ｖ）を、最終的な動きベクトルＭＶとして出力する。なお、動きベクトル検出回路２６は、動きベクトルＭＶを出力する他に、動きベクトルＶ０および評価値ＥＹｍｉｎも出力する。
【０１７１】
このように、動きベクトル検出部１４３では、マクロブロック毎に有する動き補償用ベクトルＭＩを上位階層の動きベクトルとして使用して、注目画素データ位置の動きベクトルＭＶを階層的に検出するものであり、動きベクトルＭＶを素早く検出できる。また、動きベクトル検出部１４３では、注目画素データ位置が存在するマクロブロックの動き補償用ベクトルＭＩだけでなく、そのマクロブロックの周辺のマクロブロックの動き補償用ベクトルＭＩをも上位階層の動きベクトルとして使用するものであり、注目画素データ位置の動きベクトルＭＶを精度よく検出できる。
【０１７２】
なお、図１３に示す動きベクトル検出部１４３においては、バッファメモリ１０８に格納されている画像信号Ｖａから参照フレームおよび探索フレームの双方を取得するものであるが、その画像信号Ｖａから参照フレームを取得すると共にバッファメモリ１２３に格納されている画像信号Ｖｂから探索フレームを取得するようにしてもよい。
【０１７３】
また、図１３に示す動きベクトル検出部１４３においては、注目画素データ位置の周辺に位置するマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして選択するものであるが、さらに注目画素データ位置を含むフレームの各マクロブロックの動き補償用ベクトルＭＩの度数分布を生成し、度数の高い方から所定数の動きベクトルも上位階層の動きベクトルとして選択するようにしてもよい。
【０１７４】
図１６は、その場合における動きベクトル検出部１４３の要部を示している。その場合、動きベクトル検出部１４３は、注目画素データ位置を含むフレームの各マクロブロックの動き補償用ベクトルＭＩの度数分布を生成する度数分布生成回路２７と、その度数分布に基づいて、度数の高い方から所定数の動きベクトルを上位階層の動きベクトルとして選択する動きベクトル選択回路２８を備えることになる。そして、選択回路２８で選択された所定数の動きベクトルＭＩａ〜ＭＩｎは動きベクトル蓄積部２２に供給されて蓄積され、動きベクトル選択回路２１で選択されたＭＩ１〜ＭＩ４と同様に使用される。
【０１７５】
注目画素データ位置の周辺に位置する複数のマクロブロックの動き補償用ベクトルＭＩに、注目画素データ位置に適合した動きベクトルが存在しないことも考えられる。その場合、上述したように度数分布に基づいて選択された動きベクトルの中に注目画素データ位置に適合した動きベクトルがある場合も想定される。したがって、上述したように度数分布に基づいて選択された動き補償用ベクトルＭＩを上位階層の動きベクトルに加えることで、注目画素データ位置の動きベクトルＭＶの検出精度をさらに高めることができる。
【０１７６】
図４に戻って、また、第２の処理部１２２は、クラス生成回路１４４，１４５を有している。クラス生成回路１４４は、クラスタップ選択回路１４２で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬａを生成する。このクラス生成回路１４４は、上述した第１の処理部１２１（図３参照）のクラス生成回路１３３と同様に、クラスタップの画素データに１ビットのＡＤＲＣ等の処理を施すことによって、時空間クラスを示すクラスコードＣＬａを生成する。
【０１７７】
クラス生成回路１４５は、動きベクトル検出部１４３から出力される、注目画素データ位置の動きベクトルＭＶに関連した動きベクトルＶ０および評価値ＥＹｍｉｎをそれぞれ閾値判定して、動き関連クラスを示すクラスコードＣＬｂを生成する。
【０１７８】
また、第２の処理部１２２は、クラス生成回路１４４，１４５で生成されるクラスコードＣＬａ，ＣＬｂを統合して１個のクラスコードＣＬ２とするクラス統合回路１４６を有している。このクラスコードＣＬ２は、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスを示すものとなる。
【０１７９】
また、第２の処理部１２２は、係数メモリ１４７を有している。この係数メモリ１４７は、後述する推定予測演算回路１４８で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。
【０１８０】
この係数メモリ１４７には、Ｐピクチャの画像信号Ｖａ（Ｐ）をＰピクチャの画像信号Ｖｂ（Ｐ）に変換するためのＰピクチャ用の係数データＷｉと、Ｂピクチャの画像信号Ｖａ（Ｂ）をＢピクチャの画像信号Ｖｂ（Ｂ）に変換するためのＢピクチャ用の係数データＷｉとが別個のアドレスに格納されている。この係数メモリ１４７には、システムコントローラ１０１から、ピクチャ情報ＰＩが読み出し制御情報として供給される。
【０１８１】
この係数メモリ１４７に格納される係数データＷｉは、予め画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に対応した生徒信号と画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）に対応した教師信号との間の学習によって生成される。この係数メモリ１４７には上述したクラス統合回路１４６で得られたクラスコードＣＬ２が読み出しアドレス情報として供給される。この係数メモリ１４７からはクラスコードＣＬ２に対応した推定式の係数データＷｉが読み出されて、推定予測演算回路１４８に供給される。係数データＷｉの生成方法については後述する。
【０１８２】
また、第２の処理部１２２は、予測タップ選択回路１４１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１４７より読み出される係数データＷｉとから、上述の（１）式の推定式によって、作成すべき画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを演算する推定予測演算回路１４８を有している。
【０１８３】
この第２の処理部１２２の動作を説明する。
バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されているその画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、クラスタップ選択回路１４２で、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。
【０１８４】
この場合、動きベクトル検出部１４３で検出された注目画素データ位置の動きベクトルＭＶに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償が行われる。なお、注目画素データ位置とは、上述したように、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対応した画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）の画素データが位置する所定位置をいう。
【０１８５】
クラスタップ選択回路１４２で取り出されるクラスタップの画素データはクラス生成回路１４４に供給される。このクラス生成回路１４４は、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬａを生成する。
【０１８６】
動きベクトル検出部１４３より出力される、動きベクトルＭＶに関連した動きベクトルＶ０および評価値ＥＹｍｉｎはクラス生成回路１４５に供給される。このクラス生成回路１４５は、動きベクトルＶ０および評価値ＥＹｍｉｎをそれぞれ閾値判定して、動き関連クラスを示すクラスコードＣＬｂを生成する。
【０１８７】
そして、クラス生成回路１４４，１４５で生成されるクラスコードＣＬａ，ＣＬｂはクラス統合回路１４６で統合され、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスを示す、１個のクラスコードＣＬ２が得られる。このクラスコードＣＬ２は、係数メモリ１４７に読み出しアドレス情報として供給される。
【０１８８】
この係数メモリ１４７からクラスコードＣＬ２に対応した係数データＷｉが読み出されて、推定予測演算回路１４８に供給される。この場合、ピクチャ情報ＰＩに基づいて、Ｐピクチャの画像信号Ｖｂ（Ｐ）を作成する場合にはＰピクチャ用の係数データＷｉが読み出され、Ｂピクチャの画像信号Ｖｂ（Ｂ）を作成する場合にはＢピクチャ用の係数データＷｉが読み出される。
【０１８９】
また、バッファメモリ１０８に格納されているＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）、およびバッファメモリ１２３に格納されているその画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの画像信号Ｖａ（Ｉ），Ｖａ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に基づいて、予測タップ選択回路１４１で、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトル検出部１４３で検出された注目画素データ位置の動きベクトルＭＶに基づき、画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）に対して、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償が行われる。
【０１９０】
推定予測演算回路１４５では、予測タップの画素データｘｉと、係数メモリ１４７より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべきＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｉ）における注目位置の画素データｙが求められる。
【０１９１】
このように第２の処理部１２２では、ＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から、係数データＷｉを用いて、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）が得られる。この場合、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびＶｂ（Ｉ）、Ｖｂ（Ｐ）に基づいて選択された、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスＣＬ２に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを生成するものである。
【０１９２】
したがって、係数データＷｉとして、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に対応しこの画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）と同様の符号化雑音を含む生徒信号と画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）に対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）として画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に比べて符号化雑音が軽減されたものを得ることができる。
【０１９３】
また、予測タップの画素データは、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から選択される他に、動きベクトル検出部１４３で精度よく検出された注目画素データ位置の動きベクトルＭＶにより動き補償された、符号化雑音軽減後の画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択されるものであり、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質の向上を図ることができ、それに含まれる符号化雑音を良好に軽減できる。
【０１９４】
また、クラスタップの画素データは、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から選択される他に、動きベクトル検出部１４３で精度よく検出された注目画素データ位置の動きベクトルＭＶにより動き補償された、符号化雑音軽減後の画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択されるものであり、クラス生成回路１４４で生成されるクラスコードＣＬａは、予測タップ選択回路１４１で動き補償が行われて選択された予測タップの画素データに対応した時空間クラスを精度よく示すものとなる。したがって、クラス分類の精度を高めることができ、ひいては画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質の向上を図ることができる。
【０１９５】
また、動きベクトル検出部１４３より出力される、動きベクトルＭＶに関連した下位階層の動きベクトルＶ０および最小の評価値ＥＹｍｉｎを用いて、動き関連クラスを示すクラスコードＣＬｂが生成される。そして、ＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスを示すクラスコードＣＬ２として、このクラスコードＣＬｂを統合したものが使用される。このようにクラス分類情報として、符号化雑音軽減後の画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）を動き補償する動きベクトルＭＶに関連した情報を用いているので、的確なクラス分類を行うことができ、ひいては画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質の向上を図ることができる。
【０１９６】
図１に戻って、また、画像信号処理部１１０は、第１の処理部１２１より出力されるＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２より出力されるＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、実際のフレーム／フィールドの順番に並べ換え、画像信号Ｖｂとして出力する並べ換え部１２４を有している。並べ換え部１２４は、バッファメモリ１２５を利用して並べ換え処理を行う。
【０１９７】
画像信号処理部１１０の動作を説明する。
バッファメモリ１０８に格納されている画像信号ＶａのうちＩピクチャの画像信号Ｖａ（Ｉ）は第１の処理部１２１に供給される。第１の処理部１２１は、このＩピクチャの画像信号Ｖａ（Ｉ）から、係数データＷｉを用いて、符号化雑音を軽減したＩピクチャの画像信号Ｖｂ（Ｉ）を生成する。
【０１９８】
この場合、画像信号Ｖａ（Ｉ）に基づいて選択された、画像信号Ｖｂ（Ｉ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスＣＬ１に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成する。
【０１９９】
第１の処理部１２１で生成されたＩピクチャの画像信号Ｖｂ（Ｉ）は、並べ換え部１２４に供給されると共に、バッファメモリ１２３に供給されて一時的に格納される。このようにバッファメモリ１２３に格納されたＩピクチャの画像信号Ｖｂ（Ｉ）は、第２の処理部１２２で、Ｐピクチャの画像信号Ｖｂ（Ｐ）およびＢピクチャの画像信号Ｖｂ（Ｂ）を生成する際に用いられる。
【０２００】
また、バッファメモリ１０８に格納されている画像信号ＶａのうちＰピクチャまたはＢピクチャの画像信号Ｖａ（Ｐ）／Ｖａ（Ｉ）は第２の処理部１２２に供給される。第２の処理部１２２は、この画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびバッファメモリ１２３に格納されているＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ）から、係数データＷｉを用いて、符号化雑音を軽減したＰピクチャまたはＢピクチャの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）を生成する。
【０２０１】
この場合、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）およびＶｂ（Ｉ）、Ｖｂ（Ｐ）に基づいて選択された、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データが属するクラスＣＬ２に対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データｙを生成する。
【０２０２】
第２の処理部１２２で生成されたＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）は、並べ換え部１２４に供給される。また、第２の処理部１２２で生成されたＰピクチャの画像信号Ｖｂ（Ｐ）は、バッファメモリ１２３に供給されて一時的に格納される。このようにバッファメモリ１２３に格納されたＰピクチャの画像信号Ｖｂ（Ｐ）は、第２の処理部１２２で、Ｂピクチャの画像信号Ｖｂ（Ｂ）を生成する際に用いられる。
【０２０３】
並べ換え部１２４は、第１の処理部１２１より出力されるＩピクチャの画像信号Ｖｂ（Ｉ）および第２の処理部１２２より出力されるＰピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、符号化の順番から実際のフレーム／フィールドの順番に並べ換え、画像信号Ｖｂとして順次出力する。
【０２０４】
このように画像信号処理部１１０では、画像信号Ｖａから係数データＷｉを用いて画像信号Ｖｂが得られる。したがって、係数データＷｉとして、画像信号Ｖａに対応しこの画像信号Ｖａと同様の符号化雑音を含む生徒信号と画像信号Ｖｂに対応した符号化雑音を含まない教師信号とを用いた学習によって得られた係数データＷｉを用いることで、画像信号Ｖｂとして画像信号Ｖａに比べて符号化雑音が軽減されたものを得ることができる。
【０２０５】
また、Ｐピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る際に、第２の処理部１２２では、予測タップの画素データを画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）から選択する他に、符号化雑音が軽減された画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択するものである。したがって、Ｐピクチャ、Ｂピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）の品質の向上を図ることができ、それらに含まれる符号化雑音を良好に軽減できる。
【０２０６】
また、第２の処理部１２２では、画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）に対して画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）を基準とした動き補償を行って予測タップの画素データを選択的に取り出すものである。したがって、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）における注目位置の画素データを生成するための予測タップの画素データは相関が高いものとなり、画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）の品質を高めることができる。
【０２０７】
次に、第１の処理部１２１（図３参照）の係数メモリ１３４、第２の処理部１２２（図４参照）の係数メモリ１４７に記憶される係数データＷｉの生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【０２０８】
まず、この学習方法について説明する。上述の、（１）式において、学習前は係数データＷ１  ，Ｗ２，‥‥，Ｗｎ  は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（４）式が設定される。ｎは予測タップの数を示している。
ｙｋ  ＝Ｗ１  ×ｘｋ１＋Ｗ２  ×ｘｋ２＋‥‥＋Ｗｎ  ×ｘｋｎ    ・・・（４）
（ｋ＝１，２，‥‥，ｍ）
【０２０９】
ｍ＞ｎの場合、係数データＷ１  ，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（５）で定義して、（６）式のｅ２を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅｋ＝ｙｋ−｛Ｗ１×ｘｋ１＋Ｗ２×ｘｋ２＋‥‥＋Ｗｎ×ｘｋｎ｝  ・・・（５）
（ｋ＝１，２，‥‥ｍ）
【０２１０】
【数３】
2004173013.tif 000005
【０２１１】
（６）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（７）式に示すように、ｅ２を係数データＷｉ（ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０２１２】
【数４】
2004173013.tif 000006
【０２１３】
（７）式から係数データＷｉを求める具体的な手順について説明する。（８）式、（９）式のようにＸｊｉ，Ｙｉ  を定義すると、（７）式は、（１０）式の行列式の形に書くことができる。
【０２１４】
【数５】
2004173013.tif 000007
【０２１５】
【数６】
2004173013.tif 000008
【０２１６】
（１０）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【０２１７】
図１７は、第１の処理部１２１の係数メモリ１３４に格納すべき係数データＷｉを生成する係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１５１と、この教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１５２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１５３とを有している。ここで、ＭＰＥＧ２復号化器１５３は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０２１８】
また、係数データ生成装置１５０は、復号化器１５３より出力されるＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１５４と、同様に、復号化器１５３より出力されるＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１５４とを有している。これらのタップ選択回路１５４，１５５は、第１の処理部１２１のタップ選択回路１３１，１３２と同様に構成される。予測タップおよびクラスタップの画素データは、それぞれ、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向（水平方向、垂直方向）の周辺に位置する画素データである。
【０２１９】
また、係数データ生成装置１５０は、クラスタップ選択回路１５４で選択的に取り出されるクラスタップの画素データから空間クラスを示すクラスコードＣＬ１を生成するクラス生成回路１５６を有している。このクラス生成回路１５６は、第１の処理部１２１のクラス生成回路１３３と同様に構成される。
【０２２０】
また、係数データ生成装置１５０は、入力端子１５１に供給される教師信号ＳＴの時間調整を行うための遅延回路１５７と、この遅延回路１５７で時間調整されたＩピクチャの教師信号ＳＴ（Ｉ）より得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１５６で生成されるクラスコードＣＬ１とから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（１０）式参照）を生成する正規方程式生成部１５８を有している。
【０２２１】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴ（Ｉ）と生徒信号ＳＳ（Ｉ）との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０２２２】
また、係数データ生成装置１５０は、正規方程式生成部１５８で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１５９と、この求められた各クラスの係数データＷｉを格納する係数メモリ１６０とを有している。
【０２２３】
次に、図１７に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、そしてＭＰＥＧ２符号化器１５２で、この教師信号ＳＴに対して符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１５３に供給される。ＭＰＥＧ２復号化器１５３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０２２４】
復号化器１５３で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、クラスタップ選択回路１５５で、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス生成回路１５６に供給される。このクラス生成回路１５６では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、空間クラスを示すクラスコードＣＬ１が生成される。
【０２２５】
また、復号化器１５３で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、予測タップ選択回路１５４で、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する予測タップの画素データが選択的に取り出される。
【０２２６】
そして、遅延回路１５７で時間調整された教師信号ＳＴ（Ｉ）から得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１５４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路１５６で生成されるクラスコードＣＬ１とを用いて、正規方程式生成部１５８では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１０）式参照）が生成される。この正規方程式は係数データ決定部１５９で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１６０に格納される。
【０２２７】
このように、図１７に示す係数データ生成装置１５０においては、第１の処理部１２１の係数メモリ１３４に格納される各クラスの係数データＷｉを生成することができる。
【０２２８】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、第１の処理部１２１において、画像信号Ｖａ（Ｉ）からこの係数データＷｉを用いて得られる画像信号Ｖｂ（Ｉ）は、画像信号Ｖａ（Ｉ）に比べて符号化雑音が軽減されたものとなる。
【０２２９】
図１８は、第２の処理部１２２の係数メモリ１４７に格納すべき係数データＷｉを生成する係数データ生成装置１７０の構成を示している。
この係数データ生成装置１７０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子１７１と、この教師信号ＳＴを一時的に格納するバッファメモリ１７２とを有している。
【０２３０】
また、係数データ生成装置１７０は、バッファメモリ１７２に一時的に格納さた教師信号ＳＴに対して符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器１７３と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器１７４とを有している。ここで、ＭＰＥＧ２復号化器１７４は、図１に示すデジタル放送受信機１００におけるＭＰＥＧ２復号化器１０７およびバッファメモリ１０８に対応したものである。
【０２３１】
また、係数データ生成装置１７０は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路１７５と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路１７６とを有している。これらのタップ選択回路１７５，１７６は、上述した第２の処理部１２２のタップ選択回路１４１，１４２と同様に構成される。
【０２３２】
タップ選択回路１７５，１７６には、復号化器１７４から、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対応した生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の画素データと対となっているピクチャ情報ＰＩと、後述する動きベクトル検出部１７７で検出された当該生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の画素データが位置する所定位置（以下、「注目画素データ位置」という）の動きベクトルＭＶとが、動作制御情報として供給される。予測タップおよびクラスタップの画素データは、それぞれ、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する画素データである。
【０２３３】
タップ選択回路１７５，１７６は、それぞれ、復号化器１７４で得られるＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、複数の画素データを選択的に取り出す。ここで、タップ選択回路１７５，１７６は、上述した動きベクトルＭＶに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償を行う。
【０２３４】
また、係数データ生成装置１７０は、上述した動きベクトルＭＶを検出する動きベクトル検出部１７７を有している。この動きベクトル検出部１７７には、復号化器１７４から生徒信号ＳＳが供給される。この動きベクトル検出部１７７は、上述した第２の処理部１２２の動きベクトル検出部１４３と同様に構成される。この動きベクトル検出部１７７は、注目画素データ位置の動きベクトルＭＶを検出する。
【０２３５】
この動きベクトル検出部１７７は、動きベクトルＭＶの他に、下位階層の動きベクトルＶ０および最小の評価値ＥＹｍｉｎも出力する。動きベクトルＭＶは、上述したように、予測タップおよびクラスタップの画素データを選択する際の動き補償に使用されるが、動きベクトルＶ０および評価値ＥＹｍｉｎは後述するようにクラス分類のために使用される。
【０２３６】
また、係数データ生成装置１７０は、クラス生成回路１７８，１７９を有している。クラス生成回路１７８は、クラスタップ選択回路１７６で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬ２を生成する。このクラス生成回路１７８は、第２の処理部１２２のクラス生成回路１４４と同様に構成される。
【０２３７】
クラス生成回路１７９は、動きベクトル検出部１７７から出力される、注目画素データ位置の動きベクトルＭＶに関連した動きベクトルＶ０および評価値ＥＹｍｉｎをそれぞれ閾値判定して、動き関連クラスを示すクラスコードＣＬｂを生成する。このクラス生成回路１７８は、第２の処理部１２２のクラス生成回路１４５と同様に構成される。
【０２３８】
また、係数データ生成装置１７０は、クラス生成回路１７８，１７９で生成されるクラスコードＣＬａ，ＣＬｂを統合して１個のクラスコードＣＬ２とするクラス統合回路１８０を有している。このクラスコードＣＬ２は、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置の画素データが属するクラスを示すものとなる。
【０２３９】
また、係数データ生成装置１７０は、バッファメモリ１７２より読み出される教師信号ＳＴの時間調整を行うための遅延回路１８１と、この遅延回路１８１で時間調整されたＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）より得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１７５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス統合回路１８０で得られたクラスコードＣＬ２とから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（１０）式参照）を生成する正規方程式生成部１８２を有している。
【０２４０】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）と生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１８２では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０２４１】
また、係数データ生成装置１７０は、正規方程式生成部１８２で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部１８３と、この求められた各クラスの係数データＷｉを格納する係数メモリ１８４とを有している。
【０２４２】
次に、図１８に示す係数データ生成装置１７０の動作を説明する。
入力端子１７１には画像信号Ｖｂに対応した教師信号ＳＴが供給され、この教師信号ＳＴはバッファメモリ１７２に一時的に格納される。そして、このようにバッファメモリ１７２に一時的に格納された教師信号ＳＴに対して、ＭＰＥＧ２符号化器１７３で符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器１７４に供給される。ＭＰＥＧ２復号化器１７４で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０２４３】
予測タップ選択回路１７５およびクラスタップ選択回路１７６には、教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）の注目位置に対応した生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の画素データと対となっているピクチャ情報ＰＩが復号化器１７４より供給されると共に、動きベクトル検出部１７７で検出された注目画素データ位置の動きベクトルＭＶが供給される。
【０２４４】
復号化器１７４で生成されたＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、クラスタップ選択回路１７６で、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置するクラスタップの画素データが選択的に取り出される。この場合、動きベクトルＭＶに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償が行われる。
【０２４５】
クラスタップ選択回路１７６で選択的に取り出されたクラスタップの画素データはクラス生成回路１７８に供給される。このクラス生成回路１７８では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬａが生成される。
【０２４６】
また、動きベクトル検出部１７７より出力される、動きベクトルＭＶに関連した動きベクトルＶ０および評価値ＥＹｍｉｎはクラス生成回路１７９に供給される。このクラス生成回路１７９では、動きベクトルＶ０および評価値ＥＹｍｉｎそれぞれ閾値判定されて、動き関連クラスを示すクラスコードＣＬｂを生成される。
【０２４７】
そして、クラス生成回路１７８，１７９で生成されるクラスコードＣＬａ，ＣＬｂはクラス統合回路１８０で統合され、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置の画素データが属するクラスを示す、１個のクラスコードＣＬ２が得られる。
【０２４８】
また、復号化器１７４で生成されたＰピクチャまたはＢピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）、およびバッファメモリ１７２に格納されている、そのピクチャの生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用されたＩピクチャ、Ｐピクチャの生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した、Ｉピクチャ、Ｐピクチャの教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に基づいて、予測タップ選択回路１７５で、ＰピクチャまたはＢピクチャの教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）における注目位置に対して空間方向および時間方向の周辺に位置する予測タップの画素データが選択的に取り出される。この場合、動きベクトルＭＶに基づき、教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）に対して、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を基準とした動き補償が行われる。
【０２４９】
そして、遅延回路１８１で時間調整された教師信号ＳＴ（Ｐ）／ＳＴ（Ｂ）から得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路１７５で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス統合回路１８０で得られるクラスコードＣＬ２とを用いて、正規方程式生成部１８２では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１０）式参照）が生成される。この正規方程式は係数データ決定部１８３で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ１８４に格納される。
【０２５０】
このように、図１８に示す係数データ生成装置１７０においては、第２の処理部１２２の係数メモリ１４７に格納される各クラスの係数データＷｉを生成することができる。
【０２５１】
生徒信号ＳＳは、教師信号ＳＴに対して符号化を施してＭＰＥＧ２ストリームを生成し、その後このＭＰＥＧ２ストリームに対して復号化を施して得たものである。したがって、この生徒信号ＳＳは、画像信号Ｖａと同様の符号化雑音を含んだものとなる。そのため、第２の処理部１２２において、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）等からこの係数データＷｉを用いて得られる画像信号Ｖｂ（Ｐ）／Ｖｂ（Ｂ）は、画像信号Ｖａ（Ｐ）／Ｖａ（Ｂ）に比べて符号化雑音が軽減されたものとなる。
【０２５２】
なお、図１の画像信号処理部１１０における処理を、例えば図１９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２５３】
まず、図８に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の制御プログラムや係数データ等が格納されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２５４】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２５５】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２５６】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２５７】
また、画像信号処理装置３００は、画像信号Ｖａを入力するための入力端子３１４と、画像信号Ｖｂを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２５８】
ここで、上述したようにＲＯＭ３０２に制御プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら制御プログラムや係数データ等をフロッピー（登録商標）ディスク３０６で提供するようにしてもよい。
【０２５９】
また、処理すべき画像信号Ｖａを入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２６０】
図２０のフローチャートを参照して、図１９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０２６１】
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、例えば入力端子３１４より装置内に１ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの画素データと対となっている動き補償用ベクトルＭＩおよびピクチャ情報ＰＩも入力する。
【０２６２】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０２６３】
そして、ステップＳＴ２３で、画像信号Ｖａの全てのＧＯＰの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ２４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ２５に進む。
【０２６４】
このステップＳＴ２５では、ステップＳＴ２２で入力されたＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を選択的に取り出し、このクラスタップの画素データを用いてＩピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データが属するクラスを示すクラスコードＣＬ１を生成する。
【０２６５】
次に、ステップＳＴ２６で、ステップＳＴ２２で入力されたＩピクチャの画像信号Ｖａ（Ｉ）に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。そして、ステップＳＴ２７で、ステップＳＴ２５で生成されたクラスコードＣＬ１に対応した係数データＷｉとステップＳＴ２６で取得された予測タップの画素データｘｉを使用して、上述した（１）式の推定式に基づいて、Ｉピクチャの画像信号Ｖｂ（Ｉ）における注目位置の画素データｙを生成する。このように生成される画像データからなるＩピクチャの画像信号Ｖｂ（Ｉ）は、ＲＡＭ３０３に一時的に格納される。
【０２６６】
そして、ステップＳＴ２８で、Ｉピクチャの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２５に戻って、次の注目位置についての処理に移る。一方処理が終了しているときは、ステップＳＴ２９に進み、ＰピクチャおよびＢピクチャの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る処理に移る。
【０２６７】
これらの画像信号Ｖｂ（Ｐ），Ｖｂ（Ｂ）を得る処理は、上述したＩピクチャの画像信号Ｖｂ（Ｉ）を得るステップＳＴ２５〜ステップＳＴ２８までの処理と同様に行われる。
【０２６８】
ただし、予測タップおよびクラスタップの画素データは、ステップＳＴ２２で入力されたＰピクチャ、Ｂピクチャの画像信号Ｖａ（Ｐ），Ｖａ（Ｂ）の他に、生成されたＩピクチャ、Ｐピクチャの画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）からも選択的に取り出される。
【０２６９】
また、マクロブロック毎の動き補償用ベクトルＭＩが上位階層の動きベクトルとして使用され、注目画素データ位置の動きベクトルＭＶが階層的に検出される。そして、画像信号Ｖａ（Ｐ），Ｖａ（Ｂ）を基準として、画像信号Ｖｂ（Ｉ）、Ｖｂ（Ｐ）に対して、動きベクトルＭＶに基づいて動き補償が行われる。
【０２７０】
ステップＳＴ２９で、所定のＰピクチャまたはＢピクチャの処理が終了したとき、ステップＳＴ３０で、処理すべき次のピクチャがあるか否かを判定する。次のピクチャがあるときは、ステップＳＴ２９に戻って、そのピクチャの画像信号を得る処理に移る。一方、処理すべき次のピクチャがないときは、ステップＳＴ３１に進む。
【０２７１】
ステップＳＴ３１では、生成された１ＧＯＰ分の画像信号Ｖｂ（Ｉ），Ｖｂ（Ｐ），Ｖｂ（Ｂ）を、符号化の順番から、実際のフレーム／フィールドの順番に並べ換えて、出力端子３１５に出力する。そして、その後、ステップＳＴ２２に戻って、次の１ＧＯＰ分の画像信号Ｖａの入力処理に移る。
【０２７２】
このように、図２０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。上述したように、このように処理して得られた画像信号Ｖｂは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２７３】
また、処理装置の図示は省略するが、図１７の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０２７４】
図２１のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、教師信号ＳＴを１ＧＯＰ分だけ入力する。そして、ステップＳＴ３３で、教師信号ＳＴの全てのＧＯＰの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。
【０２７５】
次に、ステップＳＴ３５で、ステップＳＴ３４で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を選択的に取り出し、このクラスタップの画素データを用いてＩピクチャの教師信号ＳＴ（Ｉ）における注目位置の画素データが属するクラスを示すクラスコードＣＬ１を生成する。
【０２７６】
次に、ステップＳＴ３６で、ステップＳＴ３４で生成されたＩピクチャの生徒信号ＳＳ（Ｉ）に基づいて、Ｉピクチャの教師信号ＳＴ（Ｉ）における注目位置に対して空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０２７７】
そして、ステップＳＴ３７で、ステップＳＴ３５で生成されたクラスコードＣＬ１、ステップＳＴ３６で取得された予測タップの画素データｘｉおよび教師信号ＳＴ（Ｉ）における注目位置の画素データｙを用いて、クラス毎に、（１０）式に示す正規方程式を得るための加算をする（（８）式、（９）式参照）。
【０２７８】
次に、ステップＳＴ３８で、ステップＳＴ３２で入力されたＩピクチャの教師信号ＳＴ（Ｉ）の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１ＧＯＰ分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、次の注目位置についての処理に移る。
【０２７９】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ３９で、上述のステップＳＴ３７の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ４０で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ４１で、処理を終了する。
【０２８０】
このように、図２１に示すフローチャートに沿って処理をすることで、図１７に示す係数データ生成装置１５０と同様の手法によって、Ｉピクチャに係る各クラスの係数データＷｉを得ることができる。
【０２８１】
なお、詳細説明は省略するが、図１８の係数データ生成装置１７０における処理も、上述した図１７の係数データ生成装置１５０における処理と同様に、ソフトウェアで実現可能である。
【０２８２】
その場合、Ｉピクチャの教師信号ＳＴ（Ｉ）、生徒信号ＳＳ（Ｉ）の代わりに、Ｐピクチャの教師信号ＳＴ（Ｐ）、生徒信号ＳＳ（Ｐ）またはＢピクチャの教師信号ＳＴ（Ｂ）、生徒信号ＳＳ（Ｂ）が用いられる。また、クラスタップ、予測タップの画素データを得る際には、生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）の他に、この生徒信号ＳＳ（Ｐ）／ＳＳ（Ｂ）を得る際に使用された生徒信号ＳＳ（Ｉ），ＳＳ（Ｐ）に対応した教師信号ＳＴ（Ｉ），ＳＴ（Ｐ）も用いられる。これにより、ＰピクチャまたはＢピクチャに係る各クラスの係数データＷｉを得ることができる。
【０２８３】
また、マクロブロック毎の動き補償用ベクトルＭＩが上位階層の動きベクトルとして使用され、注目画素データ位置の動きベクトルＭＶが階層的に検出される。そして、生徒信号ＳＳ（Ｐ），ＳＳ（Ｂ）を基準として、教師信号ＳＴ（Ｉ）、ＳＴ（Ｐ）に対して、動きベクトルＭＶに基づいて動き補償が行われる。
【０２８４】
次に、この発明の第２の実施の形態について説明する。図２２は、第２の実施の形態としてのデジタル放送受信機５００の構成を示している。
このデジタル放送受信機５００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ５０１と、リモートコントロール信号ＲＭを受信するリモコン信号受信回路５０２とを有している。リモコン信号受信回路５０２は、システムコントローラ５０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ５０１に供給するように構成されている。
【０２８５】
また、デジタル放送受信機５００は、受信アンテナ５０５と、この受信アンテナ５０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、復調処理および誤り訂正処理等を行って、所定番組に係る符号化された画像信号としてのＭＰＥＧ２ストリームを得るチューナ部５０６とを有している。
【０２８６】
また、デジタル放送受信機５００は、このチューナ部５０６より出力されるＭＰＥＧ２ストリームを復号化して画像信号Ｖａを得るＭＰＥＧ２復号化器５０７と、このＭＰＥＧ２復号化器５０７より出力される画像信号Ｖａを一時的に格納するバッファメモリ５０８とを有している。
【０２８７】
なお、本実施の形態において、ＭＰＥＧ２復号化器５０７からは、画像信号Ｖａを構成する各画素データの他に、ピクチャ情報ＰＩ，動き補償用ベクトルＭＩも出力される。バッファメモリ５０８には、各画素データと対にしてピクチャ情報ＰＩおよび動き補償ベクトルＭＩも格納される。
【０２８８】
ピクチャ情報ＰＩは、出力される画素データがＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれのピクチャに係るものであったかを示す情報である。動き補償用ベクトルＭＩは、出力される画素データがＰピクチャ、Ｂピクチャに係るものである場合、その画素データを復号する際のリファレンスデータがどのように動き補償されたかを示す情報である。この動き補償用ベクトルＭＩは、周知のように、ＭＰＥＧ２符号化器で、マクロブロック毎に検出された動きベクトルである。
【０２８９】
ＭＰＥＧ２復号化器５０７は、上述した図１に示すデジタル放送受信機１００のＭＰＥＧ２復号化器１０７と同様に構成されている（図２参照）。この復号化器５０７からは、符号化の順番で各ピクチャの画像信号Ｖａが出力される。本実施の形態においては、上述したバッファメモリ５０８から画像信号Ｖａを読み出す際に、各ピクチャの画像信号が符号化の順番から実際のフレーム／フィールドの順番に並べ直される。
【０２９０】
因みに、ＭＰＥＧ方式の符号化では、従来周知のように、実際のフレーム／フィールドの順番とは異なる順番で符号化が行われている。すなわち、Ｉピクチャ、Ｐピクチャの画像信号が先に符号化され、それらの間に挟まれたＢピクチャの画像信号はその後に符号化されている。
【０２９１】
また、デジタル放送受信機５００は、バッファメモリ５０８に記憶されている画像信号Ｖａを、この画像信号Ｖａとは異なるフレーム数を有する画像信号Ｖｂに変換する画像信号処理部５１０と、この画像信号処理部５１０より出力される画像信号Ｖｂによる画像を表示するディスプレイ部５１１とを有している。ディスプレイ部５１１は、例えばＣＲＴディスプレイ、あるいはＬＣＤ等の表示器で構成されている。
【０２９２】
本実施の形態においては、画像信号Ｖａに対して、画像信号Ｖｂは５倍のフレーム数を有するものとされる。例えば、画像信号Ｖａのフレーム構成が図２３Ａに示すようであるとき、画像信号Ｖｂのフレーム構成は図２３Ｂに示すようになる。この場合、画像信号Ｖｂは、画像信号Ｖａの各ピクチャのフレーム間にフレームｆ１〜ｆ４が挿入された構成となっている。なお、ｆＩ，ｆＰ，ｆＢは、それぞれＩピクチャ、Ｐピクチャ、Ｂピクチャのフレームを示している。
【０２９３】
図２２に示すデジタル放送受信機５００の動作を説明する。
チューナ部５０６より出力されるＭＰＥＧ２ストリームはＭＰＥＧ２復号化器５０７に供給されて復号化される。そして、この復号化器５０７より出力される画像信号Ｖａは、バッファメモリ５０８に供給されて一時的に格納される。この場合、復号器５０７からは、画像信号Ｖａの各画素データと対となって、ピクチャ情報ＰＩおよび動き補償用ベクトルＭＩが出力される。これらもバッファメモリ５０８に一時的に格納される。
【０２９４】
このようにバッファメモリ５０８に一時的に格納された画像信号Ｖａは画像信号処理部５１０に供給され、フレーム数が５倍とされた画像信号Ｖｂに変換される。この画像信号処理部５１０では、画像信号Ｖａを構成する画素データから、画像信号Ｖｂのフレームｆ１〜ｆ４を構成する画素データが生成される。この画像信号処理部５１０では、バッファメモリ５０８に格納されているピクチャ情報ＰＩおよび動き補償用ベクトルＭＩが用いられて、後述するように変換処理が行われる。
【０２９５】
画像信号処理部５１０より出力される画像信号Ｖｂはディスプレイ部５１１に供給され、このディスプレイ部５１１の画面上にはその画像信号Ｖｂによる画像が表示される。
【０２９６】
次に、画像信号処理部５１０の詳細を説明する。
画像信号処理部５１０は、画像信号Ｖｂのフレームｆ１〜ｆ４を得るための画像信号生成部５２１と、バッファメモリ５０８に格納されている各ピクチャのフレームｆＩ，ｆＰ，ｆＢおよび画像信号生成部５２１で生成されたフレームｆ１〜ｆ４とを選択的に取り出して画像信号Ｖｂを得る出力選択回路５２２とを有している。
【０２９７】
画像信号生成部５２１について説明する。この画像信号生成部５２１では、画像信号Ｖａの連続した複数フレーム、本実施の形態においては連続した３フレームに基づいて、フレームｆ１〜ｆ４を生成する。
【０２９８】
この場合、フレームｆ１，ｆ２は、当該フレームｆ１，ｆ２に対して時間方向位置が前にある２つのフレームと、当該フレームｆ１，ｆ２に対して時間方向位置が後にある１つのフレームとを用いて生成される。一方、フレームｆ３，ｆ４は、当該フレームｆ３，ｆ４に対して時間方向位置が前にある１つのフレームと、当該フレームｆ３，ｆ４に対して時間方向位置が後にある２つのフレームとを用いて生成される。
【０２９９】
ただし、ＩピクチャのフレームｆＩとＢピクチャのフレームｆＢとの間のフレームｆ１，ｆ２に関しては、当該フレームｆ１，ｆ２に対して時間方向位置が前にある１つのフレームと、当該フレームｆ３，ｆ４に対して時間方向位置が後にある２つのフレームとを用いて生成される。
【０３００】
またこの場合、所定フレームにおける注目位置の画素データを生成する場合、その注目位置の、３つのフレームとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３を検出し、これらの動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づき、所定フレームを基準として３つのフレームの動き補償を行って、フレームｆ１〜ｆ４の品質の向上を図る。
【０３０１】
例えば、２つのＢピクチャのフレームｆＢ，ｆＢの間のフレームｆ１における注目位置の画素データを生成する場合、図２４Ａに示すように、ＩピクチャのフレームｆＩとの間の動きベクトルＭＶ１と、１番目のＢピクチャのフレームｆＢとの間の動きベクトルＭＶ２と、２番目のＢピクチャのフレームｆＢとの間の動きベクトルＭＶ３とを検出する。
【０３０２】
また例えば、２つのＢピクチャのフレームｆＢ，ｆＢの間のフレームｆ３における注目位置の画素データを生成する場合、図２４Ｂに示すように、１番目のＢピクチャのフレームｆＢとの間の動きベクトルＭＶ１と、２番目のＢピクチャのフレームｆＢとの間の動きベクトルＭＶ２と、ＰピクチャのフレームｆＰとの間の動きベクトルＭＶ３とを検出する。
【０３０３】
また、動きベクトルＭＶ１〜ＭＶ３を検出する際には、３つのフレームに関係する第１のフレームに存在する注目位置に対応した所定位置の、第２のフレームとの間の動きベクトル（以下、「利用動きベクトル」という）ＭＶ′を検出し、この利用動きベクトルＭＶ′を線形配分して動きベクトルＭＶ１〜ＭＶ３を求める。
【０３０４】
例えば、図２４Ａに示す動きベクトルＭＶ１〜ＭＶ３を検出する際には、図２５Ａに示すように、１番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢに存在する所定位置の、第２のフレームであるＩピクチャのフレームｆＩとの間の動きベクトルＭＶＩと、１番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢに存在する所定位置の、第２のフレームであるＰピクチャのフレームｆＰとの間の動きベクトルＭＶＰを検出する。
【０３０５】
そして、動きベクトルＭＶＩをそれぞれ６／５倍、１／５倍して、動きベクトルＭＶ１，ＭＶ２を求める。また、動きベクトルＭＶＰを２／５倍して動きベクトルＭＶ３を求める。なお、このように動きベクトルＭＶＩ，ＭＶＰを線形配分して動きベクトルＭＶ１〜ＭＶ３を求める場合、１画素以下の部分は四捨五入する。
【０３０６】
また例えば、図２４Ｂに示す動きベクトルＭＶ１〜ＭＶ３を検出する際には、図２５Ｂに示すように、２番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢに存在する所定位置の、第２のフレームであるＩピクチャのフレームｆＩとの間の動きベクトルＭＶＩと、２番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢに存在する所定位置の、第２のフレームであるＰピクチャのフレームｆＰとの間の動きベクトルＭＶＰを検出する。
【０３０７】
そして、動きベクトルＭＶＩを３／１０倍して動きベクトルＭＶ１を求める。また、動きベクトルＭＶＰをそれぞれ２／５倍、７／５倍して動きベクトルＭＶ２，ＭＶ３を求める。
【０３０８】
なお、上述した動きベクトルＭＶＩ、動きベクトルＭＶＰ等の利用動きベクトルＭＶ′を検出する際、上述した第２の処理部１２２（図４参照）の動きベクトル検出部１４３におけると同様に、所定位置の周辺に位置するマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして階層的検出を行う。
【０３０９】
図２６は、画像信号生成部５２１の構成を示している。
この画像信号生成部５２１は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路５４１と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路５４２とを有している。
【０３１０】
タップ選択回路５４１，５４２は、それぞれ、画像信号Ｖａの連続する３つのフレームに基づいて、画像信号Ｖｂの所定フレーム（ｆ１〜ｆ４のいずれか）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する複数の画素データを選択的に取り出す。
【０３１１】
このタップ選択回路５４１，５４２には、後述する動きベクトル検出部５４３で検出された、画像信号Ｖｂの所定フレームにおける注目位置の、上述した３つのフレーム（以下、「利用フレーム」という）との間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３が供給される。タップ選択回路５４１，５４２は、動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づき、３つの利用フレームに対して、画像信号Ｖｂの所定フレームを基準とした動き補償を行う。
【０３１２】
このように、予測タップ選択回路５４１においては、動き補償された３つの利用フレームから予測タップの画素データを選択的に取り出すものである。したがって、この予測タップの画素データを用いて後述するように生成される画像信号の所定フレームにおける注目位置の画素データの品質を高めることができる。
【０３１３】
また、クラスタップ選択回路５４２においては、動き補償された３つの利用フレームから予測タップの画素データを選択的に取り出すものである。したがって、上述したように予測タップ選択回路５４１で動き補償が行われて選択された予測タップの画素データに対応した時空間クラスを精度よく検出できる。
【０３１４】
また、画像信号生成部５２１は、動きベクトル検出部５４３を有している。この動きベクトル検出部５４３は、動きベクトルＭＶ１〜ＭＶ３を検出する際に、利用動きベクトルＭＶ′を検出すると共に、この検出された利用動きベクトルＭＶ′を線形配分して動きベクトルＭＶ（ＭＶ１〜ＭＶ３）を求める。
【０３１５】
この動きベクトル検出部５４３は、利用動きベクトルＭＶ′を階層的に検出する。その場合、上述した第２の処理部１２２（図４参照）の動きベクトル検出部１４３におけると同様に、所定位置の周辺に位置する複数のマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして用いる。
【０３１６】
図２７は、動きベクトル検出部５４３の構成を示している。この図２７において、図１３と対応する部分には同一符号を付し、適宜その詳細説明を省略する。
【０３１７】
動きベクトル検出部５４３は、第１のフレームの所定位置の周辺に位置する４個のマクロブロックの動き補償用ベクトルＭＩを、上位階層の動きベクトルとして選択する動きベクトル選択回路２１と、この選択回路２１で選択された４個の動きベクトルＭＩ１〜ＭＩ４を蓄積しておくための動きベクトル蓄積部２２とを有している。動きベクトル選択回路２１には、所定位置の位置情報が、動作制御情報として供給される。所定位置の周辺に位置する４個のマクロブロックをどのマクロブロックとするかは、上述の図１０を用いて説明したと同様にして決める。ただし、その説明中で、「注目画素データ位置」を「所定位置」に置き換えることとする。
【０３１８】
また、動きベクトル検出部５４３は、バッファメモリ５０８（図２２参照）に格納されている参照フレーム（第１のフレーム）から、所定位置を中心とした参照ブロックの画素データを選択的に読み出す参照ブロック回路２３と、バッファメモリ５０８に格納されている探索フレーム（第２のフレーム）から、探索範囲内の各候補ブロックに対応した画像データを順次読み出すサーチブロック回路２４とを有している。
【０３１９】
ここで、探索フレームの探索範囲は、注目画素データ位置に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲とされる。サーチブロック回路２４は、上位階層の動きベクトルとして、動きベクトル蓄積部２２に蓄積された４個の動きベクトルＭＩ１〜ＭＩ４を順次使用していく。そして、サーチブロック回路２４は、各上位階層の動きベクトルにより決定された探索範囲で、それぞれ複数の候補ブロックの画素データを順次読み出す。
【０３２０】
また、動きベクトル検出部５４３は、参照ブロック回路２３からの参照ブロックの画素データと、サーチブロック回路２４からの各候補ブロックの画像データとを用いて、上述した（２）式の評価関数Ｅ（Ｙ）ｎに基づいて、各候補ブロックの評価値を求める評価値算出回路２５を有している。ここで、評価値は参照ブロックと候補ブロックとの相関の度合いを示す相関情報であり、評価値算出回路２５は相関検出手段を構成している。
【０３２１】
なお、サーチブロック回路２４から評価値算出回路２５には、候補ブロックの画素データと共に、その候補ブロックが存在する探索範囲を決定した上位階層の動きベクトルも供給される。評価値算出回路２５は、算出した各候補ブロックの評価値を、上位階層の動きベクトル別に評価値メモリ（図示せず）に記憶する。
【０３２２】
また、動きベクトル検出部５４３は、動きベクトル検出回路２６を有している。この動きベクトル検出回路２６は、評価値算出回路２５で算出された各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロックに対応した動きベクトル（ｕｎ、ｖｎ）を、下位階層の動きベクトルＶ０とする。そして、最終的な動きベクトルＭＶ′を、上述した（３）式により求める。ただし、（３）式のＭＶがここではＭＶ′である。
【０３２３】
また、動きベクトル検出部５４３は、動きベクトル検出回路２６で検出される利用動きベクトルＭＶ′を線形配分して動きベクトルＭＶを求める線形配分回路２９を有している。動きベクトルＭＶは、画像信号Ｖｂの所定フレームの時間方向位置に対応した動きベクトルである。この場合、このように利用動きベクトルＭＶ′を線形配分して動きベクトルＭＶを求める場合、１画素以下の部分は四捨五入する。
【０３２４】
図２７に示す動きベクトル検出部５４３の動作を説明する。
動きベクトル選択回路２１は、第１のフレームの所定位置の位置情報に基づいて、その所定位置の周辺に位置する４個のマクロブロックの動き補償用ベクトルＭＩを、上位階層の動きベクトルとして選択する。このように選択された４個の動きベクトルＭＩ１〜ＭＩ４は動きベクトル蓄積部２２に供給されて蓄積される。
【０３２５】
例えば、図２４Ａに示すようにフレームｆ１の注目位置の３つのフレームｆＩ，ｆＢ，ｆＢとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３を検出する際、図２５Ａに示すような動きベクトルＭＶＩおよび動きベクトルＭＶＰを利用動きベクトルＭＶ′として検出する必要がある。
【０３２６】
動きベクトルＭＶＩを検出する場合、動きベクトル選択部２１は、１番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢの所定位置の周辺に位置する４個のマクロブロックの、第２のフレームとしてのＩピクチャのフレームｆＩとの間の動き補償用ベクトルＭＩを動きベクトルＭＩ１〜ＭＩ４として選択する。
【０３２７】
動きベクトルＭＶＰを検出する場合、動きベクトル選択部２１は、１番目のＢピクチャのフレームｆＢを第１のフレームとし、このフレームｆＢの所定位置の周辺に位置する４個のマクロブロックの、第２のフレームとしてのＰピクチャのフレームｆＰとの間の動き補償用ベクトルＭＩを動きベクトルＭＩ１〜ＭＩ４として選択する。
【０３２８】
また、参照ブロック回路２３は、バッファメモリ５０８（図２２参照）に格納されている参照フレームから、所定位置を中心とした参照ブロックの画素データを選択的に読み出す。また、サーチブロック回路２４は、バッファメモリ５０８に格納されている探索フレームから、探索範囲内の各候補ブロックに対応した画像データを順次読み出す。
【０３２９】
この場合、探索フレームの探索範囲は、所定位置に対応した位置が上位階層の動きベクトルに基づいて移動された位置を基準位置とした範囲である。サーチブロック回路２４は、上位階層の動きベクトルとして動きベクトル蓄積部２２に蓄積された４個の動きベクトルＭＩ１〜ＭＩ４を順次使用し、各上位階層の動きベクトルにより決定された探索範囲でそれぞれ複数の候補ブロックの画素データを順次読み出す。
【０３３０】
参照ブロック回路２３で読み出された参照ブロックの画素データと、サーチブロック回路２４で読み出された各候補ブロックの画像データは評価値算出回路２５に供給される。評価値算出回路２５は、上述した（２）式の評価関数Ｅ（Ｙ）ｎに基づいて、各候補ブロックの評価値を求める。
【０３３１】
動きベクトル検出回路２６は、評価値算出回路２５で算出された各候補ブロックの評価値を順次評価し、最小の評価値を与える候補ブロック、すなわち参照ブロックと最も相関の高い候補ブロックに対応した動きベクトル（ｕｎ、ｖｎ）を、下位階層の動きベクトルＶ０とする。そして、この下位階層の動きベクトルＶ０に、その候補ブロックの上位階層の動きベクトルＶ１を加算してなる動きベクトル（ｕ，ｖ）を、最終的な利用動きベクトルＭＶ′として出力する。
【０３３２】
そして、動きベクトル検出回路２６で得られた利用動きベクトルＭＶ′は、線形配分回路２９に供給される。線形配分回路２９は、利用動きベクトルＭＶ′を線形配分して、画像信号Ｖｂの所定フレームにおける注目位置の動きベクトルＭＶ（ＭＶ１〜ＭＶ３）を求めて出力する。
【０３３３】
ここで、図２４Ａに示すようにフレームｆ１の注目位置の３つのフレームｆＩ，ｆＢ，ｆＢとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３を検出する場合を説明する。
【０３３４】
動きベクトル選択回路２１で１番目のＢピクチャのフレームｆＢの所定位置の周辺に位置する４個のマクロブロックのＩピクチャのフレームｆＩとの間の動き補償用ベクトルＭＩが選択され、サーチブロック回路２４ではＩピクチャのフレームｆＩが探索フレームとされて候補ブロックの読み出しが行われことで、動きベクトル検出回路２６からは、利用動きベクトルＭＶ′として図２５Ａに示す動きベクトルＭＢＩが得られる。線形配分回路２９では、この動きベクトルＭＢＩがそれぞれ６／５倍、１／５倍されて、動きベクトルＭＶ１，ＭＶ２が求められる。
【０３３５】
また、動きベクトル選択回路２１で１番目のＢピクチャのフレームｆＢの所定位置の周辺に位置する４個のマクロブロックのＰピクチャのフレームｆＰとの間の動き補償用ベクトルＭＩが選択され、サーチブロック回路２４ではＰピクチャのフレームｆＰが探索フレームとされて候補ブロックの読み出しが行われことで、動きベクトル検出回路２６からは、利用動きベクトルＭＶ′として図２５Ａに示す動きベクトルＭＢＰが得られる。そして、線形配分回路２９では、この動きベクトルＭＢＩが２／５倍されて動きベクトルＭＶ３を求められる。
【０３３６】
このように、動きベクトル検出部５４３では、マクロブロック毎に有する動き補償用ベクトルＭＩを上位階層の動きベクトルとして使用して、利用動きベクトルＭＶ′を階層的に検出するものであり、動きベクトルＭＶを素早く検出できる。また、動きベクトル検出部５４３では、所定位置が存在するマクロブロックの動き補償用ベクトルＭＩだけでなく、そのマクロブロックの周辺のマクロブロックの動き補償用ベクトルＭＩをも上位階層の動きベクトルとして使用するものであり、利用動きベクトルＭＶ′を精度よく検出できる。
【０３３７】
なお、図２７に示す動きベクトル検出部５４３においては、所定位置の周辺に位置するマクロブロックの動き補償用ベクトルＭＩを上位階層の動きベクトルとして選択するものであるが、さらに所定位置を含むフレームの各マクロブロックの動き補償用ベクトルＭＩの度数分布を生成し、度数の高い方から所定数の動きベクトルも上位階層の動きベクトルとして選択するようにしてもよい。これにより、利用動きベクトルＭＶ′の検出精度をさらに高めることができる。
【０３３８】
図２６に戻って、また、画像信号生成部５２１は、クラス生成回路５４４を有している。クラス生成回路５４４は、クラスタップ選択回路５４２で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬを生成する。このクラス生成回路５４４は、クラスタップの画素データに１ビットのＡＤＲＣ等の処理を施すことによって、時空間クラスを示すクラスコードＣＬを生成する。このクラスコードＣＬは、画像信号Ｖｂの所定フレームにおける注目位置の画素データが属する時空間クラスを示すものとなる。
【０３３９】
また、画像信号生成部５２１は、係数メモリ５４５を有している。この係数メモリ５４５は、後述する推定予測演算回路５４６で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、格納するものである。この係数メモリ５４５には、画像信号Ｖａを画像信号Ｖｂに変換するための係数データＷｉが格納されている。
【０３４０】
この係数メモリ５４５に格納される係数データＷｉは、予め画像信号Ｖａに対応した生徒信号と画像信号Ｖｂに対応した教師信号との間の学習によって生成される。この係数メモリ５４５には上述したクラス生成回路５４４で生成されたクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ５４５からはクラスコードＣＬに対応した推定式の係数データＷｉが読み出されて、推定予測演算回路５４６に供給される。係数データＷｉの生成方法については後述する。
【０３４１】
また、画像信号生成部５２１は、予測タップ選択回路５４１で選択的に取り出される予測タップの画素データｘｉと、係数メモリ５４５より読み出される係数データＷｉとから、上述の（１）式の推定式によって、作成すべき画像信号Ｖｂの所定フレームにおける注目位置の画素データｙを演算する推定予測演算回路５４６を有している。
【０３４２】
この画像信号生成部５２１の動作を説明する。
クラスタップ選択回路５４２で、バッファメモリ５０８に格納されている画像信号Ｖａの連続する３つの利用フレームに基づいて、画像信号Ｖｂの所定フレーム（ｆ１〜ｆ４のいずれか）における注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが選択的に取り出される。
【０３４３】
この場合、動きベクトル検出部５４３で検出された、画像信号Ｖｂの所定フレームにおける注目位置の、上述した３つの利用フレームとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づいて、この３つの利用フレームに対して、画像信号Ｖｂの所定フレームを基準とした動き補償が行われる。
【０３４４】
クラスタップ選択回路５４２で取り出されるクラスタップの画素データはクラス生成回路５４４に供給される。このクラス生成回路５４４は、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬを生成する。
【０３４５】
このクラスコードＣＬは、係数メモリ５４５に読み出しアドレス情報として供給される。係数メモリ５４５からはこのクラスコードＣＬに対応した係数データＷｉが読み出され、読み出された係数データＷｉは推定予測演算回路５４６に供給される。
【０３４６】
また、予測タップ選択回路５４１で、バッファメモリ５０８に格納されている画像信号Ｖａの連続する３つの利用フレームに基づいて、画像信号Ｖｂの所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが選択的に取り出される。
【０３４７】
この場合、動きベクトル検出部５４３で検出された、画像信号Ｖｂの所定フレームにおける注目位置の、上述した３つの利用フレームとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づいて、この３つの利用フレームに対して、画像信号Ｖｂの所定フレームを基準とした動き補償が行われる。
【０３４８】
推定予測演算回路５４６では、予測タップの画素データｘｉと、係数メモリ５４５より読み出される係数データＷｉとを用いて、上述の（１）式に示す推定式に基づいて、作成すべき画像信号Ｖｂの所定フレームにおける注目位置の画素データｙが求められる。
【０３４９】
このように画像信号生成部５２１では、画像信号Ｖａの連続する３つの利用フレームを用いて、画像信号Ｖｂの所定フレームが得られる。この場合、画像信号Ｖａの連続した３つの利用フレームに基づいて選択された、画像信号Ｖｂの所定フレームにおける注目位置の周辺に位置する複数の画素データ（予測タップの画素データ）、およびこの画像信号Ｖｂの所定フレームにおける注目位置の画素データが属するクラスＣＬに対応した係数データＷｉを用いて、推定式に基づいて画像信号Ｖｂの所定フレームにおける注目位置の画素データｙを生成するものである。
【０３５０】
この場合、予測タップの複数の画素データは、動きベクトル検出部５４３で検出された動きベクトルＭＶ（ＭＶ１〜ＭＶ３）に基づいて動き補償された、画像信号Ｖａの連続した３つの利用フレームに基づいて選択されるものであり、相関が高いものとなる。したがって、この予測タップの画素データを用いて生成される画像信号Ｖｂの所定フレームにおける注目位置の画素データの品質の向上を図ることができる。
【０３５１】
また、クラスタップの画素データは、動きベクトル検出部５４３で検出された動きベクトルＭＶ（ＭＶ１〜ＭＶ３）に基づいて動き補償された、画像信号Ｖａの連続した３つの利用フレームに基づいて選択されたものである。そのため、クラス生成回路５４４で生成されるクラスコードＣＬは、予測タップ選択回路５４１で動き補償が行われて選択された予測タップの画素データに対応した時空間クラスを精度よく示すものとなる。したがって、クラス分類の精度を高めることができ、ひいては画像信号Ｖｂにおける所定フレームの品質の向上を図ることができる。
【０３５２】
図２２に戻って、画像信号処理部５１０の動作を説明する。
バッファメモリ５０８に格納されている画像信号Ｖａの各ピクチャのフレームｆＩ，ｆＰ，ｆＢは、実際のフレームの順に読み出されて、出力選択回路５２２に供給される。
【０３５３】
また、画像信号生成部５２１は、バッファメモリ５０８に格納されている、画像信号Ｖａの連続した３つの利用フレームを用いて、各ピクチャのフレーム間に、フレームｆ１〜ｆ４を生成する。このフレームｆ１〜ｆ４は出力選択回路５２２に供給される。
【０３５４】
出力選択回路５２２では、各ピクチャのフレームｆＩ，ｆＰ，ｆＢおよび画像信号生成部５２１で生成されたフレームｆ１〜ｆ４とが選択的に取り出される。したがって、この出力選択回路５２２からは、画像信号Ｖａに対してフレーム数が５倍とされた画像信号Ｖｂが得られる。
【０３５５】
図２８は、画像信号生成部５２１の係数メモリ５４５に格納すべき係数データＷｉを生成する係数データ生成装置５７０の構成を示している。
この係数データ生成装置５７０は、画像信号Ｖｂに対応した教師信号ＳＴが入力される入力端子５７１と、この教師信号ＳＴに対してフレーム数を１／５に間引いた後に符号化を行ってＭＰＥＧ２ストリームを得るＭＰＥＧ２符号化器５７２と、このＭＰＥＧ２ストリームに対して復号化を行って画像信号Ｖａに対応した生徒信号ＳＳを得るＭＰＥＧ２復号化器５７３とを有している。ここで、ＭＰＥＧ２復号化器５７３は、図２２に示すデジタル放送受信機５００におけるＭＰＥＧ２復号化器５０７およびバッファメモリ５０８に対応したものである。
【０３５６】
また、係数データ生成装置５７０は、予測に使用する予測タップの複数の画素データを選択的に取り出す予測タップ選択回路５７４と、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すクラスタップ選択回路５７５とを有している。これらのタップ選択回路５７４，５７５は、上述した画像信号生成部５２１（図２６参照）のタップ選択回路５４１，５４２と同様に構成される。
【０３５７】
タップ選択回路５７４，５７５は、それぞれ、生徒信号ＳＳの連続する３つのフレームに基づいて、教師信号ＳＴの所定フレーム（ｆ１〜ｆ４のいずれか）における注目位置に対して空間方向（水平方向、垂直方向）および時間方向（フレーム方向）の周辺に位置する複数の画素データを選択的に取り出す。
【０３５８】
タップ選択回路５７４，５７５には、後述する動きベクトル検出部５７６で検出された、教師信号ＳＴの所定フレームにおける注目位置の、上述した３つのフレーム（以下、「利用フレーム」という）との間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３が供給される。タップ選択回路５７４，５７５は、動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づき、３つの利用フレームに対して、教師信号ＳＴの所定フレームを基準とした動き補償を行う。
【０３５９】
また、係数データ生成装置５７０は、上述した動きベクトルＭＶ１，ＭＶ２，ＭＶ３を検出する動きベクトル検出部５７６を有している。この動きベクトル検出部５７６は、上述した画像信号生成部５２１の動きベクトル検出部５４３（図２７参照）と同様に構成される。この場合、動きベクトルＭＶ１〜ＭＶ３を検出する際に、利用動きベクトルＭＶ′を検出すると共に、この検出された利用動きベクトルＭＶ′を線形配分して動きベクトルＭＶ（ＭＶ１〜ＭＶ３）を求める。
【０３６０】
また、係数データ生成装置５７０は、クラス生成回路５７７を有している。クラス生成回路５７７は、クラスタップ選択回路５７５で選択的に取り出されるクラスタップの画素データから時空間クラスを示すクラスコードＣＬを生成する。このクラス生成回路５７７は、上述した画像信号生成部５２１のクラス生成回路５４４と同様に構成される。このクラスコードＣＬは、教師信号ＳＴの所定フレームにおける注目位置の画素データが属するクラスを示すものとなる。
【０３６１】
また、係数データ生成装置５７０は、入力端子５７１に入力される教師信号ＳＴの時間調整を行うための遅延回路５７８と、この遅延回路５７８で時間調整された教師信号ＳＴの所定フレームより得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路５７４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路５７７で生成されたクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（上述の（１０）式参照）を生成する正規方程式生成部５７９を有している。
【０３６２】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴの所定フレームと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部５７９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０３６３】
また、係数データ生成装置５７０は、正規方程式生成部５７９で生成された正規方程式のデータが供給され、その正規方程式を解いて、各クラスの係数データＷｉを求める係数データ決定部５８０と、この求められた各クラスの係数データＷｉを格納する係数メモリ５８１とを有している。
【０３６４】
次に、図１８に示す係数データ生成装置５７０の動作を説明する。
入力端子５７１には画像信号Ｖｂに対応した教師信号ＳＴが供給される。この教師信号ＳＴに対して、ＭＰＥＧ２符号化器５７２でフレーム数が１／５に間引かれた後に符号化が施されて、ＭＰＥＧ２ストリームが生成される。このＭＰＥＧ２ストリームは、ＭＰＥＧ２復号化器５７３に供給される。ＭＰＥＧ２復号化器５７３で、このＭＰＥＧ２ストリームに対して復号化が施されて、画像信号Ｖａに対応した生徒信号ＳＳが生成される。
【０３６５】
予測タップ選択回路５７４およびクラスタップ選択回路５７５には、動きベクトル検出部５７６で検出された、教師信号ＳＴの所定フレームにおける注目位置の、生徒信号ＳＳの３つの利用フレームとの間の動きベクトルＭＶ１，ＭＶ２，ＭＶ３が供給される。
【０３６６】
復号化器５７３で生成された生徒信号ＳＳの連続する３つの利用フレームに基づいて、クラスタップ選択回路５７５で、教師信号ＳＴの所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが選択的に取り出される。この場合、動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づき、３つの利用フレームに対して、教師信号ＳＴの所定フレームを基準とした動き補償が行われる。
【０３６７】
クラスタップ選択回路５７５で選択的に取り出されたクラスタップの画素データはクラス生成回路５７７に供給される。このクラス生成回路５７７では、クラスタップの画素データに１ビットのＡＤＲＣ等の処理が施されて、時空間クラスを示すクラスコードＣＬが生成される。
【０３６８】
また、復号化器５７３で生成された生徒信号ＳＳの連続する３つの利用フレームに基づいて、予測タップ選択回路５７４で、教師信号ＳＴの所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の画素データが選択的に取り出される。この場合、動きベクトルＭＶ１，ＭＶ２，ＭＶ３に基づき、３つの利用フレームに対して、教師信号ＳＴの所定フレームを基準とした動き補償が行われる。
【０３６９】
そして、遅延回路５７８で時間調整された教師信号ＳＴの所定フレームから得られる各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択回路５７４で選択的に取り出される予測タップの画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス生成回路５７７で生成されたクラスコードＣＬとを用いて、正規方程式生成部５７９では、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（１０）式参照）が生成される。この正規方程式は係数データ決定部５８０で解かれて各クラスの係数データＷｉが求められ、その係数データＷｉは係数メモリ５８１に格納される。
【０３７０】
このように、図２８に示す係数データ生成装置５７０においては、画像信号生成部５２１の係数メモリ５４５に格納される各クラスの係数データＷｉを生成することができる。
【０３７１】
なお、図２２の画像信号処理部５１０における処理を、例えば図１９に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。図２９のフローチャートを参照して、図１９に示す画像信号処理装置３００における、画像信号Ｖａより画像信号Ｖｂを得るため処理手順を説明する。
【０３７２】
まず、ステップＳＴ５１で、処理を開始し、ステップＳ５２で、例えば入力端子３１４より装置内に複数フレーム分の画像信号Ｖａを入力する。この場合、画像信号Ｖａの画素データと対となっている動き補償用ベクトルＭＩも入力する。
【０３７３】
このように入力端子３１４より入力される画像信号Ｖａ等はＲＡＭ３０３に一時的に格納される。なお、この画像信号Ｖａ等が装置内のハードディスクドライブ３０５に予め記録されている場合には、このドライブ３０５からこの画像信号Ｖａ等を読み出し、この画像信号Ｖａ等をＲＡＭ３０３に一時的に格納する。
【０３７４】
そして、ステップＳＴ５３で、画像信号Ｖａの全フレームの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ５４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５５に進む。
【０３７５】
このステップＳＴ５５では、入力された画像信号Ｖａのフレームｆｎを出力端子３１５に出力する。その後に、ステップＳＴ５６に進み、この画像信号Ｖａのフレームｆｎとその次のフレームｎ＋１との間に挿入すべきフレームｆ１〜ｆ４の生成処理に移る。ステップＳＴ５６では、Ｎ＝１に設定する。
【０３７６】
次に、ステップＳＴ５７で、動き補償用ベクトルＭＩを用いて、画像信号ＶｂのフレームｆＮにおける注目位置の、画像信号Ｖａの連続した３つの利用フレームとの間の動きベクトルＭＶ１〜ＭＶ３を検出する。フレームｆＮは、最初はｆ１である。
【０３７７】
そして、ステップＳＴ５８で、ステップＳＴ５２で入力された画像信号Ｖａの連続した３つの利用フレームに基づいて、画像信号ＶｂのフレームｆＮにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を取得し、このクラスタップの画素データを用いて、画像信号ＶｂのフレームｆＮにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０３７８】
次に、ステップＳＴ５９で、ステップＳＴ５２で入力された画像信号Ｖａの連続した３つの利用フレームに基づいて、画像信号ＶｂのフレームｆＮにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０３７９】
なお、ステップＳＴ５８およびステップＳＴ５９では、画像信号Ｖａの３つの利用フレームが、ステップＳＴ５７で検出された動きベクトルＭＶ１〜ＭＶ３に基づき、フレームｆＮを基準として動き補償された後に、画素データの取得が行われる。
【０３８０】
次に、ステップＳＴ６０で、ステップＳＴ５８で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ５９で取得された予測タップの画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙを生成する。
【０３８１】
そして、ステップＳＴ６１で、フレームｆＮを生成する処理が終了したか否かを判定する。終了していないときは、ステップＳＴ５７に戻り、次の注目位置についての処理に移る。一方、処理が終了しているときは、ステップＳＴ６２に進み、フレームｆＮを出力端子３１５に出力する。
【０３８２】
次に、ステップＳＴ６３で、Ｎ＝Ｎｍａｘであるか否かを判定する。ここで、Ｎｍａｘ＝４である。Ｎ＝Ｎｍａｘでないときは、ステップＳＴ６４で、Ｎをインクリメントし、その後にステップＳＴ５７に戻って、次のフレームｆＮ＋１の生成処理に移る。一方、Ｎ＝Ｎｍａｘであるときは、フレームｆ１〜ｆ４を生成し、その出力が終了したことを意味するので、ステップＳＴ６５に進む。
【０３８３】
ステップＳＴ６５では、ステップＳＴ５２で入力された複数フレーム分の画像信号Ｖａに対応した処理が終了したか否かを判定する。終了しているときは、ステップＳＴ５２に戻り、次の複数フレーム分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ５５に戻って、画像信号Ｖａの次のフレームを出力端子３１５に出力し、そのフレームとその次のフレームとの間に挿入すべきフレームｆ１〜ｆ４の生成処理に移る。
【０３８４】
このように、図２９に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａを処理して、５倍のフレーム数を有する画像信号Ｖｂを得ることができる。
【０３８５】
また、処理装置の図示は省略するが、図２８の係数データ生成装置５７０における処理も、ソフトウェアで実現可能である。
【０３８６】
図３０のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ７１で、処理を開始し、ステップＳＴ７２で、教師信号ＳＴを複数フレーム分だけ入力する。そして、ステップＳＴ７３で、教師信号ＳＴの全フレームの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ７４で、ステップＳＴ７２で入力された教師信号ＳＴから生徒信号ＳＳを生成する。この場合、生徒信号ＳＳの画素データと対となっている動き補償用ベクトルＭＩも得る。
【０３８７】
そして、ステップＳＴ７５で、動き補償用ベクトルＭＩを用いて、教師信号ＳＴの所定フレーム（画像信号Ｖｂのフレームｆ１〜ｆ４のいずれかに対応）における注目位置の、生徒信号ＳＳの連続した３つの利用フレームとの間の動きベクトルＭＶ１〜ＭＶ３を検出する。
【０３８８】
そして、ステップＳＴ７６で、ステップＳＴ７４で生成された生徒信号ＳＳの連続した３つの利用フレームに基づいて、教師信号ＳＴの所定フレームにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（クラスタップの画素データ）を取得し、このクラスタップの画素データを用いて、教師信号ＳＴの所定フレームにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０３８９】
次に、ステップＳＴ７７で、ステップＳＴ７４で生成された生徒信号ＳＳの連続した３つの利用フレームに基づいて、教師信号ＳＴの所定フレームにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データ（予測タップの画素データ）を取得する。
【０３９０】
なお、ステップＳＴ７６およびステップＳＴ７７では、生徒信号ＳＳの連続した３つの利用フレームが、ステップＳＴ７５で検出された動きベクトルＭＶ１〜ＭＶ３に基づき、教師信号ＳＴの所定フレームを基準として動き補償された後に、画素データの取得が行われる。
【０３９１】
次に、ステップＳＴ７８で、ステップＳＴ７６で生成されたクラスコードＣＬ、ステップＳＴ７７で取得された予測タップの画素データｘｉおよび教師信号ＳＴの所定フレームにおける注目位置の画素データｙを用いて、クラス毎に、（１０）式に示す正規方程式を得るための加算をする（（８）式、（９）式参照）。
【０３９２】
次に、ステップＳＴ７９で、ステップＳＴ７２で入力された複数フレーム分の教師信号ＳＴに対応した学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ７２に戻って、次の複数フレーム分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ７５に戻って、次の注目位置についての処理に移る。
【０３９３】
上述したステップＳＴ７３で、処理が終了したときは、ステップＳＴ８０で、上述のステップＳＴ７８の加算処理によって生成された、各クラスの正規方程式を掃き出し法などで解いて、各クラスの係数データＷｉを算出する。そして、ステップＳＴ８１で、各クラスの係数データＷｉをメモリに保存し、その後にステップＳＴ８２で、処理を終了する。
【０３９４】
このように、図３０に示すフローチャートに沿って処理をすることで、図２８に示す係数データ生成装置５７０と同様の手法によって、各クラスの係数データＷｉを得ることができる。
【０３９５】
なお、上述実施の形態においては、ＤＣＴを伴うＭＰＥＧ２ストリームを取り扱うものを示したが、この発明は、その他の符号化されたデジタル情報信号を取り扱うものにも同様に適用することができる。また、ＤＣＴの代わりに、ウォーブレット変換、離散サイン変換などのその他の直交変換を伴う符号化であってもよい。
【０３９６】
また、上述実施の形態において、動きベクトル検出部１４３（図１３参照）、動きベクトル検出部５４３（図２７参照）では、相関情報としての評価値を差分絶対値和としたものであるが、差分二乗和であってもよい。
【０３９７】
【発明の効果】
この発明によれば、複数のブロックに分割され、各ブロック毎に第２のフレームとの間の動きベクトルを有する第１のフレームにおける所定位置の動きベクトルを検出する際に、所定位置の周辺に位置する複数のブロックの動きベクトルを上位階層の動きベクトルとして選択し、第１のフレームの所定位置を中心とする参照ブロックと第２のフレームの所定位置に対応した位置が選択された複数の動きベクトルに基づいて移動された位置をそれぞれ基準位置とした複数の探索範囲内の候補ブロックとの間の相関情報を検出し、参照ブロックと最も相関の高い候補ブロックの位置情報を所定位置の動きベクトルとするものであり、所定位置の動きベクトルを素早く、かつ精度よく検出できる。
【０３９８】
また、この発明によれば、符号化されたデジタル画像信号を復号化することによって生成される、複数の画素データからなる第１の画像信号を、複数の画素データからなる第２の画像信号に変換して符号化雑音を軽減する際、第１の画像信号の他に、上述した動きベクトル検出装置等を用いて検出された動きベクトルにより動き補償された、符号化雑音軽減後の第２の画像信号に基づいて、第２の画像信号における注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号における注目位置の画素データを生成するものであり、第２の画像信号の品質の向上を図ることができる。
【０３９９】
また、この発明によれば、複数の画素データからなる第１の画像信号を、この第１の画像信号とは異なるフレーム数を有する、複数の画素データからなる第２の画像信号に変換する際、上述した動きベクトル検出装置等を用いて検出された動きベクトルにより動き補償された、第１の画像信号の連続する複数フレームに基づいて、第２の画像信号の所定フレームにおける注目位置に対して空間方向および時間方向の周辺に位置する複数の第１の画素データを選択し、この複数の第１の画素データを用いて第２の画像信号の所定フレームにおける注目位置の画素データを生成するものであり、第２の画像信号の品質の向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２】ＭＰＥＧ２復号化器の構成を示すブロック図である。
【図３】第１の処理部の構成を示すブロック図である。
【図４】第２の処理部の構成を示すブロック図である。
【図５】動き補償を説明するための図である。
【図６】ブロックマッチング法を説明するための図である。
【図７】ブロックマッチング法を説明するための図である。
【図８】ブロックマッチング法を説明するための図である。
【図９】ブロックマッチング法を説明するための図である。
【図１０】上位階層の動きベクトルの選択を説明するための図である。
【図１１】上位階層の動きベクトルの選択を説明するための図である。
【図１２】動きベクトル検出処理を説明するためのフローチャートである。
【図１３】動きベクトル検出部の構成を示すブロック図である。
【図１４】評価値算出回路の構成を示すブロック図である。
【図１５】動きベクトル検出回路の構成を示すブロック図である。
【図１６】動きベクトル検出部の変形例を説明するためのブロック図である。
【図１７】係数データ生成装置の構成を示すブロック図である。
【図１８】係数データ生成装置の構成を示すブロック図である。
【図１９】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図２０】画像信号処理を示すフローチャートである。
【図２１】係数データ生成処理を示すフローチャートである。
【図２２】第２の実施の形態としてのデジタル放送受信機の構成を示すブロック図である。
【図２３】画像信号Ｖａ，Ｖｂのフレーム構成を説明するための図である。
【図２４】動きベクトルＭＶ１〜ＭＶ３を説明するための図である。
【図２５】利用動きベクトルＭＶ′（ＭＶＩ，ＭＶＰ）を説明するための図である。
【図２６】画像信号生成部の構成を示すブロック図である。
【図２７】動きベクトル検出部の構成を示すブロック図である。
【図２８】係数データ生成装置の構成を示すブロック図である。
【図２９】画像信号処理を示すフローチャートである。
【図３０】係数データ生成処理を示すフローチャートである。
【符号の説明】
２１，２８・・・動きベクトル選択回路、２２・・・動きベクトル蓄積部、２３・・・参照ブロック回路、２４・・・サーチブロック回路、２５・・・評価値回路、２６・・・動きベクトル検出回路、２７・・・度数分布生成回路、２９・・・線形配分回路、１００・・・デジタル放送受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・ＭＰＥＧ２復号化器、１０８，１２３，１２５・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１の処理部、１２２・・・第２の処理部、１２４・・・並べ換え部、１３１，１４１・・・予測タップ選択回路、１３２，１４２・・・クラスタップ選択回路、１３３，１４４，１４５・・・クラス生成回路、１３４，１４７・・・係数メモリ、１３５，１４８・・・推定予測演算回路、１４３・・・動きベクトル検出部、１４６・・・クラス統合回路、１５０，１７０，５７０・・・係数データ生成装置、３００・・・画像信号処理装置、５００・・・デジタル放送受信機、５０１・・・システムコントローラ、５０２・・・リモコン信号受信回路、５０５・・・受信アンテナ、５０６・・・チューナ部、５０７・・・ＭＰＥＧ２復号化器、５０８・・・バッファメモリ、５１０・・・画像信号処理部、５１１・・・ディスプレイ部、５２１・・・画像信号生成部、５２２・・・出力選択回路、５４１・・・予測タップ選択回路、５４２・・・クラスタップ選択回路、５４３・・・動きベクトル検出部、５４４・・・クラス生成回路、５４５・・・係数メモリ、５４６・・・推定予測演算回路
【図１】
2004173013.tif 000009
【図２】
2004173013.tif 000010
【図３】
2004173013.tif 000011
【図４】
2004173013.tif 000012
【図５】
2004173013.tif 000013
【図６】
2004173013.tif 000014
【図７】
2004173013.tif 000015
【図８】
2004173013.tif 000016
【図９】
2004173013.tif 000017
【図１０】
2004173013.tif 000018
【図１１】
2004173013.tif 000019
【図１２】
2004173013.tif 000020
【図１３】
2004173013.tif 000021
【図１４】
2004173013.tif 000022
【図１５】
2004173013.tif 000023
【図１６】
2004173013.tif 000024
【図１７】
2004173013.tif 000025
【図１８】
2004173013.tif 000026
【図１９】
2004173013.tif 000027
【図２０】
2004173013.tif 000028
【図２１】
2004173013.tif 000029
【図２２】
2004173013.tif 000030
【図２３】
2004173013.tif 000031
【図２４】
2004173013.tif 000032
【図２５】
2004173013.tif 000033
【図２６】
2004173013.tif 000034
【図２７】
2004173013.tif 000035
【図２８】
2004173013.tif 000036
【図２９】
2004173013.tif 000037
【図３０】
2004173013.tif 000038