(57)【特許請求の範囲】
【請求項１】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用され、上記第２の情報信号に係る注目点の情報データを、上記第１の情報信号から抽出される複数の情報データから算出するための推定式の係数データを生成する係数データ生成装置であって、
上記第２の情報信号に対応した教師信号と、該教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データと、上記第２の情報信号に対応した教師信号と、該教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを格納する格納手段と、
上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値を設定するパラメータ設定手段と、
上記格納手段に格納されている、上記第１の係数種データおよび上記第２〜第Ｎの係数種データに基づいて、上記パラメータ設定手段で設定された上記第１のパラメータおよび上記第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを生成する係数データ生成手段と
を備えることを特徴とする係数データ生成装置。
【請求項２】
上記格納手段には、上記第１の係数種データの他に、上記第２の係数種データが格納されており、
上記パラメータ設定手段は、上記第１のパラメータの値および上記第２のパラメータの値を設定するものであり、
上記係数データ生成手段は、上記格納手段に格納されている上記第１の係数種データおよび上記第２の係数種データに基づいて、上記パラメータ設定手段で設定された上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項１に記載の係数データ生成装置。
【請求項３】
上記格納手段に格納されている上記第２の係数種データは、上記第１のパラメータの複数の値にそれぞれ対応した複数の周波数特性より、それぞれ上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る複数の第２の係数種データからなり、
上記係数データ生成手段は、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記複数の値のいずれかに対応しているとき、該第１のパラメータの値に対応した周波数特性より上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る第２の係数種データに基づいて、上記生成式により、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを生成し、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記複数の値のいずれにも対応していないとき、上記複数の値のうち上記第１のパラメータの値の前後の値に対応した２つの周波数特性より、それぞれ上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る２つの第２の係数種データに基づいて上記生成式により上記パラメータ設定手段で設定された上記第２のパラメータの値に対応した上記推定式の２つの係数データを求め、該２つの係数データから、上記第１の係数種データに基づいて上記生成式により求められた、上記第１のパラメータの値および上記前後の値に対応した上記推定式の係数データを用いた補間処理によって、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項２に記載の係数データ生成装置。
【請求項４】
上記格納手段に格納されている上記第２の係数種データは、上記第１のパラメータの単一の値に対応した周波数特性より、上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る単一の第２の係数種データからなり、
上記係数データ生成手段は、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記単一の値であるとき、上記単一の第２の係数種データに基づいて、上記生成式により、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを生成し、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記単一の値でないとき、上記単一の第２の係数種データに基づいて上記生成式により上記パラメータ設定手段で設定された上記第２のパラメータの値に対応した上記推定式の係数データを求め、該係数データから、上記第１の係数種データに基づいて上記生成式により求められた、上記第１のパラメータの値および上記単一の値に対応した上記推定式の係数データを用いた平行移動処理によって、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項２に記載の係数データ生成装置。
【請求項５】
上記格納手段は、
上記第２の情報信号に対応した教師信号と、該教師信号から、上記第１のパラメータの所定の値または上記第２のパラメータの所定の値に対応した周波数特性より、第３の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第３の物理的な特徴量を示す第３のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第３の係数種データをさらに格納しており、
上記パラメータ設定手段は、上記第３のパラメータの値をさらに設定し、
上記係数データ生成手段は、上記格納手段に格納されている上記第１〜第３の係数種データに基づいて、上記パラメータ設定手段で設定された上記第１〜第３のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項２に記載の係数データ生成装置。
【請求項６】
上記格納手段に格納されている上記第３の係数種データは、上記第１のパラメータの所定の値に対応した周波数特性より、上記第３の物理的な特徴量によって周波数特性を変化させた落としフィルタで得られた生徒信号に係るものであり、
上記係数データ生成手段は、上記第１のパラメータの値、および上記第２のパラメータの値または上記第３のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項５に記載の係数データ生成装置。
【請求項７】
上記格納手段に格納されている上記第３の係数種データは、上記第２のパラメータの所定の値に対応した周波数特性より、上記第３の物理的な特徴量によって周波数特性を変化させた落としフィルタで得られた生徒信号に係るものであり、
上記係数データ生成手段は、上記第１〜第３のパラメータの値に対応した上記推定式の係数データを生成する
ことを特徴とする請求項５に記載の係数データ生成装置。
【請求項８】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用され、上記第２の情報信号に係る注目点の情報データを、上記第１の情報信号から抽出される複数の情報データから算出するための推定式の係数データを生成する係数データ生成方法であって、
上記第２の情報信号に対応した教師信号と、該教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを記憶部から取得するステップと、
上記第２の情報信号に対応した教師信号と、該教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを記憶部から取得するステップと、
上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値を設定するステップと、
上記取得された第１の係数種データ、および第２〜第Ｎの係数種データに基づいて、上記設定された第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを生成するステップと
を備えることを特徴とする係数データ生成方法。
【請求項９】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
上記第２の情報信号に対応した教師信号と、該教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第１の物理的な特徴量を示す第１のパラメータを含み推定式の係数データを生成するための生成式の係数データである第１の係数種データと、上記第２の情報信号に対応した教師信号と、該教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを格納する格納手段と、
上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値を設定するパラメータ設定手段と、
上記格納手段に格納されている、上記第１の係数種データおよび上記第２〜第Ｎの係数種データに基づいて、上記パラメータ設定手段で設定された上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを発生する係数データ発生手段と、
上記第１の情報信号から上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第１のデータ選択手段で選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段と
を備えることを特徴とする情報信号処理装置。
【請求項１０】
上記格納手段には、上記第１の係数種データの他に、上記第２の係数種データが格納されており、
上記パラメータ設定手段は、上記第１のパラメータの値および上記第２のパラメータの値を設定するものであり、
上記係数データ発生手段は、上記格納手段に格納されている上記第１の係数種データおよび上記第２の係数種データに基づいて、上記パラメータ設定手段で設定された上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項９に記載の情報信号処理装置。
【請求項１１】
上記格納手段に格納されている上記第２の係数種データは、上記第１のパラメータの複数の値にそれぞれ対応した複数の周波数特性より、それぞれ上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る複数の第２の係数種データからなり、
上記係数データ発生手段は、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記複数の値のいずれかに対応しているとき、該第１のパラメータの値に対応した周波数特性より上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る第２の係数種データに基づいて、上記生成式により、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを発生し、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記複数の値のいずれにも対応していないとき、上記複数の値のうち上記第１のパラメータの値の前後の値に対応した２つの周波数特性より、それぞれ上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る２つの第２の係数種データに基づいて上記生成式により上記パラメータ設定手段で設定された上記第２のパラメータの値に対応した上記推定式の２つの係数データを求め、該２つの係数データから、上記第１の係数種データに基づいて上記生成式により求められた、上記第１のパラメータの値および上記前後の値に対応した上記推定式の係数データを用いた補間処理によって、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１０に記載の情報信号処理装置。
【請求項１２】
上記格納手段に格納されている上記第２の係数種データは、上記第１のパラメータの単一の値に対応した周波数特性より、上記第２の物理的な特徴量によって周波数特性を変化させた落としフィルタで生成された生徒信号に係る単一の第２の係数種データからなり、
上記係数データ発生手段は、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記単一の値であるとき、上記単一の第２の係数種データに基づいて、上記生成式により、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを発生し、
上記パラメータ設定手段で設定された上記第１のパラメータの値が上記単一の値でないとき、上記単一の第２の係数種データに基づいて上記生成式により上記パラメータ設定手段で設定された上記第２のパラメータの値に対応した上記推定式の係数データを求め、該係数データから、上記第１の係数種データに基づいて上記生成式により求められた、上記第１のパラメータの値および上記単一の値に対応した上記推定式の係数データを用いた平行移動処理によって、上記第１のパラメータの値および上記第２のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１０に記載の情報信号処理装置。
【請求項１３】
上記格納手段は、
上記第２の情報信号に対応した教師信号と該教師信号から、上記第１のパラメータの所定の値または上記第２のパラメータの所定の値に対応した周波数特性より、第３の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第３の物理的な特徴量を示す第３のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第３の係数種データをさらに格納しており、
上記パラメータ設定手段は、上記第３のパラメータの値をさらに設定し、
上記係数データ発生手段は、上記格納手段に格納されている上記第１〜第３の係数種データに基づいて、上記パラメータ設定手段で設定された上記第１〜第３のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１０に記載の情報信号処理装置。
【請求項１４】
上記格納手段に格納されている上記第３の係数種データは、上記第１のパラメータの所定の値に対応した周波数特性より、上記第３の物理的な特徴量によって周波数特性を変化させた落としフィルタで得られた生徒信号に係るものであり、
上記係数データ発生手段は、上記第１のパラメータの値、および上記第２のパラメータの値または上記第３のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１３に記載の情報信号処理装置。
【請求項１５】
上記格納手段に格納されている上記第３の係数種データは、上記第２のパラメータの所定の値に対応した周波数特性より、上記第３の物理的な特徴量によって周波数特性を変化させた落としフィルタで得られた生徒信号に係るものであり、
上記係数データ発生手段は、上記第１〜第３のパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項１３に記載の情報信号処理装置。
【請求項１６】
上記第１の情報信号から上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、上記第２のデータ選択手段で選択された上記複数の第２の情報データに基づいて上記注目点が属するクラスを検出するクラス検出手段とをさらに備え、
上記格納手段は、上記クラス検出手段で検出し得るクラス毎に、上記第１の係数種データおよび上記第２〜第Ｎの係数種データを格納しており、
上記係数データ発生手段は、上記クラス検出手段で検出されたクラスおよび上記パラメータ設定手段で設定された上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値に対応した上記推定式の係数データを発生する
ことを特徴とする請求項９に記載の情報信号処理装置。
【請求項１７】
上記係数データ発生手段は、
クラス毎に、上記格納手段に格納されている上記第１の係数種データおよび上記第２〜第Ｎの係数種データに基づいて、上記パラメータ設定手段で設定された上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを生成する係数データ生成部と、
上記係数データ生成部で生成された上記クラス毎の推定式の係数データを格納する格納部と、
上記格納部より上記検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し部とを有してなる
ことを特徴とする請求項１６に記載の情報信号処理装置。
【請求項１８】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
上記第２の情報信号に対応した教師信号と、該教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、上記第１の物理的な特徴量を示す第１のパラメータを含み推定式の係数データを生成するための生成式の係数データである第１の係数種データを記憶部から取得するステップと、
上記第２の情報信号に対応した教師信号と、該教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた上記第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを記憶部から取得するステップと、
上記第１のパラメータの値および上記第２〜第Ｎのパラメータの値を設定するステップと、
上記取得された第１の係数種データ、および第２〜第Ｎの係数種データに基づいて、上記設定された第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを発生するステップと、
上記第１の情報信号から上記第２の情報信号に係る注目点の周辺に位置する複数の情報データを選択するステップと、
上記発生された係数データと上記選択された複数の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得るステップと
を備えることを特徴とする情報信号処理方法。
【請求項１９】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用する推定式の係数データを求める際に使用する係数種データを生成する装置であって、
上記第２の情報信号に対応した教師信号から第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られる、上記第１の情報信号に対応した複数の生徒信号より、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の情報データおよび上記教師信号に係る注目点の情報データに基づいて学習データを生成し、該生成された学習データに基づいて、上記第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを生成する第１の係数データ生成手段と、
上記第２の情報信号に対応した教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られる、上記第１の情報信号に対応した複数の生徒信号より、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の情報データおよび上記教師信号に係る注目点の情報データに基づいて学習データを生成し、該生成された学習データに基づいて、上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを生成する第２の係数データ生成手段と
を備えることを特徴とする係数種データ生成装置。
【請求項２０】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用する推定式の係数データの算出時に使用する係数種データを生成する方法であって、
上記第２の情報信号に対応した教師信号から第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られる、上記第１の情報信号に対応した複数の生徒信号より、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第１のステップと、
上記第１のステップで選択された複数の情報データおよび上記教師信号に係る注目点の情報データに基づいて学習データを生成し、該生成された学習データに基づいて、上記第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを生成する第２のステップと、
上記第２の情報信号に対応した教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られる、上記第１の情報信号に対応した複数の生徒信号より、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、
上記第３のステップで選択された複数の情報データおよび上記教師信号に係る注目点の情報データに基づいて学習データを生成し、該生成された学習データに基づいて、上記第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを生成する第４のステップと
を備えることを特徴とする係数種データ生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適な係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法に関する。詳しくは、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを、教師信号から複数の物理的な特徴量によってそれぞれ周波数特性を変化させた落としフィルタを用いて得られた複数種類の生徒信号と教師信号との間の学習によって生成される複数種類の係数種データに基づいて生成することによって、係数データを格納しておくメモリの容量増加を招くことなく、パラメータの値の変化に対応した係数データを得ることができ、また多様に変化する係数データを得ることができるようにした係数データ生成装置等に係るものである。
【０００２】
【従来の技術】
従来、例えば５２５ｉ信号というＳＤ(Standard Definition）信号を、１０５０ｉ信号というＨＤ(High Definition)信号に変換するフォーマット変換が提案されている。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味する。
【０００３】
図３０は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。
【０００４】
従来、上述したようなフォーマット変換を行うために、５２５ｉ信号の画素データより１０５０ｉ信号の画素データを得る際に、５２５ｉ信号の画素に対する１０５０ｉ信号の各画素の位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって１０５０ｉ信号の画素データを求めることが提案されている。
【０００５】
【発明が解決しようとする課題】
上述したように推定式によって１０５０ｉ信号の画素データを求めるものにおいては、この１０５０ｉ信号による画像の解像度は固定されており、従来のコントラストやシャープネス等の調整のように、画像内容等に応じて所望の解像度とすることができなかった。ユーザが所望の解像度に任意に調整するために、複数の解像度に対応する係数データを用意しておくことが考えられるが、係数データを格納しておくメモリの容量増加を招き、装置のコストアップにつながる。
【０００６】
この発明は、係数データを格納しておくメモリの容量増加を招くことなく、パラメータの値の変化に対応した係数データを得ることができ、また多様に変化する係数データを得ることができるようにした係数データ生成装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る係数データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用され、第２の情報信号に係る注目点の情報データを、第１の情報信号から抽出される複数の情報データから算出するための推定式の係数データを生成する係数データ生成装置であって、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データと、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを格納する格納手段と、第１のパラメータの値および第２〜第Ｎのパラメータの値を設定するパラメータ設定手段と、格納手段に格納されている第１の係数種データおよび第２〜第Ｎの係数種データに基づいて、パラメータ設定手段で設定された第１のパラメータおよび第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを生成する係数データ生成手段とを備えるものである。
【０００８】
また、この発明に係る係数データ生成方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用され、第２の情報信号に係る注目点の情報データを、第１の情報信号から抽出される複数の情報データから算出するための推定式の係数データを生成する係数データ生成方法であって、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを記憶部から取得するステップと、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性より該周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを記憶部から取得するステップと、第１のパラメータの値および第２〜第Ｎのパラメータの値を設定するステップと、取得された第１の係数種データ、および第２〜第Ｎの係数種データに基づいて、設定された第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを生成するステップとを備えるものである。
【００１０】
この発明においては、第１の係数種データおよび第２〜第Ｎの係数種データが、格納手段に格納されている。
第１の係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成されるものであって、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである。
【００１１】
同様に、第２〜第Ｎの係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎの物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりその周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成されるものであって、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである。
【００１２】
例えば、格納手段には、第１の係数種データの他に、第２の係数種データが格納される。また例えば、格納手段には、第１の係数種データの他に、第２および第３の係数種データが格納される。第３の係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第１のパラメータの所定の値または第２のパラメータの所定の値に対応した周波数特性より、第３の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される。
【００１３】
格納手段に格納されている第１の係数種データおよび上記第２〜第Ｎの係数種データに基づいて、パラメータ設定手段で設定された第１のパラメータおよび第２〜第Ｎのパラメータの値に対応した推定式の係数データが生成される。
【００１４】
このように、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを、教師信号から複数の物理的な特徴量によってそれぞれ周波数特性を変化させた落としフィルタを用いて得られた複数種類の生徒信号と教師信号との間の学習によって生成される複数種類の係数種データに基づいて生成することにより、係数データを格納しておくメモリの容量増加を招くことなく、パラメータの値の変化に対応した係数データを得ることができ、従ってパラメータの値を調整して第２の情報信号による出力の質を任意に調整することが可能となり、また多様に変化する係数データを得ることができ、従って第２の情報信号による出力の質を多様に調整することが可能となる。
【００１５】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、第１の物理的な特徴量を示す第１のパラメータを含み推定式の係数データを生成するための生成式の係数データである第１の係数種データと、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを格納する格納手段と、第１のパラメータの値および第２〜第Ｎのパラメータの値を設定するパラメータ設定手段と、格納手段に格納されている第１の係数種データおよび第２〜第Ｎの係数種データに基づいて、パラメータ設定手段で設定された第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと第１のデータ選択手段で選択された複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段とを備えるものである。
【００１６】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、第１の物理的な特徴量を示す第１のパラメータを含み推定式の係数データを生成するための生成式の係数データである第１の係数種データを記憶部から取得するステップと、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを記憶部から取得するステップと、第１のパラメータの値および第２〜第Ｎのパラメータの値を設定するステップと、取得された第１の係数種データおよび第２〜第Ｎの係数種データに基づいて、設定された第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、上記推定式の係数データを発生するステップと、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の情報データを選択するステップと、発生された係数データと選択された複数の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得るステップとを備えるものである。
【００１８】
この発明においては、第１の係数種データおよび第２〜第Ｎの係数種データが、格納手段に格納されている。
第１の係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成されるものであって、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである。
【００１９】
同様に、第２〜第Ｎの係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第２〜第Ｎの物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりその周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成されるものであって、それぞれ第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである。
【００２０】
例えば、格納手段には、第１の係数種データの他に、第２の係数種データが格納される。また例えば、格納手段には、第１の係数種データの他に、第２および第３の係数種データが格納される。第３の係数種データは、第２の情報信号に対応した教師信号と、この教師信号から、第１のパラメータの所定の値または第２のパラメータの所定の値に対応した周波数特性より、第３の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られた第１の情報信号に対応した複数の生徒信号との間の学習によって生成される。
【００２１】
格納手段に格納されている第１の係数種データおよび上記第２〜第Ｎの係数種データに基づいて、パラメータ設定手段で設定された第１のパラメータおよび第２〜第Ｎのパラメータの値に対応した推定式の係数データが発生される。
【００２２】
また、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データが選択される。そして、この複数の第１の情報データと推定式の係数データとから、推定式を用いて、第２の情報信号に係る注目点の情報データが算出される。
【００２３】
このように、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを、教師信号から複数の物理的な特徴量によってそれぞれ周波数特性を変化させた落としフィルタを用いて得られた複数種類の生徒信号と教師信号との間の学習によって生成される複数種類の係数種データに基づいて生成することにより、係数データを格納しておくメモリの容量増加を招くことなく、パラメータの値の変化に対応した係数データを得ることができ、従ってパラメータの値を調整して第２の情報信号による出力の質を任意に調整することが可能となり、また多様に変化する係数データを得ることができ、従って第２の情報信号による出力の質を多様に調整することが可能となる。
【００２４】
この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用する推定式の係数データを求める際に使用する係数種データを生成する装置であって、第２の情報信号に対応した教師信号から第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られる、第１の情報信号に対応した複数の生徒信号より、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データを生成し、この生成された学習データに基づいて、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを生成する第１の係数データ生成手段と、第２の情報信号に対応した教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて得られる、第１の情報信号に対応した複数の生徒信号より、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第２のデータ選択手段と、この第２のデータ選択手段で選択された複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データを生成し、この生成された学習データに基づいて、第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを生成する第２の係数データ生成手段とを備えるものである。
【００２５】
また、この発明に係る係数種データ生成方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用する推定式の係数データの算出時に使用する係数種データを生成する方法であって、第２の情報信号に対応した教師信号から第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて得られる、第１の情報信号に対応した複数の生徒信号より、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第１のステップと、この第１のステップで選択された複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データを生成し、この生成された学習データに基づいて、第１の物理的な特徴量を示す第１のパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第１の係数種データを生成する第２のステップと、第２の情報信号に対応した教師信号から、第２〜第Ｎ（Ｎは２以上の整数）の物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて得られる、第１の情報信号に対応した複数の生徒信号より、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、この第３のステップで選択された複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データを生成し、この生成された学習データに基づいて、第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み上記推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データを生成する第４のステップとを備えるものである。
【００２７】
この発明においては、第２の情報信号に対応した教師信号から、第１の物理的な特徴量によって周波数特性を変化させた落としフィルタを用いて、第１の情報信号に対応した複数の生徒信号が得られる。この生徒信号から教師信号に係る注目点の周辺に位置する複数の情報データが選択される。この複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データが生成され、この学習データに基づいて、第１の物理的な特徴量を示す第１のパラメータを含み推定式の係数データを生成するための生成式の係数データである第１の係数種データが生成される。
【００２８】
同様にして、第２の情報信号に対応した教師信号から、第２〜第Ｎの物理的な特徴量によって、それぞれ、他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて、第１の情報信号に対応した複数の生徒信号が得られる。この生徒信号から教師信号に係る注目点の周辺に位置する複数の情報データが選択される。この複数の情報データおよび教師信号に係る注目点の情報データに基づいて学習データが生成され、この生成された学習データに基づいて、第２〜第Ｎの物理的な特徴量を示す第２〜第Ｎのパラメータを含み推定式の係数データを生成するための生成式の係数データである第２〜第Ｎの係数種データが生成される。
【００２９】
このように生成される第１の係数種データおよび第２〜第Ｎの係数種データを用いることによって、第１の情報信号を第２の情報信号に変換する際に使用する、第１のパラメータの値および第２〜第Ｎのパラメータの値に対応した、推定式の係数データを求めることができる。
【００３０】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号というＳＤ信号を得、この５２５ｉ信号を１０５０ｉ信号というＨＤ信号に変換し、そのＨＤ信号による画像を表示するものである。
【００３１】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００３２】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って上述したＳＤ信号（５２５ｉ信号）を得るチューナ１０６と、このチューナ１０６より出力されるＳＤ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００３３】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存されるＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換する画像信号処理部１１０と、この画像信号処理部１１０より出力されるＨＤ信号による画像を表示するディスプレイ部１１１と、このディスプレイ部１１１の画面上に文字図形などの表示を行うための表示信号ＳＣＨを発生させるためのＯＳＤ(On Screen Display)回路１１２と、その表示信号ＳＣＨを上述した画像信号処理部１１０から出力されるＨＤ信号に合成してディスプレイ部１１１に供給するための合成器１１３とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００３４】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力されるＳＤ信号（５２５ｉ信号）は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶されたＳＤ信号は画像信号処理部１１０に供給され、ＨＤ信号（１０５０ｉ信号）に変換される。すなわち、画像信号処理部１１０では、ＳＤ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ＨＤ信号を構成する画素データ（以下、「ＨＤ画素データ」という）が得られる。この画像信号処理部１１０より出力されるＨＤ信号はディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはそのＨＤ信号による画像が表示される。
【００３５】
ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の画質を変更できる。画像信号処理部１１０では、後述するように、ＨＤ画素データが推定式によって算出されるが、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって調整された値ｈ1，ｖ1，ｈ2，ｖ2に対応したものが生成されて使用される。ここで、ｈ1，ｖ1は第１のパラメータの値を構成し、ｈ2，ｖ2は第２のパラメータの値を構成している。
【００３６】
これにより、画像信号処理部１１０より出力されるＨＤ信号による画像の画質は、調整された値ｈ1，ｖ1，ｈ2，ｖ2に対応したものとなる。なお、パラメータの調整状態では、ディスプレイ部１１１の画面上に、パラメータの値の表示が行われる。ユーザは、この表示を参照して、パラメータの値を調整できる。
【００３７】
次に、画像信号処理部１１０の詳細を説明する。
画像信号処理部１１０は、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００３８】
第１のタップ選択回路１２１は、予測に使用するＳＤ画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、ＳＤ画素データのレベル分布パターンに対応するクラス分類に使用するＳＤ画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きに対応するクラス分類に使用するＳＤ画素（「動きクラスタップ」と称する）のデータを選択的に取り出するものである。なお、空間クラスを複数フィールドに属するＳＤ画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００３９】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４０】
空間クラス検出回路１２４では、例えば、各ＳＤ画素データを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、各ＳＤ画素データに対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００４１】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータ（ＳＤ画素データ）の最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータとしての各ＳＤ画素データｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[  ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個のＳＤ画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］      ・・・（１）
【００４２】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００４３】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）ｍｉ，ｎｉからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えば上述したように１２個のＳＤ画素データｍ１〜ｍ６，ｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００４４】
【数１】
0004649786.tif 000002
【００４５】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００４６】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべきＨＤ信号（１０５０ｉ信号）の画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータ（ＳＤ画素データ）の個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００４７】
【数２】
0004649786.tif 000003
【００４８】
また、画像信号処理部１１０は、係数メモリ１３４を有している。この係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の複数の係数データＷｉを、クラス毎に、格納するものである。この係数データは、ＳＤ信号（５２５ｉ信号）を、ＨＤ信号（１０５０ｉ信号）に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が読み出され、推定予測演算回路１２７に供給されることとなる。
【００４９】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。後述する推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべきＨＤ画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップ数が１０個であるとき、（４）式におけるｎは１０となる。
【００５０】
【数３】
0004649786.tif 000004
【００５１】
情報メモリバンク１３５には、この推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する際に用いられる第１の係数種データとしての係数種データｗ1i0〜ｗ1i9（ｉ＝１〜ｎ）と、第２の係数種データとしての係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9（ｉ＝１〜ｎ）が、記憶されている。
【００５２】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
【００５３】
図２は、奇数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ1〜ＨＤ4における中心予測タップＳＤ0からの位相ずれを示している。ここで、ＨＤ1〜ＨＤ4の位置は、それぞれ、ＳＤ0の位置から水平方向にｋ1〜ｋ4、垂直方向にｍ1〜ｍ4だけずれている。
【００５４】
図３は、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ1′〜ＨＤ4′における中心予測タップＳＤ0′からの位相ずれを示している。ここで、ＨＤ1′〜ＨＤ4′の位置は、それぞれ、ＳＤ0′の位置から水平方向にｋ1′〜ｋ4′、垂直方向にｍ1′〜ｍ4′だけずれている。
【００５５】
したがって、上述した情報メモリバンク１３５には、クラスおよび出力画素（ＨＤ1〜ＨＤ4，ＨＤ1′〜ＨＤ4′）の組み合わせ毎に、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9（ｉ＝１〜ｎ）が格納されている。
【００５６】
図４は、係数種データｗ1i0〜ｗ1i9の生成方法を示している。
まず、ＨＤ信号から複数のＳＤ信号を生成する。この場合、ＨＤ信号からＳＤ信号を得る際に使用する落としフィルタの水平周波数特性と垂直周波数特性を可変するパラメータｈ，ｖを、それぞれ４，５，６，７，８に５段階に可変して、合計２５種類のＳＤ信号を生成する。次に、生成された複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データｗ1i0〜ｗ1i9を生成する。
【００５７】
図５は、パラメータｈ，ｖを４，５，６，７，８としたときの落としフィルタにおける水平、垂直の周波数特性を示している。このとき、パラメータｈ，ｖの値が「１」だけ変化する毎に、第１の物理的な特徴量としての帯域が一定幅だけ変化し、パラメータｈ，ｖの値が小さくなるほど帯域は狭くなる。なお、画像のサンプリング周波数をｆsとし、フィルタのサンプリング周波数をｆとするとき、横軸は２ｆ／ｆsを表している。因に、パラメータｈ，ｖが６のときの落としフィルタは、ゲイン０．５において２ｆ／ｆsが０．５であるため、ハーフバンドフィルタを構成している。
【００５８】
図５に示す周波数特性の落としフィルタはいずれもある周波数ｆまで通過させる構成であるため、これらのフィルタを使うと、周波数ｆより小さな周波数帯の信号成分はすべて通過し、周波数ｆより大きい周波数帯の信号成分は通過できないことになる。したがって、これらのフィルタによって、画像のエッジ部分のボケ具合が異なる生徒信号が生成され、これらの生徒信号を使って学習をすると、エッジを強調するような推定式の係数データＷｉを得るための係数種データｗ1i0〜ｗ1i9を得ることができる。
【００５９】
係数種データｗ1i0〜ｗ1i9の求め方を説明する。
ここでは、上述した（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を、（５）式の近似式で表現する。この（５）式における係数データｗi0〜ｗi9を求める。
0004649786.tif 000005
【００６０】
ここで、以下の説明のため、（６）式のように、ｔｊ（ｊ＝０〜９）を定義する。
0004649786.tif 000006
この（６）式を用いると、（５）式は、（７）式のように書き換えられる。
【００６１】
【数４】
0004649786.tif 000007
【００６２】
最終的に、上述したように生成された２５種類のＳＤ信号（図４参照）を使用した学習によって、未定係数ｗijを求める。すなわち、クラスおよび出力画素毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（８）式で表される。ここで、ｘikはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【００６３】
【数５】
0004649786.tif 000008
【００６４】
最小二乗法による解法では、（８）式のｗijによる偏微分が０になるようなｗijを求める。これは、（９）式で示される。
【００６５】
【数６】
0004649786.tif 000009
【００６６】
以下、（１０）式、（１１）式のように、Ｘipjq、Ｙipを定義すると、（９）式は、行列を用いて（１２）式のように書き換えられる。
【００６７】
【数７】
0004649786.tif 000010
【００６８】
【数８】
0004649786.tif 000011
【００６９】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数データｗi0〜ｗi9が算出される。このように算出された係数データｗi0〜ｗi9が係数種データｗ1i0〜ｗ1i9となる。
このように求められる係数種データｗ1i0〜ｗ1i9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１２に示すような、基底曲面を表すものとなる。
【００７０】
図６は、係数種データｗ2ai0〜ｗ2ai9の生成方法を示している。
まず、ＨＤ信号から複数のＳＤ信号を生成する。この場合、ＨＤ信号からＳＤ信号を得る際に使用する落としフィルタの水平周波数特性を可変するパラメータｈを４，５，６，７，８に５段階に可変し、この落としフィルタの垂直周波数特性を可変するパラメータｖを１，２，３，４，５，６の６段階に可変して、合計３０種類のＳＤ信号を生成する。次に、生成された複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データｗ2ai0〜ｗ2ai9を生成する。
【００７１】
図７は、パラメータｖを１，２，３，４，５，６としたときの落としフィルタにおける垂直周波数特性を示している。このとき、パラメータｖの値が「１」だけ変化する毎に、第２の物理的な特徴量としての肩特性が一定幅だけ変化し、パラメータｖの値が小さくなるほど肩部分が滑らかになる。なお、画像のサンプリング周波数をｆsとし、フィルタのサンプリング周波数をｆとするとき、横軸は２ｆ／ｆsを表している。
【００７２】
図７に示す周波数特性の落としフィルタはいずれも高域をある程度通過させながら、低域の通過部分を狭める構成であるため、これらのフィルタを使うと、エッジ部分が残りつつ、画像全体がうっすらとボケたようになる。したがって、これらのフィルタによって、画像全体のボケ具合が異なる生徒信号が生成され、これらの生徒信号を使って学習をすると、画像全体を強調するような推定式の係数データＷｉを得るための係数種データｗ2ai0〜ｗ2ai9を得ることができる。
なお、パラメータｈを４，５，６，７，８としたときの落としフィルタにおける水平周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合と同様である（図５、図７の破線参照）。
【００７３】
ここで、ｖ＝６としたときの落としフィルタにおける垂直周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合においてｖ＝６としたときの落としフィルタにおける垂直周波数特性と等しいものとされる。これにより、帯域（第１の物理的な特徴量）が所定値（ｖ＝６）であるときの周波数特性より、肩特性（第２の物理的な特徴量）を変化させて行くことになる。
【００７４】
係数種データｗ2ai0〜ｗ2ai9の求め方は、詳細説明は省略するが、上述した係数種データｗ1i0〜ｗ1i9を求める場合と同様である。ただし、ここでは、上述したように生成された３０種類のＳＤ信号（図６参照）を使用した学習によって、未定係数ｗijを求めることとなる。
このように求められる係数種データｗ2ai0〜ｗ2ai9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１２に示すような、派生曲面３を表すものとなる。
【００７５】
図８は、係数種データｗ2bi0〜ｗ2bi9の生成方法を示している。
まず、ＨＤ信号から複数のＳＤ信号を生成する。この場合、ＨＤ信号からＳＤ信号を得る際に使用する落としフィルタの水平周波数特性を可変するパラメータｈを４，５，６，７，８に５段階に可変し、この落としフィルタの垂直周波数特性を可変するパラメータｖを０，１，２，３，４，５の６段階に可変して、合計３０種類のＳＤ信号を生成する。次に、生成された複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データｗ2bi0〜ｗ2bi9を生成する。
【００７６】
図９は、パラメータｖを０，１，２，３，４，５としたときの落としフィルタにおける垂直周波数特性を示している。このとき、パラメータｖの値が「１」だけ変化する毎に、第２の物理的な特徴量としての肩特性が一定幅だけ変化し、パラメータｖの値が小さくなるほど肩部分が滑らかになる。なお、画像のサンプリング周波数をｆsとし、フィルタのサンプリング周波数をｆとするとき、横軸は２ｆ／ｆsを表している。なお、パラメータｈを４，５，６，７，８としたときの落としフィルタにおける水平周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合と同様である（図５、図９の破線参照）。
【００７７】
ここで、ｖ＝５としたときの落としフィルタにおける垂直周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合においてｖ＝５としたときの落としフィルタにおける垂直周波数特性と等しいものとされる。これにより、帯域（第１の物理的な特徴量）が所定値（ｖ＝５）であるときの周波数特性より、肩特性（第２の物理的な特徴量）を変化させて行くことになる。
【００７８】
係数種データｗ2bi0〜ｗ2bi9の求め方は、詳細説明は省略するが、上述した係数種データｗ1i0〜ｗ1i9を求める場合と同様である。ただし、ここでは、上述したように生成された３０種類のＳＤ信号（図８参照）を使用した学習によって、未定係数ｗijを求めることとなる。
このように求められる係数種データｗ2bi0〜ｗ2bi9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１２に示すような、派生曲面２を表すものとなる。
【００７９】
図１０は、係数種データｗ2ci0〜ｗ2ci9の生成方法を示している。
まず、ＨＤ信号から複数のＳＤ信号を生成する。この場合、ＨＤ信号からＳＤ信号を得る際に使用する落としフィルタの水平周波数特性を可変するパラメータｈを４，５，６，７，８に５段階に可変し、この落としフィルタの垂直周波数特性を可変するパラメータｖを−１，０，１，２，３，４の６段階に可変して、合計３０種類のＳＤ信号を生成する。次に、生成された複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データｗ2ci0〜ｗ2ci9を生成する。
【００８０】
図１１は、パラメータｖを−１，０，１，２，３，４としたときの落としフィルタにおける垂直周波数特性を示している。このとき、パラメータｖの値が「１」だけ変化する毎に、第２の物理的な特徴量としての肩特性が一定幅だけ変化し、パラメータｖの値が小さくなるほど肩部分が滑らかになる。なお、画像のサンプリング周波数をｆsとし、フィルタのサンプリング周波数をｆとするとき、横軸は２ｆ／ｆsを表している。なお、パラメータｈを４，５，６，７，８としたときの落としフィルタにおける水平周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合と同様である（図５、図１１の破線参照）。
【００８１】
ここで、ｖ＝４としたときの落としフィルタにおける垂直周波数特性は、上述した係数種データｗ1i0〜ｗ1i9を生成する場合においてｖ＝４としたときの落としフィルタにおける垂直周波数特性と等しいものとされる。これにより、帯域（第１の物理的な特徴量）が所定値（ｖ＝４）であるときの周波数特性より、肩特性（第２の物理的な特徴量）を変化させて行くことになる。
【００８２】
係数種データｗ2ci0〜ｗ2ci9の求め方は、詳細説明は省略するが、上述した係数種データｗ1i0〜ｗ1i9を求める場合と同様である。ただし、ここでは、上述したように生成された３０種類のＳＤ信号（図１０参照）を使用した学習によって、未定係数ｗijを求めることとなる。
このように求められる係数種データｗ2ci0〜ｗ2ci9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１２に示すような、派生曲面１を表すものとなる。
【００８３】
上述した係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9は、いずれも肩特性（第２の物理的な特徴量）によって垂直周波数特性を変化させたフィルタで生成された生徒信号から求めたものであり、派生曲面１〜３の曲面形状は似通ったものとなる。
【００８４】
なお、パラメータｈを固定することで、図１２に示すような係数空間は、図１３に示すように平面で表すことができる。図１４は、落としフィルタの帯域、肩特性と係数データＷｉとの対応関係を示している。左側の係数データＡ〜Ｉが、それぞれ右側のＡ〜Ｉの帯域、肩特性に対応している。
【００８５】
また、図１に戻って、画像信号処理部１１０は、情報メモリバンク１３５に格納されている係数種データに基づいて、クラスおよび出力画素の組み合わせ毎に、調整された値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを演算で求める係数生成回路１３６とを有している。
【００８６】
ここで、係数生成回路１３６における推定式の係数データＷｉの演算について説明する。
図１５は、係数空間における係数データＷｉの指定の流れを示している。まず、値ｈ1，ｖ1によって基底曲面上の点を指定し、次に、値ｈ2，ｖ2によってこの指定された基底曲面上の点を含む派生曲面上の点を指定する。この指定された派生曲面上の点が、値ｈ1，ｖ1，ｈ2，ｖ2に対応した、求めるべき係数データＷｉとなる。なお、上述したように、肩特性を変化させる方向を垂直方向として、係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9を求めているので、ｈ1＝ｈ2である。
【００８７】
値ｈ1，ｖ1，ｈ2，ｖ2に対応した係数データＷｉの求め方を説明する。
まず、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応した第２の係数種データが情報メモリバンク１３５に存在する場合について説明する。この場合、当該第２の係数種データを、（５）式の係数データｗi0〜ｗi9に適用すると共に、この（５）式のパラメータｈ，ｖにｈ2，ｖ2を代入することで、係数データＷｉを求める。
【００８８】
次に、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応した第２の係数種データが情報メモリバンク１３５に存在していない場合について説明する。この場合、補間処理によって、係数データＷｉを求める。
【００８９】
図１６に示すように、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）が派生曲面２，３の間に位置する場合を例にとり、図１７を参照して補間処理を説明する。
この場合、値ｈ1，ｖ1，ｈ2，ｖ2に対応した係数データＷｉをＸとすると、Ｘは（１３）式で算出される。
Ｘ＝（Ｗａ＊ｂ＋Ｗｂ＊ａ）／（ａ＋ｂ）        ・・・（１３）
【００９０】
ここで、Ｗａは、派生曲面３に対応した係数種データｗ2ai0〜ｗ2ai9を（５）式の係数データｗi0〜ｗi9に適用すると共に、この（５）式のパラメータｈ，ｖにｈ2，ｖaを代入することで、求められる係数データＷｉである。ただし、ｖa＝ｖ2＋（６−ｖ1）である。
【００９１】
また、Ｗｂは、派生曲面２に対応した係数種データｗ2bi0〜ｗ2bi9を（５）式の係数データｗi0〜ｗi9に適用すると共に、この（５）式のパラメータｈ，ｖにｈ2，ｖbを代入することで、求められる係数データＷｉである。ただし、ｖb＝ｖ2−（ｖ1−５）である。
【００９２】
また、基底曲面に対応した係数種データｗ1i0〜ｗ1i9を（５）式の係数データｗi0〜ｗi9に適用し、この（５）式のパラメータｈ，ｖにそれぞれ「ｈ1，５」、「ｈ1，ｖ1」、「ｈ1，６」を代入して得られる係数データＷｉをＷ5，Ｗv1，Ｗ6とするとき、ａ＝Ｗ6−Ｗv1、ｂ＝Ｗv1−Ｗ5である。
【００９３】
なお、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）が派生曲面１，２の間に位置する場合も、同様の補間処理によって、値ｈ1，ｖ1，ｈ2，ｖ2に対応した係数データＷｉを求めることができる。ただし、着目派生曲面が派生曲面１や派生曲面３の外側に位置する場合には、この補間処理を使用できない。したがって、本実施の形態においては、例えば着目派生曲面が派生曲面１〜派生曲面３の間に位置するように値ｖ1の変化範囲が制限されるが、着目派生曲面が派生曲面１や派生曲面３の外側に位置する場合には、後述する平行移動処理を適用するようにしてもよい。
【００９４】
図１に戻って、係数生成回路１３６による推定式の係数データＷｉの生成は、例えば各垂直ブランキング期間で行われる。これにより、ユーザのリモコン送信機２００の操作によって値ｈ1，ｖ1，ｈ2，ｖ2が変更されても、係数メモリ１３４に格納される各クラスの係数データＷｉを、その値に対応したものに即座に変更でき、ユーザによる画質調整がスムーズに行われる。
【００９５】
また、画像信号処理部１１０は、係数生成回路１３６で求められる係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（１４）式によって、演算する正規化係数演算部１３７と、この正規化係数Ｓを格納する正規化係数メモリ１３８とを有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【００９６】
【数９】
0004649786.tif 000012
【００９７】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべきＨＤ信号の画素（注目画素）のデータを演算する推定予測演算回路１２７を有している。
【００９８】
上述したように、ＳＤ信号（５２５ｉ信号）をＨＤ信号（１０５０ｉ信号）に変換する際には、ＳＤ信号の１画素に対してＨＤ信号の４画素（図２のＨＤ1〜ＨＤ4、図３のＨＤ1′〜ＨＤ4′参照）を得る必要があることから、この推定予測演算回路１２７では、ＨＤ信号を構成する２×２の単位画素ブロック毎に、画素データが生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の４画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１３４よりその単位画素ブロックを構成する４画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4は、それぞれ個別に上述した（４）式の推定式で演算される。
【００９９】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される４画素のデータｙ1〜ｙ4を、正規化係数メモリ１３８より読み出される、それぞれの演算に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で求められる推定式の係数データＷｉを求めるものであるが、求められる係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ1〜ｙ4は、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【０１００】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′を線順次化して１０５０ｉ信号のフォーマットで出力する後処理回路１２９を有している。
【０１０１】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１２２で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１０２】
また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第３のタップ選択回路１２３で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１０３】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードｑｉとから、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック毎にその単位画素ブロック内の４画素（注目画素）が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１０４】
係数メモリ１３４には、例えば各垂直ブランキング期間に、係数生成回路１３６で、ユーザによって調整された値ｈ1，ｖ1，ｈ2，ｖ2の値に対応して、クラスおよび出力画素（ＨＤ1〜ＨＤ4，ＨＤ1′〜ＨＤ4′）の組み合わせ毎に、推定式の係数データＷｉ（ｉ＝１〜ｎ）が求められて格納される。この場合、係数生成回路１３６では、情報メモリバンク１３５に格納されている第１の係数種データとしての係数種データｗ1i0〜ｗ1i9（ｉ＝１〜ｎ）と、第２の係数種データとしての係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9（ｉ＝１〜ｎ）とに基づいて、上述したように補間処理等によって、推定式の係数データＷｉが求められる。
また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で求められた推定式の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数演算部１３７で生成されて格納される。
【０１０５】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した４出力画素（奇数フィールドではＨＤ1〜ＨＤ4、偶数フィールドではＨＤ1′〜ＨＤ4′）分の推定式の係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されているＳＤ信号（５２５ｉ信号）より、第１のタップ選択回路１２１で、作成すべきＨＤ信号（１０５０ｉ信号）を構成する単位画素ブロック内の４画素（注目画素）の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。
【０１０６】
推定予測演算回路１２７では、予測タップのデータ（ＳＤ画素データ）ｘｉと、係数メモリ１３４より読み出される４出力画素分の係数データＷｉとから、作成すべきＨＤ信号を構成する単位画素ブロック内の４画素（注目画素）のデータｙ1〜ｙ4が演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力されるＨＤ信号を構成する単位画素ブロック内の４画素のデータｙ1〜ｙ4は正規化演算回路１２８に供給される。
【０１０７】
正規化係数メモリ１３８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4の演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路１２８に供給される。この正規化演算回路１２８では、推定予測演算回路１２７より出力されるＨＤ画素データｙ1〜ｙ4がそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数生成回路１３６で係数データＷｉを求める際の丸め誤差によるデータｙ1〜ｙ4のレベル変動が除去される。
【０１０８】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′は後処理回路１２９に供給される。この後処理回路１２９では、正規化演算回路１２８より順次供給される単位画素ブロック内の４画素のデータｙ1′〜ｙ4′が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１２９からは、ＨＤ信号としての１０５０ｉ信号が出力される。
【０１０９】
上述したように、図１に示すテレビ受信機１００では、情報メモリバンク１３５に記憶されている係数種データに基づいて、クラスおよび出力画素の組み合わせ毎に、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉが演算で求められる。このクラスおよび出力画素の組み合わせ毎の推定式の係数データＷｉが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される係数データＷｉを用いて推定予測演算回路１２７でＨＤ画素データｙが演算される。
【０１１０】
したがって、ユーザは、値ｈ1，ｖ1，ｈ2，ｖ2を調整することで、ＨＤ信号によって得られる画像の画質を任意に調整することができる。なおこの場合、値ｈ1，ｖ1，ｈ2，ｖ2に対応した、クラスおよび出力画素の組み合わせ毎の係数データＷｉをその都度、係数生成回路１３６で生成して使用するものであり、大量の係数データを格納しておくメモリを必要としない。
【０１１１】
また、教師信号から第１の物理的な特徴量としての帯域を変化させた落としフィルタを用いて得られた複数の生徒信号と教師信号との間の学習によって生成される第１の係数種データとしての係数種データｗ1i0〜ｗ1i9と、教師信号から第１の物理的な特徴量としての肩特性を変化させた落としフィルタを用いて得られた複数の生徒信号と教師信号との間の学習によって生成される第２の係数種データとしての係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9とに基づいて、推定式の係数データＷｉを生成するものであり、推定式の係数データＷｉとして多様に変化するものを得ることができ、従ってＨＤ信号による画像の画質を多様に調整することができる。
【０１１２】
また、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応した第２の係数種データが情報メモリバンク１３５に存在していいない場合には、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを補間処理によって求めるものであり（（１３）式参照）、情報メモリバンク１３５に格納しておく係数種データを大幅に削減することができ、情報メモリバンク１３５のメモリ容量を大幅に節約できる。また、同様の理由によって、係数種データの算出に伴う学習の数も減らすことができ、開発効率の向上にもつながる。
【０１１３】
なお、上述実施の形態においては、情報メモリバンク１３５に、第２の係数種データとして派生曲面１〜３に対応した係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9が格納されるものを示したが、情報メモリバンク１３５に、さらに多くの派生曲面に対応する係数種データを格納して使用するようにしてもよい。
【０１１４】
また、上述実施の形態においては、情報メモリバンク１３５に、第２の係数種データとして係数種データｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9，ｗ2ci0〜ｗ2ci9が格納され、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応した第２の係数種データが情報メモリバンク１３５に存在していない場合には、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを補間処理によって求めるものを示したが、情報メモリバンク１３５に、第２の係数種データとして例えば係数種データｗ2ai0〜ｗ2ai9のみが格納され、この係数種データｗ2ai0〜ｗ2ai9が値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応していない場合には、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを平行移動処理によって求めることも考えられる。
【０１１５】
この場合、情報メモリバンク１３５には、第１の係数種データとしての係数種データｗ1i0〜ｗ1i9と、第２の係数種データとしての係数種データｗ2ai0〜ｗ2ai9が格納される。これら係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9の生成方法は上述したと同様である。係数種データｗ1i0〜ｗ1i9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１８に示すような、基底曲面を表すものとなる。また、係数種データｗ2ai0〜ｗ2ai9を、（５）式の近似式の係数データｗi0〜ｗi9に適用した場合、当該（５）式は、図１８に示すような、派生曲面を表すものとなる。
【０１１６】
なお、パラメータｈを固定することで、図１８に示すような係数空間は、図１９に示すように平面で表すことができる。図２０は、落としフィルタの帯域、肩特性と係数データＷｉとの対応関係を示している。左側の係数データＡ〜Ｉが、それぞれ右側のＡ〜Ｉの帯域、肩特性に対応している。
このように情報メモリバンク１３５に係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9が格納される場合、係数生成回路１３６における推定式の係数データＷｉの演算は以下のように行われる。
【０１１７】
図２１は、係数空間における係数データＷｉの指定の流れを示している。まず、値ｈ1，ｖ1によって基底曲面上の点を指定し、次に、値ｈ2，ｖ2によってこの指定された基底曲面上の点を含む派生曲面上の点を指定する。この指定された派生曲面上の点が、値ｈ1，ｖ1，ｈ2，ｖ2に対応した、求めるべき係数データＷｉとなる。なお、上述したように、肩特性を変化させる方向を垂直方向として、係数種データｗ2ai0〜ｗ2ai9を求めているので、ｈ1＝ｈ2である。
【０１１８】
値ｈ1，ｖ1，ｈ2，ｖ2に対応した係数データＷｉの求め方を説明する。
まず、情報メモリバンク１３５に存在する係数種データｗ2ai0〜ｗ2ai9が、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応している場合について説明する。この場合、係数種データｗ2ai0〜ｗ2ai9を、（５）式の係数データｗi0〜ｗi9に適用すると共に、この（５）式のパラメータｈ，ｖにｈ2，ｖ2を代入することで、係数データＷｉを求める。
【０１１９】
次に、情報メモリバンク１３５に存在する係数種データｗ2ai0〜ｗ2ai9が、値ｈ1，ｖ1によって指定される基底曲面上の点を含む派生曲面（着目派生曲面）に対応していない場合について説明する。この場合、平行移動処理によって、係数データＷｉを求める。図２２を参照して補間処理を説明する。
この場合、値ｈ1，ｖ1，ｈ2，ｖ2に対応した係数データＷｉをＸとすると、Ｘは（１５）式で算出される。
Ｘ＝Ｗａ＋（Ｗv1−Ｗ6）          ・・・（１５）
【０１２０】
ここで、Ｗａは、派生曲面に対応した係数種データｗ2ai0〜ｗ2ai9を（５）式の係数データｗi0〜ｗi9に適用すると共に、この（５）式のパラメータｈ，ｖにｈ2，ｖaを代入することで、求められる係数データＷｉである。ただし、ｖa＝ｖ2＋（６−ｖ1）である。
また、Ｗv1，Ｗ6は、基底曲面に対応した係数種データｗ1i0〜ｗ1i9を（５）式の係数データｗi0〜ｗi9に適用し、この（５）式のパラメータｈ，ｖにそれぞれ「ｈ1，ｖ1」、「ｈ1，６」を代入することで、求められる係数データＷｉである。
【０１２１】
このように、情報メモリバンク１３５に係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9が格納される場合においても、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを良好に得ることができる。また、このように平行移動処理によって推定式の係数データＷｉを求めるものにあっては、上述した補間処理によって推定式の係数データＷｉを求めるものに比べて、情報メモリバンク１３５に格納する係数種データを少なくでき、メモリ容量をさらに節約できる。
また、上述実施の形態においては、肩特性を変化させる方向が垂直方向であるものを示したが、水平方向であっても同様に考えることができる。
【０１２２】
図２３は、上述したテレビ受信機１００の情報メモリバンク１３５に格納される係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２とを有している。このＳＤ信号生成回路１５２にはパラメータｈ，ｖが供給される。図示せずも、ＳＤ信号生成回路１５２は、水平および垂直の間引きフィルタからなっている。
【０１２３】
水平間引きフィルタは、間引き処理によって、水平方向の画素数を、ＨＤ信号に対応した数からＳＤ信号に対応した数に減少させる。この水平間引きフィルタは、落としフィルタとしても機能し、供給されるパラメータｈの値によって、水平方向の周波数特性が変化する。すなわち、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を生成する場合、パラメータｈの値が４，５，６，７，８であるとき、図５に示すように、帯域が変化する。
【０１２４】
垂直間引きフィルタは、間引き処理によって、垂直方向の画素数を、ＨＤ信号に対応した数からＳＤ信号に対応した数に減少させる。この垂直間引きフィルタは、落としフィルタとしても機能し、供給されるパラメータｖの値によって、垂直方向の周波数特性が変化する。
【０１２５】
すなわち、係数種データｗ1i0〜ｗ1i9を生成する場合、パラメータｖの値が４，５，６，７，８であるとき、図５に示すように、帯域が変化する。また、係数種データｗ2ai0〜ｗ2ai9を生成する場合、パラメータｖの値が１，２，３，４，５，６であるとき、図７に示すように、肩特性が変化する。また、係数種データｗ2bi0〜ｗ2bi9を生成する場合、パラメータｖの値が０，１，２，３，４，５であるとき、図９に示すように、肩特性が変化する。さらに、係数種データｗ2ci0〜ｗ2ci9を生成する場合、パラメータｖの値が−１，０，１，２，３，４であるとき、図１１に示すように、肩特性が変化する。
【０１２６】
また、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２より出力されるＳＤ信号（５２５ｉ信号）より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。
【０１２７】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１２８】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１２９】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１３０】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号から得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、パラメータｈ，ｖの値と、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を得るための正規方程式（（１２）式参照）を生成する正規方程式生成部１６０を有している。
【０１３１】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップのデータ（ＳＤ画素データ）ｘｉとの組み合わせで学習データが生成されるが、パラメータｈ，ｖの値の変化に対応してＳＤ信号生成回路１５２における水平および垂直の周波数特性が可変され、複数のＳＤ信号が順次生成されていく。これにより、正規方程式生成部１６０では、パラメータｈ，ｖの値が異なる多くの学習データが登録された正規方程式が生成され、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9をそれぞれ求めることが可能となる。
【０１３２】
またこの場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップのデータ（ＳＤ画素データ）ｘｉとの組み合わせで学習データが生成されるが、正規方程式生成部１６０では、出力画素（図２のＨＤ1〜ＨＤ4、図３のＨＤ１′〜ＨＤ4′参照）毎に、正規方程式が生成される。例えば、ＨＤ1に対応した正規方程式は、中心予測タップに対するずれ値がＨＤ1と同じ関係にあるＨＤ画素データｙから構成される学習データから生成される。
【０１３３】
また、係数種データ生成装置１５０は、正規方程式生成部１６０で、クラスおよび出力画素の組み合わせ毎に生成された正規方程式のデータが供給され、当該正規方程式を解いて、クラスおよび出力画素の組み合わせ毎に、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を求める係数種データ決定部１６１と、この求められた係数種データを記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数種データが求められる。
【０１３４】
図２３に示す係数種データ生成装置１５０の動作を説明する。
入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。
【０１３５】
このＳＤ信号（５２５ｉ信号）より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１３６】
また、ＳＤ信号生成回路１５２で生成されたＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１３７】
このクラス情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これらクラス情報ＭＶと再量子化コードｑｉとから、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１３８】
また、ＳＤ信号生成回路１５２で生成されるＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。
【０１３９】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、パラメータｈ，ｖの値と、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１６０では、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（１２）式参照）が個別に生成される。
【０１４０】
ここで、係数種データｗ1i0〜ｗ1i9を生成する場合、パラメータｈ，ｖが４，５，６，７，８のように順次変更され、そのとき垂直、水平の間引きフィルタの帯域が図５に示すように変化するようにされるため、正規方程式生成部１６０で生成される正規方程式は係数種データｗ1i0〜ｗ1i9を得るためのものとなる。
【０１４１】
また、係数種データｗ2ai0〜ｗ2ai9を生成する場合、パラメータｈが４，５，６，７，８のように順次変更され、そのとき水平間引きフィルタの帯域が図５に示すように変化するようにされると共に、パラメータｖが１，２，３，４，５，６のように順次変更され、そのとき垂直間引きフィルタの肩特性が図７に示すように変化するようにされる。そのため、正規方程式生成部１６０で生成される正規方程式は係数種データｗ2ai0〜ｗ2ai9を得るためのものとなる。
【０１４２】
また、係数種データｗ2bi0〜ｗ2bi9を生成する場合、パラメータｈが４，５，６，７，８のように順次変更され、そのとき水平間引きフィルタの帯域が図５に示すように変化するようにされると共に、パラメータｖが０，１，２，３，４，５のように順次変更され、そのとき垂直間引きフィルタの肩特性が図９に示すように変化するようにされる。そのため、正規方程式生成部１６０で生成される正規方程式は係数種データｗ2bi0〜ｗ2bi9を得るためのものとなる。
【０１４３】
また、係数種データｗ2ci0〜ｗ2ci9を生成する場合、パラメータｈが４，５，６，７，８のように順次変更され、そのとき水平間引きフィルタの帯域が図５に示すように変化するようにされると共に、パラメータｖが−１，０，１，２，３，４のように順次変更され、そのとき垂直間引きフィルタの肩特性が図１１に示すように変化するようにされる。そのため、正規方程式生成部１６０で生成される正規方程式は係数種データｗ2ci0〜ｗ2ci9を得るためのものとなる。
【０１４４】
そして、係数データ決定部１６１で各正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9が求められ、それらの係数種データは係数種メモリ１６２に記憶される。
【０１４５】
このように、図２３に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される、クラスおよび出力画素（ＨＤ1〜ＨＤ4，ＨＤ1′〜ＨＤ4′）の組み合わせ毎の、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を生成することができる。
なお、図１の画像信号処理部１１０における処理を、例えば図２４に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１４６】
まず、図２４に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の処理プログラム、さらに推定式の係数データＷｉを生成するために使用される係数種データ（図１の画像信号処理部１１０の情報メモリバンク１３５に予め蓄えられている情報と同じ）等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１４７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（Ｒ）ディスク３０６をドライブするフロッピー（Ｒ）ディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１４８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１４９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１５０】
また、画像信号処理装置３００は、ＳＤ信号を入力するための入力端子３１４と、ＨＤ信号を出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１５１】
ここで、上述したようにＲＯＭ３０２に処理プログラム等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラム、係数種データ等をフロッピー（Ｒ）ディスク３０６で提供するようにしてもよい。
【０１５２】
また、処理すべきＳＤ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１５３】
図２５のフローチャートを参照して、図２４に示す画像信号処理装置３００における、ＳＤ信号よりＨＤ信号を得るため処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、ＳＤ画素データをフレーム単位またはフィールド単位で入力する。このＳＤ画素データが入力端子３１４より入力される場合には、このＳＤ画素データをＲＡＭ３０３に一時的に格納する。また、このＳＤ画素データがハードディスクに記録されている場合には、ハードディスクドライブ３０７でこのＳＤ画素データを読み出し、ＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力ＳＤ画素データの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１５４】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して入力した画質指定値、つまりｈ1，ｖ1，ｈ2，ｖ2を例えばＲＡＭ３０３より読み込む。そして、ステップＳＴ６で、例えばＲＯＭ３０２から、推定式の係数データＷｉを生成するために使用する係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を読み込む。
【０１５５】
次に、ステップＳＴ７で、ステップＳＴ５で読み込んだ値ｈ1，ｖ1，ｈ2，ｖ2およびステップＳＴ６で取得された係数種データとから、クラスおよび出力画素の組み合わせ毎に、値ｈ1，ｖ1，ｈ2，ｖ2に対応した推定式の係数データＷｉを生成する。
【０１５６】
次に、ステップＳＴ８で、ステップＳＴ２で入力されたＳＤ画素データより、生成すべき各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ９で、入力されたＳＤ画素データの全領域においてＨＤ画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドのＳＤ画素データの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１０に進む。
【０１５７】
このステップＳＴ１０では、ステップＳＴ９で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１１で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、ＨＤ画素データを生成し、その後にステップＳＴ８に戻って、上述したと同様の処理を繰り返す。
【０１５８】
このように、図２５に示すフローチャートに沿って処理をすることで、入力されたＳＤ信号を構成するＳＤ画素データを処理して、ＨＤ信号を構成するＨＤ画素データを得ることができる。上述したように、このように処理して得られたＨＤ信号は出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
また、処理装置の図示は省略するが、図２３の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０１５９】
図２６のフローチャートを参照して、推定式の係数データＷｉを生成するために使用する係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を生成する処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われるＳＤ画素データを生成する際に使用する落としフィルタの水平、垂直の周波数特性を選択する。そして、ステップＳＴ２３で、水平、垂直の全周波数特性に対して学習が終わったか否かを判定する。全周波数特性に対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０１６０】
このステップＳＴ２４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ２５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の周波数特性を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０１６１】
このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ画素データより、ステップＳＴ２２で選択された水平、垂直の周波数特性の落としフィルタを使用してＳＤ画素データを生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ画素データより、ステップＳＴ２４で入力された各ＨＤ画素データに対応してクラスタップおよび予測タップの画素データを取得する。
【０１６２】
そして、ステップＳＴ２８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。
【０１６３】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、係数種データｗi0〜ｗi9を得るための正規方程式（（１２）式参照）を生成する。ここでは、クラスおよび出力画素の組み合わせ毎に、正規方程式が個別に生成される。その後に、ステップＳＴ２７に戻る。
【０１６４】
また、ステップＳＴ２３で、全ての周波数特性に対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、各正規方程式を掃き出し法等で解くことによって、クラスおよび出力画素の組み合わせ毎の係数種データｗi0〜ｗi9を算出し、ステップＳＴ３２で、その係数種データｗi0〜ｗi9をメモリに保存する。
【０１６５】
ここで、ステップＳＴ２２で係数種ｗ1i0〜ｗ1i9を得るための周波数特性を選択することで、ステップＳＴ３０では係数種データｗi0〜ｗi9として係数種ｗ1i0〜ｗ1i9を得るための正規方程式が生成され、ステップＳＴ３１で算出される係数種データｗi0〜ｗi9はｗ1i0〜ｗ1i9となる。以下同様にし、ステップＳＴ２２で選択される周波数特性を変更することで、ステップＳＴ３１で算出される係数種データｗi0〜ｗi9はｗ2ai0〜ｗ2ai9、ｗ2bi0〜ｗ2bi9またはｗ2ci0〜ｗ2ci9となる。
【０１６６】
次に、ステップＳＴ３３で、係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9の全てを算出したか否かを判定する。全てを算出していないときは、ステップＳＴ２２に戻って、次の係数種データを算出するための処理に移る。一方、全てを算出したときは、ステップＳＴ３４で、処理を終了する。
【０１６７】
このように、図２６に示すフローチャートに沿って処理をすることで、図２３に示す係数種データ生成装置１５０と同様の手法によって、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される係数種データｗ1i0〜ｗ1i9，ｗ2ai0〜ｗ2ai9，ｗ2bi0〜ｗ2bi9およびｗ2ci0〜ｗ2ci9を生成することができる。
【０１６８】
なお、上述実施の形態においては、落としフィルタの周波数特性を変化させる物理的な特徴量として、帯域および肩特性の２種類を使用する例を示したが、３種類以上の物理的な特徴量を使用することもできる。この場合、第３以降の物理的な特徴量によって、それぞれ他の物理的な特徴量の所定値に対応した周波数特性よりこの周波数特性を変化させた落としフィルタを用いて得られた生徒信号を用いて、第３以降の係数種データの算出が行われる。
【０１６９】
したがって、第３以降の係数種データに対応した派生曲面は、基底曲面や他の派生曲面に必ず交わる。例えば、第３の係数種データを考えると、この第３の係数種データに対応した派生曲面は、図２７Ａに示すように、第１の係数種データに対応した基底曲面と交わるか、あるいは図２７Ｂに示すように、第２の係数種データに対応した派生曲面と交わる。
【０１７０】
図２７Ａの場合、第３の物理的な特徴量がｖ＝６に対応した値であるときの落としフィルタの周波数特性は、第１の物理的な特徴量（例えば帯域）がｖ＝６に対応した値であるときの落としフィルタの周波数特性と同じくなる。また、図２７Ｂの場合、第３の物理的な特徴量がｖ＝１に対応した値であるときの落としフィルタの周波数特性は、第２の物理的な特徴量（肩特性）がｖ＝１に対応した値であるときの落としフィルタの周波数特性と同じくなる。
【０１７１】
ユーザは、使用する物理的な特徴量の数に対応した画質の調整軸をもつことになる。この場合、図２７Ａに示すように基底曲面▲１▼に派生曲面▲２▼，▲３▼が交わる場合と、図２７Ｂに示すように基底曲面▲１▼に派生曲面▲２▼が交わり、この派生曲面▲２▼に派生曲面▲３▼が交わる場合とでは、係数データＷｉの指定の仕方が異なってくる。
【０１７２】
図２７Ａに示すような場合、図２８に示すように、まず、基底曲面▲１▼上の点を指定し、この指定された点を含む派生曲面▲２▼′または▲３▼′上の点を指定する。つまり、この場合には、派生曲面▲２▼または▲３▼に対応した調整軸のいずれかを選択的に使用して調整することとなる。
【０１７３】
図２７Ｂに示すような場合、図２９に示すように、まず、基底曲面▲１▼上の点を指定し、次に、この指定された点を含む派生曲面▲２▼′上の点を指定し、さらにこの指定された点を含む派生曲面▲３▼′上の点を指定する。つまり、この場合には、派生曲面▲２▼，▲３▼に対応した調整軸の双方を使用して調整することとなる。
【０１７４】
このように、曲面の空間的なつながりを利用して、様々な調整軸で画質を調整でき、ユーザの好みに応じた任意の画質を得ることができる。このように、３種類以上の物理的な特徴量を使用する場合にも、上述した補間処理や平行移動処理等によって、指定された係数データＷｉを生成して、推定予測演算回路１２７で使用することができる。
【０１７５】
また、上述実施の形態において、情報メモリバンク１３５には、出力画素（ＨＤ1〜ＨＤ4、ＨＤ1′〜ＨＤ4′）毎に、推定式の係数データＷｉを生成するための係数種データが記憶されている。ＳＤ信号（５２５ｉ信号）の画素に対する出力画素の位相を変更することで、１０５０ｉ信号以外のＨＤ信号も同様にして得ることができる。
また、上述実施の形態においては、クラス分けをするものを示したが、この発明はクラス分けをしないものにも同様に適用できることは勿論である。
【０１７６】
また、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０１７７】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを、教師信号から複数の物理的な特徴量によってそれぞれ周波数特性を変化させた落としフィルタを用いて得られた複数種類の生徒信号と教師信号との間の学習によって生成される複数種類の係数種データに基づいて生成するものであり、係数データを格納しておくメモリの容量増加を招くことなく、パラメータの値の変化に対応した係数データを得ることができ、従ってパラメータの値を調整して第２の情報信号による出力の質を任意に調整することができ、また多様に変化する係数データを得ることができ、従って第２の情報信号による出力の質を多様に調整することができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（奇数フィールド）を示す図である。
【図３】ＨＤ信号（１０５０ｉ信号）の単位画素ブロック内の４画素の中心予測タップからの位相ずれ（偶数フィールド）を示す図である。
【図４】係数種データｗ1i0〜ｗ1i9の生成方法を示す図である。
【図５】パラメータｈ，ｖを４，５，６，７，８としたときの落としフィルタにおける水平、垂直の周波数特性（帯域変化）を示す図である。
【図６】係数種データｗ2ai0〜ｗ2ai9の生成方法を示す図である。
【図７】パラメータｖを１，２，３，４，５，６としたときの落としフィルタにおける垂直周波数特性（肩特性変化）を示す図である。
【図８】係数種データｗ2bi0〜ｗ2bi9の生成方法を示す図である。
【図９】パラメータｖを０，１，２，３，４，５としたときの落としフィルタにおける垂直周波数特性（肩特性変化）を示す図である。
【図１０】係数種データｗ2ci0〜ｗ2ci9の生成方法を示す図である。
【図１１】パラメータｖを−１，０，１，２，３，４としたときの落としフィルタにおける垂直周波数特性（肩特性変化）を示す図である。
【図１２】基底曲面、派生曲面を含む係数空間の模式図である。
【図１３】基底曲面、派生曲面を含む係数空間（平面）の模式図である。
【図１４】落としフィルタの帯域、肩特性と係数データＷｉとの対応関係を示す図である。
【図１５】係数空間における係数データＷｉの指定の流れを示す図である。
【図１６】着目派生曲面が派生曲面２，３の間に存在する場合を示す図である。
【図１７】補間処理を説明するための図である。
【図１８】基底曲面、派生曲面を含む係数空間の模式図である。
【図１９】基底曲面、派生曲面を含む係数空間（平面）の模式図である。
【図２０】落としフィルタの帯域、肩特性と係数データＷｉとの対応関係を示す図である。
【図２１】係数空間における係数データＷｉの指定の流れを示す図である。
【図２２】平行移動処理を説明するための図である。
【図２３】係数種データ生成装置の構成例を示すブロック図である。
【図２４】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図２５】画像信号処理を示すフローチャートである。
【図２６】係数種データ生成処理を示すフローチャートである。
【図２７】第３の係数種データを考えた場合の係数空間の模式図である。
【図２８】係数データの指定の仕方を説明するための図である。
【図２９】係数データの指定の仕方を説明するための図である。
【図３０】５２５ｉ信号と１０５０ｉ信号の画素位置関係を示す図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１１２・・・ＯＳＤ回路、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・後処理回路、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数演算部、１３８・・・正規化係数メモリ、１５０・・・係数種データ生成装置，１５１・・・入力端子、１５２・・・ＳＤ信号生成回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数種データ決定部、１６２・・・係数種メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置
【図１】
0004649786.tif 000013
【図２】
0004649786.tif 000014
【図３】
0004649786.tif 000015
【図４】
0004649786.tif 000016
【図５】
0004649786.tif 000017
【図６】
0004649786.tif 000018
【図７】
0004649786.tif 000019
【図８】
0004649786.tif 000020
【図９】
0004649786.tif 000021
【図１０】
0004649786.tif 000022
【図１１】
0004649786.tif 000023
【図１２】
0004649786.tif 000024
【図１３】
0004649786.tif 000025
【図１４】
0004649786.tif 000026
【図１５】
0004649786.tif 000027
【図１６】
0004649786.tif 000028
【図１７】
0004649786.tif 000029
【図１８】
0004649786.tif 000030
【図１９】
0004649786.tif 000031
【図２０】
0004649786.tif 000032
【図２１】
0004649786.tif 000033
【図２２】
0004649786.tif 000034
【図２３】
0004649786.tif 000035
【図２４】
0004649786.tif 000036
【図２５】
0004649786.tif 000037
【図２６】
0004649786.tif 000038
【図２７】
0004649786.tif 000039
【図２８】
0004649786.tif 000040
【図２９】
0004649786.tif 000041
【図３０】
0004649786.tif 000042