(57)【要約】【課題】ＨＤ信号を構成する画素データを良好に得る。【解決手段】ＳＤ信号から抽出されたクラスタップとしての複数の画素データからクラスコードＣａおよびダイナミックレンジＤＲを取得する。係数ＲＯＭ１０５から、クラスコードＣａ、ダイナミックレンジＤＲに対応した係数データＷｉａを得る。ＳＤ信号から抽出された予測タップとしての複数の画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙの予測データｙｐを求め、さらにこの各クラスの予測データｙｐを例えば大きい方から順に並べ換える。予測演算回路１１０で、並べ換えられた各クラスの予測データｙｐｉと、係数データＷｉａとから、推定式に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する画素データｙ１〜ｙ４を算出する。【選択図】        図１
2005005804.tif 000002
【特許請求の範囲】
【請求項１】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類手段と、
少なくとも上記クラス分類手段で得られた第１のクラスコードに対応した、第１の推定式で用いられる係数データを発生する第１の係数データ発生手段と、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、
上記予測タップ抽出手段で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記第１の情報信号における着目位置に対応した、上記第２の情報信号を構成する情報データの予測データを得る全クラス予測処理手段と、
上記第１の係数データ発生手段で発生された係数データおよび上記全クラス予測処理手段で得られた各クラスの予測データを用い、上記第１の推定式に基づいて、上記第２の情報信号を構成する情報データを算出する第１の予測演算手段と
を備えることを特徴とする情報信号処理装置。
【請求項２】
上記全クラス予測処理手段は、
上記複数のクラスのそれぞれにおける、第２の推定式で用いられる係数データを発生する第２の係数データ発生手段と、
上記第２の係数データ発生手段で発生された各クラスの係数データおよび上記予測タップ抽出手段で抽出された予測タップを用い、上記第２の推定式に基づいて、上記各クラスの予測データを得る第２の予測演算手段とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項３】
上記第２の係数データ発生手段は、
予め求められた、各クラスの、上記第２の推定式で用いられる係数データが格納された記憶手段を用いて各クラスの係数データを発生する
ことを特徴とする請求項２に記載の情報信号処理装置。
【請求項４】
上記第２の係数データ発生手段は、
予め求められた、各クラスの、上記第２の推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種データを格納する記憶手段と、
上記記憶手段に記憶されている各クラスに対応した係数種データを用い、上記生成式に基づいて、各クラスの、上記第２の推定式で用いられる係数データを生成する係数データ生成手段とを有する
ことを特徴とする請求項２に記載の情報信号処理装置。
【請求項５】
上記第１の係数データ発生手段は、
予め求められた、上記第１のクラスコードに係る各クラスに対応した、上記第１の推定式で用いられる係数データが記憶された記憶手段を用いて、上記第１のクラスコードに対応した係数データを発生する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項６】
上記第１の係数データ発生手段は、
少なくとも上記クラス分類手段で得られた第１のクラスコードに対応した第２のクラスコードを得るクラス再分類部と、
予め求められた、上記第２のクラスコードに係る各クラスに対応した、上記第１の推定式で用いられる係数データが記憶された記憶手段を用いて、上記クラス再分類部で得られた第２のクラスコードに対応した係数データを発生する係数データ発生部とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項７】
上記第２のクラスコードは、
上記全クラス予測処理手段で得られる各クラスの予測データが存在する範囲に対する、上記第１の情報信号における着目位置に対応した、上記第２の情報信号を構成する情報データの真値の存在位置に対応したクラス分類情報である
ことを特徴とする請求項６に記載の情報信号処理装置。
【請求項８】
上記第２のクラスコードは、
上記真値が上記範囲よりも小さい位置に存在する第１のクラス、上記真値が上記範囲内に存在する第２のクラス、および上記真値が上記範囲よりも大きい位置に存在する第３のクラスのいずれかを表す
ことを特徴とする請求項７に記載の情報信号処理装置。
【請求項９】
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジを検出するダイナミックレンジ検出手段をさらに備え、
上記第１の係数データ発生手段は、
上記クラス分類手段で得られた第１のクラスコードおよび上記ダイナミックレンジ検出手段で検出されたダイナミックレンジに対応した、上記第１の推定式で用いられる係数データを発生する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項１０】
上記予測タップ抽出手段で抽出された予測タップを用いて、上記クラス分類手段で得られた第１のクラスコードが表すクラスの、上記第１の情報信号における着目位置に対応した、上記第２の情報信号を構成する情報データの予測データを得る予測処理手段と、
上記全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べた場合における、上記予測処理手段で得られた予測データの位置を検出する位置検出手段とをさらに備え、
上記第１の係数データ発生手段は、
上記クラス分類手段で得られた第１のクラスコードおよび上記位置検出手段で検出された位置に対応した、上記第１の推定式で用いられる係数データを発生する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項１１】
上記情報信号は、画像信号または音声信号である
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項１２】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、
少なくとも上記クラス分類工程で得られたクラスコードに対応した、推定式で用いられる係数データを発生する係数データ発生工程と、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記第１の情報信号における着目位置に対応した、上記第２の情報信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記係数データ発生工程で発生された係数データおよび上記全クラス予測処理工程で得られた各クラスの予測データを用い、上記推定式に基づいて、上記第２の情報信号を構成する情報データを算出する予測演算工程と
を備えることを特徴とする情報信号処理方法。
【請求項１３】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換するために、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、
少なくとも上記クラス分類工程で得られたクラスコードに対応した、推定式で用いられる係数データを発生する係数データ発生工程と、
上記第１の情報信号に基づいて、該第１の情報信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記第１の情報信号における着目位置に対応した、上記第２の情報信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記係数データ発生工程で発生された係数データおよび上記全クラス予測処理工程で得られた各クラスの予測データを用い、上記推定式に基づいて、上記第２の情報信号を構成する情報データを算出する予測演算工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラム。
【請求項１４】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する装置であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを得るクラス分類手段と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、
上記予測タップ抽出手段で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、
上記全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、
少なくとも上記クラス分類手段で得られたクラスコード、上記並べ換え手段で並べ換えられた各クラスの予測データおよび上記教師データ抽出手段で抽出された教師データに基づいて、少なくとも各クラスに対応した、上記推定式で用いられる係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項１５】
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジを検出するダイナミックレンジ検出手段をさらに備え、
上記演算手段は、上記クラス分類手段で得られたクラスコード、上記ダイナミックレンジ検出手段で検出されたダイナミックレンジ、上記並べ換え手段で並べ換えられた各クラスの予測データおよび上記教師データ抽出手段で抽出された教師データに基づいて、クラスおよびダイナミックレンジの各組み合わせの係数データを求める
ことを特徴とする請求項１４に記載の係数データ生成装置。
【請求項１６】
上記予測タップ抽出手段で抽出された予測タップを用いて、上記クラス分類手段で得られたクラスコードが表すクラスの、上記生徒信号における着目位置に対応した、上記教師信号を構成する情報データの予測データを得る予測処理手段と、
上記並べ換え手段で並べ換えられた各クラスの予測データにおける、上記予測処理手段で得られた予測データの位置を検出する位置検出手段とをさらに備え、
上記演算手段は、上記クラス分類手段で得られたクラスコード、上記位置検出手段で検出された位置、上記並べ換え手段で並べ換えられた各クラスの予測データおよび上記教師データ抽出手段で抽出された教師データに基づいて、クラスおよび位置の各組み合わせの係数データを求める
ことを特徴とする請求項１４に記載の係数データ生成装置。
【請求項１７】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する方法であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを得るクラス分類工程と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
少なくとも上記クラス分類工程で得られたクラスコード、上記並べ換え工程で並べ換えられた各クラスの予測データおよび上記教師データ抽出工程で抽出された教師データに基づいて、少なくとも各クラスに対応した、上記推定式で用いられる係数データを求める演算工程と
を備えることを特徴とする係数データ生成方法。
【請求項１８】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成するために、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを得るクラス分類工程と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
少なくとも上記クラス分類工程で得られたクラスコード、上記並べ換え工程で並べ換えられた各クラスの予測データおよび上記教師データ抽出工程で抽出された教師データに基づいて、少なくとも各クラスに対応した、上記推定式で用いられる係数データを求める演算工程と
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
【請求項１９】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される少なくとも第１のクラスコードと第２のクラスコードとの対応関係を生成する装置であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類手段と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、
上記予測タップ抽出手段で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、
上記全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、
上記並べ換え手段で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出手段で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較手段と、
少なくとも上記クラス分類手段で得られた第１のクラスコード、上記比較手段で得られた位置情報に基づいて、少なくとも第１のクラスコードと上記位置情報に係る上記第２のクラスコードとの対応関係を生成するテーブル生成手段と
を備えることを特徴とするルックアップテーブル生成装置。
【請求項２０】
上記クラスタップ抽出手段で抽出されたクラスタップに基づいて、該クラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジを検出するダイナミックレンジ検出手段をさらに備え、
上記テーブル生成手段は、クラス分類手段で得られた第１のクラスコード、上記ダイナミックレンジ検出手段で検出されたダイナミックレンジ、上記比較手段で得られた位置情報に基づいて、上記第１のクラスコードおよび上記ダイナミックレンジと、上記第２のクラスコードとの対応関係を生成する
ことを特徴とする請求項１９に記載のルックアップテーブル生成装置。
【請求項２１】
上記予測タップ抽出手段で抽出された予測タップを用いて、上記クラス分類手段で得られたクラスコードが表すクラスの、上記生徒信号における着目位置に対応した、上記教師信号を構成する情報データの予測データを得る予測処理手段と、
上記並べ換え手段で並べ換えられた各クラスの予測データにおける、上記予測処理手段で得られた予測データの位置を検出する位置検出手段とをさらに備え、
上記テーブル生成手段は、クラス分類手段で得られた第１のクラスコード、上記位置検出手段で検出された位置、上記比較手段で得られた位置情報に基づいて、上記第１のクラスコードおよび上記位置と、上記第２のクラスコードとの対応関係を生成する
ことを特徴とする請求項１９に記載のルックアップテーブル生成装置。
【請求項２２】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される少なくとも第１のクラスコードと第２のクラスコードとの対応関係を生成する方法であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
上記並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出工程で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、
少なくとも上記クラス分類工程で得られた第１のクラスコード、上記比較工程で得られた位置情報に基づいて、少なくとも第１のクラスコードと上記位置情報に係る上記第２のクラスコードとの対応関係を生成するテーブル生成工程と
を備えることを特徴とするルックアップテーブル生成方法。
【請求項２３】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される少なくとも第１のクラスコードと第２のクラスコードとの対応関係を生成するために、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、
上記クラスタップ抽出工程で抽出されたクラスタップに基づいて、該クラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、
上記生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
上記並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出工程で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、
少なくとも上記クラス分類工程で得られた第１のクラスコード、上記比較工程で得られた位置情報に基づいて、少なくとも第１のクラスコードと上記位置情報に係る上記第２のクラスコードとの対応関係を生成するテーブル生成工程と
を備えるルックアップテーブル生成方法をコンピュータに実行させるためのプログラム。
【請求項２４】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する装置であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、
上記予測タップ抽出手段で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、
上記全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、
上記並べ換え手段で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出手段で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較手段と、
上記比較手段で得られた位置情報、上記並べ換え手段で得られた各クラスの予測データおよび上記教師データ抽出手段で抽出された教師データに基づいて、上記位置情報で示される各存在位置に対応した、上記推定式で用いられる係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項２５】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する方法であって、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
上記並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出工程で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、
上記比較工程で得られた位置情報、上記並べ換え工程で得られた各クラスの予測データおよび上記教師データ抽出工程で抽出された教師データに基づいて、上記位置情報で示される各存在位置に対応した、上記推定式で用いられる係数データを求める演算工程と
を備えることを特徴とする係数データ生成方法。
【請求項２６】
複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成するために、
上記第１の情報信号に対応する生徒信号に基づいて、該生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、
上記予測タップ抽出工程で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、上記生徒信号における着目位置に対応した、上記第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、
上記全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、
上記教師信号に基づいて、上記生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、
上記並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出工程で抽出された教師データとを比較し、上記教師データの、上記各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、
上記比較工程で得られた位置情報、上記並べ換え工程で得られた各クラスの予測データおよび上記教師データ抽出工程で抽出された教師データに基づいて、上記位置情報で示される各存在位置に対応した、上記推定式で用いられる係数データを求める演算工程と
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する際に適用して好適な、情報信号の処理装置および処理方法、係数データの生成装置および生成方法、ルックアップテーブルの生成装置および生成方法、並びに各方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データを、該着目位置に対応したクラスの係数データおよび各クラスの予測データを用いて推定式で算出することによって、第２の情報信号を構成する情報データを良好に得ることができるようにした情報信号処理装置等に係るものである。
【０００３】
【従来の技術】
近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の線形補間による手法よりも、クラス分類を伴う変換処理を行う方が、性能的に良好な結果が得られることが知られている（特許文献１、特許文献２参照）。
【０００４】
このクラス分類を伴う変換処理とは、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＳＤ信号の着目位置に対応したクラスを検出し、このクラスに対応した係数データを用い、推定式に基づいて、予測タップとしてのＳＤ信号の複数個の画素データから、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データを生成するものである。そして、このクラス分類を伴う変換処理で使用される係数データは、予めクラス毎に最小二乗法等の学習によって決定される。
【０００５】
【特許文献１】
特開平７−９５５９１号公報
【特許文献２】
特開２０００−５９７４０号公報
【０００６】
【発明が解決しようとする課題】
上述したように、クラス分類を伴う変換処理では、あるクラスに分類されると、それ以外のクラスでは何も予測処理を行わない構成になっていた。すなわち、分類されたクラスの係数データと予測タップとしてのＳＤ信号の複数個の画素データとを用い、推定式に基づいて、ＨＤ信号を構成する画素データを算出するものである。
【０００７】
この場合、予測タップとしてのＳＤ信号の複数個の画素データは、求めるべきＨＤ信号を構成する画素データの真値に必ずしも近い値を持つとは限らない。そのため、予測タップとしてのＳＤ信号の複数個の画素データを用いて算出されたＨＤ信号を構成する画素データは、その真値に対する誤差が大きく、ＨＤ信号による画像の画質を劣化させるおそれがあった。
【０００８】
この発明の目的は、第１の情報信号を第２の情報信号に変換する際に、第２の情報信号を構成する情報データを良好に得ることにある。
【０００９】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する情報信号処理装置であって、第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、このクラスタップ抽出手段で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類手段と、少なくともクラス分類手段で得られた第１のクラスコードに対応した、第１の推定式で用いられる係数データを発生する第１の係数データ発生手段と、第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、この予測タップ抽出手段で抽出された予測タップを用いて、上記複数のクラスのそれぞれの、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの予測データを得る全クラス予測処理手段と、第１の係数データ発生手段で発生された係数データおよび全クラス予測処理手段で得られた各クラスの予測データを用い、第１の推定式に基づいて、第２の情報信号を構成する情報データを算出する第１の予測演算手段とを備えるものである。
【００１０】
また、この発明に係る情報信号処理方法は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する情報信号処理方法であって、第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、このクラスタップ抽出工程で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、少なくともクラス分類工程で得られたクラスコードに対応した、推定式で用いられる係数データを発生する係数データ発生工程と、第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、この予測タップ抽出工程で抽出された予測タップを用いて、複数のクラスのそれぞれの、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの予測データを得る全クラス予測処理工程と、係数データ発生工程で発生された係数データおよび全クラス予測処理工程で得られた各クラスの予測データを用い、推定式に基づいて、第２の情報信号を構成する情報データを算出する予測演算工程とを備えるものである。
【００１１】
また、この発明に係るプログラムは、上述した情報信号処理方法をコンピュータに実行させるためのものである。
【００１２】
この発明においては、複数個の情報データからなる第１の情報信号が、複数個の情報データからなる第２の情報信号に変換される。ここで、情報信号は、例えば複数個の画素データ（サンプルデータ）からなる画像信号、あるいは複数個のサンプルデータからなる音声信号等である。
【００１３】
第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データがクラスタップとして抽出される。同様に、第１の情報信号に基づいて、この第１の情報信号における着目位置の周辺に位置する複数個の情報データが予測タップとして抽出される。
【００１４】
抽出されたクラスタップが複数のクラスのうちのいずれかのクラスに分類されて第１のクラスコードが得られる。そして、少なくともこの第１のクラスコードに対応した、第１の推定式で用いられる係数データが発生される。
【００１５】
例えば、予め求められた、第１のクラスコードに係る各クラスコードに対応した、第１の推定式で用いられる係数データが記憶された記憶手段を用いて、第１のクラスコードに対応した係数データが発生される。
【００１６】
また例えば、少なくとも第１のクラスコードに対応した第２のクラスコードが得られ、そして、予め求められた、第２のクラスコードに係る各クラスに対応した、第１の推定式で用いられる係数データが記憶された記憶手段を用いて、第２のクラスコードに対応した係数データが発生される。
【００１７】
ここで、第２のクラスコードは、例えば、後述する各クラスの予測データが存在する範囲に対する、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの真値の存在位置に対応したクラス分類情報とされる。例えば、第２のクラスコードは、真値が上記範囲よりも小さい位置に存在する第１のクラス、真値が上記範囲内に存在する第２のクラス、および真値が上記範囲よりも大きい位置に存在する第３のクラスのいずれかを表すものとされる。
【００１８】
また例えば、クラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジが検出され、このダイナミックレンジおよび第１のクラスコードに対応した、第１の推定式で用いられる係数データが発生される。
【００１９】
また例えば、抽出された予測タップを用いて、第１のクラスコードが表すクラスの、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの予測データが得られると共に、後述する各クラスの予測データを大きい方からあるいは小さい方から順に並べた場合における上述の予測データの位置が検出され、この位置および第１のクラスコードに対応した、第１の推定式で用いられる係数データが発生される。
【００２０】
また、抽出された予測タップを用いて、複数のクラスのそれぞれにおける、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの予測データが得られる。この場合、例えば、複数のクラスのそれぞれにおける、第２の推定式で用いられる係数データが発生され、各クラスの係数データおよび予測タップを用い、第２の推定式に基づいて、各クラスの予測データが得られる。
【００２１】
例えば、予め求められた、各クラスの、第２の推定式で用いられる係数データが格納された記憶手段を用いて各クラスの係数データが発生される。また例えば、予め求められた、各クラスの、第２の推定式で用いられる係数データを生成する所定のパラメータを含む生成式における係数データである係数種を用い、生成式に基づいて、各クラスの、第２の推定式で用いられる係数データが生成される。
【００２２】
そして、上述した第１の推定式に用いられる係数データおよび各クラスの予測データを用い、第１の推定式に基づいて、第２の情報信号を構成する情報データが算出される。
【００２３】
このように、この発明においては、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データを、この着目位置に対応したクラスの係数データおよび各クラスの予測データを用いて推定式で算出するものである。すなわち、この発明では、第２の情報信号を構成する情報データの真値に近い、各クラスの予測データを用いて、第２の情報信号を構成する情報データを算出して得るものであり、算出された情報データは、その真値に対する誤差が小さなものとなり、第２の情報信号を構成する情報データを良好に得ることができる。
【００２４】
また、この発明においては、第１のクラスコードを第２のクラスコードに変換し、そしてこの第２のクラスコードに対応して得られた第１の推定式で用いられる係数データを取得し、この係数データと予測タップとを用い、推定式に基づいて、第２の情報信号を構成する情報データを算出して得るものであり、第２のクラスコードに係るクラス数が第１のクラスコードに係るクラス数より少ないときは、例えば各クラスの係数データを格納しておく記憶媒体の容量を少なくできる。
【００２５】
また、この発明おいては、第２のクラスコードを、各クラスの予測データが存在する範囲に対する、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの真値の存在位置に対応したクラス分類情報とし、この第２のクラスコードに対応した係数データを使用するものであり、各クラスの予測データを用いて算出される第２の情報信号を構成する情報データを、その真値に良好に近づけることができる。
【００２６】
また、この発明に係る係数データ生成装置は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する装置であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、このクラスタップ抽出手段で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを得るクラス分類手段と、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、この予測タップ抽出手段で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、この全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、少なくとも上記クラス分類手段で得られたクラスコード、並べ換え手段で並べ換えられた各クラスの予測データおよび教師データ抽出手段で抽出された教師データに基づいて、少なくとも各クラスに対応した、推定式で用いられる係数データを求める演算手段とを備えるものである。
【００２７】
また、この発明に係る係数データ生成方法は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する方法であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、このクラスタップ抽出工程で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードを得るクラス分類工程と、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、この予測タップ抽出工程で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、この全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、少なくともクラス分類工程で得られたクラスコード、並べ換え工程で並べ換えられた各クラスの予測データおよび教師データ抽出工程で抽出された教師データに基づいて、少なくとも各クラスに対応した、推定式で用いられる係数データを求める演算工程とを備えるものである。
【００２８】
また、この発明に係るプログラムは、上述した係数データ生成方法をコンピュータに実行させるためのものである。
【００２９】
この発明においては、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データが生成される。ここで、情報信号は、例えば画像信号や音声信号である。
【００３０】
第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データがクラスタップとして抽出される。そして、このクラスタップが複数のクラスのうちのいずれかのクラスに分類されてクラスコードが得られる。
【００３１】
また、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データが予測タップとして抽出される。そして、この予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データが得られる。この各クラスの予測データが、大きい方から、あるいは小さい方から順に並べ換えられる。
【００３２】
また、教師信号に基づいて、生徒信号における着目位置に対応した情報データが、教師データとして抽出される。そして、上述したクラスコード、並べ換えられた各クラスの予測データおよび教師データに基づいて、少なくとも各クラスに対応した、推定式で用いられる係数データが求められる。
【００３３】
この場合、例えば、クラスタップに基づいて、このクラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジが検出される。そして、クラスコード、ダイナミックレンジ、並べ換えられた各クラスの予測データおよび教師データに基づいて、クラスおよびダイナミックレンジの各組み合わせの係数データが求められる。
【００３４】
また例えば、予測タップを用いて、クラスコードが表すクラスの、生徒信号における着目位置に対応した、教師信号を構成する情報データの予測データが得られ、さらにこの予測データの、並べ換えられた各クラスの予測データにおける位置が検出される。そして、クラスコード、位置、並べ換えられた各クラスの予測データおよび教師データに基づいて、クラスおよび位置の各組み合わせの係数データが求められる。
【００３５】
このように、この発明においては、各クラスの予測データから、推定式に基づいて、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データを、当該着目位置のクラスに対応して得る際に使用される係数データを良好に得ることができる。
【００３６】
また、この発明に係るルックアップテーブル生成装置は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される少なくとも第１のクラスコードと第２のクラスコードとの対応関係を生成する装置であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出手段と、このクラスタップ抽出手段で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類手段と、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、この予測タップ抽出手段で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、この全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、並べ換え手段で並べ換えられた各クラスの予測データの最大値および最小値と教師データ抽出手段で抽出された教師データとを比較し、この教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較手段と、少なくともクラス分類手段で得られた第１のクラスコード、比較手段で得られた位置情報に基づいて、少なくとも第１のクラスコードと位置情報に係る第２のクラスコードとの対応関係を生成するテーブル生成手段とを備えるものである。
【００３７】
また、この発明に係るルックアップテーブル生成方法は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される少なくとも第１のクラスコードと第２のクラスコードとの対応関係を生成する方法であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データをクラスタップとして抽出するクラスタップ抽出工程と、このクラスタップ抽出工程で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類して第１のクラスコードを得るクラス分類工程と、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、この予測タップ抽出工程で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、この全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と教師データ抽出工程で抽出された教師データとを比較し、この教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、少なくともクラス分類工程で得られた第１のクラスコード、比較工程で得られた位置情報に基づいて、少なくとも第１のクラスコードと位置情報に係る第２のクラスコードとの対応関係を生成するテーブル生成工程とを備えるものである。
【００３８】
また、この発明に係るプログラムは、上述したルックアップテーブル生成方法をコンピュータに実行させるためのものである。
【００３９】
この発明においては、複数個の情報データからなる第１の情報信号を、複数個の情報データからなる第２の情報信号に変換する際に使用される、少なくとも第１のクラスコードと第２のクラスコードとの対応関係が生成される。ここで、情報信号は、例えば画像信号や音声信号である。
【００４０】
第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データがクラスタップとして抽出される。そして、このクラスタップが複数のクラスのうちのいずれかのクラスに分類されてクラスコードが得られる。
【００４１】
また、生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データが予測タップとして抽出される。そして、この予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データが得られる。この各クラスの予測データが、大きい方から、あるいは小さい方から順に並べ換えられる。
【００４２】
また、教師信号に基づいて、生徒信号における着目位置に対応した情報データが、教師データとして抽出される。そして、並べ換えられた各クラスの予測データの最大値および最小値と教師データとが比較され、この教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報が得られる。
【００４３】
そして、少なくとも第１のクラスコード、位置情報に基づいて、少なくとも第１のクラスコードと位置情報に係る第２のクラスコードとの対応関係が生成される。
【００４４】
この場合、例えば、クラスタップに基づいて、このクラスタップに含まれる複数個の情報データの最大値および最小値の差分であるダイナミックレンジが検出される。そして、第１のクラスコード、ダイナミックレンジおよび位置情報に基づいて、第１のクラスコードおよびダイナミックレンジと、位置情報に係る第２のクラスコードとの対応関係が生成される。
【００４５】
また例えば、予測タップを用いて、クラスコードが表すクラスの、生徒信号における着目位置に対応した、教師信号を構成する情報データの予測データが得られ、さらにこの予測データの、並べ換えられた各クラスの予測データにおける位置が検出される。そして、第１のクラスコード、位置、および位置情報に基づいて、第１のクラスコードおよび位置と、位置情報に係る第２のクラスコードとの対応関係が生成される。
【００４６】
このように、この発明においては、少なくとも第１のクラスコード、位置情報に基づいて、少なくとも第１のクラスコードと位置情報に係る第２のクラスコードとの対応関係を生成するものであり、第２のクラスコードとして、各クラスの予測データが存在する範囲に対する、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの真値の存在位置に対応したクラス分類情報を得ることができる。
【００４７】
また、この発明に係る係数データ生成装置は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する装置であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出手段と、この予測タップ抽出手段で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理手段と、この全クラス予測処理手段で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え手段と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出手段と、並べ換え手段で並べ換えられた各クラスの予測データの最大値および最小値と上記教師データ抽出手段で抽出された教師データとを比較し、教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較手段と、この比較手段で得られた位置情報、並べ換え手段で得られた各クラスの予測データおよび教師データ抽出手段で抽出された教師データに基づいて、位置情報で示される各存在位置に対応した、推定式で用いられる係数データを求める演算手段とを備えるものである。
【００４８】
また、この発明に係る係数データ生成方法は、複数個の情報データからなる第１の情報信号を複数個の情報データからなる第２の情報信号に変換する際に使用される推定式で用いられる係数データを生成する方法であって、第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データを予測タップとして抽出する予測タップ抽出工程と、この予測タップ抽出工程で抽出された予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データを得る全クラス予測処理工程と、この全クラス予測処理工程で得られた各クラスの予測データを大きい方からあるいは小さい方から順に並べ換える並べ換え工程と、教師信号に基づいて、生徒信号における着目位置に対応した情報データを教師データとして抽出する教師データ抽出工程と、並べ換え工程で並べ換えられた各クラスの予測データの最大値および最小値と教師データ抽出工程で抽出された教師データとを比較し、教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報を得る比較工程と、この比較工程で得られた位置情報、並べ換え工程で得られた各クラスの予測データおよび教師データ抽出工程で抽出された教師データに基づいて、位置情報で示される各存在位置に対応した、推定式で用いられる係数データを求める演算工程とを備えるものである。
【００４９】
また、この発明に係るプログラムは、上述した係数データ生成方法をコンピュータに実行させるためのものである。
【００５０】
この発明においては、複数個の情報データからなる第１の情報信号を、複数個の情報データからなる第２の情報信号に変換する際に使用される、推定式で用いられる係数データが生成される。ここで、情報信号は、例えば画像信号や音声信号である。
【００５１】
第１の情報信号に対応する生徒信号に基づいて、この生徒信号における着目位置の周辺に位置する複数個の情報データが予測タップとして抽出される。そして、この予測タップを用いて、複数のクラスのそれぞれの、生徒信号における着目位置に対応した、第２の情報信号に対応する教師信号を構成する情報データの予測データが得られる。この各クラスの予測データが、大きい方から、あるいは小さい方から順に並べ換えられる。
【００５２】
また、教師信号に基づいて、生徒信号における着目位置に対応した情報データが、教師データとして抽出される。そして、並べ換えられた各クラスの予測データの最大値および最小値と教師データとが比較され、この教師データの、各クラスの予測データが存在する範囲に対する存在位置を示す位置情報が得られる。
【００５３】
そして、上述したように得られた位置情報、並べ換えられた各クラスの予測データおよび教師データに基づいて、位置情報で示される各存在位置に対応した、推定式で用いられる係数データが求められる。例えば、存在位置毎に、正規方程式が生成され、この正規方程式を解くことで、各存在位置に対応した係数データが算出される。
【００５４】
このように、この発明においては、各クラスの予測データから、推定式に基づいて、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データを、各クラスの予測データが存在する範囲に対する、第２の情報信号を構成する情報データの真値の存在位置に対応して得る際に使用される係数データを良好に得ることができる。
【００５５】
【発明の実施の形態】
この発明の第１の実施の形態について説明する。図１は、第１の実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、低解像度または標準解像度の画像信号（以下、「ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）信号」という）を、高解像度の画像信号（以下、「ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  ）信号に変換するものである。
【００５６】
図２は、ＳＤ信号とＨＤ信号の画素位置関係を示している。「○」がＳＤ信号の画素位置を表し、「×」がＨＤ信号の画素位置を表している。この場合、ＳＤ信号の１画素にＨＤ信号の４画素が対応している。すなわち、本実施の形態においては、ＳＤ信号が、その垂直方向および水平方向の画素数がそれぞれ２倍のＨＤ信号に変換される。本実施の形態において、ＳＤ信号、ＨＤ信号は、それぞれ、複数個の８ビットの画素データからなるものである。
【００５７】
図１に戻って、画像信号処理装置１００は、ＳＤ信号が入力される入力端子１０１、この入力端子１０１に入力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出するクラスタップ抽出回路１０２を有している。本実施の形態においては、例えば、図３Ａに示すように、ＳＤ信号における着目位置の周辺に位置する７個のＳＤ画素データがクラスタップとして抽出される。
【００５８】
また、画像信号処理装置１００は、クラスタップ抽出回路１０２で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップのクラスを表すクラスコードＣａを得るクラス分類回路１０３を有している。このクラス分類は、例えば、ＡＤＲＣ（Ａｄａｐｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｄｉｎｇ）、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の、何らかの圧縮処理を利用して行われる。
【００５９】
ＫビットでＡＤＲＣを行う場合の説明を行う。ＫビットＡＤＲＣにおいては、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮが検出され、このダイナミックレンジＤＲに基づいて、クラスタップに含まれるそれぞれの画素データがＫビットに再量子化される。
【００６０】
すなわち、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮが減算され、その減算値がＤＲ／２Ｋで除算（量子化）される。これにより、クラスタップを構成するそれぞれの画素データがＫビットに再量子化され、それを所定の順番で並べたビット列がクラスコードＣａとして出力される。
【００６１】
したがって、１ビットＡＤＲＣにおいては、このクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮが減算され、その減算値がＤＲ／２で除算される。これにより、クラスタップに含まれるそれぞれの画素データは１ビットに再量子化され、それを所定の順番で並べたビット列がクラスコードＣａとして出力される。
【００６２】
また、画像信号処理装置１００は、ダイナミックレンジ検出回路（ＤＲ検出回路）１０４を有している。このＤＲ処理回路１０４は、クラスタップ抽出回路１０２で抽出されたクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出する。
【００６３】
また、画像信号処理装置１００は、係数ＲＯＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５を有している。この係数ＲＯＭ１０５は、後述する予測演算回路１１０で使用される第１の推定式で用いられる、クラスコードＣａ、つまりこのクラスコードＣａが表すクラス、およびダイナミックレンジＤＲの各組み合わせの係数データＷｉａ（ｉ＝１〜Ｎ）を、格納するものである。ここで、Ｎはクラス数を示している。
【００６４】
上述したように、ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素（ｘ０）に対応してＨＤ信号の４画素（ｙ１〜ｙ４）を得る必要がある（図２参照）。この場合、ＨＤ信号の４画素は、対応するＳＤ信号の１画素に対して異なる位相ずれを持っている。そのため、係数メモリＲＯＭ１０５には、出力画素位置（ｙ１〜ｙ４の位置）毎に、クラスコードＣａおよびダイナミックレンジＤＲの各組み合わせの係数データＷｉａが格納されている。この係数ＲＯＭ１０５に格納される係数データＷｉａは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習することで得られたものである。この係数データＷｉａの生成方法については、後述する。
【００６５】
この係数ＲＯＭ１０５には、クラス分類回路１０３で得られたクラスコードＣａおよびＤＲ検出回路１０４で検出されたダイナミックレンジＤＲが、読み出しアドレス情報として供給される。係数ＲＯＭ１０５は、クラスコードＣａおよびダイナミックレンジＤＲに対応した係数データＷｉａを出力する。この係数ＲＯＭ１０５は、第１の係数データ発生手段を構成している。
【００６６】
また、画像信号処理装置１００は、入力端子１０１に入力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路１０６を有している。本実施の形態においては、例えば、図３Ｂに示すように、ＳＤ信号における着目位置の周辺に位置する１３個のＳＤ画素データが予測タップとして抽出される。図４は、この予測タップのタップ位置を示している。
【００６７】
また、画像信号処理装置１００は、係数ＲＯＭ１０７を有している。この係数ＲＯＭ１０７は、後述する全クラス予測演算回路１０８で使用される第２の推定式で用いられる、各クラスの係数データＷｉ（ｉ＝１〜ｎ）を、格納するものである。ここで、ｎは予測タップを構成する画素データの個数を示し、本実施の形態においてはｎ＝１３である（図３Ｂ、図４参照）。
【００６８】
上述したように、ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素（ｘ０）に対応してＨＤ信号の４画素（ｙ１〜ｙ４）を得る必要がある（図２参照）。そのため、係数ＲＯＭ１０７には、上述した係数ＲＯＭ１０５と同様に、クラスおよび出力画素位置（ｙ１〜ｙ４の位置）の組み合わせ毎に、係数データＷｉが格納されている。この係数ＲＯＭ１０７に格納される係数データＷｉは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習することで得られたものである。この係数データＷｉの生成方法については、後述する。この係数ＲＯＭ１０７は、第２の係数データ発生手段を構成している。
【００６９】
また、画像信号処理装置１００は、第２の予測演算手段としての全クラス予測演算回路１０８を有している。この全クラス予測演算回路１０８は、予測タップ抽出回路１０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ１０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を求める。この（１）式で、ｎは、予測タップを構成する画素データの個数を示し、本実施の形態においてはｎ＝１３である。この全クラス予測演算回路１０８および上述した係数ＲＯＭ１０７は、全クラス予測処理手段を構成している。
【００７０】
【数１】
2005005804.tif 000003
【００７１】
上述したように、ＳＤ信号をＨＤ信号に変換する際には、ＳＤ信号の１画素に対応してＨＤ信号の４画素を得る必要がある。そのため、全クラス予測演算回路１０８は、クラス毎に、４個の出力画素位置に対応した係数データＷｉを用い、４個の予測データｙ１ｐ〜ｙ４ｐを、それぞれ（１）式の推定式に基づいて個別に求める。
【００７２】
図５は、全クラス予測演算回路１０８の構成を示している。すなわち、この全クラス予測演算回路１０８は、クラス１〜クラスＮの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出するＮ個の予測演算器１０８−１〜１０８−Ｎを備えている。予測演算器１０８−１〜１０８−Ｎのそれぞれには、係数ＲＯＭ１０７からそれぞれ対応するクラスの係数データＷｉが読み出されて供給されると共に、予測タップとしての画素データｘｉが共通に供給される。そして、各予測演算器１０８−１〜１０８−Ｎでは、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。
【００７３】
また、画像信号処理装置１００は、全クラス予測演算回路１０８で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える並べ換え回路１０９を有している。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて個別に並べ換えが行われる。
【００７４】
図６は、並べ換え回路１０９における並べ換えの一例を示している。この場合、説明を簡単にするために、クラス数Ｎを５としている。入力されるクラス１〜５の予測データｙｐ１〜ｙｐ５がそれぞれ１００，１２８，１３０，１０，２５０であるとき、例えば大きい方から順に並べ換えられ、並べ換えられた予測データｙｐ１〜ｙｐ５として２５０，１３０，１２８，１００，１０が出力される。
【００７５】
また、画像信号処理装置１００は、第１の予測演算手段としての予測演算回路１１０を有している。この予測演算回路１１０は、並べ換え回路１０９で並べ換えられた各クラスの予測データｙｐｉと、係数ＲＯＭ１０５より出力される係数データＷｉａとから、（２）式に基づいて、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）を求める。ここで、Ｎはクラス数を示している。
【００７６】
【数２】
2005005804.tif 000004
【００７７】
上述したように、ＳＤ信号をＨＤ信号に変換する際には、ＳＤ信号の１画素に対応してＨＤ信号の４画素を得る必要がある。そのため、予測演算回路１１０は、４個の出力画素位置に対応した係数データＷｉａを用い、４個の画素データｙ１〜ｙ４を、それぞれ（２）式の推定式に基づいて個別に求める。
【００７８】
また、画像信号処理装置１００は、予測演算回路１１０より順次出力される、ＳＤ信号における各着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を線順次化してＨＤ信号を得る後処理回路１１１と、このＨＤ信号が出力される出力端子１１２とを有している。
【００７９】
次に、図１に示す画像信号処理装置１００の動作を説明する。
入力端子１０１に入力されるＳＤ信号は、クラスタップ抽出回路１０２に供給される。このクラスタップ抽出回路１０２では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路１０３およびＤＲ検出回路１０４に供給される。
【００８０】
クラス分類回路１０３では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。ＤＲ検出回路１０４では、クラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮが検出される。
【００８１】
これらクラスコードＣａおよびダイナミックレンジＤＲは、係数ＲＯＭ１０５に読み出しアドレス情報として供給される。係数ＲＯＭ１０５にクラスコードＣａおよびダイナミックレンジＤＲが供給されることで、この係数ＲＯＭ１０５からクラスコードＣａおよびダイナミックレンジＤＲに対応した、４出力画素位置分の係数データＷｉａが読み出されて予測演算回路１１０に供給される。
【００８２】
また、入力端子１０１に入力されるＳＤ信号は、予測タップ抽出回路１０６に供給される。この予測タップ抽出回路１０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、全クラス予測演算回路１０８に供給される。
【００８３】
この全クラス予測演算回路１０８では、予測タップ抽出回路１０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ１０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この全クラス予測演算回路１０８で算出された各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路１０９に供給される。
【００８４】
並べ換え回路１０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の各クラスの予測データｙｐｉは、予測演算回路１１０に供給される。
【００８５】
この予測演算回路１１０では、４出力画素位置分の各クラスの予測データｙｐｉと、係数ＲＯＭ１０５より出力される４出力画素位置分の係数データＷｉａとから、（２）式に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４が算出される。
【００８６】
この予測演算回路１１０より、ＳＤ信号における各着目位置に対応して順次出力される、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４は、後処理回路１１１に供給される。この後処理回路１１１では、予測演算回路１１０から順次供給される画素データｙ１〜ｙ４が線順次化され、ＨＤ信号が得られる。このＨＤ信号は、出力端子１１２に出力される。
【００８７】
図１に示す画像信号処理装置１００においては、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する画素データｙ１〜ｙ４を、この着目位置に対応したクラスコードＣａおよびダイナミックレンジＤＲに対応した係数データＷｉａと、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）とを用いて、（２）式の推定式で算出するものである。
【００８８】
したがって、この画像信号処理装置１００においては、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値に近い、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて、当該ＨＤ信号を構成する画素データｙ１〜ｙ４を算出して得るものであり、この画素データｙ１〜ｙ４は、その真値に対する誤差が小さなものとなり、ＨＤ信号を構成する画素データｙ１〜ｙ４を良好に得ることができる。
【００８９】
なお、図１に示す画像信号処理装置１００における並べ換え回路１０９は、必ずしも必要ではない。要は、予測演算回路１１０の部分で各クラスの予測データｙｐの大きさの順番がわかり、各クラスの予測データｙｐにそれぞれ対応する係数データＷｉａを乗算できればよい。
【００９０】
次に、図１の画像信号処理装置１００の係数ＲＯＭ１０７に格納される、各クラスの係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。
【００９１】
学習方法を説明する。上述の（１）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗｎは未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（１）式に従って、以下に示す（３）式が設定される。ｎは予測タップの数を示している。なお、ここでは、（１）式のｙｐをｙとして扱う。
2005005804.tif 000005
【００９２】
ｍ＞ｎの場合、係数データＷ１，Ｗ２，‥‥，Ｗｎは、一意に決まらないので、誤差ベクトルｅの要素ｅｋを、以下の式（４）で定義し、（５）式のｅ２を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
2005005804.tif 000006
【００９３】
【数３】
2005005804.tif 000007
【００９４】
（５）式のｅ２を最小とする係数データを求めるための実際的な計算方法としては、まず、（６）式に示すように、ｅ２を係数データＷｉ（ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００９５】
【数４】
2005005804.tif 000008
【００９６】
（７）式、（８）式のようにＸｊｉ，Ｙｉを定義すると、（６）式は、（９）式の行列式の形に書くことができる。この（９）式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１〜ｎ）を求めることができる。
【００９７】
【数５】
2005005804.tif 000009
【００９８】
【数６】
2005005804.tif 000010
【００９９】
図７は、図１の係数ＲＯＭ１０７に格納される係数データＷｉを生成する係数データ生成装置２００の構成を示している。
この係数データ生成装置２００は、教師信号としてのＨＤ信号が入力される入力端子２０１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路２０２とを有している。
【０１００】
また、係数データ生成装置２００は、ＳＤ信号生成回路２０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出するクラスタップ抽出回路２０３を有している。このクラスタップ抽出回路２０３は、上述した図１の画像信号処理装置１００のクラスタップ抽出回路１０２と同様に構成される。
【０１０１】
また、係数データ生成装置２００は、クラスタップ抽出回路２０３で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップのクラスを表すクラスコードＣａを得るクラス分類回路２０４を有している。このクラス分類回路２０４は、上述した図１の画像信号処理装置１００のクラス分類回路１０３と同様に構成される。
【０１０２】
また、係数データ生成装置２００は、ＳＤ信号生成回路２０２より出力されるＳＤ信号の時間調整を行うための遅延回路２０５と、この遅延回路２０５より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路２０６を有している。この予測タップ抽出回路２０６は、上述した図１の画像信号処理装置１００の予測タップ抽出回路１０６と同様に構成される。
【０１０３】
また、係数データ生成装置２００は、入力端子２０１に入力されるＨＤ信号の時間調整を行うための遅延回路２０７と、この遅延回路２０７より出力されるＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データを教師データとして抽出する教師データ抽出回路２０８とを有している。この場合、ＳＤ信号におけるある着目位置に対応して、予測タップ抽出回路２０６で抽出される予測タップと、教師データ抽出回路２０８で抽出される教師データとで、一つの学習対データが構成される。
【０１０４】
また、係数データ生成装置２００は、学習対記憶部２０９を有している。この学習対記憶部２０９は、クラス分類回路２０４で得られたクラスコードＣａに基づいて、予測タップ抽出回路２０６および教師データ抽出回路２０８でＳＤ信号における各着目位置に対応して抽出された予測タップおよび教師データを、学習対データとして、クラス毎に、記憶する。
【０１０５】
また、係数データ生成装置２００は、各クラスの係数データＷｉを求める演算回路２１０を有している。この演算回路２１０は、学習対記憶部２０９に記憶された複数の学習対データを用い、クラス毎に、係数データＷｉを算出するための正規方程式（（９）式参照）を生成する。なおこの場合、演算回路２１０は、出力画素位置（ｙ１〜ｙ４の位置）毎に、正規方程式を生成する。すなわち、演算回路２１０は、クラスおよび出力画素位置の組み合わせ毎に、正規方程式を生成する。さらに、この演算回路２１０は、各正規方程式を解いて、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉを算出する。
【０１０６】
また、係数データ生成装置２００は、演算回路２１０で得られた係数データＷｉを格納するための係数メモリ２１１を有している。
【０１０７】
次に、図７に示す係数データ生成装置２００の動作を説明する。
入力端子２０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路２０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０１０８】
ＳＤ信号生成回路２０２で得られるＳＤ信号はクラスタップ抽出回路２０３に供給される。このクラスタップ抽出回路２０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路２０４に供給される。
【０１０９】
クラス分類回路２０４では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。このクラスコードＣａは、学習対記憶部２１０に供給される。
【０１１０】
また、ＳＤ信号生成回路２０２で得られるＳＤ信号は、遅延回路２０５で時間調整された後に、予測タップ抽出回路２０６に供給される。この予測タップ抽出回路２０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップは学習対記憶部２０９に供給される。
【０１１１】
また、入力端子２０１に入力されるＨＤ信号は、遅延回路２０７で時間調整された後に、教師データ抽出回路２０８に供給される。この教師データ抽出回路２０８では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データとして抽出される。この教師データは学習対記憶部２０９に供給される。
【０１１２】
学習対記憶部２０９では、クラス分類回路２０４で得られたクラスコードＣａに基づいて、予測タップ抽出回路２０６および教師データ抽出回路２０８でＳＤ信号における各着目位置に対応して抽出された予測タップおよび教師データが、学習対データとして、クラス毎に、記憶される。
【０１１３】
そして、演算回路２１０では、学習対記憶部２０９に記憶された複数の学習対データを用い、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉを算出するための正規方程式（（９）式参照）が生成される。さらに、この演算回路２１０では、各正規方程式が解かれて、クラスおよび出力画素位置の組み合わせ毎に、係数データＷｉが算出される。このように演算回路２１０で求められた係数データＷｉは係数メモリ２１１に格納される。
【０１１４】
このように、図７に示す係数データ生成装置２００においては、図１の画像信号処理装置１００の係数ＲＯＭ１０７に格納される、クラスおよび出力画素位置（ｙ１〜ｙ４の位置）の組み合わせ毎の、推定式で用いられる係数データＷｉを生成することができる。
【０１１５】
次に、図１の画像信号処理装置１００の係数ＲＯＭ１０５に格納される、クラスコードＣａおよびダイナミックレンジＤＲの各組み合わせの係数データＷｉａ（ｉ＝１〜Ｎ）の生成方法について説明する。
【０１１６】
この係数データＷｉａも、詳細説明は省略するが、上述した係数ＲＯＭ１０７に格納される各クラスの係数データＷｉと同様に、最小二乗法によって生成される。すなわち、学習によって、上述した（９）式と同様の正規方程式を生成し、その正規方程式を掃き出し法等の一般解法で解くことにより、係数データＷｉａ（ｉ＝１〜Ｎ）を求めることができる。
【０１１７】
図８は、図１の係数ＲＯＭ１０５に格納される係数データＷｉａを生成する係数データ生成装置３００の構成を示している。
この係数データ生成装置３００は、教師信号としてのＨＤ信号が入力される入力端子３０１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路３０２とを有している。
【０１１８】
また、係数データ生成装置３００は、ＳＤ信号生成回路３０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出するクラスタップ抽出回路３０３を有している。このクラスタップ抽出回路３０３は、上述した図１の画像信号処理装置１００のクラスタップ抽出回路１０２と同様に構成される。
【０１１９】
また、係数データ生成装置３００は、クラスタップ抽出回路３０３で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップのクラスを表すクラスコードＣａを得るクラス分類回路３０４を有している。このクラス分類回路３０４は、上述した図１の画像信号処理装置１００のクラス分類回路１０３と同様に構成される。
【０１２０】
また、係数データ生成装置３００は、クラスタップ抽出回路３０３で抽出されたクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出するダイナミックレンジ検出回路（ＤＲ検出回路）３０５を有している。このＤＲ検出回路３０５は、上述した図１の画像信号処理装置１００のＤＲ検出回路１０４と同様に構成されている。
【０１２１】
また、係数データ生成装置３００は、ＳＤ信号生成回路３０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路３０６を有している。この予測タップ抽出回路３０６は、上述した図１の画像信号処理装置１００の予測タップ抽出回路１０６と同様に構成される。
【０１２２】
また、係数データ生成装置３００は、後述する全クラス予測演算回路３０８で使用される推定式で用いられる、各クラスの係数データＷｉを格納する係数ＲＯＭ３０７を有している。この係数ＲＯＭ３０７に格納される係数データＷｉは、図１の画像信号処理装置１００の係数ＲＯＭ１０７に格納される係数データＷｉと同じものとされる。すなわち、この係数ＲＯＭ３０７に格納される係数データＷｉは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習をすることで得られたものである。この係数データＷｉは、例えば図７に示す係数データ生成装置２００を用いて生成できる。
【０１２３】
また、係数データ生成装置３００は、全クラス予測演算回路３０８を有している。この全クラス予測演算回路３０８は、予測タップ抽出回路３０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ３０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を求める。この全クラス予測演算回路３０８は、上述した図１の画像信号処理装置１００の全クラス予測演算回路１０８と同様に構成されている。
【０１２４】
また、係数データ生成装置３００は、全クラス予測演算回路３０８で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える並べ換え回路３０９を有している。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて個別に並べ換えが行われる。この並べ換え回路３０９は、上述した図１の画像信号処理装置１００の並べ換え回路１０９と同様に構成されている。
【０１２５】
また、係数データ生成装置３００は、入力端子３０１に入力されるＨＤ信号の時間調整を行うための遅延回路３１０と、この遅延回路３１０より出力されるＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データを教師データとして抽出する教師データ抽出回路３１１とを有している。この場合、ＳＤ信号におけるある着目位置に対応して、並べ換え回路３０９から出力される、並べ換えられた各クラスの予測データｙｐｉと、教師データ抽出回路３１１で抽出される教師データｙ０とで、一つの学習対データが構成される。
【０１２６】
また、係数データ生成装置３００は、学習対記憶部３１２を有している。この学習対記憶部３１２は、クラス分類回路３０４で得られたクラスコードＣａおよびダイナミックレンジ検出回路３０５で検出されたダイナミックレンジＤＲに基づいて、並べ換え回路３０９から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路３１１で抽出された教師データｙ０を、学習対データとして、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、記憶する。
【０１２７】
また、係数データ生成装置３００は、クラスコードＣａおよびダイナミックレンジＤＲの各組み合わせの係数データＷｉａを求める演算回路３１３と、この係数データＷｉａを格納するための係数メモリ３１４とを有している。
【０１２８】
演算回路３１３は、学習対記憶部３１２に記憶された複数の学習対データを用い、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、係数データＷｉａを算出するための正規方程式を生成する。なおこの場合、演算回路３１３は、出力画素位置（ｙ１〜ｙ４の位置）毎に、正規方程式を生成する。すなわち、演算回路３１３は、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、正規方程式を生成する。さらに、この演算回路３１３は、各正規方程式を解いて、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、係数データＷｉａを算出する。
【０１２９】
次に、図８に示す係数データ生成装置３００の動作を説明する。
入力端子３０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路３０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０１３０】
ＳＤ信号生成回路３０２で得られるＳＤ信号はクラスタップ抽出回路３０３に供給される。このクラスタップ抽出回路３０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路３０４およびＤＲ検出回路３０５に供給される。
【０１３１】
クラス分類回路３０４では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。ＤＲ検出回路３０５では、クラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮが検出される。これらクラスコードＣａおよびダイナミックレンジＤＲは、学習対記憶部３１２に供給される。
【０１３２】
また、ＳＤ信号生成回路３０２で得られるＳＤ信号は、予測タップ抽出回路３０６に供給される。この予測タップ抽出回路３０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、全クラス予測演算回路３０８に供給される。
【０１３３】
この全クラス予測演算回路３０８では、予測タップ抽出回路３０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ３０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この全クラス予測演算回路３０８で算出された各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路３０９に供給される。
【０１３４】
並べ換え回路３０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の各クラスの予測データｙｐｉは、学習対記憶部３１２に供給される。
【０１３５】
また、入力端子３０１に入力されるＨＤ信号は、遅延回路３１０で時間調整された後に、教師データ抽出回路３１１に供給される。この教師データ抽出回路３１１では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データｙ０として抽出される。この教師データｙ０は学習対記憶部３１２に供給される。
【０１３６】
学習対記憶部３１２では、クラス分類回路３０４で得られたクラスコードＣａおよびダイナミックレンジ検出回路３０５で検出されたダイナミックレンジＤＲに基づいて、並べ換え回路３０９から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路３１１で抽出された教師データｙ０が、学習対データとして、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、記憶される。
【０１３７】
そして、演算回路３１３では、学習対記憶部３１２に記憶された複数の学習対データを用い、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、係数データＷｉａを算出するための正規方程式が生成される。さらに、この演算回路３１３では、各正規方程式が解かれて、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、係数データＷｉａが算出される。このように演算回路３１３で求められた係数データＷｉａは係数メモリ３１４に格納される。
【０１３８】
このように、図８に示す係数データ生成装置３００においては、図１の画像信号処理装置１００の係数ＲＯＭ１０５に格納される、出力画素位置（ｙ１〜ｙ４の位置）、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎の、推定式で用いられる係数データＷｉａを生成することができる。
【０１３９】
なお、上述した図１の画像信号処理装置１００における処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウェアにより行うこともできる。
【０１４０】
まず、図１０に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラム、係数データＷｉ、係数データＷｉａ等が格納されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【０１４１】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１４２】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１４３】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１４４】
また、画像信号処理装置５００は、ＳＤ信号を入力するための入力端子５１５と、ＨＤ信号を出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１４５】
ここで、上述したようにＲＯＭ５０２に制御プログラム等を予め格納しておく代わりに、例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ３０３に格納して使用することもできる。また、これら制御プログラム等をリムーバブル記録媒体で提供するようにしてもよい。
【０１４６】
また、処理すべきＳＤ信号を入力端子５１５より入力する代わりに、リムーバブル記録媒体で供給し、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後のＨＤ信号を出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１４７】
図１０のフローチャートを参照して、図９に示す画像信号処理装置５００における、ＳＤ信号からＨＤ信号を得るための処理手順を説明する。
まず、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。
【０１４８】
そして、ステップＳＴ１３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１５に進む。
【０１４９】
ステップＳＴ１５では、ステップＳＴ１２で入力されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ１６で、ステップＳＴ１５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。また、ステップＳＴ１７で、ステップＳＴ１５で抽出されたクラスタップに基づいて、そのクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出する。
【０１５０】
次に、ステップＳＴ１８で、ＲＯＭ５０２から、ステップＳＴ１６で取得されたクラスコードＣａおよびステップＳＴ１７で検出されたダイナミックレンジＤＲに対応した、推定式で用いられる係数データＷｉａを取得する。
【０１５１】
次に、ステップＳＴ１９で、ステップＳＴ１２で入力されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０１５２】
そして、ステップＳＴ２０で、ステップＳＴ１９で抽出された予測タップとしての画素データｘｉと、ＲＯＭ５０２に記憶されている各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。
【０１５３】
次に、ステップＳＴ２１で、ステップＳＴ２０で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。そして、ステップＳＴ２２で、ステップＳＴ２１で並べ換えられた各クラスの予測データｙｐｉと、ステップＳＴ１８で取得された係数データＷｉａとから、推定式（（２）式参照）に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を算出する。
【０１５４】
次に、ステップＳＴ２３で、ステップＳＴ１２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域において、ＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０１５５】
このように、図１０に示すフローチャートに沿って処理をすることで、図１に示す画像信号処理装置１００と同様の手法によって、ＳＤ信号からＨＤ信号を得ることができる。このように処理して得られたＨＤ信号は、出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１５６】
また、処理装置の図示は省略するが、図７に示す係数データ生成装置２００における処理も、ソフトウェアにより行うことができる。
【０１５７】
図１１のフローチャートを参照して、係数データＷｉを生成するための処理手順を説明する。
まず、ステップＳＴ３１で処理を開始し、ステップＳＴ３２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ３３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ３４で、ステップＳＴ３２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０１５８】
次に、ステップＳＴ３５で、ステップＳＴ３４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ３６で、ステップＳＴ３５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。
【０１５９】
次に、ステップＳＴ３７で、ステップＳＴ３４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。そして、ステップＳＴ３８で、ステップＳＴ３２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データとして抽出する。
【０１６０】
次に、ステップＳＴ３９で、ステップＳＴ３６で取得されたクラスコードＣａ、ステップＳＴ３７で抽出された予測タップの画素データｘｉ、およびステップＳＴ３８で抽出された教師データを用いて、クラス毎に、（９）式に示す正規方程式を得るための足し込みをする（（７）式、（８）式参照）。
【０１６１】
次に、ステップＳＴ４０で、ステップＳＴ３２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ３２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ３５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０１６２】
上述したステップＳＴ３３で、処理が終了したときは、ステップＳＴ４１で、ステップＳＴ３９で足し込みが行われて生成された正規方程式を解いて、各クラスの係数データＷｉを求め、ステップＳＴ４２で、その係数データＷｉを係数メモリに保存し、ステップＳＴ４３で、処理を終了する。
【０１６３】
このように、図１１に示すフローチャートに沿って処理をすることで、図７に示す係数データ生成装置２００と同様の手法によって、係数データＷｉを生成できる。
【０１６４】
また、処理装置の図示は省略するが、図８に示す係数データ生成装置３００における処理も、ソフトウェアにより行うことができる。
【０１６５】
図１２のフローチャートを参照して、係数データＷｉａを生成するための処理手順を説明する。
まず、ステップＳＴ５１で処理を開始し、ステップＳＴ５２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ５３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ５４で、ステップＳＴ５２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０１６６】
次に、ステップＳＴ５５で、ステップＳＴ５４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ５６で、ステップＳＴ５５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。さらに、ステップＳＴ５７で、ステップＳＴ５５で抽出されたクラスタップに基づいて、そのクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出する。
【０１６７】
次に、ステップＳＴ５８で、ステップＳＴ５４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０１６８】
そして、ステップＳＴ５９で、ステップＳＴ５８で抽出された予測タップとしての画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。さらに、ステップＳＴ６０で、ステップＳＴ５９で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。
【０１６９】
次に、ステップＳＴ６１で、ステップＳＴ５２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データｙ０として抽出する。
【０１７０】
次に、ステップＳＴ６２で、ステップＳＴ５６で取得されたクラスコードＣａ、ステップＳＴ５７で検出されたダイナミックレンジＤＲ、ステップＳＴ６０で並べ換えられた各クラスの予測データｙｐｉ、ステップＳＴ６１で抽出された教師データｙ０を用いて、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、正規方程式を得るための足し込みをする。
【０１７１】
次に、ステップＳＴ６３で、ステップＳＴ５２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ５２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ５５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０１７２】
上述したステップＳＴ５３で、処理が終了したときは、ステップＳＴ６４で、ステップＳＴ６２で足し込みが行われて生成された正規方程式を解いて、クラスコードＣａおよびダイナミックレンジＤＲの各組み合わせの係数データＷｉａを求める。そして、ステップＳＴ６５で、その係数データＷｉａを係数メモリに保存し、ステップＳＴ６６で、処理を終了する。
【０１７３】
このように、図１２に示すフローチャートに沿って処理をすることで、図８に示す係数データ生成装置３００と同様の手法によって、係数データＷｉａを生成できる。
【０１７４】
次に、この発明の第２の実施の形態について説明する。図１３は、第２の実施の形態としての画像信号処理装置１００Ａの構成を示している。この画像信号処理装置１００Ａも、図１に示す画像信号処理装置１００と同様に、ＳＤ信号をＨＤ信号に変換するものである。この図１３において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１７５】
この画像信号処理装置１００Ａは、クラス再分類部としてのルックアップテーブル１１３と、係数データ発生部としての係数ＲＯＭ１１４とを有している。これらルックアップテーブル１１３および係数ＲＯＭ１１４は、第１の係数データ発生手段を構成している。
【０１７６】
ルックアップテーブル１１３は、クラス分類回路１０３で得られた第１のクラスコードとしてのクラスコードＣａおよびＤＲ検出回路１０４で検出されたダイナミックレンジＤＲに対応した、第２のクラスコードとしてのクラスコードＣｂを得るためのものである。このクラスコードＣｂは、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報である。
【０１７７】
図１４は、本実施の形態における再クラス分類の概念を説明するための図である。“２”の範囲は、各クラスの予測データｙｐ（「×」でデータ値を示している）が存在する範囲を示している。この場合、各クラスの予測データｙｐの最小値から最大値までの範囲が、この“２”の範囲となる。また、“１”の範囲は各クラスの予測データｙｐが存在する範囲に対して下側の範囲であり、“３”の範囲は各クラスの予測データｙｐが存在する範囲に対して上側の範囲である。
【０１７８】
本実施の形態において、クラスコードＣｂは、真値が“１”の範囲に存在するクラス１、真値が“２”の範囲に存在するクラス２、真値が“３”の範囲に存在するクラス３のいずれかを表すものとされる。
【０１７９】
図１５は、ルックアップテーブル１１３の構成例を示しており、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係が記憶されている。この場合、クラスコードＣａ毎に、クラスコードＣｂが共通となるダイナミックレンジＤＲの範囲が、マージ（統合）されている。
【０１８０】
クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係は、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習をすることで得られる。この対応関係の生成方法については、後述する。
【０１８１】
また、係数ＲＯＭ１１４は、ルックアップテーブル１１３で得られたクラスコードＣｂに係る各クラス、本実施の形態においてはクラス１〜クラス３に対応した、予測演算回路１１０で使用される第１の推定式（（２）式参照）で用いられる、係数データＷｉａ（ｉ＝１〜Ｎ）を、格納するものである。
【０１８２】
上述したように、ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素（ｘ０）に対応してＨＤ信号の４画素（ｙ１〜ｙ４）を得る必要がある（図２参照）。そのため、係数メモリＲＯＭ１１４には、出力画素位置（ｙ１〜ｙ４の位置）毎に、各クラスの係数データＷｉａが格納されている。この係数ＲＯＭ１１４に格納される係数データＷｉａは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習をすることで得られる。この係数データＷｉａの生成方法については、後述する。
【０１８３】
クラス分類回路１０３で得られたクラスコードＣａおよびＤＲ検出回路１０４で得られたダイナミックレンジＤＲは、ルックアップテーブル１１３に、読み出しアドレス情報として供給される。このルックアップテーブル１１３からは、クラスコードＣａおよびダイナミックレンジＤＲに対応したクラスコードＣｂが出力される。
【０１８４】
このクラスコードＣｂは係数ＲＯＭ１１４に読み出しアドレス情報として供給される。係数ＲＯＭ１１４からクラスコードＣｂが表すクラスに対応した、４出力画素位置分の係数データＷｉａが読み出されて予測演算回路１１０に供給される。
【０１８５】
この画像信号処理装置１００Ａのその他の部分は、図１に示す画像信号処理装置１００と同様に構成され、同様の動作をする。
【０１８６】
この図１３に示す画像信号処理装置１００Ａにおいても、図１に示す画像信号処理装置１００と同様に、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて、ＨＤ信号を構成する画素データｙ１〜ｙ４を求めるものであり、当該ＨＤ信号を構成する画素データｙ１〜ｙ４を良好に得ることができる。
【０１８７】
また、この画像信号処理装置１００Ａにおいては、ルックアップテーブル１１３でクラスコードＣａおよびダイナミックレンジＤＲに対応したクラスコードＣｂを取得し、そして係数ＲＯＭ１１４からこのクラスコードＣｂに対応した係数データＷｉａを取得するものである。したがって、係数ＲＯＭ１１４にはクラスコードＣｂに係る各クラスの係数データＷｉａのみを格納しておけばよく、当該係数ＲＯＭ１１４の容量を少なくできる。
【０１８８】
また、この画像信号処理装置１００Ａにおいては、クラスコードＣｂを、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報とし、このクラスコードＣｂに対応した係数データＷｉａを使用するものであり、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて算出されるＨＤ信号を構成する画素データｙ１〜ｙ４を、その真値に良好に近づけることができる。
【０１８９】
なお、図１３に示す画像信号処理装置１００Ａにおいては、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、クラスコードＣｂは、真値が“１”の範囲に存在するクラス１、真値が“２”の範囲に存在するクラス２、真値が“３”の範囲に存在するクラス３のいずれかを表すものとされている。しかし、各クラスの予測データｙｐが存在する範囲、その下側および上側の範囲をさらに細かく分類し、クラスコードＣｂがさらに多くのクラスを表すようにしてもよい。
【０１９０】
次に、ルックアップテーブル１１３に記憶されるクラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係の生成方法について説明する。図１６は、その対応関係を生成するルックアップテーブル生成装置（ＬＵＴ生成装置）６００の構成を示している。
【０１９１】
このＬＵＴ生成装置６００は、教師信号としてのＨＤ信号が入力される入力端子６０１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路６０２とを有している。
【０１９２】
また、ＬＵＴ生成装置６００は、ＳＤ信号生成回路６０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出するクラスタップ抽出回路６０３を有している。このクラスタップ抽出回路６０３は、上述した図１３の画像信号処理装置１００Ａのクラスタップ抽出回路１０２と同様に構成される。
【０１９３】
また、ＬＵＴ生成装置６００は、クラスタップ抽出回路６０３で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類し、このクラスタップのクラスを表すクラスコードＣａを得るクラス分類回路６０４を有している。このクラス分類回路６０４は、上述した図１３の画像信号処理装置１００Ａのクラス分類回路１０３と同様に構成される。
【０１９４】
また、ＬＵＴ生成装置６００は、クラスタップ抽出回路６０３で抽出されたクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出するダイナミックレンジ検出回路（ＤＲ検出回路）６０５を有している。このＤＲ検出回路６０５は、上述した図１３の画像信号処理装置１００ＡのＤＲ検出回路１０４と同様に構成されている。
【０１９５】
また、ＬＵＴ生成装置６００は、ＳＤ信号生成回路６０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路６０６を有している。この予測タップ抽出回路６０６は、上述した図１３の画像信号処理装置１００Ａの予測タップ抽出回路１０６と同様に構成される。
【０１９６】
また、ＬＵＴ生成装置６００は、後述する全クラス予測演算回路６０８で使用される推定式で用いられる、各クラスの係数データＷｉを格納する係数ＲＯＭ６０７を有している。この係数ＲＯＭ６０７に格納される係数データＷｉは、図１３の画像信号処理装置１００Ａの係数ＲＯＭ１０７に格納される係数データＷｉと同じものとされる。
【０１９７】
また、ＬＵＴ生成装置６００は、全クラス予測演算回路６０８を有している。この全クラス予測演算回路６０８は、予測タップ抽出回路６０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ６０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を求める。この全クラス予測演算回路６０８は、上述した図１３の画像信号処理装置１００Ａの全クラス予測演算回路１０８と同様に構成されている。
【０１９８】
また、ＬＵＴ生成装置６００は、全クラス予測演算回路６０８で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える並べ換え回路６０９を有している。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて個別に並べ換えが行われる。
【０１９９】
また、ＬＵＴ生成装置６００は、入力端子６０１に入力されるＨＤ信号の時間調整を行うための遅延回路６１０と、この遅延回路６１０より出力されるＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データを教師データｙ０として抽出する教師データ抽出回路６１１とを有している。
【０２００】
また、ＬＵＴ生成装置６００は、比較器６１２を有している。この比較器６１２は、並べ換え回路６０９で並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、教師データ抽出回路６１１で抽出された教師データｙ０とを比較し、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩを取得する。
【０２０１】
本実施の形態においては、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、位置情報ＰＩは、教師データｙ０が、これら“１”〜“３”の範囲のいずれにあるかを示すものとされる。
【０２０２】
上述したように、ＳＤ信号のある着目位置に対応して、並べ換え回路６０９からは並べ換えられた各クラスの予測データｙｐｉが４出力画素位置分得られると共に、教師データ抽出回路６１１では教師データｙ０として４個の画素データが抽出される。したがって、比較器６１２からは、ＳＤ信号のある着目位置に対応して、位置情報ＰＩが４出力画素位置分だけ得られる。
【０２０３】
また、ＬＵＴ生成装置６００は、入力データとしてのクラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、出力クラスコードＣｂに係るクラス１〜クラス３のカウント部を備えるカウンタ６１３を有している。このカウンタ６１３は、クラス分類回路６０４で得られたクラスコードＣａおよびＤＲ検出回路６０５で検出されたダイナミックレンジＤＲに対応したクラス１〜クラス３のカウント部のうち、比較器６１２で得られる位置情報ＰＩに対応したカウント部のカウント値をアップする。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部がカウントアップされる。
【０２０４】
また、ＬＵＴ生成装置６００は、テーブル生成回路６１４と、メモリ６１５とを有している。このテーブル生成回路６１４は、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、カウンタ６１３内の各カウント部のカウント値に基づいて、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部を検出し、そのカウント部に対応したクラスを示すクラスコードＣｂを割り当てる。
【０２０５】
さらに、このテーブル生成回路６１４は、クラスコードＣａ毎に、クラスコードＣｂが共通となるダイナミックレンジＤＲの範囲をマージ（統合）して、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの、最終的な対応関係を取得し（図１５参照）、それをメモリ６１５に記憶する。
【０２０６】
次に、図１６に示すＬＵＴ生成装置６００の動作を説明する。
入力端子６０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路６０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０２０７】
ＳＤ信号生成回路６０２で得られるＳＤ信号はクラスタップ抽出回路６０３に供給される。このクラスタップ抽出回路６０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路６０４およびＤＲ検出回路６０５に供給される。
【０２０８】
クラス分類回路６０４では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。ＤＲ検出回路６０５では、クラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮが検出される。これらクラスコードＣａおよびダイナミックレンジＤＲは、カウンタ６１３に供給される。
【０２０９】
また、ＳＤ信号生成回路６０２で得られるＳＤ信号は、予測タップ抽出回路６０６に供給される。この予測タップ抽出回路６０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、全クラス予測演算回路６０８に供給される。
【０２１０】
この全クラス予測演算回路６０８では、予測タップ抽出回路６０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ６０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この全クラス予測演算回路６０８で算出された各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路６０９に供給される。
【０２１１】
並べ換え回路６０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の各クラスの予測データｙｐｉは、比較器６１２に供給される。
【０２１２】
また、入力端子６０１に入力されるＨＤ信号は、遅延回路６１０で時間調整された後に、教師データ抽出回路６１１に供給される。この教師データ抽出回路６１１では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データｙ０として抽出される。この教師データｙ０は比較器６１２に供給される。
【０２１３】
比較器６１２では、並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、教師データｙ０とが比較され、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩが取得される。ここでは、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、位置情報ＰＩは、教師データｙ０が、これら“１”〜“３”の範囲のいずれにあるかを示すものとされる。この位置情報ＰＩはカウンタ６１３に供給される。
【０２１４】
カウンタ６１３では、クラス分類回路６０４で得られたクラスコードＣａおよびＤＲ検出回路６０５で検出されたダイナミックレンジＤＲに対応したクラス１〜クラス３のカウント部のうち、比較器６１２で得られる位置情報ＰＩに対応したカウント部のカウント値がアップされる。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部がカウントアップされる。このカウンタ６１３におけるカウントアップ処理は、ＳＤ信号における各着目位置に対応して、比較器６１２から位置情報ＰＩが得られる毎に行われる。
【０２１５】
テーブル生成回路６１４では、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、カウンタ６１３内の各カウント部のカウント値に基づいて、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部が検出され、そのカウント部に対応したクラスを示すクラスコードＣｂが割り当てられる。
【０２１６】
さらに、このテーブル生成回路６１４では、クラスコードＣａ毎に、クラスコードＣｂが共通となるダイナミックレンジＤＲの範囲がマージ（統合）されて、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの、最終的な対応関係が取得される（図１５参照）。この対応関係はメモリ６１５に記憶される。
【０２１７】
このように、図１６に示すＬＵＴ生成装置６００においては、図１３の画像信号処理装置１００ＡのＬＵＴ１１３に記憶される、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係を生成することができる。この場合、クラスコードＣｂは、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報を構成する。
【０２１８】
次に、図１３の画像信号処理装置１００Ａの係数ＲＯＭ１１４に格納される、各クラスの係数データＷｉａ（ｉ＝１〜Ｎ）の生成方法について説明する。
この係数データＷｉａも、詳細説明は省略するが、上述した図１の画像信号処理装置１００の係数ＲＯＭ１０７に格納される各クラスの係数データＷｉと同様に、最小二乗法によって生成される。すなわち、学習によって、上述した（９）式と同様の正規方程式を生成し、その正規方程式を掃き出し法等の一般解法で解くことにより、係数データＷｉａ（ｉ＝１〜Ｎ）を求めることができる。
【０２１９】
図１７は、図１３の係数ＲＯＭ１１４に格納される係数データＷｉａを生成する係数データ生成装置７００の構成を示している。
この係数データ生成装置７００は、教師信号としてのＨＤ信号が入力される入力端子７０１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路７０２とを有している。
【０２２０】
また、係数データ生成装置７００は、ＳＤ信号生成回路７０２より出力されるＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する予測タップ抽出回路７０３を有している。この予測タップ抽出回路７０３は、上述した図１３の画像信号処理装置１００Ａの予測タップ抽出回路１０６と同様に構成される。
【０２２１】
また、係数データ生成装置７００は、後述する全クラス予測演算回路７０５で使用される推定式で用いられる、各クラスの係数データＷｉを格納する係数ＲＯＭ７０４を有している。この係数ＲＯＭ７０４に格納される係数データＷｉは、図１３の画像信号処理装置１００Ａの係数ＲＯＭ１０７に格納される係数データＷｉと同じものとされる。
【０２２２】
また、係数データ生成装置７００は、全クラス予測演算回路７０５を有している。この全クラス予測演算回路７０５は、予測タップ抽出回路７０３で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ７０４に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を求める。この全クラス予測演算回路７０５は、上述した図１３の画像信号処理装置１００Ａの全クラス予測演算回路１０８と同様に構成されている。
【０２２３】
また、係数データ生成装置７００は、全クラス予測演算回路７０５で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える並べ換え回路７０６を有している。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて個別に並べ換えが行われる。この並べ換え回路７０６は、上述した図１３の画像信号処理装置１００Ａの並べ換え回路１０９と同様に構成されている。
【０２２４】
また、係数データ生成装置７００は、入力端子７０１に入力されるＨＤ信号の時間調整を行うための遅延回路７０７と、この遅延回路７０７より出力されるＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データを教師データｙ０として抽出する教師データ抽出回路７０８とを有している。この場合、ＳＤ信号におけるある着目位置に対応して、並べ換え回路７０６から出力される、並べ換えられた各クラスの予測データｙｐｉと、教師データ抽出回路７０８で抽出される教師データｙ０とで、一つの学習対データが構成される。
【０２２５】
また、係数データ生成装置７００は、比較器７０９を有している。この比較器７０９は、並べ換え回路７０６で並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、教師データ抽出回路７０８で抽出された教師データｙ０とを比較し、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩを取得する。
【０２２６】
この比較器７０９は、上述した図１６のＬＵＴ生成装置６００の比較器６１２と同様に構成されている。この場合、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、位置情報ＰＩは、教師データｙ０が、これら“１”〜“３”の範囲のいずれにあるかを示すものとされる。
【０２２７】
上述したように、ＳＤ信号のある着目位置に対応して、並べ換え回路７０６からは並べ換えられた各クラスの予測データｙｐｉが４出力画素位置分得られると共に、教師データ抽出回路７０８では教師データｙ０として４個の画素データが抽出される。したがって、比較器７０９からは、ＳＤ信号のある着目位置に対応して、位置情報ＰＩが４出力画素位置分だけ得られる。
【０２２８】
また、係数データ生成装置７００は、学習対記憶部７１０を有している。この学習対記憶部７１０は、比較器７０９で得られる位置情報ＰＩに基づいて、並べ換え回路７０６から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路７０８で抽出された教師データｙ０を、学習対データとして、出力画素位置、およびクラスコードＣｂに係るクラスの組み合わせ毎に、記憶する。ここで、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示す場合、それぞれクラスコードＣｂに係るクラス１，クラス２，クラス３に対応している。
【０２２９】
また、係数データ生成装置７００は、クラスコードＣｂに係る各クラスの係数データＷｉａを求める演算回路７１１と、この係数データＷｉａを格納するための係数メモリ７１２とを有している。演算回路７１１は、学習対記憶部７１０に記憶された複数の学習対データを用い、クラス毎に、係数データＷｉａを算出するための正規方程式を生成する。なおこの場合、演算回路７１１は、出力画素位置（ｙ１〜ｙ４の位置）毎に、正規方程式を生成する。すなわち、演算回路７１１は、出力画素位置およびクラスの組み合わせ毎に、正規方程式を生成する。さらに、この演算回路７１１は、各正規方程式を解いて、出力画素位置およびクラスの組み合わせ毎に、係数データＷｉａを算出する。
【０２３０】
次に、図１７に示す係数データ生成装置７００の動作を説明する。
入力端子７０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路７０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０２３１】
ＳＤ信号生成回路７０２で得られるＳＤ信号は、予測タップ抽出回路７０３に供給される。この予測タップ抽出回路７０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、全クラス予測演算回路７０５に供給される。
【０２３２】
この全クラス予測演算回路７０５では、予測タップ抽出回路７０３で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ７０４に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この全クラス予測演算回路７０５で算出された各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路７０６に供給される。
【０２３３】
並べ換え回路７０６では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の各クラスの予測データｙｐｉは、比較器７０９および学習対記憶部７１０に供給される。
【０２３４】
また、入力端子７０１に入力されるＨＤ信号は、遅延回路７０７で時間調整された後に、教師データ抽出回路７０８に供給される。この教師データ抽出回路７０８では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データｙ０として抽出される。この教師データｙ０は、比較器７０９および学習対記憶部７１０に供給される。
【０２３５】
比較器７０９では、並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、教師データｙ０とが比較され、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩが取得される。ここでは、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、位置情報ＰＩは、教師データｙ０が、これら“１”〜“３”の範囲のいずれにあるかを示すものとされる。この位置情報ＰＩは、学習対記憶部７１０に供給される。
【０２３６】
学習対記憶部７１０では、比較器７０９で得られた位置情報ＰＩに基づいて、並べ換え回路７０６から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路７０８で抽出された教師データｙ０が、学習対データとして、出力画素位置、およびクラスコードＣｂに係るクラスの組み合わせ毎に、記憶される。
【０２３７】
そして、演算回路７１１では、学習対記憶部７１０に記憶された複数の学習対データを用い、出力画素位置およびクラスの組み合わせ毎に、係数データＷｉａを算出するための正規方程式が生成される。さらに、この演算回路７１１では、各正規方程式が解かれて、出力画素位置およびクラスの組み合わせ毎に、係数データＷｉａが算出される。このように演算回路７１１で求められた係数データＷｉａは係数メモリ７１２に格納される。
【０２３８】
このように、図１７に示す係数データ生成装置７００においては、図１３の画像信号処理装置１００Ａの係数ＲＯＭ１１４に格納される、出力画素位置（ｙ１〜ｙ４の位置）およびクラスコードＣｂに係るクラスの組み合わせ毎の、推定式で用いられる係数データＷｉａを生成することができる。すなわち、図１７に示す係数データ生成装置７００によれば、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）から、推定式に基づいて、ＨＤ信号を構成する画素データｙ１〜ｙ４を、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ情報信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応して得る際に使用される係数データＷｉａを良好に得ることができる。
【０２３９】
なお、上述した図１３の画像信号処理装置１００Ａにおける処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウエアで実現できる。その場合の処理手順は、図１０のフローチャートに示す画像信号処理の処理手順と略同様である。
【０２４０】
ただし、図９のＲＯＭ５０２には、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係（図１５参照）、さらにはクラスコードＣｂに係る各クラスの係数データＷｉａが格納されている。
【０２４１】
そして、ステップＳＴ１８では、まず、ＲＯＭ５０２に記憶された対応関係を用いて、ステップＳＴ１６で取得されたクラスコードＣａおよびステップＳＴ１７で検出されたダイナミックレンジＤＲに対応したクラスコードＣｂを取得し、その後に、ＲＯＭ５０２から当該クラスコードＣｂが表すクラスの係数データＷｉａを取得する。
【０２４２】
また、処理装置の図示は省略するが、図１６に示すＬＵＴ生成装置６００における処理も、ソフトウェアで実現できる。図１８のフローチャートは、その場合の処理手順を示している。
【０２４３】
まず、ステップＳＴ７０で処理を開始し、ステップＳＴ７１でカウンタを初期化する。この場合、クラスコードＣａおよびダイナミックレンジＤＲの各組み合わせに対応したカウント部のそれぞれを初期化する。
【０２４４】
次に、ステップＳＴ７２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ７３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ７４で、ステップＳＴ７２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０２４５】
次に、ステップＳＴ７５で、ステップＳＴ７４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ７６で、ステップＳＴ７５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。さらに、ステップＳＴ７７で、ステップＳＴ７５で抽出されたクラスタップに基づいて、そのクラスタップに含まれる画素データの最大値ＭＡＸおよび最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出する。
【０２４６】
次に、ステップＳＴ７８で、ステップＳＴ７４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０２４７】
そして、ステップＳＴ７９で、ステップＳＴ７８で抽出された予測タップとしての画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。さらに、ステップＳＴ８０で、ステップＳＴ７９で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。
【０２４８】
次に、ステップＳＴ８１で、ステップＳＴ７２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データｙ０として抽出する。
【０２４９】
そして、ステップＳＴ８２で、ステップＳＴ８０で並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、ステップＳＴ８１で抽出された教師データｙ０とを比較し、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩを取得する。
【０２５０】
次に、ステップＳＴ８３で、ステップＳＴ７６で得られたクラスコードＣａ、ステップＳＴ７７で検出されたダイナミックレンジＤＲおよびステップＳＴ８２で得られた位置情報ＰＩに基づいて、クラスコードＣａおよびダイナミックレンジＤＲに対応したクラス１〜クラス３のカウント部のうち、位置情報ＰＩに対応したカウント部のカウント値をアップする。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部をカウントアップする。
【０２５１】
次に、ステップＳＴ８４で、ステップＳＴ７２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ７２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ７５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０２５２】
上述したステップＳＴ７３で、処理が終了したときは、ステップＳＴ８５に進む。このステップＳＴ８５では、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、各カウント部のカウント値に基づいて、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部を検出し、そのカウント部に対応したクラスを表すクラスコードＣｂを割り当てる。
【０２５３】
そして、ステップＳＴ８６で、クラスコードＣａ毎に、クラスコードＣｂが共通となるダイナミックレンジＤＲの範囲をマージ（統合）して、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの、最終的な対応関係を取得し（図１５参照）、メモリに保存する。そして、ステップＳＴ８６の処理の後に、ステップＳＴ８７で、処理を終了する。
【０２５４】
このように、図１８に示すフローチャートに沿って処理をすることで、図１６に示すＬＵＴ生成装置６００と同様の手法によって、クラスコードＣａおよびダイナミックレンジＤＲと、クラスコードＣｂとの対応関係を生成できる。
【０２５５】
また、処理装置の図示は省略するが、図１７に示す係数データ生成装置７００における処理も、ソフトウェアにより実現できる。図１９のフローチャートは、その処理手順を示している。
【０２５６】
まず、ステップＳＴ９１で処理を開始し、ステップＳＴ９２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ９３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ９４で、ステップＳＴ９２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０２５７】
次に、ステップＳＴ９５で、ステップＳＴ９４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０２５８】
そして、ステップＳＴ９６で、ステップＳＴ９５で抽出された予測タップとしての画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。さらに、ステップＳＴ９７で、ステップＳＴ９６で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。
【０２５９】
次に、ステップＳＴ９８で、ステップＳＴ９２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データｙ０として抽出する。
【０２６０】
次に、ステップＳＴ９９で、ステップＳＴ９７で並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、ステップＳＴ９８で抽出された教師データｙ０とを比較し、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩを取得する。
【０２６１】
次に、ステップＳＴ１００で、ステップＳＴ９９で得られた位置情報ＰＩ、ステップＳＴ９７で並べ換えられた各クラスの予測データｙｐｉ、ステップＳＴ９８で抽出された教師データｙ０を用いて、クラスコードＣｂに係るクラス毎に、正規方程式を得るための足し込みをする。
【０２６２】
次に、ステップＳＴ１０１で、ステップＳＴ９２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ９２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ９５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０２６３】
上述したステップＳＴ９３で、処理が終了したときは、ステップＳＴ１０２で、ステップＳＴ１００で足し込みが行われて生成された正規方程式を解いて、クラスコードＣｂに係る各クラスの係数データＷｉａを求める。そして、ステップＳＴ１０３で、その係数データＷｉａを係数メモリに保存し、ステップＳＴ１０４で、処理を終了する。
【０２６４】
このように、図１９に示すフローチャートに沿って処理をすることで、図１７に示す係数データ生成装置７００と同様の手法によって、係数データＷｉａを生成できる。
【０２６５】
次に、この発明の第３の実施の形態について説明する。図２０は、第３の実施の形態としての画像信号処理装置１００Ｂの構成を示している。この画像信号処理装置１００Ｂも、図１に示す画像信号処理装置１００と同様に、ＳＤ信号をＨＤ信号に変換するものである。この図２０において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２６６】
この画像信号処理装置１００Ｂは、予測演算回路１２１を有している。この予測演算回路１２１は、予測タップ抽出回路１０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ１０７より得られる、クラス分類回路１０３で得られたクラスコードＣａに対応した係数データＷｉ−ａとから、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を求める。この場合、係数ＲＯＭ１０７および予測演算回路１２１は、予測処理手段を構成している。
【０２６７】
また、画像信号処理装置１００Ｂは、位置検出回路１２２を有している。この位置検出回路１２２は、並べ換え回路１０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路１２１で得られた予測データｙｐａの位置ｐを検出する。例えば、大きい方から順に並べ換えられた各クラスの予測データｙｐｉと、クラスコードＣａが表すクラスの予測データｙｐａとが図２１に示すようであるとき、ｐ＝５と検出される。
【０２６８】
上述したように、ＳＤ信号のある着目位置に対応して、並べ換え回路１０９からは並べ換えられた各クラスの予測データｙｐｉが４出力画素位置分得られると共に、予測演算回路１２１では予測データｙｐａが４出力画素位置分得られる。したがって、位置検出回路１２２からは、ＳＤ信号のある着目位置に対応して、位置ｐが４出力画素位置分だけ得られる。
【０２６９】
また、画像信号処理装置１００Ｂは、係数ＲＯＭ１２３を有している。この係数ＲＯＭ１２３は、予測演算回路１１０で使用される第１の推定式で用いられる、クラスコードＣａ、つまりこのクラスコードＣａが表すクラス、および位置ｐの各組み合わせの係数データＷｉａ（ｉ＝１〜Ｎ）を、格納するものである。ここで、Ｎはクラス数を示している。
【０２７０】
上述したように、ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素（ｘ０）に対応してＨＤ信号の４画素（ｙ１〜ｙ４）を得る必要がある（図２参照）。そのため、係数メモリＲＯＭ１２３にも、出力画素位置（ｙ１〜ｙ４の位置）毎に、クラスコードＣａおよび位置ｐの各組み合わせの係数データＷｉａが格納されている。この係数ＲＯＭ１２３に格納される係数データＷｉａは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習することで得られたものである。この係数データＷｉａの生成方法については、後述する。
【０２７１】
この係数ＲＯＭ１２３には、クラス分類回路１０３で得られたクラスコードＣａおよび位置検出回路１２２で検出された、４出力画素位置分の位置ｐが、読み出しアドレス情報として供給される。係数ＲＯＭ１２３は、クラスコードＣａと４出力画素位置分の位置ｐのそれぞれとの組み合わせに対応した、４出力画素位置分の係数データＷｉａを出力する。この係数ＲＯＭメモリ１２３は第１の係数データ発生手段を構成している。
【０２７２】
図２０に示す画像信号処理装置１００Ｂのその他は、図１に示す画像信号処理装置１００と同様に構成される。
【０２７３】
次に、図２０に示す画像信号処理装置１００Ｂの動作を説明する。
入力端子１０１に入力されるＳＤ信号は、クラスタップ抽出回路１０２に供給される。このクラスタップ抽出回路１０２では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路１０３に供給される。
【０２７４】
クラス分類回路１０３では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。このクラスコードＣａは、係数ＲＯＭ１０７および係数ＲＯＭ１２３に読み出しアドレス情報として供給される。係数ＲＯＭ１０７にクラスコードＣａが供給されることで、この係数ＲＯＭ１０７からクラスコードＣａに対応した、４出力画素位置分の係数データＷｉ−ａが読み出されて予測演算回路１２１に供給される。
【０２７５】
また、入力端子１０１に入力されるＳＤ信号は、予測タップ抽出回路１０６に供給される。この予測タップ抽出回路１０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、予測演算回路１２１および全クラス予測演算回路１０８に供給される。
【０２７６】
予測演算回路１２１では、予測タップとしての画素データｘｉと、係数ＲＯＭ１０７から供給されるクラスコードＣａに対応した係数データＷｉ−ａとから、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）が算出される。このクラスコードＣａに対応した予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）は、位置検出回路１２２に供給される。
【０２７７】
また、全クラス予測演算回路１０８では、予測タップ抽出回路１０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ１０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路１０９に供給される。
【０２７８】
並べ換え回路１０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の、各クラスの予測データｙｐｉは、位置検出回路１２２および予測演算回路１１０に供給される。
【０２７９】
位置検出回路１２２では、並べ換え回路１０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路１２１で得られた予測データｙｐａの位置ｐ（４出力画素位置分）が検出される。このように位置検出回路１２２で検出された位置ｐは係数ＲＯＭ１２３に、読み出しアドレス情報として供給される。
【０２８０】
係数ＲＯＭ１２３に、クラス分類回路１０３で得られたクラスコードＣａおよび位置検出回路１２２で検出された位置ｐが供給されることで、この係数ＲＯＭ１２３からは、当該クラスコードＣａと４出力画素位置分の位置ｐのそれぞれとの組み合わせに対応した、４出力画素位置分の係数データＷｉａが読み出される。この係数データＷｉａは、予測演算回路１１０に供給される。
【０２８１】
この予測演算回路１１０では、４出力画素位置分の各クラスの予測データｙｐｉと、係数ＲＯＭ１０５より出力される４出力画素位置分の係数データＷｉａとから、上述した（２）式に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４が算出される。
【０２８２】
この予測演算回路１１０より、ＳＤ信号における各着目位置に対応して順次出力される、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４は、後処理回路１１１に供給される。この後処理回路１１１では、予測演算回路１１０から順次供給される画素データｙ１〜ｙ４が線順次化され、ＨＤ信号が得られる。このＨＤ信号は、出力端子１１２に出力される。
【０２８３】
図２０に示す画像信号処理装置１００Ｂにおいては、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する画素データｙ１〜ｙ４を、この着目位置に対応したクラスコードＣａおよび位置ｐに対応した係数データＷｉａおよび各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて、（２）式の推定式で算出するものである。
【０２８４】
したがって、この画像信号処理装置１００Ｂにおいても、図１に示す画像信号処理装置１００と同様に、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて、ＨＤ信号を構成する画素データｙ１〜ｙ４を求めるものであり、当該ＨＤ信号を構成する画素データｙ１〜ｙ４を良好に得ることができる。
【０２８５】
次に、図２０の画像信号処理装置１００Ｂの係数ＲＯＭ１２３に格納される、クラスコードＣａおよび位置ｐの各組み合わせの係数データＷｉａ（ｉ＝１〜Ｎ）の生成方法について説明する。
【０２８６】
この係数データＷｉａも、詳細説明は省略するが、上述した図１の画像信号処理装置１００の係数ＲＯＭ１０７に格納される各クラスの係数データＷｉと同様に、最小二乗法によって生成される。すなわち、学習によって、上述した（９）式と同様の正規方程式を生成し、その正規方程式を掃き出し法等の一般解法で解くことにより、係数データＷｉａ（ｉ＝１〜Ｎ）を求めることができる。
【０２８７】
図２２は、図２０の係数ＲＯＭ１２３に格納される係数データＷｉａを生成する係数データ生成装置３００Ｂの構成を示している。この図２２において、図８と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２８８】
この係数データ生成装置３００Ｂは、予測演算回路３２１を有している。この予測演算回路３２１は、予測タップ抽出回路３０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ３０７より得られる、クラス分類回路３０４で得られたクラスコードＣａに対応した係数データＷｉ−ａとから、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を求める。この場合、係数ＲＯＭ３０７および予測演算回路３２１は、予測処理手段を構成している。この予測演算回路３２１は、上述した図２０の画像信号処理装置１００Ｂの予測演算回路１２１と同様に構成されている。
【０２８９】
また、係数データ生成装置３００Ｂは、位置検出回路３２２を有している。この位置検出回路３２２は、並べ換え回路３０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路３２１で得られた予測データｙｐａの位置ｐを検出する。この位置検出回路３２２は、上述した図２０の画像信号処理装置１００Ｂの位置検出回路１２２と同様に構成されている。
【０２９０】
上述したように、ＳＤ信号のある着目位置に対応して、並べ換え回路３０９からは並べ換えられた各クラスの予測データｙｐｉが４出力画素位置分得られると共に、予測演算回路３２１では予測データｙｐａが４出力画素位置分得られる。したがって、位置検出回路３２２からは、ＳＤ信号のある着目位置に対応して、位置情報ｐが４出力画素位置分だけ得られる。
【０２９１】
学習対記憶部３１２は、クラス分類回路３０４で得られたクラスコードＣａおよび位置検出回路３２２で検出された位置ｐに基づいて、並べ換え回路３０９から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路３１１で抽出された教師データｙ０を、学習対データとして、出力画素位置、クラスコードＣａおよび位置ｐの組み合わせ毎に、記憶する。
【０２９２】
図２２に示す係数データ生成装置３００Ｂのその他は、図８に示す係数データ生成装置３００と同様に構成される。
【０２９３】
次に、図２２に示す係数データ生成装置３００Ｂの動作を説明する。
入力端子３０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路３０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０２９４】
ＳＤ信号生成回路３０２で得られるＳＤ信号はクラスタップ抽出回路３０３に供給される。このクラスタップ抽出回路３０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路３０４に供給される。
【０２９５】
クラス分類回路３０４では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。このクラスコードＣａは、係数ＲＯＭ３０７および学習対記憶部３１２に供給される。係数ＲＯＭ３０７にクラスコードＣａが供給されることで、この係数ＲＯＭ３０７からクラスコードＣａに対応した、４出力画素位置分の係数データＷｉ−ａが読み出されて予測演算回路３２１に供給される。
【０２９６】
また、ＳＤ信号生成回路３０２で得られるＳＤ信号は、予測タップ抽出回路３０６に供給される。この予測タップ抽出回路３０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、予測演算回路３２１および全クラス予測演算回路３０８に供給される。
【０２９７】
予測演算回路３２１では、予測タップとしての画素データｘｉと、係数ＲＯＭ３０７から供給されるクラスコードＣａに対応した係数データＷｉ−ａとから、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）が算出される。このクラスコードＣａに対応した予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）は、位置検出回路３２２に供給される。
【０２９８】
また、全クラス予測演算回路３０８では、予測タップとしての画素データｘｉと、係数ＲＯＭ３０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路３０９に供給される。
【０２９９】
並べ換え回路３０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の、各クラスの予測データｙｐｉは、位置検出回路３２２および学習対記憶部３１２に供給される。
【０３００】
位置検出回路３２２では、並べ換え回路３０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路３２１で得られた予測データｙｐａの位置ｐ（４出力画素位置分）が検出される。このように位置検出回路３２２で検出された位置ｐは、学習対記憶部３１２に供給される。
【０３０１】
また、入力端子３０１に入力されるＨＤ信号は、遅延回路３１０で時間調整された後に、教師データ抽出回路３１１に供給される。この教師データ抽出回路３１１では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データｙ０として抽出される。この教師データｙ０は学習対記憶部３１２に供給される。
【０３０２】
学習対記憶部３１２では、クラス分類回路３０４で得られたクラスコードＣａおよび位置検出回路３２２で検出された位置ｐに基づいて、並べ換え回路３０９から出力された各クラスの予測データｙｐｉおよび教師データ抽出回路３１１で抽出された教師データｙ０が、学習対データとして、出力画素位置、クラスコードＣａおよび位置ｐの組み合わせ毎に、記憶される。
【０３０３】
そして、演算回路３１３では、学習対記憶部３１２に記憶された複数の学習対データを用い、出力画素位置、クラスコードＣａおよび位置ｐの組み合わせ毎に、係数データＷｉａを算出するための正規方程式が生成される。さらに、この演算回路３１３では、各正規方程式が解かれて、出力画素位置、クラスコードＣａおよび位置ｐの組み合わせ毎に、係数データＷｉａが算出される。このように演算回路３１３で求められた係数データＷｉａは係数メモリ３１４に格納される。
【０３０４】
このように、図２２に示す係数データ生成装置３００Ｂにおいては、図２０の画像信号処理装置１００Ｂの係数ＲＯＭ１２３に格納される、出力画素位置（ｙ１〜ｙ４の位置）、クラスコードＣａおよび位置ｐの組み合わせ毎の、推定式で用いられる係数データＷｉａを生成することができる。
【０３０５】
なお、上述した図２０の画像信号処理装置１００Ｂにおける処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウエアで実現できる。図２３のフローチャートは、その処理手順を示している。
【０３０６】
まず、ステップＳＴ１１１で、処理を開始し、ステップＳＴ１１２で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分のＳＤ信号を入力する。このように入力されるＳＤ信号はＲＡＭ５０３に一時的に記憶される。
【０３０７】
そして、ステップＳＴ１１３で、ＳＤ信号の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１１４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１１５に進む。
【０３０８】
ステップＳＴ１１５では、ステップＳＴ１１２で入力されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ１１６で、ステップＳＴ１１５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。
【０３０９】
次に、ステップＳＴ１１７で、ステップＳＴ１１２で入力されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。そして、ステップＳＴ１１８で、ＲＯＭ５０２から、ステップＳＴ１１６で得られたクラスコードＣａに対応した、推定式（（１）式参照）で用いられる係数データＷｉ−ａを取得し、この係数データＷｉ−ａおよびステップＳＴ１７で抽出された予測タップとしての画素データｘｉとから、推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を算出する。
【０３１０】
次に、ステップＳＴ１１９で、ステップＳＴ１１７で抽出された予測タップとしての画素データｘｉと、ＲＯＭ５０２に記憶されている各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。
【０３１１】
次に、ステップＳＴ１２０で、ステップＳＴ１１９で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。そして、ステップＳＴ１２１で、ステップＳＴ１２０で並べ換えられた各クラスの予測データｙｐｉにおける、ステップＳＴ１１８で得られた予測データｙｐａの位置ｐを検出する。
【０３１２】
次に、ステップＳＴ１２２で、ＲＯＭ５０２から、ステップＳＴ１１６で得られたクラスコードＣａおよびステップＳＴ１２１で検出された位置ｐに対応した、推定式（（２）式参照）で用いられる係数データＷｉａを取得する。そして、ステップＳＴ１２３で、ステップＳＴ１２０で並べ換えられた各クラスの予測データｙｐｉと、ステップＳＴ１２２で取得された係数データＷｉａとから、推定式に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を算出する。
【０３１３】
次に、ステップＳＴ１２４で、ステップＳＴ１１２で入力された１フレーム分または１フィールド分のＳＤ信号の画素データの全領域において、ＨＤ信号の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１１２に戻り、次の１フレーム分または１フィールド分のＳＤ信号の入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１１５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０３１４】
このように、図２３に示すフローチャートに沿って処理をすることで、図２０に示す画像信号処理装置１００Ｂと同様の手法によって、ＳＤ信号からＨＤ信号を得ることができる。このように処理して得られたＨＤ信号は、出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０３１５】
また、処理装置の図示は省略するが、図２２に示す係数データ生成装置３００Ｂにおける処理も、ソフトウェアにより実現できる。図２４のフローチャートは、その処理手順を示している。
【０３１６】
まず、ステップＳＴ１３１で処理を開始し、ステップＳＴ１３２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ１３３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ１３４で、ステップＳＴ１３２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０３１７】
次に、ステップＳＴ１３５で、ステップＳＴ１３４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ１３６で、ステップＳＴ１３５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。
【０３１８】
次に、ステップＳＴ１３７で、ステップＳＴ１３４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０３１９】
そして、ステップＳＴ１３８で、ステップＳＴ１３６で得られたクラスコードＣａに対応した、推定式（（１）式参照）で用いられる係数データＷｉ−ａを取得し、この係数データＷｉ−ａおよびステップＳＴ１３７で抽出された予測タップとしての画素データｘｉとから、推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を算出する。
【０３２０】
次に、ステップＳＴ１３９で、ステップＳＴ１３７で抽出された予測タップとしての画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。さらに、ステップＳＴ１４０で、ステップＳＴ１３９で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。
【０３２１】
次に、ステップＳＴ１４１で、ステップＳＴ１４０で並べ換えられた各クラスの予測データｙｐｉにおける、ステップＳＴ１３８で得られた予測データｙｐａの位置ｐを検出する。そして、ステップＳＴ１４２で、ステップＳＴ１３２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データｙ０として抽出する。
【０３２２】
次に、ステップＳＴ１４３で、ステップＳＴ１３６で取得されたクラスコードＣａ、ステップＳＴ１４１で検出された位置ｐ、ステップＳＴ１４０で並べ換えられた各クラスの予測データｙｐｉ、ステップＳＴ１４２で抽出された教師データｙ０を用いて、クラスコードＣａおよび位置ｐの組み合わせ毎に、正規方程式を得るための足し込みをする。
【０３２３】
次に、ステップＳＴ１４４で、ステップＳＴ１３２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ１３２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ１３５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０３２４】
上述したステップＳＴ１３３で、処理が終了したときは、ステップＳＴ１４５で、ステップＳＴ１４３で足し込みが行われて生成された正規方程式を解いて、クラスコードＣａおよび位置ｐの各組み合わせの係数データＷｉａを求める。そして、ステップＳＴ１４６で、その係数データＷｉａを係数メモリに保存し、ステップＳＴ１４７で、処理を終了する。
【０３２５】
このように、図２４に示すフローチャートに沿って処理をすることで、図２２に示す係数データ生成装置３００Ｂと同様の手法によって、係数データＷｉａを生成できる。
【０３２６】
次に、この発明の第４の実施の形態について説明する。図２５は、第４の実施の形態としての画像信号処理装置１００Ｃの構成を示している。この画像信号処理装置１００Ｃも、図２０に示す画像信号処理装置１００Ｂと同様に、ＳＤ信号をＨＤ信号に変換するものである。この図２５において、図２０と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３２７】
この画像信号処理装置１００Ｃは、クラス再分類部としてのルックアップテーブル１２４と、係数データ発生部としての係数ＲＯＭ１２５とを有している。これらルックアップテーブル１２４および係数ＲＯＭ１２５は、第１の係数データ発生手段を構成している。
【０３２８】
ルックアップテーブル１２４は、クラス分類回路１０３で得られた第１のクラスコードとしてのクラスコードＣａおよび位置検出回路１２２で検出された位置ｐに対応した、第２のクラスコードとしてのクラスコードＣｂを得るためのものである。このクラスコードＣｂは、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報である。
【０３２９】
本実施の形態においては、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、クラスコードＣｂは、真値が“１”の範囲に存在するクラス１、真値が“２”の範囲に存在するクラス２、真値が“３”の範囲に存在するクラス３のいずれかを表すものとされる。
【０３３０】
図２６は、ルックアップテーブル１２４の構成例を示しており、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係が記憶されている。この場合、クラスコードＣａ毎に、クラスコードＣｂが共通となる位置ｐの範囲が、マージ（統合）されている。
【０３３１】
クラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係は、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習をすることで得られる。この対応関係の生成方法については、後述する。
【０３３２】
また、係数ＲＯＭ１２５は、ルックアップテーブル１２４で得られたクラスコードＣｂに係る各クラス、本実施の形態においてはクラス１〜クラス３に対応した、予測演算回路１１０で使用される第１の推定式（（２）式参照）で用いられる、係数データＷｉａ（ｉ＝１〜Ｎ）を、格納するものである。
【０３３３】
上述したように、ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素（ｘ０）に対応してＨＤ信号の４画素（ｙ１〜ｙ４）を得る必要がある（図２参照）。そのため、係数メモリＲＯＭ１２５には、出力画素位置（ｙ１〜ｙ４の位置）毎に、各クラスの係数データＷｉａが格納されている。この係数ＲＯＭ１２５に格納される係数データＷｉａは、ＳＤ信号に対応した生徒信号とＨＤ信号に対応した教師信号との間で学習をすることで得られる。この係数データＷｉａは、上述した図１３の画像信号処理装置１００Ａの係数ＲＯＭ１１４に格納される係数データＷｉａと同様に、例えば図１７の係数データ生成装置７００によって生成できる。
【０３３４】
クラス分類回路１０３で得られたクラスコードＣａおよび位置検出回路１２２で検出された位置ｐは、ルックアップテーブル１２４に、読み出しアドレス情報として供給される。このルックアップテーブル１２４からは、クラスコードＣａおよび位置ｐに対応したクラスコードＣｂが出力される。
【０３３５】
このクラスコードＣｂは係数ＲＯＭ１２５に読み出しアドレス情報として供給される。係数ＲＯＭ１２５からクラスコードＣｂが表すクラスに対応した、４出力画素位置分の係数データＷｉａが読み出されて予測演算回路１１０に供給される。
【０３３６】
この画像信号処理装置１００Ｃのその他の部分は、図２０に示す画像信号処理装置１００Ｂと同様に構成され、同様の動作をする。
【０３３７】
この図２５に示す画像信号処理装置１００Ｃにおいても、図２０に示す画像信号処理装置１００Ｂと同様に、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて、ＨＤ信号を構成する画素データｙ１〜ｙ４を求めるものであり、当該ＨＤ信号を構成する画素データｙ１〜ｙ４を良好に得ることができる。
【０３３８】
また、この画像信号処理装置１００Ｃにおいては、ルックアップテーブル１２４でクラスコードＣａおよび位置ｐに対応したクラスコードＣｂを取得し、そして係数ＲＯＭ１２５からこのクラスコードＣｂに対応した係数データＷｉａを取得するものである。したがって、係数ＲＯＭ１２５にはクラスコードＣｂに係る各クラスの係数データＷｉａのみを格納しておけばよく、当該係数ＲＯＭ１２５の容量を少なくできる。
【０３３９】
また、この画像信号処理装置１００Ｃにおいては、クラスコードＣｂを、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報とし、このクラスコードＣｂに対応した係数データＷｉａを使用するものであり、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を用いて算出されるＨＤ信号を構成する画素データｙ１〜ｙ４を、その真値に良好に近づけることができる。
【０３４０】
なお、図２５に示す画像信号処理装置１００Ｃにおいては、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、クラスコードＣｂは、真値が“１”の範囲に存在するクラス１、真値が“２”の範囲に存在するクラス２、真値が“３”の範囲に存在するクラス３のいずれかを表すものとされている。しかし、各クラスの予測データｙｐが存在する範囲、その下側および上側の範囲をさらに細かく分類し、クラスコードＣｂがさらに多くのクラスを表すようにしてもよい。
【０３４１】
次に、ルックアップテーブル１２４に記憶されるクラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係の生成方法について説明する。図２７は、その対応関係を生成するルックアップテーブル生成装置（ＬＵＴ生成装置）６００Ｃの構成を示している。この図２７において、図１６と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３４２】
このＬＵＴ生成装置６００Ｃは、予測演算回路６２１を有している。この予測演算回路６２１は、予測タップ抽出回路６０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ６０７より得られる、クラス分類回路６０４で得られたクラスコードＣａに対応した係数データＷｉ−ａとから、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を求める。この場合、係数ＲＯＭ６０７および予測演算回路６２１は、予測処理手段を構成している。この予測演算回路６２１は、上述した図２５の画像信号処理装置１００Ｃの予測演算回路１２１と同様に構成されている。
【０３４３】
また、ＬＵＴ生成装置６００Ｃは、位置検出回路６２２を有している。この位置検出回路６２２は、並べ換え回路６０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路６２１で得られた予測データｙｐａの位置ｐを検出する。この位置検出回路６２２は、上述した図２５の画像信号処理装置１００Ｃの位置検出回路１２２と同様に構成されている。
【０３４４】
上述したように、ＳＤ信号のある着目位置に対応して、並べ換え回路６０９からは並べ換えられた各クラスの予測データｙｐｉが４出力画素位置分得られると共に、予測演算回路６２１では予測データｙｐａが４出力画素位置分得られる。したがって、位置検出回路６２２からは、ＳＤ信号のある着目位置に対応して、位置情報ｐが４出力画素位置分だけ得られる。
【０３４５】
また、ＬＵＴ生成装置６００Ｃは、入力データとしてのクラスコードＣａおよび位置ｐの組み合わせ毎に、出力クラスコードＣｂに係るクラス１〜クラス３のカウント部を備えるカウンタ６１３Ｃを有している。このカウンタ６１３Ｃは、クラス分類回路６０４で得られたクラスコードＣａおよび位置検出回路６２２で検出された位置ｐに対応したクラス１〜クラス３のカウント部のうち、比較器６１２で得られる位置情報ＰＩに対応したカウント部のカウント値をアップする。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部がカウントアップされる。
【０３４６】
また、ＬＵＴ生成装置６００Ｃは、テーブル生成回路６１４Ｃを有している。このテーブル生成回路６１４Ｃは、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、カウンタ６１３Ｃ内の各カウント部のカウント値に基づいて、クラスコードＣａおよび位置ｐの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部を検出し、そのカウント部に対応したクラスを示すクラスコードＣｂを割り当てる。
【０３４７】
さらに、このテーブル生成回路６１４Ｃは、クラスコードＣａ毎に、クラスコードＣｂが共通となる位置ｐの範囲をマージ（統合）して、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの、最終的な対応関係を取得し（図２６参照）、それをメモリ６１５に記憶する。
【０３４８】
図２７に示すＬＵＴ生成装置６００Ｃのその他は、図１６に示すＬＵＴ生成装置６００と同様に構成される。
【０３４９】
次に、図２７に示すＬＵＴ生成装置６００Ｃの動作を説明する。
入力端子６０１には教師信号としてのＨＤ信号が入力される。このＨＤ信号に対して、ＳＤ信号生成回路６０２で、水平および垂直の間引き処理が行われて、生徒信号としてのＳＤ信号が生成される。
【０３５０】
ＳＤ信号生成回路６０２で得られるＳＤ信号はクラスタップ抽出回路６０３に供給される。このクラスタップ抽出回路６０３では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データがクラスタップとして抽出される（図３Ａ参照）。このクラスタップは、クラス分類回路６０４に供給される。
【０３５１】
クラス分類回路６０４では、クラスタップに含まれる各画素データに対して、ＡＤＲＣ処理等のデータ圧縮処理が施されて、当該クラスタップのクラスを表すクラスコードＣａが得られる。このクラスコードＣａは、係数ＲＯＭ６０７およびカウンタ６１３Ｃに供給される。係数ＲＯＭ６０７にクラスコードＣａが供給されることで、この係数ＲＯＭ６０７からクラスコードＣａに対応した、４出力画素位置分の係数データＷｉ−ａが読み出されて予測演算回路６２１に供給される。
【０３５２】
また、ＳＤ信号生成回路６０２で得られるＳＤ信号は、予測タップ抽出回路６０６に供給される。この予測タップ抽出回路６０６では、ＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データが予測タップとして抽出される（図３Ｂ参照）。この予測タップとしての画素データｘｉは、予測演算回路６２１および全クラス予測演算回路６０８に供給される。
【０３５３】
予測演算回路６２１では、予測タップとしての画素データｘｉと、係数ＲＯＭ６０７から供給されるクラスコードＣａに対応した係数データＷｉ−ａとから、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）が算出される。この予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）は、位置検出回路６２２に供給される。
【０３５４】
また、全クラス予測演算回路６０８では、予測タップ抽出回路６０６で抽出された予測タップとしての画素データｘｉと、係数ＲＯＭ６０７に記憶されている各クラスの係数データＷｉとから、クラス毎に、上述した（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が算出される。この全クラス予測演算回路６０８で算出された各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）は、並べ換え回路６０９に供給される。
【０３５５】
並べ換え回路６０９では、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が、大きい方から、あるいは小さい方から順に並べ換えられる。この場合、４個の予測データｙ１ｐ〜ｙ４ｐ、つまり４つの出力画素位置のそれぞれについて、個別に並べ換えが行われる。このように並べ換えられた４出力画素位置分の各クラスの予測データｙｐｉは、位置検出回路６２２および比較器６１２に供給される。
【０３５６】
位置検出回路６２２では、並べ換え回路６０９で並べ換えられた各クラスの予測データｙｐｉにおける、上述した予測演算回路６２１で得られた予測データｙｐａの位置ｐが検出される。このように位置検出回路６２２で検出された位置ｐはカウンタ６１３Ｃに供給される。
【０３５７】
また、入力端子６０１に入力されるＨＤ信号は、遅延回路６１０で時間調整された後に、教師データ抽出回路６１１に供給される。この教師データ抽出回路６１１では、ＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データが教師データｙ０として抽出される。この教師データｙ０は比較器６１２に供給される。
【０３５８】
比較器６１２では、並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、教師データｙ０とが比較され、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩが取得される。ここでは、各クラスの予測データｙｐが存在する範囲を“２”の範囲とし、その範囲に対して下側および上側の範囲を、それぞれ“１”，“３”の範囲とし（図１４参照）、位置情報ＰＩは、教師データｙ０が、これら“１”〜“３”の範囲のいずれにあるかを示すものとされる。この位置情報ＰＩはカウンタ６１３Ｃに供給される。
【０３５９】
カウンタ６１３Ｃでは、クラス分類回路６０４で得られたクラスコードＣａおよび位置検出回路６２２で検出された位置ｐに対応したクラス１〜クラス３のカウント部のうち、比較器６１２で得られる位置情報ＰＩに対応したカウント部のカウント値がアップされる。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部がカウントアップされる。このカウンタ６１３Ｃにおけるカウントアップ処理は、ＳＤ信号における各着目位置に対応して、比較器６１２から位置情報ＰＩが得られる毎に行われる。
【０３６０】
テーブル生成回路６１４Ｃでは、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、カウンタ６１３Ｃ内の各カウント部のカウント値に基づいて、クラスコードＣａおよび位置ｐの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部が検出され、そのカウント部に対応したクラスを示すクラスコードＣｂが割り当てられる。
【０３６１】
さらに、このテーブル生成回路６１４Ｃでは、クラスコードＣａ毎に、クラスコードＣｂが共通となる位置ｐの範囲がマージ（統合）されて、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの、最終的な対応関係が取得される（図２６参照）。この対応関係はメモリ６１５に記憶される。
【０３６２】
このように、図２７に示すＬＵＴ生成装置６００Ｃにおいては、図２５の画像信号処理装置１００ＣのＬＵＴ１２４に記憶される、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係を生成することができる。この場合、クラスコードＣｂは、各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が存在する範囲に対する、ＨＤ信号を構成する画素データｙ１〜ｙ４の真値の存在位置に対応したクラス分類情報を構成する。
【０３６３】
なお、上述した図２５の画像信号処理装置１００Ｃにおける処理を、例えば図９に示すような画像信号処理装置（コンピュータ）５００によって、ソフトウエアで実現できる。その場合の処理手順は、図２３のフローチャートに示す画像信号処理の処理手順と略同様である。
【０３６４】
ただし、図９のＲＯＭ５０２には、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係（図２６参照）、さらにクラスコードＣｂに係る各クラスの係数データＷｉａが格納されている。
【０３６５】
そして、ステップＳＴ１２２では、まず、ＲＯＭ５０２に記憶された対応関係を用いて、ステップＳＴ１１６で取得されたクラスコードＣａおよびステップＳＴ１２１で検出された位置ｐに対応したクラスコードＣｂを取得し、その後に、ＲＯＭ５０２から当該クラスコードＣｂが表すクラスの係数データＷｉａを取得する。
【０３６６】
また、処理装置の図示は省略するが、図２７に示すＬＵＴ生成装置６００Ｃにおける処理も、ソフトウェアで実現できる。図２８のフローチャートは、その場合の処理手順を示している。
【０３６７】
まず、ステップＳＴ１５０で処理を開始し、ステップＳＴ１５１でカウンタを初期化する。この場合、クラスコードＣａおよび位置ｐの各組み合わせに対応したカウント部のそれぞれを初期化する。
【０３６８】
次に、ステップＳＴ１５２で、教師信号としてのＨＤ信号を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ１５３で、ＨＤ信号の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ１５４で、ステップＳＴ１５２で入力されたＨＤ信号から生徒信号としてのＳＤ信号を生成する。
【０３６９】
次に、ステップＳＴ１５５で、ステップＳＴ１５４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データをクラスタップとして抽出する（図３Ａ参照）。そして、ステップＳＴ１５６で、ステップＳＴ１５５で抽出されたクラスタップに基づいて、このクラスタップを複数のクラスのうちのいずれかのクラスに分類してクラスコードＣａを取得する。
【０３７０】
次に、ステップＳＴ１５７で、ステップＳＴ１５４で生成されたＳＤ信号に基づいて、このＳＤ信号における着目位置の周辺に位置する複数の画素データを予測タップとして抽出する（図３Ｂ参照）。
【０３７１】
そして、ステップＳＴ１５８で、ステップＳＴ１５６で得られたクラスコードＣａに対応した、推定式（（１）式参照）で用いられる係数データＷｉ−ａを取得し、この係数データＷｉ−ａおよびステップＳＴ１５７で抽出された予測タップとしての画素データｘｉとから、推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐａ（ｙ１ｐａ〜ｙ４ｐａ）を算出する。
【０３７２】
次に、ステップＳＴ１５９で、ステップＳＴ１５７で抽出された予測タップとしての画素データｘｉと、各クラスの係数データＷｉとから、クラス毎に、推定式（（１）式参照）に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。さらに、ステップＳＴ１６０で、ステップＳＴ１５９で求められた各クラスの予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を、大きい方から、あるいは小さい方から順に並べ換える。
【０３７３】
次に、ステップＳＴ１６１で、ステップＳＴ１６０で並べ換えられた各クラスの予測データｙｐｉにおける、ステップＳＴ１５８で得られた予測データｙｐａの位置ｐを検出する。そして、ステップＳＴ１６２で、ステップＳＴ１５２で入力されたＨＤ信号に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する４個の画素データｙ１〜ｙ４を教師データｙ０として抽出する。
【０３７４】
そして、ステップＳＴ１６３で、ステップＳＴ１６０で並べ換えられた各クラスの予測データｙｐｉの最大値および最小値と、ステップＳＴ１６２で抽出された教師データｙ０とを比較し、教師データｙ０の、各クラスの予測データｙｐｉが存在する範囲に対する存在位置を示す位置情報ＰＩを取得する。
【０３７５】
次に、ステップＳＴ１６４で、ステップＳＴ１５６で得られたクラスコードＣａ、ステップＳＴ１６１で検出された位置ｐおよびステップＳＴ１６３で得られた位置情報ＰＩに基づいて、クラスコードＣａおよび位置ｐに対応したクラス１〜クラス３のカウント部のうち、位置情報ＰＩに対応したカウント部のカウント値をアップする。この場合、位置情報ＰＩが“１”，“２”，“３”の範囲にあることを示すとき、それぞれクラス１，クラス２，クラス３のカウント部をカウントアップする。
【０３７６】
次に、ステップＳＴ１６５で、ステップＳＴ１５２で入力された１フレーム分または１フィールド分のＨＤ信号の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ１５２に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ１５５に戻って、ＳＤ信号における次の着目位置についての処理に移る。
【０３７７】
上述したステップＳＴ１５３で、処理が終了したときは、ステップＳＴ１６６に進む。このステップＳＴ１６６では、ＳＤ信号における各着目位置に対応したカウントアップ処理によって得られた、各カウント部のカウント値に基づいて、クラスコードＣａおよび位置ｐの組み合わせ毎に、クラス１〜クラス３のカウント部のうち、カウント値が最大となるカウント部を検出し、そのカウント部に対応したクラスを表すクラスコードＣｂを割り当てる。
【０３７８】
そして、ステップＳＴ１６７で、クラスコードＣａ毎に、クラスコードＣｂが共通となる位置ｐの範囲をマージ（統合）して、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの、最終的な対応関係を取得し（図２６参照）、メモリに保存する。そして、ステップＳＴ１６８で、処理を終了する。
【０３７９】
このように、図２８に示すフローチャートに沿って処理をすることで、図２７に示すＬＵＴ生成装置６００Ｃと同様の手法によって、クラスコードＣａおよび位置ｐと、クラスコードＣｂとの対応関係を生成できる。
【０３８０】
次に、この発明の第５の実施の形態について説明する。図２９は、第５の実施の形態としての画像信号処理装置１００Ｄの構成を示している。図１に示す画像信号処理装置１００では、係数ＲＯＭ１０７に各クラスの係数データＷｉを予め格納しておくものであるが、図２９に示す画像信号処理装置１００Ｄでは、各クラスの係数データＷｉを生成するための生成式における係数データである係数種データをＲＯＭに格納しておき、この係数種データを用いて係数データＷｉを生成するものである。この図２９において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。
【０３８１】
画像信号処理装置１００Ｄは、ＲＯＭ１３１を有している。このＲＯＭ１３１には、各クラスの係数種データが予め蓄えられている。この係数種データは、後述する係数メモリ１３３に格納する係数データＷｉを生成するための生成式の係数データである。
【０３８２】
全クラス予測演算回路１０８では、予測タップとしての画素データｘｉと、後述する係数メモリ１３３から読み出される各クラスの係数データＷｉとから、クラス毎に、（１）式の推定式に基づいて、ＳＤ信号の着目位置に対応した、ＨＤ信号を構成する画素データｙ（ｙ１〜ｙ４）の予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）が演算される。
【０３８３】
係数メモリ１３３に格納する、推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）は、（１０）式に示すように、パラメータｒ，ｚを含む生成式によって生成される。ここで、ｒは解像度を決めるパラメータであり、ｚはノイズ除去度を決めるパラメータである。ＲＯＭ１３１には、この生成式の係数データである係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）が、クラスおよび出力画素位置（ｙ１〜ｙ４の位置、図２参照）の組み合わせ毎に、記憶されている。この係数種データの生成方法については後述する。
【０３８４】
【数７】
2005005804.tif 000011
【０３８５】
また、画像信号処理装置１００Ｄは、各クラスの係数種データおよびパラメータｒ，ｚの値とを用い、（１０）式に基づいて、クラスおよび出力画素位置の組み合わせ毎に、パラメータｒ，ｚの値に対応した、推定式で用いられる係数データＷｉを生成する係数生成回路１３２を有している。この係数生成回路１３２には、ＲＯＭ１３１から係数種データｗｉ０〜ｗｉ９がロードされる。また、この係数生成回路１３２には、パラメータｒ，ｚも供給される。
【０３８６】
この係数生成回路１３２で生成される各クラスの係数データＷｉは、上述した係数メモリ１３３に格納されて使用される。この係数生成回路１３２における係数データＷｉの生成は、例えば垂直ブランキング期間毎に行われる。これにより、ユーザの操作によってパラメータｒ，ｚの値が変更されても、係数メモリ１３３に格納される各クラスの係数データＷｉを、そのパラメータｒ，ｚの値に対応したものに即座に変更でき、ユーザによる解像度、ノイズ除去度の調整がスムーズに行われる。
【０３８７】
画像信号処理装置１００Ｄのその他は、図１に示す画像信号処理装置１００と同様に構成され、同様の動作をする。
【０３８８】
なお、この図２９に示す画像信号処理装置１００Ｄにおける処理も、ソフトウェアで実現できる。その場合の処理手順は、図１０に示す画像信号処理の処理手順と略同様である。
【０３８９】
ただし、ステップＳＴ２０では、クラス毎に、そのクラスに対応した係数種データｗｉ０〜ｗｉ９を用い、生成式（（１０）式参照）に基づいて、ユーザにより設定されたパラメータｒ，ｚに対応した係数データＷｉを生成し、この係数データＷｉと予測タップとしての画素データｘｉとから、予測データｙｐ（ｙ１ｐ〜ｙ４ｐ）を算出する。
【０３９０】
次に、ＲＯＭ１３１に格納される、各クラスの係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）の生成方法について説明する。この係数種データｗｉ０〜ｗｉ９は、学習によって生成される。学習方法を説明する。
【０３９１】
ここで、以下の説明のため、（１１）式のように、ｔｊ（ｊ＝０〜９）を定義する。
2005005804.tif 000012
この（１１）式を用いると、（１０）式は、（１２）式のように書き換えられる。
【０３９２】
【数８】
2005005804.tif 000013
【０３９３】
最終的に、学習によって未定係数ｗｉｊを求める。すなわち、クラスおよび出力画素位置の組み合わせ毎に、複数のＳＤ画素データとＨＤ画素データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅｋ、二乗誤差の総和をＥとすると、（１）式および（１０）式を用いて、Ｅは（１３）式で表される。ここで、ｘｉｋはＳＤ画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙｋはそれに対応するｋ番目のＨＤ画像の画素データを表している。
【０３９４】
【数９】
2005005804.tif 000014
【０３９５】
最小二乗法による解法では、（１３）式のｗｉｊによる偏微分が０になるようなｗｉｊを求める。これは、（１４）式で示される。
【０３９６】
【数１０】
2005005804.tif 000015
【０３９７】
以下、（１５）式、（１６）式のように、Ｘｉｐｊｑ、Ｙｉｐを定義すると、（１４）式は、行列を用いて、（１７）式のように書き換えられる。
【０３９８】
【数１１】
2005005804.tif 000016
【０３９９】
【数１２】
2005005804.tif 000017
【０４００】
この（１７）式が、係数種データを算出するための正規方程式である。この正規方程式を掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）等の一般解法で解くことにより、係数種データｗｉ０〜ｗｉ９（ｉ＝１〜ｎ）を求めることができる。
【０４０１】
図３０は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
【０４０２】
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
【０４０３】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０４０４】
ノイズを加える量としては、例えば（１８）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ                            ・・・（１８）
【０４０５】
例えば、周波数特性を可変するパラメータｒを０〜８の９段階に可変し、ノイズを加える量を可変するパラメータｚを０〜８の９段階に可変し、合計８１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図２９の画像信号処理装置１００Ｄにおけるパラメータｒ，ｚに対応するものである。
【０４０６】
図３１は、図２９のＲＯＭ１３１に格納される係数種データｗｉ０〜ｗｉ９を生成する係数種データ生成装置２００Ｄの構成を示している。この図３１において、図７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０４０７】
係数種データ生成装置２００Ｄは、入力端子２０１に入力される教師信号としてのＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路２０２Ｄを有している。このＳＤ信号生成回路２０２Ｄには、パラメータｒ，ｚが制御信号として供給される。パラメータｒに対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚに対応して、ＳＤ信号に加えるノイズの量が可変される。
【０４０８】
また、係数種データ生成装置２００Ｄは、学習対記憶部２０９Ｄを有している。この学習対記憶部２０９Ｄは、クラス分類回路２０４で得られたクラスコードＣａおよびＳＤ信号生成回路２０２Ｄに供給されたパラメータｒ，ｚに基づいて、予測タップ抽出回路２０６および教師データ抽出回路２０８でＳＤ信号における各着目位置に対応して抽出された予測タップおよび教師データを学習対データとして、クラス毎に、パラメータｒ，ｚの値に関連付けて、記憶する。
【０４０９】
また、係数種データ生成装置２００Ｄは、演算回路２１０Ｄを有している。この演算回路２１０Ｄは、学習対記憶部２０９Ｄに記憶された複数の学習対データを用い、クラス毎に、係数種データｗｉ０〜ｗｉ９を算出するための正規方程式（（１７）式参照）を生成する。なおこの場合、演算回路２１０Ｄは、出力画素位置（ｙ１〜ｙ４の位置）毎に、正規方程式を生成する。すなわち、演算回路２１０Ｄは、クラスおよび出力画素位置の組み合わせ毎に、正規方程式を生成する。さらに、この演算回路２１０Ｄは、各正規方程式を解いて、クラスおよび出力画素位置の組み合わせ毎に、係数種データｗｉ０〜ｗｉ９を算出する。
【０４１０】
係数種データ生成装置２００Ｄのその他は、図７に示す係数データ生成装置２００と同様に構成される。
【０４１１】
図３１に示す係数種データ生成装置２００Ｄの動作を説明する。
入力端子２０１に入力されるＨＤ信号に対してＳＤ信号生成回路２０２Ｄで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号が生成される。この場合、ＳＤ信号生成回路２０２Ｄにはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０４１２】
このＳＤ信号生成回路２０２Ｄで生成されたＳＤ信号は、クラスタップ抽出回路２０３に供給されると共に、時間調整用の遅延回路２０５を介して予測タップ抽出回路２０６に供給される。また、入力端子２０１に入力されるＨＤ信号は、時間調整用の遅延回路２０７を介して教師データ抽出回路２０８に供給される。
【０４１３】
クラスタップ抽出回路２０３、クラス分類回路２０４、予測タップ抽出回路２０６、教師データ抽出回路２０８の動作は、図７に示す係数データ生成装置２００における動作と同様であるので、その説明は省略する。
【０４１４】
学習対記憶部２０９Ｄには、クラス分類回路２０４で得られたクラスコードＣａ、予測タップ抽出回路２０６で抽出される予測タップ、教師データ抽出回路２０８で抽出される教師データ、およびＳＤ信号生成回路２０２Ｄに供給されたと同じパラメータｒ，ｚが供給される。そして、この学習対記憶部２０９Ｄには、予測タップおよび教師データが学習対データとして記憶される。この場合、クラスコードＣａおよびパラメータｒ，ｚに基づいて、各学習対データが、クラス毎に、パラメータｒ，ｚの値に関連付けて、記憶される。
【０４１５】
そして、演算回路２１０Ｄでは、学習対記憶部２０９Ｄに記憶された複数の学習対データを用い、クラスおよび出力画素位置の組み合わせ毎に、係数種データｗｉ０〜ｗｉ９を算出するための正規方程式（（１７）式参照）が生成される。さらに、この演算回路２１０Ｄでは、各正規方程式が解かれて、クラスおよび出力画素位置の組み合わせ毎に、係数種データｗｉ０〜ｗｉ９が算出される。このように演算回路２１０Ｄで求められた係数種データｗｉ０〜ｗｉ９は係数メモリ２１１に格納される。
【０４１６】
また、処理装置の図示は省略するが、図３１の係数種データ生成装置２００Ｄにおける処理も、ソフトウェアで実現できる。その場合の処理手順は、図１１に示す係数データ生成処理の処理手順と略同様である。
【０４１７】
ただし、ステップＳＴ３２で入力される教師信号としてのＨＤ信号に対して、ステップＳＴ３４で、全てのパラメータｒ，ｚの値の組み合わせに対応した周波数特性およびノイズ加算量を持つ、生徒信号としてのＳＤ信号を生成し、各ＳＤ信号を用いて学習処理を行う。
【０４１８】
そして、ステップＳＴ３９では、ステップＳＴ３６で取得されたクラスコードＣａ、ステップＳＴ３７で抽出された予測タップの画素データｘｉ、およびステップＳＴ３８で抽出された教師データｙ１〜ｙ４、さらには、パラメータｒ，ｚを用いて、クラス毎に、（１７）式に示す正規方程式を得るための足し込みをする（（１５）式、（１６）式参照）。
【０４１９】
また、ステップＳＴ４１では、係数データＷｉを算出する代わりに、上述のステップＳＴ３９の足し込み処理によって生成された正規方程式を解いて、各クラスの係数種データｗｉ０〜ｗｉ９を求め、ステップＳＴ４２で、その係数種データｗｉ０〜ｗｉ９を係数メモリに保存し、ステップＳＴ４３で、処理を終了する。
【０４２０】
なお、図２９に示す画像信号処理装置１００Ｄは、図１に示す画像信号処理装置１００に対応したものであるが、図１３、図２０、図２５に示す画像信号処理装置１００Ａ，１００Ｂ，１００Ｃにおける係数ＲＯＭ１０７の部分も、図２９に示す画像信号処理装置１００Ｄと同様に、ＲＯＭ１３１、係数生成回路１３２、係数メモリ１３３で構成できる。
【０４２１】
また、図２９に示す画像信号処理装置１００Ｄでは、パラメータｒ，ｚによらず、係数ＲＯＭ１００ＤからはクラスコードＣａおよびダイナミックレンジＤＲに対応した係数データＷｉａが出力されるものであるが、さらにパラメータｒ，ｚに対応した係数データＷｉａが出力されるようにしてもよい。その場合には、例えば、係数ＲＯＭ１０５の部分を、上述したＲＯＭ１３１、係数生成回路１３２、係数メモリ１３３と同様の構成とすることで達成できる。なおその場合、ＲＯＭには、出力画素位置、クラスコードＣａおよびダイナミックレンジＤＲの組み合わせ毎に、係数データＷｉａを生成するための生成式における係数データである係数種データを格納しておくことになる。
【０４２２】
また、上述した図２９に示す画像信号処理装置１００Ｄにおいて、（１０）式の生成式には、解像度を決めるパラメータｒおよびノイズ除去度を決めるパラメータｚを含むものであるが、パラメータの種類および個数は、これに限定されるものではない。
【０４２３】
また、上述した画像信号処理装置１００，１００Ａ〜１００Ｄにおいては、クラスコードＣａおよびダイナミックレンジＤＲ、あるいはクラスコードＣａおよび位置ｐに対応した係数データＷｉａを取得し、各クラスの予測データｙｐとこの係数データＷｉａとから、（２）式の推定式に基づいて、ＳＤ信号における着目位置に対応した、ＨＤ信号を構成する画素データｙ１〜ｙ４を求めるものであったが、クラスコードＣａのみに対応した係数データＷｉａを取得し、これを用いてＨＤ信号を構成する画素データｙ１〜ｙ４を求める構成とすることも考えられる。
【０４２４】
また、上述実施の形態においては、ＳＤ信号を水平方向および垂直方向に画素数を２倍としたＨＤ信号に変換するものを示したが、画素数を増やす方向は、水平方向、垂直方向に限定されるものではなく、さらには時間方向（フレーム方向）も考えられる。また、逆に、ＨＤ信号から画素数を減らしたＳＤ信号を得る場合にも、この発明を同様に適用できる。すなわち、この発明は、一般に、第１の画像信号から、この第１の画像信号と同一または異なる画素数の第２の画像信号に変換する場合に適用できる。
【０４２５】
また、上述実施の形態においては、複数個の情報データからなる情報信号が、複数個の画素データからなる画像信号であるものを示したが、この発明は情報信号がその他、例えば音声信号であるものにも同様に適用できる。音声信号の場合、複数個のサンプルデータからなっている。
【０４２６】
【発明の効果】
この発明によれば、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データを、この着目位置に対応したクラスの係数データおよび各クラスの予測データを用いて推定式で算出するものであり、すなわち第２の情報信号を構成する情報データの真値に近い、各クラスの予測データを用いて、第２の情報信号を構成する情報データを算出して得るものであり、算出された情報データは、その真値に対する誤差が小さなものとなり、第２の情報信号を構成する情報データを良好に得ることができる。
【０４２７】
また、この発明によれば、第１のクラスコードを第２のクラスコードに変換し、そしてこの第２のクラスコードに対応して得られた第１の推定式で用いられる係数データを取得し、この係数データと予測タップとを用い、推定式に基づいて、第２の情報信号を構成する情報データを算出して得るものであり、第２のクラスコードに係るクラス数が第１のクラスコードに係るクラス数より少ないときは、例えば各クラスの係数データを格納しておく記憶媒体の容量を少なくできる。
【０４２８】
また、この発明によれば、第２のクラスコードを、各クラスの予測データが存在する範囲に対する、第１の情報信号における着目位置に対応した、第２の情報信号を構成する情報データの真値の存在位置に対応したクラス分類情報とし、この第２のクラスコードに対応した係数データを使用するものであり、各クラスの予測データを用いて算出される第２の情報信号を構成する情報データを、その真値に良好に近づけることができる。
【図面の簡単な説明】
【図１】第１の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図２】ＳＤ信号とＨＤ信号の画素位置関係を示す図である。
【図３】クラスタップと予測タップの一例を示す図である。
【図４】予測タップのタップ位置を示す図である。
【図５】全クラス予測演算回路の構成を示すブロック図である。
【図６】並べ換え回路における並べ換えの一例を示す図である。
【図７】係数データ生成装置の構成を示すブロック図である。
【図８】係数データ生成装置の構成を示すブロック図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１０】画像信号処理を示すフローチャートである。
【図１１】係数データ生成処理を示すフローチャートである。
【図１２】係数データ生成処理を示すフローチャートである。
【図１３】第２の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図１４】再クラス分類の概念を示す図である。
【図１５】ルックアップテーブルの構成例を示す図である。
【図１６】ルックアップテーブル生成装置の構成を示すブロック図である。
【図１７】係数データ生成装置の構成を示すブロック図である。
【図１８】ルックアップテーブル生成処理を示すフローチャートである。
【図１９】係数データ生成処理を示すフローチャートである。
【図２０】第３の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図２１】位置検出を説明するための図である。
【図２２】係数データ生成装置の構成を示すブロック図である。
【図２３】画像信号処理を示すフローチャートである。
【図２４】係数データ生成処理を示すフローチャートである。
【図２５】第４の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図２６】ルックアップテーブルの構成例を示す図である。
【図２７】ルックアップテーブル生成装置の構成を示すブロック図である。
【図２８】ルックアップテーブル生成処理を示すフローチャートである。
【図２９】第５の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図３０】係数種データの生成方法を説明するための図である。
【図３１】係数種データ生成装置の構成を示すブロック図である。
【符号の説明】
１００，１００Ａ〜１００Ｄ・・・画像信号処理装置、１０１・・・入力端子、１０２・・・クラスタップ抽出回路、１０３・・・クラス分類回路、１０４・・・ダイナミックレンジ検出回路、１０５，１０７，１１４，１２３，１２５・・・係数ＲＯＭ、１０６・・・予測タップ抽出回路、１０８・・・全クラス予測演算回路、１０９・・・並べ換え回路、１１０，１２１・・・予測演算回路、１１１・・・後処理回路、１１２・・・出力端子、１１３，１２４・・・ルックアップテーブル、１２２・・・位置検出回路、１３１・・・ＲＯＭ、１３２・・・係数生成回路、１３３・・・係数メモリ、２００・・・係数データ生成装置、２００Ｄ・・・係数種データ生成装置、２０１・・・入力端子、２０２，２０２Ｄ・・・ＳＤ信号生成回路、２０３・・・クラスタップ抽出回路、２０４・・・クラス分類回路、２０５，２０７・・・遅延回路、２０６・・・予測タップ抽出回路、２０８・・教師データ抽出回路、２０９，２０９Ｄ・・・学習対記憶部、２１０，２１０Ｄ・・・演算回路、２１１・・・係数メモリ、３００，３００Ｂ・・・係数データ生成装置、３０１・・・入力端子、３０２・・・ＳＤ信号生成回路、３０３・・・クラスタップ抽出回路、３０４・・・クラス分類回路、３０５・・・ダイナミックレンジ検出回路、３０６・・・予測タップ検出回路、３０７・・・係数ＲＯＭ、３０８・・・全クラス予測演算回路、３０９・・・並べ換え回路、３１０・・・遅延回路、３１１・・・教師データ抽出回路、３１２・・・学習対記憶部、３１３・・・演算回路、３１４・・・係数メモリ、３２１・・・予測演算回路、３２２・・・位置検出回路、５００・・・画像信号処理装置、６００，６００Ｃ・・・ルックアップテーブル生成装置、６０１・・・入力端子、６０２・・・ＳＤ信号生成回路、６０３・・・クラスタップ抽出回路、６０４・・・クラス分類回路、６０５・・・ダイナミックレンジ検出回路、６０６・・・予測タップ抽出回路、６０７・・・係数ＲＯＭ、６０８・・・全クラス予測演算回路、６０９・・・並べ換え回路、６１０・・・遅延回路、６１１・・・教師データ抽出回路、６１２・・・比較器、６１３・・・カウンタ、６１４・・・テーブル生成回路、６１５・・・メモリ、６２１・・・予測演算回路、６２２・・・位置検出回路、６１３Ｃ・・・カウンタ、６１４Ｃ・・・テーブル生成回路、７００・・・係数データ生成装置、７０１・・・入力端子、７０２・・・ＳＤ信号生成回路、７０３・・・予測タップ抽出回路、７０４・・・係数ＲＯＭ、７０５・・・全クラス予測演算回路、７０６・・・並べ換え回路、７０７・・・遅延回路、７０８・・・教師データ抽出回路、７０９・・・比較器、７１０・・・学習対記憶部、７１１・・・演算回路、７１２・・・係数メモリ
【図１】
2005005804.tif 000018
【図２】
2005005804.tif 000019
【図３】
2005005804.tif 000020
【図４】
2005005804.tif 000021
【図５】
2005005804.tif 000022
【図６】
2005005804.tif 000023
【図７】
2005005804.tif 000024
【図８】
2005005804.tif 000025
【図９】
2005005804.tif 000026
【図１０】
2005005804.tif 000027
【図１１】
2005005804.tif 000028
【図１２】
2005005804.tif 000029
【図１３】
2005005804.tif 000030
【図１４】
2005005804.tif 000031
【図１５】
2005005804.tif 000032
【図１６】
2005005804.tif 000033
【図１７】
2005005804.tif 000034
【図１８】
2005005804.tif 000035
【図１９】
2005005804.tif 000036
【図２０】
2005005804.tif 000037
【図２１】
2005005804.tif 000038
【図２２】
2005005804.tif 000039
【図２３】
2005005804.tif 000040
【図２４】
2005005804.tif 000041
【図２５】
2005005804.tif 000042
【図２６】
2005005804.tif 000043
【図２７】
2005005804.tif 000044
【図２８】
2005005804.tif 000045
【図２９】
2005005804.tif 000046
【図３０】
2005005804.tif 000047
【図３１】
2005005804.tif 000048