(57)【要約】【課題】第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを、所定の特徴を持つ特徴位置の情報データを忠実に再現し得るように、生成する。【解決手段】判定部１５８は、複数の画素データｄ0〜ｄ8に基づいて、教師信号としての画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか判定する。正規方程式生成回路１７１は、特徴位置であると判定された、画像信号Ｖｂ′における各注目画素位置を対象として、当該各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータｘｉと、各注目画素位置の画素データｙが属するクラスＣＬとから、係数データＷｉを得るための正規方程式を生成する。係数データＷｉは、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成される。【選択図】        図５
2005295355.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する装置であって、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定手段と、
上記第１の情報信号に対応した生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記判定部で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択手段で選択された複数の情報データを用いて、上記係数データを求める演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項２】
上記生徒信号に基づいて、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段をさらに備え、
上記演算手段は、
上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択手段で選択された複数の情報データと共に、該注目位置に対応して上記クラス検出手段で検出されたクラスを用いて、クラス毎に、上記係数データを求める
ことを特徴とする請求項１に記載の係数データ生成装置。
【請求項３】
上記演算手段は、
上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択手段で選択された複数の情報データを用いて、上記係数データを求めるための正規方程式を生成する正規方程式生成部と、
上記正規方程式生成部で生成された上記正規方程式を解いて、上記係数データを求める係数データ演算部とを有する
ことを特徴とする請求項１に記載の係数データ生成装置。
【請求項４】
上記判定手段は、
上記教師信号に基づいて選択された、該教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データを用いて、該注目位置が上記特徴位置であるか否かを判定する
ことを特徴とする請求項１に記載の係数データ生成装置。
【請求項５】
上記判定手段は、
上記注目位置の情報データが、上記周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定する
ことを特徴とする請求項４に記載の係数データ生成装置。
【請求項６】
上記判定手段は、
上記注目位置の情報データが、
上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する
ことを特徴とする請求項４に記載の係数データ生成装置。
【請求項７】
上記注目位置の情報データおよび上記周辺に位置する情報データは、低域遮断フィルタを介して取得される
ことを特徴とする請求項４に記載の係数データ生成装置。
【請求項８】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する方法であって、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記第１の情報信号に対応した生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択工程で選択された複数の情報データを用いて、上記係数データを求める演算工程と
を備えることを特徴とする係数データ生成方法。
【請求項９】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記第１の情報信号に対応した生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択工程で選択された複数の情報データを用いて、上記係数データを求める演算工程と
を備える係数データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項１０】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するために、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記第１の情報信号に対応した生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データおよび該注目位置に対応して上記データ選択工程で選択された複数の情報データを用いて、上記係数データを求める演算工程と
を備える係数データ生成方法をコンピュータに実行させるためのプログラム。
【請求項１１】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する装置であって、
上記第１の情報信号に基づいて、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
推定式の係数データを記憶する記憶手段と、
上記データ選択手段で選択された複数の情報データおよび上記記憶手段に記憶されている係数データを用い、上記推定式に基づいて、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、
上記係数データは、
上記第２の情報信号に対応した教師信号における、所定の特徴を持つ特徴位置の情報データ、および上記第１の情報信号に対応した生徒信号に基づいて選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データを用いて求められた
ことを特徴とする情報信号処理装置。
【請求項１２】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成する装置であって、
上記生成式に含まれるパラメータに対応し、上記第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定手段と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記判定部で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択手段で選択された複数の情報データおよび上記入力手段に入力されたパラメータの値を用いて、上記係数種データを求める演算手段と
を備えることを特徴とする係数種データ生成装置。
【請求項１３】
上記生徒信号に基づいて、上記教師信号における注目位置の情報データが属するクラスを検出するクラス検出手段をさらに備え、
上記演算手段は、
上記判定部で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択手段で選択された複数の情報データおよび上記入力手段に入力されたパラメータの値と共に、該注目位置に対応して上記クラス検出手段で検出されたクラスを用いて、クラス毎に、上記係数種データを求める
ことを特徴とする請求項１２に記載の係数種データ生成装置。
【請求項１４】
上記演算手段は、
上記判定手段で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択手段で選択された複数の情報データおよび上記入力手段に入力されたパラメータの値を用いて、上記係数種データを求めるための正規方程式を生成する正規方程式生成部と、
上記正規方程式生成部で生成された上記正規方程式を解いて、上記係数種データを求める係数種データ演算部とを有する
ことを特徴とする請求項１２に記載の係数種データ生成装置。
【請求項１５】
上記判定手段は、
上記教師信号に基づいて選択された、該教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データを用いて、該注目位置が上記特徴位置であるか否かを判定する
ことを特徴とする請求項１２に記載の係数種データ生成装置。
【請求項１６】
上記判定手段は、
上記注目位置の情報データが、上記周辺に位置する複数の情報データの最大値より大きいか、あるいは上記周辺に位置する複数の情報データの最小値より小さいとき、上記注目位置は上記特徴位置であると判定する
ことを特徴とする請求項１５に記載の係数種データ生成装置。
【請求項１７】
上記判定手段は、
上記注目位置の情報データが、
上記周辺に位置する複数の情報データの中央値と一致、あるいは上記注目位置の情報データおよび上記周辺に位置する複数の情報データの中央値と一致するとき、上記注目位置は上記特徴位置であると判定する
ことを特徴とする請求項１５に記載の係数種データ生成装置。
【請求項１８】
上記注目位置の情報データおよび上記周辺に位置する情報データは、低域遮断フィルタを介して取得される
ことを特徴とする請求項１５に記載の係数種データ生成装置。
【請求項１９】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成する方法であって、
上記生成式に含まれるパラメータに対応し、上記第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択工程で選択された複数の情報データおよび上記パラメータ取得工程で取得されたパラメータの値を用いて、上記係数種データを求める演算工程と
を備えることを特徴とする係数種データ生成方法。
【請求項２０】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成するために、
上記生成式に含まれるパラメータに対応し、上記第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択工程で選択された複数の情報データおよび上記パラメータ取得工程で取得されたパラメータの値を用いて、上記係数種データを求める演算工程と
を備える係数種データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項２１】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成するために、
上記生成式に含まれるパラメータに対応し、上記第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、
上記第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、
上記生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、
上記判定工程で特徴位置であると判定された上記教師信号における注目位置の情報データ、該注目位置に対応して上記データ選択工程で選択された複数の情報データおよび上記パラメータ取得工程で取得されたパラメータの値を用いて、上記係数種データを求める演算工程と
を備える係数種データ生成方法をコンピュータに実行させるためのプログラム。
【請求項２２】
複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する装置であって、
上記第１の情報信号に基づいて、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記第２の情報信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、
推定式の係数データを生成する上記パラメータを含む生成式における係数データである係数種データを記憶する記憶手段と、
上記記憶手段に記憶されている係数種データおよび上記パラメータ入力手段に入力されたパラメータの値を用い、上記生成式に基づいて、上記パラメータ入力手段に入力されたパラメータの値に対応した上記推定式の係数データを生成する係数データ生成手段と、
上記データ選択手段で選択された複数の情報データおよび上記係数データ生成手段で生成された係数データを用い、上記推定式に基づいて、上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、
上記係数種データは、
上記第２の情報信号に対応した教師信号における、所定の特徴を持つ特徴位置の情報データ、上記第１の情報信号に対応した生徒信号に基づいて選択された、上記教師信号における特徴位置の周辺に位置する複数の情報データ、および上記生徒信号によって得られる出力の質を定めるパラメータの値を用いて求められた
ことを特徴とする情報信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはこの係数データを生成するための生成式における係数データである係数種データを生成する装置および方法、これら係数データあるいは係数種データを用いて第１の情報信号を第２の情報信号に変換する装置、並びに係数データあるいは係数種データの生成方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した媒体に関する。
【０００２】
詳しくは、この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、第１の情報信号に対応した生徒信号および第２の情報信号に対応した教師信号を用いた学習により得る場合、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いることによって、当該所定の特徴を持つ特徴位置の情報データを忠実に再現し得る係数データあるいは係数種データを得ることができ、第２の情報信号によって得られる出力の質の向上を図ることができるようにした係数データあるいは係数種データの生成装置等に係るものである。
【背景技術】
【０００３】
近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の補間処理による手法よりも、クラス分類適応処理による手法の方が、性能的に良好な結果が得られることが知られている。
【０００４】
このクラス分類適応処理は、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目画素位置の画素データが属するクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目画素位置の画素データを生成するものである。そして、このクラス分類を伴う変換処理で使用される推定式の係数データは、クラス毎に最小二乗法等の学習によって決定される。
【０００５】
例えば、特許文献１には、学習の教師となる教師データと、学習の生徒となる生徒データとを用い、その教師データと生徒データに対して、生徒データから生成される予測タップのアクティビティ（ダイナミックレンジ）に基づく重み付けを行いながら、教師データと生徒データとの関係を学習することにより、予測タップのダイナミックレンジの全体に亘って、予測精度を高くする、タップ係数（係数データ）を得ることが記載されている。
【０００６】
また例えば、特許文献２には、低Ｓ／Ｎ画像から高Ｓ／Ｎ画像を得るための予測係数（係数データ）を、学習の教師となる高Ｓ／Ｎ画像と学習の生徒となる低Ｓ／Ｎ画像とを用いた学習によって得るものであって、最初は高Ｓ／Ｎ画像を構成する高Ｓ／Ｎ画素の全てに対応した学習データを用いて予測係数を取得し、次に、その取得された予測係数を用いて得られる予測値の予測誤差が小さくない予測値が得られる高Ｓ／Ｎ画素のみに対応した学習データを用いて予測係数を取得し、以下同様の処理を繰り返すことで、高Ｓ／Ｎ画像を構成する高Ｓ／Ｎ画素の全てについて、幾つかの高Ｓ／Ｎ画素のグループごとに、予測誤差を小さくする予測係数を求めることが記載されている。
【０００７】
【特許文献１】特開２００３−３１６７６０号公報（１３頁〜１７頁、図４〜図７参照）
【特許文献２】特開２００１−８０５６号公報（１５頁〜２０頁、図９〜図１２参照）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１、特許文献２に記載されるように、従来の係数データの生成装置（学習装置）では、教師画像の各画素の特徴を無視して、教師画像を構成する各画素に対応した学習データを区別せずに用いて係数データを取得するものであり、ＨＤ画像あるいは高Ｓ／Ｎ画像の各画素が平均的な性能で予測される係数データを得る構造となっていた。
【０００９】
しかし、ＨＤ画像あるいは高Ｓ／Ｎ画像を構成する各画素の画質に対する寄与度は均一なものではない。そのため、画質への寄与の低い画素の予測性能を下げ、画質への寄与の高い画素の予測性能をその分上げることで、全体の画質を上げることができる。
【００１０】
この発明の目的は、第１の情報信号から係数データあるいは係数種データを用いた変換される第２の情報信号によって得られる出力の質の向上を図ることにある。
【課題を解決するための手段】
【００１１】
この発明に係る係数データ生成装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する装置であって、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定手段と、第１の情報信号に対応した生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、判定部で特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応してデータ選択手段で選択された複数の情報データを用いて、係数データを求める演算手段とを備えるものである。
【００１２】
また、この発明に係る係数データ生成方法は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成する方法であって、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、第１の情報信号に対応した生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、判定工程で特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応してデータ選択工程で選択された複数の情報データを用いて、係数データを求める演算工程とを備えるものである。
【００１３】
また、この発明に係るプログラムは上述した係数データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００１４】
また、この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する装置であって、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、推定式の係数データを記憶する記憶手段と、データ選択手段で選択された複数の情報データおよび記憶手段に記憶されている係数データを用い、推定式に基づいて、第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、係数データは、上述した係数データ生成装置あるいは係数データ生成方法によって生成されたものである。
【００１５】
この発明においては、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かが判定される。ここで、情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
【００１６】
例えば、教師信号に基づいて選択された、教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データが用いられて、当該注目位置が特徴位置であるか否かが判定される。この場合、注目位置の情報データおよび周辺に位置する情報データを、低域遮断フィルタを介して取得したものとすることで、高域成分のみで特徴位置であるか否かの判定が可能となる。
【００１７】
その場合、例えば注目位置の情報データが、周辺に位置する複数の情報データの最大値より大きいか、あるいは周辺に位置する複数の情報データの最小値より小さいとき、当該注目位置は特徴位置であると判定される。
【００１８】
また例えば、注目位置の情報データが、周辺に位置する複数の情報データの中央値と一致、あるいは注目位置の情報データおよび周辺に位置する複数の情報データの中央値と一致するとき、当該注目位置は特徴位置であると判定される。ここで、一致は、完全に一致する場合の他、注目位置の情報データが中央値の上下所定範囲内にある場合も含むものとする。
【００１９】
また、第１の情報信号に対応した生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応して選択された複数の情報データを用いて、係数データが求められる。この場合、教師信号における注目位置の情報データが属するクラスがさらに検出されることで、クラス毎に、係数データが求められる。
【００２０】
例えば、特徴位置であると判定された教師信号における注目位置の情報データおよびこの注目位置に対応して選択された複数の情報データを用いて、係数データを求めるための正規方程式が生成されると共に、この正規方程式が解かれて係数データが求められる。
【００２１】
上述したように生成された係数データは、第１の情報信号を第２の情報信号に変換する際に使用される。この場合、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび上述した係数データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
【００２２】
このように、この発明においては、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いて係数データを生成するものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数データを得ることができ、第１の情報信号から当該係数データを用いて変換された第２の情報信号によって得られる出力の質の向上を図ることができる。
【００２３】
この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成する装置であって、生成式に含まれるパラメータに対応し、第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定手段と、生徒信号に基づいて、上記教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、判定部で特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応してデータ選択手段で選択された複数の情報データおよび入力手段に入力されたパラメータの値を用いて、係数種データを求める演算手段とを備えるものである。
【００２４】
また、この発明に係る係数種データ生成方法は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための生成式における係数データである係数種データを生成する方法であって、生成式に含まれるパラメータに対応し、第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値を取得するパラメータ取得工程と、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かを判定する判定工程と、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択工程と、判定工程で特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応してデータ選択工程で選択された複数の情報データおよびパラメータ取得工程で取得されたパラメータの値を用いて、係数種データを求める演算工程とを備えるものである。
【００２５】
また、この発明に係るプログラムは上述した係数種データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００２６】
また、この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を、複数の情報データからなる第２の情報信号に変換する装置であって、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、第２の情報信号によって得られる出力の質を定めるパラメータの値が入力されるパラメータ入力手段と、推定式の係数データを生成するパラメータを含む生成式における係数データである係数種データを記憶する記憶手段と、この記憶手段に記憶されている係数種データおよびパラメータ入力手段に入力されたパラメータの値を用い、生成式に基づいて、パラメータ入力手段に入力されたパラメータの値に対応した推定式の係数データを生成する係数データ生成手段と、データ選択手段で選択された複数の情報データおよび係数データ生成手段で生成された係数データを用い、推定式に基づいて、第２の情報信号における注目位置の情報データを算出して得る演算手段とを備え、係数種データは、上述した係数種データ生成装置あるいは係数種データ生成方法で生成されたものである。
【００２７】
この発明においては、第１の情報信号に対応する生徒信号によって得られる出力の質を定めるパラメータの値が入力される。また、第２の情報信号に対応した教師信号における注目位置が所定の特徴を持つ特徴位置であるか否かが判定される。ここで、情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
【００２８】
例えば、教師信号に基づいて選択された、教師信号における注目位置の情報データおよびその周辺に位置する複数の情報データが用いられて、当該注目位置が特徴位置であるか否かが判定される。この場合、注目位置の情報データおよび周辺に位置する情報データを、低域遮断フィルタを介して取得したものとすることで、高域成分のみで特徴位置であるか否かの判定が可能となる。
【００２９】
その場合、例えば注目位置の情報データが、周辺に位置する複数の情報データの最大値より大きいか、あるいは周辺に位置する複数の情報データの最小値より小さいとき、当該注目位置は特徴位置であると判定される。
【００３０】
また例えば、注目位置の情報データが、周辺に位置する複数の情報データの中央値と一致、あるいは注目位置の情報データおよび周辺に位置する複数の情報データの中央値と一致するとき、当該注目位置は特徴位置であると判定される。ここでいう一致は、完全に一致する場合の他、注目位置の情報データが中央値の上下所定範囲内にある場合も含むものとする。
【００３１】
また、生徒信号に基づいて、教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応して選択された複数の情報データ、およびパラメータの値を用いて、係数種データが求められる。この場合、教師信号における注目位置の情報データが属するクラスがさらに検出されることで、クラス毎に、係数データが求められる。
【００３２】
例えば、特徴位置であると判定された教師信号における注目位置の情報データ、この注目位置に対応して選択された複数の情報データ、およびパラメータの値を用いて、係数種データを求めるための正規方程式が生成されると共に、この正規方程式が解かれて係数種データが求められる。
【００３３】
上述したように生成された係数種データは、第１の情報信号を第２の情報信号に変換する際に使用される。この場合、第２の情報信号によって得られる出力の質を定めるパラメータの値が入力される。そして、このパラメータの値および上述した係数種データが用いられ、生成式に基づいて、パラメータの値に対応した推定式の係数データが生成される。
【００３４】
また、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび上述した係数データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが算出される。
【００３５】
このように、この発明においては、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いて係数種データを生成するものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数種データを得ることができ、第１の情報信号から当該係数種データを用いて変換された第２の情報信号によって得られる出力の質の向上を図ることができる。
【発明の効果】
【００３６】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、第１の情報信号に対応した生徒信号および第２の情報信号に対応した教師信号を用いた学習により得る場合、教師信号の所定の特徴を持つ特徴位置の情報データからなる学習データのみを用いるものであり、その特徴を持つ特徴位置の情報データを忠実に再現し得る係数データあるいは係数種データを得ることができ、第２の情報信号によって得られる出力の質の向上を図ることができる。
【発明を実施するための最良の形態】
【００３７】
この発明の第１の実施の形態について説明する。図１は、第１の実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。
【００３８】
図２は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。図２から分かるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。
【００３９】
ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。
【００４０】
図１に戻って、画像信号処理装置１００は、入力端子１０１と、予測タップ選択回路１０２と、クラスタップ選択回路１０３とを有している。入力端子１０１は、画像信号Ｖａを入力するための端子である。これらタップ選択回路１０２，１０３は、それぞれ、入力端子に入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
【００４１】
図３Ａは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図３Ｂは、クラスタップのデータとして抽出される複数の画素データ（実線部分）のパターン例を示している。なお、この図３Ａ，Ｂでは、注目画素位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドからも抽出することも考えられる。
【００４２】
また、画像信号処理装置１００は、クラス検出回路１０４を有している。このクラス検出回路１０４は、クラスタップ選択回路１０３で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【００４３】
すなわち、クラス検出回路１０４は、まず、複数の画素データにデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。このデータ圧縮は、例えばＡＤＲＣ(Adaptive Dynamic Range Coding)によって行われる。このデータ圧縮を、ＡＤＲＣ以外、例えばＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いて行ってもよい。
【００４４】
ＡＤＲＣを使用する場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（１）式の演算式に基づいて、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[  ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
【００４５】
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］      ・・・（１）
クラス検出回路１０４は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（２）式の演算により、クラスコードＣＬを生成する。
【００４６】
【数１】
2005295355.tif 000003
【００４７】
また、画像信号処理装置１００は、記憶手段としての係数メモリ１０５を有している。この係数メモリ１０５は、後述する推定予測演算回路１０６で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この係数データＷｉは、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。
【００４８】
なお、上述の図２に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。
【００４９】
図４は、奇数、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロック内の４画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１〜ＨＤ４の位置は、それぞれ、中心予測タップＳＤ０の位置から、水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。偶数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１′〜ＨＤ４′の位置は、それぞれ、中心予測タップＳＤ０′の位置から、水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。
【００５０】
そのため、上述した各クラスの係数データＷｉは、８種類の出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）にそれぞれ対応した係数データＷｉからなっている。結局、係数メモリ１０５には、クラスおよび出力画素の組み合わせ毎に、係数データＷｉが格納されている。
【００５１】
この係数データＷｉは、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。そしてその場合、係数データＷｉは、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。これにより、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データを忠実に再現できるようになっており、画像信号Ｖｂによって得られる画像の画質の向上が図られている。この係数データＷｉの生成方法の詳細については後述する。
【００５２】
この係数メモリ１０５には、上述したクラス検出回路１０４で生成されたクラスコードＣＬが、読み出しアドレス情報として供給される。この係数メモリ１０５からはクラスコードＣＬで示されるクラスに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算回路１０６に供給される。
【００５３】
また、画像信号処理装置１００は、推定予測演算回路１０６と、後処理回路１０７と、出力端子１０８とを有している。推定予測演算回路１０６は、予測タップ選択回路１０２で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１０５から読み出された係数データＷｉとを用い、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを求める。
【００５４】
【数２】
2005295355.tif 000004
【００５５】
上述したように、５２５ｉ信号を１０５０ｉ信号に変換する際には、各フィールドにおいて、５２５ｉ信号の１画素（図４のＳＤ０またはＳＤ０′）に対して、１０５０ｉ信号の４画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）を得る必要がある。この推定予測演算回路１０６は、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ毎に、画素データを求める。
【００５６】
すなわち、この推定予測演算回路１０６には、予測タップ選択回路１０２より単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉが供給され、また係数メモリ１０５からその単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉが供給される。そして、この推定予測演算回路１０６は、単位画素ブロックＵＢを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（３）式の推定式で、個別に演算する。
【００５７】
後処理回路１０７は、推定予測演算回路１０６より順次出力される、単位画素ブロックＵＢ内の４画素の画素データｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。出力端子１０８は、後処理回路１０７から出力される画像信号Ｖｂ（１０５０ｉ信号）を出力するための端子である。
【００５８】
次に、画像信号処理装置１００の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
【００５９】
すなわち、クラスタップ選択回路１０３では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出回路１０４に供給される。クラス検出回路１０４では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対して、例えばＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（１）式、（２）式参照）。
【００６０】
このクラスコードＣＬは、係数メモリ１０５に読み出しアドレス情報として供給される。この係数メモリ１０５からは、各フィールドにおいて、クラスコードＣＬで示されるクラスに対応した４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ１′〜ＨＤ４′）分の係数データＷｉが読み出される。この係数データＷｉは、推定予測演算回路１０６に供給される。
【００６１】
また、予測タップ選択回路１０２では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算回路１０６に供給される。
【００６２】
推定予測演算回路１０６では、予測タップ選択回路１０２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１０５から読み出された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ1〜ｙ4が、（３）式の推定式に基づいて、個別に演算される。
【００６３】
この推定予測演算回路１０６より順次出力される、画像信号Ｖｂを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4は、後処理回路１０７に供給される。この後処理回路１０７では、推定予測演算回路１０６より順次供給される単位画素ブロック内の４画素のデータｙ1〜ｙ4が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１０７からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子１０８に出力される。
【００６４】
上述したように、係数メモリ１０５に格納されている係数データＷｉ（ｉ＝１〜ｎ）は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、図１に示す画像信号処理装置１００によれば、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現されるため、この画像信号Ｖｂによって得られる画像の画質が向上する。
【００６５】
次に、上述した画像信号処理装置１００の係数メモリ１０５に格納される、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。
【００６６】
まず、学習方法について説明する。上述の（３）式において、学習前は係数データＷ１，Ｗ２，‥‥，Ｗnは未定係数である。学習は、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（３）式に従って、以下に示す（４）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn   ・・・（４）
（ｋ＝１，２，‥‥，ｍ）
【００６７】
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（５）式で定義し、（６）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝  ・・・（５）
（ｋ＝１，２，‥‥ｍ）
【００６８】
【数３】
2005295355.tif 000005
【００６９】
（６）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（７）式に示すように、ｅ2を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００７０】
【数４】
2005295355.tif 000006
【００７１】
（８）式、（９）式のようにＸji，Ｙiを定義すると、（７）式は、（１０）式の行列式の形に書くことができる。この（１０）式が、係数データＷｉを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉを求めることができる。
【００７２】
【数５】
2005295355.tif 000007
【００７３】
【数６】
2005295355.tif 000008
【００７４】
次に、図５を参照して、係数データＷｉを生成する係数データ生成装置１５０を説明する。
この係数データ生成装置１５０は、入力端子１５１と、ＳＤ信号生成回路１５２とを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成回路１５２は、この画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。
【００７５】
また、係数データ生成装置１５０は、予測タップ選択回路１５３と、クラスタップ選択回路１５４とを有している。これらタップ選択回路１５３，１５４は、それぞれ、ＳＤ信号生成回路１５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択回路１５３，１５４は、それぞれ、上述した画像信号処理装置１００のタップ選択回路１０２，１０３に対応している。
【００７６】
また、係数データ生成装置１５０は、クラス検出回路１５５を有している。このクラス検出回路１５５は、クラスタップ選択回路１５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１５５は、上述した画像信号処理装置１００のクラス検出回路１０４に対応している。
【００７７】
また、係数データ生成装置１５０は、教師タップ選択回路１５６を有している。この教師タップ選択回路１５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データを選択的に抽出する。
【００７８】
また、係数データ生成装置１５０は、特徴タップ選択回路１５７と、特徴画素判定部１５８とを有している。特徴タップ選択回路１５７は、入力端子１５１に入力される画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データ、およびその周辺に位置する複数の画素データを、特徴タップのデータとして選択的に抽出する。
【００７９】
図６は、特徴タップのデータとして抽出される複数の画素データのパターン例を示している。この例では、特徴タップのデータは、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8で構成されている。特徴タップのパターンは、図６に示すパターンに限定されるものではない。しかし、説明の便宜上、以下では、特徴タップ選択回路１５７で選択される特徴タップのパターンが図６に示すものであるとして説明する。
【００８０】
特徴画素判定部１５８は、特徴タップ選択回路１５７で選択的に抽出された特徴タップのデータとしての複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定し、その結果を示す判定信号ＪＲを出力する。
【００８１】
図７は、特徴画素判定部１５８の構成例を示している。この構成例では、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。ここで、特徴画素判定部１５８は、入力端子１６０と、分離回路１６１と、最大値・最小値検出回路１６２と、比較器１６３と，１６４と、オア回路１６５と、出力端子１６６とから構成されている。
【００８２】
入力端子１６０は、特徴タップ選択回路１５７で特徴タップのデータとして抽出された画素データｄ0〜ｄ8を入力するための端子である。分離回路１６１は、入力端子１６０に入力された画素データｄ0〜ｄ8を、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8に分離する。最大値・最小値検出回路１６２は、分離回路１６１で分離された周辺位置の画素データｄ1〜ｄ8から、最大値ＭＡＸおよび最小値ＭＩＮを検出する。
【００８３】
比較器１６３は、分離回路１６１で分離された注目画素位置の画素データｄ0と最大値・最小値検出回路１６２で検出された最大値ＭＡＸとを比較し、画像データｄ0が最大値ＭＡＸより大きいとき「１」を出力し、それ以外のとき「０」を出力する。一方、比較器１６４は、分離回路１６１で分離された注目画素位置の画素データｄ0と最大値・最小値検出回路１６２で検出された最小値ＭＩＮとを比較し、画像データｄ0が最小値ＭＩＮより小さいとき「１」を出力し、それ以外のとき「０」を出力する。
【００８４】
オア回路１６５は、比較器１６３，１６４の出力を入力とし、それらの出力の論理和を判定信号ＪＲとして出力する。この判定信号ＪＲは、「１」であるとき注目画素位置は特徴位置であると判定されたことを示し、「０」であるときは注目画素位置は特徴位置でないと判定されたことを示す。出力端子１６６は、オア回路１６５から出力される判定信号ＪＲを出力する端子である。
【００８５】
図７に示す特徴画素判定部１５８の動作を説明する。入力端子１６０に入力された特徴タップのデータとしての画素データｄ0〜ｄ8は分離回路１６１に供給される。この分離回路１６１では、画素データｄ0〜ｄ8が、注目画素位置の画素データｄ0、および周辺位置の画素データｄ1〜ｄ8に分離される。
【００８６】
分離回路１６１で分離された周辺位置の画素データｄ1〜ｄ8は、最大値・最小値検出回路１６２に供給される。この検出回路１６２では、画素データｄ1〜ｄ8から、最大値ＭＡＸおよび最小値ＭＩＮが検出される。この検出回路１６２で検出された最大値ＭＡＸおよび最小値ＭＩＮは、それぞれ比較器１６３および比較器１６４に供給される。これら比較器１６３，１６４には、それぞれ分離回路１６１で分離された注目画素位置の画素データｄ0も供給される。
【００８７】
そして、比較器１６３では、画素データｄ0が最大値ＭＡＸと比較され、ｄ0＞ＭＡＸであるとき「１」が出力され、それ以外のとき「０」が出力される。また、比較器１６４では、画素データｄ0が最小値ＭＩＮと比較され、ｄ0＜ＭＩＮであるとき「１」が出力され、それ以外のとき「０」が出力される。これら比較器１６３，１６４の出力の論理和がオア回路１６５でとられて判定信号ＪＲが得られ、この判定信号ＪＲが出力端子１６６に出力される。
【００８８】
この場合、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、比較器１６３の出力または比較器１６４の出力が「１」となることから、オア回路１６５から出力される判定信号ＪＲは「１」となり、従って当該注目画素位置は特徴位置であると判定される。
【００８９】
図５に戻って、係数データ生成装置１５０は、正規方程式生成回路１７１を有している。この正規方程式生成回路１７１は、教師タップ選択回路１５６で選択的に抽出された、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択回路１５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出回路１５５で生成されたクラスコードＣＬとから、クラス毎に、係数データＷｉを得るための正規方程式（（１０）式参照）を生成する。ここで、画像信号Ｖｂ′における各注目画素位置は、特徴画素判定部１５８で特徴位置であると判定された注目画素位置である。
【００９０】
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成回路１７１では、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データｙからなる学習データのみを用いて、クラス毎に、係数データＷｉを得るための正規方程式が生成される。
【００９１】
またこの場合、正規方程式生成部１７１では、出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部１７１では、クラスおよび出力画素の組み合わせ毎に、係数データＷｉを得るための正規方程式が生成される。
【００９２】
また、係数データ生成装置１５０は、係数データ決定回路１７２と、係数メモリ１７３とを有している。係数データ決定回路１７２は、正規方程式生成回路１７１から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の各組み合わせの係数データＷｉを求める。係数メモリ１７３は、その係数データＷｉを格納する。
【００９３】
図５に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成回路１５２で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。
【００９４】
クラスタップ選択回路１５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出回路１５５に供給される。そして、クラス検出回路１５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、正規方程式生成回路１７１に供給される。
【００９５】
予測タップ選択回路１５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成回路１７１に供給される。また、教師タップ選択回路１５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成回路１７１に供給される。
【００９６】
また、特徴タップ選択回路１５７では、画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8が、特徴タップのデータとして選択的に抽出される。この画素データｄ0〜ｄ8は、特徴画素判定部１５８に供給される。特徴画素判定部１５８では、複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かが判定され、その結果を示す判定信号ＪＲが得られる。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。この判定信号ＪＲは、正規方程式生成回路１７１に供給される。
【００９７】
正規方程式生成回路１７１では、特徴画素判定部１５８で特徴位置であると判定された、画像信号Ｖｂ′における各注目画素位置を対象として、当該各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬとから、クラスおよび出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１０）式参照）が生成される。
【００９８】
このように生成された正規方程式のデータは、係数データ決定回路１７２に供給される。この係数データ決定回路１７２では、それぞれの正規方程式が解かれ、クラスおよび出力画素の組み合わせ毎に、係数データＷｉが求められる。そして、この係数データＷｉは、係数メモリ１７３に格納される。
【００９９】
このように、図５の係数データ生成装置１５０においては、上述した画像信号処理装置１００の係数メモリ１０５に格納すべき、クラスおよび出力画素の各組み合わせの係数データＷｉを生成できる。
【０１００】
上述したように、この係数データＷｉは、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、この係数データＷｉが図１に示す画像信号処理装置１００の係数メモリ１０５に格納されて使用されることで、画像信号処理装置１００では、画像信号Ｖｂにおける画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現され、この画像信号Ｖｂによって得られる画像の画質の向上を図ることができる。
【０１０１】
なお、図５に示す係数データ生成装置１５０の特徴画素判定部１５８として図７の構成例を示したが、これに限定されるものではなく、注目画素位置が画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定できるものであれば、他の構成であってもよい。
【０１０２】
図８は、特徴画素判定部１５８の他の構成例を示している。この構成例では、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の中央値と一致、あるいは注目画素位置の画素データｄ0および周辺位置の画素データｄ1〜ｄ8の中央値と一致するとき、当該注目画素位置は特徴位置であると判定される。ここで、特徴画素判定部１５８は、入力端子１９０と、分離回路１９１と、中央値検出回路１９２と、比較器１９３と、出力端子１９４とから構成されている。
【０１０３】
入力端子１９０は、特徴タップ選択回路１５７で特徴タップのデータとして抽出された画素データｄ0〜ｄ8を入力するための端子である。分離回路１９１は、入力端子１９０に入力された画素データｄ0〜ｄ8を、注目画素位置の画素データｄ0、およびその周辺に位置する８個の画素データｄ1〜ｄ8に、あるいは画素データｄ0、および画素データｄ0〜ｄ8に分離する。
【０１０４】
中央値検出回路１９２は、分離回路１９１で分離された画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8から、中央値ＣＥＮを検出する。ここで、画素データｄ1〜ｄ8の中央値は、４番目および５番目に大きな画素データの平均値とされる。また、画素データｄ0〜ｄ8の中央値は、５番目に大きな画素データとされる。
【０１０５】
比較器１９３は、分離回路１９１で分離された注目画素位置の画素データｄ0と中央値検出回路１９２で検出された中央値ＣＥＮとを比較し、画像データｄ0と中央値ＣＥＮが一致したとき「１」を出力し、それ以外のとき「０」を出力する。ここでいう一致は、完全に一致する場合の他、注目画素位置の画素データｄ0が中央値ＣＥＮの上下所定範囲内にある場合も含むものとする。
【０１０６】
出力端子１９４は、比較器１９３の出力を、判定信号ＪＲとして出力する。この判定信号ＪＲは、図７に示す特徴判定部１５８におけると同様に、「１」であるとき注目画素位置は特徴位置であると判定されたことを示し、「０」であるときは注目画素位置は特徴位置でないと判定されたことを示す。
【０１０７】
図８に示す特徴画素判定部１５８の動作を説明する。入力端子１９０に入力された特徴タップのデータとしての画素データｄ0〜ｄ8は分離回路１９１に供給される。この分離回路１９１では、画素データｄ0〜ｄ8が、注目画素位置の画素データｄ0、および周辺位置の画素データｄ1〜ｄ8に、あるいは画素データｄ0、および画素データｄ0〜ｄ8に分離される。
【０１０８】
分離回路１９１で分離された周辺位置の画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8は、中央値検出回路１９２に供給される。この検出回路１９２では、画素データｄ1〜ｄ8、あるいは画素データｄ0〜ｄ8から、中央値ＣＥＮが検出される。この検出回路１９２で検出された中央値ＣＥＮは比較器１９３に供給される。この比較器１９３には、分離回路１９１で分離された注目画素位置の画素データｄ0も供給される。
【０１０９】
そして、比較器１９３では、画素データｄ0が中央値ＣＥＮと比較され、ｄ0＝ＣＥＮであるとき「１」が出力され、それ以外のとき「０」が出力される。この比較器１９３の出力は判定信号ＪＲとして出力端子１９４に出力される。
【０１１０】
この場合、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の中央値ＣＥＮと一致、あるいは注目画素位置の画素データｄ0および周辺位置の画素データｄ1〜ｄ8の中央値ＣＥＮと一致するとき、比較器１９３の出力は「１」となって判定信号ＪＲは「１」となり、従って当該注目画素位置は特徴位置であると判定される。
【０１１１】
また、図５に示す係数データ生成装置１５０において、特徴タップ選択回路１５７では、入力端子１５１に入力される画像信号Ｖｂ′そのものに基づいて、特徴タップのデータとしての画素データｄ0〜ｄ8を選択的に抽出するものである。しかし、図５に破線で示すように、特徴タップ選択回路１５７の前段に、低域遮断フィルタ１８１を設け、特徴タップ選択回路１５７で選択的に抽出される画素データｄ0〜ｄ8が、低域遮断フィルタ１８１を介したものとすることもできる。
【０１１２】
この場合、画素データｄ0〜ｄ8のそれぞれは高域成分のみとなり、特徴画素判定部１５８では、画質に特に寄与する高域成分のみで注目画素位置が特徴位置であるか否かの判定が行われるものであり、画質への寄与の高い所定の特徴を持つ特徴位置を、効果的に判定できる。
【０１１３】
なお、図１の画像信号処理装置１００における処理を、例えば図９に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
【０１１４】
まず、図９に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラムや係数データ等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【０１１５】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１１６】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１１７】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１１８】
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｖａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｖｂを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１１９】
ここで、上述したようにＲＯＭ５０２に制御プログラムや係数データ等を予め格納しておく代わりに、これら制御プログラムや係数データを例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ハードディスクドライブ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラムや係数データ等をリムーバブルな記憶媒体で提供するようにしてもよい。
【０１２０】
また、処理すべき画像信号Ｖａを入力端子５１５より入力する代わりに、予めハードディスクドライブ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｖｂを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはハードディスクドライブ５０５に格納したり、通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１２１】
図１０のフローチャートを参照して、図９に示す画像信号処理装置５００における、画像信号Ｖａから画像信号Ｖｂを得るための処理手順を説明する。
【０１２２】
まず、ステップＳＴ１０で、処理を開始し、ステップＳＴ１１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
【０１２３】
そして、ステップＳＴ１２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ１４に進む。
【０１２４】
このステップＳＴ１４では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ１５で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１２５】
次に、ステップＳＴ１６で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ１７で、ステップＳＴ１５で生成されたクラスコードＣＬに対応した係数データＷｉとステップＳＴ１６で取得された複数の画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを生成する。
【０１２６】
次に、ステップＳＴ１８で、ステップＳＴ１１で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ１１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ１４に戻って、次の注目画素位置についての処理に移る。
【０１２７】
このように、図１０に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１２８】
また、処理装置の図示は省略するが、図５の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。
【０１２９】
図１１のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳＴ２０で、処理を開始し、ステップＳＴ２１で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。そして、ステップＳＴ２２で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳＴ２３で、ステップＳＴ２１で入力された画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、生徒信号としての画像信号Ｖａ′を生成する。
【０１３０】
次に、ステップＳＴ２４で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｄ0およびその周辺位置の画素データｄ1〜ｄ8を、特徴タップのデータとして取得する。そして、ステップＳＴ２５で、ステップＳＴ２４で取得された画素データｄ0〜ｄ8に基づいて、注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定する。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。
【０１３１】
注目画素位置が特徴位置であると判定されるとき、ステップＳＴ２６に進む。このステップＳＴ２６で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ２７で、このクラスタップのデータに基づいて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１３２】
次に、ステップＳＴ２８で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳＴ２９で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙを教師タップのデータとして取得する。
【０１３３】
そして、ステップＳＴ３０で、ステップＳＴ２７で生成されたクラスコードＣＬ、ステップＳＴ２８で取得された複数の画素データｘｉ、およびステップＳＴ２９で取得された画素データｙを用いて、クラスおよび出力画素の組み合わせ毎に、（１０）式に示す正規方程式を得るための加算（足し込み）をする（（８）式、（９）式参照）。
【０１３４】
このステップＳＴ３０の処理の後、ステップＳＴ３１に進む。なお、上述したステップＳＴ２５で注目画素位置は特徴位置でないと判定されるときは、直ちにステップＳＴ３１に進む。これにより、上述のステップＳＴ３０では、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて正規方程式が生成されている。
【０１３５】
ステップＳＴ３１では、ステップＳＴ２１で入力された１フレーム分または１フィールド分の画像信号Ｖｂ′の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ２１に戻って、次の１フレーム分または１フィールド分の画像信号Ｖｂ′の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ２４に戻って、次の注目画素位置についての処理に移る。
【０１３６】
上述したステップＳＴ２２で、処理が終了したときは、ステップＳＴ３２で、上述のステップＳＴ３０の加算処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数データＷｉを求める。そして、ステップＳＴ３３で、その係数データＷｉを係数メモリにストアし、ステップＳＴ３４で処理を終了する。
【０１３７】
このように、図１１に示すフローチャートに沿って処理をすることで、図５に示す係数データ生成装置１５０と同様の手法によって、係数データＷｉを生成できる。
【０１３８】
次に、この発明の第２の実施の形態について説明する。図１２は、第２の実施の形態としての画像信号処理装置２００の構成を示している。この画像信号処理装置２００も、５２５ｉ信号というＳＤ信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ信号である画像信号Ｖｂに変換する。ここで、画像信号Ｖａは第１の情報信号を構成し、画像信号Ｖｂは第２の情報信号を構成している。この図１２において、図１と対応する部分には同一符号を付して示し、適宜説明を省略する。
【０１３９】
画像信号処理装置２００は、入力端子１０１と、予測タップ選択回路１０２と、クラスタップ選択回路１０３とを有している。入力端子１０１は、画像信号Ｖａを入力するための端子である。タップ選択回路１０２，１０３は、それぞれ、入力端子に入力される画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これら入力端子１０１およびタップ選択回路１０２，１０３は、図１に示す画像信号処理装置１００におけるものと同様のものである。
【０１４０】
また、画像信号処理装置２００は、クラス検出回路１０４を有している。このクラス検出回路１０４は、クラスタップ選択回路１０３で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１０４は、図１に示す画像信号処理装置１００におけるものと同様のものである。
【０１４１】
また、画像信号処理装置２００は、係数データ生成回路１０９と、記憶手段としてのＲＯＭ１１０とを有している。ＲＯＭ１１０は、各クラスの係数種データを、格納している。この係数種データは、上述した（３）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、パラメータｒ，ｚを含む生成式の係数データである。（１１）式は、その生成式の一例を示しており、ｗi0〜ｗi9が係数種データである。ここで、パラメータｒは解像度を決めるパラメータであり、パラメータｚはノイズ除去度を決めるパラメータである。この係数種データｗi0〜ｗi9は、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。
【０１４２】
【数７】
2005295355.tif 000009
【０１４３】
上述の図２に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。この場合、奇数、偶数のそれぞれのフィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている（図４参照）。そのため、上述した各クラスの係数種データｗi0〜ｗi9は、８種類の出力画素（ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）にそれぞれ対応した係数種データｗi0〜ｗi9からなっている。結局、ＲＯＭ１１０には、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が格納されている。
【０１４４】
この係数種データｗi0〜ｗi9は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。そしてその場合、係数種データｗi0〜ｗi9は、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。これにより、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データを忠実に再現できるようになっており、画像信号Ｖｂによって得られる画像の画質の向上が図られている。この係数種データｗi0〜ｗi9の生成方法の詳細については後述する。
【０１４５】
係数データ生成回路１０９は、奇数、偶数の各フィールドにおいて、クラス検出回路１０４で得られたクラスコードＣＬが表すクラスの、４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9をＲＯＭ１１０から取得し、さらにユーザによって調整されたパラメータｒ，ｚの値を用い、（１１）式の生成式に基づいて、４画素分の係数データＷｉを生成する。
【０１４６】
また、画像信号処理装置２００は、推定予測演算回路１０６を有している。この推定予測演算回路１０６は、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ毎に、画素データを求める。すなわち、推定予測演算回路１０６は、予測タップ選択回路１０２で抽出される単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉ、および係数データ生成回路１０９で生成される、その単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉとを用い、その単位画素ブロックＵＢを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（３）式の推定式で、個別に演算する。この推定予測演算回路１０６は、図１に示す画像信号処理装置１００におけるものと同様のものである。
【０１４７】
また、画像信号処理装置２００は、後処理回路１０７と、出力端子１０８とを有している。後処理回路１０７は、推定予測演算回路１０６より順次出力される、単位画素ブロックＵＢ内の４画素の画素データｙ1〜ｙ4を線順次化し、１０５０ｉ信号のフォーマットで出力する。出力端子１０８は、後処理回路１０７から出力される画像信号Ｖｂ（１０５０ｉ信号）を出力するための端子である。これら後処理回路１０７および出力端子１０８は、図１に示す画像信号処理装置１００におけるものと同様のものである。
【０１４８】
次に、図１２に示す画像信号処理装置２００の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子１０１に入力される。そして、この画像信号Ｖａに基づいて、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。
【０１４９】
すなわち、クラスタップ選択回路１０３では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出回路１０４に供給される。クラス検出回路１０４では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対して、例えばＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、係数データ生成回路１０９に供給される。
【０１５０】
この係数データ生成回路１０９では、奇数、偶数の各フィールドにおいて、クラスコードＣＬが表すクラスの、４出力画素（図４のＨＤ１〜ＨＤ４、またはＨＤ1′〜ＨＤ４′）にそれぞれ対応した４画素分の係数種データｗi0〜ｗi9が、ＲＯＭ１１０から取得される。また、この係数データ生成回路１０９には、ユーザによって調整されたパラメータｒ，ｚの値が供給される。そして、この係数データ生成部１０９では、各フィールドにおいて、４画素分の係数種データｗi0〜ｗi9およびパラメータｒ，ｚの値が用いられ、（１１）式の生成式に基づいて、４出力画素分の係数データＷｉが生成される。この係数データＷｉは、推定予測演算回路１０６に供給される。
【０１５１】
また、予測タップ選択回路１０２では、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算回路１０６に供給される。
【０１５２】
推定予測演算回路１０６では、予測タップ選択回路１０２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成回路１０９で生成された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目画素位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ1〜ｙ4が、（３）式の推定式に基づいて、個別に演算される。
【０１５３】
この推定予測演算回路１０６より順次出力される、画像信号Ｖｂを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4は、後処理回路１０７に供給される。この後処理回路１０７では、推定予測演算回路１０６より順次供給される単位画素ブロック内の４画素のデータｙ1〜ｙ4が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理回路１０７からは画像信号Ｖｂ（０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子１０８に出力される。
【０１５４】
上述したように、ＲＯＭ１１０に格納されている係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）は、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、図１２に示す画像信号処理装置２００によれば、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現されるため、この画像信号Ｖｂによって得られる画像の画質が向上する。
【０１５５】
次に、上述した画像信号処理装置２００のＲＯＭ１１０に格納される、係数種データの生成方法について説明する。この係数種データは、学習によって生成される。ここでは、（１１）式の生成式における係数データである係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を求める例を示すものとする。
【０１５６】
ここで、以下の説明のため、（１２）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，ｔ6＝ｒ3，
ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3
・・・（１２）
この（１２）式を用いると、（１１）式は、（１３）式のように書き換えられる。
【０１５７】
【数８】
2005295355.tif 000010
【０１５８】
最終的に、学習によって未定係数ｗijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（３）式および（１１）式を用いて、Ｅは（１４）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ信号の画素データを表している。
【０１５９】
【数９】
2005295355.tif 000011
【０１６０】
最小二乗法による解法では、（１４）式のｗijによる偏微分が０になるようなｗijを求める。これは、（１５）式で示される。
【０１６１】
【数１０】
2005295355.tif 000012
【０１６２】
ここで、（１６）式、（１７）式のように、Ｘipjq、Ｙipを定義すると、（１５）式は、行列を用いて、（１８）式のように書き換えられる。
【０１６３】
【数１１】
2005295355.tif 000013
【０１６４】
【数１２】
2005295355.tif 000014
【０１６５】
この（１８）式が、係数種データｗi0〜ｗi9を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗi0〜ｗi9を求めることができる。
【０１６６】
図１３は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
【０１６７】
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
【０１６８】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０１６９】
ノイズを加える量としては、例えば（１９）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ                            ・・・（１９）
【０１７０】
例えば、周波数特性を可変するパラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変するパラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図１２の係数データ生成回路１０９に供給されるパラメータｒ，ｚに対応したものである。
【０１７１】
次に、上述した係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を生成するための係数種データ生成装置２５０について説明する。図１４は、この係数種データ生成装置２５０の構成を示している。この図１４において、図５と対応する部分には同一符号を付して示し、適宜説明を省略する。
【０１７２】
この係数種データ生成装置２５０は、入力端子１５１と、ＳＤ信号生成回路１５２Ａとを有している。入力端子１５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成回路１５２Ａは、この画像信号Ｖｂ′に対して、水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。このＳＤ信号生成回路１５２Ａには、パラメータｒ，ｚが供給される。パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、ＳＤ信号に加えるノイズの量が可変される。
【０１７３】
また、係数種データ生成装置２５０は、予測タップ選択回路１５３と、クラスタップ選択回路１５４とを有している。これらタップ選択回路１５３，１５４は、それぞれ、ＳＤ信号生成回路１５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択回路１５３，１５４は、それぞれ、上述した画像信号処理装置２００のタップ選択回路１０２，１０３に対応している。
【０１７４】
また、係数種データ生成装置２５０は、クラス検出回路１５５を有している。このクラス検出回路１５５は、クラスタップ選択回路１５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出回路１５５は、上述した画像信号処理装置２００のクラス検出回路１０４に対応している。
【０１７５】
また、係数データ生成装置２５０は、教師タップ選択回路１５６を有している。この教師タップ選択回路１５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データを選択的に抽出する。
【０１７６】
また、係数種データ生成装置２５０は、特徴タップ選択回路１５７と、特徴画素判定部１５８とを有している。特徴タップ選択回路１５７は、入力端子１５１に入力される画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8を、特徴タップのデータとして選択的に抽出する(図６参照）。特徴画素判定部１５８は、特徴タップ選択回路１５７で選択的に抽出された特徴タップのデータとしての複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定し、その結果を示す判定信号ＪＲを出力する。
【０１７７】
これら特徴タップ選択回路１５７および特徴画素判定部１５８は、図５に示す係数データ生成装置１５０におけるものと同様のものである。特徴画素判定部１５８は、例えば上述の図７あるいは図８に示すように構成される。また、特徴タップ選択回路１５７の前段に、低域遮断フィルタ１８１を設け（図５参照）、特徴タップ選択回路１５７で選択的に抽出される画素データｄ0〜ｄ8が、低域遮断フィルタ１８１を介したものとすることもできる。
【０１７８】
また、係数種データ生成装置２５０は、正規方程式生成回路１８５を有している。この正規方程式生成回路１８５は、教師タップ選択回路１５６で選択的に抽出された、画像信号Ｖｂ′における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択回路１５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出回路１５５で生成されたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（１８）式参照）を生成する。ここで、画像信号Ｖｂ′における各注目画素位置は、特徴画素判定部１５８で特徴位置であると判定された注目画素位置である。
【０１７９】
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成回路１８５では、画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データｙからなる学習データのみを用いて、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
【０１８０】
またこの場合、正規方程式生成回路１８５では、出力画素（図４のＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成回路１８５では、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
【０１８１】
また、係数種データ生成装置２５０は、係数種データ決定回路１８６と、係数種メモリ１８７とを有している。係数種データ決定回路１８６は、正規方程式生成回路１８５から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を求める。係数種メモリ１８７は、係数種データ決定回路１８６で求められた係数種データｗi0〜ｗi9を格納する。
【０１８２】
次に、図１４に示す係数種データ生成装置２５０の動作を説明する。
入力端子１５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。この場合、ＳＤ信号生成回路１５２Ａにはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Ｖａ′が順次生成されていく。
【０１８３】
クラスタップ選択回路１５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出回路１５５に供給される。そして、クラス検出回路１５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（１）式、（２）式参照）。このクラスコードＣＬは、正規方程式生成回路１８５に供給される。
【０１８４】
予測タップ選択回路１５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成回路１８５に供給される。また、教師タップ選択回路１５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成回路１８５に供給される。
【０１８５】
また、特徴タップ選択回路１５７では、画像信号Ｖｂ′に基づいて、この画像信号Ｖｂ′における注目画素位置の画素データｄ0、およびその周辺に位置する複数の画素データｄ1〜ｄ8が、特徴タップのデータとして選択的に抽出される。この画素データｄ0〜ｄ8は、特徴画素判定部１５８に供給される。特徴画素判定部１５８では、複数の画素データｄ0〜ｄ8に基づいて、画像信号Ｖｂ′における注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かが判定され、その結果を示す判定信号ＪＲが得られる。この判定信号ＪＲは、正規方程式生成回路１８５に供給される。
【０１８６】
正規方程式生成回路１８５では、特徴画素判定部１５８で特徴位置であると判定された、画像信号Ｖｂ′における各注目画素位置を対象として、当該各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬと、ＳＤ信号生成回路１５２Ａに供給されているパラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（１８）式参照）が生成される。
【０１８７】
そして、係数種データ決定回路１８６では、正規方程式生成回路１８５から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が求められる。この係数種データｗi0〜ｗi9は、係数種メモリ１８７に格納される。
【０１８８】
このように、図１４に示す係数種データ生成装置２５０においては、上述した画像信号処理装置２００のＲＯＭ１１０に格納すべき、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を生成できる。
【０１８９】
上述したように、この係数種データｗi0〜ｗi9は、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて生成されたものである。したがって、この係数種データｗi0〜ｗi9が図１２に示す画像信号処理装置２００のＲＯＭ１１０に格納されて使用されることで、画像信号処理装置２００では、画像信号Ｖｂにおける、画質への寄与の高い当該所定の特徴を持つ特徴位置の画素データが忠実に再現され、この画像信号Ｖｂによって得られる画像の画質の向上を図ることができる。
【０１９０】
なお、図１２の画像信号処理装置２００における処理を、上述した図９に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。図１５のフローチャートを参照して、その処理手順を説明する。
【０１９１】
まず、ステップＳＴ４０で、処理を開始し、ステップＳＴ４１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｖａを入力する。このように入力される画像信号ＶａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｖａが装置内のハードディスクドライブ５０５に予め記録されている場合には、このドライブ５０５から画像信号Ｖａを読み出し、読み出された画像信号ＶａをＲＡＭ５０３に一時的に記憶する。
【０１９２】
そして、ステップＳＴ４２で、画像信号Ｖａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ４４に進む。
【０１９３】
このステップＳＴ４４では、ユーザが調整し、ＲＡＭ５０３に記憶されている、パラメータｒ，ｚの値を取得する。そして、ステップＳＴ４５で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ４６で、このクラスタップのデータに基づいて、画像信号Ｖｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１９４】
次に、ステップＳＴ４７で、ステップＳＴ４６で生成されたクラスコードＣＬで示されるクラスの係数種データｗi0〜ｗi9およびステップＳＴ４４で取得されたパラメータｒ，ｚの値を使用し、（１１）式の生成式に基づいて、推定式の係数データＷｉを生成する。
【０１９５】
次に、ステップＳＴ４８で、画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳＴ４９で、ステップＳＴ４７で生成された係数データＷｉおよびステップＳＴ４８で取得された複数の画素データｘｉを使用して、（３）式の推定式に基づいて、画像信号Ｖｂにおける注目画素位置の画素データｙを生成する。
【０１９６】
次に、ステップＳＴ５０で、ステップＳＴ４１で入力された１フレーム分または１フィールド分の画像信号Ｖａの画素データの全領域において画像信号Ｖｂの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ４１に戻り、次の１フレーム分または１フィールド分の画像信号Ｖａの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ４５に戻って、次の注目画素位置についての処理に移る。
【０１９７】
このように、図１５に示すフローチャートに沿って処理をすることで、入力された画像信号Ｖａの画素データを処理して、画像信号Ｖｂの画素データを得ることができる。このように処理して得られた画像信号Ｖｂは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ５０５に供給されて記録されたりする。
【０１９８】
また、処理装置の図示は省略するが、図１４の係数種データ生成装置２５０における処理も、ソフトウェアで実現可能である。
【０１９９】
図１６のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ６０で、処理を開始し、ステップＳＴ６１で、画質パターンを特定するパラメータｒ，ｚの値を選択する。そして、ステップＳＴ６２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わったか否かを判定する。全組み合わせに対して学習が終わっていないときは、ステップＳＴ６３で、教師信号としての画像信号Ｖｂ′を１フレーム分または１フィールド分だけ入力する。
【０２００】
そして、ステップＳＴ６４で、画像信号Ｖｂ′の全フレームまたは全フィールドの処理が終了したか否かを判定する。処理が終了したときは、ステップＳＴ６１に戻って、次のパラメータｒ，ｚの値を選択し、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップＳＴ６５で、ステップＳＴ６３で入力された画像信号Ｖｂ′に対して水平および垂直の間引き処理を行って、生徒信号としての画像信号Ｖａ′を生成する。この場合、パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、画像信号Ｖａ′に加えるノイズの量が可変される。
【０２０１】
次に、ステップＳＴ６６で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｄ0およびその周辺位置の画素データｄ1〜ｄ8を、特徴タップのデータとして取得する。そして、ステップＳＴ６７で、ステップＳＴ６６で取得された画素データｄ0〜ｄ8に基づいて、注目画素位置が、画質への寄与の高い所定の特徴を持つ特徴位置であるか否かを判定する。例えば、注目画素位置の画素データｄ0が、周辺位置の画素データｄ1〜ｄ8の、最大値ＭＡＸより大きいか、あるいは最小値ＭＩＮより小さいとき、当該注目画素位置は特徴位置であると判定される。
【０２０２】
注目画素位置が特徴位置であると判定されるとき、ステップＳＴ６８に進む。このステップＳＴ６８で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳＴ６９で、このクラスタップのデータに基づいて、画像信号Ｖｂ′における注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０２０３】
次に、ステップＳＴ７０で、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳＴ７１で、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目画素位置の画素データｙを教師タップのデータとして取得する。
【０２０４】
そして、ステップＳＴ７２で、ステップＳＴ６９で生成されたクラスコードＣＬ、ステップＳＴ７０で取得された複数の画素データｘｉ、ステップＳＴ７１で取得された画素データｙ、およびステップＳＴ６１で選択されたパラメータｒ，ｚの値を用いて、クラスおよび出力画素の組み合わせ毎に、（１８）式に示す正規方程式を得るための加算をする（（１６）式、（１７）式参照）。
【０２０５】
このステップＳＴ７２の処理の後、ステップＳＴ７３に進む。なお、上述したステップＳＴ６７で注目画素位置が特徴位置でないと判定されるときは、直ちにステップＳＴ７３に進む。これにより、上述のステップＳＴ７２では、教師信号としての画像信号Ｖｂ′における、画質への寄与の高い所定の特徴を持つ特徴位置の画素データからなる学習データのみを用いて正規方程式が生成される。
【０２０６】
ステップＳＴ７３では、ステップＳＴ６３で入力された１フレーム分または１フィールド分の画像信号Ｖｂ′の画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳＴ６３に戻って、次の１フレーム分または１フィールド分の画像信号Ｖｂ′の入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳＴ６６に戻って、次の注目画素位置についての処理に移る。
【０２０７】
また、上述したステップＳＴ６２で、パラメータｒ，ｚの値の組み合わせに対して学習が終わっているときは、ステップＳＴ７４で、上述のステップＳＴ７２の加算処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を求める。そして、ステップＳＴ７５で、その係数種データｗi0〜ｗi9を係数種メモリにストアし、ステップＳＴ７６で処理を終了する。
【０２０８】
このように、図１６に示すフローチャートに沿って処理をすることで、図１４に示す係数データ生成装置２５０と同様の手法によって、係数種データｗi0〜ｗi9を生成できる。
【０２０９】
なお、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【産業上の利用可能性】
【０２１０】
この発明は、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データあるいはその係数データを生成するための係数種データを、所定の特徴を持つ特徴位置の情報データを忠実に再現し得るように得ることができ、例えばＳＤ信号をＨＤ信号に変換する際に使用する係数データあるいは係数種データを生成する用途に適用できる。
【図面の簡単な説明】
【０２１１】
【図１】第１の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図２】ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）の画素位置関係を示す図である。
【図３】予測タップ、クラスタップのパターン例を示す図である。
【図４】ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。
【図５】係数データ生成装置の構成を示すブロック図である。
【図６】特徴タップのパターン例を示す図である。
【図７】特徴画素判定部の構成を示すブロック図である。
【図８】特徴画素判定部の他の構成を示すブロック図である。
【図９】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１０】画像信号処理の処理手順を示すフローチャートである。
【図１１】係数データ生成処理の処理手順を示すフローチャートである。
【図１２】第２の実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図１３】係数種データ生成方法を説明するための図である。
【図１４】係数種データ生成装置の構成を示すブロック図である。
【図１５】画像信号処理の処理手順を示すフローチャートである。
【図１６】係数種データ生成処理の処理手順を示すフローチャートである。
【符号の説明】
【０２１２】
１００，２００・・・画像信号処理装置、１０１・・・入力端子、１０２・・・予測タップ選択回路、１０３・・・クラスタップ選択回路、１０４・・・クラス検出回路、１０５・・・係数メモリ、１０６・・・推定予測演算回路、１０７・・・後処理回路、１０８・・・出力端子、１０９・・・係数データ生成回路、１１０・・・ＲＯＭ、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２，１５２Ａ・・・ＳＤ信号生成回路、１５３・・・予測タップ選択回路、１５４・・・クラスタップ選択回路、１５５・・・クラス検出回路、１５６・・・教師タップ選択回路、１５７・・・特徴タップ選択回路、１５８・・・特徴画素判定部、１６０・・・入力端子、１６１・・・分離回路、１６２・・・最大値・最小値検出回路、１６３，１６４・・・比較器、１６５・・・オア回路、１６６・・・出力端子、１７１・・・正規方程式生成回路、１７２・・・係数データ決定回路、１７３・・・係数メモリ、１８５・・・正規方程式生成回路、１８６・・・係数種データ決定回路、１８７・・・係数種メモリ、１９０・・・入力端子、１９１・・・分離回路、１９２・・・中央値検出回路、１９３・・・比較器、１９４・・・出力端子、２５０・・・係数種データ生成装置
【図１】
2005295355.tif 000015
【図２】
2005295355.tif 000016
【図３】
2005295355.tif 000017
【図４】
2005295355.tif 000018
【図５】
2005295355.tif 000019
【図６】
2005295355.tif 000020
【図７】
2005295355.tif 000021
【図８】
2005295355.tif 000022
【図９】
2005295355.tif 000023
【図１０】
2005295355.tif 000024
【図１１】
2005295355.tif 000025
【図１２】
2005295355.tif 000026
【図１３】
2005295355.tif 000027
【図１４】
2005295355.tif 000028
【図１５】
2005295355.tif 000029
【図１６】
2005295355.tif 000030