(57)【要約】【課題】情報信号に対して所定のノイズを除去する処理を行うと共に、さらに解像度を上げる処理を行った場合、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができるようにする。【解決手段】例えばＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた画像信号Ｓａを処理基板１０３に入力し、ブロックノイズ等の符号化ノイズを除去する。処理基板１０３の出力画像信号Ｓｂを処理基板１０４に入力し、解像度を上げる処理を行って、ＨＤ信号である画像信号Ｓｃを生成する。処理基板１０３で発生された、出力画像信号Ｓｂに残る例えばブロックノイズに対応した制御信号Ｖｒ，Ｖzを処理基板１０４に供給する。処理基板１０４は、この制御信号Ｖｒ，Ｖzに応じて、ＤＣＴ処理ブロックの境界画素における解像度、ノイズ除去度を制御し、ブロックノイズが強調されることを抑制する。【選択図】        図１
2005318096.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、該第２の情報信号に残る上記所定のノイズに対応した制御信号を発生する第１の処理手段と、
上記第１の処理手段で得られた上記第２の情報信号に対して、上記第１の処理手段で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理手段と
を備えることを特徴とする情報信号処理装置。
【請求項２】
上記第１の情報信号は、ブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、
上記所定のノイズは、ブロックノイズである
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項３】
上記制御信号は、上記ブロックの境界に位置する境界画素にそれぞれ対応して求められた、該境界画素を中心とした複数の画素データを用いて得られた二次微分値または該二次微分値を加工して得られた値である
ことを特徴とする請求項２に記載の情報信号処理装置。
【請求項４】
上記第１の処理手段は、
上記第１の情報信号に基づいて、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の情報データを用いて、上記第２の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記第２の情報信号における注目位置の情報データを生成する情報データ生成手段と、
上記第２の情報信号に残る上記所定のノイズに対応した制御信号を発生する制御信号発生手段とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項５】
上記情報データ生成手段は、
上記クラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第１の情報信号に基づいて、上記第２の情報信号における注目位置の周辺に位置する複数の情報データを選択する第２のデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記第２のデータ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第２の情報信号における注目位置の情報データを算出して得る演算手段とを有する
ことを特徴とする請求項４に記載の情報信号処理装置。
【請求項６】
上記第２の処理手段は、
上記第２の情報信号に基づいて、上記第３の情報信号における注目位置の周辺に位置する複数の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の情報データを用いて、上記第３の情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスおよび上記制御信号に対応して、上記第３の情報信号における注目位置の情報データを生成する情報データ生成手段とを有する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項７】
上記情報データ生成手段は、
上記クラス検出手段で検出されたクラスおよび上記制御信号に対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
上記第２の情報信号に基づいて、上記第３の情報信号における注目位置の周辺に位置する複数の情報データを選択する第２のデータ選択手段と、
上記係数データ発生手段で発生された係数データおよび上記第２のデータ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第３の情報信号における注目位置の情報データを算出して得る演算手段とを有する
ことを特徴とする請求項６に記載の情報信号処理装置。
【請求項８】
上記係数データ発生手段は、
上記推定式で用いられる係数データを生成する、上記第３の情報信号による出力の質を定めるパラメータを含む生成式における係数データである係数種データを、クラス毎に格納する記憶手段と、
入力される上記パラメータの値を上記制御信号に基づいて制御するパラメータ制御手段と、
上記記憶手段より読み出される、上記クラス検出手段で検出されたクラスの係数種データと上記パラメータ制御手段で制御されたパラメータの値とを用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する係数データ生成手段とを有する
ことを特徴とする請求項７に記載の情報信号処理装置。
【請求項９】
上記第１の処理手段は、さらに、
上記第３の情報信号に残る上記所定のノイズに基づいて、上記発生する制御信号を調整する
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項１０】
複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、該第２の情報信号に残る上記所定のノイズに対応した制御信号を発生する第１の処理工程と、
上記第１の処理工程で得られた上記第２の情報信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理工程と
を備えることを特徴とする情報信号処理方法。
【請求項１１】
複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、該第２の情報信号に残る上記所定のノイズに対応した制御信号を発生する第１の処理工程と、
上記第１の処理工程で得られた上記第２の情報信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項１２】
複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、該第２の情報信号に残る上記所定のノイズに対応した制御信号を発生する第１の処理工程と、
上記第１の処理工程で得られた上記第２の情報信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラム。
【請求項１３】
複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理部と、
上記ノイズ除去処理部で得られた出力情報信号に残る上記所定のノイズに対応した制御信号を発生する制御信号発生部と
を備えることを特徴とする情報信号処理装置。
【請求項１４】
上記入力情報信号は、ブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、
上記所定のノイズは、ブロックノイズである
ことを特徴とする請求項１３に記載の情報信号処理装置。
【請求項１５】
上記制御信号は、上記ブロックの境界に位置する境界画素にそれぞれ対応して求められた、該境界画素を中心とした画素データを用いて得られた二次微分値または該二次微分値を加工して得られた値である
ことを特徴とする請求項１４に記載の情報信号処理装置。
【請求項１６】
上記ノイズ除去処理部は、
上記入力情報信号に基づいて、上記出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の情報データを用いて、上記出力情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応して、上記出力情報信号における注目位置の情報データを生成する情報データ生成手段とを有する
ことを特徴とする請求項１３に記載の情報信号処理装置。
【請求項１７】
複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理工程と、
上記ノイズ除去処理工程で得られた出力情報信号に残る上記所定のノイズに対応した制御信号を発生する制御信号発生工程と
を備えることを特徴とする情報信号処理方法。
【請求項１８】
複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理工程と、
上記ノイズ除去処理工程で得られた出力情報信号に残る上記所定のノイズに対応した制御信号を発生する制御信号発生工程と
を情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項１９】
複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理工程と、
上記ノイズ除去処理工程で得られた出力情報信号に残る上記所定のノイズに対応した制御信号を発生する制御信号発生工程と
を情報信号処理方法をコンピュータに実行させるためのプログラム。
【請求項２０】
複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力手段と、
上記入力情報信号に対して、上記入力手段で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理部と
を備えることを特徴とする情報信号処理装置。
【請求項２１】
上記入力情報信号は、ブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、
上記所定のノイズは、ブロックノイズである
ことを特徴とする請求項２０に記載の情報信号処理装置。
【請求項２２】
上記制御信号は、上記ブロックの境界に位置する境界画素にそれぞれ対応して求められた、該境界画素を中心とした画素データを用いて得られた二次微分値または該二次微分値を加工して得られた値である
ことを特徴とする請求項２１に記載の情報信号処理装置。
【請求項２３】
上記解像度創造処理部は、
上記入力情報信号に基づいて、上記出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の情報データを用いて、上記出力情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスおよび上記制御信号に対応して、上記出力情報信号における注目位置の情報データを生成する情報データ生成手段とを有する
ことを特徴とする請求項２０に記載の情報信号処理装置。
【請求項２４】
複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力工程と、
上記入力情報信号に対して、上記入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備えることを特徴とする情報信号処理方法。
【請求項２５】
複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力工程と、
上記入力情報信号に対して、上記入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項２６】
複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力工程と、
上記入力情報信号に対して、上記入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラム。
【請求項２７】
入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生部と、
上記入力情報信号に対して、上記制御信号発生部で発生された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理部と
を備えることを特徴とする情報信号処理装置。
【請求項２８】
上記入力情報信号は、ブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、
上記所定のノイズは、ブロックノイズである
ことを特徴とする請求項２７に記載の情報信号処理装置。
【請求項２９】
上記制御信号は、上記ブロックの境界に位置する境界画素にそれぞれ対応して求められた、該境界画素を中心とした画素データを用いて得られた二次微分値を加工して得られた値である
ことを特徴とする請求項２８に記載の情報信号処理装置。
【請求項３０】
上記解像度創造処理部は、
上記入力情報信号に基づいて、上記出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択手段と、
上記データ選択手段で選択された複数の情報データを用いて、上記出力情報信号における注目位置の情報データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスおよび上記制御信号に対応して、上記出力情報信号における注目位置の情報データを生成する情報データ生成手段とを有する
ことを特徴とする請求項２７に記載の情報信号処理装置。
【請求項３１】
入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生工程と、
上記入力情報信号に対して、上記制御信号発生工程で発生された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備えることを特徴とする情報信号処理方法。
【請求項３２】
入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生工程と、
上記入力情報信号に対して、上記入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。
【請求項３３】
入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生工程と、
上記入力情報信号に対して、上記入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程と
を備える情報信号処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばブロック符号化が行われたデジタル情報信号を復号化して得られた画像信号に対して、ブロックノイズを除去すると共に解像度を上げる処理を行う画像信号処理装置等に適用して好適な、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体に関する。
【０００２】
詳しくは、この発明は、第１の情報信号から所定のノイズを除去する処理を行って第２の情報信号を得ると共に、この第２の情報信号に残る所定のノイズに対応した制御信号を発生し、この第２の情報信号に対して、制御信号に応じて解像度を上げるための処理を行って第３の情報信号を得ることによって、第３の情報信号として、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができるようにした情報信号処理装置に係るものである。
【背景技術】
【０００３】
近年において、画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
【０００４】
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
【０００５】
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
【０００６】
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
【０００７】
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
【０００８】
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状のノイズ、いわゆるブロックノイズ（ブロック歪）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとしたノイズ、いわゆるモスキートノイズが発生する。
【０００９】
これらブロックノイズ、モスキートノイズ等の符号化ノイズを、クラス分類適応処理によって除去することが考えられる。すなわち、このノイズ除去処理では、符号化ノイズを含む画像信号を第１の画像信号とし、符号化ノイズが除去された画像信号を第２の画像信号とし、第２の画像信号における注目画素位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目画素位置の画素データを生成する。
【００１０】
また、近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の補間処理による手法よりも、クラス分類適応処理による手法の方が、性能的に良好な結果が得られることが知られている。
【００１１】
この解像度創造処理では、例えば特許文献１に記載されるように、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目画素位置の画素データが属するクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目画素位置の画素データを生成する。
【００１２】
【特許文献１】特開２００２−２１８４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述したノイズ除去処理および解像度創造処理は互いに独立しており、例えばノイズ除去処理を行った後に解像度創造処理を行うことが考えられる。この場合、ノイズ除去処理で除去しきれずに残ったノイズが、解像度創造処理で強調され、画質の劣化につながる場合がある。
【００１４】
この発明の目的は、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号が得られるようにすることにある。
【課題を解決するための手段】
【００１５】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、この第２の情報信号に残る所定のノイズに対応した制御信号を発生する第１の処理手段と、この第１の処理手段で得られた第２の情報信号に対して、第１の処理手段で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理手段とを備えるものである。
【００１６】
この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる第２の情報信号を得ると共に、この第２の情報信号に残る所定のノイズに対応した制御信号を発生する第１の処理工程と、この第１の処理工程で得られた第２の情報信号に対して、第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の情報データからなる第３の情報信号を得る第２の処理工程とを備えるものである。
【００１７】
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００１８】
この発明においては、第１の情報信号に対して、所定のノイズを除去する処理が行われて、第２の情報信号が得られる。また、この第２の情報信号に残る所定のノイズに対応した制御信号が発生される。ここで、情報信号は、例えば画像信号、音声信号等である。情報信号が画像信号であるとき情報データは各画素に対応した画素データを意味し、また情報信号が音声信号であるとき情報データはサンプルデータを意味している。
【００１９】
例えば、第１の情報信号はＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、所定のノイズはブロックノイズ（ブロック歪）である。この場合、制御信号は、例えば、ブロックの境界に位置する境界画素にそれぞれ対応して求められた、この境界画素を中心とした複数の画素データを用いて得られた二次微分値またはこの二次微分値を加工して得られた値である。
【００２０】
例えば、第１の情報信号から所定のノイズを除去する処理は、クラス分類適応処理により行われる。すなわち、第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データを用いて第２の情報信号における注目位置の情報データが属するクラスが検出され、このクラスに対応して第２の情報信号における注目位置の情報データが生成される。この場合、例えば、クラスに対応した、推定式で用いられる係数データが発生され、また第１の情報信号に基づいて第２の情報信号における注目位置の周辺に位置する複数の情報データが選択され、これら係数データおよび複数の画素データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが生成される。
【００２１】
また、第２の情報信号に対して、上述した制御信号に応じて解像度を上げるための処理が行われて、第３の情報信号が得られる。例えば、第２の情報信号の解像度を上げる処理は、クラス分類適応処理により行われる。すなわち、第２の情報信号に基づいて第３の情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データを用いて第３の情報信号における注目位置の情報データが属するクラスが検出され、このクラスおよび上述した制御信号に対応して第３の情報信号における注目位置の情報データが生成される。
【００２２】
この場合、例えば、クラスおよび制御信号に対応した、推定式で用いられる係数データが発生され、また第２の情報信号に基づいて第３の情報信号における注目位置の周辺に位置する複数の情報データが選択され、これら係数データおよび複数の画素データが用いられ、推定式に基づいて、第２の情報信号における注目位置の情報データが生成される。例えば、推定式で用いられる係数データは、以下のようにして生成される。
【００２３】
すなわち、推定式で用いられる係数データを生成する、第３の情報信号による出力の質を定めるパラメータを含む生成式における係数データである係数種データが、クラス毎に、半導体メモリなどの記憶手段に格納されている。また、入力されたパラメータの値が、制御信号に基づいて制御される。そして、検出されたクラスに対応した係数種データおよび制御されたパラメータの値とが用いられ、生成式に基づいて、推定式で用いられる係数データが生成される。
【００２４】
上述したように、第２の情報信号は、第１の情報信号に対してノイズ除去処理が行われて得られたものであり、第１の情報信号に比べて所定のノイズが低減されたものとなる。また、第３の情報信号は、第２の情報信号に対して解像度創造処理が行われて得られたものであり、第２の情報信号に比べて解像度が上げられたものとなる。この場合、第２の情報信号に残る所定のノイズに対応した制御信号に応じて解像度創造処理が行われものであり、第２の情報信号に残る所定のノイズが強調されることを抑制できる。したがって、この発明においては、第３の情報信号として、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができる。
【００２５】
なお、上述したように、第２の情報信号に残る所定のノイズに対応した制御信号を発生する際に、第３の情報信号に残る所定のノイズに対応して、当該制御信号を調整することもできる。この場合、フィードバック効果によって、第３の情報信号に残る所定のノイズをより小さくできる。
【００２６】
この発明に係る情報信号処理装置は、複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理部と、このノイズ除去処理部で得られた出力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生部とを備えるものである。
【００２７】
また、この発明に係る情報信号処理方法は、複数の情報データからなる入力情報信号に対して、所定のノイズを除去する処理を行って、複数の情報データからなる出力情報信号を得るノイズ除去処理工程と、このノイズ除去処理工程で得られた出力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生工程とを備えるものである。
【００２８】
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００２９】
この発明においては、入力情報信号に対して、所定のノイズを除去する処理が行われて、出力情報信号が得られる。また、この出力情報信号に残る所定のノイズに対応した制御信号が発生される。例えば、入力情報信号は、ＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、所定のノイズはブロックノイズ（ブロック歪）である。この場合、制御信号は、例えば、ブロックの境界に位置する境界画素にそれぞれ対応して求められた、この境界画素を中心とした複数の画素データを用いて得られた二次微分値またはこの二次微分値を加工して得られた値である。
【００３０】
例えば、入力情報信号から所定のノイズを除去する処理は、クラス分類適応処理により行われる。すなわち、入力情報信号に基づいて出力情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データを用いて出力情報信号における注目位置の情報データが属するクラスが検出され、このクラスに対応して出力情報信号における注目位置の情報データが生成される。
【００３１】
上述したように、この発明においては、入力情報信号に対してノイズ除去処理を行って所定のノイズが低減された出力情報信号を得ることができ、またこの出力情報信号に残る所定のノイズに対応した制御信号を得ることができる。したがって、当該出力情報信号に対して解像度創造処理を行う際に、当該制御信号を用いて当該解像度創造処理を制御でき、出力情報信号に残る所定のノイズが強調されることを抑制できる。
【００３２】
この発明に係る情報信号処理装置は、複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力手段と、この入力情報信号に対して、入力手段で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理部とを備えるものである。
【００３３】
また、この発明に係る情報信号処理方法は、複数の情報データからなる入力情報信号に残る所定のノイズに対応した制御信号を入力する入力工程と、入力情報信号に対して、入力工程で入力された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程とを備えるものである。
【００３４】
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００３５】
この発明においては、入力情報信号に残る所定のノイズに対応した制御信号が入力される。例えば、入力情報信号は、ＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、所定のノイズは、ブロックノイズである。この場合、制御信号は、例えば、ブロックの境界に位置する境界画素にそれぞれ対応して求められた、この境界画素を中心とした複数の画素データを用いて得られた二次微分値またはこの二次微分値を加工して得られた値である。
【００３６】
入力情報信号に対して、入力された制御信号に応じて解像度を上げるための処理が行われて、出力情報信号が得られる。例えば、入力情報信号の解像度を上げる処理は、クラス分類適応処理により行われる。すなわち、入力情報信号に基づいて出力情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データを用いて出力情報信号における注目位置の情報データが属するクラスが検出され、このクラスおよび上述した制御信号に対応して出力情報信号における注目位置の情報データが生成される。
【００３７】
上述したように、この発明においては、入力情報信号に対して、入力された、当該入力情報信号に残る所定のノイズに対応した制御信号に応じて、解像度創造処理を行うものであり、入力情報信号に比べて解像度が上げられた出力画像信号を得ることができ、また入力情報信号に残る所定のノイズが強調されることを抑制できる。
【００３８】
この発明に係る情報信号処理装置は、入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生部と、入力情報信号に対して、制御信号発生部で発生された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理部とを備えるものである。
【００３９】
また、この発明に係る情報信号処理方法は、入力情報信号に残る所定のノイズに対応した制御信号を発生する制御信号発生工程と、入力情報信号に対して、制御信号発生工程で発生された制御信号に応じて、解像度を上げるための処理を行って、複数の情報データからなる出力情報信号を得る解像度創造処理工程とを備えるものである。
【００４０】
また、この発明に係るプログラムは上述した情報信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述したプログラムを記録したものである。
【００４１】
この発明においては、入力情報信号に残る所定のノイズに対応した制御信号が発生される。例えば、入力情報信号は、ＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル情報信号を復号化することで得られた画像信号であり、所定のノイズは、ブロックノイズである。この場合、制御信号は、例えば、ブロックの境界に位置する境界画素にそれぞれ対応して求められた、この境界画素を中心とした複数の画素データを用いて得られた二次微分値またはこの二次微分値を加工して得られた値である。
【００４２】
入力情報信号に対して、入力された制御信号に応じて解像度を上げるための処理が行われて、出力情報信号が得られる。例えば、入力情報信号の解像度を上げる処理は、クラス分類適応処理により行われる。すなわち、入力情報信号に基づいて出力情報信号における注目位置の周辺に位置する複数の情報データが選択され、この複数の情報データを用いて出力情報信号における注目位置の情報データが属するクラスが検出され、このクラスおよび上述した制御信号に対応して出力情報信号における注目位置の情報データが生成される。
【００４３】
上述したように、この発明においては、入力情報信号に対して、発生された、当該入力情報信号に残る所定のノイズに対応した制御信号に応じて、解像度創造処理を行うものであり、入力情報信号に比べて解像度が上げられた出力画像信号を得ることができ、また入力情報信号に残る所定のノイズが強調されることを抑制できる。
【発明の効果】
【００４４】
この発明によれば、第１の情報信号から所定のノイズを除去する処理を行って第２の情報信号を得ると共に、この第２の情報信号に残る所定のノイズに対応した制御信号を発生し、この第２の情報信号に対して、制御信号に応じて解像度を上げるための処理を行って第３の情報信号を得るものであり、第３の情報信号として、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができる。
【発明を実施するための最良の形態】
【００４５】
この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、入力端子１０１と、入力基板１０２と、ノイズ除去処理基板１０３と、解像度創造処理基板１０４と、出力基板１０５と、出力端子１０６とからなっている。入力端子１０１は、処理すべき画像信号Ｓinを入力するための端子である。出力端子１０６は、処理された画像信号Ｓoutを出力するための端子である。
【００４６】
ここで、画像信号Ｓinは、例えばＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた画像信号であり、ブロックノイズ（ブロック歪）、モスキートノイズ等の符号化ノイズを持っている。
【００４７】
入力基板１０２は、入力端子１０１に入力された画像信号Ｓinに対して、Ａ／Ｄ変換等の処理を行って、後段の基板で用いるために適切な形式の、第１の情報信号としての画像信号Ｓａを生成する。この画像信号Ｓａは、複数の画素データからなるものであり、ＳＤ(Standard Definition)信号である。
【００４８】
ノイズ除去処理基板１０３は、入力基板１０２で生成された画像信号Ｓａに対して、上述したブロックノイズ、モスキートノイズ等の符号化ノイズを除去する処理を行って、第２の情報信号としての画像信号Ｓｂを取得する。この画像信号Ｓｂは、画像信号Ｓａと同じ数の複数の画素データからなるものであり、ＳＤ信号である。
【００４９】
また、このノイズ除去処理基板１０３は、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズに対応した制御信号Ｖr，Ｖzを発生する。制御信号Ｖr，Ｖzは、後述する解像度創造処理基板１０４で、それぞれ、解像度、ノイズ除去度を決めるパラメータｒ，ｚの値を制御するために用いられる。
【００５０】
解像度創造処理基板１０４は、ノイズ除去処理基板１０３で得られた画像信号Ｓｂに対して、当該ノイズ除去処理基板１０３で発生された制御信号Ｖr，Ｖzに応じて解像度を上げるための処理を行って、第３の情報信号としての画像信号Ｓｃを取得する。この場合、処理基板１０４は、制御信号Ｖr，Ｖzに応じて、解像度、ノイズ除去度を制御し、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズが強調されることを抑制する。
【００５１】
この画像信号Ｓｃは、複数の画素データからなるものであり、ＨＤ(High Definition)信号である。図２は、ＳＤ信号とＨＤ信号の画素位置関係を示しており、大きなドットがＳＤ信号の画素を示し、小さいドットがＨＤ信号の画素を示している。この図２から分かるように、ＨＤ信号のライン数はＳＤ信号の２倍であり、またＨＤ信号の各ラインの画素数はＳＤ信号の２倍である。
【００５２】
出力基板１０５は、解像度創造処理基板１０４で得られた画像信号Ｓｃに対して、Ｄ／Ａ変換等の処理を行って適切なフォーマットの画像信号Ｓoutを取得し、当該画像信号Ｓoutを出力端子１０６に出力する。
【００５３】
図１に示す画像信号処理装置１００の動作を説明する。
【００５４】
例えばＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた画像信号が、入力端子１０１に、処理すべき画像信号Ｓinとして入力される。この画像信号Ｓinは入力基板１０２に供給される。この入力基板１０２では、画像信号Ｓinに対してＡ／Ｄ変換等の処理が行われ、後段の基板で用いるために適切な形式の画像信号Ｓａが生成される。
【００５５】
入力基板１０２で生成された画像信号Ｓａは、ノイズ除去処理基板１０３に供給される。この処理基板１０３では、画像信号Ｓａに対して、ブロックノイズ、モスキートノイズ等の符号化ノイズを除去する処理が行われ、符号化ノイズの低減された画像信号Ｓｂが得られる。また、この処理基板１０３では、画像信号Ｓｂに残る、所定のノイズ、例えばブロックノイズに対応した制御信号Ｖr，Ｖzが発生される。
【００５６】
ノイズ除去処理基板１０３で得られた画像信号Ｓｂおよび当該ノイズ処理基板１０３で発生された制御信号Ｖr，Ｖzは、それぞれ、解像度創造処理基板１０４に供給される。この処理基板１０４では、ＳＤ信号としての画像信号Ｓｂに対して、解像度を上げるための処理が行われ、ＨＤ信号としての画像信号Ｓｃが得られる。この場合、制御信号Ｖr，Ｖzに応じて、解像度、ノイズ除去度が制御され、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズが強調されることが抑制される。
【００５７】
解像度創造処理基板１０４で得られた画像信号Ｓｃは、出力基板１０５に供給される。この出力基板１０５では、画像信号Ｓｃに対してＤ／Ａ変換等の処理が行われ、適切なフォーマットの画像信号Ｓoutが得られる。そして、この処理後の画像信号Ｓoutは、出力端子１０６に出力される。
【００５８】
次に、上述したノイズ除去処理基板１０３の詳細を説明する。図３は、ノイズ除去処理基板１０３の回路構成を示している。この処理基板１０３は、クラス分類適応処理により、ノイズ除去処理を行う。
【００５９】
この処理基板１０３は、入力端子１２１と、バッファメモリ１２２とを有している。入力端子１２１は、画像信号Ｓａを入力するための端子である。バッファメモリ１２２は、入力端子１２１に入力された画像信号Ｓａを一時的に記憶する。
【００６０】
また、処理基板１０３は、予測タップ選択部１２３と、クラスタップ選択部１２４とを有している。予測タップ選択部１２３は、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。図４は、予測タップのパターン例を示しており、ＡＰは注目画素位置である。
【００６１】
クラスタップ選択部１２４は、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ(Discrete Cosine Transform)処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。ＭＰＥＧデータの復号化時には、ＤＣＴ処理ブロック毎にデコード処理が行われている。図５は、ＤＣＴ処理ブロックを構成する８×８の画素データを示している。
【００６２】
また、処理基板１０３は、クラス検出部１２５を有している。このクラス検出部１２５は、クラスタップ選択部１２４で選択的に抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣが利用される。
【００６３】
まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。
【００６４】
１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。
【００６５】
また、処理基板１０３は、係数メモリ１２６を有している。この係数メモリ１２６は、後述する推定予測演算部１２７で使用される、推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、記憶している。この場合、各クラスの係数データＷｉは、ＤＣＴ処理ブロック内の８×８の各画素位置（図５の（１，１）〜（８，８）の６４位置）にそれぞれ対応した係数データからなっている。結局、係数メモリ１２６には、クラスおよび画素位置の各組み合わせに対応した係数データＷｉが記憶されている。
【００６６】
この係数データＷｉは、画像信号Ｓｂに対応した教師信号ＳＴと画像信号Ｓａに対応した生徒信号ＳＳとから学習によって生成されたものであり、画像信号Ｓａを画像信号Ｓｂに変換するための情報である。このような係数データＷｉを用いて画像信号Ｓａを画像信号Ｓｂに変換することで、画像信号Ｓａは、ブロックノイズ、モスキートノイズ等の符号化ノイズが低減された画像信号Ｓｂに変換される。この係数データＷｉの生成方法については後述する。
【００６７】
係数メモリ１２６には上述したクラス検出部１２５で得られたクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ１２６からは、クラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉが読み出されて、推定予測演算部１２７に供給される。
【００６８】
また、処理基板１０３は、推定予測演算部１２７を有している。この推定予測演算部１２７は、予測タップ選択部１２３で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１２６から読み出された係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙを求める。
【００６９】
【数１】
2005318096.tif 000003
【００７０】
また、処理基板１０３は、バッファメモリ１２８と、出力端子１２９とを有している。バッファメモリ１２８は、推定予測演算部１２７より順次出力される、画像信号Ｓｂを構成する画素データｙを一時的に記憶する。出力端子１２９は、バッファメモリ１２８に記憶されている画像信号Ｓｂを出力するための端子である。
【００７１】
また、処理基板１０３は、制御信号発生部１３０と、出力端子１３１とを有している。この制御信号発生部１３０は、バッファメモリ１２８に記憶されている画像信号Ｓｂに基づいて、当該画像信号Ｓｂに残る所定のノイズ、本実施の形態ではブロックノイズ（ブロック歪）に対応した制御信号Ｖr，Ｖzを発生する。この制御信号発生部１３０では、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素のそれぞれに対応して、以下のようにして、制御信号Ｖr，Ｖzを生成する。
【００７２】
図６Ａに示すように、境界画素の画素データａ1と、この境界画素に対してブロック境界線と直交する方向に隣接する画素の画素データａ0，ａ2とを用いる。そして、図６Ｂに示すように、境界画素における二次微分値ｄを、（２）式に基づいて、求める。この二次微分値ｄの大きさは、ブロックノイズが大きい程大きくなる。
ｄ＝（ａ0−ａ1）−（ａ1−ａ2）      ・・・（２）
【００７３】
そして、図６Ｃに示すように、二次微分値ｄの絶対値|ｄ|に、それぞれ、定数−ｋr，ｋzを乗算して、（３）式、（４）式で、境界画素における制御信号Ｖr，Ｖzを生成する。ここで、ｋr＞０、ｋz＞０である。
Ｖr＝−ｋr＊|ｄ|      ・・・（３）
Ｖz＝  ｋz＊|ｄ|      ・・・（４）
【００７４】
なお、制御信号発生部１３０は、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、上述したように、（３）式、（４）式で制御信号Ｖr，Ｖzを生成する。しかし、この制御信号発生部１３０は、境界画素以外の画素に対応しては、その値が０である制御信号Ｖr，Ｖzを発生する。
【００７５】
出力端子１３１は、制御信号発生部１３０で発生された制御信号Ｖr，Ｖzを出力するための端子である。制御信号Ｖrは、解像度創造処理基板１０４において、解像度を決めるパラメータｒの値を制御するために使用される。制御信号Ｖzは、解像度創造処理基板１０４において、ノイズ除去度を決めるパラメータｚの値を制御するために使用される。
【００７６】
図３に示すノイズ除去処理基板１０３の動作を説明する。
【００７７】
入力基板１０２（図１参照）から供給される、入力画像信号としての画像信号Ｓａは、入力端子１２１を介してバッファメモリ１２２に供給され、当該バッファメモリ１２２に一時的に記憶される。クラスタップ選択部１２４では、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部１２５に供給される。
【００７８】
クラス検出部１２５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数メモリ１２６に読み出しアドレス情報として供給される。これにより、推定予測演算部１２７には、係数メモリ１２６から、クラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉが供給される。
【００７９】
予測タップ選択部１２３では、バッファメモリ１２２に一時的に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の周辺に位置する、複数の画素データｘｉが予測タップのデータとして選択的に取り出される。この複数の画素データｘｉは推定予測演算部１２７に供給される。
【００８０】
推定予測演算部１２７では、予測タップのデータとしての複数の画素データｘｉおよび係数データＷｉが用いられ、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙが求められる。画像信号Ｓｂにおける注目画素位置が順次変化するようにされ、推定予測演算部１２７からは、画像信号Ｓｂにおける各注目画素位置の画素データｙが順次出力される。
【００８１】
このように推定予測演算部１２７から順次出力される、各注目画素位置の画素データｙはバッファメモリ１２８に供給されて一時的に記憶される。このバッファメモリ１２８に記憶された画像信号Ｓｂを構成する各画素データは、その後に適宜なタイミングで読み出され、出力端子１２９を介して、解像度創造処理基板１０４（図１参照）に供給される。
【００８２】
また、バッファメモリ１２８に一時的に記憶されている画像信号Ｓｂは、制御信号発生部１３０に供給される。この制御信号発生部１３０では、画像信号Ｓｂに基づいて、当該画像信号Ｓｂに残る所定のノイズ、本実施の形態ではブロックノイズに対応した制御信号Ｖr，Ｖzが発生される。
【００８３】
この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して得られる（（２）式〜（４）式参照）。また、この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界画素以外の画素に対応しては、Ｖr＝０、Ｖz＝０とされる。
【００８４】
このように制御信号発生部１３０で発生される制御信号Ｖr，Ｖzは、出力端子１３１を介して、解像度創造処理基板１０４に供給される。この場合、画像信号Ｓｂとその各画素データに対応した制御信号Ｖr，Ｖzとは、その対応関係を保持した状態で、処理基板１０４に供給される。
【００８５】
次に、係数メモリ１２６に記憶される係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
【００８６】
まず、この学習方法について説明する。上述の（１）式において、学習前は係数データＷ1，Ｗ2，‥‥，Ｗnは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（１）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn   ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
【００８７】
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（６）式で定義し、（７）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝  ・・・（６）
（ｋ＝１，２，‥‥ｍ）
【００８８】
【数２】
2005318096.tif 000004
【００８９】
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データＷｉで偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【００９０】
【数３】
2005318096.tif 000005
【００９１】
（９）式、（１０）式のようにＸji，Ｙiを定義すると、（８）式は、（１１）式の行列式の形に書くことができる。この（１１）式が、係数データＷｉを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉを求めることができる。
【００９２】
【数４】
2005318096.tif 000006
【００９３】
【数５】
2005318096.tif 000007
【００９４】
次に、上述した係数データＷｉ（ｉ＝１〜ｎ）を生成するための係数データ生成装置１５０について説明する。図７は、この係数データ生成装置１５０の構成を示している。
【００９５】
この係数データ生成装置１５０は、入力端子１５１と、ＭＰＥＧ符号化部１５２と、ＭＰＥＧ復号化部１５３とを有している。入力端子１５１は、上述した画像信号Ｓｂに対応した教師信号ＳＴを入力する。ＭＰＥＧ符号化部１５２は、この教師信号ＳＴに対してＭＰＥＧの符号化を行ってＭＰＥＧストリームを生成する。ＭＰＥＧ復号化部１５３は、このＭＰＥＧストリームに対して復号化を行って、上述した画像信号Ｓａに対応した生徒信号ＳＳを生成する。この生徒信号ＳＳには、ＭＰＥＧの符号化、復号化を経たことによって、ブロック歪、モスキートノイズが発生している。
【００９６】
また、係数データ生成装置１５０は、予測タップ選択部１５４を有している。この予測タップ選択部１５４は、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。この予測タップ選択部１５４は、上述した処理基板１０３の予測タップ選択部１２３に対応するものである。
【００９７】
また、係数データ生成装置１５０は、クラスタップ選択部１５５を有している。このクラスタップ選択部１５５は、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。このクラスタップ選択部１５５は、上述した処理基板１０３のクラスタップ選択部１２４に対応するものである。
【００９８】
また、係数データ生成装置１５０は、クラス検出部１５６を有している。このクラス検出部１５６は、クラスタップ選択部１５５で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬを生成する。このクラス検出部１５６は、上述した処理基板１０３のクラス検出部１２５に対応するものである。
【００９９】
また、係数データ生成装置１５０は、教師タップ選択部１５７を有している。この教師タップ選択部１５７は、入力端子１５１に入力される教師信号ＳＴから、注目画素位置の画素データを選択的に抽出する。
【０１００】
また、係数データ生成装置１５０は、正規方程式生成部１５８を有している。この正規方程式生成部１５８は、教師タップ選択部１５７で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部１５４で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部１５６で得られたクラスコードＣＬとから、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。
【０１０１】
この場合、１個の画素データｙとそれに対応する複数の画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉを得るための正規方程式が生成される。またこの場合、正規方程式生成部１５８では、ＤＣＴ処理ブロック内の画素位置毎に、正規方程式が生成される。すなわち、ＤＣＴ処理ブロック内の８×８の各画素位置に対応した正規方程式は、それぞれ、その画素位置に存在する画素データｙから構成される学習データを用いて生成される。
【０１０２】
結局、正規方程式生成部１５８では、上述したように、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、正規方程式が生成される。
【０１０３】
また、係数データ生成装置１５０は、係数データ決定部１５９と、係数メモリ１６０とを有している。係数データ決定部１５９は、正規方程式生成部１５８から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを求める。係数メモリ１６０は、係数データ決定部１５９で求められた係数データＷｉを格納する。
【０１０４】
次に、図７に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には、画像信号Ｓｂに対応した教師信号ＳＴが入力され、この教師信号ＳＴは、ＭＰＥＧ符号化部１５２に供給される。ＭＰＥＧ符号化部１５２では、この教師信号ＳＴに対してＭＰＥＧの符号化が施されて、ＭＰＥＧストリームが生成される。このＭＰＥＧストリームは、ＭＰＥＧ復号化部１５３に供給される。ＭＰＥＧ復号化部１５３では、このＭＰＥＧストリームに対して復号化が施されて、画像信号Ｓａに対応した生徒信号ＳＳが生成される。
【０１０５】
クラスタップ選択部１５５では、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部１５６に供給される。このクラス検出部１５６では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは、正規方程式生成部１５８に供給される。
【０１０６】
予測タップ選択部１５４では、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは正規方程式生成部１５８に供給される。また、教師タップ選択部１５７では、入力端子１５１に入力される教師信号ＳＴから、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは正規方程式生成部１５８に供給される。
【０１０７】
正規方程式生成部１５８では、教師タップ選択部１５７で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部１５４で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部１５６で得られたクラスコードＣＬとから、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。
【０１０８】
そして、係数データ決定部１５９では、正規方程式生成部１５８から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉが求められる。この係数データＷｉは、係数メモリ１６０に格納される。
【０１０９】
このように、図７に示す係数データ生成装置１５０においては、上述の図３に示すノイズ除去処理基板１０３の係数メモリ１２６格納される係数データＷｉを、良好に生成できる。
【０１１０】
次に、上述した解像度創造処理基板１０４の詳細を説明する。図８は、解像度創造処理基板１０４の回路構成を示している。
【０１１１】
この処理基板１０４は、入力端子２２１と、バッファメモリ２２２とを有している。入力端子２２１は、画像信号Ｓｂを入力するための端子である。バッファメモリ２２２は、入力端子２２１に入力された画像信号Ｓｂを一時的に記憶する。
【０１１２】
また、処理基板１０４は、予測タップ選択部２２３と、クラスタップ選択部２２４とを有している。予測タップ選択部２２３、クラスタップ選択部２２４は、それぞれ、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。図９Ａ，Ｂは、それぞれ、クラスタップ、予測タップのパターン例を示している。ＳＤ0は中心予測タップを示している。
【０１１３】
また、処理基板１０４は、クラス検出部２２５を有している。このクラス検出部２２５は、クラスタップ選択部２２４で選択的に抽出されたクラスタップのデータとしての複数の画素データに対して上述した１ビットＡＤＲＣ等のデータ圧縮処理を施して、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬを生成する。
【０１１４】
また、処理基板１０４は、係数データ生成部２２９と、記憶手段としてのＲＯＭ２３０とを有している。ＲＯＭ２３０は、各クラスの係数種データｗijを記憶している。この係数種データｗijは、上述した（１）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、パラメータｒ，ｚを含む生成式の係数データである。（１２）式は、その生成式の一例を示しており、ｗi0〜ｗi9が係数種データである。ここで、ｒは解像度を決めるパラメータであり、ｚはノイズ除去度を決めるパラメータである。
【０１１５】
【数６】
2005318096.tif 000008
【０１１６】
ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素に対応してＨＤ信号の４画素を得る必要がある（図２参照）。この場合、ＨＤ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれＳＤ信号の中心予測タップＳＤ0に対して異なる位相ずれを持っている。図１０は、ＨＤ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ1〜ＨＤ4における、ＳＤ信号の中心予測タップＳＤ0からの位相ずれを示している。ここで、ＨＤ1〜ＨＤ4の位置は、それぞれ、ＳＤ0の位置から水平方向にｋ1〜ｋ4、垂直方向にｍ1〜ｍ4だけずれている。そのため、上述した各クラスの係数種データｗijは、それぞれ、出力画素（ＨＤ1〜ＨＤ4）に対応した４種類の係数種データからなっている。
【０１１７】
この係数種データｗijは、画像信号Ｓｃに対応した教師信号ＳＴと画像信号Ｓｂに対応した生徒信号ＳＳとから学習によって生成されたものであり、画像信号Ｓｂを画像信号Ｓｃに変換するための情報である。このような係数種データｗijを用いて画像信号Ｓｂを画像信号Ｓｃに変換することで、ＳＤ信号としての画像信号Ｓｂは、ＨＤ信号としての画像信号Ｓｃに変換される。この係数種データｗijの生成方法については後述する。
【０１１８】
係数データ生成部２２９は、ＲＯＭ２３０から、クラス検出部２２５で得られたクラスコードＣＬが表すクラスの、出力画素（ＨＤ1〜ＨＤ4）にそれぞれ対応した４画素分の係数種データｗijを取得し、さらに後述するパラメータ制御部２２８から出力されるパラメータｒ，ｚの値を用い、（１２）式の生成式に基づいて、４画素分の係数データＷｉを生成する。
【０１１９】
また、処理基板１０４は、入力端子２２６と、バッファメモリ２２７とを有している。入力端子２２６は、制御信号Ｖr，Ｖzを入力するための端子である。バッファメモリ２２７は、入力端子２２６に入力された制御信号Ｖr，Ｖzを一時的に記憶する。
【０１２０】
また、処理基板１０４は、パラメータ制御部２２８を有している。このパラメータ制御部２２８には、ユーザによってその値が調整されたパラメータｒ′，ｚ′が供給される。ｒ′は解像度を決めるパラメータであり、ｚ′はノイズ除去度を決めるパラメータである。このパラメータ制御部２２８は、バッファメモリ２２７から画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzを取得すると共に、この制御信号Ｖr，Ｖzを用いて、パラメータｒ′，ｚ′の値を制御し、係数データ生成部２２９に供給するパラメータｒ，ｚの値を得る。この場合、パラメータ制御部２２８は、例えば、（１４）式、（１５）式に基づいて、パラメータｒ，ｚの値を求める。
ｒ＝ｒ′＋Ｖr      ・・・（１３）
ｚ＝ｚ′＋Ｖz      ・・・（１４）
【０１２１】
中心予測タップＳＤ0（画像信号Ｓｃにおける注目画素位置に対応している）がＤＲＣ処理ブロックの境界に位置する境界画素であるとき、上述したように、制御信号Ｖrはブロックノイズの大きさに対応した大きさを持つ負の値であり、また制御信号Ｖzはブロックノイズの大きさに対応した大きさを持つ正の値である。したがってこのとき、パラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくなり、解像度が低くなるようにされる。また、パラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくなり、ノイズ除去度が高くなるようにされる。
【０１２２】
なお、中心予測タップＳＤ0が境界画素以外の画素である場合、上述したように、制御信号Ｖr，Ｖzはそれぞれ０であり、パラメータｒ，ｚの値は、ユーザによって調整されたパラメータｒ′，ｚ′の値そのものとなる。
【０１２３】
また、処理基板１０４は、推定予測演算部２３１を有している。この推定予測演算部２３１は、画像信号Ｓｃを構成する２×２の単位画素ブロック毎に、画素データを求める。すなわち、この推定予測演算部２３１には、予測タップ選択部２２３から単位画素ブロック内の４画素（注目画素）に対応した、予測タップのデータとしての複数の画素データｘｉが供給され、また係数データ生成部２２９で生成された、その単位画素ブロックを構成する４画素分の係数データＷｉが供給される。この推定予測演算部２３１は、単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（１）式の推定式で個別に演算する。
【０１２４】
また、処理基板１０４は、バッファメモリ２３２と、出力端子２３３とを有している。バッファメモリ２３２は、推定予測演算部２３１より順次出力される、画像信号Ｓｃを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4を一時的に記憶する。出力端子２３３は、バッファメモリ２３２に記憶されている画像信号Ｓｃを出力するための端子である。
【０１２５】
図８に示す解像度創造処理基板１０４の動作を説明する。
ノイズ除去処理基板１０３（図１参照）から供給される、入力画像信号としての画像信号Ｓｂは、入力端子２２１を介してバッファメモリ２２２に供給され、当該バッファメモリ２２２に一時的に記憶される。同様に、ノイズ除去処理基板１０３から供給される制御信号Ｖr，Ｖzは、入力端子２２６を介してバッファメモリ２２７に供給され、当該バッファメモリ２２７に一時的に記憶される。
【０１２６】
クラスタップ選択部２２４では、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２２５に供給される。
【０１２７】
クラス検出部２２５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２２９に供給される。
【０１２８】
パラメータ制御部２２８には、ユーザによってその値が調整されたパラメータｒ′，ｚ′が供給される。このパラメータ制御部２２８では、バッファメモリ２２７から画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzが取得されると共に、この制御信号Ｖr，Ｖzが用いられて、例えば（１４）式、（１５）式に基づいて、パラメータｒ，ｚの値が求められる。このパラメータｒ，ｚの値は、係数データ生成部２２９に供給される。
【０１２９】
係数データ生成部２２９では、クラスコードＣＬが表すクラスの、出力画素（ＨＤ1〜ＨＤ4）にそれぞれ対応した係数種データｗijが、ＲＯＭ２３０から取得される。そして、この係数データ生成部２２９では、４画素分の係数種データｗi0〜ｗi9およびパラメータｒ，ｚの値が用いられ、（１２）式の生成式に基づいて、画像信号Ｓｃの２×２の単位画素ブロックを構成する４画素分の係数データＷｉが生成される。
【０１３０】
予測タップ選択部２２３では、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺、つまりその注目画素位置の単位画素ブロック内の４画素の周辺に位置する、複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは推定予測演算部２３１に供給される。
【０１３１】
また、この推定予測演算部２３１には、係数データ生成部２２９で生成された、画像信号Ｓｃの単位画素ブロックを構成する４画素分の係数データＷｉが供給される。そして、この推定予測演算部２３１では、予測タップのデータとしての複数の画素データｘｉおよび４画素分の係数データＷｉが用いられ、注目画素位置の単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4が、それぞれ（１）式の推定式に基づいて、個別に求められる。
【０１３２】
画像信号Ｓｃにおける注目画素位置が順次変化するようにされ、推定予測演算部２３１からは、画像信号Ｓｃにおける各注目画素位置の単位画素ブロックを構成する画素データｙ1〜ｙ4が順次出力される。このように推定予測演算部２３１から順次出力される、各注目画素位置の単位画素ブロックを構成する画素データｙ1〜ｙ4はバッファメモリ２３２に供給されて一時的に記憶される。このバッファメモリ２３２に記憶された画像信号Ｓｃを構成する各画素データは、その後に適宜なタイミングで読み出され、出力端子２３３を介して、出力基板１０５（図１参照）に供給される。
【０１３３】
上述したように、ノイズ除去処理基板１０３で発生される制御信号Ｖrは、中心予測タップＳＤ0（画像信号Ｓｃにおける注目画素位置に対応している）がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズの大きさに対応した大きさを持つ負の値である。そして、パラメータ制御部２２８では、（１３）式に基づいてパラメータｒの値が求められることから、解像度を決めるパラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくされる。
【０１３４】
また、ノイズ除去処理基板１０３で発生される制御信号Ｖzは、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズの大きさに対応した大きさを持つ正の値である。そして、パラメータ制御部２２８では、（１４）式に基づいてパラメータｚの値が求められることから、ノイズ除去度を決めるパラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくされる。
【０１３５】
そのため、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズが大きい程、解像度が小さくなると共に、ノイズ除去度は大きくなる。そのため、図８に示す解像度創造処理基板１０４においては、画像信号Ｓｂに残るブロックノイズが強調されることを抑制でき、従って画像信号Ｓｃとして、ブロックノイズ等の符号化ノイズが低減されると共に、画質劣化なく解像度が上げられた良好な画像信号を得ることができる。
【０１３６】
次に、ＲＯＭ２３０に記憶される係数種データｗijの生成方法について説明する。この係数種データｗijは、学習によって生成される。ここでは、（１２）式の生成式における係数データである係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を求める例を示すものとする。
【０１３７】
ここで、以下の説明のため、（１５）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，ｔ6＝ｒ3，
ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3
・・・（１５）
この（１５）式を用いると、（１２）式は、（１６）式のように書き換えられる。
【０１３８】
【数７】
2005318096.tif 000009
【０１３９】
最終的に、学習によって未定係数ｗijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（１）式および（１２）式を用いて、Ｅは（１７）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ信号の画素データを表している。
【０１４０】
【数８】
2005318096.tif 000010
【０１４１】
最小二乗法による解法では、（１７）式のｗijによる偏微分が０になるようなｗijを求める。これは、（１８）式で示される。
【０１４２】
【数９】
2005318096.tif 000011
【０１４３】
ここで、（１９）式、（２０）式のように、Ｘipjq、Ｙipを定義すると、（１８）式は、行列を用いて、（２１）式のように書き換えられる。
【０１４４】
【数１０】
2005318096.tif 000012
【０１４５】
【数１１】
2005318096.tif 000013
【０１４６】
この（２１）式が、係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗi0〜ｗi9を求めることができる。
【０１４７】
図１１は、上述した係数種データの生成方法の概念を示している。教師信号ＳＴとしてのＨＤ信号から、生徒信号ＳＳとしての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
【０１４８】
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
【０１４９】
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
【０１５０】
ノイズを加える量としては、例えば（２２）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ                            ・・・（２２）
【０１５１】
例えば、周波数特性を可変するパラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変するパラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図８の係数データ生成部２２９に供給されるパラメータｒ，ｚに対応したものである。
【０１５２】
次に、上述した係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を生成するための係数種データ生成装置２５０について説明する。図１２は、この係数種データ生成装置２５０の構成を示している。
【０１５３】
この係数種データ生成装置２５０は、入力端子２５１と、生徒信号生成回路２５２とを有している。入力端子２５１は、教師信号ＳＴとしてのＨＤ信号を入力する。生徒信号生成回路２５２は、このＨＤ信号に対して、水平および垂直の間引き処理を行って、生徒信号ＳＳとしてのＳＤ信号を生成する。この生徒信号生成回路２５２には、パラメータｒ，ｚが供給される。パラメータｒの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、ＳＤ信号に加えるノイズの量が可変される。
【０１５４】
また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これら予測タップ選択部２５３、クラスタップ選択部２５４は、それぞれ、生徒信号生成回路２５２より出力される生徒信号ＳＳから、ＨＤ信号における注目画素位置の周辺に位置する複数のＳＤ画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。この予測タップ選択部２５３、クラスタップ選択部２５４は、それぞれ、上述した処理基板１０４の予測タップ選択部２２３、クラスタップ選択部２２４に対応するものである。
【０１５５】
また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理基板１０４のクラス検出部２２５に対応するものである。
【０１５６】
また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、入力端子２５１に入力される教師信号ＳＴから、注目画素位置の画素データを選択的に抽出する。
【０１５７】
また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（２１）式参照）を生成する。
【０１５８】
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２５７では、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
【０１５９】
またこの場合、正規方程式生成部２５７では、出力画素（図１０のＨＤ1〜ＨＤ4参照）毎に、正規方程式が生成される。例えば、ＨＤ1に対応した正規方程式は、中心予測タップに対するずれ値がＨＤ１と同じ関係にある画素データｙから構成される学習データから生成される。結果的に正規方程式生成部２５７では、上述したように、クラスおよび出力画素の組み合わせ毎に、正規方程式が生成される。
【０１６０】
また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を求める。係数種メモリ２５９は、係数種データ決定部２５８で求められた係数種データｗi0〜ｗi9を格納する。
【０１６１】
図１２に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１に入力される教師信号ＳＴとしてのＨＤ信号に対して、生徒信号生成回路２５２で水平および垂直の間引き処理が行われて、生徒信号ＳＳとしてのＳＤ信号が生成される。この場合、ＳＤ信号生成回路２５２にはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
【０１６２】
クラスタップ選択部２５４では、生徒信号生成回路２５２で生成される生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２５５に供給される。このクラス検出部２５５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは、正規方程式生成部２５７に供給される。
【０１６３】
予測タップ選択部２５３では、生徒信号生成回路２５２で生成される生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、入力端子２５１に入力される教師信号ＳＴから、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは正規方程式生成部２５７に供給される。
【０１６４】
正規方程式生成部２５７では、教師タップ選択部２５６で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（２１）式参照）が生成される。
【０１６５】
そして、係数種データ決定部２５８では、正規方程式生成部２５７から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が求められる。この係数種データｗi0〜ｗi9は、係数種メモリ２５９に格納される。
【０１６６】
このように、図１２に示す係数種データ生成装置２５０においては、上述の図８に示す処理基板１０４のＲＯＭ２３０に記憶される係数種データｗi0〜ｗi9を、良好に生成できる。
【０１６７】
なお、図１のノイズ除去処理基板１０３および解像度創造処理基板１０４における処理を、例えば図１３に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
【０１６８】
まず、図１３に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラム、さらには係数データＷｉ、係数種データｗi0〜ｗi9等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
【０１６９】
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
【０１７０】
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
【０１７１】
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
【０１７２】
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｓａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｓｃを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
【０１７３】
ここで、上述したようにＲＯＭ５０２に制御プログラム等を予め格納しておく代わりに、これら制御プログラム等を例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ＨＤＤ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラム等をドライブ５０６を介してリムーバブルな記憶媒体で提供するようにしてもよい。
【０１７４】
また、処理すべき画像信号Ｓａを入力端子５１５より入力する代わりに、予めＨＤＤ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｓｃを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはＨＤＤ５０５に格納したり、ドライブ５０６で記憶媒体に記憶したり、また通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
【０１７５】
図１４のフローチャートを参照して、図１３に示す画像信号処理装置５００における、画像信号Ｓａから画像信号Ｓｃを得るための処理手順を説明する。
【０１７６】
まず、ステップＳ１０で、処理を開始し、ステップＳ１１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｓａを入力する。このように入力される画像信号ＳａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｓａが装置内のＨＤＤ５０５に予め記録されている場合には、このＨＤＤ５０５から画像信号Ｓａを読み出し、読み出された画像信号ＳａをＲＡＭ５０３に一時的に記憶する。
【０１７７】
そして、ステップＳ１２で、画像信号Ｓａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳ１４のノイズ除去処理に進む。
【０１７８】
ノイズ除去処理では、ステップＳ１４１で、画像信号Ｓａに基づいて、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして取得する。ここで、画像信号Ｓｂは、このノイズ除去処理により生成される画像信号である。そして、ステップＳ１４２で、このクラスタップのデータに基づいて、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１７９】
次に、ステップＳ１４３で、画像信号Ｓａに基づいて、画像信号Ｓｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳ１４４で、ステップＳ１４２で生成されたクラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉと、ステップＳ１４３で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙを生成する。
【０１８０】
次に、ステップＳ１４５で、ステップＳ１１で入力された１フレーム分または１フィールド分の画像信号Ｓａの画素データの全領域において画像信号Ｓｂの画素データを得る処理が終了したか否かを判定する。処理を終了していないときは、ステップＳ１４１に戻り、次の注目画素位置についての処理に移る。一方、処理が終了しているときは、ノイズ除去処理を終了し、ステップＳ１５に進む。
【０１８１】
このステップＳ１５では、上述したステップＳ１４のノイズ除去処理で生成された画像信号Ｓｂに基づいて、各画素に対応した制御信号Ｖr，Ｖzを生成する。この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して得られる（（２）式〜（４）式参照）。また、この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界画素以外の画素に対応しては、Ｖr＝０、Ｖz＝０とされる。制御信号Ｖrは、後述する解像度創造処理において、解像度を決めるパラメータｒの値を制御するために使用される。制御信号Ｖzは、後述する解像度創造処理において、ノイズ除去度を決めるパラメータｚの値を制御するために使用される。
【０１８２】
次に、ステップＳ１６の解像度創造処理に進む。この解像度創造処理では、ステップＳ１６１で、ユーザが調整し、ＲＡＭ５０３に記憶されている、パラメータｒ′，ｚ′の値を取得する。ｒ′は解像度を決めるパラメータであり、ｚ′はノイズ除去度を決めるパラメータである。
【０１８３】
そして、ステップＳ１６２で、ステップＳ１５で生成された制御信号Ｖr，Ｖzのうち、画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzを取得し、この制御信号Ｖr，Ｖzを用いてパラメータｒ′，ｚ′の値を制御してパラメータｒ，ｚの値を取得する（（１３）式、（１４）式参照）。
【０１８４】
この場合、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素であるとき、制御信号Ｖrはブロックノイズの大きさに対応した大きさを持つ負の値であり、また制御信号Ｖzはブロックノイズの大きさに対応した大きさを持つ正の値である。したがってこのとき、パラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくなり、解像度が低くなるようにされる。また、パラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくなり、ノイズ除去度が高くなるようにされる。
【０１８５】
なお、中心予測タップＳＤ0が境界画素以外の画素である場合、制御信号Ｖr，Ｖzはそれぞれ０であり、パラメータｒ，ｚの値は、ユーザによって調整されたパラメータｒ′，ｚ′の値そのものとなる。
【０１８６】
次に、ステップＳ１６３で、画像信号Ｓｂに基づいて、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳ１６４で、このクラスタップのデータに基づいて、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１８７】
次に、ステップＳ１６５で、ステップＳ１６３で生成されたクラスコードＣＬが表すクラスの、出力画素（図１０のＨＤ1〜ＨＤ4参照）にそれぞれ対応した４画素分の係数種データｗij、およびステップＳ１６２で取得されたパラメータｒ，ｚの値を用い、（１２）式の生成式に基づいて、単位画素ブロックを構成する４画素分の係数データＷｉを生成する。
【０１８８】
次に、ステップＳ１６６で、画像信号Ｓｂに基づいて、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データｘｉを、予測タップのデータとして取得する。そして、ステップＳ１６７で、ステップＳ１６５で生成された４画素分の係数データＷｉおよびステップＳ１６６で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｓｃにおける注目画素位置の単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（１）式の推定式で個別に演算する。
【０１８９】
次に、ステップＳ１６８で、ステップＳ１１で生成された画像信号Ｓｂの画素データの全領域において画像信号Ｓｃの画素データを得る処理が終了したか否かを判定する。処理を終了していないときは、ステップＳ１６２に戻り、次の注目画素位置についての処理に移る。一方、処理が終了しているときは、解像度創造処理を終了し、ステップＳ１１に戻り、次の１フレーム分または１フィールド分の画像信号Ｓａの入力処理に移る。
【０１９０】
このように、図１４に示すフローチャートに沿って処理をすることで、ＳＤ信号としての画像信号Ｓａの画素データに対して、ノイズ除去処理、解像度創造処理を施し、ＨＤ信号としての画像信号Ｓｃの画素データを得ることができる。このように処理して得られた画像信号Ｓｃは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはＨＤＤ５０５に供給されて記録されたりする。
【０１９１】
また、処理装置の図示は省略するが、図７の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。図１５のフローチャートを参照して、係数データを生成するための処理手順を説明する。
【０１９２】
まず、ステップＳ２０で、処理を開始し、ステップＳ２１で、画像信号Ｓｂに対応した教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳ２２で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳ２３で、ステップＳ２１で入力された教師信号ＳＴに対して水平および垂直の間引き処理を行って、画像信号Ｓａに対応した生徒信号ＳＳを生成する。
【０１９３】
次に、ステップＳ２４で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして取得する。そして、ステップＳ２５で、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０１９４】
次に、ステップＳ２６で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳ２７で、教師信号ＳＴに基づいて、当該教師信号ＳＴにおける注目画素位置の画素データｙを教師タップのデータとして取得する。
【０１９５】
そして、ステップＳ２８で、ステップＳ２５で生成されたクラスコードＣＬ、ステップＳ２６で取得された複数の画素データｘｉ、およびステップＳ２７で取得された画素データｙを用いて、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、（１１）式の正規方程式を得るための足し込みをする（（９）式、（１０）式参照）。
【０１９６】
次に、ステップＳ２９で、ステップＳ２１で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳ２１に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳ２４に戻って、次の注目画素位置についての処理に移る。
【０１９７】
上述したステップＳ２２で、処理が終了したときは、ステップＳ３０で、上述のステップＳ２８の足し込み処理によって生成された、正規方程式を解いて、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを求める。そして、ステップＳ３１で、その係数データＷｉを係数メモリにストアし、ステップＳ３２で処理を終了する。
【０１９８】
このように、図１５に示すフローチャートに沿って処理をすることで、図７に示す係数データ生成装置１５０と同様の手法によって、係数データＷｉを生成できる。
【０１９９】
また、処理装置の図示は省略するが、図１２の係数種データ生成装置２５０における処理も、ソフトウェアで実現可能である。図１６のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
【０２００】
まず、ステップＳ４０で、処理を開始し、ステップＳ４１で、画質パターンを特定するパラメータｒ，ｚの値を選択する。そして、ステップＳ４２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わったか否かを判定する。全組み合わせに対して学習が終わっていないときは、ステップＳ４３で、画像信号Ｓｃに対応した教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。
【０２０１】
そして、ステップＳ４４で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。処理が終了したときは、ステップＳ４１に戻って、次のパラメータｒ，ｚの値を選択し、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップＳ４５で、ステップＳ４３で入力された教師信号ＳＴに対して水平および垂直の間引き処理を行って、画像信号Ｓｂに対応した生徒信号ＳＳを生成する。この場合、パラメータｒの値に対応して、教師信号ＳＴから生徒信号ＳＳを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、生徒信号ＳＳに加えるノイズの量が可変される。
【０２０２】
次に、ステップＳ４６で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳ４７で、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
【０２０３】
次に、ステップＳ４８で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳ４９で、教師信号ＳＴに基づいて、当該教師信号ＳＴにおける注目画素位置の画素データｙを教師タップのデータとして取得する。
【０２０４】
そして、ステップＳ５０で、ステップＳ４７で生成されたクラスコードＣＬ、ステップＳ４８で取得された複数の画素データｘｉ、ステップＳ４９で取得された画素データｙ、およびステップＳ４１で選択されたパラメータｒ，ｚの値を用いて、クラスおよび出力画素（図１０のＨＤ1〜ＨＤ4参照）の組み合わせ毎に、（２１）式に示す正規方程式を得るための足し込みをする（（１９）式、（２０）式参照）。
【０２０５】
次に、ステップＳ５１で、ステップＳ４３で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳ４３に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳ４６に戻って、次の注目画素位置についての処理に移る。
【０２０６】
また、上述したステップＳ４２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わっているときは、ステップＳ５２で、上述のステップＳ５０の足し込み処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を求める。そして、ステップＳ５３で、その係数種データｗi0〜ｗi9を係数種メモリにストアし、ステップＳ５４で処理を終了する。
【０２０７】
このように、図１６に示すフローチャートに沿って処理をすることで、図１２に示す係数データ生成装置２５０と同様の手法によって、係数種データｗi0〜ｗi9を生成できる。
【０２０８】
なお、上述実施の形態において、解像度創造処理基板１０４においては、ユーザがパラメータｒ′，ｚ′の値を調整できるものを示したが、このパラメータｒ′，ｚ′の値は固定であってもよい。
【０２０９】
また、上述実施の形態において、ノイズ除去処理基板１０３の制御信号発生部１３０では、各ＤＣＴ処理ブロックの境界に位置する境界画素に対応した制御信号Ｖr，Ｖzを、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して求め、そして、この制御信号Ｖr，Ｖzを後段の解像度創造処理基板１０４に供給するものである。つまり、解像度創造処理基板１０４に供給される制御信号Ｖr，Ｖzは、二次微分値ｄが加工されて得られた値である。
【０２１０】
しかし、ノイズ除去処理基板１０３から解像度創造処理基板１０４に制御信号として二次微分値ｄそのもものを供給し、解像度創造処理基板１０４でその二次微分値ｄに定数−ｋr，ｋzを乗算してＶr，Ｖzを求めて使用するようにしてもよい。
【０２１１】
また、上述実施の形態においては、二次微分値ｄに乗算される定数−ｋr，ｋzが固定であるように説明しているが、この定数の大きさを、例えば解像度創造処理基板１０４で得られる画像信号Ｓｃに残るブロックノイズに対応して変化させ、結果的に画像信号Ｓｃに残るブロックノイズが低減されるようにフィードバック制御をかけることもできる。
【０２１２】
この場合、例えば、図１に破線で示すように、解像度創造処理基板１０４で得られる画像信号Ｓｃがノイズ除去処理基板１０３に供給される。すなわちこの場合、図８に示すように、解像度創造処理基板１０４のバッファメモリ２３２に記憶されている画像信号Ｓｃが読み出され、出力端子２３４に出力される。そして、この画像信号Ｓｃが、図３に示すように、ノイズ除去処理基板１０３の入力端子１３２を介して、制御信号発生部１３０に供給される。
【０２１３】
この場合、制御信号発生部１３０は、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応して二次微分値ｄを求めたと同様にして、画像信号Ｓｃの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応して二次微分値ｄ′を求め、上述した（３）式、（４）式におけるｋr，ｋzの値を、この二次微分値ｄ′の大きさ|ｄ′|が大きくなる程大きくする。
【０２１４】
これにより、画像信号Ｓｃに残るブロックノイズが大きくなると、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素に対応して、制御信号Ｖr，Ｖzの大きさがより大きくなり、解像度創造処理において解像度がより低くされると共にノイズ除去度がより高くされ、結果的に画像信号Ｓｃに残るブロックノイズが小さくなるように制御される。
【０２１５】
また、上述実施の形態においては、ノイズ除去処理基板１０３の制御信号発生部１３０で画像信号Ｓｂに基づいて制御信号Ｖr，Ｖzを生成し、この制御信号Ｖr，Ｖzを解像度創造処理基板１０４に供給するものを示した。しかし、図１７に示すように、解像度創造処理基板１０４側に制御信号発生部１３０を設け、この解像度創造処理基板１０４側で制御信号Ｖr，Ｖzを生成して用いるようにしてもよい。このように解像度創造処理基板１０４側に制御信号発生部１３０を設けることで、ノイズ除去処理基板１０３から解像度創造処理基板１０４への制御信号Ｖr，Ｖzの信号線を省略でき、また上述したようにフィードバック制御を行う場合に、解像度創造処理基板１０４からノイズ除去処理基板１０３への画像信号Ｓｃの信号線を省略できる等の効果がある。
【０２１６】
また、上述実施の形態においては、ノイズ除去処理基板１０３はブロックノイズ、モスキートノイズ等の符号化ノイズを低減し得るものを示したが、このノイズ除去処理基板１０３の代わりに符号化ノイズ以外の所定のノイズを配置する構成も考えられる。その場合、出力画像信号に残るその所定のノイズに対応した制御信号を発生し、これを解像度創造処理基板１０４に供給することで、解像度創造処理基板１０４でその所定のノイズが強調されることを抑制でき、結果的に解像度創造処理基板１０４からは、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な画像信号を得ることが可能となる。
【０２１７】
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【産業上の利用可能性】
【０２１８】
この発明は、情報信号に対して所定のノイズを除去する処理を行い、さらに解像度を上げる処理を行った場合、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができるものであり、例えばＳＤ信号から所定のノイズを除去する処理を行うと共に、その後にこのＳＤ信号の解像度を上げてＨＤ信号を得る画像信号の処理系に適用できる。
【図面の簡単な説明】
【０２１９】
【図１】実施の形態としての画像信号処理装置の構成を示すブロック図である。
【図２】ＳＤ信号とＨＤ信号の画素位置関係を示す図である。
【図３】ノイズ除去処理基板の回路構成を示すブロック図である。
【図４】予測タップのパターン例を示す図である。
【図５】ＤＣＴ処理ブロックを説明するための図である。
【図６】ブロックノイズに対応した制御信号Ｖr，Ｖzの生成手順を説明するための図である。
【図７】係数データ生成装置の構成を示すブロック図である。
【図８】解像度創造処理基板の回路構成を示すブロック図である。
【図９】クラスタップ、予測タップのパターン例を示す図である。
【図１０】ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。
【図１１】係数種データ生成方法を説明するための図である。
【図１２】係数種データ生成装置の構成を示すブロック図である。
【図１３】ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。
【図１４】画像信号処理の処理手順を示すフローチャートである。
【図１５】係数データ生成処理の処理手順を示すフローチャートである。
【図１６】係数種データ生成処理の処理手順を示すフローチャートである。
【図１７】解像度創造処理基板の他の回路構成を示すブロック図である。
【符号の説明】
【０２２０】
１００・・・画像信号処理装置、１０１・・・入力端子、１０２・・・入力基板、１０３・・・ノイズ除去処理基板、１０４・・・解像度創造処理基板、１０５・・・出力基板、１０６・・・出力端子、１２１，１３２・・・入力端子、１２２，１２８・・・バッファメモリ、１２３・・・予測タップ選択部、１２４・・・クラスタップ選択部、１２５・・・クラス検出部、１２６・・・係数メモリ、１２７・・・推定予測演算部、１２９，１３１・・・出力端子、１３０・・・制御信号発生部、１５０・・・係数データ生成装置、２２１，２２６・・・入力端子、２２２，２２７，２３２・・・バッファメモリ、２２３・・・予測タップ選択部、２２４・・・クラスタップ選択部、２２５・・・クラス検出部、２２８・・・パラメータ制御部、２２９・・・係数データ生成部、２３０・・・ＲＯＭ、２３１・・・推定予測演算部、２３３，２３４・・・出力端子、２５０・・・係数種データ生成装置
【図１】
2005318096.tif 000014
【図２】
2005318096.tif 000015
【図３】
2005318096.tif 000016
【図４】
2005318096.tif 000017
【図５】
2005318096.tif 000018
【図６】
2005318096.tif 000019
【図７】
2005318096.tif 000020
【図８】
2005318096.tif 000021
【図９】
2005318096.tif 000022
【図１０】
2005318096.tif 000023
【図１１】
2005318096.tif 000024
【図１２】
2005318096.tif 000025
【図１３】
2005318096.tif 000026
【図１４】
2005318096.tif 000027
【図１５】
2005318096.tif 000028
【図１６】
2005318096.tif 000029
【図１７】
2005318096.tif 000030