(57)【特許請求の範囲】
【請求項１】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、
放送されてきた画像データの種類を判定する判定手段と、
前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、
前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段と
を備え、
前記画像変換手段は、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段と
を有する
画像処理装置。
【請求項２】
前記アップコンバートの処理の複数の方法それぞれに対応する複数セットの前記係数のセットの中から、放送されてきた前記画像データのチャンネルを表すチャンネル情報に基づいて、１セットの前記係数のセットを選択する選択手段をさらに備え、
前記係数出力手段は、前記選択手段において選択された１セットの前記係数のセットの中から、前記注目画素のクラスに対応する係数を出力する
請求項１に記載の画像処理装置。
【請求項３】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理方法において、
放送されてきた画像データの種類を判定する判定ステップと、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップと
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップと
を含む
画像処理方法。
【請求項４】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
放送されてきた画像データの種類を判定する判定ステップと、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップと
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップと
を含む
画像処理を、コンピュータに実行させるプログラム。
【請求項５】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、
放送されてきた画像データの種類を判定する判定手段と、
前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、
前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段と
を備え、
前記画像変換手段は、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成手段と、
前記生成手段において生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段と
を有する
画像処理装置。
【請求項６】
前記生成手段は、放送されてきた前記画像データのチャンネルを表すチャンネル情報を前記所定のパラメータとして、複数のクラスそれぞれに対応する係数を生成する
請求項５に記載の画像処理装置。
【請求項７】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、
放送されてきた画像データの種類を判定する判定ステップと、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップと
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、
学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成ステップと、
前記生成ステップにおいて生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップと
を含む
画像処理方法。
【請求項８】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
放送されてきた画像データの種類を判定する判定ステップと、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップと
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、
学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成ステップと、
前記生成ステップにおいて生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップと
を含む
画像処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ユーザが、高画質の画像データを享受することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来より行われている地上波アナログ放送では、NTSC(National Television System Committee)方式によるコンポジット信号で、アスペクト比が4:3のSD(Standard Definition)画像が放送されている。
【０００３】
また、近年、従来より行われている地上波アナログ放送に加え、地上波ディジタル放送が開始された。地上波ディジタル放送では、いわゆるD1と呼ばれる、アスペクト比が16:9のSD画像や、HD(High Definition)画像が、コンポーネント信号で放送されるので、地上波アナログ放送による画像よりも高画質の画像を提供することができる。
【０００４】
ところで、アスペクト比が16:9のSD画像（以下、適宜、D1画像という）や、HD画像を撮像するカメラ等の放送用機器は高価であるため、放送局に広く普及するまでに時間を要する。
【０００５】
このため、放送局によっては、地上波アナログ放送で放送されるコンポジット信号の画像を、コンポーネント信号の画像に変換し、さらに、そのコンポーネント信号の画像の画素数を単純に補間して増加させるアップコンバートを行うことで、フォーマットだけを、地上波ディジタル放送で放送されるD1画像やHD画像と同一として、放送が行われることがあり得る。
【０００６】
ここで、コンポジット信号の画像を、コンポーネント信号の画像に変換し、そのコンポーネント信号の画像をアップコンバートすることで、フォーマットだけを、地上波ディジタル放送で放送されるD1画像またはHD画と同一とした画像を、それぞれ、準D1画像（データ）または準HD画像（データ）という。
【０００７】
準D1画像や準HD画像は、コンポジット信号の画像を、コンポーネント信号の画像に変換した画像であるため、そのような準D1画像や準HD画像には、いわゆるクロスカラーやドット妨害と呼ばれるノイズが、少なからず生じている。そして、準D1画像や準HD画像は、コンポジット信号の画像をコンポーネント信号の画像に変換した画像を、さらにアップコンバートした画像であるから、クロスカラーやドット妨害といったノイズは、アップコンバートにより目立つものとなる。特に、準HD画像は、準D1画像に比較して、アップコンバートにより補間される画素数が多いため、クロスカラーやドット妨害といったノイズは、より目立つものとなる。
【０００８】
なお、コンポジット信号に特有の性質を考慮し、画像を、高画質の画像に変換する方法が提案されている（例えば、特許文献１参照）
【０００９】
【特許文献１】特開平10-056622号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
地上波ディジタル放送によって放送されてくる画像であっても、その画像が、フォーマットだけがHD画像と同一の準HD画像では、ユーザ（視聴者）は、高画質の画像を享受することが困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、高画質の画像データを享受することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、放送されてきた画像データの種類を判定する判定手段と、前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段とを備え、前記画像変換手段が、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段とを有する。
【００１３】
本発明の第１の側面の画像処理方法は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理方法において、放送されてきた画像データの種類を判定する判定ステップと、前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップとを含み、前記画像変換ステップが、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップとを含む。
【００１４】
本発明の第１の側面のプログラムは、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、放送されてきた画像データの種類を判定する判定ステップと、前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップとを含み、前記画像変換ステップが、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップとを含む。
【００１５】
本発明の第２の側面の画像処理装置は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、放送されてきた画像データの種類を判定する判定手段と、前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段とを備え、前記画像変換手段が、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成手段と、前記生成手段において生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段とを有する。
【００１６】
本発明の第２の側面の画像処理方法は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、放送されてきた画像データの種類を判定する判定ステップと、前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップとを含み、前記画像変換ステップが、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成ステップと、前記生成ステップにおいて生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップとを含む。
【００１７】
本発明の第２の側面のプログラムは、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、放送されてきた画像データの種類を判定する判定ステップと、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップとを含み、前記画像変換ステップが、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップと、学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成ステップと、前記生成ステップにおいて生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップとを含む。
【００１８】
本発明の第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、放送されてきた画像データの種類が判定され、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートが行われ、そのダウンコンバートによって得られる画像データが、前記第１の画像データとして、前記第２の画像データに変換される。即ち、前記第２の画像データの注目画素を予測するのに用いる複数の画素が、前記第１の画像データから予測タップとして抽出されるとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素が、前記第１の画像データからクラスタップとして抽出される。さらに、前記クラスタップに基づいて、前記注目画素のクラス分類が行われ、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数が出力される。そして、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素が求められる。
【００１９】
本発明の第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、放送されてきた画像データの種類が判定され、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートが行われ、そのダウンコンバートによって得られる画像データが、前記第１の画像データとして、前記第２の画像データに変換される。即ち、前記第２の画像データの注目画素を予測するのに用いる複数の画素が、前記第１の画像データから予測タップとして抽出されるとともに、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素が、前記第１の画像データからクラスタップとして抽出され、前記クラスタップに基づいて、前記注目画素のクラス分類が行われる。さらに、学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数が生成され、その複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数が出力される。そして、前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素が求められる。
【発明の効果】
【００２０】
本発明によれば、ユーザは、高画質の画像データを享受することができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
本発明の第１の側面の画像処理装置は、第１に、
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置（例えば、図３のディジタル放送受信装置２）において、
放送されてきた画像データの種類を判定する判定手段（例えば、図３の判定部４４）と、
前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段（例えば、図３のダウンコンバータ４５）と、
前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段（例えば、図３の画像変換部４８）と
を備え、
前記画像変換手段は、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図５のタップ抽出部１６１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図５のタップ抽出部１６２）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図５のクラス分類部１６３）と、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図５の係数メモリ１６４）と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段（例えば、図５の予測部１６５）と
を有する。
【００２３】
本発明の第１の側面の画像処理装置は、第２に、
前記アップコンバートの処理の複数の方法それぞれに対応する複数セットの前記係数のセットの中から、放送されてきた前記画像データのチャンネルを表すチャンネル情報に基づいて、１セットの前記係数のセットを選択する選択手段（例えば、図５の係数選択部１６０）をさらに備え、
前記係数出力手段は、前記選択手段において選択された１セットの前記係数のセットの中から、前記注目画素のクラスに対応する係数を出力する。
【００２４】
本発明の第１の側面の画像処理方法またはプログラムは、
放送されてきた画像データの種類を判定する判定ステップ（例えば、図４のステップＳ３）と、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップ（例えば、図４のステップＳ６）と、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップ（例えば、図４のステップＳ７）と
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップ（例えば、図６のステップＳ１１１１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップ（例えば、図６のステップＳ１１１１）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップ（例えば、図６のステップＳ１１１２）と、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップ（例えば、図６のステップＳ１１１３）と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップ（例えば、図６のステップＳ１１１４）と
を含む。
【００２５】
本発明の第２の側面の画像処理装置は、第１に、
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置（例えば、図３のディジタル放送受信装置２）において、
放送されてきた画像データの種類を判定する判定手段（例えば、図３の判定部４４）と、
前記判定手段において、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段（例えば、図３のダウンコンバータ４５）と、
前記ダウンコンバート手段におけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換手段（例えば、図３の画像変換部４８）と
を備え、
前記画像変換手段は、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図９のタップ抽出部１６１）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図９のタップ抽出部１６２）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図９のクラス分類部１６３）と、
学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成手段（例えば、図９の係数生成部１６６）と、
前記生成手段において生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図９の係数メモリ１６４）と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算手段（例えば、図９の予測部１６５）と
を有する。
【００２６】
本発明の第２の側面の画像処理装方法またはプログラムは、
放送されてきた画像データの種類を判定する判定ステップ（例えば、図４のステップＳ３）と、
前記判定ステップにおいて、前記画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データであると判定された場合、前記画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップ（例えば、図４のステップＳ６）と、
前記ダウンコンバートステップにおけるダウンコンバートによって得られる画像データを、前記第１の画像データとして、前記第２の画像データに変換する画像変換ステップ（例えば、図４のステップＳ７）と
を含み、
前記画像変換ステップは、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出ステップ（例えば、図１０のステップＳ１２１５）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出ステップ（例えば、図１０のステップＳ１２１５）と、
前記クラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類ステップ（例えば、図１０のステップＳ１２１６）と、
学習によりあらかじめ求められた、係数の元となる種データと、所定のパラメータとから、複数のクラスそれぞれに対応する係数を生成する生成ステップ（例えば、図１０のステップＳ１２１３）と、
前記生成ステップにおいて生成された複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップ（例えば、図１０のステップＳ１２１７）と、
前記注目画素のクラスに対応する係数と、前記予測タップとを用いた予測演算により、前記注目画素を求める演算ステップ（例えば、図１０のステップＳ１２１８）と
を含む。
【００２７】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２８】
図１は、本発明を適用した放送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００２９】
放送局１は、例えば、同一の内容の番組としての画像や音声を、地上波アナログ放送と地上波ディジタル放送のそれぞれによって放送する。その他の放送局でも、地上波アナログ放送と地上波ディジタル放送とが行われる。なお、以下においては、放送局１が放送する番組としての画像についてのみ説明し、音声についての説明は、省略する。
【００３０】
ディジタル放送受信装置２は、放送局１から地上波ディジタル放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。アナログ放送受信装置３は、放送局１から地上波アナログ放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。
【００３１】
次に、図２は、図１の放送局１の概要を示すブロック図である。
【００３２】
放送局１では、アスペクト比が4:3のSD画像を撮像するSDカメラ１１によって撮像されたコンポーネント信号のSD画像が、NTSCエンコーダ２１において、NTSC方式のコンポジット信号に変換（エンコード）され、地上波アナログ放送によって放送される。
【００３３】
また、放送局１が、図２において点線で示すように、D1画像を撮像するSDカメラ１２や、HD画像を撮像するHDカメラ１３を有する場合には、そのSDカメラ１２によって撮像されたコンポーネント信号のD1画像や、HDカメラ１３によって撮像されたコンポーネント信号のHD画像が、地上波ディジタル放送の、放送局１に割り当てられた周波数帯域としてのチャンネルで放送される。
【００３４】
一方、放送局１が、SDカメラ１２を有しない場合には、放送局１では、NTSCデコーダ２２において、NTSCエンコーダ２１が出力するNTSC方式のコンポジット信号が、コンポーネント信号に変換（デコード）され、そのコンポーネント信号の画像が、アップコンバータ２３に供給される。アップコンバータ２３は、NTSCデコーダ２２からのコンポーネント信号の画像が、SDカメラ１２が出力するD1画像と同一のフォーマットとなるようにアップコンバートされ、その結果得られる準D1画像が、地上波ディジタル放送によって放送される。
【００３５】
また、放送局１が、HDカメラ１３を有しない場合には、放送局１では、NTSCデコーダ２２において、NTSCエンコーダ２１が出力するNTSC方式のコンポジット信号が、コンポーネント信号に変換され、そのコンポーネント信号の画像が、アップコンバータ２４に供給される。アップコンバータ２４は、NTSCデコーダ２２からのコンポーネント信号の画像が、HDカメラ１３が出力するHD画像と同一のフォーマットとなるようにアップコンバートされ、その結果得られる準HD画像が、地上波ディジタル放送によって放送される。
【００３６】
次に、図３は、図１のディジタル放送受信装置２の構成例を示している。
【００３７】
チューナ４１は、地上波ディジタル放送の信号を受信し、その信号から、ユーザによるリモートコマンダ（図示せず）の操作に応じたチャンネルの信号を抽出して、デマルチプレクサ４２に供給する。デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給する。デコーダ４３は、デマルチプレクサ４２からのパケットに含まれる、MPEG(Moving Picture Expert Group)エンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
【００３８】
ここで、図２では説明しなかったが、放送局１は、画像データを、例えばMPEGエンコードし、地上波ディジタル放送によって放送する。
【００３９】
判定部４４は、デコーダ４３からの画像データの種類を判定し、その判定結果に基づいて、デコーダ４３からの画像データを、ダウンコンバータ４５、画像変換部４６、または４７のうちのいずれかに供給する。
【００４０】
即ち、判定部４４は、デコーダ４３からの画像データが、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ（他の画像データ）に対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データの１つである準HD画像データであると判定した場合、デコーダ４３からの画像データである準HD画像データを、ダウンコンバータ４５に供給する。
【００４１】
また、判定部４４は、デコーダ４３からの画像データが、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ（他の画像データ）に対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データの他の１つである準D1画像データであると判定した場合と、デコーダ４３からの画像データが、D1画像データであると判定した場合、デコーダ４３からの画像データである準D1画像データまたはD1画像データを、画像変換部４７に供給する。
【００４２】
さらに、判定部４４は、デコーダ４３からの画像データが、HD画像データであると判定した場合、デコーダ４３からの画像データであるHD画像データを、画像変換部４６に供給する。
【００４３】
なお、デコーダ４３からの画像データが、HD画像データまたは準HD画像データであるかどうかの判定と、D1画像データまたは準D1画像データであるかどうかの判定とは、画像データのフォーマット、即ち、例えば、１フレームの画像データの画素数等に基づいて行うことができる。
【００４４】
また、デコーダ４３からの画像データが、HD画像データまたは準HD画像データのうちのいずれであるかの判定は、例えば、画像データのアクティビティ等に基づいて行うことができる。即ち、HD画像データは高解像度であるが、準HD画像データは、高々、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ程度の解像度であるから、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有する場合には、その画像データは、HD画像データであると判定することができる。逆に、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有しない場合には、その画像データは、準HD画像データであると判定することができる。
【００４５】
また、HD画像データと準HD画像データとは、いずれも、アスペクト比が16:9の画像データではあるが、準HD画像データは、NTSC方式のコンポジット信号のアスペクト比が4:3の画像データから得られたコンポーネント信号の画像データをアップコンバートして、アスペクト比が16:9になるようにした横長の画像データであるため、4:3の画像データの左端側と右端側に、黒色等の画像データを付加した画像データとなっている。従って、デコーダ４３からの画像データが、HD画像データまたは準HD画像データのうちのいずれであるかの判定は、デコーダ４３からの画像データの左端側と右端側に、黒色の画像データが存在するかどうかによって行うこともできる。
【００４６】
ここで、図３の実施の形態では、デコーダ４３からの画像データが、D1画像データであっても、また、準D1画像データであっても、画像変換部４７に供給されるので、デコーダ４３からの画像データが、準D1画像データまたはD1画像データのうちのいずれであるかの判定を行う必要はないが、仮に、この判定を行うとすれば、デコーダ４３からの画像データがHD画像データまたは準HD画像データのうちのいずれであるかの判定と同様にして行うことができる。
【００４７】
ダウンコンバータ４５は、判定部４４から供給される準HD画像データの画素数を、例えば、図２のNTSCデコーダ２２が出力するコンポーネント信号の画像の画素数と同一になるように間引き、さらに、必要に応じて、LPF(Low Pass Filter)によるフィルタリングを行うダウンコンバートを行い、その結果得られるSD画像データを、画像変換部４８に供給する。
【００４８】
画像変換部４６は、判定部４４から供給されるHD画像データを、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
【００４９】
画像変換部４７は、判定部４４から供給される準D1画像データまたはD1画像データを、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
【００５０】
画像変換部４８は、ダウンコンバータ４５から供給されるSD画像データを、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
【００５１】
画像出力部４９は、画像変換部４６乃至４８のうちのいずれかから供給されるHD画像データを、図示せぬモニタに供給し、これにより、モニタに、HD画像データを表示させる。
【００５２】
次に、図４のフローチャートを参照して、図３のディジタル放送受信装置２の動作について説明する。
【００５３】
ディジタル放送受信装置２では、チューナ４１が、ステップＳ１において、地上波ディジタル放送の信号を受信し、その信号から、ユーザによるリモートコマンダの操作に応じたチャンネルの信号を抽出（選択）して、デマルチプレクサ４２に供給する。そして、デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給して、ステップＳ１からステップＳ２に進む。ステップＳ２では、デコーダ４３が、デマルチプレクサ４２からのパケットに含まれる、MPEGエンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
【００５４】
判定部４４は、ステップＳ３において、デコーダ４３からの画像データの種類を判定し、その判定結果に基づいて、デコーダ４３からの画像データを、ダウンコンバータ４５、画像変換部４６、または４７のうちのいずれかに供給する。
【００５５】
即ち、判定部４４は、ステップＳ３において、デコーダ４３からの画像データが、HD画像データであると判定した場合、デコーダ４３からの画像データであるHD画像データを、画像変換部４６に供給して、ステップＳ４に進む。
【００５６】
ステップＳ４では、画像変換部４６が、判定部４４から供給されるHD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行い、その結果得られる第２の画像データとしての高画質のHD画像データを、画像出力部４９に供給する。画像出力部４９は、画像変換部４６からのHD画像データを、モニタに供給して表示させる。
【００５７】
また、判定部４４は、ステップＳ３において、デコーダ４３からの画像データが、D1画像データまたは準D1画像データであると判定した場合、デコーダ４３からの画像データであるD1画像データまたは準D1画像データを、画像変換部４７に供給して、ステップＳ５に進む。
【００５８】
ステップＳ５では、画像変換部４７が、判定部４４から供給されるD1画像データまたは準D1画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行い、その結果得られる第２の画像データとしての高画質のHD画像データを、画像出力部４９に供給する。画像出力部４９は、画像変換部４６からのHD画像データを、モニタに供給して表示させる。
【００５９】
一方、判定部４４は、ステップＳ３において、デコーダ４３からの画像データが、準HD画像データであると判定した場合、デコーダ４３からの画像データである準HD画像データを、ダウンコンバータ４５に供給して、ステップＳ６に進む。
【００６０】
ステップＳ６では、ダウンコンバータ４５が、判定部４４から供給された準HD画像データの画素数が、図２のNTSCデコーダ２２が出力するコンポーネント信号の画像の画素数と同一になるようにダウンコンバートをし、その結果得られるSD画像データを、画像変換部４８に供給して、ステップＳ７に進む。
【００６１】
ステップＳ７では、画像変換部４８が、ダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行い、その結果得られる第２の画像データとしての高画質のHD画像データを、画像出力部４９に供給する。画像出力部４９は、画像変換部４６からのHD画像データを、モニタに供給して表示させる。
【００６２】
なお、画像変換部４８には、チューナ４１から、現在受信しているチャンネルを表すチャンネル情報、即ち、ダウンコンバータ４５から画像変換部４８に供給されるSD画像データをアップコンバートした準HD画像データを放送しているチャンネルを表すチャンネル情報が供給されるようになっている。そして、画像変換部４８は、ダウンコンバータ４５から供給されるSD画像データを、そのSD画像データをアップコンバートした準HD画像データを放送しているチャンネルのチャンネル情報に基づいて、HD画像データに変換する画像変換処理を行う。
【００６３】
次に、図３の画像変換部４８で行われる画像変換処理について説明する。
【００６４】
画像変換部４８は、第１の画像データを、その第1の画像データよりも高画質の第２の画像データに変換する画像変換処理を行う。
【００６５】
画像変換部４８は、上述したように、ダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行うが、かかる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
【００６６】
即ち、例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。
【００６７】
図５は、上述のような画像変換処理を行う画像変換部４８の機能的構成例を示している。
【００６８】
画像変換部４８は、係数選択部１６０、タップ抽出部１６１および１６２、クラス分類部１６３、係数メモリ１６４、並びに予測部１６５から構成される。
【００６９】
画像変換部４８には、図３のダウンコンバータ４５が出力するSD画像データが、第１の画像データとして供給される。また、画像変換部４８には、ダウンコンバータ４５が出力するSD画像データのチャンネル情報、即ち、ダウンコンバータ４５が出力するSD画像データにダウンコンバートする前の準HD画像データを放送しているチャンネルを表すチャンネル情報が、チューナ４１（図３）から供給される。
【００７０】
そして、第１の画像データとしてのSD画像データは、タップ抽出部１６１および１６２に供給され、第１の画像データとしてのSD画像データのチャンネル情報は、係数選択部１６０に供給される。
【００７１】
係数選択部１６０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、後述する係数メモリ１６４に記憶されている複数セットのタップ係数のセットの中から、１セットのタップ係数のセットを選択し、例えば、いわゆるメモリバンクの切り替え等によって、その選択したタップ係数のセットを有効にする。即ち、係数メモリ１６４は、記憶している複数セットのタップ係数のセットのうちの、ある１セットのタップ係数のセットから、クラス分類部１６３から供給される情報に対応したタップ係数を読み出して出力するが、係数選択部１６０は、係数メモリ１６４において読み出しの対象となるタップ係数のセットを選択する。ここで、以下、適宜、係数メモリ１６４において読み出しの対象となるタップ係数のセットを、有効なタップ係数のセットという。
【００７２】
タップ抽出部１６１は、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データ（この第２の画像データとしてのHD画像データは、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして抽出する。
【００７３】
具体的には、タップ抽出部１６１は、注目画素に対応する、第１の画像データの位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、注目画素に対応する、第１の画像データの位置に最も近い画素と、その画素に空間的に隣接する画素など）を、予測タップとして抽出する。
【００７４】
タップ抽出部１６２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして抽出する。
【００７５】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有する（同一の画素から構成される）ものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００７６】
タップ抽出部１６１で得られた予測タップは、予測部１６５に供給され、タップ抽出部１６２で得られたクラスタップは、クラス分類部１６３に供給される。
【００７７】
クラス分類部１６３は、タップ抽出部１６２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ１６４に供給する。
【００７８】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７９】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００８０】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素（の画素値）がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００８１】
なお、クラス分類部１６３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１６３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００８２】
従って、クラス分類部１６３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、クラス分類を行うのが好ましい。
【００８３】
係数メモリ１６４は、後述する学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶し、さらに、その記憶しているタップ係数のセットのうちの、クラス分類部１６３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１６３から供給されるクラスコードが表すクラスのタップ係数）を出力する。
【００８４】
ここで、画像変換部４８において画像変換処理の対象とする第１の画像データとしてのSD画像データにダウンコンバートされる前の準HD画像データ（以下、適宜、SD画像データに対応する準HD画像データという）は、例えば、図２で説明したように、放送局１において、コンポジット信号の画像データをコンポーネント信号の画像データに変換し、さらに、そのコンポーネント信号の画像データに対してアップコンバートの処理を施すことにより得られる画像データである。
【００８５】
アップコンバートの処理の方法としては、例えば、アップコンバートの対象となる画像データの画素の画素値と同一の画素値の画素を補間する方法や、アップコンバートの対象となる画像データの複数の画素の画素値の重み付き平均値を画素値とする画素を補間する方法などの、様々な方法がある。
【００８６】
そして、アップコンバートの処理として、どのような方法の処理が施されるかは、放送局ごとに異なることがあり得る。
【００８７】
そこで、画像変換部４８において、準HD画像データを得るのに施されたアップコンバートの処理の方法によらず、その準HD画像データをダウンコンバートしたSD画像データを、適切にHD画像データに変換することができるように、係数メモリ１６４は、アップコンバートの処理の複数の方法それぞれに対応する複数セットのタップ係数のセットを記憶している。
【００８８】
上述したように、アップコンバートの処理の方法は、放送局、つまり、チャンネルごとに異なることがあり得るので、係数選択部１６０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、係数メモリ１６４に記憶されている複数セットのタップ係数のセットの中から、１セットのタップ係数のセットを選択し、即ち、チャンネル情報が表すチャンネルの放送局で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適したタップ係数のセットを選択し、有効なタップ係数のセットとする。
【００８９】
そして、係数メモリ１６４は、有効なタップ係数のセットから、クラス分類部１６３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、つまり、注目画素のクラスに対応するタップ係数を出力する。
【００９０】
従って、係数メモリ１６４が出力するタップ係数は、チャンネル情報が表すチャンネルの放送局で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適したタップ係数である。
【００９１】
なお、タップ係数は、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【００９２】
予測部１６５は、タップ抽出部１６１が出力する予測タップと、係数メモリ１６４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部１６５は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００９３】
次に、図６のフローチャートを参照して、図５の画像変換部４８による画像変換処理について説明する。
【００９４】
ステップＳ１１１０において、係数選択部１６０は、チューナ４１（図３）からのチャンネル情報に基づき、係数メモリ１６４に記憶されている複数セットのタップ係数のセットの中から、チャンネル情報が表すチャンネルの放送局で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適したタップ係数のセットを、有効なタップ係数のセットとして選択する。
【００９５】
一方、タップ抽出部１６１では、ダウンコンバータ４５（図３）から供給される第１の画像データとしてのSD画像データに対する第２の画像データとしてのHD画像データを構成する各画素が、順次、注目画素とされる。そして、ステップＳ１１１１において、タップ抽出部１６１と１６２が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとする画素（の画素値）を、それぞれ抽出する。そして、予測タップは、タップ抽出部１６１から予測部１６５に供給され、クラスタップは、タップ抽出部１６２からクラス分類部１６３に供給される。
【００９６】
クラス分類部１６３は、タップ抽出部１６２から、注目画素についてのクラスタップを受信し、ステップＳ１１１２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１６３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１６４に出力し、ステップＳ１１１３に進む。
【００９７】
ステップＳ１１１３では、係数メモリ１６４が、係数選択部１６０によって選択された有効なタップ係数のセットのうちの、クラス分類部１６３から供給されるクラスコードに対応するタップ係数、即ち、注目画素のクラスに対応するタップ係数を読み出して出力する。さらに、ステップＳ１１１３では、予測部１６５が、係数メモリ１６４が出力するタップ係数を取得し、ステップＳ１１１４に進む。
【００９８】
ステップＳ１１１４では、予測部１６５が、タップ抽出部１６１が出力する予測タップと、係数メモリ１６４から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値を求め、さらに、画像出力部４９（図３）に供給して、ステップＳ１１１５に進む。
【００９９】
ステップＳ１１１５では、タップ抽出部１６１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１１１５において、まだ、注目画素としていない第２の画像データがあると判定された場合、その、まだ注目画素とされていない第２の画像データの画素のうちの１つが、新たに注目画素とされ、ステップＳ１１１０に戻り、以下、同様の処理が繰り返される。
【０１００】
また、ステップＳ１１１５において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【０１０１】
次に、図５の予測部１６５における予測演算と、係数メモリ１６４に記憶されたタップ係数の学習について説明する。
【０１０２】
いま、画像変換処理として、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１０３】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１０４】
【数１】
0004650123.tif 000002
・・・（１）
【０１０５】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１０６】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１０７】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１０８】
【数２】
0004650123.tif 000003
・・・（２）
【０１０９】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１１０】
【数３】
0004650123.tif 000004
・・・（３）
【０１１１】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１１２】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１１３】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１１４】
【数４】
0004650123.tif 000005
・・・（４）
【０１１５】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１１６】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１１７】
【数５】
0004650123.tif 000006
・・・（５）
【０１１８】
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１１９】
【数６】
0004650123.tif 000007
・・・（６）
【０１２０】
式（５）と式（６）から、次式が得られる。
【０１２１】
【数７】
0004650123.tif 000008
・・・（７）
【０１２２】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１２３】
【数８】
0004650123.tif 000009
・・・（８）
【０１２４】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１２５】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１２６】
図５の画像変換部４８では、以上のようなクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、第１の画像データとしてのSD画像データが、第２の画像データとしてのHD画像データに変換される。
【０１２７】
次に、図７は、式（８）の正規方程式をクラスごとにたてて解くことによりタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１２８】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像データが入力されるようになっている。ここで、学習用画像データとしては、例えば、HDカメラ１３（図２）で得られるHD画像データ、またはそのHD画像データよりも高画質のHD画像データを用いることができる。
【０１２９】
学習装置において、学習用画像データは、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０１３０】
教師データ生成部１７１は、そこに供給される学習用画像データから、第２の画像データに相当する画像データである教師データを生成し、教師データ記憶部１７２に供給する。即ち、ここでは、教師データ生成部１７１は、学習用画像データとしてのHD画像データを、そのまま教師データとして、教師データ記憶部１７２に供給する。
【０１３１】
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしてのHD画像データを記憶する。
【０１３２】
生徒データ生成部１７３は、学習用画像データから、第１の画像データに相当する画像データである生徒データを生成し、生徒データ記憶部１７４に供給する。
【０１３３】
即ち、生徒データ生成部１７３は、学習用画像データから、教師データ生成部１７１と同様に、教師データを生成し、さらに、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ１１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。そして、生徒データ生成部１７３は、放送局１（図２）における場合と同様に、そのコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、さらに、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換して、アップコンバートすることにより、準HD画像データを生成する。その後、生徒データ生成部１７３は、準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
【０１３４】
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データを記憶する。
【０１３５】
タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部１６１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５のタップ抽出部１６１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒データの画素からなる予測タップ）を得て、足し込み部１９０に供給する。
【０１３６】
タップ抽出部１７６は、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部１６２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１７７に供給する。
【０１３７】
クラス分類部１７７は、タップ抽出部１７６が出力するクラスタップに基づき、図５のクラス分類部１６３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９０に出力する。
【０１３８】
足し込み部１９０は、教師データ記憶部１７２から、注目画素（の画素値）を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素についての予測タップを構成する生徒データの画素とを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに行う。
【０１３９】
即ち、足し込み部１９０には、教師データ記憶部１７２に記憶された教師データ（の画素のうちの注目画素の画素値）ｙk、タップ抽出部１７５が出力する予測タップ（を構成する生徒データの画素の画素値）ｘn,k、クラス分類部１７７が出力する、注目画素のクラスを表すクラスコードが供給される。
【０１４０】
そして、足し込み部１９０は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１４１】
さらに、足し込み部１９０は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１４２】
即ち、足し込み部１９０は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１４３】
そして、足し込み部１９０は、教師データ記憶部１７２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１９１に供給する。
【０１４４】
タップ係数算出部１９１は、足し込み部１９０から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１４５】
次に、図８のフローチャートを参照して、図７の学習装置の処理（学習処理）について、説明する。
【０１４６】
まず最初に、ステップＳ１１２１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。
【０１４７】
即ち、教師データ生成部１７１は、例えば、HDカメラ１３（図２）で得られるHD画像データと同一の画質の画像データを生成し、教師データとして出力する。また、生徒データ生成部１７１は、教師データ生成部１７１と同様に、教師データを生成し、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ１１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。さらに、生徒データ生成部１７３は、放送局１における場合と同様に、SDカメラ１１が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換してアップコンバートすることにより、準HD画像データを生成する。そして、生徒データ生成部１７３は、準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして出力する。
【０１４８】
教師データ生成部１７１が出力する教師データは、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が出力する生徒データは、生徒データ記憶部１７４に供給されて記憶される。
【０１４９】
その後、ステップＳ１１２２に進み、タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素とする。さらに、ステップＳ１１２２では、タップ抽出部１７５が、注目画素について、生徒データ記憶部１７４に記憶された生徒データから予測タップを得て、足し込み部１９０に供給するとともに、タップ抽出部１７６が、やはり、注目画素について、生徒データ記憶部１７４に記憶された生徒データからクラスタップを得て、クラス分類部１７７に供給する。
【０１５０】
そして、ステップＳ１１２３に進み、クラス分類部１７７は、タップ抽出部１７６からの注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９０に出力して、ステップＳ１１２４に進む。
【０１５１】
ステップＳ１１２４では、足し込み部１９０は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素について得られた予測タップを構成する生徒データ（の画素）とを対象として、クラス分類部１７７から供給されるクラスコードに対応するクラスについてたてられた式（８）の足し込みを行い、ステップＳ１１２５に進む。
【０１５２】
ステップＳ１１２５では、タップ抽出部１７５が、教師データ記憶部１７２に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１１２５において、注目画素としていない教師データが、まだ、教師データ記憶部１７２に記憶されていると判定された場合、タップ抽出部１７５は、まだ注目画素としていない教師データを、新たに、注目画素として、ステップＳ１１２２に戻り、以下、同様の処理が繰り返される。
【０１５３】
また、ステップＳ１１２５において、注目画素としていない教師データが、教師データ記憶部１７２に記憶されていないと判定された場合、足し込み部１９０は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１９１に供給し、ステップＳ１１２６に進む。
【０１５４】
ステップＳ１１２６では、タップ係数算出部１９１は、足し込み部１９０から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとのタップ係数ｗnのセットを求めて出力し、処理を終了する。
【０１５５】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１９１は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１５６】
学習装置では、生徒データ生成部１７３において、生徒データとしてのSD画像データを生成する過程で生成される準HD画像データを得るときのアップコンバートの処理の方法として、複数のアップコンバート方法を採用することにより、その複数のアップコンバート方法それぞれに対応する生徒データを得て、その複数のアップコンバート方法それぞれに対応する生徒データを用いて、複数のアップコンバート方法それぞれに対応する複数セットのタップ係数のセットを求める。
【０１５７】
図５の画像変換部４８における係数メモリ１６４には、以上のようにして求められた複数セットのクラスごとのタップ係数ｗmが記憶されている。
【０１５８】
なお、図３の画像変換部４６および４７も、図５の画像変換部４８と同様に構成されている。但し、画像変換部４６および４７には、図５において点線で示す係数選択部１６０は設けられていない。また、画像変換部４６および４７では、係数メモリ１６４に記憶されているタップ係数のセットが、画像変換部４８とは異なる。
【０１５９】
即ち、画像変換部４６は、HD画像データを第１の画像データとして、その第１の画像データを、第２の画像データとしてのより高画質のHD画像データに変換する画像変換処理を行うので、第１の画像データとしてのHD画像データと、第２の画像データとしてのより高画質のHD画像データを、それぞれ、生徒データと教師データとして、図８の学習処理を行うことにより得られるタップ係数のセットが、画像変換部４６を構成する係数メモリ１６４に記憶される。
【０１６０】
また、画像変換部４７は、D1画像データまたは準D1画像データを第１の画像データとして、その第１の画像データを、第２の画像データとしてのHD画像データに変換する画像変換処理を行うので、第１の画像データとしてのD1画像データや準D1画像データと、第２の画像データとしてのHD画像データを、それぞれ、生徒データと教師データとして、図８の学習処理を行うことにより得られるタップ係数のセットが、画像変換部４７を構成する係数メモリ１６４に記憶される。
【０１６１】
なお、図８の実施の形態では、生徒データ生成部１７３において、準HD画像データをダウンコンバートして得られるSD画像データを、生徒データとしたが、その他、例えば、教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ１１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成し、さらに、そのコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、そのコンポジット信号のSD画像データをコンポーネント信号に変換して得られるSD画像データ（図２のNTSCデコーダ２２が出力する画像データと同様の画質のSD画像データ）を、生徒データとすることも可能である。
【０１６２】
次に、図９は、図３の画像変換部４８の他の機能的構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６３】
図９の画像変換部４８は、タップ抽出部１６１および１６２、クラス分類部１６３、係数メモリ１６４、並びに予測部１６５を有する点で、図５の画像変換部４８と共通するが、係数選択部１６０が設けられておらず、その代わりに、係数生成部１６６、係数種メモリ１６７、およびパラメータメモリ１６８が設けられている点で、図５の画像変換部４８と相違している。
【０１６４】
係数生成部１６６は、係数種メモリ１６７に記憶されている係数種データと、パラメータメモリ１６８に記憶されたパラメータとに基づいて、クラスごとのタップ係数のセットを生成し、係数メモリ１６４に供給して上書きする形で記憶させる。
【０１６５】
係数種メモリ１６７は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種（元）になるデータである。
【０１６６】
パラメータメモリ１６８は、チューナ４１（図３）から供給されるチャンネル情報を、タップ係数の生成に用いられるパラメータとして、上書きする形で記憶する。
【０１６７】
次に、図１０のフローチャートを参照して、図９の画像変換部４８による画像変換処理について説明する。
【０１６８】
タップ抽出部１６１では、ダウンコンバータ４５（図３）から供給される第１の画像データとしてのSD画像データに対する第２の画像データとしてのHD画像データを構成する各画素が、順次、注目画素とされる。そして、ステップＳ１２１１において、パラメータメモリ１６８は、チューナ４１（図３）から、現在、パラメータとして記憶しているチャンネル情報と異なる新たなチャンネル情報が供給されたかどうかを判定し、供給されたと判定した場合、ステップＳ１２１２に進み、パラメータメモリ１６８は、その供給された新たなチャンネル情報を新たなパラメータとして上書きする形で記憶し、ステップＳ１２１３に進む。
【０１６９】
また、ステップＳ１２１１において、チューナ４１から新たなチャンネル情報が供給されていないと判定された場合、ステップＳ１２１２をスキップして、ステップＳ１２１３に進む。
【０１７０】
従って、パラメータメモリ１６８では、ダウンコンバータ４５（図３）から画像変換部４８に供給される第１の画像データとしてのSD画像データをダウンコンバートする前の準HD画像データを放送しているチャンネルを表すチャンネル情報が、パラメータとして記憶される。
【０１７１】
ステップＳ１２１３では、係数生成部１６６が、係数種メモリ１６７からクラスごとの係数種データのセットを読み出すとともに、パラメータメモリ１６８からパラメータを読み出し、その係数種データとパラメータに基づいて、クラスごとのタップ係数のセットを求める。そして、ステップＳ１２１４に進み、係数生成部１６６は、そのクラスごとのタップ係数のセットを、係数メモリ１６４に供給し、上書きする形で記憶させ、ステップＳ１２１５に進む。
【０１７２】
ステップＳ１２１５では、タップ抽出部１６１と１６２が、ダウンコンバータ４５（図３）から供給される第１の画像データとしてのSD画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ抽出する。そして、予測タップは、タップ抽出部１６１から予測部１６５に供給され、クラスタップは、タップ抽出部１６２からクラス分類部１６３に供給される。
【０１７３】
クラス分類部１６３は、タップ抽出部１６２から、注目画素についてのクラスタップを受信し、ステップＳ１２１６において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１６３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ１６４に出力し、ステップＳ１２１７に進む。
【０１７４】
ステップＳ１２１７では、係数メモリ１６４が、クラス分類部１６３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、即ち、注目画素のクラスに対応するタップ係数を読み出して出力する。さらに、ステップＳ１２１７では、予測部１６５が、係数メモリ１６４が出力するタップ係数を取得し、ステップＳ１２１８に進む。
【０１７５】
ステップＳ１２１８では、予測部１６５が、タップ抽出部１６１が出力する予測タップと、係数メモリ１６４から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測部１６５は、注目画素の画素値を求めて出力し、ステップＳ１２１９に進む。
【０１７６】
ステップＳ１２１９では、タップ抽出部１６１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１２１９において、まだ、注目画素としていない第２の画像データがあると判定された場合、その、まだ注目画素とされていない第２の画像データの画素のうちの１つが、新たに注目画素とされ、ステップＳ１２１１に戻り、以下、同様の処理が繰り返される。
【０１７７】
また、ステップＳ１２１９において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【０１７８】
なお、図１０において、ステップＳ１２１３およびＳ１２１４の処理は、パラメータメモリ１６８に、新たなパラメータ上書きされた場合に行い、他の場合はスキップすることが可能である。
【０１７９】
次に、図９の予測部１６５における予測演算、係数生成部１６６におけるタップ係数の生成、および係数種メモリ１６７に記憶させる係数種データの学習について説明する。
【０１８０】
図９の実施の形態においても、図５の実施の形態における場合のように、画像変換部４８は、ダウンコンバータ４５（図３）が出力するSD画像データを第１の画像データとするとともに、HD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理が、クラスごとのタップ係数を用いた、例えば、式（１）の線形１次予測演算によって行われる。
【０１８１】
但し、図９の実施の形態では、係数生成部１６６において、タップ係数ｗnが、係数種メモリ１６７に記憶された係数種データと、パラメータメモリ１６８に記憶されたパラメータとから生成される。いま、係数生成部１６６におけるタップ係数ｗnの生成が、係数種データとパラメータを用い、例えば、次式によって行われることとする。
【０１８２】
【数９】
0004650123.tif 000010
・・・（９）
【０１８３】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，ΒM,nを用いて求められるようになっている。
【０１８４】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０１８５】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１８６】
【数１０】
0004650123.tif 000011
・・・（１０）
【０１８７】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０１８８】
【数１１】
0004650123.tif 000012
・・・（１１）
【０１８９】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０１９０】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、上述の式（２）と同様の次式で表される。
【０１９１】
【数１２】
0004650123.tif 000013
・・・（１２）
【０１９２】
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、上述の式（３）と同様の次式が得られる。
【０１９３】
【数１３】
0004650123.tif 000014
・・・（１３）
【０１９４】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１９５】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０１９６】
【数１４】
0004650123.tif 000015
・・・（１４）
【０１９７】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０１９８】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１９９】
【数１５】
0004650123.tif 000016
・・・（１５）
【０２００】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２０１】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２０２】
【数１６】
0004650123.tif 000017
・・・（１６）
【０２０３】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０２０４】
【数１７】
0004650123.tif 000018
・・・（１７）
【０２０５】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０２０６】
【数１８】
0004650123.tif 000019
・・・（１８）
【０２０７】
【数１９】
0004650123.tif 000020
・・・（１９）
【０２０８】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０２０９】
【数２０】
0004650123.tif 000021
・・・（２０）
【０２１０】
式（２０）の正規方程式は、例えば、掃き出し法などを用いることにより、係数種データβm,nについて解くことができる。
【０２１１】
図９の画像変換部４８においては、第２の画像データとしてのHD画像データと同一の画質の画像の多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、第１の画像データとしての、準HD画像データをダウンコンバートして得られるSD画像データと同一の画質の画像の低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２０）を解く学習を行うことにより求められた係数種データβm,nが、係数種メモリ１６７に記憶されており、係数生成部１６６では、その係数種データβm,nと、パラメータメモリ１６８に記憶されたパラメータｚから、式（９）にしたがって、タップ係数ｗnが生成される。そして、予測部１６５において、そのタップ係数ｗnと、注目画素についての予測タップを構成する第１の画像データの画素ｘnを用いて、式（１）が計算されることにより、第２の画像データの注目画素の画素値（に近い予測値）が求められる。
【０２１２】
次に、図１１は、式（２０）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２１３】
学習装置には、係数種データβm,nの学習に用いられる学習用画像データが供給され、その学習用画像データは、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０２１４】
教師データ生成部１７１は、図７で説明したように、学習用画像データから、第２の画像データとしてのHD画像データと同様の画質の教師データを生成し、教師データ記憶部１７２に供給する。
【０２１５】
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしてのHD画像データを記憶する。
【０２１６】
生徒データ生成部１７３は、図７で説明したように、学習用画像データから、第１の画像データとしてのSD画像データと同様の画質の生徒データを生成し、生徒データ記憶部１７４に供給する。
【０２１７】
但し、図１１においては、生徒データ生成部１７３は、パラメータ生成部１８０から供給されるパラメータｚに基づき、パラメータｚに対応する生徒データを生成する。
【０２１８】
即ち、生徒データ生成部１７３には、学習用画像データの他、図９のパラメータメモリ１６８に記憶されるパラメータｚとしてのチャンネル情報が取り得る幾つかの値が、パラメータ生成部１８０から供給される。具体的には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１８０から生徒データ生成部１７３に供給される。
【０２１９】
生徒データ生成部１７３は、図７で説明したように、学習用画像データから、教師データ生成部１７１と同様に、教師データを生成し、さらに、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ１１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。そして、生徒データ生成部１７３は、放送局１（図２）における場合と同様に、コンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、さらに、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換して、アップコンバートすることにより、準HD画像データを生成する。その後、生徒データ生成部１７３は、準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
【０２２０】
生徒データ生成部１７３は、以上のように、生徒データとしてのSD画像データを生成する過程で生成される準HD画像データを得るときのアップコンバートの処理の方法として、パラメータ生成部１８０から供給されるパラメータｚに対応する方法を採用する。
【０２２１】
即ち、生徒データ生成部１７３は、パラメータｚとしてのチャンネル情報が表すチャンネルの放送局において準HD画像データを得るときに行われるアップコンバートの処理の方法と同一の方法によるアップコンバートを行うことで、準HD画像データを生成する。
【０２２２】
そして、生徒データ生成部１７３は、その準HD画像データをダウンコンバートして得られるSD画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
【０２２３】
従って、生徒データ生成部１７３では、パラメータｚとしてのチャンネル情報が表すチャンネルで放送される準HD画像データをダウンコンバートすることにより得られるSD画像データと同様の画質のSD画像データを、生徒データとして得ることができる。
【０２２４】
即ち、いまの場合、生徒データ生成部１７３では、パラメータｚ＝０，１，２，・・・，Ｚそれぞれに対応するＺ＋１種類の、アップコンバートの処理の方法が異なる生徒データが生成される。
【０２２５】
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データとしてのＺ＋１種類のSD画像データを記憶する。
【０２２６】
タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図９のタップ抽出部１６１が注目画素について得るのと同一のタップ構造の予測タップを構成し、足し込み部１７８に供給する。
【０２２７】
タップ抽出部１７６は、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図９のタップ抽出部１６２が注目画素について得るのと同一のタップ構造のクラスタップを構成し、クラス分類部１７７に供給する。
【０２２８】
なお、タップ抽出部１７５と１７６には、パラメータ生成部１８０が生成するパラメータｚが供給されるようになっており、タップ抽出部１７５と１７６は、パラメータ生成部１８０から供給されるパラメータｚに対応する生徒データを用いて、予測タップとクラスタップをそれぞれ構成する。
【０２２９】
クラス分類部１７７は、タップ抽出部１７６が出力するクラスタップに基づき、図９のクラス分類部１６３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
【０２３０】
足し込み部１７８は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素、タップ抽出部１７５から供給される注目画素についての予測タップを構成する生徒データ、およびその生徒データに対応するパラメータｚを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに行う。
【０２３１】
即ち、足し込み部１７８には、教師データ記憶部１７２に記憶された教師データｙk、タップ抽出部１７５が出力する予測タップｘi,k（ｘj,k）、およびクラス分類部１７７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部１８０から供給されるようになっている。
【０２３２】
そして、足し込み部１７８は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０２３３】
さらに、足し込み部１７８は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０２３４】
即ち、足し込み部１７８は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２３５】
そして、足し込み部１７８は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１７２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部１７９に供給する。
【０２３６】
係数種算出部１７９は、足し込み部１７８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２３７】
パラメータ生成部１８０は、図９のパラメータメモリ１６８に供給されるパラメータｚが取り得る幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１７３に供給する。また、パラメータ生成部１８０は、生成したパラメータｚを、タップ抽出部１７５および１７６、並びに足し込み部１７８にも供給する。
【０２３８】
次に、図１２のフローチャートを参照して、図１１の学習装置の処理（学習処理）について、説明する。
【０２３９】
まず最初に、ステップＳ１２２１において、教師データ生成部１７１が、学習用画像データから、第２の画像データとしてのHD画像データと同様の画質の教師データを生成して出力する。
【０２４０】
さらに、ステップＳ１２２１では、生徒データ生成部１７３が、パラメータ生成部１８０が出力するパラメータｚのＺ＋１個の値（０，１，・・・，Ｚ）それぞれに応じたアップコンバートの処理を含む処理を行うことにより、学習用画像データから、第１の画像データとしてのSD画像データと同様の画質の生徒データを、Ｚ＋１種類だけ生成して出力する。
【０２４１】
教師データ生成部１７１が出力する教師データは、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が出力するＺ＋１種類の生徒データは、生徒データ記憶部１７４に供給されて記憶される。
【０２４２】
その後、ステップＳ１２２２に進み、パラメータ生成部１８０は、パラメータｚを、初期値としての、例えば０にセットし、タップ抽出部１７５および１７６、並びに足し込み部１７８に供給して、ステップＳ１２２３に進む。
【０２４３】
ステップＳ１２２３では、タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素とする。さらに、ステップＳ１２２３では、タップ抽出部１７５が、注目画素について、生徒データ記憶部１７４に記憶された、パラメータ生成部１８０が出力するパラメータｚに対応する生徒データから画素（の画素値）を抽出することで、予測タップを構成し、足し込み部１７８に供給するとともに、タップ抽出部１７６が、やはり、注目画素について、生徒データ記憶部１７４に記憶された、パラメータ生成部１８０が出力するパラメータｚに対応する生徒データから画素を抽出することで、クラスタップを構成し、クラス分類部１７７に供給する。
【０２４４】
そして、ステップＳ１２２４に進み、クラス分類部１７７は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力して、ステップＳ１２２５に進む。
【０２４５】
ステップＳ１２２５では、足し込み部１７８は、教師データ記憶部１７２から注目画素を読み出し、その注目画素、タップ抽出部１７５から供給される予測タップ、パラメータ生成部１８０が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部１７８は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１７７からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ１２２６に進む。
【０２４６】
ステップＳ１２２６では、パラメータ生成部１８０が、自身が出力しているパラメータｚが、最大値Ｚに等しいかどうかを判定する。ステップＳ１２２６において、パラメータ生成部１８０が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ１２２７に進み、パラメータ生成部１８０は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、タップ抽出部１７５および１７６、並びに足し込み部１７８に出力する。そして、ステップＳ１２２３に戻り、以下、同様の処理が繰り返される。
【０２４７】
また、ステップＳ１２２６において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ１２２８に進み、タップ抽出部１７５が、教師データ記憶部１７２に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１２２８において、注目画素としていない教師データが、まだ、教師データ記憶部１７２に記憶されていると判定された場合、タップ抽出部１７５は、まだ注目画素としていない教師データを、新たに、注目画素として、ステップＳ１２２２に戻り、以下、同様の処理が繰り返される。
【０２４８】
また、ステップＳ１２２８において、注目画素としていない教師データが、教師データ記憶部１７２に記憶されていないと判定された場合、足し込み部１７８は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部１７９に供給し、ステップＳ１２２９に進む。
【０２４９】
ステップＳ１２２９では、係数種算出部１７９は、足し込み部１７８から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２５０】
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１７９は、例えば、デフォルトの係数種データを出力するようになっている。
【０２５１】
ところで、図１１の学習装置では、HD画像データを教師データとするとともに、そのHD画像データから生成された、パラメータｚに対応するSD画像データを、生徒データとして、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、図１３に示すようにして行うことが可能である。
【０２５２】
即ち、図１３の実施の形態では、教師データとしてのHD画像データから生成された、パラメータｚに対応するSD画像データを生徒データとして、まず最初に、タップ係数ｗn、並びに生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図１３の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０２５３】
即ち、最適なタップ係数ｗn、つまり、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図７の学習装置における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０２５４】
また、式（１１）によれば、タップ係数は、係数種データβm,nとパラメータｚに対応する変数ｔmとから求められる。いま、式（１１）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０２５５】
【数２１】
0004650123.tif 000022
・・・（２１）
【０２５６】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０２５７】
【数２２】
0004650123.tif 000023
・・・（２２）
【０２５８】
いま、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２５９】
【数２３】
0004650123.tif 000024
・・・（２３）
【０２６０】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２６１】
【数２４】
0004650123.tif 000025
・・・（２４）
【０２６２】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０２６３】
【数２５】
0004650123.tif 000026
・・・（２５）
【０２６４】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０２６５】
【数２６】
0004650123.tif 000027
・・・（２６）
【０２６６】
【数２７】
0004650123.tif 000028
・・・（２７）
【０２６７】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０２６８】
【数２８】
0004650123.tif 000029
・・・（２８）
【０２６９】
式（２８）の正規方程式は、例えば、掃き出し法などを用いることにより、係数種データβm,nについて解くことができる。
【０２７０】
次に、図１４は、式（２８）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図７または図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７１】
足し込み部１９０には、クラス分類部１７７が出力する注目画素についてのクラスコードと、パラメータ生成部１８０が出力するパラメータｚが供給されるようになっている。そして、足し込み部１９０は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに行う。
【０２７２】
即ち、足し込み部１９０には、教師データ記憶部１７２に記憶された教師データｙk、タップ抽出部１７５が出力する予測タップｘn,k、クラス分類部１７７が出力するクラスコード、およびパラメータ生成部１８０が出力する、予測タップｘn,kを構成するのに用いられた生徒データに対応するパラメータｚが供給される。
【０２７３】
そして、足し込み部１９０は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２７４】
さらに、足し込み部１９０は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２７５】
即ち、足し込み部１９０は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２７６】
そして、足し込み部１９０は、教師データ記憶部１７２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１９１に供給する。
【０２７７】
タップ係数算出部１９１は、足し込み部１９０から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部１９２に供給する。
【０２７８】
足し込み部１９２は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０２７９】
即ち、足し込み部１９２は、パラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２８０】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、すべてのクラスに対して１回行うだけで済む。
【０２８１】
さらに、足し込み部１９２は、パラメータｚから式（１０）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２８２】
足し込み部１９２は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１９３に供給する。
【０２８３】
係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２８４】
図９の画像変換部４８における係数種メモリ１６７には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることができる。
【０２８５】
以上のように、図３のディジタル放送受信装置２では、判定部４４において、放送されてきた画像データの種類を判定し、その画像データが、準HD画像データであると判定された場合、ダウンコンバータ４５において、その準HD画像データの画素数を少なくするダウンコンバートを行い、画像変換部４８において、学習によりあらかじめ求められたクラスごとのタップ係数、または、学習によりあらかじめ求められた係数種データと、所定のパラメータとから生成されるクラスごとのタップ係数を用いた演算による画像変換処理（以下、適宜、クラス分類適応処理という）を行うことによって、ダウンコンバートによって得られるSD画像データを、高画質のHD画像データに変換する。
【０２８６】
従って、ディジタル放送受信装置２のユーザは、高画質の画像データを享受することができる。
【０２８７】
即ち、図２で説明したように、準HD画像データは、NTSC方式のコンポジット信号の画像データをコンポーネント信号の画像データに変換し、その画像データの画素数を、HDカメラ１３で撮像されるHD画像の画素数と同一の画素数にアップコンバートした画像データであるため、例えば、仮に、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの画素数が、HDカメラ１３で撮像されるHD画像の画素数の1/5であるとすると、単純には、準HD画像データの５画素の情報量は、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの１画素の情報量にすぎない。
【０２８８】
従って、大雑把に言えば、準HD画像データを第１の画像データとしてクラス分類適応処理を行った場合には、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとしてクラス分類適応処理を行う場合の５倍の数の画素を用いて、式（１）の演算やクラス分類を行わなければ、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとしてクラス分類適応処理を行った場合と同等の性能が得られないことになる。そして、式（１）の演算やクラス分類に多数の画素を用いると、その分、処理量が増加する。
【０２８９】
そこで、上述のように、ダウンコンバータ４５において、準HD画像データの画素数を少なくするダウンコンバートを行い、画像変換部４８において、そのダウンコンバートによって得られるSD画像データを第１の画像データとして、クラス分類適応処理を行うことにより、少ない処理量で、高画質の画像データを得ることができる。
【０２９０】
さらに、図５に示したように、アップコンバートの処理の複数の方法それぞれに対応する複数セットのタップ係数のセットの中から、放送されてきた画像データのチャンネルを表すチャンネル情報に基づいて、１セットのタップ係数のセットを選択し、そのタップ係数のセットを用いてクラス分類適応処理を行うことにより、あるいは、図９に示したように、チャンネル情報をパラメータｚとして、タップ係数のセットを生成し、そのタップ係数のセットを用いてクラス分類適応処理を行うことにより、画像データを放送しているチャンネルの放送局で行われたアップコンバートに適応したタップ係数を用いてクラス分類適応処理が行われ、より高画質の画像データを得ることが可能となる。
【０２９１】
なお、準D1画像データは、準HD画像データと同様に、NTSC方式のコンポジット信号の画像データをコンポーネント信号の画像データに変換し、その画像データの画素数をアップコンバートした画像データではあるが、アップコンバートによって補間される画素の数が、準HD画像データと比較して少ないため、図３のディジタル放送受信装置２では、D1画像データと準D1画像データとを区別することなく、画像変換部４７で処理するようにしている。但し、準D1画像データは、D1画像データと区別して、準HD画像データと同様に処理することが可能である。即ち、準D1画像データは、準HD画像データと同様に、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データと同一の画素数にダウンコンバートし、そのダウンコンバートによって得られる画像データを対象として、クラス分類適応処理を行うようにすることが可能である。
【０２９２】
また、図３の判定部４４を含む後段のブロックでは、放送されてきた画像データの他、記録媒体から再生された画像データ等を対象に、処理を行うことが可能である。
【０２９３】
次に、上述した判定部４４、ダウンコンバータ４５、および画像変換部４８の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２９４】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２９５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２９６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２９７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２９８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２９９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３００】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３０１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３０２】
【図１】本発明を適用した放送システムの一実施の形態の構成例を示す図である。
【図２】放送局１の構成例の概要を示す図である。
【図３】ディジタル放送受信装置２の構成例を示すブロック図である。
【図４】ディジタル放送受信装置２の動作を説明するためのフローチャートである。
【図５】画像変換部４８の構成例を示すブロック図である。
【図６】画像変換部４８の処理を説明するフローチャートである。
【図７】タップ係数の学習を行う学習装置の構成例を示すブロック図である。
【図８】タップ係数の学習を行う学習処理を説明するフローチャートである。
【図９】画像変換部４８の他の構成例を示すブロック図である。
【図１０】画像変換部４８の処理を説明するフローチャートである。
【図１１】係数種データの学習を行う学習装置の構成例を示すブロック図である。
【図１２】係数種データの学習を行う学習処理を説明するフローチャートである。
【図１３】係数種データの学習の方法を説明する図である。
【図１４】係数種データの学習を行う学習装置の他の構成例を示すブロック図である。
【図１５】コンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３０３】
１  放送局，  ２  ディジタル放送受信装置，  ３  アナログ放送受信装置，  １１，１２  SDカメラ，  １３  HDカメラ，  ２１  NTSCエンコーダ，  ２２  NTSCデコーダ，  ２３，２４  アップコンバータ，  ４１  チューナ，  ４２  デマルチプレクサ，  ４３  デコーダ，  ４４  判定部，  ４５  ダウンコンバータ，  ４６乃至４８  画像変換部，  ４９  画像出力部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体，  １６０  係数選択部，  １６１，１６２  タップ抽出部，  １６３  クラス分類部，  １６４  係数メモリ，  １６５  予測部，  １６６  係数生成部，  １６７  係数種メモリ，  １６８  パラメータメモリ，  １７１  教師データ生成部，  １７２  教師データ記憶部，  １７３  生徒データ生成部，  １７４  生徒データ記憶部，  １７５，１７６  タップ抽出部，  １７７  クラス分類部，  １７８  足し込み部，  １７９  係数種算出部，  １８０  パラメータ生成部，  １９０  足し込み部，  １９１  タップ係数算出部，  １９２  足し込み部，  １９３  係数種算出部
【図１】
0004650123.tif 000030
【図２】
0004650123.tif 000031
【図３】
0004650123.tif 000032
【図４】
0004650123.tif 000033
【図５】
0004650123.tif 000034
【図６】
0004650123.tif 000035
【図７】
0004650123.tif 000036
【図８】
0004650123.tif 000037
【図９】
0004650123.tif 000038
【図１０】
0004650123.tif 000039
【図１１】
0004650123.tif 000040
【図１２】
0004650123.tif 000041
【図１３】
0004650123.tif 000042
【図１４】
0004650123.tif 000043
【図１５】
0004650123.tif 000044