(57)【要約】【課題】視聴者が、高画質の画像データを享受することができるようにする。【解決手段】判定部４４において、放送されてきた画像データが、コンポジット信号をコンポーネント信号に変換した画像データの画素数を、HD画像の画素数と同一の画素数にアップコンバートした準HD画像データであると判定された場合、SD画像変換部４８は、ダウンコンバータ４５でダウンコンバートされたSD画像データを、高画質のHD画像データに変換する。一方、放送されてきた画像データが、アップコンバートされていないHD画像データであると判定された場合、HD画像変換部４７は、そのHD画像データと、ダウンコンバータ４５でダウンコンバートされたSD画像データとを用いて、より高画質のHD画像データに変換する。本発明は、例えば、ディジタル放送を受信するディジタル放送受信装置などに適用できる。【選択図】図３
2007312061.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、
放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定手段と、
前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、
前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換手段と、
前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換手段と
を備える画像処理装置。
【請求項２】
前記第１の画像変換手段は、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、予測タップとして抽出する第１の予測タップ抽出手段と、
前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、予測タップとして抽出する第２の予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、クラスタップとして抽出する第１のクラスタップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、クラスタップとして抽出する第２のクラスタップ抽出手段と、
前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
前記注目画素のクラスに対応する係数と、前記第１および第２のクラスタップ抽出手段によって抽出された予測タップとを用いた予測演算により、前記注目画素を求める演算手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像変換手段は、
前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段をさらに有する
請求項２に記載の画像処理装置。
【請求項４】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理方法において、
放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定ステップと、
前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換ステップと、
前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換ステップと
を含む画像処理方法。
【請求項５】
第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、
放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定ステップと、
前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、
前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換ステップと、
前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換ステップと
を含む画像処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、視聴者が、高画質の画像データを享受することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来から行われている地上波アナログ放送では、NTSC(National Television System Committee)方式によるコンポジット信号で、アスペクト比が4:3のSD(Standard Definition)画像が放送されている。
【０００３】
近年、地上波アナログ放送に加え、地上波ディジタル放送が開始された。地上波ディジタル放送では、アスペクト比が16:9のHD(High Definition)画像がコンポーネント信号で放送されるので、地上波アナログ放送による画像よりも高画質の画像を提供することができる。
【０００４】
ところで、アスペクト比が16:9のHD画像を撮像するカメラ等の放送用機器は高価であるため、放送局に広く普及するまでに時間を要する。
【０００５】
このため、放送局によっては、地上波アナログ放送で放送されるコンポジット信号の画像を、コンポーネント信号の画像に変換し、さらに、そのコンポーネント信号の画像の画素数を単純に補間して増加させるアップコンバートを行うことで、フォーマットだけを、地上波ディジタル放送で放送されるHD画像と同一として、放送が行われることがあり得る。
【０００６】
ここで、コンポジット信号の画像を、コンポーネント信号の画像に変換し、そのコンポーネント信号の画像をアップコンバートすることで、フォーマットだけを、地上波ディジタル放送で放送されるHD画像と同一とした画像を、準HD画像という。
【０００７】
準HD画像は、コンポジット信号の画像を、コンポーネント信号の画像に変換した画像であるため、そのような準HD画像には、いわゆるクロスカラーやドット妨害と呼ばれるノイズが、少なからず生じている。そして、準HD画像は、コンポジット信号の画像をコンポーネント信号の画像に変換した画像を、さらにアップコンバートした画像であるから、クロスカラーやドット妨害といったノイズは、アップコンバートにより目立つものとなる。
【０００８】
なお、コンポジット信号に特有の性質を考慮し、画像を、高画質の画像に変換する方法が提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】特開平10-056622号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
地上波ディジタル放送によって放送されてくる画像であっても、その画像が、フォーマットだけがHD画像と同一の準HD画像では、視聴者（あるいはユーザ）は、高画質の画像を享受することが困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、視聴者が、高画質の画像データを享受することができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の側面の画像処理装置は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置において、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定手段と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換手段と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換手段とを備える。
【００１３】
前記第１の画像変換手段には、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、予測タップとして抽出する第１の予測タップ抽出手段と、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、予測タップとして抽出する第２の予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、クラスタップとして抽出する第１のクラスタップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、クラスタップとして抽出する第２のクラスタップ抽出手段と、前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記注目画素のクラスに対応する係数と、前記第１および第２のクラスタップ抽出手段によって抽出された予測タップとを用いた予測演算により、前記注目画素を求める演算手段とを有するようにさせることができる。
【００１４】
前記第１の画像変換手段には、前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段をさらに有するようにさせることができる。
【００１５】
本発明の側面の画像処理方法は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理方法において、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定ステップと、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換ステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換ステップとを含む。
【００１６】
本発明の側面のプログラムは、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理を、コンピュータに実行させるプログラムにおいて、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定ステップと、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換ステップと、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換ステップとを含む画像処理を、コンピュータに実行させる。
【００１７】
本発明の側面においては、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かが判定され、放送されてきた画像データがアップコンバート画像データではないと判定された場合、第１の画像データとしての、放送されてきた画像データの画素数を少なくするダウンコンバートによって得られた画像データと放送されてきた画像データとが、第２の画像データに変換される。一方、放送されてきた画像データがアップコンバート画像データであると判定された場合、第１の画像データとしての、ダウンコンバートによって得られた画像データが第２の画像データに変換される。
【発明の効果】
【００１８】
本発明によれば、視聴者は、高画質の画像データを享受することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の側面の画像処理装置は、第１の画像データを処理して、前記第１の画像データよりも高画質の第２の画像データを出力する画像処理装置（例えば、図３のディジタル放送受信装置１２）において、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定手段（例えば、図３の判定部４４）と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバート手段（例えば、図３のダウンコンバータ４５）と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換手段（例えば、図３のHD画像変換部４７）と、前記判定手段において、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換手段（例えば、図３のSD画像変換部４８）とを備える。
【００２１】
本発明の側面の画像処理装置の前記第１の画像変換手段は、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、予測タップとして抽出する第１の予測タップ抽出手段（例えば、図５のタップ抽出部６１−Ｈ）と、前記第２の画像データの注目画素を予測するのに用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、予測タップとして抽出する第２の予測タップ抽出手段（例えば、図５のタップ抽出部６１−Ｓ）と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記放送されてきた画像データから、クラスタップとして抽出する第１のクラスタップ抽出手段（例えば、図５のタップ抽出部６２−Ｈ）と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データとしての前記ダウンコンバート手段におけるダウンコンバートによって得られた画像データから、クラスタップとして抽出する第２のクラスタップ抽出手段（例えば、図５のタップ抽出部６２−Ｓ）と、前記第１および第２のクラスタップ抽出手段によって抽出されたクラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図５のクラス分類部６４）と、学習によりあらかじめ求められた、複数のクラスそれぞれに対応する係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図５の係数メモリ６４）と、前記注目画素のクラスに対応する係数と、前記第１および第２のクラスタップ抽出手段によって抽出された予測タップとを用いた予測演算により、前記注目画素を求める演算手段（例えば、図５の予測部６６）とを有する。
【００２２】
本発明の側面の画像処理装置の前記第１の画像変換手段は、前記第１および第２の予測タップ抽出手段における前記予測タップと、前記第１および第２のクラスタップ抽出手段における前記クラスタップを指定するタップ指定手段（例えば、図５のタップ構造メモリ６３）をさらに有する。
【００２３】
本発明の側面の画像処理方法およびプログラム（例えば、図４の画像処理方法）は、放送されてきた画像データが、他の画像データに対して、画素数を増加するアップコンバートを行うことにより得られるアップコンバート画像データであるか否かを判定する判定ステップ（例えば、図４のステップＳ３）と、前記放送されてきた画像データの画素数を少なくするダウンコンバートを行うダウンコンバートステップ（例えば、図４のステップＳ５およびＳ８）と、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データではないと判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データと前記放送されてきた画像データとを前記第１の画像データとして、前記第２の画像データに変換する第１の画像変換ステップ（例えば、図４のステップＳ９）と、前記判定ステップにおいて、前記放送されてきた画像データが前記アップコンバート画像データであると判定された場合、前記ダウンコンバートステップにおけるダウンコンバートによって得られた画像データを前記第１の画像データとして、前記第２の画像データに変換する第２の画像変換ステップ（例えば、図４のステップＳ６）とを含む。
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
図１は、本発明を適用した放送システムの一実施の形態の構成例を示している。なお、本明細書において、システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない。
【００２６】
図１の放送システム１において、放送局１１−１乃至１１−ｎ（ｎは正の整数）それぞれは、例えば、同一の内容の番組としての画像や音声を、地上波アナログ放送と地上波ディジタル放送のそれぞれによって放送する。なお、以下においては、放送局１１−１乃至１１−ｎそれぞれを特に区別する必要がない場合、単に放送局１１と称する。また、以下では、放送局１１−１乃至１１−ｎが放送する番組としての画像についてのみ説明し、音声についての説明は、省略する。
【００２７】
ディジタル放送受信装置１２は、放送局１１から地上波ディジタル放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。アナログ放送受信装置１３は、放送局１１から地上波アナログ放送によって放送されてくる番組としての画像を受信し、図示せぬモニタに表示する。
【００２８】
図２は、図１の放送局１１の概要を示すブロック図である。
【００２９】
放送局１１では、アスペクト比が4:3のSD画像を撮像するSDカメラ２１によって撮像されたコンポーネント信号のSD画像が、NTSCエンコーダ３１において、NTSC方式のコンポジット信号に変換（エンコード）され、地上波アナログ放送によって放送される。
【００３０】
また、放送局１１が、図２において点線で示すように、HD画像を撮像するHDカメラ２２を有する場合には、そのHDカメラ２２によって撮像されたコンポーネント信号のHD画像が、地上波ディジタル放送の、放送局１１に割り当てられた周波数帯域としてのチャンネルで放送される。
【００３１】
一方、放送局１１がHDカメラ２２を有しない場合には、放送局１１では、NTSCデコーダ３２において、NTSCエンコーダ３１が出力するNTSC方式のコンポジット信号が、コンポーネント信号に変換され、そのコンポーネント信号の画像が、アップコンバータ３３に供給される。アップコンバータ３３は、NTSCデコーダ３２からのコンポーネント信号の画像を、HDカメラ２２が出力するHD画像と同一のフォーマットとなるようにアップコンバートして出力する。その結果、SDカメラ２１で撮像され、HDカメラ２２が出力するHD画像と同一のフォーマットとなるようにアップコンバートされた準HD画像が、地上波ディジタル放送によって放送される。
【００３２】
なお、図示は省略されているが、放送局１１は、画像データを、例えばMPEGエンコードし、地上波ディジタル放送によって放送する。
【００３３】
図３は、図１のディジタル放送受信装置１２の構成例を示している。
【００３４】
ディジタル放送受信装置１２は、チューナ４１、デマルチプレクサ４２、デコーダ４３、判定部４４、ダウンコンバータ４５、切替器４６、HD画像変換部４７、SD画像変換部４８、および画像出力部４９により構成される。
【００３５】
チューナ４１は、地上波ディジタル放送の信号を受信し、その信号から、ディジタル放送受信装置１２が出力する画像を視聴する視聴者によるリモートコマンダ（図示せず）の操作に応じたチャンネルの信号を抽出して、デマルチプレクサ４２に供給する。デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給する。デコーダ４３は、デマルチプレクサ４２からのパケットに含まれる、MPEG(Moving Picture Expert Group)エンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
【００３６】
判定部４４は、デコーダ４３からの画像データの種類を判定し、その判定結果に基づいて、デコーダ４３からの画像データを、ダウンコンバータ４５、または、HD画像変換部４７に供給する。
【００３７】
具体的には、判定部４４は、デコーダ４３からの画像データが、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ（即ち、他の画像データ）に対して、画素数を増加するアップコンバートを行うことにより得られたアップコンバート画像データである準HD画像データであると判定した場合、デコーダ４３からの準HD画像データを、ダウンコンバータ４５に供給する。
【００３８】
一方、デコーダ４３からの画像データがアップコンバート画像データではない、即ち、HD画像データであると判定した場合、判定部４４は、デコーダ４３からのHD画像データを、ダウンコンバータ４５およびHD画像変換部４７に供給する。
【００３９】
また、判定部４４は、デコーダ４３からの画像データが準HD画像データであるか、または、HD画像データであるかに応じて、切替器４６を制御する。具体的には、判定部４４は、デコーダ４３からの画像データが準HD画像データである場合には、切替器４６の出力がSD画像変換部４８に供給されるように制御し、デコーダ４３からの画像データがHD画像データである場合には、切替器４６の出力がHD画像変換部４７に供給されるように制御する。
【００４０】
なお、デコーダ４３からの画像データが、HD画像データまたは準HD画像データであるかどうかの判定は、例えば、隣接する画素間の差分値の和として求められるアクティビティ等に基づいて行うことができる。即ち、HD画像データは高解像度であるが、準HD画像データは、高々、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データ程度の解像度であるから、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有する場合には、その画像データは、HD画像データであると判定することができる。逆に、デコーダ４３からの画像データが、ある閾値以上のアクティビティを有しない場合には、その画像データは、準HD画像データであると判定することができる。
【００４１】
また、HD画像データと準HD画像データとは、いずれも、アスペクト比が16:9の画像データではあるが、準HD画像データは、NTSC方式のコンポジット信号のアスペクト比が4:3の画像データから得られたコンポーネント信号の画像データをアップコンバートして、アスペクト比が16:9になるようにした横長の画像データであるため、4:3の画像データの左端側と右端側に、黒色等の単色の画像データを付加した画像データとなっている。従って、デコーダ４３からの画像データが、HD画像データまたは準HD画像データのうちのいずれであるかの判定は、デコーダ４３からの画像データの左端側と右端側に、単色の画像データが存在するかどうかによって行うこともできる。
【００４２】
ダウンコンバータ４５は、判定部４４から供給されるHD画像データまたは準HD画像データの画素数を、例えば、図２のNTSCデコーダ３２が出力するコンポーネント信号の画像の画素数と同一になるように間引き、さらに、必要に応じて、LPF(Low Pass Filter)によるフィルタリングを行うダウンコンバートを行い、その結果得られるSD画像データを、切替器４６に供給する。
【００４３】
切替器４６は、判定部４４の制御に従い、ダウンコンバータ４５から供給されるSD画像データをHD画像変換部４７またはSD画像変換部４８に出力する。切替器４６では、ダウンコンバータ４５から供給されるSD画像データがHD画像データから得られたものである場合には、その供給されたSD画像データをHD画像変換部４７に供給し、ダウンコンバータ４５から供給されるSD画像データが準HD画像データから得られたものである場合には、その供給されたSD画像データをSD画像変換部４８に供給する。
【００４４】
HD画像変換部４７は、判定部４４から供給されるHD画像データと切替器４６から供給されるSD画像データを、判定部４４から供給されるHD画像データより、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
【００４５】
SD画像変換部４８は、切替器４６から供給されるSD画像データを、より高画質の画像データであるHD画像データに変換する画像変換処理を行い、その結果得られるHD画像データを、画像出力部４９に供給する。
【００４６】
画像出力部４９は、HD画像変換部４７またはSD画像変換部４８から供給されるHD画像データを、図示せぬモニタに供給し、これにより、モニタに、HD画像データに基づく画像を表示させる。
【００４７】
次に、図４のフローチャートを参照して、図３のディジタル放送受信装置１２の受信処理について説明する。
【００４８】
初めに、ステップＳ１において、チューナ４１は、チャンネルを選択する。即ち、チューナ４１は、地上波ディジタル放送の信号を受信し、その信号から、視聴者によるリモートコマンダの操作に応じたチャンネルの信号を抽出して、デマルチプレクサ４２に供給する。そして、デマルチプレクサ４２は、チューナ４１からのチャンネルの信号から必要なパケットを分離し、デコーダ４３に供給する。
【００４９】
ステップＳ２において、デコーダ４３は、画像データをデコードする。即ち、デコーダ４３は、デマルチプレクサ４２からのパケットに含まれる、MPEGエンコードされた画像データをMPEGデコードし、その結果得られる画像データを、判定部４４に供給する。
【００５０】
ステップＳ３において、判定部４４は、デコーダ４３からの画像データがHD画像データであるかを判定し、その判定結果に基づいて、デコーダ４３から供給された画像データをダウンコンバータ４５またはHD画像変換部４７に供給する。
【００５１】
即ち、ステップＳ３において、判定部４４は、デコーダ４３からの画像データがHD画像データではない、即ち、準HD画像データであると判定した場合、デコーダ４３からの準HD画像データを、ダウンコンバータ４５に供給する。
【００５２】
ステップＳ４において、判定部４４は、切替器４６の出力をSD画像変換部４８側に切替える。そして、ステップＳ５において、ダウンコンバータ４５は、判定部４４から供給された準HD画像データをダウンコンバートする。切替器４６では、上述したステップＳ４の処理により、入力されたデータはSD変換部４８に出力するように切替えられているので、ダウンコンバータ４５から供給されたSD画像データは、SD画像変換部４８に供給される。
【００５３】
ステップＳ６において、SD画像変換部４８は、SD画像変換処理を行う。即ち、SD画像変換部４８は、切替器４６を介してダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。処理結果としての高画質のHD画像データは、画像出力部４９に供給され、画像出力部４９は、SD画像変換部４８からのHD画像データに基づく画像を、モニタに供給して表示させる。
【００５４】
なお、SD画像変換部４８には、チューナ４１から、現在受信しているチャンネルを表すチャンネル情報、即ち、ダウンコンバータ４５からSD画像変換部４８に供給されるSD画像データをアップコンバートした準HD画像データを放送しているチャンネルのメタデータ等を含むチャンネル情報が供給されるようになっている。そして、SD画像変換部４８は、チャンネル情報に基づいて、ダウンコンバータ４５から供給されるSD画像データをHD画像データに変換するSD画像変換処理を行う。ステップＳ６のSD画像変換処理の詳細は、図７と図８を参照して後述する。
【００５５】
一方、ステップＳ３で、デコーダ４３からの画像データがHD画像データであると判定された場合、判定部４４は、デコーダ４３からのHD画像データを、ダウンコンバータ４５およびHD画像変換部４７に供給して、処理はステップＳ７に進む。
【００５６】
ステップＳ７において、判定部４４は、切替器４６の出力をHD画像変換部４７側に切替える。そして、ステップＳ８において、ダウンコンバータ４５は、判定部４４から供給されたHD画像データをダウンコンバートする。切替器４６では、上述したステップＳ７の処理により、入力されたデータはHD画像変換部４７に出力するように切替えられているので、ダウンコンバータ４５から供給されたSD画像データは、HD画像変換部４７に供給される。
【００５７】
ステップＳ９において、HD画像変換部４７は、HD画像変換処理を行う。即ち、HD画像変換部４７は、第１の画像データとしての、判定部４４から供給されるHD画像データと、切替器４６を介してダウンコンバータ４５から供給されるSD画像データとを、第２の画像データとしての、判定部４４から供給されるHD画像データより高画質の画像データであるHD画像データに変換し、画像出力部４９に供給する。画像出力部４９は、HD画像変換部４７からのHD画像データに基づく画像を、モニタに供給して表示させる。
【００５８】
さらに、ステップＳ９でHD画像変換部４７により行われるHD画像変換処理の詳細について、図５と図６を参照して説明する。
【００５９】
HD画像変換部４７は、そこに入力される第１の画像データを、その第1の画像データよりも高画質の第２の画像データに変換する画像変換処理を行う。かかる画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な処理を実現することができる。
【００６０】
例えば、第２の画像データを高解像度の画像データとするとともに、第１の画像データを、第２の画像データの解像度を低下させた低解像度の画像データとすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第２の画像データを高Ｓ／Ｎ(Signal/Noise)の画像データとするとともに、第１の画像データを、第２の画像データのＳ／Ｎを低下させた低Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを抑圧するノイズ抑圧処理ということができる。さらに、例えば、第２の画像データをHD画像データとするとともに、第１の画像データを、第２の画像データの画素数と解像度を小さくしたSD画像データとすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。
【００６１】
HD画像変換部４７は、上述したように、判定部４４およびダウンコンバータ４５からそれぞれ供給されるHD画像データおよびSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。
【００６２】
図５は、HD画像変換部４７の機能的構成例を示している。
【００６３】
HD画像変換部４７は、タップ抽出部６１−Ｈおよび６１−Ｓ、タップ抽出部６２−Ｈおよび６２−Ｓ、タップ構造メモリ６３、クラス分類部６４、係数メモリ６５、並びに予測部６６から構成される。
【００６４】
HD画像変換部４７には、HD画像判定部４４が出力するHD画像データと、ダウンコンバータ４５が出力するSD画像データとが供給されるが、HD画像データは、タップ抽出部６１−Ｈおよび６２−Ｈに供給され、SD画像データは、タップ抽出部６１−Ｓおよび６２−Ｓに供給される。
【００６５】
タップ抽出部６１−Ｈおよび６１−Ｓのそれぞれは、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素の幾つかを、予測タップとして抽出する。ここで、第２の画像データとしてのHD画像データは、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される。
【００６６】
具体的には、タップ抽出部６１−Ｈは、注目画素に対応する、第１の画像データとしての判定部４４が出力するHD画像データの画素に対して、タップ構造メモリ６３から供給されるアドレスによって決定される複数の画素を、予測タップとして抽出する。
【００６７】
タップ抽出部６１−Ｓも同様に、注目画素に対応する、第１の画像データとしてのダウンコンバータ４５が出力するSD画像データの画素に対して、タップ構造メモリ６３から供給されるアドレスによって決定される複数の画素を、予測タップとして抽出する。
【００６８】
タップ抽出部６２−Ｈは、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データとしての、判定部４４が出力するHD画像データの画素の幾つかを、クラスタップとして抽出する。
【００６９】
タップ抽出部６２−Ｓは、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データとしての、ダウンコンバータ４５が出力するSD画像データの画素の幾つかを、クラスタップとして抽出する。
【００７０】
タップ抽出部６２−Ｈおよび６２−Ｓにおいて、どの画素をクラスタップとして抽出するかは、タップ抽出部６１−Ｈおよび６１−Ｓと同様に、タップ構造メモリ６３から供給されるアドレスによって決定される。
【００７１】
タップ抽出部６１−Ｈまたは６１−Ｓで得られた予測タップは、予測部６６に供給され、タップ抽出部６２−Ｈまたは６２−Ｓで得られたクラスタップは、クラス分類部６４に供給される。
【００７２】
タップ構造メモリ６３は、上述の予測タップおよびクラスタップのタップ構造を指定する。即ち、タップ構造メモリ６３は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部６１−Ｈおよび６１−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部６２−Ｈおよび６２−Ｓに供給する。タップ構造メモリ６３が供給するアドレスは、例えば、注目画素を基準とした位置を表すアドレスである。勿論、画像を構成する全画素における絶対位置を表すアドレスでもよい。
【００７３】
なお、本実施の形態では、説明を簡単にするために、タップ構造メモリ６３がタップ抽出部６１−Ｈおよび６１−Ｓとタップ抽出部６２−Ｈおよび６２−Ｓに供給するアドレスは、同一のものとする。即ち、予測タップとクラスタップは、同一のタップ構造を有するものとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００７４】
クラス分類部６４は、タップ抽出部６２−Ｈおよび６２−Ｓからのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６５に供給する。
【００７５】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７６】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００７７】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７８】
なお、クラス分類部６４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部６４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００７９】
従って、クラス分類部６４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮して、クラス分類を行うのが好ましい。
【００８０】
係数メモリ６５は、図９を参照して後述する学習装置１０１の学習によってあらかじめ求められたクラスごとの予測係数のセットを記憶し、さらに、その記憶している予測係数のセットのうちの、クラス分類部６４から供給されるクラスコードに対応するアドレスに記憶されている予測係数、即ち、クラス分類部６４から供給されるクラスコードが表すクラスの予測係数を出力する。
【００８１】
予測部６６は、タップ抽出部６１−Ｈおよび６１−Ｓが出力する予測タップと、係数メモリ６５が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部６６は、注目画素の画素値としての予測値、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００８２】
ここで、図５の予測部６６における予測演算についてさらに説明する。
【００８３】
いま、画像変換処理として、例えば、高画質の画像データ（以下、高画質画像データという）を第２の画像データとするとともに、その高画質画像データをLPF(Low Pass Filter)によってフィルタリングする等してその画質（例えば、解像度）を低下させた低画質の画像データ（以下、低画質画像データという）を第１の画像データとして、低画質画像データから予測タップを抽出し、その予測タップと予測係数を用いて、高画質画素の画素値を、所定の予測演算によって予測することを考える。
【００８４】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００８５】
【数１】
2007312061.tif 000003
【００８６】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００８７】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８８】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００８９】
【数２】
2007312061.tif 000004
【００９０】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００９１】
【数３】
2007312061.tif 000005
【００９２】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００９３】
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【００９４】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９５】
【数４】
2007312061.tif 000006
【００９６】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９７】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００９８】
【数５】
2007312061.tif 000007
【００９９】
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
【０１００】
【数６】
2007312061.tif 000008
【０１０１】
式（５）と式（６）から、次式が得られる。
【０１０２】
【数７】
2007312061.tif 000009
【０１０３】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１０４】
【数８】
2007312061.tif 000010
【０１０５】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１０６】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラスごとに求めることができる。
【０１０７】
図５のHD画像変換部４７では、以上のようなクラスごとの予測係数を用いて、式（１）の演算を行うことにより、第１の画像データとしてのSD画像データおよびHD画像データが、第２の画像データとしてのHD画像データに変換される。
【０１０８】
次に、図６のフローチャートを参照して、図４のステップＳ９でHD画像変換部４７により行われるHD画像変換処理の詳細について説明する。
【０１０９】
初めに、ステップＳ２１において、タップ構造メモリ６３は、予測タップとクラスタップのタップ構造を指定する。即ち、ステップＳ２１において、タップ構造メモリ６３は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部６１−Ｈおよび６１−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部６２−Ｈおよび６２−Ｓに供給する。
【０１１０】
ステップＳ２２において、タップ抽出部６１−Ｈは、第２の画像データにおける注目画素を決定する。即ち、タップ抽出部６１−Ｈは、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素の１つを、注目画素として決定する。また、タップ抽出部６１−Ｓでは、タップ抽出部６１−Ｈで決定された注目画素に対応するSD画像データの画素がタップ抽出部６１−Ｓにおいての注目画素として決定される。
【０１１１】
そして、ステップＳ２３において、タップ抽出部６１−Ｈおよび６１−Ｓは、予測タップを抽出する。即ち、タップ抽出部６１−Ｈは、注目画素に対応する判定部４４からのHD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、予測タップとして抽出する。また、タップ抽出部６１−Ｓは、注目画素に対応するダウンコンバータ４５からのSD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、予測タップとして抽出する。抽出された予測タップは、予測部６６に供給される。
【０１１２】
ステップＳ２４において、タップ抽出部６２−Ｈおよび６２−Ｓは、クラスタップを抽出する。即ち、タップ抽出部６２−Ｈは、注目画素に対応する判定部４４からのHD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、クラスタップとして抽出する。また、タップ抽出部６２−Ｓは、注目画素に対応するダウンコンバータ４５からのSD画像データのうちの、タップ構造メモリ６３から供給されたアドレスによって決定される複数の画素を、クラスタップとして抽出する。
【０１１３】
ステップＳ２５において、クラス分類部６４は、タップ抽出部６２−Ｈおよび６２−Ｓからのクラスタップに基づきクラス分類を行う。さらに、クラス分類部６４は、クラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ６５に出力する。
【０１１４】
ステップＳ２６において、係数メモリ６５は、クラス分類部６４から供給されるクラスコードに対応する予測係数、即ち、注目画素のクラスに対応する予測係数を取得して、予測部６６に供給する。この予測係数は、後述する図９の学習装置１０１により予め学習することで生成、記憶されているものである。
【０１１５】
ステップＳ２７において、予測部６６は、タップ抽出部６１−Ｈおよび６１−Ｓから供給された予測タップと、係数メモリ６５から供給された予測係数とを用いて、式（１）の予測演算を行うことにより、注目画素の画素値を求め、画像出力部４９（図３）に供給する。
【０１１６】
ステップＳ２８では、タップ抽出部６１−Ｈが、まだ、注目画素としていない第２の画像データがあるかを判定する。ステップＳ２８において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ２２に戻り、ステップＳ２２乃至Ｓ２８の処理が繰り返される。その結果、まだ注目画素とされていない第２の画像データの画素のうちの１つが、新たに注目画素とされ、その注目画素の画素値が求められる。
【０１１７】
一方、ステップＳ２８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【０１１８】
次に、図４のステップＳ６でSD画像変換部４８により行われるSD画像変換処理の詳細についてさらに説明する。
【０１１９】
SD画像変換部４８においても、第１の画像データを、その第1の画像データよりも高画質の第２の画像データに変換する画像変換処理が行われる。
【０１２０】
SD画像変換部４８は、上述したように、切替器４６を介してダウンコンバータ４５から供給されるSD画像データを第１の画像データとするとともに、より高画質の画像データであるHD画像データを第２の画像データとして、第１の画像データを第２の画像データに変換する画像変換処理を行う。
【０１２１】
図７は、SD画像変換部４８の機能的構成例を示すブロック図である。
【０１２２】
SD画像変換部４８は、係数選択部８０、タップ抽出部８１および８２、クラス分類部８３、係数メモリ８４、並びに予測部８５から構成される。
【０１２３】
SD画像変換部４８には、ダウンコンバータ４５（図３）が出力するSD画像データが、第１の画像データとして供給される。また、SD画像変換部４８には、ダウンコンバータ４５が出力するSD画像データのチャンネル情報、即ち、ダウンコンバータ４５が出力するSD画像データにダウンコンバートする前の準HD画像データを放送しているチャンネルのメタデータ等を含むチャンネル情報が、チューナ４１（図３）から供給される。
【０１２４】
そして、第１の画像データとしてのSD画像データは、タップ抽出部８１および８２に供給され、第１の画像データとしてのSD画像データのチャンネル情報は、係数選択部８０に供給される。
【０１２５】
係数選択部８０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、１セットの予測係数のセットを選択し、例えば、いわゆるメモリバンクの切り替え等によって、その選択した予測係数のセットを有効にする。即ち、係数メモリ８４は、記憶している複数セットの予測係数のセットのうちの、ある１セットの予測係数のセットから、クラス分類部８３から供給される情報に対応した予測係数を読み出して出力するが、係数選択部８０は、係数メモリ８４において読み出しの対象となる予測係数のセットを選択する。ここで、以下、適宜、係数メモリ８４において読み出しの対象となる予測係数のセットを、有効な予測係数のセットという。
【０１２６】
タップ抽出部８１は、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像データを構成する画素の幾つかを、予測タップとして抽出する。この第２の画像データとしてのHD画像データは、上述したHD画像変換部４７（図５）における場合と同様に、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される。
【０１２７】
具体的には、タップ抽出部８１は、注目画素に対応する、第１の画像データの位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、注目画素に対応する、第１の画像データの位置に最も近い画素と、その画素に空間的に隣接する画素など）を、予測タップとして抽出する。
【０１２８】
タップ抽出部８２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして抽出する。
【０１２９】
なお、ここでも、HD画像変換部４７における場合と同様に、予測タップとクラスタップは、同一のタップ構造を有するものとするが、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【０１３０】
タップ抽出部８１で得られた予測タップは、予測部８５に供給され、タップ抽出部８２で得られたクラスタップは、クラス分類部８３に供給される。
【０１３１】
クラス分類部８３は、HD画像変換部４７（図５）におけるクラス分類部６４と同様に、タップ抽出部８２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ８４に供給する。
【０１３２】
係数メモリ８４は、図１１を参照して後述する学習装置１５１の学習によってあらかじめ求められたクラスごとの予測係数のセットを記憶し、さらに、その記憶している予測係数のセットのうちの、クラス分類部８３から供給されるクラスコードに対応するアドレスに記憶されている予測係数、即ち、クラス分類部８３から供給されるクラスコードが表すクラスの予測係数を出力する。
【０１３３】
ここで、SD画像変換部４８において画像変換処理の対象とする第１の画像データとしてのSD画像データにダウンコンバートされる前の準HD画像データ（以下、適宜、SD画像データに対応する準HD画像データという）は、例えば、図２で説明したように、放送局１１において、コンポジット信号の画像データをコンポーネント信号の画像データに変換し、さらに、そのコンポーネント信号の画像データに対してアップコンバートの処理を施すことにより得られる画像データである。
【０１３４】
アップコンバートの処理の方法としては、例えば、アップコンバートの対象となる画像データの画素の画素値と同一の画素値の画素を補間する方法や、アップコンバートの対象となる画像データの複数の画素の画素値の重み付き平均値を画素値とする画素を補間する方法などの、様々な方法がある。
【０１３５】
そして、アップコンバートの処理として、どのような方法の処理が施されるかは、放送局１１ごとに異なることがあり得る。
【０１３６】
そこで、SD画像変換部４８において、準HD画像データを得るのに施されたアップコンバートの処理の方法によらず、その準HD画像データをダウンコンバートしたSD画像データを、適切にHD画像データに変換することができるように、係数メモリ８４は、アップコンバートの処理の複数の方法それぞれに対応する複数セットの予測係数のセットを記憶している。
【０１３７】
上述したように、アップコンバートの処理の方法は、放送局１１、つまり、チャンネルごとに異なることがあり得るので、係数選択部８０は、第１の画像データとしてのSD画像データのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、１セットの予測係数のセットを選択し、即ち、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数のセットを選択し、有効な予測係数のセットとする。
【０１３８】
そして、係数メモリ８４は、有効な予測係数のセットから、クラス分類部８３から供給されるクラスコードに対応するアドレスに記憶されている予測係数、つまり、注目画素のクラスに対応する予測係数を出力する。
【０１３９】
従って、係数メモリ８４が出力する予測係数は、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数である。
【０１４０】
予測部８５は、タップ抽出部８１が出力する予測タップと、係数メモリ８４が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部８５は、注目画素の画素値の予測値、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【０１４１】
次に、図８のフローチャートを参照して、図４のステップＳ６でSD画像変換部４８により行われるSD画像変換処理の詳細について説明する。
【０１４２】
初めに、ステップＳ４１において、係数選択部８０は、チューナ４１（図３）からのチャンネル情報に基づき、係数メモリ８４に記憶されている複数セットの予測係数のセットの中から、チャンネル情報が表すチャンネルの放送局１１で施されたアップコンバートの処理によって得られた準HD画像データをダウンコンバートしたSD画像データを対象とした画像変換処理に適した予測係数のセットを、有効な予測係数のセットとして選択する。
【０１４３】
ステップＳ４２において、タップ抽出部８１は、第２の画像データにおける注目画素を決定する。即ち、タップ抽出部８１は、第１の画像データを変換して得ようとする第２の画像データとしてのHD画像データを構成する画素の１つを、注目画素として決定する。
【０１４４】
ステップＳ４３において、タップ抽出部８１は、予測タップを抽出する。即ち、タップ抽出部８１は、そこに供給される第１の画像データとしての、準HD画像データをダウンコンバートしたSD画像データから、注目画素に対する予測タップとする画素を抽出する。
【０１４５】
ステップＳ４４において、タップ抽出部８２は、クラスタップを抽出する。即ち、タップ抽出部８２は、そこに供給される第１の画像データとしての、準HD画像データをダウンコンバートしたSD画像データから、注目画素に対するクラスタップとする画素を抽出する。
【０１４６】
ステップＳ４３で抽出された予測タップは、予測部８５に供給され、ステップＳ４４で抽出されたクラスタップは、クラス分類部８３に供給される。
【０１４７】
ステップＳ４５において、クラス分類部８３は、タップ抽出部８２からのクラスタップに基づき、注目画素のクラス分類を行う。さらに、クラス分類部８３は、クラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ８４に出力する。
【０１４８】
ステップＳ４６において、係数メモリ８４は、係数選択部８０によって選択された有効な予測係数のセットのうちの、クラス分類部８３から供給されるクラスコードに対応する予測係数、即ち、注目画素のクラスに対応する予測係数を取得して、予測部８５に出力する。
【０１４９】
ステップＳ４７において、予測部８５は、タップ抽出部８１から供給された予測タップと、係数メモリ８４から供給された予測係数とを用いて、式（１）の予測演算を行うことにより、注目画素の画素値を求め、画像出力部４９（図３）に供給する。
【０１５０】
ステップＳ４８では、タップ抽出部８１が、まだ、注目画素としていない第２の画像データがあるかを判定する。ステップＳ４８において、まだ、注目画素としていない第２の画像データがあると判定された場合、処理はステップＳ４２に戻り、ステップＳ４２乃至Ｓ４８の処理が繰り返される。その結果、まだ注目画素とされていない第２の画像データを構成する画素のうちの１つが、新たに注目画素とされ、注目画素の画素値が求められる。
【０１５１】
一方、ステップＳ４８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理は終了する。
【０１５２】
次に、HD画像変換部４７の係数メモリ６５やSD画像変換部４８の係数メモリ８４に記憶される予測係数ｗnを求める学習について説明する。学習では、上述した式（８）の正規方程式をクラスごとにたてて解くことにより予測係数ｗnが求められる。
【０１５３】
図９は、HD画像変換部４７の係数メモリ６５に記憶される予測係数ｗnを求める学習装置１０１の構成例を示すブロック図である。
【０１５４】
図９の学習装置１０１には、予測係数ｗnの学習に用いられる学習用画像データが入力される。学習用画像データとしては、例えば、HDカメラ２２（図２）で得られるHD画像データよりも高画質のHD画像データを用いることができる。
【０１５５】
学習装置１０１において、学習用画像データは、教師データ生成部１２１と生徒データ生成部１２３に供給される。
【０１５６】
教師データ生成部１２１は、そこに供給される学習用画像データから、第２の画像データに相当する画像データである教師データを生成し、教師データ記憶部１２２に供給する。ここでは、教師データ生成部１２１は、学習用画像データとしてのHD画像データを、そのまま教師データとして、教師データ記憶部１２２に供給する。
【０１５７】
教師データ記憶部１２２は、教師データ生成部１２１から供給される教師データとしてのHD画像データを記憶する。
【０１５８】
生徒データ生成部１２３は、学習用画像データから、第１の画像データに相当する画像データである生徒データを生成し、生徒データ記憶部１２４に供給する。
【０１５９】
即ち、生徒データ生成部１２３は、学習用画像データから、教師データ生成部１２１と同様に、教師データを生成し（あるいは、教師データ生成部１２１が生成した教師データの供給を受けるようにしてもよい）、さらに、その教師データとしてのHD画像データより低画質のHD画像データを生成する。また、生徒データ生成部１２３は、低画質のHD画像データをダウンコンバートすることにより、ダウンコンバータ４５（図３）が出力するSD画像データと同程度の画質のSD画像データも生成する。そして、生徒データ生成部１２３は、低画質のHD画像データとダウンコンバートにより得られたSD画像データを、生徒データとして、生徒データ記憶部１２４に供給する。
【０１６０】
生徒データ記憶部１２４は、生徒データ生成部１２３から供給される生徒データを記憶する。
【０１６１】
タップ構造メモリ１２５は、予測タップおよびクラスタップを決定するための、注目画素に対する画素の位置を表すアドレスをタップ抽出部１２６−Ｈおよび１２６−Ｓ並びにタップ抽出部１２７−Ｈおよび１２７−Ｓに供給する。
【０１６２】
タップ抽出部１２６−Ｈおよび１２６−Ｓ並びにタップ抽出部１２７−Ｈおよび１２７−Ｓのそれぞれは、タップ構造メモリ１２５から供給される、注目画素に対する画素の位置を表すアドレスに基づいて、予測タップまたはクラスタップを抽出する。
【０１６３】
即ち、タップ抽出部１２６−Ｈは、教師データ記憶部１２２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１２４に記憶された生徒データとしての低画質のHD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６１−Ｈが注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１２９に供給する。
【０１６４】
タップ抽出部１２６−Ｓは、注目画素について、生徒データ記憶部１２４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６１−Ｓが注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１２９に供給する。
【０１６５】
タップ抽出部１２７−Ｈは、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしての低画質のHD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６２−Ｈが注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１２８に供給する。
【０１６６】
タップ抽出部１２７−Ｓは、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図５のタップ抽出部６２−Ｓが注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１２８に供給する。
【０１６７】
クラス分類部１２８は、タップ抽出部１２７−Ｈおよび１２７−Ｓが出力するクラスタップに基づき、図５のクラス分類部６４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１２９に出力する。
【０１６８】
足し込み部１２９は、教師データ記憶部１２２から、注目画素を読み出し、その注目画素と、タップ抽出部１２６−Ｈおよび１２６−Ｓから供給される注目画素についての予測タップを構成する生徒データの画素とを対象とした足し込みを、クラス分類部１２８から供給されるクラスコードごとに行う。
【０１６９】
即ち、足し込み部１２９には、教師データ記憶部１２２に記憶された教師データの画素のうちの注目画素の画素値ｙk、タップ抽出部１２６−Ｈおよび１２６−Ｓが出力する予測タップを構成する生徒データの画素の画素値ｘn,k、クラス分類部１２８が出力する、注目画素のクラスを表すクラスコードが供給される。
【０１７０】
そして、足し込み部１２９は、クラス分類部１２８から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１７１】
さらに、足し込み部１２９は、やはり、クラス分類部１２８から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１７２】
即ち、足し込み部１２９は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１７３】
そして、足し込み部１２９は、教師データ記憶部１２２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１３０に供給する。
【０１７４】
予測係数算出部１３０は、足し込み部１２９から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗnを算出する。
【０１７５】
次に、図１０のフローチャートを参照して、図９の学習装置１０１による学習処理について説明する。
【０１７６】
最初に、ステップＳ６１において、教師データ生成部１２１と生徒データ生成部１２３は、学習用画像データから、教師データと生徒データを、それぞれ生成する。
【０１７７】
即ち、教師データ生成部１２１は、学習用画像データとして供給された、例えば、HDカメラ２２（図２）で得られるHD画像データよりも高画質の画像データを、そのまま教師データとして出力する。また、生徒データ生成部１２３は、教師データとしてのHD画像データを低画質にしたHD画像データと、その低画質のHD画像データをダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データとを生成し、生徒データとして出力する。
【０１７８】
教師データ生成部１２１が出力する教師データは、教師データ記憶部１２２に供給されて記憶され、生徒データ生成部１２３が出力する生徒データは、生徒データ記憶部１２４に供給されて記憶される。
【０１７９】
その後、ステップＳ６２において、タップ構造メモリ１２５は、予測タップとクラスタップのタップ構造を指定する。即ち、ステップ６２では、タップ構造メモリ１２５は、予測タップを決定するための画素の位置を表すアドレスを、タップ抽出部１２６−Ｈおよび１２６−Ｓに供給するとともに、クラスタップを決定するための画素の位置を表すアドレスを、タップ抽出部１２７−Ｈおよび１２７−Ｓに供給する。
【０１８０】
ステップＳ６３において、タップ抽出部１２６−Ｈは、注目画素を決定する。即ち、タップ抽出部１２６−Ｈは、教師データ記憶部１２２に記憶された教師データを構成する画素のうち、まだ注目画素としていない画素を注目画素として決定する。
【０１８１】
ステップＳ６４において、タップ抽出部１２６−Ｈおよび１２６−Ｓは、生徒データから、予測タップを抽出し、タップ抽出部１２７−Ｈおよび１２７−Ｓは、生徒データから、クラスタップを抽出する。即ち、タップ抽出部１２６−Ｈおよび１２６−Ｓが、注目画素に対してタップ構造メモリ１２５で指定された位置の画素を抽出することにより、図５のタップ抽出部６１−Ｈおよび６１−Ｓが注目画素について得る予測タップと同一のタップ構造の予測タップを生徒データから得て、足し込み部１２９に供給するとともに、タップ抽出部１２７−Ｈおよび１２７−Ｓが、やはり、注目画素に対してタップ構造メモリ１２５で指定された位置の画素を抽出することにより、図５のタップ抽出部６２−Ｈおよび６２−Ｓが注目画素について得る予測タップと同一のタップ構造の予測タップを生徒データから得て、クラス分類部１２８に供給する。
【０１８２】
そして、ステップＳ６５において、クラス分類部１２８は、タップ抽出部１２７−Ｈおよび１２７−Ｓからの注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１２９に出力する。
【０１８３】
ステップＳ６６において、足し込み部１２９は、教師データ記憶部１２２から、注目画素を読み出し、その注目画素と、タップ抽出部１２６−Ｈおよび１２６−Ｓから供給される注目画素について得られた予測タップを構成する生徒データの画素とを対象として、クラス分類部１７７から供給されるクラスコードに対応するクラスごとの式（８）の足し込みを行う。
【０１８４】
ステップＳ６７では、タップ抽出部１２６−Ｈが、まだ注目画素としていない教師データが教師データ記憶部１２２に記憶されているかを判定する。ステップＳ６７において、注目画素としていない教師データが、まだ教師データ記憶部１２２に記憶されていると判定された場合、タップ抽出部１２６−Ｈは、処理をステップＳ６３に戻し、まだ注目画素としていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。
【０１８５】
一方、ステップＳ６７において、注目画素としていない教師データが、教師データ記憶部１２２に記憶されていないと判定された場合、ステップＳ６８において、足し込み部１２９は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部１３０に供給する。
【０１８６】
そして、予測係数算出部１３０は、予測係数を算出する。具体的には、足し込み部１２９から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとの予測係数ｗnのセットが算出される。
【０１８７】
なお、学習用画像データの数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部１３０は、例えば、デフォルトの予測係数を出力するようになっている。
【０１８８】
図５のHD画像変換部４７における係数メモリ６５には、以上のようにして求められた複数セットのクラスごとの予測係数ｗmが記憶されている。
【０１８９】
図１１は、SD画像変換部４８の係数メモリ８４に記憶される予測係数ｗnを求める学習装置１５１の構成例を示している。
【０１９０】
学習装置１５１においても、予測係数ｗnの学習に用いられる学習用画像データが入力され、その学習用画像データとしては、例えば、HDカメラ２２（図２）で得られるHD画像データ、またはそのHD画像データよりも高画質のHD画像データを用いることができる。
【０１９１】
学習装置１５１において、学習用画像データは、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０１９２】
教師データ生成部１７１は、そこに供給される学習用画像データから、第２の画像データに相当する画像データである教師データを生成し、教師データ記憶部１７２に供給する。ここでは、教師データ生成部１７１は、学習用画像データとしてのHD画像データを、そのまま教師データとして、教師データ記憶部１７２に供給する。
【０１９３】
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしてのHD画像データを記憶する。
【０１９４】
生徒データ生成部１７３は、学習用画像データから、第１の画像データに相当する画像データである生徒データを生成し、生徒データ記憶部１７４に供給する。
【０１９５】
即ち、生徒データ生成部１７３は、学習用画像データから、教師データ生成部１７１と同様に、教師データを生成し（あるいは、教師データ生成部１７１が生成した教師データの供給を受けるようにしてもよい）、さらに、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ２１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。そして、生徒データ生成部１７３は、放送局１１（図２）における場合と同様に、そのコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、さらに、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換して、アップコンバートすることにより、準HD画像データを生成する。その後、生徒データ生成部１７３は、生成した準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
【０１９６】
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データを記憶する。
【０１９７】
タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データとしてのHD画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図７のタップ抽出部８１が注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部１７８に供給する。
【０１９８】
タップ抽出部１７６は、注目画素について、生徒データ記憶部１７４に記憶された生徒データとしてのSD画像データを構成する画素のうちの所定のものを抽出することにより、図７のタップ抽出部８２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを構成し、クラス分類部１７７に供給する。
【０１９９】
クラス分類部１７７は、タップ抽出部１７６が出力するクラスタップに基づき、図７のクラス分類部８３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
【０２００】
足し込み部１７８は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素についての予測タップを構成する生徒データの画素とを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに行う。
【０２０１】
即ち、足し込み部１７８には、教師データ記憶部１７２に記憶された教師データの画素のうちの注目画素の画素値ｙk、タップ抽出部１７５が出力する予測タップを構成する生徒データの画素の画素値ｘn,k、クラス分類部１７７が出力する、注目画素のクラスを表すクラスコードが供給される。
【０２０２】
そして、足し込み部１７８は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２０３】
さらに、足し込み部１７８は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２０４】
即ち、足し込み部１７８は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２０５】
そして、足し込み部１７８は、教師データ記憶部１７２に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部１７９に供給する。
【０２０６】
予測係数算出部１７９は、足し込み部１７８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗnを算出する。
【０２０７】
次に、図１２のフローチャートを参照して、図１１の学習装置１５１による学習処理について説明する。
【０２０８】
最初に、ステップＳ８１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像データから、教師データと生徒データを、それぞれ生成する。
【０２０９】
即ち、教師データ生成部１７１は、学習用画像データとして供給された、例えば、HDカメラ２２（図２）で得られるHD画像データと同一の画質の画像データ、またはそのHD画像データよりも高画質のHD画像データを、そのまま教師データとして出力する。また、生徒データ生成部１７３は、教師データ生成部１７１と同様に、教師データを生成し、その教師データとしてのHD画像データをダウンコンバートすることにより、SDカメラ２１（図２）が出力するSD画像データと同様の画質のコンポーネント信号のSD画像データを生成する。さらに、生徒データ生成部１７３は、放送局１１における場合と同様に、SDカメラ２１が出力するSD画像データと同程度の画質のコンポーネント信号のSD画像データをコンポジット信号のSD画像データに変換し、そのコンポジット信号のSD画像データをコンポーネント信号のSD画像データに変換してアップコンバートすることにより、準HD画像データを生成する。そして、生徒データ生成部１７３は、準HD画像データを、ダウンコンバータ４５（図３）と同様にダウンコンバートし、その結果得られるSD画像データを、生徒データとして出力する。
【０２１０】
教師データ生成部１７１が出力する教師データは、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が出力する生徒データは、生徒データ記憶部１７４に供給されて記憶される。
【０２１１】
その後、ステップＳ８２において、タップ抽出部１７５は、注目画素を決定する。即ち、タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データを構成する画素のうち、まだ注目画素としていない画素を注目画素とする。
【０２１２】
ステップＳ８３において、タップ抽出部１７５は、生徒データから予測タップを抽出し、タップ抽出部１７６は、生徒データからクラスタップを抽出する。即ち、タップ抽出部１７５は、注目画素に対して図７のタップ抽出部８１が注目画素について得る予測タップと同一のタップ構造の予測タップを生徒データから得て、足し込み部１７８に供給するとともに、タップ抽出部１７６が、やはり、注目画素に対して図７のタップ抽出部８２が注目画素について得るクラスタップと同一のタップ構造のクラスタップを生徒データから得て、クラス分類部１７７に供給する。
【０２１３】
そして、ステップＳ８４において、クラス分類部１７７は、タップ抽出部１７６からの注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
【０２１４】
ステップＳ８５において、足し込み部１７８は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、タップ抽出部１７５から供給される注目画素について得られた予測タップを構成する生徒データの画素とを対象として、クラス分類部１７７から供給されるクラスコードに対応するクラスごとの式（８）の足し込みを行う。
【０２１５】
ステップＳ８６では、タップ抽出部１７５が、まだ注目画素としていない教師データが教師データ記憶部１７２に記憶されているかを判定する。ステップＳ８６において、注目画素としていない教師データが、まだ教師データ記憶部１７２に記憶されていると判定された場合、タップ抽出部１７５は、処理をステップＳ８２に戻し、まだ注目画素としていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。
【０２１６】
一方、ステップＳ８６において、注目画素としていない教師データが、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ８７において、足し込み部１７８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部１７９に供給する。
【０２１７】
そして、予測係数算出部１７９は、足し込み部１７８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとの予測係数ｗnのセットを算出し、処理を終了する。
【０２１８】
なお、学習用画像データの数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部１７９は、例えば、デフォルトの予測係数を出力するようになっている。
【０２１９】
学習装置１５１では、生徒データ生成部１７３において、生徒データとしてのSD画像データを生成する過程で生成される準HD画像データを得るときのアップコンバートの処理の方法として、複数のアップコンバート方法を採用することにより、その複数のアップコンバート方法それぞれに対応する生徒データを得て、その複数のアップコンバート方法それぞれに対応する生徒データを用いて、複数のアップコンバート方法それぞれに対応する複数セットの予測係数のセットを求める。
【０２２０】
図７のSD画像変換部４８における係数メモリ８４には、以上のようにして求められた複数セットのクラスごとの予測係数ｗmが記憶されている。
【０２２１】
以上のように、図３のディジタル放送受信装置１２では、判定部４４において、放送されてきた画像データの種類が準HD画像データであると判定された場合、ダウンコンバータ４５において、その準HD画像データの画素数を少なくするダウンコンバートを行い、SD画像変換部４８において、学習によりあらかじめ求められたクラスごとの予測係数を用いた演算による画像変換処理（以下、適宜、第１のクラス分類適応処理という）を行うことによって、ダウンコンバートによって得られるSD画像データを高画質のHD画像データに変換する。これにより、ディジタル放送受信装置１２が出力する画像データに基づく画像を視聴する視聴者は、高画質の画像データを享受することができる。
【０２２２】
即ち、図２を参照して説明したように、準HD画像データは、NTSC方式のコンポジット信号の画像データをコンポーネント信号の画像データに変換し、その画像データの画素数を、HDカメラ２２で撮像されるHD画像の画素数と同一の画素数にアップコンバートした画像データであるため、例えば、仮に、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの画素数が、HDカメラ２２で撮像されるHD画像の画素数の1/5であるとすると、単純には、準HD画像データの５画素の情報量は、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データの１画素の情報量にすぎない。
【０２２３】
従って、大雑把に言えば、準HD画像データを第１の画像データとして第１のクラス分類適応処理を行った場合には、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとして第１のクラス分類適応処理を行う場合の５倍の数の画素を用いて、式（１）の演算やクラス分類を行わなければ、NTSC方式のコンポジット信号の画像データをコンポーネント信号に変換した画像データを第１の画像データとして第１のクラス分類適応処理を行った場合と同等の性能が得られないことになる。そして、式（１）の演算やクラス分類に多数の画素を用いると、その分、処理量が増加する。
【０２２４】
そこで、上述のように、ダウンコンバータ４５において、準HD画像データの画素数を少なくするダウンコンバートを行い、SD画像変換部４８において、そのダウンコンバートによって得られるSD画像データを第１の画像データとして、第１のクラス分類適応処理を行うことにより、少ない処理量で、高画質の画像データを得ることができる。
【０２２５】
さらに、図７に示したように、アップコンバートの処理の複数の方法それぞれに対応する複数セットの予測係数のセットの中から、放送されてきた画像データのチャンネルを表すチャンネル情報に基づいて、１セットの予測係数のセットを選択し、その予測係数のセットを用いて第１のクラス分類適応処理を行うことにより、画像データを放送しているチャンネルの放送局１１で行われたアップコンバートに適応した予測係数を用いて第１のクラス分類適応処理が行われ、より高画質の画像データを得ることが可能となる。
【０２２６】
従って、ディジタル放送受信装置１２にダウンコンバータ４５を設け、放送されてきた準HD画像データを一旦ダウンコンバートして、その結果得られるSD画像データをHD画像データに変換することにより、視聴者は、高画質の画像データを享受することができる。
【０２２７】
また、判定部４４において、放送されてきた画像データがHD画像データであると判定された場合においても、放送されてきたHD画像データをダウンコンバータ４５に供給し、HD画像データをダウンコンバートして得られたSD画像データと、放送されてきたHD画像データとを用いて、学習によりあらかじめ求められたクラスごとの予測係数を用いた演算による画像変換処理（第２のクラス分類適応処理）を行うことによって、ディジタル放送受信装置１２が受信したHD画像データを、より高画質のHD画像データに変換する。
【０２２８】
即ち、準HD画像データ用に設けられたダウンコンバータ４５を利用して、注目画素に対して、より多くの予測タップおよびクラスタップを用いることで、より高画質の画像データを得ることが可能となる。従って、視聴者は、高画質の画像データを享受することができる。
【０２２９】
この場合、放送されてきたHD画像データをダウンコンバートして得られたSD画像データに対して設定される予測タップおよびクラスタップのタップ構造は、放送されてきたHD画像データに対して設定されるのと同一のものがタップ構造メモリ６３によって指定されるだけであり、簡単な構成で予測タップおよびクラスタップを拡張することができる。
【０２３０】
なお、図３の判定部４４を含む後段のブロックでは、放送されてきた画像データの他、記録媒体から再生された画像データ等を対象に、処理を行うことが可能である。
【０２３１】
上述した判定部４４、ダウンコンバータ４５、切替器４６、HD画像変換部４７、およびSD画像変換部４８の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３２】
図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２３４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３５】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２３６】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２３７】
本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２３８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０２３９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２４０】
【図１】本発明を適用した放送システムの一実施の形態の構成例を示す図である。
【図２】図１の放送局の構成例の概要を示すブロック図である。
【図３】図１のディジタル放送受信装置の構成例を示すブロック図である。
【図４】ディジタル放送受信装置の受信処理を説明するフローチャートである。
【図５】HD画像変換部の構成例を示すブロック図である。
【図６】HD画像変換部のHD画像変換処理を説明するフローチャートである。
【図７】SD画像変換部の構成例を示すブロック図である。
【図８】SD画像変換部のSD画像変換処理を説明するフローチャートである。
【図９】HD画像変換部に記憶する予測係数の学習を行う学習装置の構成例を示すブロック図である。
【図１０】図９の学習装置による学習処理を説明するフローチャートである。
【図１１】SD画像変換部に記憶する予測係数の学習を行う学習装置の構成例を示すブロック図である。
【図１２】図１１の学習装置による学習処理を説明するフローチャートである。
【図１３】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２４１】
１  放送システム，  １１  放送局，  １２  ディジタル放送受信装置，  １３  アナログ放送受信装置，  ２１  SDカメラ，  ２２  HDカメラ，  ３１  NTSCエンコーダ，  ３２  NTSCデコーダ，  ３３  アップコンバータ，  ４１  チューナ，  ４２  デマルチプレクサ，  ４３  デコーダ，  ４４  判定部，  ４５  ダウンコンバータ，  ４６  切替器，  ４７  HD画像変換部，  ４８  SD画像変換部，  ４９  画像出力部，  ６１−Ｈ，６１−Ｓ，６２−Ｈ，６２−Ｓ  タップ抽出部，  ６３  タップ構造メモリ，  ６４  クラス分類部，  ６５  係数メモリ，  ６６  予測部，  １０１  学習装置，  １２５  タップ構造メモリ，  １２６−Ｈ，１２６−Ｓ，１２７−Ｈ，１２７−Ｓ  タップ抽出部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2007312061.tif 000011
【図２】
2007312061.tif 000012
【図３】
2007312061.tif 000013
【図４】
2007312061.tif 000014
【図５】
2007312061.tif 000015
【図６】
2007312061.tif 000016
【図７】
2007312061.tif 000017
【図８】
2007312061.tif 000018
【図９】
2007312061.tif 000019
【図１０】
2007312061.tif 000020
【図１１】
2007312061.tif 000021
【図１２】
2007312061.tif 000022
【図１３】
2007312061.tif 000023