(57)【特許請求の範囲】
【請求項１】
第１のデータを、前記第１のデータよりも高品質の第２のデータに変換するデータ変換装置であって、
前記第１のデータから、前記第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出手段と、
前記クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、
前記クラスタップのクラスに基づいて、前記第２のデータを生成する生成手段と、
前記クラスタップとそのクラスに基づいて、前記クラスタップの特徴を検出し、その特徴に基づいて、前記生成手段において生成された前記第２のデータを補正する補正量を求める補正量算出手段と、
前記補正量算出手段において求められた前記補正量によって、前記生成手段において生成された前記第２のデータを補正する補正手段と
を備えることを特徴とするデータ変換装置。
【請求項２】
前記クラスタップ抽出手段は、複数の前記第１のデータのサンプル値を、前記クラスタップとし、
前記生成手段は、複数の前記第２のデータのサンプル値を生成する
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項３】
前記補正量算出手段は、
前記クラスタップのクラスを代表する、前記第１のデータについての第１の代表データの、前記クラスタップを構成する前記第１のデータに対する第１の誤差を、前記クラスタップの特徴として検出する特徴検出手段を有し、
前記第１の誤差に基づいて、前記補正量を求める
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項４】
前記補正量算出手段は、前記第１の誤差に基づき、前記クラスタップのクラスを代表する、前記第２のデータについての第２の代表データの、前記クラスタップに対応する前記第２のデータの真値に対する第２の誤差を、前記補正量として推定する誤差推定手段をさらに有し、
前記補正手段は、前記生成手段において生成された前記第２のデータに、前記第２の誤差を加算することにより、その第２のデータを補正する
ことを特徴とする請求項３に記載のデータ変換装置。
【請求項５】
前記補正量算出手段は、前記第１と第２の誤差を対応付ける誤差対応情報を、前記クラスごとに記憶している記憶手段をさらに有し、
前記誤差推定手段は、前記第１の誤差と誤差対応情報に基づいて、前記第２の誤差を推定する
ことを特徴とする請求項４に記載のデータ変換装置。
【請求項６】
前記補正量算出手段は、
前記クラスタップのクラスを代表する、前記第１のデータについての第１の代表データの変化の割合の、前記クラスタップを構成する前記第１のデータの変化の割合に対する誤差を表す角度である第１の誤差角度を、前記クラスタップの特徴として検出する特徴検出手段を有し、
前記第１の誤差角度に基づいて、前記補正量を求める
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項７】
前記補正量算出手段は、前記第１の誤差角度に基づき、前記クラスタップのクラスを代表する、前記第２のデータについての第２の代表データの変化の割合の、前記クラスタップに対応する前記第２のデータの変化の割合の真値に対する誤差を表す角度である第２の誤差角度を、前記補正量として推定する誤差推定手段をさらに有し、
前記補正手段は、前記生成手段において生成された前記第２のデータの変化の割合を表す角度を、前記第２の誤差角度だけ回転することにより、その第２のデータを補正する
ことを特徴とする請求項６に記載のデータ変換装置。
【請求項８】
前記補正量算出手段は、前記第１と第２の誤差角度を対応付ける誤差対応情報を、前記クラスごとに記憶している記憶手段をさらに有し、
前記誤差推定手段は、前記第１の誤差角度と誤差対応情報に基づいて、前記第２の誤差角度を推定する
ことを特徴とする請求項７に記載のデータ変換装置。
【請求項９】
前記クラス分類手段は、
前記複数のクラスそれぞれについて、各クラスを代表する、前記第１のデータについての第１の代表データに、対応するクラスを表すクラスコードを割り当てた割り当て情報を記憶する記憶手段と、
前記割り当て情報に基づいて、前記クラスタップと、前記複数のクラスの第１の代表データそれぞれとの距離を求め、その距離を最小にする前記第１の代表データに割り当てられたクラスコードを出力する距離演算手段と
を有する
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項１０】
前記生成手段は、あらかじめ学習によって求められた、複数のクラスそれぞれに前記第２のデータを割り当てた割り当て情報に基づいて、前記クラスタップのクラスに割り当てられた前記第２のデータを生成する
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項１１】
前記生成手段は、
前記複数のクラスそれぞれについて、各クラスを代表する、前記第２のデータについての第２の代表データに、対応するクラスを表すクラスコードを割り当てた割り当て情報を記憶する記憶手段と、
前記割り当て情報に基づいて、前記クラスタップのクラスに割り当てられている前記第２の代表データを求め、前記第２のデータとして出力する出力手段と
を有する
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項１２】
前記第１および第２のデータは、画像データである
ことを特徴とする請求項１に記載のデータ変換装置。
【請求項１３】
第１のデータを、前記第１のデータよりも高品質の第２のデータに変換するデータ変換方法であって、
前記第１のデータから、前記第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記クラスタップのクラスに基づいて、前記第２のデータを生成する生成ステップと、
前記クラスタップとそのクラスに基づいて、前記クラスタップの特徴を検出し、その特徴に基づいて、前記生成ステップにおいて生成された前記第２のデータを補正する補正量を求める補正量算出ステップと、
前記補正量算出ステップにおいて求められた前記補正量によって、前記生成ステップにおいて生成された前記第２のデータを補正する補正ステップと
を備えることを特徴とするデータ変換方法。
【請求項１４】
第１のデータを、前記第１のデータよりも高品質の第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムであって、
前記第１のデータから、前記第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記クラスタップのクラスに基づいて、前記第２のデータを生成する生成ステップと、
前記クラスタップとそのクラスに基づいて、前記クラスタップの特徴を検出し、その特徴に基づいて、前記生成ステップにおいて生成された前記第２のデータを補正する補正量を求める補正量算出ステップと、
前記補正量算出ステップにおいて求められた前記補正量によって、前記生成ステップにおいて生成された前記第２のデータを補正する補正ステップと
を備えることを特徴とするプログラム。
【請求項１５】
第１のデータを、前記第１のデータよりも高品質の第２のデータに変換するデータ変換処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第１のデータから、前記第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、
前記クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記クラスタップのクラスに基づいて、前記第２のデータを生成する生成ステップと、
前記クラスタップとそのクラスに基づいて、前記クラスタップの特徴を検出し、その特徴に基づいて、前記生成ステップにおいて生成された前記第２のデータを補正する補正量を求める補正量算出ステップと、
前記補正量算出ステップにおいて求められた前記補正量によって、前記生成ステップにおいて生成された前記第２のデータを補正する補正ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
【請求項１６】
第１のデータを前記第１のデータよりも高品質の第２のデータに変換して得られる前記第２のデータを補正する補正量を求めるための補正情報を学習する学習装置であって、
学習用のデータから、学習の教師となる、前記第２のデータに対応する教師データと、学習の生徒となる、前記第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成手段と、
前記生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、
前記生徒データと、その生徒データのクラスを代表する、前記第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算手段と、
前記生徒データに対応する教師データと、その生徒データのクラスを代表する、前記第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算手段と、
前記第１と第２の関係を対応付ける前記補正情報を学習する学習手段と
を備えることを特徴とする学習装置。
【請求項１７】
前記第１の関係演算手段は、前記生徒データのクラスを代表する、前記第１のデータについての第１の代表データの、前記生徒データに対する第１の誤差を、前記第１の関係として求め、
前記第２の関係演算手段は、
前記生徒データのクラスを代表する、前記第２のデータについての第２の代表データの、前記生徒データに対応する前記教師データに対する第２の誤差を、前記第２の関係として求める
ことを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記第１の関係演算手段は、前記生徒データのクラスを代表する、前記第１のデータについての第１の代表データの変化の割合の、前記生徒データの変化の割合に対する第１の誤差を表す角度を、前記第１の関係として求め、
前記第２の関係演算手段は、
前記生徒データのクラスを代表する、前記第２のデータについての第２の代表データの変化の割合の、前記生徒データに対応する前記教師データの変化の割合に対する第２の誤差を表す角度を、前記第２の関係として求める
ことを特徴とする請求項１６に記載の学習装置。
【請求項１９】
前記クラス分類手段は、
前記複数のクラスそれぞれについて、各クラスを代表する、前記第１のデータについての第１の代表データに、対応するクラスを表すクラスコードを割り当てた割り当て情報を記憶する記憶手段と、
前記割り当て情報に基づいて、前記生徒データと、前記複数のクラスの第１の代表データそれぞれとの距離を求め、その距離を最小にする前記第１の代表データに割り当てられたクラスコードを出力する距離演算手段と
を有する
ことを特徴とする請求項１６に記載の学習装置。
【請求項２０】
前記第１および第２のデータは、画像データである
ことを特徴とする請求項１６記載の学習装置。
【請求項２１】
第１のデータを前記第１のデータよりも高品質の第２のデータに変換して得られる前記第２のデータを補正する補正量を求めるための補正情報を学習する学習方法であって、
学習用のデータから、学習の教師となる、前記第２のデータに対応する教師データと、学習の生徒となる、前記第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、
前記生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記生徒データと、その生徒データのクラスを代表する、前記第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、前記生徒データに対応する教師データと、その生徒データのクラスを代表する、前記第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、
前記第１と第２の関係を対応付ける前記補正情報を学習する学習ステップと
を備えることを特徴とする学習方法。
【請求項２２】
第１のデータを前記第１のデータよりも高品質の第２のデータに変換して得られる前記第２のデータを補正する補正量を求めるための補正情報を学習する学習処理を、コンピュータに行わせるプログラムであって、
学習用のデータから、学習の教師となる、前記第２のデータに対応する教師データと、学習の生徒となる、前記第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、
前記生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記生徒データと、その生徒データのクラスを代表する、前記第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、
前記生徒データに対応する教師データと、その生徒データのクラスを代表する、前記第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、
前記第１と第２の関係を対応付ける前記補正情報を学習する学習ステップと
を備えることを特徴とするプログラム。
【請求項２３】
第１のデータを前記第１のデータよりも高品質の第２のデータに変換して得られる前記第２のデータを補正する補正量を求めるための補正情報を学習する学習処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
学習用のデータから、学習の教師となる、前記第２のデータに対応する教師データと、学習の生徒となる、前記第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、
前記生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
前記生徒データと、その生徒データのクラスを代表する、前記第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、
前記生徒データに対応する教師データと、その生徒データのクラスを代表する、前記第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、
前記第１と第２の関係を対応付ける前記補正情報を学習する学習ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関し、特に、例えば、低解像度の画像データを高解像度の画像データに変換すること等ができるようにするデータ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
例えば、画像データについて、その画像データを、複数のクラスのうちのいずれかにクラス分けするクラス分類（クラスタリング）を行い、そのクラスに対応する処理を行う画像処理方法がある。
【０００３】
このような画像処理方法によれば、例えば、いま、画像データのアクティビティに基づいてクラス分類を行うこととした場合に、変化の激しい画像データなどのアクティビティの高い画像データと、平坦な画像データなどのアクティビティの低い画像データとを別のクラスにクラス分類することができ、その結果、アクティビティの高い画像データと、アクティビティの低い画像データに対して、それぞれに適した画像処理を施すことが可能となる。
【０００４】
【発明が解決しようとする課題】
上述のようなクラス分類を行う画像処理によれば、各クラスに分類される画像データごとに、そのクラスの画像データに適した画像処理を施すことができる。
従って、理論的には、クラス数は多いほど、各クラスに分類される画像データに対して、より適した処理を施すことができる。
【０００５】
しかしながら、クラス数が膨大な数になると、クラスに応じて行われる画像処理のパターンも膨大になり、装置が大規模化することになる。即ち、例えば、上述のように、アクティビティに基づいてクラス分類を行う場合には、そのアクティビティが取り得る値の数と同一の数のクラスを用意することにより、各アクティビティの画像データに対して、そのアクティビティに適した画像処理を施すことができる。しかしながら、アクティビティとして、例えば、水平方向に並ぶ複数の画素の隣接するものどうしのＮ個の差分値を採用した場合、その差分値がＫビットであれば、全クラス数は、（２K）Nクラスという膨大な数になる。
【０００６】
このため、クラス分類は、例えば、ADRC(Adaptive Dynamic Range Coding)等の、何らかの圧縮処理を利用して行われる。
【０００７】
即ち、ADRCを利用したクラス分類では、クラス分類に用いられるデータ（以下、適宜、クラスタップという）としての、例えば、上述したような、Ｎ個の差分値が、ADRC処理され、その結果得られるADRCコードにしたがって、クラスが決定される。
【０００８】
なお、KビットADRCにおいては、例えば、クラスタップを構成するデータの値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するデータの値がKビットに再量子化される。即ち、クラスタップを構成するデータの値の中から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するデータについてのKビットの値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各データは、最小値MINが減算された後に、（最大値MAX−最小値MIN）／２で除算され、これにより、各データが１ビットとされる（２値化される）。そして、その１ビットのデータを所定の順番で並べたビット列が、ADRCコードとして出力される。
【０００９】
ここで、クラス分類は、ADRC処理の他、例えば、ベクトル量子化等によって行うことも可能である。
【００１０】
上述のように、圧縮処理を利用してクラス分類を行う場合には、クラス数を少なくすることができる。しかしながら、その反面、圧縮処理を行わずにクラス分類を行う場合に比較して、いわば細かなクラス分けを行うことができなくなり、画像データに適切な処理を施すことができなくなることがある。
【００１１】
即ち、例えば、いま、画像データのクラス分類をベクトル量子化を利用して行い、各クラスごとに、画像データを生成する画像処理を考える。
【００１２】
この場合、画像データが、複数の画素のブロックに分割され、各ブロックについて、そのブロックを構成する複数の画素（画素値）をコンポーネントとするベクトル（以下、適宜、ブロックベクトルという）が構成される。さらに、そのブロックベクトルが、あらかじめ求められたコードブックを用いてベクトル量子化され、そのベクトル量子化結果としてのコード（シンボル）が、そのブロックベクトルのクラスを表すクラスコードとして出力される。
【００１３】
そして、クラスコードごとに、画像データが生成される。即ち、クラスコードが、コードブックを用いてベクトル逆量子化され、そのクラスコードに対応するコードベクトルが求められる。そして、そのコードベクトルのコンポーネントを画素とするブロックが求められ、そのブロックを、対応する位置に配置することで、画像データが生成される。
【００１４】
ここで、ベクトル逆量子化は、ベクトル量子化で用いられたのと同一のコードブックを用いて行うことができる他、例えば、ベクトル量子化で用いられたのと異なるコードブックを用いて行うことも可能である。即ち、ベクトル逆量子化では、例えば、ベクトル量子化で用いられるコードブックを作成するのに用いられた画像データよりも高画質の画像データを用いて求められたコードブックを用いて行うことが可能である。
【００１５】
この場合、クラスコードがベクトル逆量子化されることにより、そのベクトル逆量子化に用いられたコードブックの作成に用いられた画像データに対応する画質の画像データ、即ち、高画質の画像データが求められる。
【００１６】
しかしながら、いま、ベクトル逆量子化によって得られる高画質の画像データに対して、ベクトル量子化の対象となる画像データを、低画質の画像データというものとすると、上述の画像処理では、低画質の画像データのブロックベクトルのうちの、同一のクラスコードにベクトル量子化されるものは、すべて、同一のコードベクトル、即ち、同一の高画質の画像データのブロックベクトルにベクトル逆量子化される。つまり、ベクトル逆量子化で求められるコードベクトルは、いわゆる量子化誤差を有する。従って、上述の画像処理で生成される画像データは、高画質であると言っても、ベクトル逆量子化用のコードブック作成に用いられた高画質の画像データの画質からすれば、量子化誤差の分だけ画質が劣化したものとなる。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、クラス分類によって、高品質のデータを得ることができるようにするものである。
【００１８】
【課題を解決するための手段】
本発明のデータ変換装置は、第１のデータから、第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出手段と、クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、クラスタップのクラスに基づいて、第２のデータを生成する生成手段と、クラスタップとそのクラスに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、生成手段において生成された第２のデータを補正する補正量を求める補正量算出手段と、補正量算出手段において求められた補正量によって、生成手段において生成された第２のデータを補正する補正手段とを備えることを特徴とする。
【００１９】
本発明のデータ変換方法は、第１のデータから、第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、クラスタップのクラスに基づいて、第２のデータを生成する生成ステップと、クラスタップとそのクラスに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、生成ステップにおいて生成された第２のデータを補正する補正量を求める補正量算出ステップと、補正量算出ステップにおいて求められた補正量によって、生成ステップにおいて生成された第２のデータを補正する補正ステップとを備えることを特徴とする。
【００２０】
本発明の第１のプログラムは、第１のデータから、第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、クラスタップのクラスに基づいて、第２のデータを生成する生成ステップと、クラスタップとそのクラスに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、生成ステップにおいて生成された第２のデータを補正する補正量を求める補正量算出ステップと、補正量算出ステップにおいて求められた補正量によって、生成ステップにおいて生成された第２のデータを補正する補正ステップとを備えることを特徴とする。
【００２１】
本発明の第１の記録媒体は、第１のデータから、第１のデータをクラス分けするのに用いるクラスタップを抽出するクラスタップ抽出ステップと、クラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、クラスタップのクラスに基づいて、第２のデータを生成する生成ステップと、クラスタップとそのクラスに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、生成ステップにおいて生成された第２のデータを補正する補正量を求める補正量算出ステップと、補正量算出ステップにおいて求められた補正量によって、生成ステップにおいて生成された第２のデータを補正する補正ステップとを備えるプログラムが記録されていることを特徴とする。
【００２２】
本発明の学習装置は、学習用のデータから、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成手段と、生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、生徒データと、その生徒データのクラスを代表する、第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算手段と、生徒データに対応する教師データと、その生徒データのクラスを代表する、第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算手段と、第１と第２の関係を対応付ける補正情報を学習する学習手段とを備えることを特徴とする。
【００２３】
本発明の学習方法は、学習用のデータから、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、生徒データと、その生徒データのクラスを代表する、第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、生徒データに対応する教師データと、その生徒データのクラスを代表する、第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、第１と第２の関係を対応付ける補正情報を学習する学習ステップとを備えることを特徴とする。
【００２４】
本発明の第２のプログラムは、学習用のデータから、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、生徒データと、その生徒データのクラスを代表する、第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、生徒データに対応する教師データと、その生徒データのクラスを代表する、第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、第１と第２の関係を対応付ける補正情報を学習する学習ステップとを備えることを特徴とする。
【００２５】
本発明の第２の記録媒体は、学習用のデータから、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとの組み合わせである学習対データを生成する学習対データ生成ステップと、生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、生徒データと、その生徒データのクラスを代表する、第１のデータについての第１の代表データとの第１の関係を求める第１の関係演算ステップと、生徒データに対応する教師データと、その生徒データのクラスを代表する、第２のデータについての第２の代表データとの第２の関係を求める第２の関係演算ステップと、第１と第２の関係を対応付ける補正情報を学習する学習ステップとを備えるプログラムが記録されていることを特徴とする。
【００２６】
本発明のデータ変換装置およびデータ変換方法、並びに第１のプログラムおよび第１の記録媒体においては、第１のデータから、第１のデータをクラス分けするのに用いるクラスタップが抽出され、そのクラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類が行われる。さらに、クラスタップのクラスに基づいて、第２のデータが生成されるとともに、クラスタップとそのクラスに基づいて、クラスタップの特徴が検出され、その特徴に基づいて、第２のデータを補正する補正量が求められる。そして、その補正量によって、第２のデータが補正される。
【００２７】
本発明の学習装置および学習方法、並びに第２のプログラムおよび第２の記録媒体においては、学習用のデータから、学習の教師となる、第２のデータに対応する教師データと、学習の生徒となる、第１のデータに対応する生徒データとの組み合わせである学習対データが生成され、生徒データを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類が行われる。さらに、生徒データと、その生徒データのクラスを代表する、第１のデータについての第１の代表データとの第１の関係が求められ、生徒データに対応する教師データと、その生徒データのクラスを代表する、第２のデータについての第２の代表データとの第２の関係が求められる。そして、第１と第２の関係を対応付ける補正情報が学習される。
【００２８】
【発明の実施の形態】
図１は、本発明を適用したデータ変換装置の一実施の形態の構成例を示している。
【００２９】
このデータ変換装置においては、低解像度または標準解像度の画像（以下、適宜、ＳＤ(Standard Definition)画像という）が、高解像度の画像（以下、適宜、ＨＤ(High Definition)画像という）に変換されるようになっている。
【００３０】
即ち、タップ抽出部１には、変換対象のディジタルデータとしての、例えば、８ビットのＳＤ画像データが供給されるようになっている。ここで、ＳＤ画像データは、静止画であっても良いし、動画であっても良い。
【００３１】
タップ抽出部１は、そこに供給されるＳＤ画像データを構成する画素（以下、適宜、ＳＤ画素という）から、そのＳＤ画像データをクラス分けするのに用いるクラスタップとなる１以上の画素（画素値）（サンプル値）を抽出し、そのクラスタップを、クラス分類部２と補正量算出部４に供給する。
【００３２】
クラス分類部２は、タップ抽出部１から供給されるクラスタップに基づいて、そのクラスタップを複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、そのクラスタップのクラスを表すクラスコードを、データ生成部３と補正量算出部４に供給する。
【００３３】
データ生成部３は、クラス分類部２から供給されるクラスコードに基づいて、例えば、ＳＤ画像と同一ビット数である８ビットのＨＤ画像を構成する１以上の画素（以下、適宜、ＨＤ画素という）（の画素値）を生成し、データ補正部５に供給する。
【００３４】
補正量算出部４は、タップ抽出部１から供給されるクラスタップと、クラス分類部２から供給されるクラスコードに基づいて、タップ抽出部１から供給されるクラスタップの特徴を検出し、その特徴に基づいて、データ生成部３において生成されたＨＤ画素を補正する補正量を求めて、データ補正部５に供給する。
【００３５】
データ補正部５は、補正量算出部４から供給される補正量によって、データ生成部３から供給されるＨＤ画素を補正し、その補正後のＨＤ画素でなるＨＤ画像データを構成して出力する。
【００３６】
次に、図２のフローチャートを参照して、図１のデータ変換装置の処理について説明する。
【００３７】
まず最初に、ステップＳ１において、タップ抽出部１は、そこに供給されるＳＤ画像データから、クラスタップとしての１以上のＳＤ画素を抽出し、クラス分類部２と補正量算出部４に供給して、ステップＳ２に進む。ステップＳ２では、クラス分類部２が、タップ抽出部１からのクラスタップをクラス分類し、そのクラスを表すクラスコードを、データ生成部３と補正量算出部４に供給して、ステップＳ３に進む。
【００３８】
ステップＳ３では、データ生成部３が、クラス分類部２から供給されるクラスタップのクラスコードに基づいて、１以上のＨＤ画素（の画素値）を生成し、データ補正部５に供給して、ステップＳ４に進む。
【００３９】
ステップＳ４では、補正量算出部４が、タップ抽出部１から供給されるクラスタップと、クラス分類部２から供給される、そのクラスタップのクラスコードに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、データ生成部３において生成された１以上のＨＤ画素を補正する補正量を求めて、データ補正部５に供給する。
【００４０】
そして、ステップＳ５に進み、データ補正部５は、補正量算出部４から供給される補正量によって、データ生成部３から供給される１以上のＨＤ画素を補正し、ステップＳ６に進む。
【００４１】
ここで、データ補正部５は、データ生成部３から供給される１以上のＨＤ画素を補正した後、例えば、１フレーム（または１フィールド）分のＨＤ画素を保持するまで、その補正後のＨＤ画素を保持しており、１フレーム分のＨＤ画素を保持すると、そのＨＤ画素によって、１フレームのＨＤ画像データを構成して出力する。
【００４２】
ステップＳ６では、タップ抽出部１が、そこに供給されるＳＤ画像データを構成するＳＤ画素のうち、まだ、クラスタップとして抽出していないものがあるかどうかを判定する。
【００４３】
ステップＳ６において、ＳＤ画像データを構成するＳＤ画素のうち、まだ、クラスタップとして抽出していないものがあると判定された場合、ステップＳ１に戻り、タップ抽出部１は、そこに供給されるＳＤ画像データから、クラスタップとして抽出していない１以上のＳＤ画素を、新たなクラスタップとして抽出し、以下、同様の処理を繰り返す。
【００４４】
また、ステップＳ６において、タップ抽出部１に供給されるＳＤ画像データを構成するＳＤ画素のうち、まだ、クラスタップとして抽出していないものがないと判定された場合、処理を終了する。
【００４５】
ここで、本実施の形態では、データ変換装置において、例えば、図３に示すように、ＳＤ画像データ（図中、×印で示す）が、その横の画素数が２倍のＨＤ画像データ（図中、○印で示す）に変換されるものとする。さらに、本実施の形態では、タップ抽出部１において、ＳＤ画像データを構成するＳＤ画素から、横方向に隣接する２つのＳＤ画素ｐ1とｐ2がクラスタップとして抽出され、そのクラスタップに対して、データ生成部３において、横方向に隣接する４つのＨＤ画素ｑ1，ｑ2，ｑ3，ｑ4が生成されるものとする。即ち、データ生成部３では、ＳＤ画素ｐ1と同一位置のＨＤ画素ｑ1、ＳＤ画素ｐ1とｐ2の間の位置のＨＤ画素ｑ2、ＳＤ画素ｐ2と同一位置のＨＤ画素ｑ3、およびＳＤ画素ｐ2とその右隣のＳＤ画素の間の位置のＨＤ画素ｑ4が生成されるものとする。
【００４６】
なお、タップ抽出部１において抽出
（構成）されるクラスタップのタップ構造（クラスタップを構成するＳＤ画素）は、上述したタップ構造に限定されるものではない。即ち、図３では、隣り合う２つのＳＤ画素ｑ1とｑ2をクラスタップとして抽出することとしたが、クラスタップとするＳＤ画素は、２画素に限定されるものではなく、さらに、隣接していなくても良い。
【００４７】
また、クラスタップと、そのクラスタップのクラスコードから生成される１以上のＨＤ画素との関係も、上述したものに限定されるものではない。即ち、図３では、２つのＳＤ画素ｑ1とｑ2のクラスコードから、横方向に並ぶ４つのＨＤ画素ｑ1，ｑ2，ｑ3，ｑ4を生成することとしたが、生成されるＨＤ画素は、４画素に限定されるものではなく、さらに、その配置も、横方向に並んでなくても良い。
【００４８】
次に、図４は、図１のクラス分類部２とデータ生成部３の構成例を示している。
【００４９】
図４の実施の形態では、クラス分類部２は、ベクトル量子化部１１とコードブック記憶部１２で構成され、データ生成部３は、ベクトル逆量子化部２１とコードブック記憶部２２で構成されている。
【００５０】
クラス分類部２において、コードブック記憶部１２は、ベクトル量子化部１１のベクトル量子化に用いられるコードブック（以下、適宜、クラス分類用コードブックという）を記憶しており、ベクトル量子化部１１は、そのクラス分類用コードブックに基づいて、タップ抽出部１（図１）から供給されるクラスタップをベクトル量子化することによりクラス分類する。
【００５１】
即ち、コードブック記憶部１２は、例えば、図５Ａに示すように、複数のクラスそれぞれについて、各クラスを代表する、ＳＤ画像データについてのコードベクトル（以下、適宜、ＳＤコードベクトルという）（Ｐ1，Ｐ2）に、対応するクラスを表すクラスコード＃ｃを割り当てた割り当て情報としてのクラス分類用コードブックを記憶している。
【００５２】
そして、ベクトル量子化部１１は、タップ抽出部１から供給される、２つの画素ｐ1とｐ2でなるクラスタップを、その２つの画素ｐ1とｐ2をコンポーネントとするベクトル（以下、適宜、タップベクトルという）（ｐ1，ｐ2）とみなし、クラス分類用コードブックを用いてベクトル量子化する。
【００５３】
即ち、ベクトル量子化部１１は、タップベクトル（ｐ1，ｐ2）と、各クラスのＳＤコードベクトル（Ｐ1，Ｐ2）それぞれとの距離を求め、その距離を最小にするＳＤコードベクトル（Ｐ1，Ｐ2）に割り当てられたクラスコード＃ｃを、クラス分類用コードブックから検索して、クラス分類結果として出力する。
【００５４】
ここで、本実施の形態では、ベクトル量子化部１１によるベクトル量子化の対象になるタップベクトル（ｐ1，ｐ2）が２次元のベクトルであるため、図５Ａに示したクラス分類用コードブックのＳＤコードベクトル（Ｐ1，Ｐ2）も、２次元のベクトルになっている。
【００５５】
ベクトル量子化部１１が出力するクラスコードは、データ生成部３と補正量算出部４に供給される。
【００５６】
データ生成部３では、コードブック記憶部２２が、ベクトル逆量子化部２１のベクトル逆量子化に用いられるコードブック（以下、適宜、データ生成用コードブックという）を記憶しており、ベクトル逆量子化部２１は、そのデータ生成用コードブックに基づいて、ベクトル量子化部１１からから供給されるクラスコードをベクトル逆量子化することにより、ＨＤ画素を生成する。
【００５７】
即ち、コードブック記憶部２２は、例えば、図５Ｂに示すように、図５Ａのクラス分類用コードブックに登録されているのと同一のクラスそれぞれについて、各クラスを代表する、ＨＤ画像データについてのコードベクトル（以下、適宜、ＨＤコードベクトルという）（Ｑ1，Ｑ2，Ｑ3，Ｑ4）に、対応するクラスを表すクラスコード＃ｃを割り当てた割り当て情報としてのデータ生成用コードブックを記憶している。
【００５８】
そして、ベクトル逆量子化部２１は、ベクトル量子化部１１から供給されるクラスコード＃ｃを、データ生成用コードブックから検索し、そのクラスコード＃ｃに割り当てられているＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のコンポーネントＱ1，Ｑ2，Ｑ3，Ｑ4を、ＨＤ画素として、データ補正部５（図１）に出力する。
【００５９】
ここで、本実施の形態では、図３で説明したように、データ生成部３において、横方向に隣接する４つのＨＤ画素ｑ1，ｑ2，ｑ3，ｑ4が生成されるため、図５Ｂに示したデータ生成用コードブックのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）は、その４つのＨＤ画素ｑ1，ｑ2，ｑ3，ｑ4それぞれに対応する４つのコンポーネントＱ1，Ｑ2，Ｑ3，Ｑ4からなる４次元のベクトルになっている。
【００６０】
次に、図５Ａのクラス分類用コードブックと、図５Ｂのデータ生成用コードブックは、学習によってあらかじめ求められるようになっている。
【００６１】
そこで、図６は、クラス分類用コードブックおよびデータ生成用コードブック（以下、適宜、両方を含めて、単に、コードブックともいう）を求めるコードブック学習装置の構成例を示している。
【００６２】
学習用データベース３１には、コードブックの学習用にあらかじめ用意された学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、ＨＤ画像データを採用することができる。
【００６３】
教師データ生成部３２は、学習用データベース３１に記憶された学習用画像データから、コードブックの学習の教師となる教師データを生成する。即ち、教師データ生成部３２は、学習用画像データを構成するＨＤ画素を、図１のデータ生成部３で生成される４つのＨＤ画素と同一配置の４画素単位に区分し、その４画素単位のＨＤ画素を、教師データとして、生徒データ生成部３３と学習対記憶部３４に供給する。
【００６４】
生徒データ生成部３３は、教師データ生成部３２から供給される教師データから、コードブックの学習の生徒となる生徒データを生成する。即ち、生徒データ生成部３３は、例えば、教師データ生成部３２から供給される教師データとしての４つのＨＤ画素を２画素に間引き、さらに、ＬＰＦ(Low Pass Filter)によってフィルタリングすることで、２画素単位のＳＤ画素とする。即ち、生徒データ生成部３３は、図３に示した４画素単位のＨＤ画素ｑ1,ｑ2,ｑ3,ｑ4のうちの２番目のＨＤ画素ｑ2と４番目のＨＤ画素ｑ4を間引き、残りの２つのＨＤ画素ｑ1とｑ3をＬＰＦでフィルタリングすることにより、図３に示した２画素単位のＳＤ画素ｐ1とｐ2とする。そして、生徒データ生成部３３は、その２画素単位のＳＤ画素を、生徒データとして、学習対記憶部３４に供給する。
【００６５】
ここで、上述の場合には、生徒データと教師データとの対応関係を分かりやすくするため、４画素単位のＨＤ画素である教師データから、２画素単位のＳＤ画素である生徒データを生成するようにしたが、生徒データ生成部３３では、学習用データベース３１に記憶された学習用画像データとしてのＨＤ画像データについて、例えば、１フレーム単位で、画素間引きと、ＬＰＦによるフィルタリングを行い、その結果得られる１フレームのＳＤ画像データを、図１のタップ抽出部１でクラスタップとして抽出される２つのＳＤ画素と同一の配置の２画素単位に区分し、その２画素単位のＳＤ画素を、生徒データとして抽出するようにすることが可能である。
【００６６】
学習対記憶部３４は、教師データ生成部３２から供給される４画素単位のＨＤ画素としての教師データと、生徒データ生成部３３から供給される、その教師データから生成された２画素単位のＳＤ画素としての生徒データとの組み合わせを、コードブックの学習の対となる学習対データとして記憶する。
【００６７】
クラス分類用コードブック生成部３５は、学習対記憶部３４から、学習対データを順次読み出し、その学習対データのうちの生徒データを用いて、クラス分類用コードブックを求めて（生成して）、クラス分類部３６に供給する。なお、このクラス分類用コードブック生成部３５で求められたクラス分類用コードブックが、図４のコードブック記憶部１２に記憶される。
【００６８】
クラス分類部３６は、図４に示したクラス分類部２と同様に構成されており、学習対記憶部３４に記憶された学習対データを順次読み出し、その生徒データをクラス分類する。さらに、クラス分類部３６は、そのクラス分類の結果得られるクラスコードを、対応する学習対データとともに、コード対教師情報記憶部３７に供給する。
【００６９】
コード対教師情報記憶部３７は、クラス分類部３６から供給される学習対データから教師データを抽出し、その教師データと、その学習対データとともにクラス分類部３６から供給されたクラスコードとを対応付けたコード対教師情報を生成して記憶する。従って、コード対教師データ情報は、生徒データのクラスを表すクラスコードと、その生徒データに対応する教師データとを対応付けたものとなっている。
【００７０】
データ生成用コードブック生成部３８は、コード対教師情報記憶部３７からコード対教師情報を順次読み出し、そのコード対教師情報を用いて、データ生成用コードブックを求める（生成する）。なお、このデータ生成用コードブック生成部３８で求められたデータ生成用コードブックが、図４のコードブック記憶部２２に記憶される。
【００７１】
次に、図７のフローチャートを参照して、図６のコードブック学習装置の処理について説明する。
【００７２】
まず最初に、ステップＳ１１において、教師データ生成部３２が、学習用データベース３１に記憶された学習用画像データから教師データを生成し、生徒データ生成部３３と学習対記憶部３４に供給する。また、ステップＳ１１では、生徒データ生成部３３が、教師データ生成部３２から供給される教師データから生徒データを生成し、学習対記憶部３４に供給する。さらに、ステップＳ１１では、学習対記憶部３４が、教師データ生成部３２から供給される教師データと、生徒データ生成部３３から供給される、その教師データに対応する生徒データとを組み合わせることにより、学習対データを生成して記憶する。
【００７３】
ここで、図８Ａに、学習対記憶部３４が記憶する学習対データを示す。学習対記憶部３４では、図８Ａに示すように、４画素単位のＨＤ画素（ｑ1，ｑ2，ｑ3，ｑ4）としての教師データと、その教師データに対応する２画素単位のＳＤ画素（ｐ1，ｐ2）としての生徒データとの組み合わせである学習対データが記憶される。なお、図８Ａでは、Ｎセットの学習対データが記憶されている。また、図８Ａにおいて、教師データ（ｑ1（ｉ），ｑ2（ｉ），ｑ3（ｉ），ｑ4（ｉ））、および生徒データ（ｐ1（ｉ），ｐ2（ｉ））における括弧（）内の変数ｉは、そのデータが、ｉ番目のデータであることを表す。
【００７４】
ステップＳ１１において、学習用データベース３１に記憶された学習用データすべてについて、学習対データが生成され、学習対記憶部３４に記憶されると、ステップＳ１２に進み、クラス分類用コードブック生成部３５は、学習対記憶部３４に記憶された学習対データにおける生徒データを用いて、クラス分類用コードブックを求める。
【００７５】
即ち、クラス分類用コードブック生成部３５は、学習対データにおける生徒データとしての２つのＳＤ画素をコンポーネントとするベクトルを用いて、例えば、ＬＢＧ(Linde Buzo Gray)アルゴリズムにしたがい、クラスを表すクラスコード＃ｃと、そのクラスを代表するＳＤコードベクトル（Ｐ1，Ｐ2）とを対応付けた、図５Ａに示したクラス分類用コードブックを生成し、クラス分類部３６に供給する。
【００７６】
その後、ステップＳ１３に進み、クラス分類部３６が、学習対記憶部３４に記憶された学習対データを順次読み出し、その生徒データをクラス分類する。さらに、クラス分類部３６は、そのクラス分類の結果得られるクラスコードを、対応する学習対データとともに、コード対教師情報記憶部３７に供給する。コード対教師情報記憶部３７は、クラス分類部３６から供給される学習対データから教師データを抽出し、その教師データと、その学習対データとともにクラス分類部３６から供給されたクラスコードとを対応付けたコード対教師情報を生成して記憶する。
【００７７】
ここで、図８Ｂは、コード対教師情報記憶部３７が生成するコード対教師情報を示している。コード対教師情報においては、図８Ｂに示すように、生徒データのクラスを表すクラスコード＃ｃと、その生徒データに対応する、４画素単位のＨＤ画素としての教師データ（ｑ1，ｑ2，ｑ3，ｑ4）とが対応付けられている。なお、図８Ｂのコード対教師情報は、図８Ａの学習対データに対応したものとなっている。即ち、図８Ｂにおいて、教師データ（ｑ1（ｉ），ｑ2（ｉ），ｑ3（ｉ），ｑ4（ｉ））は、図８Ａに示したものと同一のものであり、ｉ番目の教師データ（ｑ1（ｉ），ｑ2（ｉ），ｑ3（ｉ），ｑ4（ｉ））に対応付けられているクラスコード＃ｃiは、図８Ａのｉ番目の生徒データ（ｐ1（ｉ），ｐ2（ｉ））のクラスコードである。
【００７８】
ステップＳ１３において、すべての学習対データについて、コード対教師情報が得られると、ステップＳ１４に進み、データ生成用コードブック生成部３８が、コード対教師情報記憶部３７に記憶されたコード対教師情報を用いて、データ生成用コードブックを求め、処理を終了する。
【００７９】
即ち、データ生成用コードブック生成部３８は、例えば、コード対教師情報から、同一のクラスコード＃ｃの教師データを求め、さらに、その教師データの重心を求める。具体的には、例えば、同一のクラスコード＃ｃの教師データがＭ個存在するとして、そのｍ番目の教師データを、（ｑ1（ｍ）（ｃ），ｑ2（ｍ）（ｃ），ｑ3（ｍ）（ｃ），ｑ4（ｍ）（ｃ））と表すこととすると、データ生成用コードブック生成部３８は、（Σｑ1（ｍ）（ｃ）／Ｍ，Σｑ2（ｍ）（ｃ）／Ｍ，Σｑ3（ｍ）（ｃ）／Ｍ，Σｑ4（ｍ）（ｃ）／Ｍ）で表される、クラスコード＃ｃの教師データの重心を求める。ここで、Σは、ｍを１からＭに変えてのサメーションを表す。
【００８０】
そして、データ生成用コードブック生成部３８は、クラスコード＃ｃの教師データの重心を、クラスコード＃ｃで表されるクラスを代表する、ＨＤ画像データについてのコードベクトル（ＨＤコードベクトル）（Ｑ1，Ｑ2，Ｑ3，Ｑ4）として、クラスコード＃ｃに対応付ける。データ生成用コードブック生成部３８は、他の値のクラスコードについても、同様にして、ＨＤコードベクトルを求め、各クラスについて、クラスコードとＨＤコードベクトルとを対応付けた、図５Ｂに示したデータ生成用コードブックを生成する。
【００８１】
なお、上述の場合には、クラス分類用コードブック生成部３５において、ベクトル量子化に用いられるコードブック生成に利用される手法の１つであるＬＢＧアルゴリズムにしたがい、クラス分類用コードブックを生成するようにしたが、クラス分類用コードブックは、ベクトル量子化に用いられるコードブック生成に利用される手法以外の手法で生成しても良い。即ち、クラス分類用コードブックは、例えば、図９に示すようにして生成することが可能である。
【００８２】
ここで、図９においては、生徒データとしての２つのＳＤ画素ｐ1とｐ2を表現する２次元空間（以下、適宜、ＳＤ画像空間という）が格子状に区切られることにより、矩形状の領域ｒ（ｉ，ｊ）が構成されている。なお、図９では、ＳＤ画素ｐ1とｐ2の画素値が、それぞれ横軸と縦軸にとられている。本実施の形態では、ＳＤ画像データは、上述したように、８ビットの画像データであるから、ＳＤ画像空間における横軸および縦軸が取り得る値は、例えば、０乃至２５５（＝２8−１）である。また、図９において、ｒ（ｉ，ｊ）は、ＳＤ画像空間において、左からｉ番目で、下からｊ番目の領域を表し、各領域ｒ（ｉ，ｊ）には、クラスを表すユニークなクラスコード＃ｃが割り当てられている。
【００８３】
クラス分類用コードブック生成部３５は、各領域ｒ（ｉ，ｊ）について、その領域ｒ（ｉ，ｊ）内の点として表される生徒データを求め、さらに、例えば、その生徒データの重心を求める。即ち、いま、領域ｒ（ｉ，ｊ）内の点として表される生徒データとしての２つのＳＤ画素ｐ1とｐ2のセットがＫセットあり、そのｋ番目の生徒データを、（ｐ1,r(i,j)（ｋ），ｐ2,r(i,j)（ｋ））と表すと、クラス分類用コードブック生成部３５は、（Σｐ1,r(i,j)（ｋ）／Ｋ，Σｐ2,r(i,j)（ｋ）／Ｋ）で表される、領域ｒ（ｉ，ｊ）に割り当てられたクラスコード＃ｃの生徒データの重心を求める。ここで、Σは、ｋを１からＫに変えてのサメーションを表す。
【００８４】
そして、クラス分類用コードブック生成部３５は、クラスコード＃ｃの生徒データの重心を、クラスコード＃ｃで表されるクラスを代表する、ＳＤ画像データについてのコードベクトル（ＳＤコードベクトル）（Ｐ1，Ｐ2）として、クラスコード＃ｃに対応付ける。クラス分類用コードブック生成部３５は、他の値のクラスコードが割り当てられた領域ｒ（ｉ，ｊ）についても、同様にして、ＳＤコードベクトルを求め、各クラスについて、クラスコードとＳＤコードベクトルとを対応付けた、図５Ａに示したクラス分類用コードブックを生成する。
【００８５】
ところで、いま、教師データとしての４つのＨＤ画素ｑ1，ｑ2，ｑ3，ｑ4を表現する４次元空間を、ＨＤ画像空間というものとすると、教師データは、そのＨＤ画像空間上の点を表すベクトルとして表現することができる。また、生徒データも、上述のＳＤ空間上の点を表すベクトルとして表現することができる。さらに、タップ抽出部１で得られる２画素単位のＳＤ画素ｐ1，ｐ2でなるクラスタップ、即ち、タップベクトル（ｐ1，ｐ2）は、生徒データに対応するものであるから、タップベクトル（ｐ1，ｐ2）も、生徒データと同様に、ＳＤ画像空間上の点を表すベクトルとして表現される。
【００８６】
図４のベクトル量子化部１１では、図１０Ａに示すように、ＳＤ画像空間において、タップベクトル（ｐ1，ｐ2）との距離を最小にするＳＤコードベクトル（Ｐ1，Ｐ2）が検出され、そのＳＤコードベクトル（Ｐ1，Ｐ2）のクラスコード＃ｃが出力される。そして、図４のベクトル逆量子化部２１では、図１０Ｂに示すように、ＨＤ画像空間における、クラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が求められ、そのコンポーネントＱ1，Ｑ2，Ｑ3，Ｑ4が、４つのＨＤ画素として出力される。
【００８７】
ここで、図１０においては（後述する図１６においても同様）、４次元空間を図示することが困難であるため、３つのＨＤ画素ｑ1，ｑ2，ｑ3それぞれを軸とする３次元空間を、ＨＤ画像空間として図示してある。
【００８８】
ところで、ＳＤ画像空間におけるＳＤコードベクトル（Ｐ1，Ｐ2）は、クラスコード＃ｃにクラス分類（本実施の形態では、ベクトル量子化）されるタップベクトル（ｐ1，ｐ2）とは一致しない場合がほとんどである。これは、ＳＤコードベクトル（Ｐ1，Ｐ2）が、クラスコード＃ｃのクラスに属する、ＳＤ画像空間上の複数の点（ベクトル）を代表するベクトルであるためである。
【００８９】
また、いま、ＳＤ画像空間におけるあるタップベクトル（ｐ1，ｐ2）のコンポーネントである２つのＳＤ画素ｐ1，ｐ2に対して、その２つのＳＤ画素ｐ1，ｐ2に対応する４つのＨＤ画素の真値ｑ1，ｑ2，ｑ3，ｑ4が存在すると仮定すると、即ち、４つのＨＤ画素の真値ｑ1，ｑ2，ｑ3，ｑ4を、図６の生徒データ生成部３３で処理して得られる２つのＳＤ画素ｐ1，ｐ2をコンポーネントとするベクトルが、タップベクトルであると仮定すると、タップベクトル（ｐ1，ｐ2）のクラスを表すクラスコード＃ｃの、ＨＤ画像空間におけるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）も、タップベクトル（ｐ1，ｐ2）に対応する４つのＨＤ画素の真値ｑ1，ｑ2，ｑ3，ｑ4をコンポーネントとするベクトル（以下、適宜、真値ベクトルという）（ｑ1，ｑ2，ｑ3，ｑ4）に一致しない場合がほとんどである。これも、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が、クラスコード＃ｃのクラスに属する、ＨＤ画像空間上の複数の点（ベクトル）を代表するベクトルであるためである。
【００９０】
以上から、データ生成部３のベクトル逆量子化部２１（図４）が出力するＨＤ画素で構成されるＨＤ画像データは、一般には、真値に一致せず、その結果、画質の劣化したものとなる。
【００９１】
即ち、図４では、ベクトル量子化部１１においてクラスコード＃ｃにクラス分類されるクラスタップについては、すべて、ベクトル逆量子化部２１において、クラスコード＃ｃのＨＤコードベクトルが出力される。つまり、図４のクラス分類部２およびデータ生成部３では、クラスコード＃ｃのクラスに属する２つのＳＤ画素ｐ1，ｐ2の組み合わせは、すべて、クラスコード＃ｃのクラスを代表するＨＤコードベクトルのコンポーネントである４つのＨＤ画素Ｑ1，Ｑ2，Ｑ3，Ｑ4に変換されることとなり、そのようなＨＤ画素で構成されるＨＤ画像データは、真値のＨＤ画像データに対して画質の劣化したものとなる。
【００９２】
そこで、図１のデータ変換装置では、データ補正部５において、データ生成部３が出力するＨＤ画素を、より真値に近いＨＤ画素に補正するようになっている。
【００９３】
即ち、図１０Ｂにおいて、クラスコード＃ｃのクラスに分類されるタップベクトル（ｐ1，ｐ2）に対応する４つのＨＤ画素の真値ｑ1，ｑ2，ｑ3，ｑ4をコンポーネントとする真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）から、クラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を減算したベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）（＝（ｑ1−Ｑ1，ｑ2−Ｑ2，ｑ3−Ｑ3，ｑ4−Ｑ4））を、ＨＤ誤差ベクトルというものとすると、このＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）は、クラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）の、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）に対する誤差（以下、適宜、ＨＤ誤差という）を表すから、クラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）に対応する補正量だけ補正してやれば、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）を得ることができる。
【００９４】
この場合、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）が存在すれば、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を求めることができるから、その誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）によって、クラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を、容易に、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）に補正することができるが、図１のデータ変換装置において処理が行われる場合には、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）は存在しないため、どのようにして、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）に対応する補正量を、精度良く推定するかが問題となる。
【００９５】
ところで、クラス分類部２では、タップベクトル（ｐ1，ｐ2）がクラス分類され、そのクラスを表すクラスコード＃ｃとされるが、このクラスコード＃ｃのクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を、タップベクトル（ｐ1，ｐ2）から減算したベクトル（△ｐ1，△ｐ2）（＝（ｐ1−Ｐ1，ｐ2−Ｐ2））を、ＳＤ誤差ベクトルというものとすると、このＳＤ誤差ベクトル（△ｐ1，△ｐ2）は、クラスコード＃ｃのクラスのＳＤコードベクトル（Ｐ1，Ｐ2）の、タップベクトル（ｐ1，ｐ2）に対する誤差（以下、適宜、ＳＤ誤差という）を表す。
【００９６】
一方、タップベクトル（ｐ1，ｐ2）と真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）とは、タップベクトル（ｐ1，ｐ2）が、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）を、図６の生徒データ生成部３３で処理して得られるものであるから、大きな相関を有する。また、クラスコード＃ｃのＳＤコードベクトル（Ｐ1，Ｐ2）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）とは、ＳＤコードベクトル（Ｐ1，Ｐ2）が、クラスコード＃ｃのクラスに属する生徒データの重心であり、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が、クラスコード＃ｃのクラスに属する生徒データに対応する教師データの重心であるから、やはり、大きな相関を有する。
【００９７】
従って、タップベクトル（ｐ1，ｐ2）とＳＤコードベクトル（Ｐ1，Ｐ2）から求められるＳＤ誤差ベクトル（△ｐ1，△ｐ2）と、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）から求められるＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）も、大きな相関を有している。
【００９８】
以上から、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）に対応する補正量は、そのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）と大きな相関を有するＳＤ誤差ベクトル（△ｐ1，△ｐ2）に基づき、精度良く推定することができる。
【００９９】
ここで、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）は、タップ抽出部１に供給されるＳＤ画像データから生成されるタップベクトル（ｐ1，ｐ2）と、そのタップベクトル（ｐ1，ｐ2）のクラスから一意に特定されるＳＤコードベクトル（Ｐ1，Ｐ2）とから求めることができる。従って、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）は、タップベクトル（ｐ1，ｐ2）の特徴を表しているということができ、この場合、補正量は、タップベクトル（ｐ1，ｐ2）の特徴から、精度良く推定することができるということができる。
【０１００】
図１１は、上述のように、タップベクトル（ｐ1，ｐ2）の特徴に基づいて、補正量を推定し、その補正量によって、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を補正する、図１の補正量算出部４およびデータ補正部５の第１の構成例を示している。
【０１０１】
図１１の実施の形態では、補正量算出部４は、クラス分類用コードブック記憶部４１、特徴抽出部４２、およびＨＤ誤差推定部４３で構成され、データ補正部５は、加算部５１で構成されている。
【０１０２】
補正量算出部４では、クラス分類用コードブック記憶部４１が、図４のクラス分類部２におけるコードブック記憶部１２と同一のクラス分類用コードブック（図５Ａ）を記憶しており、そこには、クラス分類部２が出力するタップベクトル（ｐ1，ｐ2）のクラスコード＃ｃが供給される。クラス分類用コードブック記憶部４１は、クラス分類部２から供給されるクラスコード＃ｃに対応付けられているＳＤコードベクトル（Ｐ1，Ｐ2）、即ち、そのクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を、特徴抽出部４２に供給する。
【０１０３】
特徴抽出部４２には、クラス分類用コードブック記憶部４１から、タップベクトルのクラスのＳＤコードベクトル（Ｐ1，Ｐ2）が供給される他、タップ抽出部１が出力するタップベクトル（ｐ1，ｐ2）も供給される。特徴抽出部４２は、タップベクトル（ｐ1，ｐ2）から、そのタップベクトル（ｐ1，ｐ2）のクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を減算することにより、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）（＝（ｐ1−Ｐ1，ｐ2−Ｐ2）を求め、そのＳＤ誤差ベクトル（△ｐ1，△ｐ2）を、タップベクトル（ｐ1，ｐ2）の特徴として、ＨＤ誤差推定部４３に供給する。
【０１０４】
ＨＤ誤差推定部４３は、特徴抽出部４２から供給される、タップベクトル（ｐ1，ｐ2）の特徴としてのＳＤ誤差ベクトル（△ｐ1，△ｐ2）に基づいて、真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）から、タップベクトル（ｐ1，ｐ2）のクラスのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を減算したＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を推定する。
【０１０５】
即ち、本実施の形態では、図３に示したように、データ生成部３（図１）において、ＳＤ画素ｐ1と同一位置のＨＤ画素ｑ1、ＳＤ画素ｐ1とｐ2の間の位置のＨＤ画素ｑ2、ＳＤ画素ｐ2と同一位置のＨＤ画素ｑ3、およびＳＤ画素ｐ2とその右隣のＳＤ画素の間の位置のＨＤ画素ｑ4が生成される。
【０１０６】
そこで、ＨＤ誤差推定部４３は、ＨＤ画素ｑ1についてのＨＤ誤差△ｑ1を、例えば、そのＨＤ画素ｑ1と同一位置のＳＤ画素ｐ1についてのＳＤ誤差△ｐ1と同程度であると推定する。さらに、ＨＤ誤差推定部４３は、ＨＤ画素ｑ3についてのＨＤ誤差△ｑ3も、そのＨＤ画素ｑ3と同一位置のＳＤ画素ｐ2についてのＳＤ誤差△ｐ2と同程度であると推定する。即ち、ＨＤ誤差推定部４３は、ＨＤ誤差△ｑ1を、ＳＤ誤差△ｐ1と同一値に推定するとともに、ＨＤ誤差△ｑ3を、ＳＤ誤差△ｐ2と同一値に推定する。
【０１０７】
ところで、ＨＤ画素ｑ2とｑ4については、ＳＤ画像データにおいて、同一位置のＳＤ画素が存在しない。このため、そのＨＤ誤差△ｑ2と△ｑ4をどのように推定するかが問題となるが、ＨＤ画素ｑ2とｑ4は、タップベクトル（ｐ1，ｐ2）のコンポーネントとなっているＳＤ画素ｐ1やｐ2と同一位置の画素ではないが、近い位置（本実施の形態では、隣接する位置）の画素であり、従って、そのＨＤ誤差△ｑ2と△ｑ4は、ＳＤ画素ｐ1についてのＳＤ誤差△ｐ1や、ＳＤ画素ｐ2についてのＳＤ誤差△ｐ2と同様の傾向を有する。
【０１０８】
そこで、ＨＤ誤差推定部４３は、例えば、ＳＤ誤差△ｐ1と△ｐ2の相加平均値（△ｐ1＋△ｐ2）／２または相乗平均値（幾何平均値）√（△ｐ1×△ｐ2）を演算し、その相加平均値または相乗平均値を、ＨＤ誤差△ｑ2および△ｑ4と推定する。
【０１０９】
ＨＤ誤差推定部４３は、以上のようにして、ＨＤ誤差△ｑ1，△ｑ2，△ｑ3，△ｑ4を推定し、それらをコンポーネントとするＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を、補正量として、データ補正部５に供給する。
【０１１０】
データ補正部５では、加算部５１において、図４のデータ生成部３におけるベクトル逆量子化部２１から供給されるタップベクトル（ｐ1，ｐ2）のクラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を、そのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）に、ＨＤ誤差推定部４３からの補正量としてのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を加算することで補正する。
【０１１１】
いま、この補正後のＨＤコードベクトルを、ＨＤ補正ベクトル（ｑ1’，ｑ2’，ｑ3’，ｑ4’）というものとすると、図１１の実施の形態では、ＨＤ補正ベクトル（ｑ1’，ｑ2’，ｑ3’，ｑ4’）として、（Ｑ1＋△ｑ1，Ｑ2＋△ｑ2，Ｑ3＋△ｑ3，Ｑ4＋△ｑ4）が得られる。
【０１１２】
次に、図１２は、図１の補正量算出部４およびデータ補正部５の第２の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１２において、補正量算出部４は、補正情報記憶部６１が新たに設けられ、ＨＤ誤差推定部４３に代えて、ＨＤ誤差推定部６３が新たに設けられている他は、図１１における場合と同様に構成されている。また、図１２において、データ補正部５は、図１１における場合と同様に構成されている。
【０１１３】
従って、図１２の実施の形態でも、図１１における場合と同様に、クラス分類用コードブック記憶部４１および特徴抽出部４２において、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）が、タップベクトル（ｐ1，ｐ2）の特徴として求められ、ＨＤ誤差推定部６３に供給される。
【０１１４】
一方、補正情報記憶部６１は、データ補正部５においてＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を補正する補正量を求めるための補正情報を記憶している。ここで、この補正情報は、例えば、学習によって、クラスごとに求められたものであり、その学習方法については、後述する。
【０１１５】
補正情報記憶部６１には、クラス分類部２（図４）から、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃが供給されるようになっており、補正情報記憶部６１は、そこに記憶しているクラスごとの補正情報の中から、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃが表すクラスの補正情報を読み出し、ＨＤ誤差推定部６３に供給する。
【０１１６】
ＨＤ誤差推定部６３は、補正情報記憶部６１から供給される、タップベクトル（ｐ1，ｐ2）のクラスの補正情報と、特徴抽出部４２から供給される、タップベクトル（ｐ1，ｐ2）の特徴としてのＳＤ誤差ベクトル（△ｐ1，△ｐ2）とに基づき、補正量としてのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を推定し、データ補正部５に供給する。
【０１１７】
以下、データ補正部５では、図１１における場合と同様にして、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が、ＨＤ誤差推定部４３からの補正量としてのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）によって補正され、ＨＤ補正ベクトル（ｑ1’，ｑ2’，ｑ3’，ｑ4’）とされる。
【０１１８】
次に、図１３は、図１２の補正情報記憶部６１に記憶される補正情報を学習する補正情報学習装置の一実施の形態の構成例を示している。
【０１１９】
図１３の実施の形態において、学習用データベース７１、教師データ生成部７２、生徒データ生成部７３、学習対記憶部７４、クラス分類部７５は、図６の学習用データベース３１、教師データ生成部３２、生徒データ生成部３３、学習対記憶部３４、クラス分類部３６とそれぞれ同様に構成されるもので、図６における場合と同様の処理を行う。
【０１２０】
但し、図１３では、学習用データベース７１に記憶されている学習用画像データは、図６の学習用データベース３１に記憶されている学習用画像データと同一のＨＤ画像データでなくても良い。即ち、学習用データベース７１には、図６の学習用データベース３１に記憶されている学習用画像データと同一のＨＤ画像データを記憶させておくこともできるし、異なるＨＤ画像データを記憶させておくこともできる。
【０１２１】
また、クラス分類部７５においては、図６のコードブック学習装置においてあらかじめ求められたクラス分類用コードブックが記憶されており、そのクラス分類用コードブックを用いて、学習対記憶部７４に記憶された学習対データにおける生徒データ（ｐ1，ｐ2）のクラス分類が行われる。さらに、クラス分類部７５は、学習対データにおける生徒データ（ｐ1，ｐ2）のクラス分類を行うことにより得られるクラスコード＃ｃを出力する他、そのクラスコード＃ｃのＳＤコードベクトル（Ｐ1，Ｐ2）も出力するようになっている。
【０１２２】
データ生成部７６は、図４のデータ生成部３と同様に構成されており、クラス分類部７５が出力する、生徒データ（ｐ1，ｐ2）のクラスコード＃ｃを受信し、そのクラスコード＃ｃが表すクラスのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を生成して、ＨＤ誤差演算部７７に供給する。
【０１２３】
ＨＤ誤差演算部７７は、データ生成部７６から供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を生成するのに用いられた学習対データにおける教師データ（ｑ1，ｑ2，ｑ3，ｑ4）を、学習対記憶部７４から読み出し、その教師データ（ｑ1，ｑ2，ｑ3，ｑ4）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）との関係を求める。即ち、ＨＤ誤差演算部７７は、教師データ（ｑ1，ｑ2，ｑ3，ｑ4）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）との関係として、例えば、教師データ（ｑ1，ｑ2，ｑ3，ｑ4）からＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を減算したＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を求める。そして、ＨＤ誤差演算部７７は、そのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を、学習部７９に供給する。
【０１２４】
ＳＤ誤差演算部７８は、クラス分類部７５が出力する、生徒データ（ｐ1，ｐ2）のクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を受信するとともに、そのＳＤコードベクトル（Ｐ1，Ｐ2）を得るのに用いられた学習対データにおける生徒データ（ｐ1，ｐ2）を、学習対記憶部７４から読み出し、その生徒データ（ｐ1，ｐ2）とＳＤコードベクトル（Ｐ1，Ｐ2）との関係を求める。即ち、ＳＤ誤差演算部７８は、生徒データ（ｐ1，ｐ2）とＳＤコードベクトル（Ｐ1，Ｐ2）との関係として、例えば、生徒データ（ｐ1，ｐ2）からＳＤコードベクトル（Ｐ1，Ｐ2）を減算したＳＤ誤差ベクトル（△ｐ1，△ｐ2）を求める。
そして、ＳＤ誤差演算部７８は、そのＳＤ誤差ベクトル（△ｐ1，△ｐ2）を、学習部７９に供給する。
【０１２５】
学習部７９は、ＨＤ誤差演算部７７から供給される、すべての学習対データについてのＨＤ誤差ベクトルと、ＳＤ誤差演算部７８から供給される、すべての学習対データについてのＳＤ誤差ベクトルとを用いて、ＨＤ誤差ベクトルとＳＤ誤差ベクトルとを対応付ける情報を、クラス分類部７５から供給されるクラスコード＃ｃが表すクラスごとに学習し、その情報を、補正情報として出力する。
【０１２６】
次に、図１４のフローチャートを参照して、図１３の補正情報学習装置の処理について説明する。
【０１２７】
まず最初に、ステップＳ２１において、教師データ生成部７２が、学習用データベース７１に記憶された学習画像用データから教師データを生成し、生徒データ生成部７３と学習対記憶部７４に供給する。また、ステップＳ２１では、生徒データ生成部７３が、教師データ生成部７２から供給される教師データから生徒データを生成し、学習対記憶部７４に供給する。さらに、ステップＳ２１では、学習対記憶部７４が、教師データ生成部７２から供給される教師データと、生徒データ生成部７３から供給される、その教師データに対応する生徒データとを組み合わせることにより、学習対データを生成して記憶する。
【０１２８】
これにより、学習対記憶部７４には、図８Ａに示した生徒データと教師データの組み合わせである学習対データが記憶される。
【０１２９】
その後、ステップＳ２２に進み、クラス分類部７５は、学習対記憶部７４に記憶された学習対データの中から、まだ、注目学習対データとしていないものの１つを、注目学習対データとして選択し、ステップＳ２３に進む。
【０１３０】
ステップＳ２３では、クラス分類部７５は、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける生徒データ（ｐ1，ｐ2）をクラス分類する。さらに、ステップＳ２３では、クラス分類部７５は、そのクラス分類の結果得られるクラスコード＃ｃを、データ生成部７６および学習部７９に供給するとともに、そのクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を、ＳＤ誤差演算部７８に供給し、ステップＳ２４に進む。
【０１３１】
ステップＳ２４では、ＳＤ誤差演算部７８が、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける生徒データ（ｐ1，ｐ2）から、クラス分類部７５より供給されるＳＤコードベクトル（Ｐ1，Ｐ2）を減算し、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）を求める。さらに、ステップＳ２４では、ＳＤ誤差演算部７８が、注目学習対データに対して求められたＳＤ誤差ベクトル（△ｐ1，△ｐ2）を、学習部７９に供給し、ステップＳ２５に進む。
【０１３２】
ステップＳ２５では、データ生成部７６が、クラス分類部７５から供給されるクラスコード＃ｃが表すクラスについて、ＨＤ画素を生成する。即ち、ステップＳ２５では、データ生成部７６は、クラス分類部７５から供給されるクラスコード＃ｃに基づき、図４のデータ生成部３における場合と同様にして、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を求め、ＨＤ誤差演算部７７に供給して、ステップＳ２６に進む。
【０１３３】
ステップＳ２６では、ＨＤ誤差演算部７７が、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける教師データ（ｑ1，ｑ2，ｑ3，ｑ4）から、データ生成部７６より供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を減算し、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を求める。さらに、ステップＳ２６では、ＨＤ誤差演算部７７が、注目学習対データに対して求められたＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を、学習部７９に供給し、ステップＳ２７に進む。
【０１３４】
ステップＳ２７では、学習部７９が、注目学習対データに対して得られたクラスコード＃ｃについて、同じく注目学習対データに対して得られたＳＤ誤差ベクトル（△ｐ1，△ｐ2）とＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）とを対応付け、その内蔵するメモリ（図示せず）に記憶し、ステップＳ２８に進む。
【０１３５】
ステップＳ２８では、クラス分類部７５が、学習対記憶部７４に記憶された学習対データすべてを、注目学習対データとしたかどうかを判定する。ステップＳ２８において、学習対記憶部７４に記憶された学習対データすべてを、まだ、注目学習対データとしていないと判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１３６】
また、ステップＳ２８において、学習対記憶部７４に記憶された学習対データすべてを、注目学習対データとしたと判定された場合、ステップＳ２９に進み、学習部７９は、クラスコードごとに記憶したＳＤ誤差ベクトルとＨＤ誤差ベクトルとを対応付ける学習を行い、これにより、クラスごとの補正情報を生成して、処理を終了する。
【０１３７】
即ち、学習部７９は、クラスごとの補正情報として、例えば、図１５に示すような、クラスごとに、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）とＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）とを対応付けたＬＵＴ(Look Up Table)としての誤差テーブルを生成する。
【０１３８】
ここで、図１５の誤差テーブルでは、各レコード（行）において、ある学習対データについて得られたＳＤ誤差ベクトル（△ｐ1，△ｐ2）とＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）とが対応付けられている。
【０１３９】
図１２の補正情報記憶部６１において、図１５の誤差テーブルが記憶されている場合には、クラス分類部２（図１）から供給されるクラスコード＃ｃの誤差テーブルが読み出され、ＨＤ誤差推定部６３に供給される。ＨＤ誤差推定部６３では、クラスコード＃ｃの誤差テーブルの各レコードにおけるＳＤ誤差ベクトルと、特徴抽出部４２から供給されるＳＤ誤差ベクトルとの距離（ノルム）が計算され、その距離を最も短くするＳＤ誤差ベクトルのレコードが、誤差テーブルから選択される。さらに、ＨＤ誤差推定部６３では、その誤差テーブルから選択されたレコードにおけるＨＤ誤差ベクトルが読み出され、そのＨＤ誤差ベクトルが、補正量として、データ補正部５に供給される。
【０１４０】
なお、上述の場合には、学習部７９において、各学習対データについて得られたＳＤ誤差ベクトル（△ｐ1，△ｐ2）とＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）とが、クラスごとに、単に対応付けられた誤差テーブルが生成されるが、学習部７９では、さらに、誤差テーブルにおけるレコードを統合するようにすることが可能である。即ち、学習部７９では、誤差テーブルのレコードから、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）どうしと、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）どうしが類似する複数レコードを検出し、その複数レコードを１つのレコードに統合するようにすることが可能である。
【０１４１】
ここで、ある２つのレコードにおけるＳＤ誤差ベクトル（△ｐ1，△ｐ2）どうしが類似するかどうかは、例えば、その２つのレコードにおけるＳＤ誤差ベクトル（△ｐ1，△ｐ2）どうしの距離を求め、その距離が所定の閾値以下かどうかによって判断することができる。即ち、２つのレコードにおけるＳＤ誤差ベクトル（△ｐ1，△ｐ2）どうしの距離が、所定の閾値以下である場合には、２つのレコードにおけるＳＤ誤差ベクトル（△ｐ1，△ｐ2）どうしが類似すると判断することができる。ある２つのレコードにおけるＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）どうしが類似するかどうかも、同様にして判断することができる。
【０１４２】
また、複数レコードを１つのレコードに統合する方法としては、例えば、複数レコードを、そのうちの１つのレコードに統合する方法する方法がある。この場合、複数レコードが、そのうちの１つのレコードを除いて、誤差テーブルから削除される。
【０１４３】
さらに、複数レコードを１つのレコードに統合する他の方法としては、例えば、複数レコードから新たな１つのレコードを生成し、複数レコードを、その新たなレコードに統合する方法がある。この場合、複数レコードにおけるＳＤ誤差ベクトルとＨＤ誤差ベクトルそれぞれの、例えば、平均値が求められ、そのＳＤ誤差ベクトルとＨＤ誤差ベクトルの平均値どうしを対応付けた新たなレコードが誤差テーブルに追加されるとともに、元の複数レコードが誤差テーブルから削除される。
【０１４４】
次に、例えば、いま、図１６Ａに示すように、ＳＤ画像空間におけるタップベクトル（ｐ1，ｐ2）と、そのタップベクトル（ｐ1，ｐ2）のクラスのＳＤコードベクトル（Ｐ1，Ｐ2）との距離、即ち、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）の大きさを、ＳＤ誤差距離Ｄpというとともに、図１６Ｂに示すように、ＨＤ画像空間における、タップベクトル（ｐ1，ｐ2）に対応する真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）と、タップベクトル（ｐ1，ｐ2）のクラスのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）との距離、即ち、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）の大きさを、ＨＤ誤差距離Ｄqというものとすると、画像の相関性から、一般に、ＳＤ誤差距離Ｄpが大きくなるほど（または、小さくなるほど）、ＨＤ誤差距離Ｄqも大きくなる（または、小さくなる）。
【０１４５】
そして、ＳＤ誤差距離Ｄpは、ＳＤ誤差ベクトル（△ｐ1，△ｐ2）のコンポーネント（ＳＤ誤差）△ｐ1または△ｐ2（の絶対値）が大きくなるほど大きくなる。従って、ＨＤ誤差距離Ｄqは、ＳＤ誤差△ｐ1および△ｐ2と相関を有しており、例えば、図１７に示すように、ＳＤ誤差△ｐ1と△ｐ2を引数とし、ＳＤ誤差△ｐ1や△ｐ2（の絶対値）が大きくなるほど大きくなる関数ｆ（△ｐ1，△ｐ2）で近似することが可能である。
【０１４６】
一方、ＨＤ誤差距離Ｄqも、ＳＤ誤差距離Ｄpと同様に、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）のコンポーネント（ＨＤ誤差）△ｑ1，△ｑ2，△ｑ3、または△ｑ4（の絶対値）が大きくなるほど大きくなる。
【０１４７】
従って、ＨＤ誤差△ｑ1，△ｑ2，△ｑ3，△ｑ4それぞれも、ＳＤ誤差△ｐ1および△ｐ2と相関を有しており、ＳＤ誤差△ｐ1と△ｐ2を引数とする関数で近似することが可能である。
【０１４８】
そこで、いま、あるデータｙを、他の複数のデータｘ1，ｘ2，・・・を引数とする関数ｆ（）で近似する場合の、その関数の求めた方、即ち、その関数を定義する係数（タップ係数）の学習方法について説明する。
【０１４９】
いま、データｙを、関数ｆ（）を求める学習の教師データとするとともに、他の複数のデータｘ1，ｘ2，・・・を、その学習の生徒データとして、教師データｙの予測値Ｅ［ｙ］を、生徒データｘ1，ｘ2，・・・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１５０】
【数１】
0003702464.tif 000002
0003702464.tif 000003
【０１５１】
式（１）を一般化するために、タップ係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、次式のように定義する。
【０１５２】
【数２】
0003702464.tif 000004
0003702464.tif 000005
【０１５３】
この場合、次のような観測方程式が成立する。
【０１５４】
【数３】
0003702464.tif 000006
0003702464.tif 000007
【０１５５】
ここで、行列Ｘの成分（コンポーネント）ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１５６】
式（３）の観測方程式に最小自乗法を適用して、データｙに近い予測値Ｅ［ｙ］を求めることを考える。そこで、まず、教師データｙの集合でなる行列Ｙ、および教師データｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、次式で定義する。
【０１５７】
【数４】
0003702464.tif 000008
0003702464.tif 000009
【０１５８】
この場合、式（３）から、次のような残差方程式が成立する。
【０１５９】
【数５】
0003702464.tif 000010
0003702464.tif 000011
【０１６０】
最小自乗法では、教師データｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjを評価する尺度として、例えば、次式で表される自乗誤差が採用される。
【０１６１】
【数６】
0003702464.tif 000012
0003702464.tif 000013
【０１６２】
教師データｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、式（６）の自乗誤差を最小にすることで求めることができる。
【０１６３】
従って、式（６）の自乗誤差をタップ係数ｗjで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗjが、教師データｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１６４】
【数７】
0003702464.tif 000014
0003702464.tif 000015
【０１６５】
そこで、まず、式（５）を、タップ係数ｗjで微分することにより、次式が成立する。
【０１６６】
【数８】
0003702464.tif 000016
0003702464.tif 000017
【０１６７】
式（７）および（８）より、式（９）が得られる。
【０１６８】
【数９】
0003702464.tif 000018
0003702464.tif 000019
【０１６９】
さらに、式（５）の残差方程式における生徒データｘij、タップ係数ｗj、教師データｙi、および残差（誤差）ｅiの関係を考慮すると、式（９）から、次のような正規方程式を得ることができる。
【０１７０】
【数１０】
0003702464.tif 000020
0003702464.tif 000021
【０１７１】
なお、いま、ベクトルＷを、式（２）で示したように定義するとともに、行列（共分散行列）Ａおよびベクトルｖを、次式で定義する。
【０１７２】
【数１１】
0003702464.tif 000022
0003702464.tif 000023
【０１７３】
この場合、式（１０）に示した正規方程式は、次式で表される。
【０１７４】
【数１２】
0003702464.tif 000024
0003702464.tif 000025
【０１７５】
式（１２）と等価な式（１０）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（１２）を、ベクトルＷについて解くことで（但し、式（１２）を解くには、式（１２）における行列Ａが正則である必要がある）、最適なタップ係数ｗjを求めることができる。なお、式（１２）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０１７６】
学習部７９では、上述のようにして、クラスごとに、式（１）のタップ係数ｗjを求める学習を行うようにすることができる。
【０１７７】
即ち、この場合、学習部７９では、クラス分類部７５が出力するクラスコード＃ｃごとに、ＨＤ誤差演算部７７が出力するＨＤ誤差△ｑ1を教師データｙとするとともに、ＳＤ誤差演算部７８が出力するＳＤ誤差△ｐ1および△ｐ2を生徒データｘとして、式（１２）の正規方程式がたてられる。さらに、学習部７９では、その正規方程式を解くことにより、ＨＤ誤差の真値△ｑ1の予測値△ｑ1’を、式（１）に対応する式△ｑ1’＝ｗ1△ｐ1＋ｗ2△ｐ2によって求めるためのタップ係数ｗ1とｗ2が求められる。また、学習部７９では、ＨＤ誤差演算部７７が出力する他のＨＤ誤差△ｑ2，△ｑ3，△ｑ4それぞれについても、同様にして、タップ係数ｗ1とｗ2が求められる。
【０１７８】
そして、学習部７９では、クラスごとに、ＨＤ誤差△ｑ1，△ｑ2，△ｑ3，△ｑ4それぞれについて求められたタップ係数ｗ1とｗ2の、例えば図１８に示すようなクラスごとの係数テーブルが生成される。
【０１７９】
ここで、図１８においては、ＨＤ誤差△ｑjを求めるのに、ＳＤ誤差△ｐ1または△ｐ2と乗算されるタップ係数を、それぞれｗ1(j)またはｗ2(j)と示してある。但し、ｊ＝１，２，３，４である。
【０１８０】
学習部７９において、図１８に示したクラスごとの係数テーブルが求められる場合には、図１２の補正情報記憶部６１には、このクラスごとの係数テーブルが、補正情報として記憶される。
【０１８１】
そして、補正情報記憶部６１では、クラス分類部２（図１）から供給されるクラスコード＃ｃの係数テーブルが読み出され、ＨＤ誤差推定部６３に供給される。ＨＤ誤差推定部６３では、クラスコード＃ｃの係数テーブルと、特徴抽出部４２から供給されるＳＤ誤差ベクトル（△ｐ1，△ｐ2）とを用いて、式△ｑj’＝ｗ1(j)△ｐ1＋ｗ2(j)△ｐ2が計算されることにより、ＨＤ誤差（の予測値）△ｑj’が求められ、そのＨＤ誤差△ｑj’をコンポーネントとするＨＤ誤差ベクトル（△ｑ1’，△ｑ2’，△ｑ3’，△ｑ4’）が、補正量として、データ補正部５に供給される。
【０１８２】
次に、図１９は、図１の補正量算出部４およびデータ補正部５の第３の構成例を示している。
【０１８３】
図１９の実施の形態では、補正量算出部４は、ＳＤ角度記憶部８１、特徴抽出部８２、および補正角度推定部８３で構成され、データ補正部５は、回転部９１で構成されている。
【０１８４】
ＳＤ角度記憶部８１は、各クラスコードと、後述するＳＤ角度θSDとを対応付けたＳＤ角度テーブルを記憶しており、クラス分類部２（図１）から供給される、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃに対応するＳＤ角度θSDを、特徴抽出部８２に供給する。
【０１８５】
ここで、ＳＤ角度テーブルにおける、各クラスコード＃ｃごとのＳＤ角度θSDは、例えば、そのクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）のコンポーネントとなっているＳＤ画素（の画素値）Ｐ1，Ｐ2の変化の割合を表す角度であり、例えば、式θSD＝ｔａｎ-1（Ｐ2−Ｐ1）によって求められる。
【０１８６】
従って、例えば、図２０Ａに示すように、図４のコードブック記憶部２１に記憶されたクラス分類用コードブックにおいて、クラスコード＃ｃが表すクラスのＳＤコードベクトルとして、ベクトル（Ｐ1（ｃ），Ｐ2（ｃ））が登録されているものとすると、図１９のＳＤ角度記憶部８１には、例えば、図２０Ｂに示すような、各クラスコード＃ｃに対して、式θSD（ｃ）＝ｔａｎ-1（Ｐ2（ｃ）−Ｐ1（ｃ））で求められるＳＤ角度θSD（ｃ）が対応付けられたＳＤ角度テーブルが記憶されている。
【０１８７】
特徴抽出部８２には、ＳＤ角度記憶部８１から、タップベクトルのクラスのＳＤコードベクトルについてのＳＤ角度θSDが供給される他、タップ抽出部１が出力するタップベクトル（ｐ1，ｐ2）も供給される。特徴抽出部８２は、タップベクトル（ｐ1，ｐ2）から、そのコンポーネントとなっているＳＤ画素（の画素値）ｐ1，ｐ2の変化の割合を表す角度（以下、適宜、タップ角度という）θiを、ＳＤコードベクトルからＳＤ角度θSDを求める場合と同様にして求める。さらに、特徴抽出部８２は、そのタップ角度θiから、ＳＤ角度記憶部８１より供給されるＳＤ角度θSDを減算し、ＳＤ角度θSDの、タップ角度θiに対する誤差角度（以下、適宜、ＳＤ誤差角度という）△θを求める。
【０１８８】
即ち、ＳＤコードベクトル（Ｐ1，Ｐ2）についてのＳＤ角度θSDは、上述したように、例えば、式θSD＝ｔａｎ-1（Ｐ2−Ｐ1）で求められることから、図２１Ａに示すように、ＳＤ画素Ｐ1とＰ2との間の距離を１とした場合の、直線Ｐ1Ｐ2（点Ｐ1とＰ2を結ぶ直線）の傾きを表す。また、タップベクトル（ｐ1，ｐ2）についても、例えば、式θi＝ｔａｎ-1（ｐ2−ｐ1）によって、タップ角θiが求められることから、このタップ角θiも、図２１Ｂに示すように、ＳＤ画素ｐ1とｐ2との間の距離を１とした場合の、直線ｐ1ｐ2の傾きを表す。特徴抽出部８２では、図２１Ｂに示すように、この２つの直線Ｐ1Ｐ2とｐ1ｐ2の傾きの違いが、ＳＤ誤差角度△θとして求められる。
【０１８９】
ここで、図２１では（後述する図２２および図２９においても同様）、縦軸が画素値を表し、横軸が画素の位置を表す。
【０１９０】
特徴抽出部８２は、以上のようにして、ＳＤ誤差角度△θを求めると、このＳＤ誤差角度△θを、タップベクトル（ｐ1，ｐ2）の特徴として、補正角度推定部８３に供給する。
【０１９１】
補正角度推定部８３は、特徴抽出部８２から供給されるＳＤ誤差角度△θに基づいて、データ生成部３（図１）が出力するＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を補正する補正量を求める。
【０１９２】
即ち、補正角度推定部８３は、タップベクトル（ｐ1，ｐ2）のクラスのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のコンポーネントとしてのＨＤ画素のうちの隣接するＨＤ画素（の画素値）ＱjとＱj+1の変化の割合を表す角度（以下、適宜、ＨＤ角度という）θHDj,j+1の、タップベクトル（ｐ1，ｐ2）に対応するＨＤ画像データの真値ベクトル（ｑ1，ｑ2，ｑ3，ｑ4）のコンポーネントとしてのＨＤ画素のうちの隣接するＨＤ画素（の画素値）ｑjとｑj+1の変化の割合を表す角度（以下、適宜、真値角度という）θqj,j+1に対する誤差角度（以下、適宜、ＨＤ誤差角度という）を、ＳＤ誤差角度△θに基づいて推定する。具体的には、補正角度推定部８３は、例えば、ＳＤ誤差角度△θを、そのまま、ＨＤ誤差角度とする。
【０１９３】
そして、補正角度推定部８３は、ＨＤ誤差角度を、補正量として、データ補正部５に供給する。
【０１９４】
データ補正部５では、回転部９１において、データ生成部３(図１)から供給される、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のコンポーネントとしてのＨＤ画素のうちの隣接するＨＤ画素（の画素値）ＱjとＱj+1の変化の割合を表す角度（ＨＤ角度）を、補正量算出部４（の補正角度推定部８３）から供給される補正量としてのＨＤ誤差角度△θだけ回転することによって、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が補正される。
【０１９５】
即ち、例えば、いま、図２１Ｃに示すように、データ生成部３(図１)から供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のコンポーネントとしてのＨＤ画素のうちの隣接するＨＤ画素Ｑ1とＱ2の変化の割合を表すＨＤ角度を、θHD12と表すこととする。同様に、ＨＤ画素Ｑ2とＱ3の変化の割合を表すＨＤ角度をθHD23と、ＨＤ画素Ｑ3とＱ4の変化の割合を表すＨＤ角度をθHD34と、それぞれ表すこととする。
【０１９６】
ここで、ＨＤ角度θHD12は、例えば、式θHD12＝ｔａｎ-1（（Ｑ2−Ｑ1）／０．５）で表すことができる。なお、関数ｔａｎ-1の引数（Ｑ2−Ｑ1）／０．５の分母が０．５になっているのは、図３で説明したＳＤ画素とＨＤ画素との関係から、ＳＤ画素ｐ1とｐ2との間の距離を、上述したように１とした場合には、ＨＤ画素Ｑ1とＱ2の距離は、その半分の０．５となるからである。他の隣接するＨＤ画素Ｑ2とＱ3の組、およびＱ3とＱ4の組についても、同様である。
【０１９７】
データ補正部５の回転部９１は、図２１Ｄに示すように、直線Ｑ1Ｑ2を、例えば、ＨＤ画素Ｑ1を中心として、ＨＤ誤差角度△θだけ回転し、その回転後の直線上のＨＤ画素Ｑ1とＱ2の位置の点が表す画素値を、それぞれ、補正後のＨＤ画素ｑ1’とｑ2’とする。さらに、回転部９１は、直線Ｑ2Ｑ3を、例えば、ＨＤ画素Ｑ2を中心として、ＨＤ誤差角度△θだけ回転し、その回転後の直線上のＨＤ画素Ｑ3の位置の点が表す画素値を、補正後のＨＤ画素ｑ3’の画素値とする。また、回転部９１は、直線Ｑ3Ｑ4を、例えば、ＨＤ画素Ｑ3を中心として、ＨＤ誤差角度△θだけ回転し、その回転後の直線上のＨＤ画素Ｑ4の位置の点が表す画素値を、補正後のＨＤ画素ｑ4’の画素値とする。
【０１９８】
なお、上述の場合には、回転部９１において、図２２Ａに示すように、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のコンポーネントとしてのＨＤ画素のうちの隣接するＨＤ画素ＱjとＱj+1を結ぶ直線ＱjＱj+1を、左側のＨＤ画素Ｑjを中心として、ＨＤ誤差角度△θだけ回転するようにしたが、その他、例えば、図２２Ｂに示すように、ＨＤ画素ＱjとＱj+1を結ぶ直線ＱjＱj+1を、右側のＨＤ画素Ｑj+1を中心として、ＨＤ誤差角度△θだけ回転しても良いし、ＨＤ画素ＱjとＱj+1を結ぶ線分ＱjＱj+1の中点Ｑi,i+1を中心として、ＨＤ誤差角度△θだけ回転しても良い。
【０１９９】
次に、図２３は、図１の補正量算出部４およびデータ補正部５の第４の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３において、補正量算出部４は、補正情報記憶部１０１が新たに設けられ、補正角度推定部８３に代えて、補正角度推定部１０３が新たに設けられている他は、図１９における場合と同様に構成されている。また、図２３において、データ補正部５は、図１９における場合と同様に構成されている。
【０２００】
従って、図２３の実施の形態でも、図１９における場合と同様に、ＳＤ角度記憶部８１および特徴抽出部８２において、ＳＤ誤差角度△θが、タップベクトル（ｐ1，ｐ2）の特徴として求められ、補正角度推定部１０３に供給される。
【０２０１】
一方、補正情報記憶部１０１は、データ補正部５においてＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を補正する補正量を求めるための補正情報を記憶している。ここで、この補正情報は、例えば、学習によって、クラスごとに求められたものであり、その学習方法については、後述する。
【０２０２】
補正情報記憶部１０１には、クラス分類部２（図４）から、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃが供給されるようになっており、補正情報記憶部１０１は、そこに記憶しているクラスごとの補正情報の中から、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃが表すクラスの補正情報を読み出し、補正角度推定部１０３に供給する。
【０２０３】
補正角度推定部１０３は、補正情報記憶部１０１から供給される、タップベクトル（ｐ1，ｐ2）のクラスの補正情報と、特徴抽出部８２から供給される、タップベクトル（ｐ1，ｐ2）の特徴としてのＳＤ誤差角度△θとに基づき、補正量としてのＨＤ誤差角度を推定し、データ補正部５に供給する。
【０２０４】
以下、データ補正部５では、図１９における場合と同様にして、タップベクトル（ｐ1，ｐ2）のクラスコード＃ｃのＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）が、補正角度推定部１０３からの補正量としてのＨＤ誤差角度によって補正される。
【０２０５】
次に、図２４は、図２３の補正情報記憶部１０１に記憶される補正情報を学習する補正情報学習装置の一実施の形態の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４の補正情報学習装置は、ＨＤ誤差演算部７７、ＳＤ誤差演算部７８、または学習部７９にそれぞれ代えて、ＨＤ誤差角度演算部１１１、ＳＤ誤差角度演算部１１２、または学習部１１３がそれぞれ設けられている他は、図１３における場合と同様に構成されている。
【０２０６】
ＨＤ誤差角度演算部１１１は、データ生成部７６から供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を生成するのに用いられた学習対データにおける教師データ（ｑ1，ｑ2，ｑ3，ｑ4）を、学習対記憶部７４から読み出し、その教師データ（ｑ1，ｑ2，ｑ3，ｑ4）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）との関係を求める。即ち、ＨＤ誤差角度演算部１１１は、教師データ（ｑ1，ｑ2，ｑ3，ｑ4）とＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）との関係として、例えば、教師データ（ｑ1，ｑ2，ｑ3，ｑ4）における隣接するＨＤ画素どうしを結ぶ直線ｑ1ｑ2，ｑ2ｑ3，ｑ3ｑ4の傾きを表すＨＤ角度それぞれから、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）における隣接するＨＤ画素どうしを結ぶ直線Ｑ1Ｑ2，Ｑ2Ｑ3，Ｑ3Ｑ4の傾きを表すＨＤ角度それぞれを減算したＨＤ誤差角度△θHD12，△θHD23，△θHD34を求める。そして、ＨＤ誤差角度演算部１１１は、そのＨＤ誤差角度△θHD12，△θHD23，△θHD34を、学習部１１３に供給する。
【０２０７】
ＳＤ誤差角度演算部１１２は、クラス分類部７５が出力する、生徒データ（ｐ1，ｐ2）のクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を受信するとともに、そのＳＤコードベクトル（Ｐ1，Ｐ2）を得るのに用いられた学習対データにおける生徒データ（ｐ1，ｐ2）を、学習対記憶部７４から読み出し、その生徒データ（ｐ1，ｐ2）とＳＤコードベクトル（Ｐ1，Ｐ2）との関係を求める。即ち、ＳＤ誤差角度演算部１１２は、生徒データ（ｐ1，ｐ2）とＳＤコードベクトル（Ｐ1，Ｐ2）との関係として、例えば、生徒データ（ｐ1，ｐ2）における隣接するＳＤ画素どうしを結ぶ直線ｐ1ｐ2の傾きを表すＳＤ角度から、ＳＤコードベクトル（Ｐ1，Ｐ2）における隣接するＳＤ画素どうしを結ぶ直線Ｐ1Ｐ2の傾きを表すＳＤ角度を減算したＳＤ誤差角度△θSDを求める。そして、ＳＤ誤差角度演算部１１２は、そのＳＤ誤差角度△θSDを、学習部１１３に供給する。
【０２０８】
学習部１１３は、ＨＤ誤差角度演算部１１１から供給される、すべての学習対データについてのＨＤ誤差角度と、ＳＤ誤差角度演算部１１２から供給される、すべての学習対データについてのＳＤ誤差角度とを用いて、ＨＤ誤差角度とＳＤ誤差角度とを対応付ける情報を、クラス分類部７５から供給されるクラスコード＃ｃが表すクラスごとに学習し、その情報を、補正情報として出力する。
【０２０９】
次に、図２５のフローチャートを参照して、図２４の補正情報学習装置の処理について説明する。
【０２１０】
まず最初に、ステップＳ３１において、教師データ生成部７２が、学習用データベース７１に記憶された学習画像用データから教師データを生成し、生徒データ生成部７３と学習対記憶部７４に供給する。また、ステップＳ３１では、生徒データ生成部７３が、教師データ生成部７２から供給される教師データから生徒データを生成し、学習対記憶部７４に供給する。さらに、ステップＳ３１では、学習対記憶部７４が、教師データ生成部７２から供給される教師データと、生徒データ生成部７３から供給される、その教師データに対応する生徒データとを組み合わせることにより、学習対データを生成して記憶する。
【０２１１】
その後、ステップＳ３２に進み、クラス分類部７５は、学習対記憶部７４に記憶された学習対データの中から、まだ、注目学習対データとしていないものの１つを、注目学習対データとして選択し、ステップＳ３３に進む。
【０２１２】
ステップＳ３３では、クラス分類部７５は、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける生徒データ（ｐ1，ｐ2）をクラス分類する。さらに、ステップＳ３３では、クラス分類部７５は、そのクラス分類の結果得られるクラスコード＃ｃを、データ生成部７６および学習部１１３に供給するとともに、そのクラスコード＃ｃが表すクラスのＳＤコードベクトル（Ｐ1，Ｐ2）を、ＳＤ誤差角度演算部１１２に供給し、ステップＳ３４に進む。
【０２１３】
ステップＳ３４では、ＳＤ誤差角度演算部１１２が、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける生徒データ（ｐ1，ｐ2）についてのＳＤ角度から、クラス分類部７５より供給されるＳＤコードベクトル（Ｐ1，Ｐ2）についてのＳＤ角度を減算し、ＳＤ誤差角度△θSDを求める。さらに、ステップＳ３４では、ＳＤ誤差角度演算部１１２が、注目学習対データに対して求められたＳＤ誤差角度△θSDを、学習部１１３に供給し、ステップＳ３５に進む。
【０２１４】
ステップＳ３５では、データ生成部７６が、クラス分類部７５から供給されるクラスコード＃ｃが表すクラスについて、ＨＤ画素を生成する。即ち、ステップＳ３５では、データ生成部７６は、クラス分類部７５から供給されるクラスコード＃ｃに基づき、図４のデータ生成部３における場合と同様にして、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を求め、ＨＤ誤差角度演算部１１１に供給して、ステップＳ３６に進む。
【０２１５】
ステップＳ３６では、ＨＤ誤差角度演算部１１１が、学習対記憶部７４から、注目学習対データを読み出し、その注目学習対データにおける教師データ（ｑ1，ｑ2，ｑ3，ｑ4）についてのＨＤ角度から、データ生成部７６より供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）についてのＨＤ角度を減算し、ＨＤ誤差角度△θHD12，△θHD23，△θHD34を求める。
【０２１６】
即ち、教師データ（ｑ1，ｑ2，ｑ3，ｑ4）における隣接するＨＤ画素どうしを結ぶ直線ｑ1ｑ2，ｑ2ｑ3，ｑ3ｑ4の傾きを表すＨＤ角度を、それぞれ、θHD（ｑ1ｑ2），θHD（ｑ2ｑ3），θHD（ｑ3ｑ4）と表すとともに、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）における隣接するＨＤ画素どうしを結ぶ直線Ｑ1Ｑ2，Ｑ2Ｑ3，Ｑ3Ｑ4の傾きを表すＨＤ角度を、それぞれ、θHD（Ｑ1Ｑ2），θHD（Ｑ2Ｑ3），θHD（Ｑ3Ｑ4）と表すこととすると、ＨＤ誤差角度演算部１１１は、θHD（ｑ1ｑ2）−θHD（Ｑ1Ｑ2），θHD（ｑ2ｑ3）−θHD（Ｑ2Ｑ3），θHD（ｑ3ｑ4）−θHD（Ｑ3Ｑ4）を、それぞれ、ＨＤ誤差角度△θHD12，△θHD23，△θHD34として求める。
【０２１７】
さらに、ステップＳ３６では、ＨＤ誤差角度演算部１１１が、注目学習対データに対して求められたＨＤ誤差角度△θHD12，△θHD23，△θHD34を、学習部１１３に供給し、ステップＳ３７に進む。
【０２１８】
ステップＳ３７では、学習部１１３が、注目学習対データに対して得られたクラスコード＃ｃについて、同じく注目学習対データに対して得られたＳＤ誤差角度△θSDとＨＤ誤差角度△θHD12，△θHD23，△θHD34とを対応付け、その内蔵するメモリ（図示せず）に記憶し、ステップＳ３８に進む。
【０２１９】
ステップＳ３８では、クラス分類部７５が、学習対記憶部７４に記憶された学習対データすべてを、注目学習対データとしたかどうかを判定する。ステップＳ３８において、学習対記憶部７４に記憶された学習対データすべてを、まだ、注目学習対データとしていないと判定された場合、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２２０】
また、ステップＳ３８において、学習対記憶部７４に記憶された学習対データすべてを、注目学習対データとしたと判定された場合、ステップＳ３９に進み、学習部１１３は、クラスコードごとに記憶したＳＤ誤差角度とＨＤ誤差角度とを対応付ける学習を行い、これにより、クラスごとの補正情報を生成して、処理を終了する。
【０２２１】
即ち、学習部１１３は、クラスごとの補正情報として、例えば、図２６に示すような、クラスごとに、ＳＤ誤差角度△θSDとＨＤ誤差角度△θHD12，△θHD23，△θHD34とを対応付けたＬＵＴとしての誤差角度テーブルを生成する。
【０２２２】
ここで、図２６の誤差角度テーブルでは、各レコード（行）において、ある学習対データについて得られたＳＤ誤差角度△θSDとＨＤ誤差角度△θHD12，△θHD23，△θHD34とが対応付けられている。
【０２２３】
図２３の補正情報記憶部１０１において、図２６の誤差角度テーブルが記憶されている場合には、クラス分類部２（図１）から供給されるクラスコード＃ｃの誤差角度テーブルが読み出され、補正角度推定部１０３に供給される。補正角度推定部１０３では、例えば、クラスコード＃ｃの誤差角度テーブルの各レコードにおけるＳＤ誤差角度と、特徴抽出部８２から供給されるＳＤ誤差角度との差分絶対値が計算され、その差分絶対値を最も小さくするＳＤ誤差角度のレコードが、誤差角度テーブルから選択される。さらに、補正角度推定部１０３では、その誤差角度テーブルから選択されたレコードにおけるＨＤ誤差角度が読み出され、そのＨＤ誤差角度が、補正量として、データ補正部５に供給される。
【０２２４】
なお、上述の場合には、学習部１１３において、各学習対データについて得られたＳＤ誤差角度△θSDとＨＤ誤差角度△θHD12，△θHD23，△θHD34とが、クラスごとに、単に対応付けられた誤差角度テーブルが生成されるが、学習部１１３では、図１３の学習部７９における場合と同様に、誤差角度テーブルにおけるレコードを統合するようにすることが可能である。即ち、学習部１１３では、誤差角度テーブルのレコードから、ＳＤ誤差角度△θSDどうしと、ＨＤ誤差角度△θHD12，△θHD23，△θHD34どうしが類似する複数レコードを検出し、その複数レコードを１つのレコードに統合するようにすることが可能である。
【０２２５】
ここで、ある２つのレコードにおけるＳＤ誤差角度△θSDどうしが類似するかどうかは、例えば、その２つのレコードにおけるＳＤ誤差角度△θSDどうしの差分絶対値を求め、その差分絶対値が所定の閾値以下かどうかによって判断することができる。また、ある２つのレコードにおけるＨＤ誤差角度△θHD12，△θHD23，△θHD34どうしが類似するかどうかは、例えば、その２つのレコードにおけるＨＤ誤差角度△θHD12，△θHD23，△θHD34それぞれどうしの差分絶対値の総和を求め、その総和が所定の閾値以下かどうかによって判断することができる。
【０２２６】
また、複数レコードを１つのレコードに統合する方法としては、上述した図１５の誤差テーブルの複数レコードを１つのレコードに統合する方法と同様の方法を採用することができる。
【０２２７】
次に、ＳＤ誤差角度△θSDと、ＨＤ誤差角度△θHD12，△θHD23，△θHD34それぞれとの間には、図１６で説明したＳＤ誤差距離ＤpとＨＤ誤差距離Ｄqとの間と同様の関係がある。従って、ＨＤ誤差△ｑ1，△ｑ2，△ｑ3，△ｑ4それぞれを、ＳＤ誤差△ｐ1および△ｐ2を引数とする関数で近似したように、ＨＤ誤差角度△θHD12，△θHD23，△θHD34それぞれも、ＳＤ誤差角度△θSDを引数とする関数で近似することが可能である。
【０２２８】
即ち、例えば、いま、ＨＤ誤差角度△θHD12を、△θHDと表し、このＨＤ誤差角度△θHDを、ＳＤ誤差角度△θSDを引数とする、例えば、次式に示すような係数ａとｂで定義される１次式によって予測（近似）するものとする。
【０２２９】
【数１３】
0003702464.tif 000026
0003702464.tif 000027
【０２３０】
そして、いま、あるクラスについて、図２４の学習部１１３に記憶されたｉ番目のＳＤ誤差角度△θSDとＨＤ誤差角度△θHDを、それぞれ△θSD（ｉ）と△θHD（ｉ）と表すとともに、式（１３）にしたがって求められるｉ番目のＨＤ誤差角度△θHD（ｉ）の予測値を、△θHD’（ｉ）と表すと、そのｉ番目のＨＤ誤差角度△θHDと、その予測値△θHD’（ｉ）との間の予測誤差ｅiは、次式で表される。
【０２３１】
【数１４】
0003702464.tif 000028
0003702464.tif 000029
【０２３２】
いま、式（１４）の予測誤差ｅiの、次式で表される自乗誤差（の総和）を最小にするパラメータ制御データａとｂを、最小自乗法により求めることを考える。
【０２３３】
【数１５】
0003702464.tif 000030
0003702464.tif 000031
【０２３４】
なお、式（１５）において（後述する式（１６）乃至（２１）においても、同様）、Ｎは、あるクラスについて、図２４の学習部１１３に記憶されたＳＤ誤差角度△θSDとＨＤ誤差角度△θHDとのセット数を表す。
【０２３５】
まず、式（１５）の自乗誤差を、係数ａとｂで、それぞれ偏微分すると、次式が得られる。
【０２３６】
【数１６】
0003702464.tif 000032
0003702464.tif 000033
【数１７】
0003702464.tif 000034
0003702464.tif 000035
【０２３７】
式（１５）の自乗誤差の最小値（極小値）は、式（１６）と（１７）の右辺を０にするａとｂによって与えられるから、式（１６）と（１７）の右辺を、それぞれ０とおくと、式（１６）からは式（１８）が、式（１７）からは式（１９）が、それぞれ得られる。
【０２３８】
【数１８】
0003702464.tif 000036
0003702464.tif 000037
【数１９】
0003702464.tif 000038
0003702464.tif 000039
【０２３９】
式（１９）を、式（１８）に代入することにより、係数ａは、次式によって求めることができる。
【０２４０】
【数２０】
0003702464.tif 000040
0003702464.tif 000041
【０２４１】
また、式（１９）と（２０）から、係数ｂは、次式によって求めることができる。
【０２４２】
【数２１】
0003702464.tif 000042
0003702464.tif 000043
【０２４３】
図２４の学習部１１３では、上述のようにして、クラスごとに、ＨＤ誤差角度△θHD12，△θHD23，△θHD34それぞれについて、式（１３）を定義する係数ａとｂを求める学習を行うようにすることができる。
【０２４４】
この場合、学習部１１３では、クラスごとに、ＨＤ誤差角度△θHD12，△θHD23，△θHD34それぞれについて求められた係数ａとｂの、例えば図２７に示すようなクラスごとの係数テーブルが生成される。
【０２４５】
ここで、図２７においては、ＨＤ誤差角度△θHDijを求めるための式（１３）の係数ａまたはｂを、それぞれａijまたはｂijと示してある。但し、（ｉ，ｊ）＝（１，２），（２，３），（３，４）である。
【０２４６】
学習部１１３において、図２７に示したクラスごとの係数テーブルが求められる場合には、図２３の補正情報記憶部１０１には、このクラスごとの係数テーブルが、補正情報として記憶される。
【０２４７】
そして、補正情報記憶部１０１では、クラス分類部２（図１）から供給されるクラスコード＃ｃの係数テーブルが読み出され、補正角度推定部１０３に供給される。補正角度推定部１０３では、クラスコード＃ｃの係数テーブルと、特徴抽出部４２から供給されるＳＤ誤差角度△θSDとを用い、式（１３）が計算されることにより、ＨＤ誤差角度（の予測値）△θHD12’，△θHD23’，△θHD34’が求められ、補正量として、データ補正部５に供給される。
【０２４８】
次に、図２８は、図１の補正量算出部４およびデータ補正部５の第５の構成例を示している。なお、図中、図１１または図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２８において、補正量算出部４は、図１１のクラス分類用コードブック記憶部４１、特徴抽出部４２、およびＨＤ誤差推定部４３に、図１９のＳＤ角度記憶部８１、特徴抽出部８２、および補正角度推定部８３を加えて構成されている。また、図２８において、データ補正部５は、図１１の加算部５１に、図１９の回転部９１を加え、さらに、ＨＤ角度演算部１２１と変更部１２２が新たに設けられて構成されている。
【０２４９】
図２８の実施の形態では、クラス分類用コードブック記憶部４１、特徴抽出部４２、およびＨＤ誤差推定部４３において、図１１における場合と同様にして、ＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）が推定され、データ補正部５の加算部５１に供給される。
【０２５０】
加算部５１は、図１１における場合と同様に、データ生成部３（図１）から供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）に、ＨＤ誤差推定部４３からのＨＤ誤差ベクトル（△ｑ1，△ｑ2，△ｑ3，△ｑ4）を加算することで、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）を、ＨＤ補正ベクトル（ｑ1’，ｑ2’，ｑ3’，ｑ4’）（＝（Ｑ1＋△ｑ1，Ｑ2＋△ｑ2，Ｑ3＋△ｑ3，Ｑ4＋△ｑ4））に補正する。
【０２５１】
従って、例えば、いま、ＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）のうちの、ある隣接する２つのＨＤ画素ＱjとＱj+1に注目すると、加算部５１では、図２９Ａに示すように、ＨＤ画素Ｑjは、その画素値が、元のＨＤ画素Ｑjの画素値に△ｑjを加算した値のＨＤ画素ｑj’に補正され、また、ＨＤ画素Ｑj+1は、その画素値が、元のＨＤ画素Ｑj+1の画素値に△ｑj+1を加算した値のＨＤ画素ｑj+1’に補正される。
【０２５２】
この補正後のＨＤ画素ｑj’とｑj+1’は、加算部５１から変更部１２２に供給される。
【０２５３】
一方、ＳＤ角度記憶部８１、特徴抽出部８２、および補正角度推定部８３では、図１９における場合と同様にして、ＨＤ誤差角度△θHDが推定され、データ補正部５の回転部９１に供給される。
【０２５４】
回転部９１は、図１９における場合と同様に、データ生成部３（図１）から供給されるＨＤコードベクトル（Ｑ1，Ｑ2，Ｑ3，Ｑ4）における隣接するＨＤ画素どうしを結ぶ直線ＱjＱj+1を、例えば、ＨＤ画素Ｑjを中心に、ＨＤ誤差角度△θHDだけ回転することで、ＨＤ画素Ｑj+1を補正する。ここで、この補正後のＨＤ画素Ｑj+1を、ｑj+1’’と表す。
【０２５５】
さらに、回転部９１は、補正後の直線、即ち、ＨＤ画素Ｑjとｑj+1’’を結ぶ直線Ｑjｑj+1’’を、ＨＤ角度演算部１２１に供給し、ＨＤ角度演算部１２１は、回転部９１から供給される直線Ｑjｑj+1’’の傾きを表す角度θHD’’を求める。
【０２５６】
即ち、例えば、いま、図２９Ｂに示すように、直線ＱjＱj+1の傾きを表すＨＤ角度がθHDで表され、補正角度推定部８３から供給されるＨＤ誤差角度が△θHDで表されるとすると、ＨＤ角度演算部１２１では、角度θHD＋△θHDが、直線Ｑjｑj+1’’の傾きを表す角度θHD’’として求められ、変更部１２２に供給される。
【０２５７】
変更部１２２では、図２９Ｃに示すように、加算部５１から供給されるＨＤ画素ｑj’とｑj+1’を結ぶ直線ｑj’ｑj+1’の傾きを表す角度が、ＨＤ角度演算部１２１から供給される角度θHD’’に一致するように補正される。
【０２５８】
ここで、図２９Ｃでは、加算部５１から供給されるＨＤ画素ｑj’とｑj+1’を結ぶ直線ｑj’ｑj+1’が、ＨＤ画素ｑj’を中心として回転され、その傾きを表す角度がθHD’’とされており、これにより、ＨＤ画素ｑj+1’が、ＨＤ画素ｑj+1’’に補正されている。
【０２５９】
なお、加算部５１から供給されるＨＤ画素ｑj’とｑj+1’を結ぶ直線ｑj’ｑj+1’の回転中心は、図２２で説明したように、左側のＨＤ画素ｑj’とする他、例えば、右側のｑj+1’や、その２つのＨＤ画素ｑj’とｑj+1’の中点などとすることができる。
【０２６０】
また、図２８の実施の形態において、補正量算出部４は、図１１と図１９の補正量算出部４ではなく、図１２と図２３の補正量算出部４を採用して構成することも可能である。
【０２６１】
以上のように、ＳＤ画像データから抽出されたクラスタップのクラスに基づいて、ＨＤ画像データを生成する一方、クラスタップとそのクラスに基づいて、クラスタップの特徴を検出し、その特徴に基づいて、ＨＤ画像データを補正する補正量を求め、その補正量によって、ＨＤ画像データを補正するようにしたので、精度の高い補正量を求めることができ、さらに、クラス分類によって、元のＳＤ画像データよりも高画質のＨＤ画像データを得ることができる。
【０２６２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２６３】
そこで、図３０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２６４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２６５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２６６】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２６７】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２６８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２７０】
なお、本実施の形態では、クラス分類部２において、クラスタップをベクトル量子化することによって、そのクラスタップをクラス分類するようにしたが、クラス分類の手法は、ベクトル量子化に限定されるものではない。即ち、クラス分類は、例えば、前述したADRC処理などによって行うことも可能である。
【０２７１】
また、本実施の形態では、図１のデータ変換装置において、ＳＤ画像データを、より高画質のＨＤ画像データに変換するようにしたが、図１のデータ変換装置では、その他、例えば、音声データを、より高音質の音声データに変換することも可能である。
【０２７２】
さらに、本実施の形態では、ＳＤ画像データを、その画素数を多くしたＨＤ画像データ、即ち、空間解像度を向上させたＨＤ画像データに変換するようにしたが、ＳＤ画像データは、その他、例えば、時間方向の解像度（フレームまたはフィールド数）を向上させたＨＤ画像データや、レベル方向の解像度（画素値に割り当てられたビット数）を向上させたＨＤ画像データに変換することも可能である。
【０２７３】
なお、図１のデータ変換装置は、例えば、テレビジョン放送信号を受信して画像を表示するテレビジョン受像機や、ＤＶＤから画像データを再生して出力するＤＶＤ再生装置、ビデオテープから画像データを再生して出力するＶＴＲその他の画像を処理する装置などに適用可能である。
【０２７４】
【発明の効果】
以上の如く、本発明によれば、クラス分類によって、元のデータよりも高品質のデータを得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したデータ変換装置の一実施の形態の構成例を示すブロック図である。
【図２】データ変換装置の処理を説明するフローチャートである。
【図３】ＳＤ画像データとＨＤ画像データとの関係を示す図である。
【図４】クラス分類部２とデータ生成部３の構成例を示すブロック図である。
【図５】クラス分類用コードブックとデータ生成用コードブックの例を示す図である。
【図６】コードブックを求めるコードブック学習装置の構成例を示すブロック図である。
【図７】コードブック学習装置の処理を説明するフローチャートである。
【図８】学習対データとコード対教師情報の例を示す図である。
【図９】クラス分類用コードブックの生成方法を説明するための図である。
【図１０】ＳＤ画像空間とＨＤ画像空間を示す図である。
【図１１】補正量算出部４とデータ補正部５の第１の構成例を示すブロック図である。
【図１２】補正量算出部４とデータ補正部５の第２の構成例を示すブロック図である。
【図１３】補正情報学習装置の一実施の形態の構成例を示すブロック図である。
【図１４】補正情報学習装置の処理を説明するフローチャートである。
【図１５】誤差テーブルの例を示す図である。
【図１６】ＳＤ画像空間とＨＤ画像空間を示す図である。
【図１７】ＨＤ誤差距離Ｄqを近似する関数を示す図である。
【図１８】係数テーブルの例を示す図である。
【図１９】補正量算出部４とデータ補正部５の第３の構成例を示すブロック図である。
【図２０】クラス分類用コードブックとＳＤ角度テーブルを示す図である。
【図２１】特徴抽出部８２、補正角度推定部８３、および回転部９１の処理を説明するための図である。
【図２２】回転部９１の処理を説明するための図である。
【図２３】補正量算出部４とデータ補正部５の第４の構成例を示すブロック図である。
【図２４】補正情報学習装置の他の一実施の形態の構成例を示すブロック図である。
【図２５】補正情報学習装置の処理を説明するフローチャートである。
【図２６】誤差角度テーブルの例を示す図である。
【図２７】係数テーブルの例を示す図である。
【図２８】補正量算出部４とデータ補正部５の第５の構成例を示すブロック図である。
【図２９】補正量算出部４とデータ補正部５の処理を説明するための図である。
【図３０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１  タップ抽出部，  ２  クラス分類部，  ３  データ生成部，  ４  補正量算出部，  ５  データ補正部，  １１  ベクトル量子化部，  １２  コードブック記憶部，  ２１  ベクトル逆量子化部，  ２２  コードブック記憶部，  ３１学習用データベース，  ３２  教師データ生成部，  ３３  生徒データ生成部，  ３４  学習対記憶部，  ３５  クラス分類用コードブック生成部，  ３６  クラス分類部，  ３７  コード対教師情報記憶部，  ３８  データ生成用コードブック生成部，  ４１  クラス分類用コードブック記憶部，  ４２  特徴抽出部，  ４３  ＨＤ誤差推定部，  ５１  加算部，  ６１  補正情報記憶部，  ６３ＨＤ誤差推定部，  ７１  学習用データベース，  ７２  教師データ生成部，７３  生徒データ生成部，  ７４  学習対記憶部，  ７５  クラス分類部，  ７６  データ生成部，  ７７  ＨＤ誤差演算部，  ７８  ＳＤ誤差演算部，  ７９  学習部，  ８１  ＳＤ角度記憶部，  ８２  特徴抽出部，  ８３  補正角度推定部，  ９１  回転部，  １０１  補正情報記憶部，  １０３  補正角度推定部，  １１１  ＨＤ誤差角度演算部，  １１２  ＳＤ誤差角度演算部，  １１３学習部，  １２１  ＨＤ角度演算部，  １２２  変更部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
0003702464.tif 000044
【図２】
0003702464.tif 000045
【図３】
0003702464.tif 000046
【図４】
0003702464.tif 000047
【図５】
0003702464.tif 000048
【図６】
0003702464.tif 000049
【図７】
0003702464.tif 000050
【図８】
0003702464.tif 000051
【図９】
0003702464.tif 000052
【図１０】
0003702464.tif 000053
【図１１】
0003702464.tif 000054
【図１２】
0003702464.tif 000055
【図１３】
0003702464.tif 000056
【図１４】
0003702464.tif 000057
【図１５】
0003702464.tif 000058
【図１６】
0003702464.tif 000059
【図１７】
0003702464.tif 000060
【図１８】
0003702464.tif 000061
【図１９】
0003702464.tif 000062
【図２０】
0003702464.tif 000063
【図２１】
0003702464.tif 000064
【図２２】
0003702464.tif 000065
【図２３】
0003702464.tif 000066
【図２４】
0003702464.tif 000067
【図２５】
0003702464.tif 000068
【図２６】
0003702464.tif 000069
【図２７】
0003702464.tif 000070
【図２８】
0003702464.tif 000071
【図２９】
0003702464.tif 000072
【図３０】
0003702464.tif 000073