(57)【特許請求の範囲】
【請求項１】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換装置において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類手段と、
中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、上記中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第１のクラス分類手段により生成されたクラスに対応する第１の予測係数との線形一次結合により、上記中間フォーマット信号を生成する第１の予測手段と、
生成された上記中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類手段と、
出力映像信号内の注目画素の近傍に位置する中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、上記出力映像信号内の注目画素の近傍に位置する予測用複数画素と、上記第２のクラス分類手段により生成されたクラスに対応する第２の予測係数との線形一次結合により、当該中間フォーマット信号より高い解像度を有する上記出力映像信号を生成する第２の予測手段と
を備えることを特徴とする信号変換装置。
【請求項２】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換装置において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類手段と、
上記第１のクラス分類手段により生成されたクラス毎に、中間フォーマット信号内の注目画素の画素値の平均値が第１の最適予測値として予め学習され記憶されており、上記第１のクラス分類手段により生成されたクラスに対応する第１の最適予測値を上記中間フォーマット信号として出力する第１の予測手段と、
生成された上記中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類手段と、
上記第２のクラス分類手段により生成されたクラス毎に、出力映像信号内の注目画素の画素値の平均値が第２の最適予測値として予め学習され記憶されており、上記第２のクラス分類手段により生成されたクラスに対応する第２の最適予測値を上記出力映像信号として出力する第２の予測手段と
を備えることを特徴とする信号変換装置。
【請求項３】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換装置において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する第１の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類手段と、
第１の中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、上記第１の中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第１のクラス分類手段により生成されたクラスに対応する第１の予測係数との線形一次結合により、上記第１の中間フォーマット信号を生成する第１の予測手段と、
生成された上記第１の中間フォーマット信号より抽出された、当該第１の中間フォーマット信号より高い解像度を有する第２の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類手段と、
第２の中間フォーマット信号内の注目画素の近傍に位置する第１の中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、上記第２の中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第２のクラス分類手段により生成されたクラスに対応する第２の予測係数との線形一次結合により、上記第２の中間フォーマット信号を生成する第２の予測手段とを少なくとも有し、
予め設定されたＮ回（Ｎ＞＝２以上の自然数）の中間フォーマット信号生成により第Ｎの中間フォーマット信号を生成する中間フォーマット信号生成手段と、
生成された上記第Ｎの中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第Ｎ＋１のクラス分類手段と、
出力映像信号内の注目画素の近傍に位置する第Ｎの中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第Ｎ＋１の予測係数がクラス毎に予め学習され記憶されており、上記出力映像信号内の注目画素の近傍に位置する予測用複数画素と、上記第Ｎ＋１のクラス分類手段により生成されたクラスに対応する第Ｎ＋１の予測係数との線形一次結合により、当該第Ｎの中間フォーマット信号より高い解像度を有する上記出力映像信号を生成する第Ｎ＋１の予測手段と
を備えることを特徴とする信号変換装置。
【請求項４】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換装置において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する第１の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類手段と、
上記第１のクラス分類手段により生成されたクラス毎に、第１の中間フォーマット信号内の注目画素の画素値の平均値が第１の最適予測値として予め学習され記憶されており、上記第１のクラス分類手段により生成されたクラスに対応する第１の最適予測値を上記第１の中間フォーマット信号として出力する第１の予測手段と、
生成された上記第１の中間フォーマット信号より抽出された、当該第１の中間フォーマット信号より高い解像度を有する第２の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類手段と、
上記第２のクラス分類手段により生成されたクラス毎に、第２の中間フォーマット信号内の注目画素の画素値の平均値が第２の最適予測値として予め学習され記憶されており、上記第２のクラス分類手段により生成されたクラスに対応する第２の最適予測値を上記第２の中間フォーマット信号として出力する第２の予測手段とを少なくとも有し、
予め設定されたＮ回（Ｎ＞＝２以上の自然数）の中間フォーマット信号生成により第Ｎの中間フォーマット信号を生成する中間フォーマット信号生成手段と、
生成された上記第Ｎの中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第Ｎ＋１のクラス分類手段と、
上記第Ｎ＋１のクラス分類手段により生成されたクラス毎に、出力映像信号内の注目画素の画素値の平均値が第Ｎ＋１の最適予測値として予め学習され記憶されており、上記第Ｎ＋１のクラス分類手段により生成されたクラスに対応する第Ｎ＋１の最適予測値を上記出力映像信号として出力する第Ｎ＋１の予測手段と
を備えることを特徴とする信号変換装置。
【請求項５】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値としてのＰＣＭデータに基づきクラス分類を行うことを特徴とする信号変換装置。
【請求項６】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値にＡＤＲＣを適用しクラス分類を行うことを特徴とする信号変換装置。
【請求項７】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値にＤＰＣＭを適用しクラス分類を行うことを特徴とする信号変換装置。
【請求項８】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値にＢＴＣを適用しクラス分類を行うことを特徴とする信号変換装置。
【請求項９】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値にベクトル量子化を適用しクラス分類を行うことを特徴とする信号変換装置。
【請求項１０】
請求項１、２、３、又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値に対して周波数領域におけるクラス分類を行うことを特徴とする信号変換装置。
【請求項１１】
請求項２又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値のアクティビティーに基づいたクラス分類を行うことを特徴とする信号変換装置。
【請求項１２】
請求項２又は４に記載の信号変換装置において、
何れかの上記クラス分類手段は、入力映像信号又は中間フォーマット信号の値に対するクラス分類とアクティビティーとを併用しクラス分類を行うことを特徴とする信号変換装置。
【請求項１３】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換方法において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類ステップと、
中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、上記中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第１のクラス分類ステップにより生成されたクラスに対応する第１の予測係数との線形一次結合により、上記中間フォーマット信号を生成する第１の予測ステップと、
生成された上記中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類ステップと、
出力映像信号内の注目画素の近傍に位置する中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、上記出力映像信号内の注目画素の近傍に位置する予測用複数画素と、上記第２のクラス分類ステップにより生成されたクラスに対応する第２の予測係数との線形一次結合により、当該中間フォーマット信号より高い解像度を有する上記出力映像信号を生成する第２の予測ステップと
を備えることを特徴とする信号変換方法。
【請求項１４】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換方法において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類ステップと、
上記第１のクラス分類ステップにより生成されたクラス毎に、中間フォーマット信号内の注目画素の画素値の平均値が第１の最適予測値として予め学習され記憶されており、上記第１のクラス分類ステップにより生成されたクラスに対応する第１の最適予測値を上記中間フォーマット信号として出力する第１の予測ステップと、
生成された上記中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類ステップと、
上記第２のクラス分類ステップにより生成されたクラス毎に、出力映像信号内の注目画素の画素値の平均値が第２の最適予測値として予め学習され記憶されており、上記第２のクラス分類ステップにより生成されたクラスに対応する第２の最適予測値を上記出力映像信号として出力する第２の予測ステップと
を備えることを特徴とする信号変換方法。
【請求項１５】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換方法において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する第１の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類ステップと、
第１の中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、上記第１の中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第１のクラス分類ステップにより生成されたクラスに対応する第１の予測係数との線形一次結合により、上記第１の中間フォーマット信号を生成する第１の予測ステップと、
生成された上記第１の中間フォーマット信号より抽出された、当該第１の中間フォーマット信号より高い解像度を有する第２の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類ステップと、
第２の中間フォーマット信号内の注目画素の近傍に位置する第１の中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、上記第２の中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、上記第２のクラス分類ステップにより生成されたクラスに対応する第２の予測係数との線形一次結合により、上記第２の中間フォーマット信号を生成する第２の予測ステップとを少なくとも有し、
予め設定されたＮ回（Ｎ＞＝２以上の自然数）の中間フォーマット信号生成により第Ｎの中間フォーマット信号を生成する中間フォーマット信号生成ステップと、
生成された上記第Ｎの中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第Ｎ＋１のクラス分類ステップと、
出力映像信号内の注目画素の近傍に位置する第Ｎの中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第Ｎ＋１の予測係数がクラス毎に予め学習され記憶されており、上記出力映像信号内の注目画素の近傍に位置する予測用複数画素と、上記第Ｎ＋１のクラス分類ステップにより生成されたクラスに対応する第Ｎ＋１の予測係数との線形一次結合により、当該第Ｎの中間フォーマット信号より高い解像度を有する上記出力映像信号を生成する第Ｎ＋１の予測ステップと
を備えることを特徴とする信号変換方法。
【請求項１６】
入力映像信号より高い解像度を有する出力映像信号を生成する信号変換方法において、
上記入力映像信号より抽出された、当該入力映像信号より高い解像度を有する第１の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類ステップと、
上記第１のクラス分類ステップにより生成されたクラス毎に、第１の中間フォーマット信号内の注目画素の画素値の平均値が第１の最適予測値として予め学習され記憶されており、上記第１のクラス分類ステップにより生成されたクラスに対応する第１の最適予測値を上記第１の中間フォーマット信号として出力する第１の予測ステップと、
生成された上記第１の中間フォーマット信号より抽出された、当該第１の中間フォーマット信号より高い解像度を有する第２の中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類ステップと、
上記第２のクラス分類ステップにより生成されたクラス毎に、第２の中間フォーマット信号内の注目画素の画素値の平均値が第２の最適予測値として予め学習され記憶されており、上記第２のクラス分類ステップにより生成されたクラスに対応する第２の最適予測値を上記第２の中間フォーマット信号として出力する第２の予測ステップとを少なくとも有し、
予め設定されたＮ回（Ｎ＞＝２以上の自然数）の中間フォーマット信号生成により第Ｎの中間フォーマット信号を生成する中間フォーマット信号生成ステップと、
生成された上記第Ｎの中間フォーマット信号より抽出された、上記出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第Ｎ＋１のクラス分類ステップと、
上記第Ｎ＋１のクラス分類ステップにより生成されたクラス毎に、出力映像信号内の注目画素の画素値の平均値が第Ｎ＋１の最適予測値として予め学習され記憶されており、上記第Ｎ＋１のクラス分類ステップにより生成されたクラスに対応する第Ｎ＋１の最適予測値を上記出力映像信号として出力する第Ｎ＋１の予測ステップと
を備えることを特徴とする信号変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力された画像情報より高い解像度を有する画像信号を得ることができる信号変換装置および方法に関する。
【０００２】
【従来の技術】
標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータに使用されている従来技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１０に示す。ここでは説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類（mode１，mode２，mode３，mode４）の位置にＨＤ画素が存在する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構造は、空間内２次元ノンセパラブルフィルタと、水平／垂直セパラブルフィルタに分類される。その補間フィルタの構成例を図１１および図１２に示す。
【０００４】
図１１に示す補間フィルタは、空間内２次元フィルタを使用する場合である。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６へ供給され、選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１２に示す補間フィルタは、水平／垂直セパラブルフィルタを使用する場合である。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９４へ供給される。垂直補間フィルタ９２および９４において、ＨＤ信号の２本の走査線データが生成される。例えば、それぞれmode１用、mode２用とmode３用、mode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９４からの出力信号は、水平補間フィルタ９３および９５へ供給される。この水平補間フィルタ９３および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしか出来ないという問題がある。
【０００８】
そこで、これを改善するため、この発明では、補間フィルタにクラス分類適応処理を適用することが提案された。これは入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する処理である。
【０００９】
入力ＳＤ信号をＨＤフォーマット信号へ変換するアップコンバージョン方式として、クラス分類適応処理を導入することが提案されている。従来の周波数フィルタを用いたアップコンバージョン方式に比べ、クラス分類適応処理を適用したアップコンバージョン方式は、解像度が向上したＨＤ信号を生成し、良好な画質を得ることが可能となる。このクラス分類適応処理とは、入力信号の特徴に基づき入力信号をいくつかのクラスに分類し、予め用意されたクラス毎の適切な適応処理を実行するものである。
【００１０】
従って、この発明の目的は、アップコンバージョンに対してクラス分類適応処理を適用することで入力信号からこれよりデータ数の多い出力信号を得ることができ、また、予測性能が向上した信号変換装置および方法を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、入力映像信号より高い解像度を有する出力映像信号を生成する信号変換装置において、
入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類手段と、
中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、第１のクラス分類手段により生成されたクラスに対応する第１の予測係数との線形一次結合により、中間フォーマット信号を生成する第１の予測手段と、
生成された中間フォーマット信号より抽出された、出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類手段と、
出力映像信号内の注目画素の近傍に位置する中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、出力映像信号内の注目画素の近傍に位置する予測用複数画素と、第２のクラス分類手段により生成されたクラスに対応する第２の予測係数との線形一次結合により、当該中間フォーマット信号より高い解像度を有する出力映像信号を生成する第２の予測手段と
を備えることを特徴とする信号変換装置である。
【００１２】
また、請求項１３に記載の発明は、入力映像信号より高い解像度を有する出力映像信号を生成する信号変換方法において、
入力映像信号より抽出された、当該入力映像信号より高い解像度を有する中間フォーマット信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第１のクラス分類ステップと、
中間フォーマット信号内の注目画素の近傍に位置する入力映像信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第１の予測係数がクラス毎に予め学習され記憶されており、中間フォーマット信号内の注目画素の近傍に位置する予測用複数画素と、第１のクラス分類ステップにより生成されたクラスに対応する第１の予測係数との線形一次結合により、中間フォーマット信号を生成する第１の予測ステップと、
生成された中間フォーマット信号より抽出された、出力映像信号内の注目画素の近傍に位置するクラス用複数画素の値の分布から当該注目画素に対応するクラスを生成する第２のクラス分類ステップと、
出力映像信号内の注目画素の近傍に位置する中間フォーマット信号内の予測用複数画素との線形一次結合により当該注目画素を予測するための第２の予測係数がクラス毎に予め学習され記憶されており、出力映像信号内の注目画素の近傍に位置する予測用複数画素と、第２のクラス分類ステップにより生成されたクラスに対応する第２の予測係数との線形一次結合により、当該中間フォーマット信号より高い解像度を有する出力映像信号を生成する第２の予測ステップと
を備えることを特徴とする信号変換方法である。
【００１３】
この発明の信号変換装置は、クラス分類適応処理により入力ＳＤ信号から直接ＨＤフォーマット信号を生成するのではなく、いくつかの中間フォーマット信号を段階的に生成し、最終的にＨＤフォーマット信号を得るものである。
【００１４】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。この発明の信号変換装置に適用されるクラス分類の一例を図１に示す。まず、クラス分類法の例としては、図１Ａのように、注目ＳＤ画素とその周囲の６個のＳＤ画素を使用することによって、入力信号（８ビットＰＣＭデータ）に対しクラス生成タップを設定し、入力信号の波形特性によりクラスを生成する。この例では、７タップクラスであり、信号波形のクラス生成法としては次の例などが提案されている。
【００１５】
１）ＰＣＭデータを直接使用する。
２）ＡＤＲＣ（適応的ダイナミックレンジ符号化）を適用し、クラス数を削減する。
３）ＤＰＣＭ（予測符号化）を適用し、クラス数を削減する。
４）ＶＱ（ベクトル量子化）を適用し、クラス数を削減する。
５）ＤＣＴ（離散的コサイン変換）などの周波数領域におけるクラス分類。
【００１６】
ＰＣＭデータを直接使用するとクラス数は、８ビットデータが７画素存在するため、２56という膨大な数字になり、実用上において問題である。そこで、実際は、ＡＤＲＣなどを適用しクラス数の削減を図る。例えば、７タップデータに対し１ビットＡＤＲＣを適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスに削減することが可能となる。
【００１７】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。こうして分類されたクラス毎に適応処理を実行するが、その例としては予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測タップの一例を図１Ｂに示す。この一例は、フレーム内１３タップとなる構成である。予測式の例を式（１）に示す。
【００１８】
【数１】
0003814850.tif 000002
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測側タップ画素値
ｗi ：予測係数
【００１９】
このようにクラス毎に生成された予測係数と入力データとの積和演算によりＨＤ画素値を推定する。クラス分類適応処理の回路構成の一例を図２に示す。１で示す入力端子から入力信号は供給され、その入力信号は、クラス分類部２と予測演算部４に供給される。クラス分類部２において、上述のようなクラス分類処理に基づき、入力信号に対するクラスが生成される。生成されたクラスをアドレスとして予測係数ＲＯＭ３へ供給され、予測係数ＲＯＭ３から予測演算部４へ予測係数が出力される。予測演算部４において、入力信号と予測係数を用いて式（１）の予測演算が実行され、出力結果ＯＵＴを得る。
【００２０】
上述の予測係数は、予め学習により生成しておく。以下、その学習方法について述べる。式（１）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。その最小自乗法は、次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値としてつぎの式を考える。
【００２１】
観測方程式；ＸＷ＝Ｙ・・・（２）
【数２】
0003814850.tif 000003
上述の観測方程式により収集されたデータに最小自乗法を適用する。
【００２２】
式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【数３】
0003814850.tif 000004
【００２３】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
0003814850.tif 000005
を最小にする条件が成り立つ場合と考えられる。
【００２４】
すなわち、式（５）の条件を考慮すれば良いわけである。
【数５】
0003814850.tif 000006
【００２５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 ，ｗ2 ，・・・，ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【数６】
0003814850.tif 000007
【００２６】
式（５）および式（６）により式（７）が得られる。
【数７】
0003814850.tif 000008
【００２７】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
0003814850.tif 000009
【００２８】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることが出来る。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００２９】
ここで、上述の最小自乗法を用いて予測係数の学習を行う一例を図３に示す。まず、ステップ１１からこのフローチャートは始まり、このステップ１１において、既知の画像に対応した学習データが形成される。具体的には、上述したように図１Ｂに示す画素の配列が使用される。そして、ステップ１３において、入力データに対してクラス分類が行われる。この一例では、図１Ａに示す７画素のデータが検出される。
【００３０】
ステップ１４において、各クラス毎に、式（８）の正規方程式が生成される。一般に、ノイズの影響を排除するため、入力データ変化のアクティビティーが小さいものを学習対象から除外する。この学習プロセスにおいて、多くの学習データが登録された正規方程式が生成される。学習対象データが終了するまで、正規方程式生成プロセスが繰り返される。
【００３１】
ステップ１２のデータ終了の判定過程において、学習対象データ数の終了が確認されるまで上述の作業が繰り返される。対象となる学習データが全て終了するとステップ１５の予測係数決定に制御が移る。ここでは、多くの学習データより生成された、クラス毎の式（８）の正規方程式が解かれる。その連立方程式の解法としては、上述の掃き出し法が用いられる。こうして得られた予測係数は、ステップ１６の予測係数登録の過程において、クラス別にアドレス分割されたＲＯＭなどの記憶部に登録される。以上の学習過程により、クラス分類適応処理の予測係数が生成される。
【００３２】
ここで、予測タップ構造の分類による構成例を図４および図５に示す。上述した従来のアップコンバータの補間フィルタの構成例との対応を考えると、図４に示す２次元ノンセパラブル構成と図５に示す垂直／水平セパラブル構成に分類される。基本的に、各々の予測演算部は予測係数を用いたディジタルフィルタと同一の回路構成となる。
【００３３】
図１０に示す空間位置関係にあるＨＤ画素を予測する場合、図４の２次元ノンセパラブル構成では、入力ＳＤ信号のＳＤ画素に対し４種類のＨＤ画素が生成される。２１で示す入力端子から供給されるＳＤ信号は、クラス分類部２２、mode１予測演算部２４、mode２予測演算部２５、mode３予測演算部２６およびmode４予測演算部２７に供給される。クラス分類部２２では、供給された入力ＳＤ信号から図１Ａに示す画素が取り出され、取り出された画素に対してクラス分類が行われ、クラス分類部２２から出力されるクラスｄ０は、アドレスとして予測係数ＲＯＭ２３へ供給される。
【００３４】
この予測係数ＲＯＭ２３では、クラスｄ０に対応する予測係数ｄ５がmode１予測演算部２４、mode２予測演算部２５、mode３予測演算部２６およびmode４予測演算部２７に供給される。mode１予測演算部２４では、図１Ｂに示す入力ＳＤ信号のＳＤ画素と予測係数ｄ５とを用いて、積和演算を行いＨＤ画素ｄ１が生成される。同様に、mode２予測演算部２５では、ＨＤ画素ｄ２が、mode３予測演算部２６では、ＨＤ画素ｄ３がおよびmode４予測演算部２７では、ＨＤ画素ｄ４が生成される。
【００３５】
そして、選択部２８において、各ＨＤ画素ｄ１〜ｄ４を所望の時系列に並び替え、出力端子２９から出力ＨＤ信号を得ることができる。なお、選択部２８には並び替えに必要なメモリも含まれる。以上が２次元ノンセパラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００３６】
一方、図５に、垂直／水平セパラブル構成の予測演算を行なう場合のクラス分類適応処理の構成例を示す。３１で示す入力端子からＳＤ信号が供給され、その入力ＳＤ信号は、クラス分類部３２、垂直予測演算部３４および３５へ供給される。クラス分類部３２では、供給された入力ＳＤ信号から図１Ａに示す画素が取り出され、取り出された画素に対してクラス分類が行われ、クラス分類部３２から出力されるクラスｄ１０は、アドレスとして垂直係数ＲＯＭ３３および水平係数ＲＯＭ３４へ供給される。
【００３７】
垂直係数ＲＯＭ３３では、クラスｄ１０に対応する垂直予測係数ｄ１５が垂直予測演算部３４および３５へ供給される。垂直予測演算部３４では、入力ＳＤ信号のＳＤ画素と垂直予測係数ｄ１５とを用いて、積和演算を行い垂直推定値ｄ１１が生成される。その垂直推定値ｄ１１は、垂直予測演算部３４から水平予測演算部３７へ供給される。同様に、垂直予測演算部３５では、垂直推定値ｄ１２が生成され、その垂直推定値ｄ１２は、水平予測演算部３８へ供給される。
【００３８】
水平係数ＲＯＭ３６では、クラスｄ１０に対応する水平予測係数ｄ１６が水平予測演算部３７および３８へ供給される。水平予測演算部３７では、垂直予測演算部３４からの垂直推定値ｄ１１と垂直予測係数ｄ１６との積和演算を行いＨＤ画素ｄ１３が生成される。そのＨＤ画素ｄ１３は、水平予測演算部３７から選択部３９へ供給される。同様に、水平予測演算部３８では、ＨＤ画素ｄ１４が生成され、そのＨＤ画素ｄ１４は、選択部３９へ供給される。
【００３９】
この垂直予測演算部３４および水平予測演算部３７では、mode１用およびmode２用の走査線が生成され、垂直予測演算部３５および水平予測演算部３８では、mode３用およびmode４用の走査線が生成される。このように、２種類に分けられ予測演算が行われる。
【００４０】
そして、選択部３９において、各ＨＤ画素ｄ１３、ｄ１４を所望の時系列に並び替え、出力端子４０から出力ＨＤ信号を得ることができる。なお、選択部４０には、上述の選択部２８と同様に並び替えに必要なメモリも含まれる。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００４１】
また、以上の予測演算によるクラス分類適応処理の他に、予め重心法により生成された最適予測値を用いるクラス分類適応処理も提案されている。その学習法について以下に示す。例えば、上述のように図１Ａに示す画素に対して１ビットＡＤＲＣを行う、すなわち１２８クラスに分類する場合を考える。これらの学習の一例を図６に示すフローチャートを用いて説明する。
【００４２】
ステップ４１からこのフローチャートが始まり、そのステップ４１において、全てのクラスの度数カウンタＮ（＊）と、全てのクラスのデータテーブルＥ（＊）の初期化が行われる。ここで、あるクラスをＣ０とすると、対応する度数のカウンタはＮ（Ｃ０）、対応するデータテーブルはＥ（Ｃ０）と定義する。また、＊はクラスの全てを示す。
【００４３】
ステップ４２のクラス検出では、学習対象画素近傍データからクラスＣが決定される。このクラスＣは、図１Ａに示すように対象信号の７画素がクラス生成用に使用される。このクラス分類の手法としては、上述のようにＡＤＲＣの他にも、ＰＣＭ表現、ＤＰＣＭ、ＢＴＣ（ブロックトランケーション符号化）、ＶＱ、直交変換などの表現法が考えられる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合、クラス数をアクティビティーによる分類の種類だけ増やしておく。
【００４４】
そして、ステップ４３では、この学習対象となる画素値ｙを検出し、検出された画素値ｙは、ステップ４４において、クラスＣ毎に画素値ｙをそれぞれ加算する。すなわち、クラスＣのデータテーブルＥ（Ｃ）の内容にｙを加算した後、ステップ４５では、クラスＣの学習画素の度数カウンタＮ（Ｃ）が＋１インクリメントされる。ステップ４６では、以上の処理を全学習対象画素について繰り返し実行し、最終的な全てのクラスの度数カウンタＮ（＊）と、対応する全てのクラスのデータテーブルＥ（＊）が生成されると、ステップ４７へ制御が移る。
【００４５】
ステップ４７では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を、対応クラスの度数カウンタＮ（＊）の度数で、除算を実行することで各クラスの平均値を算出する。この値が重心法による各クラスの最適予測値となる。重心法という名称の由来は、学習対象画素値の分布の平均をとることによる。最終的に、ステップ４８において、ＲＯＭなどの記憶手段に、クラスと上述の最適予測値を登録することで重心法による学習は終了する。また、学習過程においてノイズの影響を排除するため、アクティビティーの小さい画素は学習対象から除外される場合がある。
【００４６】
ここで、重心法によるクラス分類適応処理のブロック図構成例を図７に示す。５１で示す入力端子から対象信号ｄ２０が供給され、その対象信号ｄ２０は、クラス分類部５２およびアクティビティークラス分類部５３へ供給される。クラス分類部５２では、供給された対象信号ｄ２０からクラスが生成される。生成された分類クラスはｄ２１として最適予測値ＲＯＭ５４へ供給される。重心法により予め生成されたクラス毎の最適予測値は、最適予測値ＲＯＭ５４にクラス別に登録されているとする。そして、その最適予測値ＲＯＭ５４のアドレスを各クラスに対応させておく。
【００４７】
この図７の構成例は、対象信号ｄ２０のアクティビテイー別にクラス分類が行われる場合である。そのため、アクティビティークラス分類部５３において、対象信号のアクティビティーが分類される。この分類クラスは、ｄ２２として最適予測値ＲＯＭ５４へ供給される。最適予測値ＲＯＭ５４では、分類クラスｄ２１およびｄ２２により、アドレスが指定され、そのアドレスに応じて最適予測値ｄ２３が読み出される。読み出された最適予測値ｄ２３は、出力端子５５から伝送される。以上の処理により重心法を用いたクラス分類適応処理が実行される。
【００４８】
さて、この発明は、クラス分類適応処理の導入にあたり、入力ＳＤ信号から直接ＨＤ信号を生成するのではなく、複数の中間フォーマット信号を生成し段階的にデータ数を増加させ、最終的にＨＤ信号を生成するものである。これまでのアップコンバータ用クラス分類適応処理の基本構造は、図２や図７に示されている。従来は、入力ＳＤ信号から、直接、これらの図のような処理によりＨＤ信号を生成していた。
【００４９】
ここで、更に性能向上を図るため、第１段階として入力ＳＤ信号からデータ数の比較的近い中間フォーマット信号を生成し、次の段階として中間フォーマット信号から更にデータ数の多い中間フォーマット信号を生成していくという段階的な処理を提案する。例えば、図８に１つの中間フォーマット信号を導入した一例を示す。図８では、説明のため、１次元信号を考える。
【００５０】
ＨＤ信号のデータ量を１００％とすると、ＳＤ信号のデータ量は半分の５０％となる。ここで中間フォーマット信号として、ＨＤ信号の４：３のレートの信号を考えると、データ量は７５％となる。そこで、第１段階としてＳＤ信号から中間フォーマット信号へのアップコンバージョンを行う。そして、第２段階として中間フォーマット信号から最終的なＨＤ信号を得る。
【００５１】
このような処理をする目的は、対象信号と中間フォーマット信号の方が、対象信号とＨＤ信号よりも特性が近いと考えられるため、クラス分類適応処理を用いて信号変換を行う場合も、特性の近い信号の方が信号変換の精度が高い。そこで、複数の中間フォーマット信号を経由することで、最終的に高性能なＨＤ信号を得ることが可能となる。このとき、各段階でのクラス分類適応処理の特性は異なるものの方が好ましい。例えば、第１段階としてＡＤＲＣのような時間領域における信号変化をもとにクラス分類に用いた場合には、第２段階においてはＤＣＴ、アダマール変換、直交変換、サブバンド符号化など周波数領域でのクラス分類を用いるなど、段階毎に対象信号の異なる特性を評価するクラス分類法を導入するなどが考えられる。
【００５２】
ここで、この発明の信号変換装置の一実施例を図９に示す。上述の図８では、２段階処理を行う例を示したものであるが、この図９は、ｎ段階処理を行うものである。６１に示す入力端子からＳＤ信号ｄ３０が供給され、その入力ＳＤ信号ｄ３０が第１段階処理部６２へ供給される。第１段階処理部６２は、クラス分類部６５、予測係数ＲＯＭ６６および予測演算部６７から構成されている。そして、入力ＳＤ信号ｄ３０は、クラス分類部６５および予測演算部６７へ供給される。クラス分類部６５では、入力ＳＤ信号ｄ３０に応じた分類クラスｄ３１が生成され、その分類クラスｄ３１は、アドレスとして予測係数ＲＯＭ６６へ供給される。
【００５３】
予測係数ＲＯＭ６６には、予め学習により予測係数が記憶され、分類クラスｄ３１により予測係数ＲＯＭ６６のアドレスがアクセスされ、分類クラスｄ３１に対応する予測係数ｄ３２が読み出される。読み出された予測係数ｄ３２は、予測係数ＲＯＭ６６から予測演算部６７へ供給される。予測演算部６７では、入力ＳＤ信号ｄ３０と予測係数ｄ３２によって予測演算が行われ、中間フォーマット信号ｄ３３が生成される。すなわち、第１段階処理部６２では、入力ＳＤ信号ｄ３０から中間フォーマット信号ｄ３３が生成され、その中間フォーマット信号ｄ３３は、第１段階処理部６２から第２段階処理部６３へ供給される。
【００５４】
第２段階処理部６３は、第１段階処理部６２と同様にクラス分類部６８、予測係数ＲＯＭ６９および予測演算部７０から構成されており、第１段階処理部６２からの中間フォーマット信号ｄ３３がクラス分類部６８および予測演算部７０へ供給される。クラス分類部６８では、上述したように第１段階処理部６２とは特性の異なるクラス分類が行われ、中間フォーマット信号ｄ３３に応じた分類クラスｄ３４が生成される。その分類クラスｄ３４は、クラス分類部６８から予測係数ＲＯＭ６９へアドレスとして供給される。
【００５５】
予測係数ＲＯＭ６９にも、予測係数ＲＯＭ６６と同様に予め学習により予測係数が記憶されている。分類クラスｄ３４により予測係数ＲＯＭ６９のアドレスがアクセスされ、分類クラスｄ３４に対応する予測係数ｄ３５が読み出される。読み出された予測係数ｄ３５は、予測係数ＲＯＭ６９から予測演算部７０へ供給される。予測演算部７０では、中間フォーマット信号ｄ３３と予測係数ｄ３５によって予測演算が行われ、中間フォーマット信号ｄ３６が生成され、その中間フォーマット信号ｄ３６は、第２段階処理部６３から図示しない第３段階処理部へ供給される。
【００５６】
このように、各段階の処理が進み、図示しない第（ｎ−１）段階処理部から第ｎ段階処理部６４へ中間フォーマット信号ｄ３７が供給される。この第ｎ段階処理部６３は、上述の第１および第２段階処理部と同様にクラス分類部７１、予測係数ＲＯＭ７２および予測演算部７３から構成されており、供給された中間フォーマット信号ｄ３７は、クラス分類部７１および予測演算部７３へ供給される。クラス分類部７１では、上述したように第１および第２段階処理部とは特性の異なるクラス分類が行われ、中間フォーマット信号ｄ３７に応じた分類クラスｄ３８が生成される。その分類クラスｄ３８は、クラス分類部７１から予測係数ＲＯＭ７２へアドレスとして供給される。
【００５７】
予測係数ＲＯＭ７２にも、予測係数ＲＯＭ６６および６９と同様に予め学習により予測係数が記憶されている。分類クラスｄ３８により予測係数ＲＯＭ７２のアドレスがアクセスされ、分類クラスｄ３８に対応する予測係数ｄ３９が読み出される。読み出された予測係数ｄ３９は、予測係数ＲＯＭ７２から予測演算部７３へ供給される。予測演算部７３では、中間フォーマット信号ｄ３７と予測係数ｄ３９によって予測演算が行われ、ＨＤ信号ｄ４０が生成される。生成されたＨＤ信号ｄ４０は、出力端子７４から伝送される。このようにして、入力信号と特性の近い中間フォーマット信号を経由するクラス分類適応処理により、最終的に高性能なＨＤ信号を得ることが可能となる。
【００５８】
以上は、クラス分類適応処理に予測係数を使用した場合であるが、図７の重心法を用いた処理も同様に構成することが可能である。
【００５９】
なお、この実施例では、説明を簡略化するために１次元信号の例を示したが、実際には図４および図５に示される各予測演算部において、ＳＤ信号とＨＤ信号の間で適切な中間フォーマットがそれぞれ設定され、上述のような処理が実行される。
【００６０】
また、この実施例では、中間フォーマット信号を１つとしたが、これにこだわらず、複数の中間フォーマット信号を生成することでＳＤ信号からＨＤ信号を生成することも可能である。このとき、複数の中間フォーマット信号を生成することで、さらに予測精度の向上を実現することができる。
【００６１】
【発明の効果】
この発明に依れば、入力信号から目的とする出力信号を生成する場合、入力信号から中間信号を生成し、その中間信号から出力信号を生成することで予測性能が向上することによって、入力信号より高い解像度を有する出力信号を得ることができる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類適応処理の一例を示す図である。
【図２】この発明に係るクラス分類適応処理の一例を示すブロック図である。
【図３】この発明に係る予測係数の学習の一例を示すフローチャートである。
【図４】この発明に係るアップコンバータの一例を示すブロック図である。
【図５】この発明に係るアップコンバータの一例を示すブロック図である。
【図６】この発明に係る予測値の学習の一例を示すフローチャートである。
【図７】この発明に係るクラス分類とアクティビティークラス分類を併用したクラス分類適応処理の一例を示すブロック図である。
【図８】この発明の中間フォーマット信号の説明に用いる略線図の一例である。
【図９】この発明のｎ段階処理の一実施例を示すブロック図である。
【図１０】ＳＤ信号とＨＤ信号の説明に用いる略線図である。
【図１１】２次元ノンセパラブル補間フィルタを用いた従来のアップコンバータのブロック図である。
【図１２】垂直／水平セパラブル補間フィルタを用いた従来のアップコンバータのブロック図である。
【符号の説明】
６２  第１段階処理部
６３  第２段階処理部
６４  第ｎ段階処理部
６５、６８、７１  クラス分類部
６６、６９、７２  予測係数ＲＯＭ
６７、７０、７３  予測演算部
【図１】
0003814850.tif 000010
【図２】
0003814850.tif 000011
【図３】
0003814850.tif 000012
【図４】
0003814850.tif 000013
【図５】
0003814850.tif 000014
【図６】
0003814850.tif 000015
【図７】
0003814850.tif 000016
【図８】
0003814850.tif 000017
【図９】
0003814850.tif 000018
【図１０】
0003814850.tif 000019
【図１１】
0003814850.tif 000020
【図１２】
0003814850.tif 000021