(57)【特許請求の範囲】
【請求項１】
第１の画像信号を、この第１の画像信号 と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、
上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、
上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて予測しようとする上記第２の画像信号を構成する所定画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、
少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークにより、上記第２の画像信号を構成する所定画素の信号を予測するニューラルネット予測手段と、
上記クラス情報で示される各クラスに対応した上記ニューラルネット予測手段の上記結合係数を記憶しておく結合係数記憶手段と、
上記クラス決定手段より出力される上記クラス情報に対応して上記結合係数記憶手段より結合係数を読み出す結合係数読み出し手段と、
上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段と
を具備し、
上記ニューラルネット予測手段は、
上記結合係数記憶手段より読み出された結合係数を上記ニューラルネットワークの結合係数とし、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号を上記ニューラルネットワークの上記入力層のユニットへの入力値として、上記ニューラルネットワークの演算を行なって得られた上記ニューラルネットワークの上記出力層のユニットの出力値を、画素信号値を表現するためのビット数に応じた画素信号値に変換し、上記第２の画像信号を構成する所定画素信号の予測値として出力する
ことを特徴とする画像信号変換装置。
【請求項２】
上記ニューラルネット予測手段は、バックプロパゲーションネットワークを使用して構成されることを特徴とする請求項１に記載の画像信号変換装置。
【請求項３】
第１の画像信号を、この第１の画像信号 と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換方法において、
上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第１の領域の画素の信号を切り出す第１のステップと、
上記第１のステップで切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて予測しようとする上記第２の画像信号を構成する所定画素の信号が属するクラスを決定してクラス情報を出力する第２のステップと、
少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークにより、上記第２の画像信号を構成する所定画素の信号を予測する第３のステップと、
上記第２のステップで出力される上記クラス情報で示される各クラスに対応した上記結合係数を記憶手段により読み出す第４のステップと、
上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第２の領域の画素の信号を切り出す第５のステップと、
を具備し、
上記第３のステップでは、
上記記憶手段より読み出された結合係数を上記ニューラルネットワークの結合係数とし、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号を上記ニューラルネットワークの上記入力層のユニットへの入力値として、上記ニューラルネットワークの演算を行なって得られた上記ニューラルネットワークの上記出力層のユニットの出力値を、画素信号値を表現するためのビット数に応じた画素信号値に変換し、上記第２の画像信号を構成する所定画素信号の予測値として出力する
ことを特徴とする画像信号変換方法。
【請求項４】
第１の画像信号を、この第１の画像信号より多い画素数の第２の画像信号に変換する際に使用されるニューラルネットワークの結合係数を生成する装置において、
上記第２の画像信号に対応する教師信号に対してその画素数を減らす処理して上記第１の画像信号に対応する入力信号を得る信号処理手段と、
上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、
上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、
上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、
少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークの上記入力層のユニットへの入力値として上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素値を入力し、上記教師信号を構成する上記複数の画素値を上記出力層のユニットの出力値に基づく値の真値とする学習によって、上記クラス決定手段より出力される上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラス毎に上記ニューラルネットワークの上記結合係数を得るニューラルネット学習手段と
を備えることを特徴とする結合係数生成装置。
【請求項５】
上記ニューラルネット学習手段は、バックプロパゲーションネットワークを使用して構成されることを特徴とする請求項４に記載の結合係数生成装置。
【請求項６】
上記ニューラルネット学習手段は、
入力層、隠れ層、出力層の各ユニットからなり、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号が上記入力層に供給されるニューラルネットワーク部と、
上記ニューラルネットワーク部の出力層のユニットからの出力値を画素信号値を表現するためのビット数に応じた画素信号値に変換する正規化手段と、
上記正規化手段より出力される画素信号値と、上記ニューラルネットワーク部の上記入力層に供給される上記第２の領域の画素の信号に対応した上記教師信号を構成する所定画素の信号とを比較して誤差を検出する誤差検出手段と、
上記クラス情報で示される各クラス毎に、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とそれに対応した上記教師信号を構成する所定画素の信号との組み合わせでなる学習データに対し、上記誤差検出手段で検出される誤差が充分小さな一定範囲内に入る方向に上記ニューラルネットワーク部の出力層および隠れ層のユニットにおける結合係数を変更する結合係数変更手段と、
上記誤差が上記一定範囲内に入ったときの上記ニューラルネットワーク部の出力層および隠れ層のユニットにおける結合係数を学習結果とする結合係数決定手段と
を有することを特徴とする請求項５に記載の結合係数生成装置。
【請求項７】
第１の画像信号を、この第１の画像信号より多い画素数の第２の画像信号に変換する際に使用されるニューラルネットワークの結合係数を生成する方法において、
上記第２の画像信号に対応する教師信号に対してその画素数を減らす処理して上記第１の画像信号に対応する入力信号を得る第１のステップと、
上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第１の領域の画素の信号を順次切り出す第２のステップと、
上記第２のステップで順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラスを決定してクラス情報を出力する第３のステップと、
上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第２の領域の画素の信号を順次切り出す第４のステップと、
少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークの上記入力層のユニットへの入力値として上記第４のステップで順次切り出された上記第２の領域の画素値を入力し、上記教師信号を構成する上記複数の画素値を上記出力層のユニットの出力値に基づく値の真値とする学習によって、上記第３のステップで出力される上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラス毎に上記ニューラルネットワークの上記結合係数を得る第５のステップと
を備えることを特徴とする結合係数生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する画像信号の変換装置および変換方法、並びにそれに使用されるニューラルネットワークの結合係数の生成装置および生成方法に関する。詳しくは、画素信号を予測する際に、ニューラルネットワークを使用することによって、非線形な予測を行うことができ、常に最適な画素信号の予測を行い得るようにした画像信号変換装置に係るものである。
【０００２】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００３】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００４】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ハイビジョンのビデオ信号を構成する各画素の信号を、ＮＴＳＣ方式の所定領域の画素の信号と係数データ（予測係数値）とから線形１次式を使用して予測するようになっている。
【０００５】
【発明が解決しようとする課題】
上述した変換装置においては、ハイビジョンのビデオ信号を構成する各画素の信号を線形１次式によって予測するものであり、最適な画素信号を求めることができない場合がある。
【０００６】
そこで、この発明では、常に最適な画素信号の予測を行い得る画像信号変換装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、第１の画像信号を、この第１の画像信号 と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて予測しようとする上記第２の画像信号を構成する所定画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークにより、上記第２の画像信号を構成する所定画素の信号を予測するニューラルネット予測手段と、上記クラス情報で示される各クラスに対応した上記ニューラルネット予測手段の上記結合係数を記憶しておく結合係数記憶手段と、上記クラス決定手段より出力される上記クラス情報に対応して上記結合係数記憶手段より結合係数を読み出す結合係数読み出し手段と、上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段とを具備し、上記ニューラルネット予測手段は、上記結合係数記憶手段より読み出された結合係数を上記ニューラルネットワークの結合係数とし、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号を上記ニューラルネットワークの上記入力層のユニットへの入力値として、上記ニューラルネットワークの演算を行なって得られた上記ニューラルネットワークの上記出力層のユニットの出力値を、画素信号値を表現するためのビット数に応じた画素信号値に変換し、上記第２の画像信号を構成する所定画素信号の予測値として出力するものである。
【０００８】
ここで、第１および第２の画素切り出し手段が共通であってもよく、この場合第１および第２の領域は同じくなる。また、ニューラルネット予測手段は、例えばバックプロパゲーションネットワークを使用して構成される。さらに、ニューラルネット予測手段は、その出力部に、ニューラルネットワークの出力層のユニットより得られる結合の度合いを示す値を画素信号値に変換する正規化手段を有していてもよい。
【０００９】
また、この発明に係る画像信号変換方法は、第１の画像信号を、この第１の画像信号 と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換方法において、上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第１の領域の画素の信号を切り出す第１のステップと、上記第１のステップで切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて予測しようとする上記第２の画像信号を構成する所定画素の信号が属するクラスを決定してクラス情報を出力する第２のステップと、少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークにより、上記第２の画像信号を構成する所定画素の信号を予測する第３のステップと、上記第２のステップで出力される上記クラス情報で示される各クラスに対応した上記結合係数を記憶手段により読み出す第４のステップと、上記第１の画像信号から上記第２の画像信号を構成する所定画素の近傍に位置する第２の領域の画素の信号を切り出す第５のステップと、を具備し、上記第３のステップでは、上記記憶手段より読み出された結合係数を上記ニューラルネットワークの結合係数とし、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号を上記ニューラルネットワークの上記入力層のユニットへの入力値として、上記ニューラルネットワークの演算を行なって得られた上記ニューラルネットワークの上記出力層のユニットの出力値を、画素信号値を表現するためのビット数に応じた画素信号値に変換し、上記第２の画像信号を構成する所定画素信号の予測値として出力するものである。
【００１０】
予測しようとする第２の画像信号を構成する所定画素に対応して第１の画像信号から第１の領域の画素の信号が切り出され、そのレベル検出パターンに基づいて上述した第２の画像信号を構成する所定画素の信号が属するクラスが決定されてクラス情報が出力される。このクラス情報に対応して結合係数記憶手段より結合係数が読み出される。また、上述した第２の画像信号を構成する所定画素に対応して第１の画像信号から第２の領域の画素の信号が切り出される。そして、この第２の領域の画素の信号と結合係数記憶手段より読み出された結合係数とから、ニューラルネットワークを使用して、上述した第２の画像信号を構成する所定画素の信号が求められる。このように、画素信号をニューラルネットワークを使用して予測することで、非線形な予測が行われこととなり、線形１次式によって予測するものと比べて、常に最適な画素信号の予測を行うことが可能となる。
【００１１】
また、この発明に係る結合係数生成装置は、第１の画像信号を、この第１の画像信号より多い画素数の第２の画像信号に変換する際に使用されるニューラルネットワークの結合係数を生成する装置において、上記第２の画像信号に対応する教師信号に対してその画素数を減らす処理して上記第１の画像信号に対応する入力信号を得る信号処理手段と、上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークの上記入力層のユニットへの入力値として上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素値を入力し、上記教師信号を構成する上記複数の画素値を上記出力層のユニットの出力値に基づく値の真値とする学習によって、上記クラス決定手段より出力される上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラス毎に上記ニューラルネットワークの上記結合係数を得るニューラルネット学習手段とを備えるものである。
【００１２】
ここで、第１および第２の画素切り出し手段は共通でもよく、この場合第１および第２の領域は同じくなる。また、例えば、ニューラルネット学習手段は、バックプロパゲーションネットワークを使用して構成される。
【００１３】
また、ニューラルネット学習手段は、例えば入力層、隠れ層、出力層の各ユニットからなり、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号が上記入力層に供給されるニューラルネットワーク部と、上記ニューラルネットワーク部の出力層のユニットからの出力値を画素信号値を表現するためのビット数に応じた画素信号値に変換する正規化手段と、上記正規化手段より出力される画素信号値と、上記ニューラルネットワーク部の上記入力層に供給される上記第２の領域の画素の信号に対応した上記教師信号を構成する所定画素の信号とを比較して誤差を検出する誤差検出手段と、上記クラス情報で示される各クラス毎に、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とそれに対応した上記教師信号を構成する所定画素の信号との組み合わせでなる学習データに対し、上記誤差検出手段で検出される誤差が充分小さな一定範囲内に入る方向に上記ニューラルネットワーク部の出力層および隠れ層のユニットにおける結合係数を変更する結合係数変更手段と、上記誤差が上記一定範囲内に入ったときの上記ニューラルネットワーク部の出力層および隠れ層のユニットにおける結合係数を学習結果とする結合係数決定手段とを有している。
【００１４】
また、この発明に係る結合係数生成方法は、第１の画像信号を、この第１の画像信号より多い画素数の第２の画像信号に変換する際に使用されるニューラルネットワークの結合係数を生成する方法において、上記第２の画像信号に対応する教師信号に対してその画素数を減らす処理して上記第１の画像信号に対応する入力信号を得る第１のステップと、上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第１の領域の画素の信号を順次切り出す第２のステップと、上記第２のステップで順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラスを決定してクラス情報を出力する第３のステップと、上記入力信号より、上記教師信号を構成する複数の画素の近傍に位置する第２の領域の画素の信号を順次切り出す第４のステップと、少なくとも入力層及び出力層を備え、それぞれの層のユニットが層間で所定の結合係数により結合され、結合後の層のユニットへの入力値が結合前の層の複数のユニットの出力値と上記結合係数との積和の非線形演算を含むニューラルネットワークの上記入力層のユニットへの入力値として上記第４のステップで順次切り出された上記第２の領域の画素値を入力し、上記教師信号を構成する上記複数の画素値を上記出力層のユニットの出力値に基づく値の真値とする学習によって、上記第３のステップで出力される上記教師信号を構成する上記複数の画素の信号がそれぞれ属するクラス毎に上記ニューラルネットワークの上記結合係数を得る第５のステップとを備えるものである。
【００１５】
第２の画像信号、例えばハイビジョンのビデオ信号に対応する教師信号が処理されて第１の画像信号、例えばＮＴＳＣ方式のビデオ信号に対応する入力信号が得られる。教師信号を構成する複数の画素の信号にそれぞれ対応して、入力信号より第１の領域の画素の信号が順次切り出され、その第１の領域の画素の信号のレベル分布パターンに基づいて教師信号を構成する複数の画素の信号がそれぞれ属するクラスが決定されてクラス情報が出力される。
【００１６】
また、教師信号を構成する複数の画素の信号にそれぞれ対応して、入力信号より第２の領域の画素の信号が順次切り出される。そして、この第２の領域の画素の信号と、教師信号を構成する複数の画素の信号がそれぞれ属するクラスを示すクラス情報と、教師信号を構成する複数の画素の信号とから、ニューラルネットワークによる学習によって、各クラス毎に結合係数が求められる。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は実施の形態としての画像信号変換装置１００の構成を示している。この画像信号変換装置１００は、ＮＴＳＣ方式のビデオ信号を構成する画素データ（以下、「ＳＤ画素データ」という）からハイビジョンのビデオ信号を構成する画素データ（以下、「ＨＤ画素データ」という）を得るためのものである。
【００１８】
この画像信号変換装置１００は、ＳＤ画素データが供給される入力端子１０１と、この入力端子１０１に供給されるＳＤ画素データより、予測しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す画素切り出し手段としての領域切り出し回路１０２と、この領域切り出し回路１０２で切り出されたＳＤ画素データに対してＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１０３とを有している。
【００１９】
図４および図５は、ＳＤ画素とＨＤ画素の位置関係を示している。領域切り出し回路１０２では、例えば図６に示すように、ＨＤ画素データｙを予測しようとする場合、これらＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。
【００２０】
ＡＤＲＣ回路１０３では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化を目的として、各ＳＤ画素データを、例えば８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、ＡＤＲＣ回路１０３からは、各ＳＤ画素データに対応した圧縮データ（再量子化コード）ｑiが空間クラスのクラス情報として出力される。
【００２１】
本来ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、本実施の形態では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化に使用している。
【００２２】
ＡＤＲＣ回路１０３では、領域内のＳＤ画素データの最大値をＭＡＸ、その最小値をＭＩＮ、領域内のダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をｐとすると、領域内の各ＳＤ画素データｋiに対して、（１）式の演算により再量子化コードｑiが得られる。ただし、（１）式において、〔  〕は切り捨て処理を意味している。領域切り出し回路１０２で、Ｎａ個のＳＤ画素データが切り出されるとき、ｉ＝１〜Ｎａである。
ｑi＝〔（ｋi−ＭＩＮ＋０．５）・２p ／ＤＲ〕      ・・・（１）
【００２３】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、予測しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０４と、この領域切り出し回路１０４で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１０５とを有している。
【００２４】
領域切り出し回路１０４では、例えば図７に示すように、ＨＤ画素データｙを予測しようとする場合、これらＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。
【００２５】
動きクラス決定回路１０５では、領域切り出し回路１０４で切り出されたＳＤ画素データｍi，ｎiからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００２６】
すなわち、動きクラス決定回路１０５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。領域切り出し回路１０４で、例えば上述したように１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出されるとき、（２）式におけるＮｂは５である。
【００２７】
【数１】
0004447671.tif 000002
【００２８】
そして、動きクラス決定回路１０５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されてクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ1，ｔｈ2，ｔｈ3（ｔｈ1＜ｔｈ2＜ｔｈ3）が用意され、４つの動きクラスを決定する場合、ＡＶ≦ｔｈ1のときはＭＶ＝０、ｔｈ1＜ＡＶ≦ｔｈ2のときはＭＶ＝１、ｔｈ2＜ＡＶ≦ｔｈ3のときはＭＶ＝２、ｔｈ3＜ＡＶのときはＭＶ＝３とされる。
【００２９】
また、画像信号変換装置１００は、ＡＤＲＣ回路１０３より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１０５より出力される動きクラスの情報ＭＶに基づき、予測しようとするＨＤ画素データが属するクラスを示すクラスコードＣＬを得るためのクラスコード発生回路１０６を有している。クラスコード発生回路１０６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは領域切り出し回路１０２で切り出されるＳＤ画素データの個数、ｐはＡＤＲＣ回路１０３における再量子化ビット数を示している。
【００３０】
【数２】
0004447671.tif 000003
【００３１】
また、画像信号変換装置１００は、後述ニューラルネットワーク予測回路で使用されるニューラルネットワークの結合係数が各クラス毎に記憶されている記憶手段としてのＲＯＭテーブル１０７を有している。ＲＯＭテーブル１０７にはクラスコード発生回路１０６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、このＲＯＭテーブル１０７からはクラスコードＣＬに対応した結合係数Ｗiが読み出される。
【００３２】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、予測しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０８と、この領域切り出し回路１０８で切り出されたＳＤ画素データと、上述したＲＯＭテーブル１０７より読み出される結合係数Ｗiとから、ニューラルネットワークを使用して、予測しようとするＨＤ画素データを求めるニューラルネット予測回路１０９と、このニューラルネット予測回路１０９で求められたＨＤ画素データを導出する出力端子１１０とを有している。
【００３３】
領域切り出し回路１０８では、例えば図８に示すように、ＨＤ画素データｙを予測しようとする場合、このＨＤ画素データｙの近傍に位置する２５個のＳＤ画素データｘ1〜ｘ25が切り出される。ここで、領域切り出し回路１０８は、上記した領域切り出し回路１０２と共通であってもよい。
【００３４】
図２は、ニューラルネット予測回路１０９の要部構成例を示しており、バックプロバゲーションニューラルネットワークを使用した例である。このニューラルネット予測回路１０９は、ニューラルネットワーク部１２１と、このニューラルネットワーク部１２１の出力層のユニットより得られる結合の度合いを示す値を画素信号値に変換して出力する正規化部１２２とを有して構成されている。
【００３５】
ニューラルネットワーク部１２１は、３階層で構成され、入力層にｎ個のユニット、隠れ層に４個のユニット、出力層に１個のユニットが配されている。この場合、入力層の各ユニットには、上述した領域切り出し回路１０８で切り出されるｎ個のＳＤ画素データｘ1〜ｘnがそれぞれ供給される。そして、この入力層の各ユニットは、それぞれ供給されたＳＤ画素データｘ1〜ｘnを何等変更せずに、隠れ層の各ユニットに分配する。
【００３６】
また、隠れ層の各ユニットは、入力層の各ユニットと結合係数で結合されている。そして、隠れ層の各ユニットより出力される結合の度合いを示す値は出力層のユニットに供給される。さらに、出力層のユニットは、隠れ層の各ユニットと結合係数で結合されている。そして、出力層のユニットより出力される結合の度合いを示す値はニューラルネットワーク部１２１の出力値として正規化部１２２に供給される。
【００３７】
図３は、隠れ層および出力層のユニットの構成例を示している。前層のユニットの個数がｍ個であるとして、前層の各ユニットの出力値をＡ1〜Ａmとし、また前層の各ユニットとの結合における結合係数をＷ1〜Ｗmとするとき、ユニットの出力値Ｕは、（４）式で表される。そして、この（４）式において、ｆ( )は非線形要素としての伝達関数であり、例えば（５）式のような関数がよく使用される。この（５）式で、ａは適当な実数である。
【００３８】
【数３】
0004447671.tif 000004
【００３９】
なお、上述したようにＲＯＭテーブル１０７よりクラスコードＣＬに対応して読み出される結合係数Ｗiが、隠れ層および出力層のユニットにおける結合係数Ｗ1〜Ｗmとして使用されることになる。
【００４０】
また、ニューラルネットワーク部１２１の出力層のユニットより得られる結合の度合いを示す値は０より大きく、かつ１より小さな値となる。そのため、正規化部１２２では、例えば画素信号値が８ビットで表される場合には、結合の度合いを示す値に「２５６」をかけ算して、予測対象画素値としてのＨＤ画素データｙを得るようにされる。
【００４１】
図２に示すニューラルネット予測回路１０９は一例であって、これに限定されるものではない。例えば、ニューラルネットワーク部１２１を、隠れ層を増やすことで４層以上の構成とすることもできる。また、隠れ層および出力層のユニットの個数も任意に設定できる。
【００４２】
図１に示す画像信号変換装置１００の動作を説明する。予測しようとする所定のＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０２で所定領域のＳＤ画素データｋiが切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１０３でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００４３】
また、上述した予測しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０４で所定領域のＳＤ画素データｍi，ｎiが切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１０５で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。
【００４４】
この動きクラス情報ＭＶと上述したＡＤＲＣ回路１０３で得られる再量子化コードｑiとから、クラスコード発生回路１０６で予測しようとするＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。そして、このクラスコードＣＬがＲＯＭテーブル１０７に読み出しアドレス情報として供給され、このＲＯＭテーブル１０７より予測しようとするＨＤ画素データｙが属するクラスに対応したニューラルネットワークの結合係数Ｗiが読み出される。
【００４５】
また、上述した予測しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０８で所定領域のＳＤ画素データｘiが切り出される。そして、ニューラルネット予測回路１０９では、その切り出されたＳＤ画素データｘiと、上述したようにＲＯＭテーブル１０７より読み出された結合係数Ｗiとから、ニューラルネットワークを使用して、予測しようとするＨＤ画素データｙが求められる。そして、このニューラルネット予測回路１０９より順次出力されるＨＤ画素データｙが出力端子１１０に導出される。
【００４６】
図１に示す画像信号変換装置１００においては、ＨＤ画素データｙをニューラルネットワークを使用して予測するものであり、非線形な予測（線形な予測を含む）が行われるため、従来の線形１次式によって予測するものと比べて、常に最適なＨＤ画素データｙの予測を行うことが可能となる。
【００４７】
ところで、画像信号変換装置１００のＲＯＭテーブル１０７には、上述したように各クラスに対応したニューラルネットワークの結合係数が記憶されている。この係数データは、予め学習によって生成されたものである。図９は、学習によって、各クラス毎にニューラルネットワークの結合係数を生成する結合係数生成装置２００の構成例を示している。
【００４８】
この結合係数生成装置２００は、教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給される入力端子２０１と、このＨＤ画素データに対して水平および垂直の間引きフィルタ処理を行って、入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データを得る信号処理部２０２とを有している。信号処理部２０２では、ＨＤ画素データに対して、垂直間引きフィルタによってフィールド内の垂直方向のライン数が１／２となるように間引き処理されると共に、さらに水平間引きフィルタによって水平方向の画素数が１／２となるように間引き処理される。したがって、ＳＤ画素とＨＤ画素の位置関係は、図４および図５に示すようになる。
【００４９】
また、結合係数生成装置２００は、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての複数個のＨＤ画素データにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路２０３と、この領域切り出し回路２０３で順次切り出されたＳＤ画素データに対してＡＤＲＣ処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路２０４とを有している。
【００５０】
領域切り出し回路２０３は、上述した画像信号変換装置１００の領域切り出し回路１０２と同様に構成される。この領域切り出し回路２０３からは、例えば図６に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ1〜ｋ5が切り出される。また、ＡＤＲＣ回路２０４も、上述した画像信号変換装置１００のＡＤＲＣ回路１０３と同様に構成される。このＡＤＲＣ回路２０４からは、予測対象値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に再量子化コードｑiが空間クラスを示すクラス情報として出力される。
【００５１】
また、結合係数生成装置２００は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路２０５と、この領域切り出し回路２０５で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路２０６とを有している。
【００５２】
領域切り出し回路２０５は、上述した画像信号変換装置１００の領域切り出し回路１０４と同様に構成される。この領域切り出し回路２０５からは、例えば図７に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ1〜ｍ5，ｎ1〜ｎ5が切り出される。また、動きクラス決定回路２０６も、上述した画像信号変換装置１００の動きクラス決定回路１０５と同様に構成される。この動きクラス決定回路２０６からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００５３】
また、結合係数生成装置２００は、ＡＤＲＣ回路２０４より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路２０６より出力される動きクラスのクラス情報ＭＶに基づいてクラスコードＣＬを得るためのクラスコード発生回路２０７を有している。このクラスコード発生回路２０７は、上述した画像信号変換装置１００のクラスコード発生回路１０６と同様に構成される。このクラスコード発生回路２０７からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、そのＨＤ画素データが属するクラスを示すクラスコードＣＬが出力される。
【００５４】
また、結合係数生成装置２００は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路２０８を有している。領域切り出し回路２０８は、上述した画像信号変換装置１００の領域切り出し回路１０８と同様に構成される。この領域切り出し回路２０８からは、例えば図８に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する２５個のＳＤ画素データｘ1〜ｘ25が切り出される。
【００５５】
また、結合係数生成装置２００は、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路２０８で順次切り出されたＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路２０７より出力されるクラスコードＣＬとから、ニューラルネットワークによる学習によって、各クラス毎に結合係数を得るニューラルネット学習回路２０９と、このニューラルネット学習回路２０９で得られた各クラス毎の結合係数Ｗiを記憶するためのメモリ２１０とを有している。
【００５６】
図１０は、ニューラルネット学習回路２０９の要部構成例を示しており、図２示すニューラルネット予測回路１０９と同様に、バックプロバゲーションニューラルネットワークを使用した例である。このニューラルネット学習回路２０９は、ニューラルネットワーク部２２１と、このニューラルネットワーク部２２１の出力層のユニットより出力される結合の度合いを示す値を画素信号値に変換して出力する正規化部２２２と、この正規化部２２２より出力される画素信号値ｙoと予測対象画素値としてのＨＤ画素データｙとを比較して誤差εを検出する誤差検出部２２３とを有して構成されている。ニューラルネットワーク部２２１および正規化部２２２は、それぞれは図２に示すニューラルネット予測回路１０９のニューラルネットワーク部１２１および正規化部１２２と同様に構成されている。
【００５７】
このニューラルネット学習回路２０９では、各クラス毎に、複数個の学習データを用いて結合係数が生成される。ここで、１個の学習データは、予測対象画素値としての１個のＨＤ画素データｙとそれに対応するｎ個のＳＤ画素データｘ1〜ｘnとの組み合わせで構成されている。
【００５８】
ここで、あるクラスにおける結合係数の生成は、以下のように行われる。まず、ニューラルネットワーク部２２１の隠れ層および出力層のユニットにおける結合係数が初期値の状態で、あるクラスの複数個の学習データのうち１番目の学習データを構成するｎ個のＳＤ画素データｘ1〜ｘnをニューラルネットワーク部２２１の入力層のユニットに供給する。この状態で、出力層のユニットより得られる結合の度合いを示す値を正規化部２２２で画素信号値ｙoに変換する。そして、誤差検出部２２３で、この画素信号値ｙoと上述の１番目の学習データを構成する１個のＨＤ画素データｙとを比較して誤差εを検出する。この誤差εが充分小さな一定範囲内にあるときは、この状態での隠れ層および出力層のユニットにおける結合係数をあるクラスの結合係数Ｗiとしてメモリ２１０に供給して記憶させ、あるクラスにおける結合係数の生成動作を終了する。
【００５９】
一方、誤差εが一定範囲内にないときは、この誤差εが一定範囲内に入る方向にニューラルネットワーク部２２１の出力層、さらには隠れ層のユニットにおける結合係数を変更する。つまり、ニューラルネットワーク部２２１の出力層での誤差を入力層に向かって伝搬させて学習を行うものである。そして、このように出力層および隠れ層のユニットにおける結合係数を変更した後に、あるクラスの複数個の学習データのうち２番目の学習データを構成するｎ個のＳＤ画素データｘ1〜ｘnをニューラルネットワーク部２２１の入力層のユニットに供給する。
【００６０】
この状態で、出力層のユニットより得られる結合の度合いを示す値を正規化部２２２で画素信号値ｙoに変換する。そして、誤差検出部２２３で、この画素信号値ｙoと上述の２番目の学習データを構成する１個のＨＤ画素データｙとを比較して誤差εを検出する。この誤差εが充分小さな一定範囲内にあるときは、この状態での隠れ層および出力層のユニットにおける結合係数をあるクラスの結合係数Ｗiとしてメモリ２１０に供給して記憶させ、あるクラスにおける結合係数の生成動作を終了する。一方、誤差εが一定範囲内にないときは、この誤差εが一定範囲内に入る方向にニューラルネットワーク部２２１の出力層、さらには隠れ層のユニットにおける結合係数を変更する。
【００６１】
以下、同様にして、誤差εが一定範囲内に入るまで、順次次の学習データを使用し、ニューラルネットワーク部２２１の出力層、隠れ層のユニットにおける結合係数を変更していく。ただし、あるクラスの複数個の学習データを全て使用しても、誤差εが一定範囲内に入らないときは、最終的に出力層、隠れ層のユニットで使用された結合係数をあるクラスの結合係数Ｗiとしてメモリ２１０に供給して記憶させ、あるクラスにおける結合係数の生成動作を終了する。
【００６２】
なお、あるクラスの複数個の学習データを全て使用しても、誤差εが一定範囲内に入らないときは、出力層、隠れ層のユニットにおける結合係数の初期値や（５）式の伝達関数における実数ａを変更して、上述した生成動作を最初からやり直すようにしてもよい。
【００６３】
図９に示す結合係数生成装置２００の動作を説明する。入力端子２０１には教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給され、そしてこのＨＤ画素データに対して信号処理部２０２で水平および垂直の間引き処理等が行われて入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データが得られる。
【００６４】
また、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データから領域切り出し回路２０３で所定領域のＳＤ画素データｋiが順次切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路２０４でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００６５】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データから領域切り出し回路２０５で所定領域のＳＤ画素データｍi，ｎiが順次切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路２０６で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。そして、このクラス情報ＭＶと上述したＡＤＲＣ回路２０４で得られる再量子化コードｑiとからクラスコード発生回路２０７で、予測対象画素値としての各ＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００６６】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、信号処理部２０２より出力されるＳＤ画素データから領域切り出し回路２０８で所定領域のＳＤ画素データｘiが順次切り出される。そして、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路２０８で順次切り出されたＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路２０７より出力されるクラスコードＣＬとから、ニューラルネットワークによる学習によって、各クラス毎に結合係数Ｗiが生成される。そして、この結合係数Ｗiは、クラス別にアドレス分割されたメモリ２１０に記憶される。
【００６７】
図１１は、ニューラルネット学習回路２０９における結合係数の学習フローを示している。まず、ステップＳＴ１で、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての１個のＨＤ画素データｙと、それに対応して領域切り出し回路２０８で切り出されるｎ個のＳＤ画素データｘ1〜ｘnとの組み合わせで、１個の学習データを生成する。次に、ステップＳＴ２で、クラスコード発生回路２０７より供給されるクラスコードＣＬによって、ステップＳＴ１で生成された学習データのクラス分類をする。
【００６８】
次に、ステップＳＴ３で、入力端子２０１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙの全てに対応した学習データの生成が終了したか否かを判定し、学習データの生成が終了していないときは、ステップＳＴ１に戻って、学習データの生成を続ける。一方、学習データの生成が終了したときは、ステップＳＴ４で、Ｎ＝１とし、ステップＳＴ５で、Ｎクラスに分類された複数個の学習データを使用して、このＮクラスの結合係数Ｗiを生成する処理をする。
【００６９】
次に、ステップＳＴ６で、全てのクラスの結合係数Ｗiの生成が終了したか否かを判定する。終了していないときは、ステップＳＴ７で、Ｎを１だけ増し、その後にステップＳＴ５に戻って、上述したようにＮクラスの結合係数Ｗiを生成する処理をする。一方、終了したときは、結合係数の学習フローを終了する。
【００７０】
また、図１２は、Ｎクラスの結合係数生成処理フローを示している。まず、ステップＳＴ１１で、Ｍ＝１とする。次に、ステップＳＴ１２で、ＮクラスのＭ番目の学習データを構成するｎ個のＳＤ画素データをニューラルネットワーク部２２１の入力層のユニットに供給し、この状態で出力層のユニットより結合の度合いを示す値を得る。
【００７１】
次に、ステップＳＴ１３で、ニューラルネットワーク部２２１の出力層のユニットとより得られる結合の度合いを示す値を正規化部２２２に供給して正規化することで画素信号値ｙoを得る。そして、ステップＳＴ１４で、ＮクラスのＭ番目の学習データを構成する１個のＨＤ画素データｙと、ステップＳＴ１３で得られた画素信号値ｙoとを誤差検出部２２３で比較して誤差εを検出する。
【００７２】
次に、ステップＳＴ１５で、ステップＳＴ１４で検出される誤差εが充分小さな一定範囲内に入っているか否かを判定する。誤差εが一定範囲内に入っているときは、ステップＳＴ１６で、その状態での隠れ層および出力層のユニットにおける結合係数をＮクラスの結合係数Ｗiとしてメモリ２１０に供給して記憶させ、その後にＮクラスにおける結合係数の生成動作を終了する。
【００７３】
一方、誤差εが一定範囲内にないときは、ステップＳＴ１７で、この誤差εが一定範囲内に入る方向にニューラルネットワーク部２２１の出力層および隠れ層のユニットにおける結合係数を変更する。そして、ステップＳＴ１８で、Ｍを１だけ増やし、その後にステップＳＴ１９で、ＭがＮクラスに分類された学習データの個数Ｍnより大きいか否かを判定する。
【００７４】
Ｍ＞Ｍnであるときは、Ｎクラスに分類された学習データの全てを使用したことになるので、ステップＳＴ１６で、その状態での隠れ層および出力層のユニットにおける結合係数をＮクラスの結合係数Ｗiとしてメモリ２１０に供給して記憶させ、その後にＮクラスにおける結合係数の生成動作を終了する。一方、Ｍ＞Ｍnでないときは、ステップＳＴ１２に戻って、上述した動作を繰り返し行う。
【００７５】
なお、図１２には図示していないが、学習データを全て使用しても誤差εが一定範囲内に入らないとき、出力層、隠れ層のユニットにおける結合係数の初期値や（５）式の伝達関数における実数ａを変更して、上述した生成動作を最初からやり直す場合には、ステップＳＴ１９でＭ＞Ｍnであるとき、結合係数の初期値や伝達関数の実数ａを変更して、ステップＳＴ１１に戻るようにすればよい。
【００７６】
なお、上述実施の形態においては、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣ回路１０３（図１）、２０４（図９）を設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いてもよい。
【００７７】
また、上述実施の形態では、ＳＤ画素データよりＨＤ画素データを得るものを示したが、例えばあるＳＤ画素データより解像度を増した他のＳＤ画素データを得る場合、あるいはあるＨＤ画素データより解像度を増した他のＨＤ画素データを得る場合にも同様に適用できる。この場合には、変換前と変換後の画素数は同じとなる。
【００７８】
また、上述実施の形態においては、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する例を示したが、この発明はそれに限定されるものでなく、第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する場合に同様に適用できることは勿論である。
【００７９】
【発明の効果】
この発明によれば、第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際、ニューラルネットワークを使用して第２の画像信号を構成する画素信号を予測するものであり、非線形な予測（線形な予測を含む）が行われるため、従来の線形１次式によって予測するものと比べて、常に最適な画素信号の予測を行うことができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】画像信号変換装置のニューラルネット予測回路の要部構成例を示す図である。
【図３】ニューラルネットワークを構成する隠れ層、出力層のユニットの構成例を示す図である。
【図４】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図５】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図６】空間クラス分類に使用するＳＤ画素データを説明するための略線図である。
【図７】動きクラス分類に使用するＳＤ画素データを説明するための略線図である。
【図８】ニューラルネットワークを使用したＨＤ画素データの予測に用いるＳＤ画素データを説明するための略線図である。
【図９】ニューラルネット予測回路で使用される結合係数を学習によって生成する結合係数生成装置の構成例を示すブロック図である。
【図１０】結合係数生成装置のニューラルネット学習回路の要部構成例を示す図である。
【図１１】結合係数の学習フローを示すフローチャートである。
【図１２】学習フローにおけるＮクラスの結合係数生成処理を説明するためのフローチャートである。
【符号の説明】
１００・・・画像信号変換装置、１０１，２０１・・・入力端子、１０２，１０４，１０８，２０３，２０５，２０８・・・領域切り出し回路、１０３，２０４・・・ＡＤＲＣ回路、１０５，２０６・・・動きクラス決定回路、１０６，２０７・・・クラスコード発生回路、１０７・・・ＲＯＭテーブル、１０９・・・ニューラルネット予測回路、１１０・・・出力端子、１２１，２２１・・・ニューラルネットワーク部、１２２，２２２・・・正規化部、２０９・・・ニューラルネット学習回路、２１０・・・メモリ、２２３・・・誤差検出部
【図１】
0004447671.tif 000005
【図２】
0004447671.tif 000006
【図３】
0004447671.tif 000007
【図４】
0004447671.tif 000008
【図５】
0004447671.tif 000009
【図６】
0004447671.tif 000010
【図７】
0004447671.tif 000011
【図８】
0004447671.tif 000012
【図９】
0004447671.tif 000013
【図１０】
0004447671.tif 000014
【図１１】
0004447671.tif 000015
【図１２】
0004447671.tif 000016