(57)【特許請求の範囲】
【請求項１】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号変換装置において、
上記第１の画像信号から、上記第２の画像信号に係る注目画素に対応した第１のブロックの画素データと、それぞれ上記第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第１のブロック抽出手段と、
上記第１のブロック抽出手段で抽出された上記第１のブロックと上記一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する特徴情報生成手段と、
上記特徴情報生成手段で生成された上記特徴情報を用いて、上記注目画素が属するクラスを決定するクラス決定手段と、
上記クラス決定手段で決定された上記クラスに対応する演算方式を用いて、上記注目画素の画素データを生成する画素データ生成手段と
を備えることを特徴とする画像信号変換装置。
【請求項２】
上記第１のブロック抽出手段は、
上記第１のブロックの画素データと上記一または複数の第２のブロックの画素データとを、同一フレームの上記第１の画像信号から抽出する
ことを特徴とする請求項１に記載の画像信号変換装置。
【請求項３】
上記第１のブロック抽出手段は、
上記第１のブロックの画素データを一のフレームの上記第１の画像信号から抽出し、上記一または複数の第２のブロックの画素データを上記一のフレームおよび該一のフレームとは異なる他のフレーム、または上記他のフレームの上記第１の画像信号から抽出する
ことを特徴とする請求項１に記載の画像信号変換装置。
【請求項４】
上記第１のブロック抽出手段は、
上記第１のブロックに対し、第１の方向と、この第１の方向と逆向きである第２の方向と、上記第１の方向および上記第２の方向と直交する第３の方向と、この第３の方向と逆向きである第４の方向とにそれぞれ所定画素分だけずれた位置に上記第２のブロックを設定する
ことを特徴とする請求項１に記載の画像信号変換装置。
【請求項５】
上記特徴情報生成手段は、
上記ブロック単位の特徴情報として、上記第１のブロックの画素データと、上記一または複数の第２のブロックのそれぞれの画素データとの関係を表すブロック間特徴情報を生成する
ことを特徴とする請求項１に記載の画像信号変換装置。
【請求項６】
上記画像データ生成手段は、
上記クラス決定手段で決定されるクラス毎に予め生成された係数データを記憶するメモリを有し、上記クラス決定手段で決定された上記クラスに対応した上記係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記注目画素に対応した第３のブロックの画素データを抽出する第２のブロック抽出手段と、
上記係数データ発生手段で発生された上記係数データと上記第２のブロック抽出手段で抽出された上記第３のブロックの画素データとから、上記演算方式を用いて上記注目画素の画素データを算出する演算手段とを備える
ことを特徴とする請求項１に記載の画像信号変換装置。
【請求項７】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号変換方法において、
上記第１の画像信号から、上記第２の画像信号に係る注目画素に対応した第１のブロックの画素データと、それぞれ上記第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第１のステップと、
上記第１のステップで抽出された上記第１のブロックと上記一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する第２のステップと、
上記第２のステップで生成された上記特徴情報を用いて、上記注目画素が属するクラスを決定する第３のステップと、
上記第３のステップで決定された上記クラスに対応する演算方式を用いて、上記注目画素の画素データを生成する第４のステップと
を備えることを特徴とする画像信号変換方法。
【請求項８】
上記第１のステップでは、
上記第１のブロックの画素データと上記一または複数の第２のブロックの画素データとを、同一フレームの上記第１の画像信号から抽出する
ことを特徴とする請求項７に記載の画像信号変換方法。
【請求項９】
上記第１のステップでは、
上記第１のブロックの画素データを一のフレームの上記第１の画像信号から抽出し、上記一または複数の第２のブロックの画素データを上記一のフレームおよび該一のフレームとは異なる他のフレーム、または上記他のフレームの上記第１の画像信号から抽出する
ことを特徴とする請求項７に記載の画像信号変換方法。
【請求項１０】
上記第１のステップでは、
上記第１のブロックに対し、第１の方向と、この第１の方向と逆向きである第２の方向と、上記第１の方向および上記第２の方向と直交する第３の方向と、この第３の方向と逆向きである第４の方向とにそれぞれ所定画素分だけずれた位置に上記第２のブロックを設定する
ことを特徴とする請求項７に記載の画像信号変換方法。
【請求項１１】
上記第２のステップでは、
上記ブロック単位の特徴情報として、上記第１のブロックの画素データと、上記一または複数の第２のブロックのそれぞれの画素データとの関係を表すブロック間特徴情報を生成する
ことを特徴とする請求項７に記載の画像信号変換方法。
【請求項１２】
上記第４のステップは、
上記第３のステップで決定された上記クラスに対応した上記係数データを発生するステップと、
上記第１の画像信号から、上記注目画素に対応した第３のブロックの画素データを抽出するステップと、
上記発生された係数データと上記抽出された上記第３のブロックの画素データとから、上記演算方式を用いて上記注目画素の画素データを算出するステップとを備える
ことを特徴とする請求項７に記載の画像信号変換方法。
【請求項１３】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置において、
上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する入力信号を得る信号処理手段と、
上記入力信号から、上記教師信号より得られる予測対象画素データに対応した第１のブロックの画素データと、それぞれ上記第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第１のブロック抽出手段と、
上記第１のブロック抽出手段で抽出された上記第１のブロックと上記一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する特徴情報生成手段と、
上記特徴情報生成手段で生成された上記特徴情報を用いて上記教師信号より得られる予測対象画素データのクラスを決定するクラス決定手段と、
上記入力信号から、上記教師信号より得られる予測対象画素データに対応した第３のブロックの画素データを抽出する第２のブロック抽出手段と、
上記クラス決定手段で決定された上記クラスと、上記第２のブロック抽出手段で抽出された上記第３のブロックの画素データと、上記教師信号より得られる予測対象画素データとから、各クラス毎に、上記係数データを得るための正規方程式を生成する正規方程式生成手段と、
上記正規方程式を解いて上記各クラス毎の係数データを得る係数データ演算手段と
を備えることを特徴とする係数データ生成装置。
【請求項１４】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する方法において、
上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する入力信号を得る第１のステップと、
上記入力信号から、上記教師信号より得られる予測対象画素データに対応した第１のブロックの画素データと、それぞれ上記第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第２のステップと、
上記第２のステップで抽出された上記第１のブロックと上記一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する第３のステップと、
上記第３のステップで生成された上記特徴情報を用いて上記教師信号を構成する画素データのクラスを決定する第４のステップと、
上記入力信号から、上記教師信号より得られる予測対象画素データに対応した第３のブロックの画素データを抽出する第５のステップと、
上記第４のステップで決定された上記クラスと、上記第５のステップで抽出された上記第３のブロックの画素データと、上記教師信号より得られる予測対象画素データとから、各クラス毎に、上記係数データを得るための正規方程式を生成する第６のステップと、
上記第６のステップで生成された上記正規方程式を解いて上記各クラス毎の係数データを得る第７のステップと
を備えることを特徴とする係数データ生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する際に適用して好適な画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法に関する。詳しくは、第１の画像信号を第２の画像信号に変換する際に、第２の画像信号に係る注目画素に対応した第１のブロックおよびそれぞれ第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データを第１の画像信号から抽出し、ブロック単位の特徴情報を生成して上記注目画素のクラスを決定し、そのクラスに対応する演算方式を用いて上記注目画素の画素データを生成することによって、現実的な処理で、クラス決定の精度を上げることができ、変換処理を適切に行い得るようにした画像信号変換装置等に係るものである。
【０００２】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００３】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００４】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ＮＴＳＣ方式のビデオ信号から、ハイビジョンのビデオ信号に係る注目画素に対応するブロック（領域）の画素データを抽出し、このブロックの画素データのレベル分布パターンに基づいて上記注目画素のクラスを決定し、このクラスに対応する演算方式を用いて上記注目画素の画素データを生成するようになっている。
【０００５】
【発明が解決しようとする課題】
上述した変換装置においては、ブロックを広範囲とし、方向性を含めたレベル分布パターンを求めることにより、クラス決定の精度を上げることが可能となるが、レベル分布パターンのパラメータ数が大きく増加し、現実的な処理は不可能である。一方、レベル分布パターンとして平均値や分散等も考えられ、その場合にはレベル分布パターンのパラメータ数は少なくなるが、方向性を含んでおらず、クラス決定の精度を上げることができない。
【０００６】
そこで、この発明では、現実的な処理により、クラス決定の精度を上げることができ、変換処理を適切に行い得る画像信号変換装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号変換装置において、第１の画像信号から、第２の画像信号に係る注目画素に対応した第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第１のブロック抽出手段と、この第１のブロック抽出手段で抽出された第１のブロックと一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する特徴情報生成手段と、この特徴情報生成手段で生成された特徴情報を用いて、上記注目画素のクラスを決定するクラス決定手段と、このクラス決定手段で決定されたクラスに対応する演算方式を用いて、上記注目画素の画素データを生成する画素データ生成手段とを備えるものである。
【０００８】
この発明において、第１の画像信号から、第２の画像信号に係る注目画素に対応した第１のブロックの画像データと、それぞれ第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとが抽出される。例えば、第１のブロックの画素データと一または複数の第２のブロックとの画素データは、同一フレームの第１の画像信号から抽出される。また例えば、第１のブロックの画素データは一のフレームの第１の画像信号から抽出され、一または複数の第２のブロックの画素データは上記一のフレームおよび該一のフレームとは異なる他のフレーム、または他のフレームの第１の画像信号から抽出される。
【０００９】
そして、抽出された第１のブロックと一または複数の第２のブロックとの画素データとが用いられてブロック単位の特徴情報が生成される。例えば、特徴情報として、各ブロックの平均値や分散値等が生成される。また例えば、特徴情報として、第１のブロックの画素データと、一または複数の第２のブロックのそれぞれの画素データとの関係を表すブロック間特徴情報が生成される。
【００１０】
そして、生成された特徴情報が用いられて、上記注目画素のクラスが決定され、その決定されたクラスに対応する演算方式が用いられて上記注目画素の画素データが生成される。例えば、決定されたクラスに対応して発生された係数データと第１の画像信号から上記注目画素に対応して抽出された第３のブロックの画素データとから、上記演算方式を用いて上記注目画素の画素データが算出される。
【００１１】
このように、ブロック単位の特徴情報を用いてクラスを決定するものであり、ブロックを広くしてもパラメータ数は増加せず、現実的な処理が可能となる。また、一または複数の第２のブロックは第１のブロックと少なくとも一部が重なるものであり、第１のブロックと一または複数の第２のブロックとの画素データを用いて生成されるブロック単位の特徴情報は方向性を含むと共に、注目画素に対応した特徴情報となり、従ってクラス決定の精度を上げることができ、変換処理を適切に行うことが可能となる。
【００１２】
また、この発明に係る係数データ生成装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する際に使用される推定式の係数データを生成する装置において、第２の画像信号に対応する教師信号を処理して第１の画像信号に対応する入力信号を得る信号処理手段と、この入力信号から、教師信号より得られる予測対象画素データに対応した第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとを抽出する第１のブロック抽出手段と、この第１のブロック抽出手段で抽出された第１のブロックと一または複数の第２のブロックとの画素データを用いてブロック単位の特徴情報を生成する特徴情報生成手段と、この特徴情報生成手段で生成された特徴情報を用いて教師信号より得られる予測対象画素データのクラスを決定するクラス決定手段と、入力信号から、教師信号より得られる予測対象画素データに対応した第３のブロックの画素データを抽出する第２のブロック抽出手段と、クラス決定手段で決定されたクラスと、第２のブロック抽出手段で抽出された第３のブロックの画素データと、教師信号より得られる予測対象画素データとから、各クラス毎に、係数データを得るための正規方程式を生成する正規方程式生成手段と、この正規方程式を解いて各クラス毎の係数データを得る係数データ演算手段とを備えるものである。
【００１３】
この発明においては、第２の画像信号、例えばハイビジョンのビデオ信号に対応する教師信号が処理されて第１の画像信号、例えばＮＴＳＣ方式のビデオ信号に対応する入力信号が得られる。そして、この入力信号から、教師信号より得られる予測対象画素データに対応した第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる一または複数の第２のブロックの画素データとが抽出され、これら第１のブロックと一または複数の第２のブロックとの画素データが用いられてブロック単位の特徴情報が生成され、さらにこの特徴情報が用いられて上記教師信号より得られる予測対象画素データのクラスが決定される。
【００１４】
そして、上記教師信号より得られる予測対象画素データと、その画素データに対応して決定されるクラスと、その画素データに対応して入力信号より抽出された第３のブロックの画素データとから、各クラス毎に係数データをそれぞれ得るための正規方程式が生成され、この正規方程式を解くことで各クラス毎の係数データが得られる。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号変換装置１００の構成を示している。この画像信号変換装置１００は、ＮＴＳＣ方式のビデオ信号を構成する画素データ（以下、「ＳＤ画素データ」という）から、ハイビジョンのビデオ信号を構成する画素データ（以下、「ＨＤ画素データ」という）を得るためのものである。
【００１６】
この画像信号変換装置１００は、ＳＤ画素データが供給される入力端子１０１と、この入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データ（注目画素の画素データ）に対応した第１のブロック（領域）の画素データと、それぞれ第１のブロックと少なくとも一部が重なる第２のブロックの画素データとを抽出するブロック抽出部１０２と、このブロック抽出部１０２で抽出された第１のブロックと第２のブロックの画素データとを用いてブロック単位の特徴情報を生成する特徴情報生成部１０３とを有している。ここで、第２のブロックとしては一または複数のブロックの設定が可能であるが、本実施の形態では４つの第２のブロックが設定される場合について説明する。
【００１７】
図２および図３は、ＳＤ画素とＨＤ画素の位置関係を示している。ブロック抽出部１０２では、例えば図４に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置するブロックＢ１のＳＤ画素データ［ｋ１〜ｋ２５］が第１のブロックの画素データとして抽出されると共に、ブロックＢ１に対して上方向に２画素分ずれたブロックＢ21のＳＤ画素データ[ｋ２６〜ｋ３５，ｋ１〜ｋ１５]、ブロックＢ１に対して下方向に２画素分ずれたブロックＢ22のＳＤ画素データ[ｋ１１〜ｋ２５，ｋ３６〜ｋ４５]、ブロックＢ１に対して左方向に２画素分ずれたブロックＢ23のＳＤ画素データ[ｋ４６，ｋ４７，ｋ１〜ｋ３，ｋ４８，ｋ４９，ｋ６〜ｋ８，ｋ５０，ｋ５１，ｋ１１〜ｋ１３，ｋ５２，ｋ５３，ｋ１６〜ｋ１８，ｋ５４，ｋ５５，ｋ２１〜ｋ２３]、ブロックＢ１に対して右方向に２画素分ずれたブロックＢ24のＳＤ画素データ[ｋ３〜ｋ５，ｋ５６，ｋ５７，ｋ８〜ｋ１０，ｋ５８，ｋ５９，ｋ１３〜ｋ１５，ｋ６０，ｋ６１，ｋ１８〜ｋ２０，ｋ６２，ｋ６３，ｋ２３〜ｋ２５，ｋ６４，ｋ６５］が、それぞれ第２のブロックの画素データとして抽出される。
【００１８】
特徴情報生成部１０３では、ブロック抽出部１０２で抽出される第１のブロックの画素データと、ブロック抽出部１０２で抽出される４つの第２のブロックのそれぞれの画素データとから、ブロック間特徴情報としての自己相関係数Ｃ1〜Ｃ４が算出される。例えば、第１のブロックの各画素データをＸij(i=1〜n,j=1〜m）、第１のブロック内の画素データの平均値をＸav、第２のブロックの各画素データをＹij(i=1〜n,j=1〜m）、第２のブロック内の画素データの平均値をＹavとすると、自己相関係数は、（１）式によって算出される。なお、第１のブロックおよび第２のブロックが５×５画素に対応するとき、ｎ＝１、ｍ＝５である。
【００１９】
【数１】
0004470261.tif 000002
【００２０】
図５のフローチャートは、上述したブロック抽出部１０２および特徴情報生成部１０３における特徴情報の生成処理の手順を示している。
【００２１】
まず、ステップＳＴ１で、第１のブロックの画素データを抽出し、ステップＳＴ２で、第１のブロック内の画素データの平均値を算出する。そして、ステップＳＴ３で、Ｎ＝１に設定し、ステップＳＴ４に進む。ステップＳＴ４では、Ｎ番目の第２のブロックの画素データを抽出し、ステップＳＴ５で、Ｎ番目の第２のブロック内の画素データの平均値を算出する。
【００２２】
次に、ステップＳＴ６で、Ｎ番目の第２のブロックに係る自己相関係数を、上述した（１）式によって求める。そして、ステップＳＴ７で、Ｎが第２のブロックの数Ｎmax（本実施の形態ではＮmax＝４）となっているか否かを判定する。Ｎ＝Ｎmaxでないときは、ステップＳＴ８で、Ｎをインクリメントし、ステップＳＴ４に戻る。これにより、再びＮ番目の第２のブロックに係る自己相関係数を求めるための処理を始める。一方、Ｎ＝Ｎmaxであるときは、全ての第２のブロックに係る自己相関係数を既に求めたことになるので、特徴情報の生成処理を終了する。
【００２３】
また、図１に戻って、画像信号変換装置１００は、特徴情報生成部１０３で算出された自己相関係数Ｃ１〜Ｃ４をクラス情報として、推定しようとするＨＤ画素データが属するクラスを決定し、そのクラスを示すクラスコードＣＬを発生するクラスコード発生部１０４と、後述する推定演算部１０７で使用される推定式の係数データが各クラス毎に記憶されており、上述のクラスコード発生部１０４で発生されたクラスコードＣＬが読み出しアドレス情報として供給されるＲＯＭテーブル１０５とを有している。
【００２４】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応したブロックのＳＤ画素データを抽出するブロック抽出部１０６と、このブロック抽出部１０６で抽出されたＳＤ画素データｘｉと、上述したＲＯＭテーブル１０５より読み出された係数データｗiとから、推定しようとする所定のＨＤ画素データを演算する推定演算部１０７と、この推定演算部１０７で演算されたＨＤ画素データを導出する出力端子１０８と有している。
【００２５】
ブロック抽出部１０６では、例えば図６に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍のブロックのＳＤ画素データｘ１〜ｘ２５が抽出される。推定演算部１０７では、ブロック抽出部１０６で抽出されたＳＤ画素データｘiと、ＲＯＭテーブル１０５より読み出された係数データｗiとから、（２）式の推定式によって、推定しようとするＨＤ画素データｙが演算される。ブロック抽出部１０６で、例えば上述したように２５個のＳＤ画素データｘ１〜ｘ２５が切り出されるとき、（２）式におけるｎ、つまりタップ数は２５である。
【００２６】
【数２】
0004470261.tif 000003
【００２７】
図１に示す画像信号変換装置１００の動作を説明する。ブロック抽出部１０２では、推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより、第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる４つの第２のブロックの画素データとが抽出される。これら第１のブロックおよび４つの第２のブロックのそれぞれの画素データは、特徴情報生成部１０３に供給される。特徴情報生成部１０３では、第１のブロックの画素データと、４つの第２のブロックのそれぞれの画素データとから、ブロック間特徴情報としての自己相関係数Ｃ1〜Ｃ４が算出される。自己相関係数Ｃ1〜Ｃ４はクラスコード発生部１０４にクラス情報として供給される。
【００２８】
クラスコード発生部１０４では、自己相関係数Ｃ１〜Ｃ４に基づいて、推定しようとするＨＤ画素データが属するクラスが決定される。そして、このクラスコード発生部１０４より、ＲＯＭテーブル１０５に、決定されたクラスを示すクラスコードＣＬが読み出しアドレス情報として供給され、そのクラスコードＣＬに対応した係数データｗｉが読み出される。
【００２９】
また、ブロック抽出部１０６では、入力端子１０１に供給されるＳＤ画素データより、推定しようとするＨＤ画素データｙに対応したブロックのＳＤ画素データｘｉが抽出される。推定演算部１０７では、その抽出されたＳＤ画素データｘiと、上述したようにＲＯＭテーブル１０５より読み出された係数データｗiとから、推定式を使用して、推定しようとするＨＤ画素データｙが演算される。そして、推定演算部１０７より順次出力されるＨＤ画素データｙが出力１０８に導出される。
【００３０】
図１に示す画像信号変換装置１００においては、ブロック単位の特徴情報としての自己相関係数Ｃ１〜Ｃ４を用いて、推定しようとするＨＤ画素データｙが属するクラスを決定するものであり、ブロック抽出部１０２におけるブロックを広くしてもパラメータ数は増加せず、現実的な処理を行うことができる。
【００３１】
また、４つの第２のブロックは第１のブロックと少なくとも一部が重なるものであり、第１のブロックと４つの第２のブロックとの画素データを用いて生成される自己相関係数Ｃ１〜Ｃ４は方向性を含むと共に、推定しようとするＨＤ画素データｙに対応した特徴情報となり、従ってクラス決定の精度を上げることができ、変換処理を適切に行うことができる。
【００３２】
ところで、ＲＯＭテーブル１０５には、上述したように各クラスに対応した推定式の係数データが記憶されている。この係数データは、予め学習によって生成されたものである。まず、この学習方法について説明する。（２）式の推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小自乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として、（３）式の観測方程式を考える。この（３）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【００３３】
【数３】
0004470261.tif 000004
【００３４】
（３）式の観測方程式により収集されたデータに最小自乗法を適用する。この（３）式の観測方程式をもとに、（４）式の残差方程式を考える。
【００３５】
【数４】
0004470261.tif 000005
【００３６】
（４）式の残差方程式から、各ｗiの最確値は、（５）式のｅ２を最小にする条件が成り立つ場合と考えられる。すなわち、（６）式の条件を考慮すればよいわけである。
【００３７】
【数５】
0004470261.tif 000006
【００３８】
つまり、（６）式のｉに基づくｎ個の条件を考え、これを満たすｗ１，ｗ２，・・・，ｗｎを算出すればよい。そこで、（４）式の残差方程式から、（７）式が得られる。さらに、（７）式と（３）式とから、（８）式が得られる。
【００３９】
【数６】
0004470261.tif 000007
【００４０】
そして、（４）式と（８）式とから、（９）式の正規方程式が得られる。
【００４１】
【数７】
0004470261.tif 000008
【００４２】
（９）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Guss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【００４３】
図７は、上述した予測係数の学習フローを示している。学習を行うためには、入力信号と予測対象となる教師信号を用意しておく。
【００４４】
まず、ステップＳＴ１１で、教師信号より得られる予測対象画素データと入力信号より得られる予測タップのｎ個の画素データとの組み合わせを学習データとして生成する。次に、ステップＳＴ１２で、学習データの生成が終了したか否かを判定し、学習データの生成が終了していないときは、ステップＳＴ１３でその学習データにおける予測対象画素データが属するクラスを決定する。このクラスの決定は、予測対象画素データに対応して入力信号より得られる所定数の画素データに基づいて行われる。
【００４５】
そして、ステップＳＴ１４で、各クラス毎に、ステップＳＴ１１で生成された学習データ、すなわち予測対象画素データと予測タップのｎ個の画素データとを使用して、（９）式に示すような正規方程式の生成をする。ステップＳＴ１１〜ステップＳＴ１４の動作は、学習データの生成が終了するまで繰り返され、多くの学習データが登録された正規方程式が生成される。
【００４６】
ステップＳＴ１２で学習データの生成が終了したときは、ステップＳＴ１５で、各クラス毎に生成された正規方程式を解き、各クラス毎のｎ個の予測係数ｗiを求める。そして、ステップＳＴ１６で、クラス別にアドレス分割されたメモリに予測係数ｗiを登録して、学習フローを終了する。
【００４７】
次に、図１に示した画像信号変換装置１００のＲＯＭテーブル１０５に記憶される各クラス毎の係数データｗiを、上述した学習の原理によって予め生成する係数データ生成装置１５０の詳細を説明する。図８は、係数データ生成装置１５０の構成例を示している。
【００４８】
この係数データ生成装置１５０は、教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給される入力端子１５１と、このＨＤ画素データに対して水平および垂直の間引きフィルタ処理を行って、入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データを得る間引き部１５２とを有している。
【００４９】
間引き部１５２では、図示せずも、ＨＤ画素データに対して、垂直間引きフィルタによってフィールド内の垂直方向のライン数が１／２となるように間引き処理が施されると共に、さらに水平間引きフィルタによって水平方向の画素数が１／２となるように間引き処理が施される。したがって、ＳＤ画素とＨＤ画素の位置関係は、上述した図２および図３に示すようになる。
【００５０】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素データに対応して、間引き部１５２より出力されるＳＤ画素データより、第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる第２のブロックの画素データとを抽出するブロック抽出部１５３と、このブロック抽出部１５３で抽出された第１のブロックと第２のブロックの画素データとを用いてブロック単位の特徴情報を生成する特徴情報生成部１５４とを有している。
【００５１】
ブロック抽出部１５３は、上述した画像信号変換装置１００のブロック抽出部１０２と同様に構成される。このブロック抽出部１５３では、例えば図４に示すように、予測対象画素データとしてのＨＤ画素データｙの近傍に位置するブロックＢ１のＳＤ画素データが第１のブロックの画素データとして抽出されると共に、ブロックＢ１に対して上下左右方向にそれぞれ２画素分ずれたブロックＢ21〜Ｂ24のＳＤ画素データがそれぞれ第２のブロックの画素データとして抽出される。
【００５２】
特徴情報生成部１５４も、上述した画像信号変換装置１００の特徴情報生成部１０３と同様に構成される。この特徴情報生成部１５４では、ブロック抽出部１５３で抽出される第１のブロックの画素データと、ブロック抽出部１５３で抽出される４つの第２のブロックのそれぞれの画素データとから、ブロック間特徴情報としての自己相関係数Ｃ1〜Ｃ４が算出される。
【００５３】
また、係数データ生成装置１５０は、特徴情報生成部１５４で生成されるブロック単位の特徴情報としての自己相関係数Ｃ１〜Ｃ４をクラス情報として、予測対象画素データとしてのＨＤ画素データが属するクラスを示すクラスコードＣＬを発生するクラスコード発生部１５５と、間引き部１５２より出力されるＳＤ画素データより、上述した予測対象画素データとしてのＨＤ画素データに対応した所定ブロックのＳＤ画素データを抽出するブロック抽出部１５６とを有している。
【００５４】
クラスコード発生部１５５は、上述した画像信号変換装置１００のクラスコード発生部１０４と同様に構成される。また、ブロック抽出部１５６は、上述した画像信号変換装置１００のブロック抽出部１０６と同様に構成される。このブロック抽出部１５６からは、例えば図６に示すように、予測対象画素データとしてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍のブロックのＳＤ画素データｘ１〜ｘ２５が抽出される。
【００５５】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応してブロック抽出部１５６で抽出された予測タップ画素データとしてのＳＤ画素データｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラスコード発生部１５５より出力されるクラスコードＣＬとから、各クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（９）式参照）を生成する正規方程式生成部１５７を有している。
【００５６】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで上述した学習データが生成され、従って正規方程式生成部１５７では多くの学習データが登録された正規方程式が生成される。なお、図示せずも、ブロック抽出部１５６の前段に時間合わせ用の遅延回路を配置することで、ブロック抽出部１５６から正規方程式生成部１５７に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【００５７】
また、係数データ生成装置１５０は、正規方程式生成部１５７で各クラス毎に生成された正規方程式のデータが供給され、各クラス毎に生成された正規方程式を解いて、各クラス毎の係数データ（予測係数）ｗiを求める予測係数決定部１５８と、この求められた係数データｗiを記憶するメモリ１５９とを有している。予測係数決定部１５８では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗiが求められる。
【００５８】
図８に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給され、そしてこのＨＤ画素データに対して間引き部１５２で水平および垂直の間引き処理等が行われて入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データが得られる。
【００５９】
ブロック抽出部１５３では、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素データとしてＨＤ画素データｙに対応して、間引き部１５２より出力されるＳＤ画素データより、第１のブロックの画素データと、それぞれ第１のブロックと少なくとも一部が重なる４つの第２のブロックの画素データとが抽出される。これら第１のブロックの画素データおよび４つの第２のブロックのそれぞれの画素データは、特徴情報生成部１５４に供給される。特徴情報生成部１５４では、第１のブロックの画素データと、４つの第２のブロックのそれぞれの画素データとから、ブロック間特徴情報としての自己相関係数Ｃ1〜Ｃ４が算出される。自己相関係数Ｃ1〜Ｃ４はクラスコード発生部１５５にクラス情報として供給される。
【００６０】
クラスコード発生部１５５では、自己相関係数Ｃ１〜Ｃ４に基づいて、上述した予測対象画素データとしてのＨＤ画素データｙが属するクラスが決定される。また、ブロック抽出部１０６では、入力端子１０１に供給されるＳＤ画素データより、上述した予測対象画素データとしてのＨＤ画素データｙに対応した所定ブロックのＳＤ画素データｘｉが抽出される。
【００６１】
そして、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応してブロック抽出部１５６で抽出された予測タップ画素データとしてのＳＤ画素データｘiと、各ＨＤ画素データｙにそれぞれ対応してクラスコード発生部１５５より出力されるクラスコードＣＬとから、正規方程式生成部１５７では、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式が生成される。そして、予測係数決定部１５８でその正規方程式が解かれ、各クラス毎の係数データｗiが求められ、その係数データｗiはクラス別にアドレス分割されたメモリ１５９に記憶される。
【００６２】
このように、図８に示す係数データ生成装置１５０においては、図１に示した画像信号変換装置１００のＲＯＭテーブル１０５に記憶される各クラス毎の係数データｗiを生成することができる。
【００６３】
なお、上述実施の形態においては、ブロック抽出部１０２，１５３における画素データの抽出処理に当たって、第１のブロックに対して上下左右にそれぞれ２画素分ずらした位置に４つの第２のブロックが設定されたものであるが、ずらし量やずらす方向、さらには第２のブロックの個数もこれに限定されるものではない。
【００６４】
また、上述実施の形態においては、ブロック抽出部１０２，１５３における画素データの抽出処理に当たって、第２のブロックが第１のブロックと同一のフレームのみに設定されたものを示したが、第２のブロックは第１のブロックと同一および異なるフレーム、あるいは異なるフレームのみに設定されるようにしてもよい。その場合であっても、第２のブロックは、第１のブロックと少なくとも一部が重なるように設定される。
【００６５】
図９は、第２のブロックの設定例を示している。第１のブロックＢ１が存在する第ｎフレームに、この第１ブロックＢ１に対してそれぞれ上下左右にずれた位置に４つの第２のブロックＢ21〜Ｂ24が設定される。また、第（ｎ−１）フレームに、第ｎフレームの第１のブロックＢ１に対して垂直方向および水平方向に全部が重なる位置に１つの第２のブロックＢ25が設定される。さらに、この第（ｎ−１）フレームに、この第２ブロックＢ25に対してそれぞれ上下左右にずれた位置に４つの第２のブロックＢ26〜Ｂ29が設定される。このように９つの第２のブロックＢ21〜Ｂ29が設定される場合、特徴情報生成部１０３，１５４では、９つの自己相関係数Ｃ１〜Ｃ９の生成が可能となる。
【００６６】
また、上述実施の形態において、特徴情報生成部１０３，１５４では、ブロック単位の特徴情報として自己相関係数（ブロック間特徴情報）を生成するものであったが、これに限定されるものではない。例えば、第１のブロックおよび第２のブロックのそれぞれの画素データの平均値や分散値を特徴情報として得るようにしてもよい。また、各ブロックにＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適用し、そのダイナミックレンジを特徴情報として使用するようにしてもよい。また、各ブロックに対してＤＣＴ（discrete cosine transform）処理を施し、得られるＤＣＴ係数を使用して、自己相関係数を求めるようにしてもよい。
【００６７】
また、上述実施の形態においては、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換する場合に適用できることは勿論である。
【００６８】
また、上述実施の形態においては、第２の画像信号を作成する際の演算方式として線形一次方程式によるものを挙げたが、高次方程式によるものであってもよい。
【００６９】
また、上述では、ＲＯＭテーブル１０５に各クラスに対応した推定式の係数データが格納される旨説明したが、このＲＯＭテーブル１０５には、各クラスに対応したデータであって、係数データだけではなく、画素値を求めるために必要な次数等の演算方式のデータも格納されている。
【００７０】
【発明の効果】
この発明によれば、第１の画像信号を第２の画像信号に変換する際に、第２の画像信号に係る注目画素に対応した第１のブロックおよびそれぞれ第１のブロックに対して少なくとも一部が重なる一または複数の第２のブロックの画素データを第１の画像信号から抽出し、ブロック単位の特徴情報を生成して上記注目画素のクラスを決定し、そのクラスに対応する演算方式を用いて上記注目画素の画素データを生成するものである。
【００７１】
したがって、ブロック単位の特徴情報を用いて、第２の画像信号に係る注目画素のクラスを決定するものであり、クラス決定のために第１の画像信号より画素データを抽出するブロックを広くしてもパラメータ数は増加せず、現実的な処理を行うことができる。また、第２のブロックは第１のブロックと一部が重なるものであり、第１のブロックと第２のブロックとの画素データを用いて生成されるブロック単位の特徴情報は方向性を含むと共に、第２の画像信号に係る注目画素に対応した特徴情報となるため、クラス決定の精度を上げることができ、変換処理を適切に行うことができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図３】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図４】特徴抽出に使用するＳＤ画素データ例を説明するための略線図である。
【図５】特徴情報の生成処理の手順を示すフローチャートである。
【図６】推定演算に使用するＳＤ画素データ例を説明するための略線図である。
【図７】予測係数の学習フローを示すフローチャートである。
【図８】係数データ生成装置の構成例を示すブロック図である。
【図９】第２のブロックの設定例を示す図である。
【符号の説明】
１００・・・画像信号変換装置、１０１・・・入力端子、１０２，１０６・・・ブロック抽出部、１０３・・・特徴情報生成部、１０４・・・クラスコード発生部、１０５・・・ＲＯＭテーブル、１０７・・・推定演算部、１０８・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・間引き部、１５３，１５６・・・ブロック抽出部、１５４・・・特徴情報生成部、１５５・・・クラスコード発生部、１５７・・・正規方程式生成部、１５８・・・予測係数決定部、１５９・・・メモリ
【図１】
0004470261.tif 000009
【図２】
0004470261.tif 000010
【図３】
0004470261.tif 000011
【図４】
0004470261.tif 000012
【図５】
0004470261.tif 000013
【図６】
0004470261.tif 000014
【図７】
0004470261.tif 000015
【図８】
0004470261.tif 000016
【図９】
0004470261.tif 000017