(57)【特許請求の範囲】
【請求項１】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、
フォーマットまたはサイズの変換情報を入力する変換情報入力手段と、
上記変換情報入力手段で入力された上記変換情報を、上記第２の情報信号に係る注目点の位相情報に変換する情報変換手段と、
推定式の係数データを生成するための、上記位相情報をパラメータとする生成式の係数データである係数種データが記憶された第１のメモリ手段と、
上記第１のメモリ手段に記憶されている係数種データと上記情報変換手段で変換して得られた上記注目点の位相情報とを用いて上記生成式によって生成され、上記注目点の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第１のデータ選択手段で選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段と
を備える情報信号処理装置。
【請求項２】
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記第２の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段とをさらに備え、
上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
上記係数データ発生手段は、上記クラス検出手段で検出されたクラスおよび上記注目点の位相情報に対応した上記推定式の係数データを発生する請求項１に記載の情報信号処理装置。
【請求項３】
上記係数データ発生手段は、
上記第１のメモリ手段に記憶されている係数種データと上記情報変換手段で変換して得られた上記注目点の位相情報とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、
上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と
を有してなる請求項２に記載の情報信号処理装置。
【請求項４】
上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、
上記演算手段で得られた上記注目点の情報データを上記総和で除算して正規化する正規化手段とをさらに備える請求項１に記載の情報信号処理装置。
【請求項５】
複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、
フォーマットまたはサイズの変換情報を入力する変換情報入力手段と、
上記変換情報入力手段で入力された上記変換情報を、上記第２の画像信号に係る注目画素の位相情報に変換する情報変換手段と、
推定式の係数データを生成するための、上記位相情報をパラメータとする生成式の係数データである係数種データが記憶されたメモリ手段と、
上記メモリ手段に記憶されている係数種データと上記情報変換手段で変換して得られた上記注目画素の位相情報とを用いて上記生成式によって生成され、上記注目画素の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記データ選択手段で選択された上記複数の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段と
を備える画像信号処理装置。
【請求項６】
複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、
上記画像信号入力手段より入力された上記第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、
上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段と、
上記画像表示素子に表示される画像のフォーマットまたはサイズに対応した変換情報を入力する変換情報入力手段とを有してなり、
上記画像信号処理手段は、
上記変換情報入力手段で入力された上記変換情報を、上記第２の画像信号に係る注目画素の位相情報に変換する情報変換手段と、
推定式の係数データを生成するための、上記位相情報をパラメータとする生成式の係数データである係数種データが記憶された第１のメモリ手段と、
上記第１のメモリ手段に記憶されている係数種データと上記情報変換手段で変換して得られた上記注目画素の位相情報とを用いて上記生成式によって生成され、上記注目画素の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、
上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記係数データ発生手段で発生された上記係数データと上記第１のデータ選択手段で選択された上記複数の第１の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備える画像表示装置。
【請求項７】
上記第１の画像信号から、上記第２の画像信号に係る注目画素の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記第２の画素データに基づいて、上記注目画素が属するクラスを検出するクラス検出手段とをさらに備え、
上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
上記係数データ発生手段は、上記クラス検出手段で検出されたクラスおよび上記注目画素の位相情報に対応した上記推定式の係数データを発生する請求項６に記載の画像表示装置。
【請求項８】
上記係数データ発生手段は、
上記第１のメモリ手段に記憶されている係数種データと上記情報変換手段で変換して得られた上記注目画素の位相情報とを用い、上記生成式により、上記クラス検出手段で検出されるクラス毎に上記推定式の係数データを生成する係数データ生成手段と、
上記係数データ生成手段で生成された各クラスにおける上記推定式の係数データを記憶する第２のメモリ手段と、
上記第２のメモリ手段より上記クラス検出手段で検出されたクラスに対応した上記推定式の係数データを読み出して出力する係数データ読み出し手段と
を有してなる請求項７に記載の画像表示装置。
【請求項９】
上記係数データ発生手段で発生される上記推定式の係数データの総和を求める加算手段と、
上記演算手段で得られた上記注目画素の画素データを上記総和で除算して正規化する正規化手段とをさらに備える請求項６に記載の画像表示装置。
【請求項１０】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、
フォーマットまたはサイズの変換情報を入力する第１のステップと、
上記第１のステップで入力された上記変換情報を、上記第２の情報信号に係る注目点の位相情報に変換する第２のステップと、
推定式の係数データを生成する、上記位相情報をパラメータとする生成式の係数データである係数種データと、上記第２のステップで変換して得られた上記注目点の位相情報とを用いて、上記生成式により、上記注目点の位相情報に対応した上記推定式の係数データを生成する第３のステップと、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、
上記第３のステップで生成された上記係数データと上記第４のステップで選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップと
を備える情報信号処理方法。
【請求項１１】
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第６のステップと、
上記第６のステップで選択された上記複数の第２の情報データに基づいて上記注目点が属するクラスを検出する第７のステップとをさらに備え、
上記第３のステップでは、上記第７のステップで検出されたクラスおよび上記注目点の位相情報に対応した上記推定式の係数データを生成する請求項１０に記載の情報信号処理方法。
【請求項１２】
上記第３のステップは、
上記第７のステップで検出されるクラス毎に予め求められた推定式の係数データを生成するための生成式の係数データである係数種データと上記第２のステップで変換して得られた上記注目点の位相情報とを用いて、上記生成式により、上記クラス毎に上記推定式の係数データを生成するステップと、
上記生成された各クラスにおける上記推定式の係数データをメモリ手段に記憶するステップと、
上記メモリ手段より上記第７のステップで検出されたクラスに対応した上記推定式の係数データを読み出して出力するステップとを有する請求項１１に記載の情報信号処理方法。
【請求項１３】
上記第３のステップで発生される上記推定式の係数データの総和を求める第８のステップと、
上記第５のステップで得られた上記注目点の情報データを上記第８のステップで求められる上記総和で除算して正規化する第９のステップとをさらに備える請求項１０に記載の情報信号処理方法。
【請求項１４】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換するために、
フォーマットまたはサイズの変換情報を入力する第１のステップと、
上記第１のステップで入力された上記変換情報を、上記第２の情報信号に係る注目点の位相情報に変換する第２のステップと、
推定式の係数データを生成するための、上記位相情報をパラメータとする生成式の係数データである係数種データと、上記第２のステップで変換して得られた上記注目点の位相情報とを用いて、上記生成式により、上記注目点の位相情報に対応した上記推定式の係数データを生成する第３のステップと、
上記第１の情報信号から、上記第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、
上記第３のステップで生成された上記係数データと上記第４のステップで選択された上記複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップと
を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１５】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する装置であって、
教師信号を間引き処理して生徒信号を得る信号処理手段と、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする位相シフト手段と、
上記位相シフト手段で位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された上記複数の第１の情報データおよび上記教師信号に係る注目点の情報データから、上記係数種データを得るための正規方程式を生成する正規方程式生成手段と、
上記正規方程式を解いて上記係数種データを得る係数種データ演算手段と
を備える係数種データ生成装置。
【請求項１６】
上記位相シフト手段で位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記複数の第２の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段とをさらに備え、
上記正規方程式生成手段は、上記クラス検出手段で検出されたクラス、上記第１のデータ選択手段で選択された上記複数の第１の情報データおよび上記教師信号に係る注目点の情報データから、クラス毎に、上記係数種データを得るための正規方程式を生成し、
上記係数種データ演算手段は、上記クラス毎の正規方程式を解いて、クラス毎に上記係数種データを得る請求項１５に記載の係数種データ生成装置。
【請求項１７】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する方法であって、
教師信号を間引き処理して生徒信号を得る第１のステップと、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする第２のステップと、
上記第２のステップで位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、
上記第３のステップで選択された上記複数の情報データおよび上記教師信号に係る注目点の情報データから、上記係数種データを得るための正規方程式を生成する第４のステップと、
上記第４のステップで生成された上記正規方程式を解いて上記係数種データを得る第５のステップと
を備える係数種データ生成方法。
【請求項１８】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成するために、
教師信号を間引き処理して生徒信号を得る第１のステップと、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする第２のステップと、
上記第２のステップで位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、
上記第３のステップで選択された上記複数の情報データおよび上記教師信号に係る注目点の情報データから、上記係数種データを得るための正規方程式を生成する第４のステップと、
上記第４のステップで生成された上記正規方程式を解いて上記係数種データを得る第５のステップと
を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する装置であって、
教師信号を間引き処理して生徒信号を得る信号処理手段と、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする位相シフト手段と、
上記位相シフト手段で位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された上記複数の第１の情報データおよび上記教師信号に係る注目点の情報データから、上記生徒信号の位相シフト値毎に上記推定式の係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、
上記第１の正規方程式を解いて、上記位相シフト値毎に上記推定式の係数データを得る係数データ演算手段と、
上記係数データ演算手段で得られた上記位相シフト値毎の係数データから、上記係数種データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、
上記第２の正規方程式を解いて、上記係数種データを得る係数種データ演算手段と
を備える係数種データ生成装置。
【請求項２０】
上記位相シフト手段で位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の第２の情報データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された上記複数の第２の情報データに基づいて、上記注目点が属するクラスを検出するクラス検出手段とをさらに備え、
上記第１の正規方程式生成手段は、上記クラス検出手段で検出されたクラス、上記第１のデータ選択手段で選択された上記複数の第１の情報データおよび上記教師信号に係る注目点の情報データから、上記クラス検出手段で検出されるクラスおよび上記生徒信号の位相シフト値の組み合わせ毎に上記推定式の係数データを得るための第１の正規方程式を生成し、
上記係数データ演算手段は、上記第１の正規方程式を解いて、上記組み合わせ毎に上記推定式の係数データを得、
上記第２の正規方程式生成手段は、上記係数データ演算手段で得られた上記組み合わせ毎の係数データから、クラス毎に、上記係数種データを得るための第２の正規方程式を生成し、
上記係数種データ演算手段は、上記第２の正規方程式を解いて、上記クラス毎に上記係数種データを得る請求項１９に記載の係数種データ生成装置。
【請求項２１】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する方法であって、
教師信号を間引き処理して生徒信号を得る第１のステップと、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする第２のステップと、
上記第２のステップで位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、
上記第３のステップで選択された上記複数の情報データおよび上記教師信号に係る注目点の情報データから、上記生徒信号の位相シフト値毎に上記推定式の係数データを得るための第１の正規方程式を生成する第４のステップと、
上記第４のステップで生成された上記第１の正規方程式を解いて、上記位相シフト値毎に上記推定式の係数データを得る第５のステップと、
上記第５のステップで得られた上記位相シフト値毎の係数データから、上記係数種データを得るための第２の正規方程式を生成する第６のステップと、
上記第６のステップで生成された上記第２の正規方程式を解いて、上記係数種データを得る第７のステップと
を備える係数種データ生成方法。
【請求項２２】
複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成するために、
教師信号を間引き処理して生徒信号を得る第１のステップと、
上記生徒信号の情報データ位置に対する上記教師信号の情報データ位置の位相が順次変化するように、上記生徒信号の位相をシフトする第２のステップと、
上記第２のステップで位相シフトされた上記生徒信号から、上記教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、
上記第３のステップで選択された上記複数の情報データおよび上記教師信号に係る注目点の情報データから、上記生徒信号の位相シフト値毎に上記推定式の係数データを得るための第１の正規方程式を生成する第４のステップと、
上記第４のステップで生成された上記第１の正規方程式を解いて、上記位相シフト値毎に上記推定式の係数データを得る第５のステップと、
上記第５のステップで得られた上記位相シフト値毎の係数データから、上記係数種データを得るための第２の正規方程式を生成する第６のステップと、
上記第６のステップで生成された上記第２の正規方程式を解いて、上記係数種データを得る第７のステップと
を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばフォーマットまたはサイズを変換する際に使用して好適な情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体に関する。詳しくは、第１の情報信号を第２の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第２の情報信号に係る注目点の位相情報を得、この位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求めることによって、種々のフォーマットまたはサイズへの変換を行う場合に大量の係数データを格納しておくメモリを不要とできる情報信号処理装置等に係るものである。
【０００２】
【従来の技術】
フォーマットまたは画像サイズを変換するためには、入力画像信号の画素データとは異なった位相の画素データを求めて出力画像信号を得る必要がある。この場合、変換後のフォーマットまたは画像サイズによって、入力画像信号の画素に対する出力画像信号の画素の位相関係が一義的に決まる。
【０００３】
フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号が１０８０ｉ信号である場合を説明する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０８０ｉ信号は、ライン数が１０８０本でインタレース方式の画像信号を意味する。図１４は、５２５ｉ信号と１０８０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０８０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０００４】
５２５ｉ信号を１０８０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各４×４の画素ブロックに対応して１０８０ｉ信号の９×９の画素ブロックを得る必要がある。
【０００５】
図１５は、５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示している。図中の１０８０ｉ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。このように１０８０ｉ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。
【０００６】
なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より上方向にある場合は負の値とされ、逆に下方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の垂直方向の位相関係を示す図においても同様である。
【０００７】
図１６は、５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示している。図中の１０８０ｉ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。このように１０８０ｉ信号の画素にそれぞれ付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。
【０００８】
なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より左方向にある場合は負の値とされ、逆に右方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の水平方向の位相関係を示す図においても同様である。
【０００９】
次に、フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号がＸＧＡ信号である場合を説明する。ＸＧＡ信号は解像度１０２４×７６８ドットの表示を行うためのプログレッシブ方式（ノンインタレース方式）の画像信号である。図１７は、５２５ｉ信号とＸＧＡ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットがＸＧＡ信号の画素である。また、５２５ｉ信号に関しては、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【００１０】
５２５ｉ信号をＸＧＡ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各５×５の画素ブロックに対応して１０８０ｉ信号の８×１６の画素ブロックを得る必要がある。
【００１１】
図１８は、５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。
【００１２】
図１９は、５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。
【００１３】
画像サイズ変換の例は特に示さないが、上述したフォーマット変換の場合と同様に、入力画像信号の画素に対する出力画像信号の画素の位相関係が一意的に決まる。例えば、画像サイズ（表示画像の拡大倍率）を垂直、水平とも９／４倍にする場合の位相関係は上述した５２５ｉ信号と１０８０ｉ信号の画素の位相関係と同じくなる。
【００１４】
従来、フォーマットまたは画像サイズを変換するために入力画像信号の画素データより出力画像信号の画素データを得る際に、入力画像信号の画素に対する出力画像信号の画素の各位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって出力画像信号の画素データを求めることが提案されている。
【００１５】
【発明が解決しようとする課題】
上述したように、変換後のフォーマットまたは画像サイズが異なれば、入力画像信号の画素に対する出力画像信号の画素の位相関係は異なったものとなる。そのため、推定式の係数データをメモリに格納しておくものにあっては、種々のフォーマットまたはサイズへの変換を行う場合、それぞれのフォーマットまたはサイズに対応して係数データをメモリに格納しておく必要がある。したがって、その場合には、大量の係数データを格納しておくメモリが必要となり、変換装置が高価なものとなる等の不都合がある。
【００１６】
そこで、この発明では、種々のフォーマットまたはサイズへの変換をするために大量の係数データを格納しておくメモリを不要とできる情報信号処理装置等を提供することを目的とする。
【００１７】
【課題を解決するための手段】
この発明に係る情報信号処理装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理装置であって、フォーマットまたはサイズの変換情報を入力する変換情報入力手段と、この変換情報入力手段で入力された変換情報を第２の情報信号に係る注目点の位相情報に変換する情報変換手段と、推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データが記憶された第１のメモリ手段と、この第１のメモリ手段に記憶されている係数種データと情報変換手段で変換して得られた上記注目点の位相情報とを用いて上記生成式によって生成され、上記注目点の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の情報信号から、第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと第１のデータ選択手段で選択された複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る演算手段とを備えるものである。
【００１８】
また、この発明に係る情報信号処理方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する情報信号処理方法であって、フォーマットまたはサイズの変換情報を入力する第１のステップと、この第１のステップで入力された変換情報を第２の情報信号に係る注目点の位相情報に変換する第２のステップと、推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データと第２のステップで変換して得られた上記注目点の位相情報とを用いて、上記生成式により、上記注目点の位相情報に対応した上記推定式の係数データを生成する第３のステップと、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第４のステップと、第３のステップで生成された係数データと第４のステップで選択された複数の第１の情報データとから、上記推定式を用いて上記注目点の情報データを算出して得る第５のステップとを備えるものである。
【００１９】
また、この発明に係る記録媒体は、上述の情報信号処理方法の各ステップを実行させるためのコンピュータプログラムを記録したものである。また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理装置であって、フォーマットまたはサイズの変換情報を入力する変換情報入力手段と、この変換情報入力手段で入力された上記変換情報を第２の画像信号に係る注目画素の位相情報に変換する情報変換手段と、推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データが記憶されたメモリ手段と、このメモリ手段に記憶されている係数種データと情報変換手段で変換して得られた上記注目画素の位相情報とを用いて上記生成式によって生成され、上記注目画素の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の画素データを選択するデータ選択手段と、係数データ発生手段で発生された係数データとデータ選択手段で選択された複数の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備えるものである。
【００２０】
また、この発明に係る画像表示装置は、複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、この画像信号入力手段より入力された第１の画像信号を複数の画素データからなる第２の画像信号に変換して出力する画像信号処理手段と、この画像信号処理手段より出力される第２の画像信号による画像を画像表示素子に表示する画像表示手段と、画像表示素子に表示される画像のフォーマットまたはサイズに対応した変換情報を入力する変換情報入力手段とを有してなるものである。そして、画像信号処理手段は、変換情報入力手段で入力された変換情報を第２の画像信号に係る注目画素の位相情報に変換する情報変換手段と、推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データが記憶された第１のメモリ手段と、この第１のメモリ手段に記憶されている係数種データと情報変換手段で変換して得られた上記注目画素の位相情報とを用いて上記生成式によって生成され、上記注目画素の位相情報に対応した上記推定式の係数データを発生する係数データ発生手段と、第１の画像信号から第２の画像信号に係る注目画素の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、係数データ発生手段で発生された係数データと第１のデータ選択手段で選択された複数の第１の画素データとから、上記推定式を用いて上記注目画素の画素データを算出して得る演算手段とを備えるものである。
【００２１】
この発明においては、フォーマットまたはサイズの変換情報が入力され、この変換情報は第２の情報信号に係る注目点の位相情報に変換される。ここで、情報信号は、例えば画像信号や音声信号である。情報信号が画像信号である場合、変換後のフォーマットまたは画像サイズによって入力画像信号の画素に対する出力画像信号の画素の位相関係が一意的に決まる。また、第１の情報信号から第２の情報信号に係る注目点の周辺に位置する複数の第１の情報データが選択される。
【００２２】
そして、第２の情報信号の注目点の位相情報に対応して、その注目点の情報データが求められる。すなわち、推定式の係数データを生成するための生成式の係数データである係数種データがメモリ手段に記憶されており、この係数種データと第２の情報信号の注目点の位相情報とを用いて、その注目点の位相情報に対応した推定式の係数データが発生され、この係数データと複数の第１の情報データとから、推定式を用いて、注目点の情報データが生成される。
【００２３】
このように、第１の情報信号を第２の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第２の情報信号に係る注目点の位相情報を得、この位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求めるものであり、種々のフォーマットまたはサイズに対応した係数データをメモリに格納しておくものではなく、種々のフォーマットまたはサイズに変換する場合に大量の係数データを格納しておくメモリが不要となる。
【００２４】
なお、係数種データを用いて生成された推定式の係数データの総和を求め、上述したように推定式を用いて生成された注目点の情報データをその総和で除算して正規化することで、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
【００２５】
また、この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する装置であって、教師信号を間引き処理して生徒信号を得る信号処理手段と、生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように、生徒信号の位相をシフトする位相シフト手段と、この位相シフト手段で位相シフトされた生徒信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データおよび教師信号に係る注目点の情報データから、係数種データを得るための正規方程式を生成する正規方程式生成手段と、この正規方程式を解いて係数種データを得る係数種データ演算手段とを備えるものである。
【００２６】
また、この発明に係る係数種データ生成方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する方法であって、教師信号を間引き処理して生徒信号を得る第１のステップと、この生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように、生徒信号の位相をシフトする第２のステップと、この第２のステップで位相シフトされた生徒信号から、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、この第３のステップで選択された複数の情報データおよび教師信号に係る注目点の情報データから、係数種データを得るための正規方程式を生成する第４のステップと、この第４のステップで生成された正規方程式を解いて係数種データを得る第５のステップとを備えるものである。
【００２７】
また、この発明に係る記録媒体は、上述の係数種データ生成方法の各ステップを実行させるためのコンピュータプログラムを記録したものである。
【００２８】
この発明においては、教師信号が間引き処理されて生徒信号が得られる。例えば、教師信号として１０５０ｉ信号が使用され、この１０５０ｉ信号が間引き処理されて生徒信号として５２５ｉ信号が得られる。そして、生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように生徒信号の位相シフトが行われる。
【００２９】
この位相シフトされた生徒信号から教師信号に係る注目点の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび教師信号に係る注目点の情報データから係数種データを得るための正規方程式が生成され、この方程式を解くことで係数種データが得られる。
【００３０】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する、位相情報をパラメータとする生成式の係数データである。この係数種データを使用することで、生成式によって、任意の位相情報に対応した係数データを得ることが可能となる。これにより、フォーマットまたはサイズを変換する際に、第２の情報信号に係る注目点の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用してその注目点の情報データを求めることが可能となる。
【００３１】
また、この発明に係る係数種データ生成装置は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する装置であって、教師信号を間引き処理して生徒信号を得る信号処理手段と、生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように、生徒信号の位相をシフトする位相シフト手段と、この位相シフト手段で位相シフトされた生徒信号から、教師信号に係る注目点の周辺に位置する複数の第１の情報データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の情報データおよび教師信号に係る注目点の情報データから、生徒信号の位相シフト値毎に上記推定式の係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、この第１の正規方程式を解いて、上記位相シフト値毎に推定式の係数データを得る係数データ演算手段と、係数データ演算手段で得られた上記位相シフト値毎の係数データから、係数種データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、この第２の正規方程式を解いて、係数種データを得る係数種データ演算手段とを備えるものである。
【００３２】
また、この発明に係る係数種データ生成方法は、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に使用される推定式の係数データを生成するための、位相情報をパラメータとする生成式の係数データである係数種データを生成する方法であって、教師信号を間引き処理して生徒信号を得る第１のステップと、生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように、生徒信号の位相をシフトする第２のステップと、この第２のステップで位相シフトされた生徒信号から、教師信号に係る注目点の周辺に位置する複数の情報データを選択する第３のステップと、この第３のステップで選択された複数の情報データおよび教師信号に係る注目点の情報データから、生徒信号の位相シフト値毎に上記推定式の係数データを得るための第１の正規方程式を生成する第４のステップと、この第４のステップで生成された第１の正規方程式を解いて、上記位相シフト値毎に上記推定式の係数データを得る第５のステップと、この第５のステップで得られた上記位相シフト値毎の係数データから、係数種データを得るための第２の正規方程式を生成する第６のステップと、この第６のステップで生成された第２の正規方程式を解いて、係数種データを得る第７のステップとを備えるものである。
【００３３】
また、この発明に係る記録媒体は、上述の係数種データ生成方法の各ステップを実行させるためのコンピュータプログラムを記録したものである。
【００３４】
この発明においては、教師信号が間引き処理されて生徒信号が得られる。例えば、教師信号として１０５０ｉ信号が使用され、この１０５０ｉ信号が間引き処理されて生徒信号として５２５ｉ信号が得られる。そして、生徒信号の情報データ位置に対する教師信号の情報データ位置の位相が順次変化するように生徒信号の位相シフトが行われる。
【００３５】
この位相シフトされた生徒信号から教師信号に係る注目点の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび教師信号に係る注目点の情報データから、生徒信号の位相シフト値毎に、推定式の係数データを得るための第１の正規方程式が生成され、この方程式を解くことで、上記位相シフト値毎の推定式の係数データが得られる。
【００３６】
そしてさらに、上記位相シフト値毎の係数データから、係数種データを得るための第２の正規方程式が生成され、この方程式を解くことで、係数種データが得られる。
【００３７】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する、位相情報をパラメータとする生成式の係数データである。この係数種データを使用することで、生成式によって、任意の位相情報に対応した係数データを得ることが可能となる。これにより、フォーマットまたはサイズを変換する際に、第２の情報信号に係る注目点の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用してその注目点の情報データを求めることが可能となる。
【００３８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号を得、その５２５ｉ信号を１０８０ｉ信号またはＸＧＡ信号に変換して画像表示をしたり、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換して画像表示をするものである。
【００３９】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００４０】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って５２５ｉ信号を得るチューナ１０６と、このチューナ１０６より出力される５２５ｉ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００４１】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存される５２５ｉ信号を入力画像信号Ｖinとし、１０８０ｉ信号またはＸＧＡ信号に変換し、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換して出力する画像信号処理部１１０と、この画像信号処理部１１０の出力画像信号Ｖoutによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示装置で構成されている。
【００４２】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力される５２５ｉ信号は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶された５２５ｉ信号は入力画像信号Ｖinとして画像信号処理部１１０に入力される。
【００４３】
この画像信号処理部１１０では、ユーザのリモコン送信機２００の操作による設定に応じて、入力画像信号Ｖinとしての５２５ｉ信号が、１０８０ｉ信号またはＸＧＡ信号に変換され、あるいはその５２５ｉ信号がその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換される。この画像信号処理部１１０より出力される出力画像信号Ｖoutはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその出力画像信号Ｖoutによる画像が表示される。
【００４４】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されている５２５ｉ信号より、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する複数の画素データを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００４５】
第１のタップ選択回路１２１は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００４６】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００４７】
空間クラス検出回路１２４では、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、空間クラスタップのデータにそれぞれ対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００４８】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータの最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、（１）式において、[  ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）．２P／ＤＲ］      ・・・（１）
【００４９】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００５０】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個の画素データｍ１〜ｍ６とその１フレーム前の６個の画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００５１】
【数１】
0004277446.tif 000002
【００５２】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００５３】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００５４】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータの個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００５５】
【数２】
0004277446.tif 000003
【００５６】
また、画像信号処理部１１０は、レジスタ１３０〜１３３と、係数メモリ１３４とを有している。後述する後処理回路１２９は、出力画像信号Ｖoutとして、１０８０ｉ信号を出力する場合と、ＸＧＡ信号を出力する場合と、５２５ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、後処理回路１２９の動作を指定する動作指定情報を格納するものである。後処理回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【００５７】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００５８】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００５９】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【００６０】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の画素のみとされる。
【００６１】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【００６２】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００６３】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、５２５ｉ信号を１０８０ｉ信号またはＸＧＡ信号に変換し、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給されることとなる。
【００６４】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。
【００６５】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、後処理回路１２９を１０８０ｉ信号を出力するように動作させるための第１の動作指定情報と、後処理回路１２９をＸＧＡ信号を出力するように動作させるための第２の動作指定情報と、後処理回路１２９を５２５ｉ信号を出力するように動作させるための第３の動作指定情報とが予め蓄えられている。
【００６６】
ユーザはリモコン送信機２００を操作することで、１０８０ｉ信号を出力する第１の変換方法か、ＸＧＡ信号を出力する第２の変換方法か、さらには５２５ｉ信号を出力する第３の変換方法かを選択できる。なお、第３の変換方法を選択するとき、ユーザは、さらに表示画像の倍率（画像サイズ）を指定できる。情報メモリバンク１３５にはシステムコントローラ１０１よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１、第２または第３の動作指定情報がロードされる。
【００６７】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報が予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００６８】
なお、情報メモリバンク１３５に、第３の変換方法に対応する第３のタップ位置情報として、表示画像の倍率に対応したタップ位置情報を予め蓄えておき、第３の変換方法が選択された場合に、併せて指定された倍率に対応したタップ位置情報を情報メモリバンク１３５よりレジスタ１３１にロードするようにしてもよい。このことは、後述するレジスタ１３２，１３３へのタップ情報のロードにおいても同様である。
【００６９】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。第１、第２および第３のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００７０】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００７１】
また、情報メモリバンク１３５には、各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための、位相情報をパラメータとする生成式の係数データである。
【００７２】
後述する推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（４）式におけるｎは１０となる。
【００７３】
【数３】
0004277446.tif 000004
【００７４】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、例えば（５）式で示されるように、位相情報ｈ，ｖをパラメータとする生成式によって生成される。情報メモリバンク１３５には、この生成式の係数データである係数種データｗ10〜ｗn9が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００７５】
【数４】
0004277446.tif 000005
【００７６】
また、画像信号処理部１１０は、各クラスの係数種データおよび位相情報ｈ，ｖの値とを用い、（５）式によって、クラス毎に、位相情報ｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。この係数生成回路１３６には、情報メモリバンク１３５より、各クラスの係数種データがロードされると共に、後述する位相情報発生回路１３９で発生される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報ｈ，ｖが供給される。この係数生成回路１３６で生成される各クラスの各位相情報ｈ，ｖに対応した係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。
【００７７】
また、画像信号処理部１１０は、システムコントローラ１０１より供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応関係情報ｎ／ｍに基づいて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報ｈ，ｖを発生させる位相情報発生回路１３９を有している。この位相情報発生回路１３９は例えばＲＯＭテーブルで構成される。
【００７８】
この位相情報発生回路１３９で発生される各画素の水平方向、垂直方向の位相情報ｈ，ｖは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路１３６に供給される。なお、位相情報発生回路１３９からは、入力画像信号Ｖinの奇数、偶数のフィールドのそれぞれに対応して位相情報ｈ，ｖが発生される。
【００７９】
例えば、第１の変換方法（１０８０ｉ）が選択される場合、垂直方向に関してｎ／ｍ＝９／４であり、水平方向に関してｎ／ｍは９／４である（図１４参照）。そのため、入力画像信号Ｖinとしての５２５ｉ信号の４×４の画素ブロックに対して出力画像信号Ｖoutとしての１０８０ｉ信号の９×９の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは９×９の画素ブロックということになる。
【００８０】
この場合、位相情報発生回路１３９では、この９×９の単位画素ブロック内の各画素について、上述した５２５ｉ信号の４×４の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。本実施の形態においては、５２５ｉ信号の垂直方向の画素間隔が１６、水平方向の画素間隔が８とされて、上述の位相情報ｈ，ｖが求められる。これは、第２、第３の変換方法が選択される場合も同様である。
【００８１】
ここで、位相情報ｖに関しては、９×９の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相情報ｈに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第２、第３の変換方法が選択される場合も同様である。
【００８２】
このように、第１の変換方法（１０８０ｉ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、９×９の単位画素ブロックを構成する８１個の画素のそれぞれついての位相情報ｈ，ｖが発生される。
【００８３】
また例えば、第２の変換方法（ＸＧＡ）が選択される場合、垂直方向に関してｎ／ｍ＝１６／５であり、水平方向に関してｎ／ｍは８／５である（図１７参照）。そのため、入力画像信号Ｖinとしての５２５ｉ信号の５×５の画素ブロックに対して出力画像信号ＶoutとしてのＸＧＡ信号の８×１６の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは８×１６の画素ブロックということになる。
【００８４】
この場合、位相情報発生回路１３９では、この８×１６の単位画素ブロック内の各画素について、上述した５２５ｉ信号の５×５の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。
【００８５】
このように、第２の変換方法（ＸＧＡ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、８×１６の単位画素ブロックを構成する１２８個の画素のそれぞれついての位相情報ｈ，ｖが発生される。
【００８６】
また例えば、第３の変換方法（５２５ｉ）が選択される場合、指定された表示画像の倍率（画像サイズ）に応じて垂直方向および水平方向に関するｎ／ｍが一意的に決まる。垂直方向に関してｎ／ｍ＝ｎv／ｍv、水平方向に関してｎ／ｍ＝ｎh／ｍhであるとすると、入力画像信号Ｖinとしての５２５ｉ信号のｍh×ｍvの画素ブロックに対して出力画像信号Ｖoutとしての５２５ｉ信号のｎh×ｎvの画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックはｎh×ｎvの画素ブロックということになる。
【００８７】
この場合、位相情報発生回路１３９では、このｎh×ｎvの単位画素ブロック内の各画素について、上述した入力画像信号Ｖinとしての５２５ｉ信号のｍh×ｍvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。
【００８８】
このように、第３の変換方法（５２５ｉ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、ｎh×ｎvの単位画素ブロックを構成する各画素についての位相情報ｈ，ｖが発生される。
【００８９】
また、画像信号処理部１１０は、係数生成回路１３６で生成される各クラスの各位相情報ｈ，ｖの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（６）式によって演算する正規化係数生成回路１３７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ１３８を有している。正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給されることとなる。
【００９０】
【数５】
0004277446.tif 000006
【００９１】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを演算する推定予測演算回路１２７を有している。
【００９２】
この推定予測演算回路１２７では、出力画像信号Ｖoutを構成する画素データが単位画素ブロック毎に生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１３４よりその単位画素ブロックを構成する各画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する各画素のデータは、それぞれ個別に上述した（４）式の推定式で演算される。
【００９３】
例えば、推定予測演算回路１２７では、第１の変換方法（１０８０ｉ）が選択されている場合には、単位画素ブロックを構成する８１個の画素のデータが同時的に生成され、第２の変換方法（ＸＧＡ）が選択されている場合には、単位画素ブロックを構成する１２８個の画素のデータが同時的に生成され、さらに第３の変換方法（５２５ｉ）が選択されている場合には、単位画素ブロックを構成する（ｎh×ｎv）個（ｎh，ｎvは、表示画像の指定倍率によって変化する）の画素データが同時的に生成される。
【００９４】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1〜ｙP（Ｐは単位ブロックを構成する画素の個数）を、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ1〜ｙPは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００９５】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される単位画素ブロック内の画素のデータｙ1′〜ｙP′を、第１〜第３の変換方法によって特定されるフォーマットで出力して、出力画像信号Ｖoutを得る後処理回路１２９を有している。すなわち、この後処理回路１２９からは、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。この後処理回路１２９の動作指定情報は、上述したようにレジスタ１３０より供給される。
【００９６】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第２のタップ選択回路１２２で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する空間クラスタップのデータ（画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【００９７】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００９８】
また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第３のタップ選択回路１２３で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する動きクラスタップのデータ（画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【００９９】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１００】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック毎にその単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードＣＬが順次得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１０１】
係数メモリ１３４には、位相情報発生回路１３９で発生された出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報ｈ，ｖに対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスおよび各位相情報の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【０１０２】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した各位相情報における係数データＷｉが読み出されて推定予測演算回路１２７に供給される。また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第１のタップ選択回路１２１で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する予測タップのデータ（画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１０３】
推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３４より読み出される各位相情報における係数データＷｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1〜ｙPが同時的に演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1〜ｙPは正規化演算回路１２８に供給される。
【０１０４】
正規化係数メモリ１３８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるデータｙ1〜ｙPの演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路１２８に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるデータｙ1〜ｙPがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（５）式参照）で推定式（（４）式参照）の係数データを求める際の丸め誤差によるデータｙ1〜ｙPのレベル変動が除去される。
【０１０５】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の各画素のデータｙ1′〜ｙP′は後処理回路１２９に供給される。この後処理回路１２９では、データｙ1′〜ｙP′が第１〜第３の変換方法によって特定されるフォーマットで出力され、出力画像信号Ｖoutとして、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。
【０１０６】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる各クラスの係数種データおよび位相情報発生回路１３９で発生される位相情報ｈ，ｖの値とを用い、クラス毎に、位相情報ｈ，ｖの値に対応した推定式の係数データＷｉが生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される各位相情報における係数データＷｉを用いて推定予測演算回路１２７で、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ1〜ｙPが演算される。したがって、１０８０ｉ信号やＸＧＡ信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合に大量の係数データを格納しておくメモリを不要とできる。
【０１０７】
上述したように、情報メモリバンク１３５には、係数種データが、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
【０１０８】
まず、この生成方法の一例について説明する。（５）式の生成式における係数データである係数種データｗ10〜ｗn9を求める例を示すものとする。
ここで、以下の説明のため、（７）式のように、ｔｉ（ｉ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｖ，ｔ2＝ｈ，ｔ3＝ｖ2，ｔ4＝ｖｈ，ｔ5＝ｈ2，
ｔ6＝ｖ3，ｔ7＝ｖ2ｈ，ｔ8＝ｖｈ2，ｔ9＝ｈ3・・・（７）
この（７）式を用いると、（５）式は、（８）式のように書き換えられる。
【０１０９】
【数６】
0004277446.tif 000007
【０１１０】
最終的に、学習によって未定係数ｗijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（９）式で表される。ここで、ｘikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応する教師画像のｋ番目の画素データを表している。
【０１１１】
【数７】
0004277446.tif 000008
【０１１２】
最小二乗法による解法では、（９）式のｗijによる偏微分が０になるようなｗijを求める。これは、（１０）式で示される。
【０１１３】
【数８】
0004277446.tif 000009
【０１１４】
以下、（１１）式、（１２）式のように、Ｘipjq、Ｙipを定義すると、（１０）式は、行列を用いて（１３）式のように書き換えられる。
【０１１５】
【数９】
0004277446.tif 000010
【０１１６】
【数１０】
0004277446.tif 000011
【０１１７】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗijについて解かれ、係数種データが算出される。
【０１１８】
図２は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。
【０１１９】
図３は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０１２０】
このＳＤ信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、８×２＝１６種類のＳＤ信号ＳＤ1〜ＳＤ16を生成する。図４は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。
【０１２１】
Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１２２】
Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１２３】
図５は、水平方向への４段階の位相シフト状態Ｈ１〜Ｈ４を示している。ここでは、ＳＤ信号の水平方向の画素間隔は８であり、右方向が正の方向とされている。
【０１２４】
Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０，−４の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−２の位相を持つようになる。さらに、Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１，−３の位相を持つようになる。
【０１２５】
図６は、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた３２種類のＳＤ信号に関し、ＳＤ信号の画素を中心にした場合のＨＤ信号の画素の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は、図中の●で示す位相を持つようになる。
【０１２６】
図２に戻って、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた合計３２種類のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。
【０１２７】
図７は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、入力信号としてのＳＤ信号を得るＳＤ信号生成回路１５２Ａと、このＳＤ信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、合計３２種類のＳＤ信号ＳＤ1〜ＳＤ32を得るための位相シフト回路１５２Ｂとを有している。この位相シフト回路１５２Ｂには、垂直方向および水平方向への位相シフト値を指定するパラメータＨ，Ｖが入力される。この位相シフト回路１５２Ｂは、例えばsinｘ／ｘの特性のフィルタで構成されるが、その他の位相シフトが可能な別のフィルタを用いてもよい。他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。
【０１２８】
また、係数種データ生成装置１５０は位相シフト回路１５２Ｂより出力されるＳＤ信号ＳＤ1〜ＳＤ32より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１２９】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御部１５６からのタップ位置情報によって指定される。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。
【０１３０】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。
【０１３１】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１３２】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１３３】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、各クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１３４】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、位相シフト回路１５２ＢへのパラメータＨ，Ｖが順次変更されていって水平および垂直の位相シフト値が段階的に変化した３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていき、これにより正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号ＳＤ1〜ＳＤ32を順次生成して学習データを登録することで、任意位相の画素データを得るための係数種データを求めることが可能となる。
【０１３５】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１３６】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10〜ｗn9を求める係数種データ決定部１６１と、この求められた係数種データｗ10〜ｗn9を記憶する係数種メモリ１６２とを有している。係数種データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ10〜ｗn9が求められる。
【０１３７】
図７に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。また、このＳＤ信号が位相シフト回路１５２Ｂに供給され、このＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされて（図４，図５参照）、３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていく。
【０１３８】
これらＳＤ信号ＳＤ1〜ＳＤ32より、第２のタップ選択回路１５４で、ＨＤ信号に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１３９】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１４０】
また、位相シフト回路１５２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１４１】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１４２】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１４３】
また、位相シフト回路１５２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１４４】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、正規方程式生成部１６０では、各クラス毎に、係数種データｗ10〜ｗn9を生成するための正規方程式（（１３）式参照）が生成される。
【０１４５】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラス毎の係数種データｗ10〜ｗn9が求められ、その係数種データｗ10〜ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１４６】
このように、図７に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10〜ｗn9を生成することができる。
【０１４７】
次に、係数種データの生成方法の他の例について説明する。この例においても、上述した（５）式の生成式における係数データである係数種データｗ10〜ｗn9を求める例を示すものとする。
【０１４８】
図８は、この例の概念を示している。上述した係数種データの生成方法の一例と同様に、パラメータＨ，Ｖによって垂直方向に８段階、水平方向に４段階にシフトさせて３２種類のＳＤ信号を順次生成する。そして、各ＳＤ信号とＨＤ信号との間で学習を行って、（４）式の推定式の係数データＷｉを生成する。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して係数種データを生成する。
【０１４９】
まず、推定式の係数データの求め方を説明する。ここでは、（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（１４）式の観測方程式を考える。この（１４）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１５０】
【数１１】
0004277446.tif 000012
【０１５１】
（１４）式の観測方程式により収集されたデータに最小二乗法を適用する。この（１４）式の観測方程式をもとに、（１５）式の残差方程式を考える。
【０１５２】
【数１２】
0004277446.tif 000013
【０１５３】
（１５）式の残差方程式から、各Ｗiの最確値は、（１６）式のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、（１７）式の条件を考慮すればよいわけである。
【０１５４】
【数１３】
0004277446.tif 000014
【０１５５】
つまり、（１７）式のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、（１５）式の残差方程式から、（１８）式が得られる。さらに、（１８）式と（１４）式とから、（１９）式が得られる。
【０１５６】
【数１４】
0004277446.tif 000015
【０１５７】
そして、（１５）式と（１９）式とから、（２０）式の正規方程式が得られる。
【０１５８】
【数１５】
0004277446.tif 000016
【０１５９】
（２０）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
【０１６０】
次に、各ＳＤ信号に対応して生成された係数データを使用しての係数種データの求め方を説明する。
パラメータＨ，Ｖに対応したＳＤ信号を用いた学習による、あるクラスの係数データが、ｋvhiとなったとする。ここで、ｉは予測タップの番号である。このｋvhiから、このクラスの係数種データを求める。
【０１６１】
各係数データＷｉ（ｉ＝１〜ｎ）は、係数種データｗ10〜ｗn9を使って、上述した（５）式で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、（２１）式で表される。
【０１６２】
【数１６】
0004277446.tif 000017
【０１６３】
ここで、ｔjは、上述の（７）式に示されている。（２１）式に最小二乗法を作用させると、（２２）式が得られる。
【０１６４】
【数１７】
0004277446.tif 000018
【０１６５】
ここで、Ｘjk，Ｙjをそれぞれ（２３）式、（２４）式のように定義すると、（２２）式は（２５）式のように書き換えられる。この（２５）式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ10〜ｗn9を算出することができる。
【０１６６】
【数１８】
0004277446.tif 000019
【０１６７】
図９は、図８に示す概念に基づいて係数種データを生成する係数種データ生成装置１５０′の構成を示している。この図９において、図７と対応する部分には同一符号を付し、その詳細説明は省略する。
【０１６８】
係数種データ生成装置１５０′は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２０）式参照）を生成する正規方程式生成部１７１を有している。
【０１６９】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、位相シフト回路１５２ＢへのパラメータＨ，Ｖが順次変更されていって３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１では、各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１７０】
また、係数種データ生成装置１５０′は、正規方程式生成部１７１で生成された正規方程式のデータが供給され、その正規方程式を解いて、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉを求める係数データ決定部１７２と、この各ＳＤ信号に対応した各クラスの係数データＷｉと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとを用いて、クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（２５）式参照）を生成する正規方程式生成部１７３とを有している。
【０１７１】
また、係数種データ生成装置１５０′は、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータと、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10〜ｗn9を求める係数種データ決定部１７４と、この求められた係数種データｗ10〜ｗn9を記憶する係数種メモリ１６２とを有している。
【０１７２】
図９に示す係数種データ生成装置１５０′のその他は、図７に示す係数種データ生成装置１５０と同様に構成される。
図９に示す係数種データ生成装置１５０′の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。また、このＳＤ信号が位相シフト回路１５２Ｂに供給され、このＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされて（図４，図５参照）、３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていく。
【０１７３】
これらＳＤ信号ＳＤ1〜ＳＤ32より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１７４】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１７５】
また、位相シフト回路１５２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第３のタップ選択回路１５５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１７６】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１７７】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１７８】
また、位相シフト回路１５２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第１のタップ選択回路１５３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１７９】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号のそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２０）式参照）が生成される。
【０１８０】
そして、係数データ決定部１７２でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。正規方程式生成部１７３では、この各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（２５）式参照）が生成される。
【０１８１】
そして、係数種データ決定部１７４でその正規方程式が解かれ、各クラスの係数種データｗ10〜ｗn9が求められ、その係数種データｗ10〜ｗn9はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１８２】
このように、図９に示す係数種データ生成装置１５０′においても、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される各クラスの係数種データｗ10〜ｗn9を生成することができる。
【０１８３】
なお、図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（５）式の生成式を使用したが、例えば、（２６）式、（２７）式などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。
【０１８４】
【数１９】
0004277446.tif 000020
【０１８５】
なお、図１の画像信号処理部１１０における処理を、例えば図１０に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１８６】
まず、図１０に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１８７】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピーディスク３０６をドライブするフロッピーディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１８８】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１８９】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１９０】
また、画像信号処理装置３００は、入力画像信号Ｖinとしての５２５ｉ信号を入力するための入力端子３１４と、出力画像信号Ｖoutを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１９１】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピーディスク３０６で提供するようにしてもよい。
【０１９２】
また、入力画像信号Ｖinとしての５２５ｉ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、出力画像信号Ｖoutを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１９３】
図１１のフローチャートを参照して、図１０に示す画像信号処理装置３００における、入力画像信号Ｖinより出力画像信号Ｖoutを得るため処理手順を説明する。
【０１９４】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、入力画像信号Ｖinをフレーム単位またはフィールド単位で入力する。この入力画像信号Ｖinが入力端子３１４より入力される場合には、この入力画像信号Ｖin を構成する画素データをＲＡＭ３０３に一時的に格納する。また、この入力画像信号Ｖin がハードディスクに記録されている場合には、ハードディスクドライブ３０７でこの入力画像信号Ｖinを読み出し、この入力画像信号Ｖin を構成する画素データをＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力画像信号Ｖinの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１９５】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して選択した変換方法（表示画像の倍率も含む）に対応するｎ／ｍの値を用いて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報ｈ，ｖを発生する。そして、ステップＳＴ６で、単位画素ブロック内の各画素の位相情報ｈ，ｖおよび各クラスの係数種データを使用して、生成式（例えば（５）式）によって、単位画素ブロック内の各画素にそれぞれ対応して、各クラスの推定式（（４）式参照）の係数データＷｉを生成する。
【０１９６】
次に、ステップＳＴ７で、ステップＳＴ２で入力された入力画像信号Ｖinの画素データより、生成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、入力された入力画像信号Ｖinの画素データの全領域において出力画像信号Ｖoutの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドの入力画像信号Ｖinの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ９に進む。
【０１９７】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを生成し、その後にステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０１９８】
このように、図１１に示すフローチャートに沿って処理をすることで、入力された入力画像信号Ｖinの画素データを処理して、出力画像信号Ｖoutの画素データを得ることができる。上述したように、このように処理して得られた出力画像信号Ｖoutは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０１９９】
また、処理装置の図示は省略するが、図７の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２００】
図１２のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＴ２３で、全ての位相シフト値に対して学習が終わったか否かを判定する。全ての位相シフト値に対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０２０１】
このステップＳＴ２４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ２５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０２０２】
このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ画素データより、ステップＳＴ２２で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ画素データより、ステップＳＴ２４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ２８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。
【０２０３】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、正規方程式（（１３）式参照）を生成する。その後に、ステップＳＴ２７に戻る。
【０２０４】
また、ステップＳＴ２３で、全ての位相シフト値に対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ３２で、その係数種データをメモリに保存し、その後にステップＳＴ３３で、処理を終了する。
【０２０５】
このように、図１２に示すフローチャートに沿って処理をすることで、図７に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
【０２０６】
また、処理装置の図示は省略するが、図９の係数種データ生成装置１５０′における処理も、ソフトウェアで実現可能である。
【０２０７】
図１３のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＴ４３で、全ての位相シフト値に対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４４に進む。
【０２０８】
このステップＳＴ４４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４６で、ステップＳＴ４４で入力されたＨＤ画素データより、ステップＳＴ４２で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。
【０２０９】
そして、ステップＳＴ４７で、ステップＳＴ４６で生成されたＳＤ画素データより、ステップＳＴ４４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ４８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ４４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ４９に進む。
【０２１０】
このステップＳＴ４９では、ステップＳＴ４７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ５０で、係数データを得るための正規方程式（（２０）式参照）を生成する。その後に、ステップＳＴ４７に戻る。
【０２１１】
上述したステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したときは、ステップＳＴ５１で、ステップＳＴ５０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ４２に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返し、次の位相シフト値に対応した、各クラスの係数データを求める。
【０２１２】
また、上述のステップＳＴ４３で、全ての位相シフト値に対する係数データの算出処理が終了したときは、ステップＳＴ５２に進む。このステップＳＴ５２では、全ての位相シフト値に対する係数データから、係数種データを求めるための正規方程式（（２５）式参照）を生成する。
【０２１３】
そして、ステップＳＴ５３で、ステップＳＴ５２で生成された正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ５４で、その係数種データをメモリに保存し、その後にステップＳＴ５５で、処理を終了する。
【０２１４】
このように、図１３に示すフローチャートに沿って処理をすることで、図９に示す係数種データ生成装置１５０′と同様の手法によって、各クラスの係数種データを得ることができる。
【０２１５】
なお、上述実施の形態においては、ＨＤ信号を生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２１６】
また、上述実施の形態においては、クラスコードＣＬを検出し、推定予測演算ではこのクラスコードに応じた係数データＷｉを使用するものを示したが、クラスコードＣＬの検出部分を省略したものも考えられる。その場合には、情報メモリバンク１３５に格納される係数種データは１種類のみとなる。
【０２１７】
また、上述実施の形態においては、画像信号処理部１１０より出力される出力画像信号Ｖoutをディスプレイ部１１１に供給して、その出力画像信号Ｖoutによる画像を表示するものを示したが、この出力画像信号Ｖoutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路１２９の部分で、記録に最適なデータ構造となるように処理してもよい。
【０２１８】
また、上述実施の形態においては、入力画像信号Ｖinとしての５２５ｉ信号を、出力画像信号Ｖoutとしての１０８０ｉ信号、ＸＧＡ信号、あるいは倍率の異なる表示画像を得るための５２５ｉ信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２１９】
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０２２０】
【発明の効果】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に、フォーマットまたはサイズの変換情報より第２の情報信号に係る注目点の位相情報を得、この位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求めるものであり、種々のフォーマットまたはサイズへの変換を行う場合に大量の係数データを格納しておくメモリを不要とでき、安価に構成できる。
【０２２１】
また、この発明によれば、係数種データを用いて生成された推定式の係数データの総和を求め、推定式を用いて生成された注目点の情報データをその総和で除算して正規化するものであり、係数種データを用いて生成式で推定式の係数データを求める際の丸め誤差による注目点の情報データのレベル変動を除去できる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】係数種データの生成方法の一例の概念を示す図である。
【図３】５２５ｉ信号（ＳＤ信号）と１０５０ｉ信号（ＨＤ信号）の画素位置関係を示す図である。
【図４】垂直方向への８段階の位相シフトを説明するための図である。
【図５】水平方向への４段階の位相シフトを説明するための図である。
【図６】ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。
【図７】係数種データ生成装置の構成例を示すブロック図である。
【図８】係数種データの生成方法の他の例の概念を示す図である。
【図９】係数種データ生成装置の他の構成例を示すブロック図である。
【図１０】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１１】画像信号の処理手順を示すフローチャートである。
【図１２】係数種データ生成処理（その１）を示すフローチャートである。
【図１３】係数種データ生成処理（その２）を示すフローチャートである。
【図１４】５２５ｉ信号と１０８０ｉ信号の画素位置関係を示す図である。
【図１５】５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示す図である。
【図１６】５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示す図である。
【図１７】５２５ｉ信号とＸＧＡ信号の画素位置関係を示す図である。
【図１８】５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示す図である。
【図１９】５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示す図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・後処理回路、１３０〜１３３・・・レジスタ、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数生成回路、１３８・・・正規化係数メモリ、１３９・・・位相情報発生回路、１５０，１５０′・・・係数種データ生成装置、１５１・・・入力端子、１５２Ａ・・・ＳＤ信号生成回路、１５２Ｂ・・・位相シフト回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５６・・・タップ選択制御回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０，１７１，１７３・・・正規方程式生成部、１６１，１７４・・・係数種データ決定部、１６２・・・係数種メモリ、１７２・・・係数データ決定部、２００・・・リモコン送信機、３００・・・画像信号処理装置、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３０４・・・バス、３０５・・・ハードディスクドライブ、３０７・・・フロッピーディスクドライブ、３０８・・・通信部、３０９，３１２，３１３，３１６，３１７・・・インタフェース、３１０・・・リモコン信号受信回路、３１１・・・ディスプレイ、３１４・・・入力端子、３１５・・・出力端子、４００・・・通信網
【図１】
0004277446.tif 000021
【図２】
0004277446.tif 000022
【図３】
0004277446.tif 000023
【図４】
0004277446.tif 000024
【図５】
0004277446.tif 000025
【図６】
0004277446.tif 000026
【図７】
0004277446.tif 000027
【図８】
0004277446.tif 000028
【図９】
0004277446.tif 000029
【図１０】
0004277446.tif 000030
【図１１】
0004277446.tif 000031
【図１２】
0004277446.tif 000032
【図１３】
0004277446.tif 000033
【図１４】
0004277446.tif 000034
【図１５】
0004277446.tif 000035
【図１６】
0004277446.tif 000036
【図１７】
0004277446.tif 000037
【図１８】
0004277446.tif 000038
【図１９】
0004277446.tif 000039