(57)【要約】【課題】外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換する係数を生成する。【解決手段】垂直間引きフィルタ２２、水平間引きフィルタ２３により得られたＳＤデータの画像信号が領域分割化回路２４にて、複数の領域に分割される。ＡＤＲＣ回路２５では、領域毎に供給されるＳＤデータのレベル分布のパターンを検出、圧縮し、パターン圧縮データが形成される。クラスコード発生回路２６は、供給されるパターン圧縮データに基づいて、そのブロックが属するクラスを検出し、クラスコードclassを出力する。正規方程式加算回路２７では、供給されたクラスコードclass、ＳＤデータ、ＳＤデータに対応したＨＤ画素レベルｙを用いて、正規方程式の加算が行われる。予測係数決定回路２８は、正規方程式を掃き出し法等を用いて、ｗiについて解き、予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９へ書き込む。【選択図】図６
2006020347.tif 000002
【特許請求の範囲】
【請求項１】
高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成する間引き手段と、
上記間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された上記係数データを上記決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置。
【請求項２】
上記画像情報分割手段において、上記間引かれた画像情報を第１のモードおよび／または第２のモードのブロックへ分割するモード分割手段と、
上記モード分割手段の上記第２のモードは、同一フィールド内および／または複数のフィールド間のブロックへ分割するフィールド分割手段とを有することを特徴とする請求項１に記載の係数生成装置。
【請求項３】
上記係数データ生成手段は、
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって、上記係数データを生成するようにしたことを特徴とする請求項１に記載の係数生成装置。
【請求項４】
高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成し、
上記間引かれた画像情報を複数のブロックへ分割し、
上記分割されたブロック毎に上記画像情報のレベル分布のパターンが検出され、検出された上記パターンに基づいて、ブロック毎の上記画像情報が属するクラスが決定され、クラス検出情報を出力し、
上記決定されたクラスの上記ブロック毎の画像情報から、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された上記係数データを上記決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法。
【請求項５】
上記間引かれた画像情報を第１のモードおよび／または第２のモードのブロックへ分割し、
上記第２のモードは、同一フィールド内および／または複数のフィールド間のブロックへ分割するようにしたことを特徴とする請求項４に記載の係数生成方法。
【請求項６】
上記係数データは、
上記決定されたクラスの上記ブロック毎の画像情報と、上記ブロック毎の画像情報に対応する上記高い解像度のディジタル画像信号の注目画素とを用いて線形推定式によって生成するようにしたことを特徴とする請求項４に記載の係数生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置用いて好適な係数生成装置および方法に関する。
【背景技術】
【０００２】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテープ受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線が５２５本に対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は、９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることが出来るようになっている。
【０００３】
しかしながら、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョン方式とでは、規格が異なることが原因している。このため、ＮＴＳＣ方式の映像信号に応じたハイビジョン方式で表示しようとする場合、従来は、例えば図８に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図８において、従来の画像情報変換装置は、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フィルタ３２と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フィルタ３３とから構成され、水平方向、および垂直方向の補間処理がなされたＮＴＳＣ方式の信号は、出力端子３４から取り出される。
【０００５】
具体的には、水平補間フィルタ３２は、図９に示すような構成を有しており、入力端子３１を介して供給されるＮＴＳＣ方式の映像信号は、入力端子４１を介して、第１〜第ｍの乗算器４２〜４２mにそれぞれ供給される。各乗算器４２は、それぞれ映像信号に係数を乗算して出力する。係数の乗算された映像信号は、それぞれ第１〜第ｍの加算器４３〜４３m-1へ供給される。各加算器４３〜４３m-1の間には、それぞれ時間Ｔの遅延レジスタ４４1〜４４mが設けられている。そして、第ｍの乗算器４２mから出力された映像信号は、第ｍの遅延レジスタ４４mにより時間Ｔの遅延が施され、第ｍ−１の加算器４３m-1へ供給される。
【０００６】
第ｍ−１の加算器４３m-1は、第ｍの遅延レジスタ４４mからの時間Ｔの遅延が施された映像信号と、第ｍ−１の乗算器４２m-1からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ４４m-1により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器４３m-2において、同じく図示しない第ｍ−２の乗算器４３m-2からの映像信号と加算処理される。水平補間フィルタ３２は、このようにしてＮＴＳＣ方式の映像信号を出力端子４５を介して、垂直補間フィルタ３３へ供給する。
【０００７】
垂直補間フィルタ３３は、上述の水平補間フィルタ３２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間を行う。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン方式受像器に供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式受像器で表示することができる。
【０００８】
しかしながら、上述のように従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間フィールド内処理で行うのが一般的であるが、この場合、画像のフィールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があった。
【０００９】
これに対し、従来のディジタルデータ変換装置および方法では、複数の入力データの分布状態に応じたクラス分けがされ、各クラスに関するデータ変換、すなわちクラス情報を出力データへ変換、またはクラス情報を出力データを形成するためのパラメータに変換するマッピング表が使用される。このマッピング表は、トレーニング用の種々の絵柄の源画像を用いて予め形成されている。したがって、このマッピング表によって、入力画像信号に含まれない高解像度成分を復元することができる。（例えば、特許文献１参照。）
【特許文献１】特開平５−３２８１８５号公報
【００１０】
また、従来の画像信号変換装置では、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する画像信号変換装置というものがある。（例えば、特許文献２参照。）
【特許文献２】特開平７−０７９４１８号公報（特願平５−１７２６１７号）
【００１１】
この手法は、ＨＤ（High Difinition）画素を創造する場合、時間的、空間的な意味でその周辺に存在する複数のＳＤ（Standerd Difinition）画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで画像静止部においてはフィールド間、フレーム間等の時間方向の相関を利用し、また動き部においてはフィールド内相関のみを利用することにより真値に近いＨＤ画素値を得る、というような巧妙なものである。
【００１２】
すなわち、図１０において、ＳＤ画素ｘ1とＳＤ画素ｘ2の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、画像信号変換装置では、空間位置の低いＳＤ画素ｘ1とＳＤ画素ｘ2に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ1とＳＤ画素ｘ2の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に近いＳＤ画素ｘ3とＳＤ画素ｘ4に重きをおいて、ＨＤ画素ｙを創造する。
【００１３】
この手法によれば静止／動きの切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と区間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
【００１５】
例えば、図１０において、ＳＤ画素ｘ1とＳＤ画素ｘ2の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば、（ｋ−１）フィールドにのみ動き物体が侵入している場合、また、ｋフィールドから（ｋ＋２）フィールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1とＳＤ画素ｘ2の差分値が小さいことにより、ＨＤ画素ｙは、画像信号変換装置では、空間位置の近いＳＤ画素ｘ1とＳＤ画素ｘ2に重きをおいて、創造される。したがって、この場合、創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、復元画像の品質の劣化が目立つことになる。
【００１６】
この対応策として、クラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。しかしながら、この手法によるとクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
【００１７】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することができるような画像情報変換装置に用いて好適な係数生成装置および方法の提供を目的とする。
【課題を解決するための手段】
【００１８】
この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成する間引き手段と、
間引かれた画像情報を複数のブロックへ分割する画像情報分割手段と、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力するクラス検出手段と、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成する係数データ生成手段と、
生成された係数データを決定されたクラス毎に記憶するメモリ手段と
を有することを特徴とする係数生成装置である。
【００１９】
また、この発明は、高い解像度のディジタル画像信号を所定の割合で画素を間引き、間引かれた画像情報を生成し、
間引かれた画像情報を複数のブロックへ分割し、
分割されたブロック毎に画像情報のレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎の画像情報が属するクラスが決定され、クラス検出情報を出力し、
決定されたクラスのブロック毎の画像情報から、ブロック毎の画像情報に対応する高い解像度のディジタル画像信号の注目画素を求めるための係数データを生成し、
生成された係数データを決定されたクラス毎にメモリ部に記憶する
ようにしたことを特徴とする係数生成方法である。
【発明の効果】
【００２０】
この発明に依れば、推定されたＨＤ画像をダウンコンバートし、ダウンコンバートされた画像を複数のブロックに分割し、分割されたブロック毎にダウンコンバートされた画像からＨＤ画像の注目画素を求めるための係数データを生成し、生成された係数データをメモリに記憶し、そのメモリに記憶された係数データを使用して通常の解像度の画像情報を高解像度の画像情報へ変換することによって、画質を大幅に向上させることができる。
【発明を実施するための最良の形態】
【００２１】
以下、この発明に係る画像信号変換装置の実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化され、ＳＤデータとして供給される。
【００２２】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示すとおりとする。すなわち、同一フィールド内において、創造するべきＨＤ画素には、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1と、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ2の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と称する。
【００２３】
領域分割化回路２では、入力端子１から供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、モード１用に創造するべきＨＤ画素の例えば上下各２画素ずつのＳＤ画素を、１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック１と呼ぶことにする。ＨＤ画素ｙ１に対するブロック１のＳＤ画素は、図２におけるｘ1、ｘ2、ｘ3、ｘ4となる。
【００２４】
一方、モード２用には２種類の領域分割が行われる。まず、モード１と同様に創造するべきＨＤ画素の例えば上下各２画素ずつのＨＤ画素を１画素×４ラインの計４画素からなる領域に分割する。この領域をブロック２−１のＳＤ画素は、図２におけるｘ1、ｘ2、ｘ3、ｘ4となる。
【００２５】
さらに、モード２に対しては他のフィールドに属するＳＤ画素を含んだ４画素の領域分割がなされる。具体的には、例えば創造するべきＨＤ画素の上下各１画素ずつのＨＤ画素それぞれ１画素がブロック化され、いわゆる、時空間構造を持った領域分割がなされる。この領域をブロック２−２と呼ぶことにする。ＨＤ画素ｙ２に対するブロック２−２のＳＤ画素は、図３におけるｘ1、ｘ2、ｘ3、ｘ4となる。
【００２６】
領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路６へ供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４、ＲＯＭテーブル５の処理に必要な時間だけデータを遅延させて、推定演算回路７へ出力する。
【００２７】
ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮がクラスコード発生回路４へ供給される。
【００２８】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding）は、ＶＴＲ向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２n／ＤＲ｝          （１）
ただし、｛  ｝は切り捨て処理を意味する。
【００３０】
この実施例では、領域分離化回路２により分離されたそれぞれ４画素のＳＤデータを、各２ビットに圧縮するものとする。圧縮されたＳＤデータを、それぞれｑ1〜ｑ4とする。
【００３１】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて以下の式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassがＲＯＭテーブル５へ供給される。このクラスコードclassは、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。
【００３２】
【数１】
2006020347.tif 000003
この実施例では、ｎは４、ｐは２である。
【００３３】
ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶さている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。
【００３４】
この実施例において係数データは、モード１とモード２のそれぞれ独立に用意され、さらにモード２に関しては、ブロック２−１のデータを使用する場合と、ブロック２−２のデータを使用する場合でそれぞれ独立に係数データは、用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclassで示されるアドレスから、そのクラスの係数データであるｗi（class）が読み出される。この係数データは、推定演算回路７へ供給される。
【００３５】
推定演算回路７は、遅延回路６を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル５から供給される係数データであるｗi（class）に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。推定演算回路７については、図４を用いて詳しく説明する。
【００３６】
遅延回路６より供給されたＳＤデータとＲＯＭテーブル５から供給された係数データは、まず初期推定演算回路１１へ供給される。初期推定演算回路１１は、モード１に関しては、ブロック１用の係数を用いて、係数データであるｗi（class）に基づいて、それぞれ以下の式（３）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。また、モード２のＨＤ画素に関しては、２種類のデータが存在することになる。
【００３７】
モード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが、垂直間引きフィルタ１２へ供給される。モード１のＨＤデータは、同時に水平補間フィルタ８にも供給される。ブロック２−２用の係数データを用いて作成されたＨＤデータは、同時にスイッチ回路１４へ供給される。ブロック２−１用の係数データを用いて作成されたモード２のＨＤデータは、スイッチ回路１４へ供給される。
【００３８】
ｈｄ´＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋ｗ4ｘ4      （３）
【００３９】
垂直間引きフィルタ１２は、後に詳しく説明する垂直間引きフィルタ２２と同一のものであり、ＨＤ画像信号の垂直方向の画素数をフィルタリングによりＳＤ画像信号の画素数に間引くものである。垂直間引きフィルタ１２は、初期推定演算回路１１より供給されたＨＤデータをダウンコンバートしてＳＤデータを作成して、比較判定回路１３へ出力する。
【００４０】
比較判定回路１３には、垂直間引きフィルタ１２により生成され、推定されたＨＤデータをダウンコンバートして作成したＳＤデータと、遅延回路６から供給されたＳＤデータが供給される。比較判定回路１３では、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータをダウンコンバートすることによって作成されたＳＤデータとの比較が行われる。
【００４１】
遅延回路６から供給されたオリジナルのＳＤデータは、もともと垂直間引きフィルタ１２と同一のフィルタにより、真のＨＤデータからダウンコンバートされたものである。したがって、初期推定演算回路１１により推定されたＨＤデータが真値と完全に一致するならば、遅延回路６から供給されたオリジナルのＳＤデータと、垂直間引きフィルタ１２から供給され、推定されたＨＤデータとは、一致するはずである。しかしながら、ＳＤデータからＨＤデータを完全に推定することは事実上不可能であるから多少の誤差が発生することが一般的である。
【００４２】
しかしながら、比較判定回路１３で大きな誤差が発生することがあり、この場合、誤差の発生したＳＤデータの近傍のＨＤデータを推定するときに大きな誤差が発生した可能性が高い。
【００４３】
今、モード１の画素の推定は完全フィールド内推定方式によって行われている。したがって、動き等により極端な性能劣化は発生せず、モード１の画素の推定においては大きな誤差が発生する可能性は低い。
【００４４】
これに対してモード２の画素の推定は、時空間のタップ構造を持つ推定方式によって行われている。この構造を持つ推定方式は平均的には高い推定精度を持つが、それほど多くないクラスにおいて、この推定を行った場合、動画シーンを静止と判定ミスすることにより非常に大きな誤差が発生することがある。
【００４５】
よって、比較判定回路１３で大きな誤差が発生した場合、誤差の発生したＳＤデータの近傍のモード２におけるＨＤデータを推定するときに大きな誤差が発生した可能性が高い、と言える。
【００４６】
したがって、推定演算回路７においては、モード２のＨＤデータ出力において、比較判定回路１３の比較において、誤差がない、または小さい場合は、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。また、比較判定回路１３の比較において、誤差が大きい場合はブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。モード１のＨＤデータ出力においては、常にブロック１の画素、および係数データを用いた推定により算出されたＨＤデータを出力する。
【００４７】
具体的には、図５における、ＳＤデータｘ1とｘ2における、オリジナルのＳＤデータと、推定されたＨＤデータをダウンコンバートすることにより作成されたＳＤデータの誤差が共にあるしきい値ＴＨを超える場合、モード２のＨＤデータｙにおける出力データは、ブロック２−１の画素、および係数データを用いた推定により算出されたＨＤデータを用い、上述の条件に当てはまらないときは、ブロック２−２の画素、および係数データを用いた推定により算出されたＨＤデータを用いる。
【００４８】
水平補間フィルタ８は、図８の水平補間フィルタ３３と同一なもので、補間処理により水平方向の画素数を２倍にするものである。水平補間フィルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４９】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータを出力することができる。
【００５０】
しかも、クラス分類を増やすことによって改善しようとすると、クラス数が膨大なものになってしまうが、この発明の手法によれば、モード２の推定により従来の２倍のクラスが必要になるものを、総合的なクラス数としては従来の１．５倍のクラス数という充分実用的なクラス数で大幅な画質改善を得ることができる。
【００５１】
続いて、ＲＯＭテーブル５に格納される係数データの作成方法について、図６を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図６に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。垂直間引きフィルタ２２および水平間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。
【００５２】
領域分割化回路２４では、水平間引きフィルタ２３から供給されたＳＤ画像信号が複数の領域に分割される。具体的には領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各４画素からなる領域に分割される。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２−１とブロック２−２の２種類の領域分割が行われる。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２７へ供給される。
【００５３】
ＡＤＲＣ回路２５は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６へ供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものであり、この実施例では、領域分割化回路２４により分割された、４画素からなる各領域のＳＤデータ（図２、図３におけるｘ1〜ｘ4）を、ＡＤＲＣにより各２ビットに圧縮するものとする。
【００５４】
クラスコード発生回路２６は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclassを出力するものである。クラスコード発生回路２６は、クラスコードclassを正規方程式加算回路２７へ出力する。
【００５５】
ここで、正規方程式加算回路２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。説明のために画素をより一般化してｎ画素による予測を行う場合について以下に説明する。ＳＤ画素レベルをそれぞれｘ1、・・・・、ｘnとして、それぞれにｐビットＡＤＲＣを行った結果、再量子化データをｑ1、・・・・、ｑnとする。このとき、この領域のクラスコードclassを式（２）で定義する。
【００５６】
上述のように、ＳＤ画素レベルをそれぞれ、ｘ1、・・・・、ｘnとし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1、・・・・、ｗnによるｎタップの線形推定式を設定する。これを式（４）に示す。ここで、学習前はｗiが未定係数である。
【００５７】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋ｗ4ｘ4          （４）
【００５８】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）にしたがって、式（５）が設定される。
【００５９】
ｙ＝ｗ1ｘj1＋ｗ2ｘj2＋ｗ3ｘj3＋ｗ4ｘj4          （５）
（ｊ＝１、２、・・・・、ｍ）
【００６０】
ｍ＞ｎの場合、係数データｗ1、・・・・ｗnは一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義し、式（７）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【００６１】
ｅj＝ｙj−｛ｗ1ｘj1＋ｗ2ｘj2＋ｗ3ｘj3＋ｗ4ｘj4｝  （６）
（ｊ＝１、２、・・・・、ｍ）
【００６２】
【数２】
2006020347.tif 000004
【００６３】
ここで、式（７）のｗiによる偏微分係数を求める。それは式（８）を「０」にするように各ｗiを求めればよい。
【００６４】
【数３】
2006020347.tif 000005
【００６５】
以下、式（９）、（１０）のように、Ｘji、Ｙiを定義すると式（８）は、行列を用いて式（１１）へ書き換えられる。
【００６６】
【数４】
2006020347.tif 000006
【００６７】
【数５】
2006020347.tif 000007
【００６８】
【数６】
2006020347.tif 000008
【００６９】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２７では、クラスコード発生回路２６から供給されたクラスコードclass、領域分割化回路２４から供給されたＳＤデータｘ1、・・・・、ｘn、入力端子２１から供給されたＳＤデータに対応したＨＤ画素レベルｙを用いて、この正規方程式の加算が行われる。
【００７０】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗiについて解き、予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９へ書き込む。
【００７１】
以上のようにトレーニングを行った結果、メモリ２９には、量子化データｑ1〜ｑ4で規定されるパターン毎に、注目ＨＤデータｙを推定するための統計的にもっとも真値に近い画素の推定が生成できる予測係数が格納される。このメモリ２９に格納されたテーブルが、この発明の画像信号変換装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００７２】
ここで、図７は、この発明に係る推定演算回路内の比較判定部分の他の実施例を示す。入力端子３１からモード１のＨＤデータ、すなわちブロック１用の係数データを用いて作成されたＨＤデータが供給され、入力端子３２からモード２のＨＤデータのうちブロック２−２用の係数データを用いて作成されたＨＤデータが供給され、入力端子３３からモード２のＨＤデータのうちブロック２−１用の係数データを用いて作成されたＨＤが供給される。
【００７３】
ブロック１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４、および３５へ供給され、間引き処理がなされる。この垂直間引き回路３４、および３５は、上述の垂直間引き回路１２と同じ機能を有する。ブロック２−１用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３４へ供給され、ブロック２−２用の係数データを用いて作成されたＨＤデータは、垂直間引き回路３５へ供給され、それぞれ間引き処理がなされる。
【００７４】
垂直間引き回路３４において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−１の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。同様に垂直間引き回路３５において、間引き処理されたモード１のＨＤデータと、モード２のＨＤデータのうちブロック２−２の係数データを用いて作成されたＨＤデータとが比較回路３６へ供給され、誤差が検出される。検出された誤差は、判定回路３８へ供給される。
【００７５】
判定回路３８では、モード１のＨＤデータに対して、モード２の２種類のＨＤデータの何方の誤差が小さいかが判定され、判定結果に基づいて、スイッチ３９は、制御される。判定回路３８において、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−１の画素、およびブロック２−１の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７６】
また、判定回路３８において、モード１のＨＤデータとブロック２−１の係数データを用いて作成されたＨＤデータとの誤差に比べて、モード１のＨＤデータとブロック２−２の係数データを用いて作成されたＨＤデータとの誤差が小さいと判定された場合、ブロック２−２の画素、およびブロック２−２の係数データを用いて作成されたＨＤデータがスイッチ３９により選択され、出力端子４０から取り出される。
【００７７】
なお、実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例でであり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）等の圧縮手段を用いてもよい。
【００７８】
さらに、実施例の説明では、簡単のため水平方向のアップコンバージョンに水平補間フィルタ９を用いたが、このかわりに、水平方向のアップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いた方式を採ることも勿論可能である。
【００７９】
さらに、実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしてもよい。
【００８０】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【図面の簡単な説明】
【００８１】
【図１】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係、およびクラス分割に使用するデータを説明するための略線図である。
【図３】クラス分割に使用するデータを説明するための略線図である。
【図４】この発明に係る画像情報変換装置の一実施例を示すブロック図である。
【図５】推定演算回路の動作を説明するための略線図である。
【図６】補正データテーブルを作成するときの説明のためのブロック図である。
【図７】この発明に係る画像情報変換装置の他の実施例を示すブロック図である。
【図８】従来の画像情報変換装置の一例を示すブロック図である。
【図９】従来の画像情報変換装置の要部の一例を示すブロック図である。
【図１０】ＳＤデータとＨＤデータの位置関係、および従来の時空間クラス分割方式の問題点を説明するための略線図である。
【符号の説明】
【００８２】
２    領域分割化回路
３    ＡＤＲＣ回路
４    クラスコード発生回路
５    ＲＯＭテーブル
６    遅延回路
７    推定演算回路
８    水平補間フィルタ
【図１】
2006020347.tif 000009
【図２】
2006020347.tif 000010
【図３】
2006020347.tif 000011
【図４】
2006020347.tif 000012
【図５】
2006020347.tif 000013
【図６】
2006020347.tif 000014
【図７】
2006020347.tif 000015
【図８】
2006020347.tif 000016
【図９】
2006020347.tif 000017
【図１０】
2006020347.tif 000018