(57)【特許請求の範囲】
【請求項１】
入力画像信号中に存在しない画素を生成するようにした画像情報変換装置において、
生成しようとする画素位置の周辺に位置する入力画像信号の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、予め取得されているクラス変換ルールによって、上記Ｎ個のクラスをＭ（Ｍ＜Ｎ）個の変換後クラスに変換するクラス変換部と、
上記変換後クラスと、上記画素位置の周辺に位置する入力画像信号の複数の第２の画素と、上記変換後クラス毎に予め取得されている予測係数とが入力され、上記第２の画素と上記予測係数との線形推定式によって、画素を生成するデータ変換部とからなり、
上記予測係数は、上記線形推定式によって、画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記変換後クラス毎に予め学習によって取得され、
上記クラス変換ルールは、学習用の画像の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、該Ｎ個のクラスのそれぞれの出現頻度を求め、上記出現頻度の多い方から順番に選択されたＭ−１個の上記クラスを互いに異なる上記変換後クラスにそれぞれ割り当て、残りのＮ−（Ｍ−１）個の上記クラスに対して、上記Ｍ−１個の上記クラスに割り当てられたもの以外の一つの上記変換後クラスを割り当てることで作成されたものであることを特徴とする画像情報変換装置。
【請求項２】
入力画像信号中に存在しない画素を生成するようにした画像情報変換方法において、
生成しようとする画素位置の周辺に位置する入力画像信号の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、予め取得されているクラス変換ルールによって、上記Ｎ個のクラスをＭ（Ｍ＜Ｎ）個の変換後クラスに変換するクラス変換のステップと、
上記変換後クラスと、上記画素位置の周辺に位置する入力画像信号の複数の第２の画素と、上記変換後クラス毎に予め取得されている予測係数とが入力され、上記第２の画素と上記予測係数との線形推定式によって、画素を生成するデータ変換のステップとからなり、
上記予測係数は、上記線形推定式によって、画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記変換後クラス毎に予め学習によって取得され、
上記クラス変換ルールは、学習用の画像の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、該Ｎ個のクラスのそれぞれの出現頻度を求め、上記出現頻度の多い方から順番に選択されたＭ−１個の上記クラスを互いに異なる上記変換後クラスにそれぞれ割り当て、残りのＮ−（Ｍ−１）個の上記クラスに対して、上記Ｍ−１個の上記クラスに割り当てられたもの以外の一つの上記変換後クラスを割り当てることで作成されたものであることを特徴とする画像情報変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
入力画像信号を線形補間処理して、垂直方向の画素数（ライン数）を２倍とする画像処理装置が知られている。このような画像処理装置は、例えばインターレス方式をプログレッシブ方式に変換するのに適用できる。この変換は、インターレス方式であることに起因するラインフリッカを軽減するためになされる。例えばグラフィックスの画像では、ラインフリッカが目立つ問題があり、グラフィックス画像を表示する時には、インターレス方式よりもプログレッシブ方式の方が高画質とできる。
【０００３】
従来のこの種の画像情報変換装置は、入力される例えば５２５ｉ信号（走査線５２５本のインターレス方式の信号）を動き判定処理し、動きがない場合には、フレーム間補間を行い、動きがある場合には、フィールド内補間を行うようにしている。フィールド間補間は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。
【０００４】
従来の画像情報変換装置は、入力画像信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるＳＤ信号より高くならない。また、平均値で作成されたラインは、現存ラインと比較して垂直解像度が劣化しているために、現存ラインと補間ラインとの間で、解像度の差が目立つ問題がある。さらに、画像信号にノイズがある場合、上下ラインの平均値を用いた場合には、ランダムノイズを足し合わせることになり、作成ラインでノイズが減少することになる。この結果、ノイズが減少した作成ラインと、そうでない現存ラインとが交互に現れることになり、画質劣化が生じる。さらに、動き検出の結果に基づいて補間方法（静止画処理と動画処理）を切り替える時に、動き検出を誤った時に、画質の劣化が大きい問題があった。
【０００５】
また、空間解像度を高くするのに限らず、時間方向の解像度を高くすることもある。例えばフィールド周波数を元の画像信号の２倍とするフィールド倍速化の処理がフィールドフリッカを減少させるために行われることがある。従来のフィールド倍速化の処理は、フィールドメモリを使用して、同一のフィールドを２回読出すものであった。従って、フリッカを低減できるとしても、時間方向の解像度を高くすることができない。
【０００６】
このような従来の画像情報変換装置の問題点を解決するために、本願出願人は、既にクラス分類適応処理に基づく画像情報変換装置を提案している。以下、先に提案されている画像情報変換装置について説明する。
【０００７】
クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものと異なる。すなわち、クラス分類適応処理は、入力信号である映像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力映像信号のもの以上に高めることが可能である。
【０００８】
図１６は、従来の画像情報変換装置の全体の構成を概略的に示す。図１６において、１００は、学習部であり、２００がデータ変換部である。学習部１００は、生徒データと教師データとを受け取り、データ変換ルールとしての予測係数を算出する。この予測係数と入力データとがデータ変換部２００に入力され、データ変換部２００から変換後の出力データが得られる。例えば垂直方向のライン数を２倍とする画像情報変換を行う時には、教師データが２倍のライン数の画像データであり、生徒データが教師データと同一画像であって、１倍のライン数の画像データである。
【０００９】
図１７は、処理の全体的流れを示す。まず、クラス分類の結果別に学習を行い、データ変換ルールを作成する（ステップＳ１００）。これは、学習部１００によりなされる処理である。次に、クラス分類の結果に対応するデータ変換ルールを用いてデータ変換を行う（ステップＳ２００）。これは、データ変換部２００によりなされる処理である。
【００１０】
図１８は、学習部１００の構成を示す。生徒データがクラス分類回路１０１に供給され、生徒データの複数の画素値（クラスタップ）のレベル分布に対応してクラスが決定される。クラスが学習回路１０２に供給される。学習回路１０２には、生徒データおよび教師データが供給され、予測係数算出回路１０３によって、予測係数が決定される。学習回路１０２および予測係数算出回路１０３は、最小自乗法によって予測係数を求める。この場合、クラス毎に予測係数が算出される。
【００１１】
図１９は、学習部１００の処理の流れを示す。まず、生徒データと教師データとが入力される（ステップＳ１０１）。生徒データをクラス分類する（ステップＳ１０２）。クラス分類の結果別に学習を行う（ステップＳ１０３）。最小自乗法を使用するので、正規化マトリクスに予測タップの画素値と真値とを足し込む。学習が一般性を持つために、充分な量のデータが使用される。生徒データと教師データが終了したかどうかがステップＳ１０４で決定され、終了した場合には、ステップＳ１０５において、学習結果（正規化マトリクスのデータ）からマトリクス解法を用いてクラス分類の結果別に予測係数を算出する。
【００１２】
図２０は、データ変換部２００の構成を示す。入力データがクラス分類回路２０１およびデータ変換回路２０２に供給される。クラス分類回路２０１は、入力データのクラスタップのレベル分布に基づいてクラス分類を行う。クラス分類の結果がデータ変換回路２０２に供給される。データ変換回路２０２は、クラスに対応する予測係数と入力データの複数の画素値（予測タップ）を使用して、出力データの画素値を作成する。すなわち、予測係数と予測タップの線形１次結合によって、出力画素値を作成する。予測係数は、学習により求めたものであり、実際には、メモリに格納される。
【００１３】
図２１は、データ変換部２００の処理の流れを示す。まず、入力データを入力する（ステップＳ２０１）。次に、入力データをクラス分類する（ステップＳ２０２）。そして、予め学習によって求めている、クラス分類の結果に対応する予測係数と、予測タップの線形１次結合によってデータを作成する（ステップＳ２０３）。作成したデータを出力する（ステップＳ２０４）。
【００１４】
【発明が解決しようとする課題】
上述したクラス分類適応処理を使用する画像情報変換装置および方法は、変換精度を向上させるためには、クラス数を増加させることが効果的である。しかしながら、クラス数を増やすと、予測係数の個数が増加する。このことは、データ変換処理時間の増大、予測係数を格納するメモリの容量の増大を招く問題がある。
【００１５】
従って、この発明の目的は、クラス数を増加させずに、精度の高い変換を行うことが可能な画像情報変換装置および方法を提供することにある。
【００１６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号中に存在しない画素を生成するようにした画像情報変換装置において、
生成しようとする画素位置の周辺に位置する入力画像信号の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、予め取得されているクラス変換ルールによって、Ｎ個のクラスをＭ（Ｍ＜Ｎ）個の変換後クラスに変換するクラス変換部と、
変換後クラスと、画素位置の周辺に位置する入力画像信号の複数の第２の画素と、変換後クラス毎に予め取得されている予測係数とが入力され、第２の画素と予測係数との線形推定式によって、画素を生成するデータ変換部とからなり、
予測係数は、線形推定式によって、画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、変換後クラス毎に予め学習によって取得され、
クラス変換ルールは、学習用の画像の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、該Ｎ個のクラスのそれぞれの出現頻度を求め、出現頻度の多い方から順番に選択されたＭ−１個のクラスを互いに異なる変換後クラスにそれぞれ割り当て、残りのＮ−（Ｍ−１）個のクラスに対して、Ｍ−１個のクラスに割り当てられたもの以外の一つの変換後クラスを割り当てることで作成されたものであることを特徴とする画像情報変換装置である。
【００１７】
請求項２の発明は、入力画像信号中に存在しない画素を生成するようにした画像情報変換方法において、
生成しようとする画素位置の周辺に位置する入力画像信号の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、予め取得されているクラス変換ルールによって、Ｎ個のクラスをＭ（Ｍ＜Ｎ）個の変換後クラスに変換するクラス変換のステップと、
変換後クラスと、画素位置の周辺に位置する入力画像信号の複数の第２の画素と、変換後クラス毎に予め取得されている予測係数とが入力され、第２の画素と予測係数との線形推定式によって、画素を生成するデータ変換のステップとからなり、
予測係数は、線形推定式によって、画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、変換後クラス毎に予め学習によって取得され、
クラス変換ルールは、学習用の画像の複数の第１の画素のレベル分布を表すＮ個のクラスを形成し、該Ｎ個のクラスのそれぞれの出現頻度を求め、出現頻度の多い方から順番に選択されたＭ−１個のクラスを互いに異なる変換後クラスにそれぞれ割り当て、残りのＮ−（Ｍ−１）個のクラスに対して、Ｍ−１個のクラスに割り当てられたもの以外の一つの変換後クラスを割り当てることで作成されたものであることを特徴とする画像情報変換方法である。
【００２０】
この発明では、クラス情報を予め作成されたクラス変換ルールに従ってより少ないクラスに変換し、変換後クラスを使用して、学習およびデータ変換の処理を行う。従って、クラス数を少なくしても、クラス分類の精度を向上することができる。
【００２１】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図１は、この発明による画像情報変換装置の全体の構成を概略的に示す。図１において、１０がクラス変換ルール作成部であり、２０が学習部であり、３０がデータ変換部である。図２は、一実施形態の処理の全体的流れを示す。まず、いくつかの入力データからクラス変換ルールを作成する（ステップＳ１０）。これは、クラス変換ルール作成部１０によりなされる処理である。次に、クラス分類を行い、クラス分類の結果をクラス変換ルールに従って変換した結果別に学習を行い、予測係数を算出する（ステップＳ２０）。これは、学習部２０によりなされる処理である。次に、クラス分類の結果をクラス変換ルールに従って変換した結果に対応する予測係数を用いてデータ変換を行う（ステップＳ３０）。これは、データ変換部３０によりなされる処理である。なお、ブロック図で表される構成と、フローチャートで表される処理との両方について説明するのは、ハードウエアおよびソフトウェアの何れによっても実現できることを意味する。以下の説明においても同様である。
【００２２】
図３は、クラス変換ルール作成部１０の構成を示す。生徒データがクラス分類回路１１に供給され、生徒データの複数の画素値（クラスタップ）のレベル分布に対応してクラスが決定される。クラスがクラス変換ルール作成回路１２に供給され、クラス変換ルールが作成される。
【００２３】
図４は、クラス変換ルール作成部１０の処理の流れを示す。最初に入力データを入力する（ステップＳ１１）。次に、この入力データをクラス分類する（ステップＳ１２）。クラス分類の結果を記憶する（ステップＳ１３）。入力データが終了したかどうかがステップＳ１４で調べられる。入力データが終了していないならば、ステップＳ１１に戻り、ステップＳ１２、Ｓ１３、Ｓ１４によってクラス分類処理がなされる。入力データが終了した場合には、クラス分類の結果からクラス変換ルールが作成される（ステップＳ１５）。クラス変換ルールは、入力データのクラス分類の結果を別のクラスへ変換するルールである。クラス変換を行うことによって、精度を低下させることなく、クラス数を減少させることができる。
【００２４】
図５は、学習部２０の構成を示す。生徒データがクラス分類回路２１に供給され、生徒データの複数の画素値（クラスタップ）のレベル分布に対応してクラスが決定される。クラス分類結果がクラス変換回路２２に供給される。クラス変換回路２２において、クラス変換ルールに従ってクラス分類結果がより少ない数のクラス分類結果へ変換される。変換後のクラス分類結果を変換後クラスと称する。クラス変換回路２２によって、例えばクラス分類回路２１の結果が１７ビットであったのが、クラス変換回路２２によって１１ビットへ変換される。
【００２５】
生徒データ、教師データおよび変換後クラスが学習回路２３に供給される。学習回路２３と予測係数算出回路２４によって、予測係数が算出される。学習回路２３および予測係数算出回路２４は、最小自乗法によって予測係数を求める。この場合、変換後のクラス毎に予測係数が決定される。
【００２６】
図６は、学習部２０の処理の流れを示す。まず、生徒データと教師データとが入力される（ステップＳ２１）。生徒データをクラス分類する（ステップＳ２２）。クラス変換ルールを使用してクラスを変換する（ステップＳ２３）。変換後クラス別に学習を行う（ステップＳ２４）。最小自乗法を使用するので、正規化マトリクスに予測タップの画素値と真値とを足し込む。一般性を持つ予測係数を得るために、充分な量のデータが使用されて学習がなされる。生徒データと教師データが終了したかどうかがステップＳ２５で決定される。終了していない場合には、ステップＳ２１に戻り、ステップＳ２２〜Ｓ２５の処理が繰り返される。ステップＳ２５において、生徒データと教師データとが終了した場合には、ステップＳ２６において、学習結果（正規化マトリクスのデータ）からマトリクス解法を用いて変換後クラス別に予測係数を算出する。
【００２７】
図７は、データ変換部３０の構成を示す。入力データがクラス分類回路３１およびデータ変換回路３３に供給される。クラス分類回路３１は、入力データのクラスタップのレベル分布に基づいてクラス分類を行う。クラス分類の結果がクラス変換回路３２に供給される。クラス変換回路３２は、学習で得られたクラス変換ルールに従ってクラスを変換する。クラス分類回路３１およびクラス変換回路３２は、学習部２０におけるクラス分類回路２１およびクラス変換回路２２と同一のものである。すなわち、クラス分類結果がクラス変換ルール（クラス変換テーブル）に従ってクラス分類結果がより少ない数のクラス分類結果へ変換される。
【００２８】
クラス変換回路３２からの変換後クラスがデータ変換回路３３に供給される。データ変換回路３３は、変換後クラスに対応する予測係数と入力データの複数の画素値（予測タップ）の線形１次結合によって、出力画素値を作成する。予測係数は、学習により求めたものであり、実際には、メモリに格納される。
【００２９】
図８は、データ変換部３０の処理の流れを示す。まず、入力データを入力する（ステップＳ３１）。次に、入力データをクラス分類する（ステップＳ３２）。得られたクラス分類結果をクラス変換ルールを使用して変換する（ステップＳ３３）。変換後クラスとそれぞれ対応する予測係数（データ変換ルール）が予め学習によって求められている。この予測係数と、予測タップの線形１次結合によってデータを作成する（ステップＳ３４）。作成したデータを出力する（ステップＳ３５）。
【００３０】
上述したこの発明の一実施形態についてより詳細に説明する。図９は、クラス変換ルール作成部１０のより詳細な構成を示す。入力データがクラスタップ選択回路１１ａに供給される。入力データとしては、学習に使用する生徒データが使用される。但し、この生徒データ以外にクラス変換ルールを作成するためのデータを使用しても良い。さらに、入力データとして、異なる種類の画像を使用し、異なる画像の種類毎に変化ルールを作成しても良い。その場合には、複数のクラス変換テーブルが作成されるので、テーブルを画像の種類によって切り替える切り替え信号がクラス変換回路２２に対して供給される。画像の種類は、アニメーション、自然画、コンピュータグラフィックス、静止画等である。
【００３１】
クラスタップ選択回路１１ａは、例えば図１０において×で示す位置の画素値を作成する時に、その周辺の黒丸で示す入力データの１２個の画素を選択する。図１０には、現フレームとその前後のフレームにそれぞれ含まれ、空間的に同一位置の部分的画像が示されている。各フレームは、偶数フィールドと奇数フィールドとからなる。フィールド周波数が６０Hz、フレーム周波数が３０Hzである。図１０では、ライン位置に対応する線と、クラスタップ（黒丸の画素）と、予測タップ（黒丸の画素および白丸の画素）のみが示されており、タップとして使用されない画素の図示が省略されている。
【００３２】
クラスタップおよび予測タップを複数フィールドにまたがって設定することによって、空間的レベル分布に加えて、時間方向の画像変化（すなわち、動き）の成分をこれらのタップからの画素データが持つことになる。従って、作成される画素の値が動きを反映したものとなる。なお、レベル分布のパターンに対応する空間的クラスを検出する空間クラス検出回路と、動きの量に対応する動きクラスを検出する動きクラス検出回路を分離して設け、空間クラスと動きクラスとを合わせたクラスを形成するしても良い。
【００３３】
クラスタップ選択回路１１ａにより選択されたクラスタップの画素値が１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）回路１１ｂに供給され、例えば８ビットの各画素値がそれぞれ１ビットへ変換される。この処理は、クラス数が膨大となることを防ぐためになされる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００３４】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣを空間クラス分類のコード発生に使用している。１ビットＡＤＲＣは、クラスタップのダイナミックレンジをＤＲ、クラスタップの画素のデータレベルをＬ、再量子化コードをＱ（０または１）として、以下の式（１）（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を２分割して再量子化を行う。
【００３５】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１                        （１）
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝        （２）
ただし、｛  ｝は切り捨て処理を意味する。
【００３６】
１ビットＡＤＲＣ回路１１ｂからは、クラスタップ数に等しいビット数の出力（これをＡＤＲＣクラスと称する）が発生する。ＡＤＲＣクラスがクラス頻度データ作成回路１２ａに供給される。クラス頻度データ作成回路１２ａは、ＡＤＲＣクラス番号毎に、出現した頻度を集計する。クラス頻度データ作成回路１２ａの出力が変換テーブル作成回路１２ｂに供給される。変換テーブル作成回路１２ｂは、頻度の多い順にＡＤＲＣクラスを並び換え、並び換えられたＡＤＲＣクラスに対して改めてクラス番号（これを頻度クラスと称する）を付与する。頻度クラスは、変換後クラスに相当する。変換テーブル作成回路１２ｂによって、ＡＤＲＣクラスと頻度クラスとの対応関係を示す変換テーブル（変換ルール）が作成される。
【００３７】
図１１Ａは、ＡＤＲＣクラスの出現頻度の一例である。一例として、５０フレームの画像が入力データとして使用される。入力データとしては、なるべく多くの種類の画像が含まれるのが好ましい。各フレームの画像に対して、クラスタップが設定される。図１０では、１２画素のクラスタップが設定される例であるが、図１１Ａは、１７画素のクラスタップの例である。すなわち、ＡＤＲＣクラスとしては、２17（＝１３１，０７２）通り存在する。図１１Ａは、横軸がＡＤＲＣクラスを表し、縦軸が頻度を正規化した値（％）を表す。正規化は、入力データの（全フレーム数×画素数（１フレーム当たり））でもって、各ＡＤＲＣクラスの出現頻度を割ることでなされる。
【００３８】
ＡＤＲＣクラスの出現頻度を高い順に並び換えることによって、図１１Ｂに示す頻度クラスが得られる。図１１Ｂの横軸は、頻度クラスである。頻度クラスは、例えば１１ビットであって、２０４８個のクラスを表現できる。頻度の高い順に並べられたＡＤＲＣクラスの中で、最も頻度が高いものから２０４７個のＡＤＲＣクラスに対して順番に０から２０４６の頻度クラスが割り当てられる。２０４８番目以降のＡＤＲＣクラスに対しては、一括して２０４７の頻度クラスが割り当てられる。このようにして、１３１，０７２個のＡＤＲＣクラスが２０４８個の頻度クラスへ変換される。頻度を参照して、クラス数を減少させているので、少ないクラス数でも精度の低下を防止することができる。
【００３９】
図１２は、変換テーブルを示すもので、ＡＤＲＣクラスのＮクラスが頻度クラスのＭ（＜Ｎ）クラスへ変換される様子を表している。クラス変換テーブル作成用のデータが入力された後で、頻度の高いＭ−１個のＡＤＲＣクラスが頻度クラスに１対１で対応付けられ、残りの（Ｎ−（Ｍ−１））個のＡＤＲＣクラスがまとめて１個の頻度クラスに割り当てられる。このようにして、ＮからＭへのクラス変換テーブルが作成される。
【００４０】
図１３は、クラス変換テーブルの具体例を部分的に示す。１７ビットで表現されるＡＤＲＣクラス番号が１１ビットで表現される頻度クラスへ変換される。図１３では、頻度クラス番号＝２０４７がその他のＡＤＲＣクラスを一括して割り当てられるものとされている。このようなクラス変換テーブルは、学習部およびデータ変換部において共通して使用される。
【００４１】
図１４は、学習部２０のより詳細な構成を示す。生徒データがクラスタップ選択回路２１ａに供給される。クラスタップ選択回路２１ａは、前出の図１０において×で示す位置の画素値を作成する時に、その周辺の黒丸で示す生徒データの１２個の画素を選択する。クラスタップ選択回路２１ａにより選択されたクラスタップの画素値が１ビットＡＤＲＣ回路２１ｂに供給され、８ビットの各画素値がそれぞれ１ビットへ変換される。
【００４２】
１ビットＡＤＲＣ回路２１ｂからは、クラスタップ数に等しいビット数のＡＤＲＣクラスが発生する。ＡＤＲＣクラスがクラス変換を行うクラス変換回路２２に供給される。クラス変換回路２２は、予め上述したように作成された変換テーブル（クラス変換ルール）に従ってクラスを変換するものであり、その出力には、変換後クラス（頻度クラス）が発生する。
【００４３】
頻度クラスが正規化マトリクス選択回路２３ａに供給される。正規化マトリクス選択回路２３ａからの正規化マトリクスが正規化マトリクス足し込み回路２３ｂに供給される。正規化マトリクス足し込み回路２３ｂには、予測タップ選択回路２３ｃからの予測タップ（生徒データ）と真値選択回路２３ｄからの真値（教師データ）とが供給される。予測タップは、前出の図１０に示すように、時間的に連続する３フィールドにわたって設定された２０画素である。正規化マトリクス足し込み回路２３ｂの出力が予測係数算出回路２４に供給される。予測係数算出回路２４は、正規化マトリクスを解くことによって、予測係数を算出する回路である。
【００４４】
学習部２０でなされる学習は、変換後クラスである頻度クラス毎に、予測タップと予測係数との線形１次結合で得られる予測値と、真値との誤差の自乗和が最小となる予測係数を求める処理である。ｎ画素による予測を行う場合について、学習処理を以下に説明する。
【００４５】
予測タップとして選択される入力画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、出力画素レベルをｙとしたとき、頻度クラス毎に予測係数ｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００４６】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn             （３）
学習は、頻度クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００４７】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn            （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００４８】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝  （５）
（ｋ＝１，２，‥‥ｍ）
【００４９】
【数１】
0004174891.tif 000002
【００５０】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００５１】
【数２】
0004174891.tif 000003
【００５２】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００５３】
【数３】
0004174891.tif 000004
【００５４】
【数４】
0004174891.tif 000005
【００５５】
【数５】
0004174891.tif 000006
【００５６】
このマトリクスはが正規化マトリクスと呼ばれている。図１４中の正規化マトリクス足し込み回路２３ｂは、頻度クラス毎に、正規化マトリクスの加算を行う。
【００５７】
学習に充分なフレーム数のデータの入力が終了した後、正規化マトリクス足し込み回路２３ｂは、予測係数算出部２４に正規化マトリクスデータを出力する。予測係数算出部２４は、正規化マトリクスを掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数算出部２４は、算出された予測係数を図示しないが、予測係数メモリに書込む。
【００５８】
以上のように学習を行った結果、予測係数メモリには、頻度クラス毎に、注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリに格納された予測係数がデータ変換部３０において使用される。
【００５９】
図１５は、データ変換部３０のより詳細な構成を示す。入力データがクラスタップ選択回路３１ａに供給される。クラスタップ選択回路３１ａは、前出の図１０において×で示す位置の画素値を作成する時に、その周辺の黒丸で示す生徒データの１２個の画素を選択する。クラスタップ選択回路３１ａにより選択されたクラスタップの画素値が１ビットＡＤＲＣ回路３１ｂに供給され、８ビットの各画素値がそれぞれ１ビットへ変換される。
【００６０】
１ビットＡＤＲＣ回路３１ｂからは、クラスタップ数に等しいビット数のＡＤＲＣクラスが発生する。ＡＤＲＣクラスがクラス変換回路３２に供給される。クラス変換回路３２は、予め上述したように作成された変換テーブルに従ってＡＤＲＣクラスを頻度クラスへ変換するものであり、その出力には、変換後クラス（頻度クラス）が発生する。
【００６１】
クラス変換回路３２からの頻度クラスが予測係数選択回路３３ａに供給される。予測係数選択回路３３ａには、学習で得られた予測係数が頻度クラス毎に格納された予測係数メモリが備えられている。予測係数選択回路３３ａで選択された予測係数が積和演算回路３３ｂに供給される。積和演算回路３３ｂには、予測タップ選択回路３３ｃで選択された予測タップが供給され、予測係数と予測タップの線形１次結合によって、出力画素値を作成する。
【００６２】
なお、図示しないが、ライン数を入力データの２倍とするような画像変換を行う場合には、出力データがラインメモリによってライン倍速の処理、すなわち、ライン周波数を２倍とするライン倍速の処理を受ける。この場合に、水平方向に関しても画素数を２倍とする変換処理を同時に行うようにしても良い。さらに、ライン倍速処理がされた出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
【００６３】
また、この発明は、ライン数および／または水平画素数を２倍とする画像情報の変換以外に、フィールド周波数を２倍とするフィールド倍速化された出力画像を得る場合に対しても適用できる。その場合には、積和演算回路３３ｂに対してフィールドメモリが接続され、フィールド周波数が２倍とされる。よりさらに、この発明は、垂直画素数が２倍でフィールド周波数が２倍の出力画像信号を形成する場合に対しても適用できる。
【００６４】
【発明の効果】
この発明は、空間内および／または時間方向の画素数を増加させる処理をクラス分類適応処理で行う時に、予めクラス変換ルールを作成し、クラス変換ルールに従ってクラス情報をより少ない数のクラスへ変換している。従って、データ変換ルール（予測係数）の個数を減らすことができ、学習およびデータ変換の処理時間を短縮することができ、データ変換ルールを記憶するためのメモリの容量を少なくできる。さらに、入力データの傾向に合ったクラス変換ルールを作成するので、クラス数を少なくしても、精度の劣化を防止することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の全体的な構成を示すブロック図である。
【図２】この発明の一実施形態の全体的な処理を示すフローチャートである。
【図３】この発明の一実施形態におけるクラス変換ルール作成部の一例のブロック図である。
【図４】この発明の一実施形態におけるクラス変換ルール作成処理の一例のフローチャートである。
【図５】この発明の一実施形態における学習部の一例のブロック図である。
【図６】この発明の一実施形態における学習処理の一例のフローチャートである。
【図７】この発明の一実施形態におけるデータ変換部の一例のブロック図である。
【図８】この発明の一実施形態におけるデータ変換処理の一例のフローチャートである。
【図９】この発明の一実施形態におけるクラス変換ルール作成部のより詳細な構成を示すブロック図である。
【図１０】この発明の一実施形態におけるクラスタップおよび予測タップの一例を説明するための略線図である。
【図１１】この発明の一実施形態におけるクラス変換ルール作成処理の説明に使用するＡＤＲＣクラスの頻度分布を示す略線図である。
【図１２】この発明の一実施形態におけるクラス変換処理の説明に使用する略線図である。
【図１３】この発明の一実施形態におけるクラス変換テーブルの一例を示す略線図である。
【図１４】この発明の一実施形態における学習部のより詳細な構成を示すブロック図である。
【図１５】この発明の一実施形態におけるデータ変換部のより詳細な構成を示すブロック図である。
【図１６】従来の画像情報変換装置の全体的な構成を示すブロック図である。
【図１７】従来の画像情報変換装置の全体的な処理を示すフローチャートである。
【図１８】従来の画像情報変換装置における学習部の一例のブロック図である。
【図１９】従来の画像情報変換装置における学習処理の一例のフローチャートである。
【図２０】従来の画像情報変換装置におけるデータ変換部の一例のブロック図である。
【図２１】従来の画像情報変換装置におけるデータ変換処理の一例のフローチャートである。
【符号の説明】
１０・・・クラス変換ルール作成部、２０・・・学習部、３０・・・データ変換部、１１・・・クラス分類部、１１ａ・・・クラスタップ選択回路、１１ｂ・・・１ビットＡＤＲＣ回路、１２・・・クラス変換ルール作成部、１２ａ・・・クラス頻度データ作成回路、１２ｂ・・・変換テーブル作成回路
【図１】
0004174891.tif 000007
【図２】
0004174891.tif 000008
【図３】
0004174891.tif 000009
【図４】
0004174891.tif 000010
【図５】
0004174891.tif 000011
【図６】
0004174891.tif 000012
【図７】
0004174891.tif 000013
【図８】
0004174891.tif 000014
【図９】
0004174891.tif 000015
【図１０】
0004174891.tif 000016
【図１１】
0004174891.tif 000017
【図１２】
0004174891.tif 000018
【図１３】
0004174891.tif 000019
【図１４】
0004174891.tif 000020
【図１５】
0004174891.tif 000021
【図１６】
0004174891.tif 000022
【図１７】
0004174891.tif 000023
【図１８】
0004174891.tif 000024
【図１９】
0004174891.tif 000025
【図２０】
0004174891.tif 000026
【図２１】
0004174891.tif 000027