(57)【要約】【課題】  本発明は、画像情報変換装置において、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止する。【解決手段】  第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理装置において、第２の画像信号中の注目画素について、注目画素の周辺に位置する周辺画素を第１の画像信号から所定数選択する周辺画素選択手段と、選択された複数の画素と所定数の係数との積和演算により注目画素を生成する予測演算手段とを設け、周辺画素選択手段は、注目画素と第１の画像信号との位置関係に応じて異なる周辺画素を選択するようにする。【選択図】        図１
2005151599.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理装置において、
上記第２の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第１の画像信号から所定数選択する周辺画素選択手段と、
上記選択された複数の画素と所定数の係数との積和演算により上記注目画素を生成する予測演算手段と
を具え、
上記周辺画素選択手段は、上記注目画素と上記第１の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理装置。
【請求項２】
上記注目画素について、周辺に位置する第２の周辺画素を上記第１の画像信号から所定数選択する第２の周辺画素選択手段と、
上記第２の周辺画素に基づく上記第１の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記第１の画像信号を上記第２の画像信号に変換するための情報である推定式の係数データが上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ記憶手段と
を更に具え、
上記所定数の係数は、上記注目画素の上記クラスに応じて上記係数データ記憶手段から出力される
ことを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
上記第２の周辺画素選択手段は、上記注目画素と上記第１の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする請求項２に記載の画像情報処理装置。
【請求項４】
上記位置関係は、上記注目画素と上記周辺画素との距離に応じて決まる
ことを特徴とする請求項１に記載の画像情報処理装置。
【請求項５】
上記高画質は、少なくとも高解像度である
ことを特徴とする請求項１に記載の画像情報処理装置。
【請求項６】
上記周辺画素は、上記第１の画像信号の連続するフィールド内の画素から選択される
ことを特徴とする請求項１に記載の画像情報処理装置。
【請求項７】
第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理装置において、
第２の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第１の画像信号から所定数選択する周辺画素選択手段と、
上記周辺画素に基づく上記第１の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記注目画素周辺の上記第１の画像信号の所定数の画素と上記クラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する予測演算手段と
を具え、
上記周辺画素選択手段は、上記注目画素と上記第１の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理装置。
【請求項８】
上記第１の画像信号を上記第２の画像信号に変換するための情報である推定式の係数データが上記クラス毎に記憶され、上記クラス検出手段からの上記クラス検出情報に応じて上記係数データを出力する係数データ記憶手段
を更に具え、
上記所定数の係数は、上記注目画素の上記クラスに応じて上記係数データ記憶手段から出力される
ことを特徴とする請求項７に記載の画像情報処理装置。
【請求項９】
上記位置関係は、上記注目画素と上記周辺画素との距離に応じて決まる
ことを特徴とする請求項７に記載の画像情報処理装置。
【請求項１０】
上記周辺画素は、上記第１の画像信号の連続するフィールド内の画素から選択される
ことを特徴とする請求項７に記載の画像情報処理装置。
【請求項１１】
第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理方法において、
上記第２の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第１の画像信号から所定数選択する第１のステップと、
上記選択された複数の画素と所定数の係数との積和演算により上記注目画素を生成する第２のステップと
を具え、
上記第１のステップでは、上記注目画素と上記第１の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理方法。
【請求項１２】
第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理方法において、
第２の画像信号中の注目画素について、上記注目画素の周辺に位置する周辺画素を上記第１の画像信号から所定数選択する第１のステップと、
上記周辺画素に基づく上記第１の画像信号のレベル分布のパターンを検出し、上記パターンに基づいて上記注目画素が属するクラスを決定してクラス検出情報を出力する第２のステップと、
上記注目画素周辺の上記第１の画像信号の所定数の画素と上記クラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する第３のステップと
を具え、
上記第１のステップでは、上記注目画素と上記第１の画像信号との位置関係に応じて異なる周辺画素を選択する
ことを特徴とする画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像情報処理装置及び画像情報処理方法に関し、特に通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用して好適なものである。
【背景技術】
【０００２】
従来、オーデイオビジユアル指向の高まりから、より高解像度の画像を得ることができるようなテレビジヨン受像器が望まれ、これに応えて、いわゆるハイビジヨン方式のテレビジヨン受像器が開発された。このハイビジヨン方式では走査線数が、いわゆるＮＴＳＣ方式の映像信号で規定される走査線数が 525本なのに対して、２倍以上の1125本となつているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して９：16と広角画面になつている。これにより高解像度で劇場のような臨場感のある画面を得ることができる。
【０００３】
ここでこのような優れた特性を有するハイビジヨン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは上述したようにＮＴＳＣ方式とハイビジヨン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式で表示しようとする場合には、従来画像情報変換装置を用いて映像信号のレートを変換していた。
【０００４】
すなわちこの画像情報変換装置は、図６に示すように、入力端子１００を介して供給されるＮＴＳＣ方式の映像信号の水平方向の補間処理を行う水平補間フイルタ１０１と、水平方向の補間処理の行われた映像信号の垂直方向の補間処理を行う垂直補間フイルタ１０２とから構成されている。実際上水平補間フイルタ１０１は、図７に示すようなデイジタルフイルタで構成されており、ＮＴＳＣ方式の映像信号が入力端子１１０を介して、第１〜第ｍの乗算器１１１〜１１１ｍにそれぞれ供給される。各乗算器１１１はそれぞれ入力される映像信号に係数α０〜αｍを乗算して出力する。
【０００５】
この結果係数α０〜αｍが乗算された映像信号は、それぞれ第１〜第ｍの加算器１１２〜１１２ｍ−１に供給される。各加算器１１２〜１１２ｍ−１の間には、それぞれ時間Ｔの遅延レジスタ１１３〜１１３ｍが設けられている。そして第ｍの乗算器１１１ｍから出力された映像信号は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延され、第ｍ−１の加算器１１２ｍ−１に供給される。第ｍ−１の加算器１１２ｍ−１は、第ｍの遅延レジスタ１１３ｍで時間Ｔだけ遅延された映像信号と、第ｍ−１の乗算器１１１ｍ−１からの映像信号とを加算して出力する。
【０００６】
このように加算された映像信号は、第ｍ−１の遅延レジスタ１１３ｍ−１で再度時間Ｔだけ遅延され、第ｍ−２の加算器１１２ｍ−２（図示せず）において第ｍ−２の乗算器１１２ｍ−２（図示せず）からの映像信号と加算される。水平補間フイルタ１０１は、このようにしてＮＴＳＣ方式の映像信号の水平方向について補間して、出力端子１２０を介して垂直補間フイルタ１０２に供給する。
【０００７】
垂直補間フイルタ１０２は、水平補間フイルタ１０１と同様にデイジタルフイルタで構成されており、水平補間された映像信号に対して、垂直方向の画素の補間を行う。このようにしてＮＴＳＣ方式の映像信号よりハイビジヨン方式の映像信号に応じたレートの映像信号を得るようになされ、この映像信号がハイビジヨン方式の受像器に供給される。これによりＮＴＳＣ方式の映像信号に応じた画像をハイビジヨン方式の受像器で表示し得るようになされている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが上述した画像情報変換装置においては、ＮＴＳＣ方式の映像信号を基にして、単に水平方向及び垂直方向を補間しているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかつた。特に通常の動画を変換対象とした場合、垂直方向の補間をフイールド内処理で行うのが一般的であるが、この場合には、画像のフイールド間相関を使用していないため、画像静止部においてはＮＴＳＣ方式の映像信号よりも解像度が劣化する欠点があつた。
【０００９】
これに対して、画像情報変換装置として、入力信号である画像信号レベルを３次元すなわち時空間分布に応じてクラス分割し、クラス毎に予め学習によつて獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方法を用いたものがある（特願平5-172617号）。
【００１０】
この方法では、ハイビジヨン方式（以下、高解像度を示すＨＤ（high definition ）と呼ぶ）の画素を創造する場合、時間的及び空間的な意味でその周辺に存在する複数のＮＴＳＣ方式（以下、標準解像度を示すＳＤ（standard definition ）と呼ぶ）の画素データをクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフイールド間、フレーム間等の時間方向の相関を利用し、また画像動き部においては、フイールド内相関のみを利用することにより、真値に近いＨＤ画素値を得るものである。
【００１１】
実際上、図８にＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。この図においてＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、創造すべきＨＤ画素ｙの周辺の画像は静止している可能性が高い。そこで画像情報変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙを創造する。一方ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が大きい場合は、創造すべきＨＤ画素ｙの周辺の画像は動いている可能性が高い。そこで画像情報変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいてＨＤ画素ｙを創造する。
【００１２】
この方法によれば、静止／動きの切り替わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り替わりによる不自然さの発生を大幅に減少させることができる。ところがこの方法では、有限個のクラス分割により、動き情報と空間内の波形の２つを表現する必要があり、クラスによつては本来なら分離すべきパターンが１つのクラス内に混在してしまう場合があつた。
【００１３】
例えば、図８において、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さい場合は、上述のようにその周辺の画像は静止している可能性が非常に高いが、わずかな可能性ではあるが実際には画像が動いている場合がある。例えば（ｋ＋１）フイールドにのみ動き物体が侵入している場合、またｋフイールドから（ｋ＋２）フイールドの間で画像中の物体が動いているが、たまたまＳＤ画素ｘ1 とＳＤ画素ｘ2 のデータが近い値をとつた場合などである。
【００１４】
このような場合も、ＳＤ画素ｘ1 とＳＤ画素ｘ2 の差分値が小さいことにより、画像情報変換装置では空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいてＨＤ画素ｙが創造される。従つてこの場合創造されたＨＤ画素と真のＨＤ画素の誤差が大きいものとなり、変換画像に画質の劣化が目立つことになる。この対策として、クラス分割に用いる画素数を増やしてクラス数を増加させることにより、変換画像の画質の劣化を低減することが考えられる。
【００１５】
ところがこのようにすると、クラス数が非常に大きくなり、その分ハードウエア規模が増加して実現が困難になる。また上述した方法では３フイールド分のデータを使用するためにハードウエア規模が大きくなる欠点がある。また必ずしも動きと静止が完全に分離できていない現状では、シーンチエンジの発生した場合に、変換画像の画質がさらに著しく劣化する場合があり、全体として変換画像の画質の点で実用上未だ不十分であつた。
【００１６】
本発明は以上の点を考慮してなされたもので、通常の解像度の画像情報を高解像度の画像情報に変換する際に簡易な構成で変換画像の画質の劣化を未然に防止し得る画像情報変換装置を提案しようとするものである。
【課題を解決するための手段】
【００１７】
かかる課題を解決するため本発明においては、第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理装置において、第２の画像信号中の注目画素について、注目画素の周辺に位置する周辺画素を第１の画像信号から所定数選択する周辺画素選択手段と、選択された複数の画素と所定数の係数との積和演算により注目画素を生成する予測演算手段とを設け、周辺画素選択手段は、注目画素と第１の画像信号との位置関係に応じて異なる周辺画素を選択するようにする。
【００１８】
また本発明においては、第１の画像信号をより高画質な第２の画像信号に変換する画像情報処理装置において、第２の画像信号中の注目画素について、注目画素の周辺に位置する周辺画素を第１の画像信号から所定数選択する周辺画素選択手段と、周辺画素に基づく第１の画像信号のレベル分布のパターンを検出し、パターンに基づいて注目画素が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、注目画素周辺の第１の画像信号の所定数の画素とクラス検出手段に応じて決まる所定数の係数との積和演算により上記注目画素を生成する予測演算手段とを設け、周辺画素選択手段は、注目画素と第１の画像信号との位置関係に応じて異なる周辺画素を選択するようにする。
【発明の効果】
【００１９】
本発明によれば、第２の画像信号中の注目画素について、注目画素と第１の画像信号との位置関係に応じて異なる周辺画素を第１の画像信号から所定数選択し、選択された複数の画素と所定数の係数との積和演算により注目画素を生成することにより、簡易な構成で、変換後の画像の画質の劣化を未然に防止し得る画像情報処理装置を実現できる。
【発明を実施するための最良の形態】
【００２０】
以下図面について、本発明の一実施例を詳述する。
【００２１】
（１）実施例の画像情報変換装置
図１は全体として、本発明による画像情報処理装置としての画像情報変換装置を示し、入力端子１を通じて外部から供給される画像情報として、ＮＴＳＣ方式の映像信号がデイジタル化されＳＤデータとして入力される。この画像情報変換装置におけるＳＤ画素と創造すべきＨＤ画素の位置関係を図２に示す。すなわち創造すべきＨＤ画素には、同一フイールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。この実施例では、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１とし、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２とする。
【００２２】
領域分割化回路２は、入力端子１より供給されたＳＤデータを複数の領域に分割する。この実施例では創造すべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を、１画素×６ラインの計６画素からなる領域に分割する。モード１に関しては、図３に示すように、ＨＤ画素ｙ1 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク１とする。またモード２に関しては、図４に示すように、ＨＤ画素ｙ2 に対するＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたり、この領域をブロツク２とする。なお図２〜図４では、ＳＤ画素を大きい「○」で示し、ＨＤ画素を小さい「○」で示す。
【００２３】
このようにして領域分割化回路２によりブロツク化されたＳＤデータは、ＡＤＲＣ（adaptive dynamic range coding）回路３及び遅延回路（ＤＬ）６に供給される。遅延回路６は、ＡＤＲＣ回路３、クラスコード発生回路４及びリードオンリメモリ（ＲＯＭ）テーブル５の処理に必要な時間だけＳＤデータを遅延させて推定演算回路７に出力する。ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路４に供給する。
【００２４】
ここでＡＤＲＣは、本来ビデオテープレコーダ（ＶＴＲ）向けの高能率符号化用に開発された適応的再量子化法だが、信号レベルの局所的なパターンを短い語長で効率的に表現できるため、この実施例ではＡＤＲＣの手法を用いて信号パターンをクラス分類するためのコードを発生している。ＡＤＲＣ回路３は、領域内のダイナミツクレンジをＤＲ、ビツト割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして、次式
【００２５】
【数１】
2005151599.tif 000003
【００２６】
によつて、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等に分割して再量子化を行う。なお（１）式において、[ ]は切り捨て処理を意味する。この実施例では、領域分離化回路２により分離されたそれぞれの６画素のＳＤデータを各２ビツトに圧縮する。このように圧縮されたＳＤデータを、それぞれｑ1 〜ｑ6 とする。
【００２７】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データに基づいて、次式
【００２８】
【数２】
2005151599.tif 000004
【００２９】
の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル５に供給する。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなつている。
【００３０】
実際上ＲＯＭテーブル５には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いてそのＳＤデータに対応するＨＤデータを算出するための係数データが、各クラス毎に記憶されている。これは線形推定式によりＳＤデータを、この画像情報よりも高い解像度の画像情報である、いわゆるハイビジヨン方式の規格に合致したＨＤデータに変換するための情報である。この実施例において係数データは、モード１とモード２で独立に用意される。なおＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは推定演算回路７に供給される。
【００３１】
推定演算回路７は、遅延回路６を介して領域分割化回路２から供給されるＳＤデータ及びＲＯＭテーブル５から供給される係数データであるｗi(class)に基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。実際上推定演算回路７は、遅延回路６より供給されたＳＤデータとＲＯＭテーブル５より供給された係数データにより、モード１に関してはブロツク１用の係数を用い、モード２に関してはブロツク２用の係数を用いて、係数データであるｗi(class)に基づいて、それぞれ次式
【００３２】
【数３】
2005151599.tif 000005
【００３３】
の演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フイルタ８に供給される。
【００３４】
水平補間フイルタ８は、従来について上述した図６の水平補間フイルタ１０２と同様に構成されており、補間処理により水平方向の画素数を２倍にするものである。水平補間フイルタ８の出力は、出力端子９を介して出力される。この出力端子９を介して出力されるＨＤデータは、例えばＨＤテレビジヨン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００３５】
以上の構成によれば、ＳＤデータに対応するＨＤデータを推定するための係数データを、各クラス毎に予め学習により求めた上でＲＯＭテーブル５に記憶し、入力されるＳＤデータ及びＲＯＭテーブル５から読み出した係数データに基づいて演算を行い、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理した場合に比較して、実際のデータにより近いＨＤデータに変換することができる。
【００３６】
さらに上述の構成によれば、従来について上述した画像情報をクラス分けする方法が、１フレーム間データの差分を用いて動きを表現していたのに対して、１フレーム内の垂直方向に連続する２フイールドの複数の画素のみを領域分割してクラス分類するようにしたことにより、連続する複数の画素を使用して動きを表現することができる。例えば図３におけるＨＤ画素ｙ1 を推定するためのブロツク１のＳＤ画素ｘ1 〜ｘ6 を、２ビツトＡＤＲＣした結果の量子化データｑ1 〜ｑ6 が順に、２、０、２、０、２、０、であつた場合、動き画像である可能性が非常に高いが、このように連続する複数の画素を使用して動きを表現するため、従来よりも高い精度で動きを表現できる。
【００３７】
さらに上述の構成によれば、推定に同一フレームに属するデータ以外の画素を用いないため、合計３フイールドのデータを使用する従来の画像情報変換装置に比較してハードウエア的な負担が軽減され、またシーンチエンジが発生した場合でも変換画像の画質が劣化するおそれを未然に防止し得る。
【００３８】
（２）ＲＯＭテーブルの作成方法
ここでＲＯＭテーブル５に格納される係数データの作成方法について、図５を用いて説明する。この係数データを学習によつて得るためには、まず既に知られているＨＤ画像に対応して、このＨＤ画像の１／４の画素数のＳＤ画像を形成する。実際上、図５に示す理想フイルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素を垂直間引きフイルタ２２によりフイールド内の垂直方向の周波数が１／２になるように間引きし、さらに水平間引きフイルタ２３により、このＨＤデータの水平方向の画素を間引きしてＳＤデータを得る。
【００３９】
この結果得られるＳＤデータは、領域分割化回路２４に供給され、複数の領域に分割される。この領域分割化回路２４は、図１の画像情報変換装置の領域分割化回路２と同じ構成のものであり、ＳＤデータを各６画素からなる領域に分割する。すなわちモード１に対してはブロツク１の領域の領域分割を行い、モード２に関してはブロツク２の領域分割を行う。この領域毎のＳＤデータをＡＤＲＣ回路２５及び正規方程式加算回路２７に供給する。
【００４０】
ＡＤＲＣ回路２５は領域毎に供給されるＳＤデータの１次元的又は２次元的なレベル分布のパターンを検出するとともに、上述のように各領域のすべてのデータ又は一部のデータを、例えば８ビツトのＳＤデータから２ビツトのＳＤデータに圧縮するように演算してパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２６に供給する。ＡＤＲＣ回路２５は、図１のＡＤＲＣ回路３と同じ構成のものである。この領域分割化回路２４により分離された、６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）を、ＡＤＲＣにより各２ビツトに圧縮する。
【００４１】
クラスコード発生回路２６も、図１のクラスコード発生回路４と同じ構成のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データに基づいて（２）式の演算を行うことにより、そのブロツクが属するクラスを検出し、そのクラスclass を示すクラスコードを出力する。クラスコード発生回路２６は、クラスコードを正規方程式加算回路２７に出力する。
【００４２】
ここで正規方程式加算回路２７の説明として、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では説明のために画素をより一般化してｎ画素による予測を行う場合について述べる。ＳＤ画素レベルをそれぞれｘ1 、……ｘn として、それぞれにｐビツトＡＤＲＣを行つた結果の再量子化データをｑ1 、……ｑn とする。このときこの領域のクラスclass を、上述した（２）式で定義する。
【００４３】
上述のようにＳＤ画素レベルをそれぞれｘ1 、……ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ1 、……ｗn によるｎタツプの線形推定式を設定する。これを次式
【００４４】
【数４】
2005151599.tif 000006
【００４５】
に示す。学習前はｗi が未定係数であり、学習はクラス毎に複数の信号データに対して行う。データ数がｍの場合（４）式にしたがつて、次式
【００４６】
【数５】
2005151599.tif 000007
【００４７】
が設定される。なおｍ＞ｎの場合は、ｗ1 、……ｗn は一意に決まらないので、誤差ベクトルｅの要素を次式
【００４８】
【数６】
2005151599.tif 000008
【００４９】
で定義して、次式
【００５０】
【数７】
2005151599.tif 000009
【００５１】
を最小にする係数を求める。いわゆる最小二乗法による解法である。
【００５２】
ここで（７）式のｗi による偏微分係数を求める。それは次式
【００５３】
【数８】
2005151599.tif 000010
【００５４】
を０にするように、各ｗi を求めればよい。以下次式
【００５５】
【数９】
2005151599.tif 000011
【００５６】
及び次式
【００５７】
【数１０】
2005151599.tif 000012
【００５８】
のように、Ｘji及びＹi を定義すると、上述した（８）式は行列を用いて、次式
【００５９】
【数１１】
2005151599.tif 000013
【００６０】
に書き換えられる。
【００６１】
この方程式は一般に正規方程式と呼ばれている。正規方程式加算回路２７は、クラスコード発生回路２６から供給されたクラスコード、領域分割化回路２４より供給されたＳＤデータｘ1 、……ｘn 、入力端子２１より供給されたＳＤデータに対応するＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００６２】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路２７は、予測係数決定回路２８に正規方程式データを出力する。予測係数決定回路２８は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗi について解き予測係数を算出する。予測係数決定回路２８は、算出された予測係数をメモリ２９に書き込む。
【００６３】
以上のようにトレーニングを行つた結果、メモリ２９には、量子化データｑ1、……ｑ6 で規定されるパターン毎に、注目ＨＤデータｙを推定するための、統計的にもつとも真値に近い推定ができる予測係数が格納される。このメモリ２９に格納されたテーブルが、図１について上述した画像情報変換装置において使用されるＲＯＭテーブル５である。以上の処理によつて、線形推定式によりＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００６４】
（３）他の実施例
なお上述の実施例においては、ＡＤＲＣによる圧縮符号化の方法を用いて画像データの情報を圧縮してクラス分類した場合について述べたが、圧縮の方法はこれに限らず、画像データの情報を信号波形のパターンの少ないクラスで表現できるような圧縮符号化であればどのような方法を用いるようにしたも良く、例えば差分量子化（ＤＰＣＭ）、ベクトル量子化（ＶＱ）や離散コサイン変換（ＤＣＴ）等の種々の方法が考えられる。
【００６５】
また上述の実施例においては、説明の簡略化のため、水平方向についての画像情報の変換を水平補間フイルタを用いるようにしたが、これに代え、水平方向の画像情報の変換用のＲＯＭテーブルを用意し、水平方向についても推定式を用いて画像情報を変換するようにしても良い。
【００６６】
また上述の実施例においては、領域分割化回路により、信号波形のパターンを１次元的に分割して表現したが、これに代え、信号波形のパターンを２次元的に分割して表現するようにしても上述の実施例と同様の効果を実現できる。
【００６７】
また上述の実施例においては、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。因に、異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フイールドに属するもののみとすることが望ましい。
【００６８】
また上述の実施例においては、画像情報を変換する際に、ＲＯＭテーブルに記憶されている係数データを用いた場合について述べたが、これに代え、ＲＯＭテーブルにクラス分類に応じた重心法による代表値を記憶することにより、推定演算を施すことなくＨＤデータを補間するようにしても良い。
【００６９】
また上述の実施例においては、本発明をＮＴＳＣ方式の映像信号をハイビジヨン方式の映像信号に変換する場合について述べたが、本発明はこれに限らず、第１の画像情報の解像度を、この第１の画像情報の解像度より高解像度の第２の画像情報に変換する場合に広く適用し得る。
【００７０】
また上述の実施例においては、本発明を画像情報変換装置として単独で機能するものとして説明したが、本発明による画像情報変換装置はこれに限らず、例えばテレビジヨン受像器、ビデオテープレコーダ装置、コンピユータ装置等に内蔵されたり周辺装置として付加されるようにしても良い。
【産業上の利用可能性】
【００７１】
本発明の画像情報処理装置及び画像情報処理方法は、通常の解像度の画像情報を高解像度の画像情報に変換して出力するものに適用することができる。
【図面の簡単な説明】
【００７２】
【図１】本発明による画像情報変換装置の一実施例の構成を示すブロツク図である。
【図２】本発明による画像情報変換の前提としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図３】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図４】クラス分割に使用するデータの説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【図５】ＲＯＭテーブルの作成方法の説明に供するブロツク図である。
【図６】従来の画像情報変換装置のブロツク図である。
【図７】図６の画像情報変換装置の水平補間フイルタの構成を示す接続図である。
【図８】従来の時空間クラス分割による画像情報変換の説明としてＳＤデータとＨＤデータの位置関係を示す略線図である。
【符号の説明】
【００７３】
１、２１、１００、１１０……入力端子、２、２４……領域分割化回路、３、２５……ＡＤＲＣ回路、４、２６……クラスコード発生回路、５……ＲＯＭテーブル、６……遅延回路、７……推定演算回路、８、１０１……水平補間フイルタ、９、１０３、１２０……出力端子、２２……垂直間引きフイルタ、２３……水平間引きフイルタ、２７……正規方程式加算回路、２８……予測係数決定回路、２９……メモリ、１０２……垂直補間フイルタ、１１１……乗算器、１１２……加算器、１１３……遅延レジスタ。
【図１】
2005151599.tif 000014
【図２】
2005151599.tif 000015
【図３】
2005151599.tif 000016
【図４】
2005151599.tif 000017
【図５】
2005151599.tif 000018
【図６】
2005151599.tif 000019
【図７】
2005151599.tif 000020
【図８】
2005151599.tif 000021