(57)【要約】【課題】画像を、その性質に応じて、より適切に処理することができるようにする。【解決手段】原画像から、所定の注目画素を含むブロックが構成され、第１クラス生成回路１１では、そのブロックを構成する画素を間引いて得られる間引きブロックと、そのブロックを縮小した縮小ブロックとの間の相似性（画像の自己相似性）が算出される。一方、第２クラス生成回路１２では、縮小ブロック（または間引きブロック）を構成する画素のうちの自己相似性が最も高い方向に並んだもののレベルのパターンが検出される。そして、最終クラス決定回路１３では、第１クラス生成回路１１および第２クラス生成回路１２の両方の出力に基づいて、注目画素を含むブロックがクラス分類され、その後、そのクラスに対応する処理が施される。【選択図】図３
2006340397.tif 000002
【特許請求の範囲】
【請求項１】
第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段と、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段と、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段と、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段と、
前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段と、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段により決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記推定画像生成手段は、前記第１の圧縮画像を構成する画素の画素値を、前記第２の圧縮画像を構成する画素を用いて外挿を行うことにより前記推定画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定画像生成手段は、前記第２の圧縮画像を構成する画素の画素値を、前記第１の圧縮画像を構成する画素を用いて内挿を行うことにより前記推定画像を生成する
ことを特徴とする請求項１の画像処理装置。
【請求項４】
第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理方法において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成ステップと、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成ステップと、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成ステップと、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出ステップと、
前記算出ステップの処理で複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定ステップと、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定ステップの処理で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、画像を、その性質に応じて、幾つかのクラスに分類し、各クラスに対応した処理を施す画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換するなどの画像処理を行う方法として、ＳＤ画像を構成するブロックを、その性質に応じて所定のクラスに分類（クラス分類）し、そのクラスに対応した画像処理を施すものがある。
【０００３】
即ち、例えば、いま、図１４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロックを構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１４（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。このようなパターン分けがクラス分類であり、このようにクラスに分けることで、各クラスごとに適した、即ち、画像の性質に適した画像処理を施すことが可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像の性質（特徴）は、画素のレベル分布だけによって表されるものではなく、従って、その他の特徴量を用いて、クラス分類することによって、画像に対して、より適切な処理を施すことが可能になると考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、画像を、その性質に応じて、より適切に処理することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の画像処理装置は、第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段と、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段と、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段と、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段と、前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段と、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段とを備える。
【０００７】
前記推定画像生成手段は、前記第１の圧縮画像を構成する画素の画素値を、前記第２の圧縮画像を構成する画素を用いて外挿を行うことにより前記推定画像を生成することができる。
【０００８】
前記推定画像生成手段は、前記第２の圧縮画像を構成する画素の画素値を、前記第１の圧縮画像を構成する画素を用いて内挿を行うことにより前記推定画像を生成することができる。
【０００９】
本発明の一側面の画像処理方法は、第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理方法において、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成ステップと、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成ステップと、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成ステップと、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出ステップと、前記算出ステップの処理で複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定ステップと、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定ステップの処理で決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理ステップとを含む。
【００１０】
本発明の一側面の画像処理装置および画像処理方法においては、前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像が生成され、前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像が生成され、前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像が生成され、前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差が、前記ブロック画像の前記所定の方向における自己相似性として算出され、複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスが決定され、前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理が行われる。
【発明の効果】
【００１１】
本発明によれば、画像を、その性質に応じて、より適切に処理することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、例えば次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。したがって、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１３】
本発明の一側面の画像処理装置は、
第1の画像の画素値を用いて、前記第1の画像よりも解像度の高い第2の画像の画素値を予測する画像処理装置において、
前記第1の画像から、前記第1の画像の注目画素を中心とした所定の大きさのブロック画像を生成するブロック画像生成手段（例えば、図１のクラス分類用ブロック化回路１）と、
前記ブロック画像から、前記ブロック画像よりも画素数の少ない、前記ブロック画像を縮小した第１の圧縮画像を生成するとともに、前記ブロック画像から、前記ブロック画像内の周辺部分の画素が取り除かれることによって得られた、前記ブロック画像の中心部分の画像である第２の圧縮画像を生成する生成手段（例えば、図１の間引き回路２、縮小回路３）と、
前記第１または第2の圧縮画像のうち、一方の圧縮画像の画素値を用いて、もう一方の圧縮画像の画素値を推定して得られる推定画像を生成する推定画像生成手段（例えば、図１のクラス分類回路４）と、
前記注目画素に対応する前記一方の圧縮画像の画素を通る所定の方向の直線上にある前記一方の圧縮画像の画素値と、前記注目画素に対応する前記推定画像の画素を通る前記所定の方向の直線上にある前記推定画像の画素値との誤差を、前記ブロック画像の前記所定の方向における自己相似性として算出する算出手段（例えば、図１のクラス分類回路４）と、
前記算出手段により複数の所定の方向において算出された、前記複数の所定の方向における自己相似性のうち、最も高い自己相似性を有する方向に並んだ前記圧縮画像の画素の画素値パターンに対応するように、前記ブロック画像の属するクラスを決定するクラス決定手段（例えば、図１のクラス分類回路４）と、
前記第1の画像の画素値から前記第2の画像の画素値を予測するために、前記注目画素近傍にある前記第1の画像の複数画素の画素値パターンに応じたクラスごとに予め学習により求められた予測係数のうち、前記クラス決定手段により決定されたクラスに対応する予測係数と、前記第1の画像の前記注目画素周辺の画素の画素値との線形結合により、前記第2の画像の、空間方向において前記注目画素と同一位置に配置される画素周辺の画素の画素値の予測値を求める処理を行う処理手段（例えば、図１の予測回路６）と
を備えることを特徴とする。
【００１４】
図１は、本発明を適用した画像変換装置の一実施の形態の構成を示している。なお、この画像変換装置は、ＳＤ画像をＨＤ画像に変換するようになされている。即ち、例えば、いま、図２において・印で示す部分を、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）とするとともに、同図において○印で示す部分を、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）とするとき、図１の画像変換装置は、同図に○印で示すＳＤ画像を、同図に・印で示すＨＤ画像に変換するようになされている。
【００１５】
例えば、地上回線や、衛星回線、ＣＡＴＶ（CAble TeleVision）網などの伝送路を介して伝送され、または、例えば、光ディスクや、光磁気ディスク、磁気テープなどの記録媒体から再生されたＳＤ画像の画像信号は、クラス分類用ブロック化回路１および予測値計算用ブロック化回路５に供給される。
【００１６】
クラス分類用ブロック化回路１は、そこに供給されるＳＤ画像から、所定の注目画素を含むクラス分類用ブロックを構成する。即ち、クラス分類用ブロック化回路１は、例えば、図２において実線で囲んで示すような、注目画素を中心とする５×５（横×縦）のＳＤ画素で構成されるクラス分類用ブロックを構成する。
【００１７】
ここで、クラス分類用ブロックを構成する５×５のＳＤ画素（図２において○印で示す部分）を、以下、適宜、次のように表記する。即ち、クラス分類用ブロックの中の左からｉ番目の、上からｊ番目に位置するＳＤ画素を、Ｂijと表記する。従って、図２の実施の形態では、クラス分類用ブロックは、ＳＤ画素Ｂ33を注目画素として構成されることになる。また、クラス分類用ブロックを構成するＳＤ画素から生成されるＨＤ画素（図２において・印で示す部分）を、以下、適宜、ＳＤ画素と同様に、Ａijと表記する。
【００１８】
クラス分類用ブロック化回路１は、クラス分類用ブロックを構成すると、それを、間引き回路２および縮小回路３に出力する。
【００１９】
間引き回路２は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックを構成するＳＤ画素を、例えば、間引くことなどにより、その画素数を少なくし、これにより、間引きブロックを構成する。即ち、間引き回路２は、クラス分類用ブロックを、例えば、水平方向および垂直方向とも１／２に間引くことにより、間引きブロック（圧縮画像）を構成する。この間引きブロックは、クラス分類回路４に供給される。
【００２０】
ここで、間引き回路２による間引き処理の結果残った、クラス分類用ブロック内の画素（図２において、点線の○印で示す部分）、即ち、間引きブロックを構成する画素を、以下、適宜、間引きＳＤ画素といい、また、この間引きＳＤ画素を、ＳＤ画素およびＨＤ画素と同様に、Ｃijと表記する。
【００２１】
一方、縮小回路３では、クラス分類用ブロックを、注目画素を中心として縮小した縮小ブロックが構成される。即ち、縮小回路３では、５×５画素のクラス分類用ブロックから、その周辺の画素が取り除かれ、例えば、注目画素Ｂ33を中心とする３×３画素でなる縮小ブロック（圧縮画像）が構成される。この縮小ブロックも、間引きブロックと同様に、クラス分類回路４に供給される。
【００２２】
ここで、間引きブロックおよび縮小ブロックは、いずれもクラス分類用ブロックの画素数を少なくすることにより生成されるものであり、また、画素数を少なくするということは、情報量が減少するので、この意味で、間引きブロックおよび縮小ブロックは圧縮画像ということができる。
【００２３】
クラス分類回路４は、間引きブロックおよび縮小ブロックを受信すると、その２つのブロックを用いてクラス分類を行い、その結果得られるクラスを表すインデックスを、後述する予測値計算用ブロック化回路５が出力する予測値計算用ブロックのクラスに対するものとして、予測回路６に供給する。
【００２４】
予測回路６には、また、予測値計算用ブロック化回路５から予測値計算用ブロックが供給される。予測値計算用ブロック化回路５では、例えば、図２において点線の四角形で囲むような、注目画素Ｂ33を中心とする３×３画素の予測値計算用ブロックが構成され、予測回路６に供給される。
【００２５】
従って、本実施の形態では、予測値計算用ブロックと縮小ブロックとは、同一のＳＤ画素で構成されることとなるが、両者を構成するＳＤ画素は、同一にする必要はない。即ち、縮小ブロックは、上述したように、クラス分類用ブロックを、注目画素を中心として縮小したものであれば良く、予測値計算用ブロックは、その特徴がクラス分類用ブロックに含まれるように構成すれば良い（正確には、予測値計算用ブロックは、どのように構成しても良く、クラス分類用ブロックは、予測値計算用ブロックの特徴が含まれるように構成する必要がある）。
【００２６】
予測回路６は、予測値計算用ブロックと、そのクラスに対応するインデックスを受信すると、後述するような予測係数であって、受信したインデックスに対応するものと、予測値計算用ブロックを構成するＳＤ画素の画素値との線形結合により、ＨＤ画素の画素値の予測値を求める適応処理を行う。即ち、予測回路６は、インデックスに対応する予測係数と、予測値計算用ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44とから、例えば、注目画素Ｂ33を中心とする３×３の範囲のＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の予測値を求める。
【００２７】
予測回路６では、以下同様の処理が、画素Ｂ33以外のＳＤ画素も、順次、注目画素として行われ、ＨＤ画像を構成するすべてのＨＤ画素の予測値が求められると、その予測値はモニタ７に供給される。モニタ７は、例えば、Ｄ／Ａ変換器を内蔵しており、予測回路６からのディジタル信号としての画素値をＤ／Ａ変換し、そのＤ／Ａ変換の結果得られる画像を表示する。
【００２８】
次に、図３は、図１のクラス分類回路４の構成例を示している。
【００２９】
間引き回路２からの間引きブロックは、第１クラス生成回路１１に供給され、縮小回路３からの縮小ブロック（上述したように、ここでは、図２に点線の四角で囲んだ予測値計算用ブロックと同一）は、第１クラス生成回路１１および第２クラス生成回路１２の両方に供給される。
【００３０】
第１クラス生成回路１１では、縮小ブロックと、間引きブロックとに基づいて、クラス分類用ブロックの自己相似性（縮小ブロックと間引きブロックとの間の相似性）が算出され、その自己相似性に基づいて、予測値計算用ブロックをクラス分類するための第１クラス情報が出力される。
【００３１】
この自己相似性に基づいて得られた第１クラス情報は、第２クラス生成回路１２および最終クラス決定回路１３に供給される。
【００３２】
第２クラス生成回路１２は、第１クラス情報生成回路１１からの第１クラス情報に基づいて、自己相似性が最も高い方向を認識する。さらに、第２クラス生成回路１２は、縮小ブロックを構成する画素のうち、自己相似性が最も高い方向に並んだものの画素値のパターンを検出し、そのパターンに対応する第２クラス情報を、最終クラス決定回路１３に出力する。最終クラス決定回路１３では、第１クラス生成回路１１または第２クラス生成回路１２それぞれからの第１クラス情報または第２クラス情報に基づいて、予測値計算用ブロックがクラス分類され、そのクラスに対応するインデックスが、予測回路６（図１）に出力される。
【００３３】
次に、図４は、図３の第１クラス生成回路１１の構成例を示している。
【００３４】
間引きブロックおよび縮小ブロックは、相似性算出部２１1乃至２１4に供給される。相似性算出部２１1は、画素抽出部２６Ｂおよび２６Ｃ、並びにノルム計算部２７から構成されており、縮小ブロックまたは間引きブロックは、画素抽出部２６Ｂまたは２６Ｃにそれぞれ供給される。
【００３５】
画素抽出部２６Ｂは、縮小ブロックを構成するＳＤ画素（図２）Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44のうちの、注目画素Ｂ33を通る所定の方向の直線上にあるものを抽出する。即ち、画素抽出部２６Ｂは、注目画素Ｂ33を通る、例えば、垂直方向の直線上にあるＳＤ画素Ｂ23，Ｂ33，Ｂ43を抽出する。この抽出されたＳＤ画素Ｂ23，Ｂ33，Ｂ43は、ノルム計算部２７に出力される。
【００３６】
一方、画素抽出部２６Ｃは、間引きブロックを構成する間引きＳＤ画素（図２）Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33のうちの、注目画素Ｂ33に対応する間引きＳＤ画素Ｃ22を通る、画素抽出部２６Ｂにおける場合と同一方向の直線上にあるものを抽出する。従って、この場合、画素抽出部２６Ｂでは、間引きＳＤ画素Ｃ12，Ｃ22，Ｃ32が抽出される。この抽出された間引きＳＤ画素Ｃ12，Ｃ22，Ｃ32は、やはり、ノルム計算部２７に出力される。
【００３７】
ノルム計算部２７は、画素抽出部２６Ｂまたは２６Ｃそれぞれの出力を成分とするベクトルどうしのノルムを計算し、その計算結果を、上述の垂直方向における自己相似性として、最大相似性方向判定部２２に出力する。
【００３８】
相似性算出部２１2乃至２２4においても、相似性算出部２１1における場合と同様にして、注目画素を通る、その他の方向の直線上にある画素を用いてベクトルのノルムが計算され、その方向における自己相似性として、最大相似性方向判定部２２に出力される。即ち、相似性算出部２１2乃至２２4では、例えば、水平方向、左斜め上方向（右斜め下方向）、または右斜め上方向（左斜め下方向）それぞれにおける自己相似性が求められ、最大相似性方向判定部２２に出力される。
【００３９】
最大相似性方向判定部２２は、相似性算出部２１1乃至２１4の出力に基づいて、自己相似性の最も高い方向が判定される。即ち、いまの場合、自己相似性は、ベクトルのノルムで与えられているから、最大相似性方向判定部２２は、その値の最も小さいものを検出し、そのノルムが得られた方向を、自己相似性の最も高い方向として判定する。最大相似性方向判定部２２は、このようにして自己相似性の最も高い方向を得ると、その方向に対応する、例えば、２ビットのコードなどを第１クラス情報として出力する。即ち、最大相似性方向判定部２２は、最も自己相似性の高い方向が、水平方向、垂直方向、左斜め上方向、または右斜め上方向である場合、第１クラス情報として、例えば、「００」、「０１」、「１０」、または「１１」などをそれぞれ出力する。
【００４０】
なお、上述の場合においては、各方向の自己相似性の評価量として、画素値を成分とするベクトルのノルムを用いるようにしたが、その他の値を自己相似性（以下、適宜、単に、相似性ともいう）の評価量として用いることも可能である。
【００４１】
即ち、例えば、縮小ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44から、その縮小ブロック内に存在しない、間引きブロックの間引きＳＤ画素Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ23，Ｃ31，Ｃ32，Ｃ33を外挿により求め、その外挿結果と、真の間引きＳＤ画素Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ23，Ｃ31，Ｃ32，Ｃ33の画素値との誤差を算出する。そして、この誤差を相似性の評価量とし、誤差の最も少ない方向を、最も高い相似性の方向とすることができる。
【００４２】
また、例えば、間引きブロックを構成する間引きＳＤ画素（図２）Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33から、その間引きブロック内に存在しない、縮小ブロックのＳＣ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ34，Ｂ42，Ｂ43，Ｂ44を内挿により求め、その内挿結果と、真のＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ34，Ｂ42，Ｂ43，Ｂ44の画素値との誤差を算出する。そして、この誤差を相似性の評価量とし、誤差の最も少ない方向を、最も高い相似性の方向とすることなどもできる。
【００４３】
次に、図５は、図３の第２クラス生成回路１２の構成例を示している。
【００４４】
縮小回路３からの縮小ブロックおよび第１クラス生成回路１１からの第１クラス情報は、最大相似方向画素抽出部３１に供給される。最大相似方向画素抽出部３１では、第１クラス情報に基づいて、相似性が最大の方向が認識され、縮小ブロックから、注目画素Ｂ33を通る、その方向の直線上に並んでいるＳＤ画素（以下、適宜、最大相似性画素という）（本実施の形態では、縮小ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44の中の、水平方向、垂直方向、左斜め上方向、または右斜め上方向のうちのいずれかの方向に並ぶ３画素）が抽出される。この３つの最大相似性画素は、ＡＤＲＣ処理部３２を介して、パターン分類部３３に供給される。パターン分類部３３では、ＡＤＲＣ処理部３２を介して供給される３つの最大相似性画素の画素値のパターンが検出され、そのパターンに対応する第２クラス情報が出力される。
【００４５】
ここで、通常、各画素には、その画素値を表現するために、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、最大相似性画素は３画素得られる。従って、８ビットでそれぞれ表される３画素を対象に、その画素値のパターン分けを行ったのでは、（２8）3という膨大な数のパターンが生じることになる。従って、クラス数も膨大となり、そのような膨大な数のクラスに対応して処理を行うのでは、処理が繁雑となる。
【００４６】
そこで、本実施の形態においては、ＡＤＲＣ処理部３２において、３つの最大相似性画素に対して、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理が施されるようになされており、これにより、最大相似性画素のビット数を少なくすることで、その画素値のパターンの数を低減するようになされている。
【００４７】
即ち、ＡＤＲＣ処理では、図６（Ａ）に示すように、ある直線上に並んだ３つの最大相似性画素の中から、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、最大相似性画素の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、３つの最大相似性画素それぞれの画素値がＫビットに再量子化される。
【００４８】
具体的には、３つの最大相似性画素の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。即ち、例えば、Ｋ＝２とした場合、図６（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００４９】
なお、画素値を元に復号する場合においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算される。
【００５０】
ここで、以上のようなＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００５１】
ＳＤ画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、パターンの数を低減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理部３２において行われるようになされている。
【００５２】
即ち、最大相似方向画素抽出部３１が出力する３つの最大相似性画素は、ＡＤＲＣ処理部３２の最大値検出部４１、最小値検出部４２、および遅延部４３に供給される。最大値検出部４１または最小値検出部４２では、３つの最大相似性画素から、その画素値の最大値ＭＡＸまたは最小値ＭＩＮがそれぞれ検出され、いずれも演算器４４に供給される。演算器４４では、最大値ＭＡＸと最小値ＭＩＮとの差分、即ち、ダイナミックレンジＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、ＡＤＲＣコード決定部４５に供給される。また、最小値検出部４２が出力する最小値ＭＩＮは、ＡＤＲＣコード決定部４５にも供給される。
【００５３】
一方、遅延部４３では、最大相似性画素が、最大値検出部４１（または最小値検出部４２）と演算器４５における処理に要する時間だけ遅延され、ＡＤＲＣコード決定部４５に供給される。ＡＤＲＣコード決定部４５では、３つの最大相似性画素の画素値それぞれから最小値ＭＩＮが減算され、それぞれの減算値が、ダイナミックレンジＤＲに基づいて、例えば１ビットに再量子化される。そして、その結果得られる３つの最大相似性画素それぞれについての１ビットのＡＤＲＣコード、即ち、合計で３ビットのＡＤＲＣコードが、第２クラス情報として出力される。
【００５４】
次に、図７は、図３の最終クラス決定回路１３の構成例を示すブロック図である。
【００５５】
第１クラス情報および第２クラス情報は、ＲＯＭ５１のアドレス端子ＡＤに供給されるようになされている。ＲＯＭ５１は、例えば、第１クラス情報および第２クラス情報の両方で示されるアドレスに、第１クラス情報を上位ビットとし、第２クラス情報を下位ビットとする値を記憶している。そして、ＲＯＭ５１は、第１クラス情報および第２クラス情報が、そのアドレス端子ＡＤに与えられると、その第１クラス情報および第２クラス情報の両方で示されるアドレスの記憶値を読み出し、その記憶値を、予測値計算用ブロック化回路５のクラスを示すインデックスとして出力する。従って、この場合、２ビットの第１クラス情報の後に３ビットの第２クラス情報を付加した５ビットのデータが、インデックスとして出力される。
【００５６】
以上のように、画素値のレベルのパターンだけでなく、画像の自己相似性にも対応してクラス分類を行うようにしたので、画像を、その性質に応じて、より適切に処理することが可能となる。
【００５７】
なお、インデックスは、上述の５ビットに、処理の単位がフレームか、またはフィールドかを示す１ビットを加え、合計６ビットとすることも可能である。
【００５８】
また、ＲＯＭ５１には、異なるアドレスの幾つかに、同一のインデックスを記憶させておくようにし、これにより、インデックスのビット数を少なくするようにすることが可能である。即ち、２ビットの第１クラス情報および３ビットの第２クラス情報によれば、５ビット、つまり、３２（＝２5）とおりにクラス分けが行われるが、そのような３２のクラスの中には、予測回路６において、同一の予測係数を用いて画素値の予測値を求めても問題ないものがある場合がある。そこで、このように同一の予測係数を用いることが可能な複数のクラスは、１つのクラスとして扱うこととし、このようにすることでクラス数を減らすことができる。
【００５９】
さらに、上述の場合には、図５のパターン分類部３３において、ＡＤＲＣコードに基づいて、パターン分類を行うようにしたが、パターン分類は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００６０】
次に、図８は、図１の予測回路６の構成例を示している。
【００６１】
係数ＲＯＭ（Read Only Memory）６１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４が出力するインデックスを受信し、そのインデックスに対応するアドレスに記憶されている予測係数、即ち、予測値計算用ブロック化回路５が出力する予測値計算用ブロックのクラスに対応する予測係数を読み出して、積和演算器６２に出力する。
【００６２】
積和演算器６２には、予測係数の他、予測値計算用ブロック化回路５から予測値計算用ブロックが供給されるようになされており、積和演算器６２は、その予測値計算用ブロックと、そのクラスに対応する予測係数とを用いて、後述する式（１）（具体的には、例えば、式（８））に示す線形１次式を計算し（積和演算を行い）、これにより、ＨＤ画素の画素値の予測値を算出する適応処理を行う。即ち、例えば、上述の図２に示したように、予測値計算用ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44と予測係数との線形一次結合により、注目画素Ｂ33を中心とする３×３の範囲のＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の予測値が求められる。積和演算器６２において求められたＨＤ画素の予測値は、リミッタ６３に供給され、そこで、モニタ７が内蔵するＤ／Ａ変換器におけるダイナミックレンジを越えないように、その値が制限された後、モニタ７に供給される。
【００６３】
ここで、適応処理について詳述する。
【００６４】
例えば、いま、ＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００６５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【００６６】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
2006340397.tif 000003
で定義すると、次のような観測方程式が成立する。
【００６７】
ＸＷ＝Ｙ’
・・・（２）
【００６８】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、ＨＤ画素の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
2006340397.tif 000004
で定義すると、式（２）から、次のような残差方程式が成立する。
【００６９】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００７０】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
2006340397.tif 000005
を最小にすることで求めることができる。
【００７１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００７２】
【数４】
2006340397.tif 000006
・・・（４）
【００７３】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００７４】
【数５】
2006340397.tif 000007
・・・（５）
【００７５】
式（４）および（５）より、式（６）が得られる。
【００７６】
【数６】
2006340397.tif 000008
・・・（６）
【００７７】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００７８】
【数７】
2006340397.tif 000009
・・・（７）
【００７９】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００８０】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、積和演算器６２において行われるようになされている。
【００８１】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００８２】
以上説明した適応処理は、ＨＤ画素の画素値ｙを教師データとして学習を行うことにより得られる予測係数ｗ1，ｗ2，・・・を用いて行うものであり、このような適応処理（以下、適宜、第１の適応処理という）は、本件出願人が先に提案している。
【００８３】
ところで、第１の適応処理によれば、予測係数ｗ1，ｗ2，・・・を求めるのに際し、即ち、学習に際し、ＨＤ画像が教師データとして必要となる。即ち、例えば、図２において、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44から、ＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の予測値を第１の適応処理により求める場合、そのための予測係数ｗ1，ｗ2，・・・の算出には、ＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の画素値が必要となる。
【００８４】
しかしながら、ＨＤ画像がなくても、予測係数ｗ1，ｗ2，・・・が求められれば便利である。
【００８５】
そこで、画像の自己相似性を利用し、例えば、次のように、ＳＤ画素のみから予測係数ｗ1，ｗ2，・・・を求め、予測回路６では、これを用いて適応処理（このような適応処理を、以下、適宜、第２の適応処理という）を行うようにすることが可能である。
【００８６】
即ち、図２において、予測値計算用ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44と、ＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65との間の位置関係に注目した場合、その位置関係は、間引きＳＤ画素Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33と、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44との間の位置関係と、いわば相似である。
【００８７】
従って、画像の自己相似性から、間引きＳＤ画素Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33を学習データとするとともに、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44を教師データとして学習を行い、これにより、予測係数ｗ1，ｗ2，・・・を求め、その予測係数ｗ1，ｗ2，・・・を、予測値計算用ブロックを構成するＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44から、ＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65の予測値を予測するのに用いることができる。
【００８８】
図９は、第２の適応処理を行うための予測係数を求める学習処理を行う画像処理装置の構成例を示している。
【００８９】
クラス分類用ブロック化回路７１、学習用ブロック化回路７５、および教師用ブロック化回路７６には、ＳＤ画像が供給される。
【００９０】
クラス分類用ブロック化回路７１、間引き回路７２、縮小回路７３、またはクラス分類回路７４では、図１のクラス分類用ブロック化回路１、間引き回路２、縮小回路３、またはクラス分類回路４における場合とそれぞれ同様の処理が行われ、これにより、後述する学習用ブロック化回路７５が出力する学習用ブロックのクラスに対応するインデックスが、学習回路７７に供給される。
【００９１】
一方、学習用ブロック化回路７５は、ＳＤ画像から、上述したように、学習データとするＳＤ画素（間引きＳＤ画素）Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33で構成される、予測値計算用ブロックより大きいブロックを構成し、これを学習用ブロックとして、学習回路７７に出力する。また、同時に、教師用ブロック化回路７６では、ＳＤ画像から、教師データとするＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44で構成されるブロックが構成され、これが教師用ブロックとして、やはり、学習回路７７に出力される。
【００９２】
学習回路７７では、学習用ブロックを構成するＳＤ画素を学習データとするとともに、教師用ブロックを構成するＳＤ画素を教師データとして、例えば、最小自乗法により、誤差を最小とする予測係数が算出される。
【００９３】
即ち、例えば、いま、学習用ブロックを構成するＳＤ画素（間引きＳＤ画素）の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、あるＳＤ画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、
次式を満たす必要がある。
【００９４】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【００９５】
そこで、学習回路７７では、学習用ブロックと教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。
【００９６】
学習回路７７において求められた予測係数は、クラス分類回路７４からのインデックスに対応するクラスの予測係数として出力される。
【００９７】
即ち、本実施の形態においては、学習ブロックを構成するＳＤ画素（間引きＳＤ画素）Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33から、教師用ブロックを構成する９個のＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44を求めるための予測係数を算出する必要がある。
【００９８】
このため、学習回路７７では、クラス分類回路７４が出力するインデックスに対応するクラスＣＬについて、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44それぞれを教師データとするとともに、ＳＤ画素（間引きＳＤ画素）Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33を学習データとして、式（７）に示した正規方程式がたてられる。
【００９９】
さらに、学習回路７７では、クラスＣＬにクラス分類される、他の学習用ブロックについても同様にして、正規方程式がたてられ、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44それぞれの予測値Ｅ［Ｂ22］，Ｅ［Ｂ23］，Ｅ［Ｂ24］，Ｅ［Ｂ32］，Ｅ［Ｂ33］，Ｅ［Ｂ34］，Ｅ［Ｂ42］，Ｅ［Ｂ43］，Ｅ［Ｂ44］を求めるための予測係数ｗ1（Ｂ22）乃至ｗ9（Ｂ22），ｗ1（Ｂ23）乃至ｗ9（Ｂ23），ｗ1（Ｂ24）乃至ｗ9（Ｂ24），ｗ1（Ｂ32）乃至ｗ9（Ｂ32），ｗ1（Ｂ33）乃至ｗ9（Ｂ33），ｗ1（Ｂ34）乃至ｗ9（Ｂ34），ｗ1（Ｂ42）乃至9（Ｂ42），ｗ1（Ｂ43）乃至ｗ9（Ｂ43），ｗ1（Ｂ44）乃至ｗ9（Ｂ44）（本実施の形態では、１つの予測値を求めるのに学習データが９個用いられるので、それに対応して、予測係数ｗも９個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、学習回路７７では、正規方程式が繰り返したてられる）、その正規方程式を解くことで、クラスＣＬについて、ＳＤ画素Ｂ3+m,3+nの予測値Ｅ［Ｂ3+m,3+n］を求めるのに最適な予測係数ｗ1（Ｂ3+m,3+n）乃至ｗ9（Ｂ3+m,3+n）が算出される（但し、ここでは、ｍ＝−１，０，＋１、ｎ＝−１，０，＋１）。
【０１００】
図１の予測回路６を構成する係数ＲＯＭ６１（図８）には、以上のようにして学習回路７７から出力される予測係数を記憶させておくことができ、この場合、積和演算器６２では、式（１）に対応する次式にしたがって、予測値計算用ブロック内におけるＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65それぞれの予測値Ｅ［Ａ43］，Ｅ［Ａ44］，Ｅ［Ａ45］，Ｅ［Ａ53］，Ｅ［Ａ54］，Ｅ［Ａ55］，Ｅ［Ａ63］，Ｅ［Ａ64］，Ｅ［Ａ65］が求められる。
【０１０１】
Ｅ［Ａ43］＝ｗ1（Ｂ22）Ｂ22＋ｗ2（Ｂ22）Ｂ23＋ｗ3（Ｂ22）Ｂ24
＋ｗ4（Ｂ22）Ｂ32＋ｗ5（Ｂ22）Ｂ33＋ｗ6（Ｂ22）Ｂ34
＋ｗ7（Ｂ22）Ｂ42＋ｗ8（Ｂ22）Ｂ43＋ｗ9（Ｂ22）Ｂ44
Ｅ［Ａ44］＝ｗ1（Ｂ23）Ｂ22＋ｗ2（Ｂ23）Ｂ23＋ｗ3（Ｂ23）Ｂ24
＋ｗ4（Ｂ23）Ｂ32＋ｗ5（Ｂ23）Ｂ33＋ｗ6（Ｂ23）Ｂ34
＋ｗ7（Ｂ23）Ｂ42＋ｗ8（Ｂ23）Ｂ43＋ｗ9（Ｂ23）Ｂ44
Ｅ［Ａ45］＝ｗ1（Ｂ24）Ｂ22＋ｗ2（Ｂ24）Ｂ23＋ｗ3（Ｂ24）Ｂ24
＋ｗ4（Ｂ24）Ｂ32＋ｗ5（Ｂ24）Ｂ33＋ｗ6（Ｂ24）Ｂ34
＋ｗ7（Ｂ24）Ｂ42＋ｗ8（Ｂ24）Ｂ43＋ｗ9（Ｂ24）Ｂ44
Ｅ［Ａ53］＝ｗ1（Ｂ32）Ｂ22＋ｗ2（Ｂ32）Ｂ23＋ｗ3（Ｂ32）Ｂ24
＋ｗ4（Ｂ32）Ｂ32＋ｗ5（Ｂ32）Ｂ33＋ｗ6（Ｂ32）Ｂ34
＋ｗ7（Ｂ32）Ｂ42＋ｗ8（Ｂ32）Ｂ43＋ｗ9（Ｂ32）Ｂ44
Ｅ［Ａ54］＝ｗ1（Ｂ33）Ｂ22＋ｗ2（Ｂ33）Ｂ23＋ｗ3（Ｂ33）Ｂ24
＋ｗ4（Ｂ33）Ｂ32＋ｗ5（Ｂ33）Ｂ33＋ｗ6（Ｂ33）Ｂ34
＋ｗ7（Ｂ33）Ｂ42＋ｗ8（Ｂ33）Ｂ43＋ｗ9（Ｂ33）Ｂ44
Ｅ［Ａ55］＝ｗ1（Ｂ34）Ｂ22＋ｗ2（Ｂ34）Ｂ23＋ｗ3（Ｂ34）Ｂ24
＋ｗ4（Ｂ34）Ｂ32＋ｗ5（Ｂ34）Ｂ33＋ｗ6（Ｂ34）Ｂ34
＋ｗ7（Ｂ34）Ｂ42＋ｗ8（Ｂ34）Ｂ43＋ｗ9（Ｂ34）Ｂ44
Ｅ［Ａ63］＝ｗ1（Ｂ42）Ｂ22＋ｗ2（Ｂ42）Ｂ23＋ｗ3（Ｂ42）Ｂ24
＋ｗ4（Ｂ42）Ｂ32＋ｗ5（Ｂ42）Ｂ33＋ｗ6（Ｂ42）Ｂ34
＋ｗ7（Ｂ42）Ｂ42＋ｗ8（Ｂ42）Ｂ43＋ｗ9（Ｂ42）Ｂ44
Ｅ［Ａ64］＝ｗ1（Ｂ43）Ｂ22＋ｗ2（Ｂ43）Ｂ23＋ｗ3（Ｂ43）Ｂ24
＋ｗ4（Ｂ43）Ｂ32＋ｗ5（Ｂ43）Ｂ33＋ｗ6（Ｂ43）Ｂ34
＋ｗ7（Ｂ43）Ｂ42＋ｗ8（Ｂ43）Ｂ43＋ｗ9（Ｂ43）Ｂ44
Ｅ［Ａ65］＝ｗ1（Ｂ44）Ｂ22＋ｗ2（Ｂ44）Ｂ23＋ｗ3（Ｂ44）Ｂ24
＋ｗ4（Ｂ44）Ｂ32＋ｗ5（Ｂ44）Ｂ33＋ｗ6（Ｂ44）Ｂ34
＋ｗ7（Ｂ44）Ｂ42＋ｗ8（Ｂ44）Ｂ43＋ｗ9（Ｂ44）Ｂ44
・・・（８）
【０１０２】
以上のように、ＳＤ画素Ｂ22，Ｂ23，Ｂ24，Ｂ32，Ｂ33，Ｂ34，Ｂ42，Ｂ43，Ｂ44それぞれの予測値を、間引きＳＤ画素Ｃ11，Ｃ12，Ｃ13，Ｃ21，Ｃ22，Ｃ23，Ｃ31，Ｃ32，Ｃ33で構成される所定の学習用ブロック（所定のブロック）から算出することができるように、学習を行うことで予測係数を求め、その予測係数を用いて、学習用ブロックより小さい（注目画素Ｂ33を中心として学習ブロックを、いわば縮小した）予測値計算用ブロック（小ブロック）に対して適応処理を施した場合によれば、画像の自己相似性によって、ＨＤ画素Ａ43，Ａ44，Ａ45，Ａ53，Ａ54，Ａ55，Ａ63，Ａ64，Ａ65についての適正な予測値を得ることができる。
【０１０３】
次に、図１０は、図９の学習回路７７の構成例を示している。
【０１０４】
乗算回路８１には、学習用ブロックを構成する学習データｘ1，ｘ2，・・・，ｘmと、教師用ブロックを構成する教師データｙとが入力されるようになされており、そこでは、式（７）の正規方程式におけるサメーション（Σ）の対象となる学習データｘ1，ｘ2，・・・，ｘmどうしの積、および学習データｘ1，ｘ2，・・・，ｘmそれぞれと教師データｙとの積が求められ、加算回路８２に供給される。
【０１０５】
加算回路８２には、乗算回路８１の出力の他、デコーダ８３の出力も供給されるようになされている。デコーダ８３には、クラス分類回路７４（図９）からインデックスが供給されるようになされており、デコーダ８３は、そのインデックスに基づいて、学習データｘ1，ｘ2，・・・，ｘmのクラス（学習用ブロックのクラス）を認識し、その認識結果を、加算回路８２に出力する。
【０１０６】
加算回路８２は、乗算回路８１の出力を用いて、式（７）の正規方程式におけるサメーションに相当する演算を、デコーダ８３からのクラスごとに独立して行い、その演算結果を、演算回路８４に供給する。演算回路８４では、加算回路８２の出力を用い、掃き出し法による演算が行われ、これにより、予測係数が算出されて出力される。
【０１０７】
次に、図１１は、図１０の乗算回路８１の構成例を示している。
【０１０８】
乗算回路８１は、同図に示すように、乗算器アレイで構成されている（乗算器が所定形状に配列されて構成されている）。即ち、乗算回路８１は、式（７）の正規方程式の左辺における予測係数ｗの係数（サメーションの部分）、およびその右辺における各項に対応する乗算器から構成されている。
【０１０９】
なお、式（７）の正規方程式の左辺における予測係数ｗにかかる係数で構成される行列（以下、適宜、係数行列という）と、その転置行列とは等しいため、図１１の実施の形態では、乗算器は、係数行列の対角成分を含む右上部分の成分と、式（７）の右辺の項に対応する乗算器だけが設けられている。
【０１１０】
以上のように構成される乗算回路８１では、各乗算器において、上述したように、式（７）の正規方程式におけるサメーション（Σ）の対象となる学習データｘ1，ｘ2，・・・，ｘmどうしの積、および学習データｘ1，ｘ2，・・・，ｘmそれぞれと教師データｙとの積が求められ、加算回路８２に供給される。
【０１１１】
次に、図１２は、図１０の加算回路８２の構成例を示している。
【０１１２】
加算回路８２は、図１１の乗算回路８１を構成する乗算器と同様に加算器またはメモリセルがそれぞれ配置された加算器アレイまたはメモリアレイ（レジスタアレイ）から構成されている。なお、加算器アレイは、乗算器アレイと同様に１つだけ設けられているが、メモリアレイは、クラスに対応する数だけ設けられている。
【０１１３】
以上のように構成される加算回路８２では、加算器アレイを構成する各加算器に、乗算器アレイの、対応する乗算器の出力が供給される。さらに、各加算器には、デコーダ８３からのクラスに対応するメモリアレイを構成する、対応するメモリセルの記憶値が供給される。各加算器では、乗算器とメモリセルの出力どうしが加算され、その加算結果が、元のメモリセルに供給される。そして、各メモリセルでは、加算器から供給される加算結果が記憶され、加算回路８２は、以下、同様の処理を繰り返すことで、式（７）の正規方程式におけるサメーションに相当する演算を行う。
【０１１４】
これにより、各メモリアレイには、対応するクラスについての、正規方程式の各項の係数が記憶されることになる。
【０１１５】
そして、図１０の演算回路８４では、メモリアレイの各メモリセルの記憶値を用いて、掃き出し法により、各クラスごとの予測係数が求められる。
【０１１６】
ところで、例えば、ＮＴＳＣ方式などに準拠したＳＤ画像を受信する受信装置などに、図１の画像変換装置を内蔵させ、その予測回路６において第１の適応処理によりＨＤ画素の予測値を求めるようにした場合においては、上述したように、学習に際し、教師データとしてＨＤ画素が必要となるため、受信装置において、予測係数の更新をすることは困難である。
【０１１７】
その一方、第２の適応処理によりＨＤ画素の予測値を求めるようにした場合においては、教師データとしてＨＤ画素は必要でなく、ＳＤ画素（間引きＳＤ画素を含む）だけで学習を行うことができ、従って、受信装置において、予測係数を更新することができる。
【０１１８】
そこで、図１３は、予測係数を更新しながら、ＳＤ画像をＨＤ画像に変換する画像変換装置の一実施の形態の構成を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この画像変換装置は、フレームメモリ９１、学習用ブロック化回路９２、教師用ブロック化回路９３、学習回路９４、および係数ＲＡＭ（例えば、ＳＲＡＭ（Static Read Only Memory）など）９５が新たに設けられているとともに、予測回路６に代えて予測回路９６が設けられている他は、図１の画像変換装置と同様に構成されている。
【０１１９】
フレームメモリ９１には、伝送路を介して伝送され、または、記録媒体から再生されたＳＤ画像が、例えば、フレーム（またはフィールド）単位で記憶される。フレームメモリ９１に記憶されたＳＤ画像は、クラス分類用ブロック化回路１に供給され、以下、図１における場合と同様にして、クラス分類回路４からは、後述する学習用ブロック９２が出力する学習用ブロックのクラスに対応するインデックスが出力される。
【０１２０】
また、フレームメモリ９１に記憶されたＳＤ画像は、同時に、学習用ブロック化回路９２および教師用ブロック化回路９３にも供給される。
【０１２１】
学習用ブロック化回路９２、教師用ブロック化回路９３、または学習回路９４は、図９における学習用ブロック化回路７５、教師用ブロック化回路７６、または学習回路７７と同様に構成されており、また、学習回路９４には、クラス分類回路７４（図９）に対応するクラス分類回路４からインデックスが供給されるようになされている。従って、学習回路９４では、図９で説明したような学習が行われ、その結果得られる予測係数が、係数ＲＡＭ９５に供給される。
【０１２２】
係数ＲＡＭ９５には、学習回路９４から予測係数が供給される他、クラス分類回路４からインデックスが供給されるようになされており、係数ＲＡＭ９５では、そのインデックスに対応するアドレスに、学習回路９４からの予測係数が記憶（上書き）される。
【０１２３】
以上の学習処理が、フレームメモリ９１に記憶されたＳＤ画像を構成する、例えば、すべての画素を注目画素として行われると、予測値計算用ブロック化回路５は、フレームメモリ９１に記憶されたＳＤ画像から予測値計算用ブロックを順次構成し、予測回路９６に出力する。
【０１２４】
また、このとき、フレームメモリ９１に記憶されたＳＤ画像は、クラス分類用ブロック化回路１にも、再び供給され、以下、上述した場合と同様にして、予測値計算用ブロック化回路５が構成する予測値計算用ブロックのクラスに対応するインデックスが、クラス分類回路４から出力される。
【０１２５】
このインデックスは、係数ＲＡＭ９５にアドレスとして与えられ、そのアドレスに記憶された予測係数が、係数ＲＡＭ９５から読み出されて予測回路９６に供給される。
【０１２６】
予測回路９６は、図８に示した予測回路６を構成するブロックのうちの、係数ＲＯＭ６１を除く、積和演算器６２およびリミッタ６３で構成され、そこでは、係数ＲＡＭ９５からの予測係数を用い、式（８）で説明したようにしてＨＤ画素の予測値が求められる。
【０１２７】
以上のように、ＨＤ画像に変換しようとするＳＤ画像から予測係数を求め、その予測係数を用いて、ＳＤ画像をＨＤ画像に変換する場合によれば、より精度の高いＨＤ画像を得ることが可能となる。
【０１２８】
以上、本発明を、ＳＤ画像をＨＤ画像に変換する画像変換装置に適用した場合について説明したが、本発明は、その他、例えば、画像の拡大処理などを行う場合にも適用可能である。
【０１２９】
なお、本実施の形態においては、係数ＲＯＭ６１（図８）には（図１３における係数ＲＡＭ９５についても同様）、各クラスに対応するアドレスに、予測係数を記憶させるようにしたが、係数ＲＯＭ６１には、その他、例えば、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラスについてのインデックスが与えられると、そのクラスに対応する画素値が出力されることになり、予測値計算用ブロック化回路５および予測回路６（または予測回路９６）を設けずに済むようになる。
【０１３０】
さらに、本実施の形態においては、第１クラス情報および第２クラス情報の両方から、最終的なクラスを決定するようにしたが、第１クラス情報または第２クラス情報のうちのいずれか一方から最終的なクラスを決定するようにすることも可能である。
【０１３１】
また、本実施の形態では、間引き回路２において、画素を単純に間引くことにより、間引きブロックを構成するようにしたが、間引きブロックは、その他、例えば、幾つかの画素の平均値などを１の画素に割り当てることなどによって生成するようにすることなども可能である。
【０１３２】
さらに、本実施の形態では、各ブロックの形状を正方形としたが、ブロックの形状は正方形に限定されるものではない。即ち、本明細書中におけるブロックとは、幾つかの画素の集合を意味し、その形状は、正方形の他、例えば、長方形や、十字形、円形その他の任意の形状とすることができる。
【０１３３】
また、本発明は、ハードウェアおよびソフトウェアのいずれによっても実現可能である。
【図面の簡単な説明】
【０１３４】
【図１】本発明を適用した画像変換装置の第１の実施の形態の構成を示すブロック図である。
【図２】図１の画像変換装置の処理を説明するための図である。
【図３】図１のクラス分類回路４の構成例を示すブロック図である。
【図４】図３の第１クラス生成回路１１の構成例を示すブロック図である。
【図５】図３の第２クラス生成回路１２の構成例を示すブロック図である。
【図６】ＡＤＲＣ処理を説明するための図である。
【図７】図３の最終クラス決定回路１３の構成例を示すブロック図である。
【図８】図１の予測回路６の構成例を示すブロック図である。
【図９】予測係数を求める学習処理を行う画像処理装置の構成例を示すブロック図である。
【図１０】図９の学習回路７７の構成例を示すブロック図である。
【図１１】図１０の乗算回路８１の構成例を示すブロック図である。
【図１２】図１０の加算回路８２の構成例を示すブロック図である。
【図１３】本発明を適用した画像変換装置の第２の実施の形態の構成を示すブロック図である。
【図１４】画素値のレベルのパターンにのみ基づいて行うクラス分類を説明するための図である。
【符号の説明】
【０１３５】
１  クラス分類用ブロック化回路，  ２  間引き回路，  ３  縮小回路，  ４  クラス分類回路，  ５  予測値計算用ブロック化回路，  ６  予測回路，  ７  モニタ，  １１  第１クラス生成回路，  １２  第２クラス生成回路，  １３  最終クラス決定回路，  ２１1乃至２１4  相似性算出部，  ２２  最大相似性方向判定部，  ２６Ｂ，２６Ｃ  画素抽出部，  ２７  ノルム計算部，  ３１  最大相似性方向画素抽出部，  ３２  ＡＤＲＣ処理部，  ３３  パターン分類部，  ４１  最大値検出部，  ４２  最小値検出部，  ４３  遅延部，  ４４  演算器，  ４５  ＡＤＲＣコード決定部，  ５１  ＲＯＭ，  ６１  係数ＲＯＭ，  ６２  積和演算器，  ６３  リミッタ，  ７１  クラス分類用ブロック化回路，  ７２  間引き回路，  ７３  縮小回路，  ７４  クラス分類回路，  ７５  学習ブロック化回路，  ７６  教師用ブロック化回路，  ７７  学習回路，  ８１  乗算回路，  ８２  加算回路，  ８３  デコーダ，  ８４  演算回路，  ９１  フレームメモリ，  ９２  学習用ブロック化回路，  ９３  教師用ブロック化回路，  ９４  学習回路，  ９５  係数ＲＡＭ，  ９６  予測回路
【図１】
2006340397.tif 000010
【図２】
2006340397.tif 000011
【図３】
2006340397.tif 000012
【図４】
2006340397.tif 000013
【図５】
2006340397.tif 000014
【図６】
2006340397.tif 000015
【図７】
2006340397.tif 000016
【図８】
2006340397.tif 000017
【図９】
2006340397.tif 000018
【図１０】
2006340397.tif 000019
【図１１】
2006340397.tif 000020
【図１２】
2006340397.tif 000021
【図１３】
2006340397.tif 000022
【図１４】
2006340397.tif 000023