(57)【要約】【課題】画素数の少ないＳＤ画像から、画素数の多いＨＤ画像を生成するにあたって、画質の良いＨＤ画像を得ることができるようにする。【解決手段】メモリ１０１乃至１０３には、第１階層のＳＤ画像、それより画素数の少ない第２階層のＳＤ画像、さらに画素数の少ない第３階層のＳＤ画像がそれぞれ記憶されている。多階層クラス分類部１０４では、例えば、第１乃至第３階層のＳＤ画像のうちのいずれかがアクティビティに応じて選択され、注目しているＨＤ画像の画素である注目画素が、選択された階層のＳＤ画像を構成する画素であって、その注目画素の付近にあるものの性質に応じて、所定のクラスに分類される。そして、適応処理部１０５において、そのクラスに対応して、注目画素の予測値を求める処理（適応処理）が行われる。【選択図】図１
2006157958.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、
注目している前記第１の画像の画素を注目画素とし、前記第２および第３の画像の中の前記注目画素に対応する部分のアクティビティを検出するアクティビティ検出手段と、
前記第２および第３の画像のうち、所定の閾値を超えるアクティビティを有する画像を選択する選択手段と、
前記注目画素に対応する、選択された画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をクラスとすることにより、前記注目画素を所定のクラスに分類するクラス分類を行うクラス分類手段と、
前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段と
を備え、
前記予測手段は、
前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、
前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段と
を有する
ことを特徴とする画像処理装置。
【請求項２】
前記選択された画像の前記所定領域内の画素の画素値のパターンに対応する値は、前記所定領域内の画素の画素値をＡＤＲＣ処理して得られる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２および第３の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、
注目している前記第１の画像の画素を注目画素とし、前記第２および第３の画像の中の前記注目画素に対応する部分のアクティビティを検出し、
前記第２および第３の画像のうち、所定の閾値を超えるアクティビティを有する画像を選択し、
前記注目画素に対応する、選択された画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をクラスとすることにより、前記注目画素を所定のクラスに分類し、
前記注目画素の予測値を、その注目画素のクラスに対応して予測し、
前記注目画素の予測値を予測する場合、前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める
ことを特徴とする画像処理方法。
【請求項５】
第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、
注目している前記第１の画像の画素を注目画素とし、前記第２乃至第４の画像の中の前記注目画素に対応する部分のアクティビティを検出するアクティビティ検出手段と、
前記第２乃至第４の画像のうち、所定の閾値を超えるアクティビティを有する複数の画像を選択する選択手段と、
前記注目画素に対応する、選択された複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、
前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段と
を備え、
前記予測手段は、
前記第２乃至第４の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、
前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段と
を有する
ことを特徴とする画像処理装置。
【請求項６】
前記選択された複数の画像の前記所定領域内の画素の画素値のパターンに対応する値は、前記所定領域内の画素の画素値をＡＤＲＣ処理して得られる
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２乃至第４の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、
注目している前記第１の画像の画素を注目画素とし、前記第２乃至第４の画像の中の前記注目画素に対応する部分のアクティビティを検出し、
前記第２乃至第４の画像のうち、所定の閾値を超えるアクティビティを有する複数の画像を選択し、
前記注目画素に対応する、選択された複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類し、
前記注目画素の予測値を、その注目画素のクラスに対応して予測し、
前記注目画素の予測値を予測する場合、前記第２乃至第4の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、標準解像度の画像を、高解像度の画像に変換する場合などに用いて好適な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００９】
【数１】
2006157958.tif 000003
で定義すると、次のような観測方程式が成立する。
【００１０】
ＸＷ＝Ｙ’
・・・（２）
【００１１】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１２】
【数２】
2006157958.tif 000004
で定義すると、式（２）から、次のような残差方程式が成立する。
【００１３】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【００１４】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、例えば、自乗誤差
【００１５】
【数３】
2006157958.tif 000005
を最小にすることで求めることができる。
【００１６】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１７】
【数４】
2006157958.tif 000006
・・・（４）
【００１８】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【００１９】
【数５】
2006157958.tif 000007
・・・（５）
【００２０】
式（４）および（５）より、式（６）が得られる。
【００２１】
【数６】
2006157958.tif 000008
・・・（６）
【００２２】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２３】
【数７】
2006157958.tif 000009
・・・（７）
【００２４】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２５】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２６】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像（の解像度）の創造作用がある処理ということができる。
【００２７】
図１２は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２８】
ＳＤ画像は、クラス分類部２０１および適応処理部２０４に供給されるようになされている。クラス分類部２０１は、クラスタップ生成回路２０２およびクラス分類回路２０３で構成され、そこでは、適応処理により予測値を求めようとするＨＤ画素（注目しているＨＤ画素）（以下、適宜、注目画素という）が、その注目画素に対応するＳＤ画像の画素の性質に基づいて、所定のクラスにクラス分類される。
【００２９】
即ち、クラスタップ生成回路２０２では、注目画素のクラス分類を行うのに用いる。その注目画素に対応するＳＤ画素（以下、適宜、クラスタップという）として、例えば、注目画素に対して所定の位置関係にある複数のＳＤ画素が、クラス分類部２０１に供給されるＳＤ画像から抽出され、クラス分類回路２０３に供給される。クラス分類回路２０３では、クラスタップ生成回路２０２からのクラスタップを構成するＳＤ画素の画素値のパターン（画素値の分布）が検出され、そのパターンにあらかじめ割り当てられた値が、注目画素のクラスとして、適応処理部２０４に供給される。
【００３０】
具体的には、例えば、いま、ＨＤ画像が、図１３において、×印で示す画素（ＨＤ画素）で構成され、ＳＤ画像が、同図において、○印で示す画素（ＳＤ画素）で構成されるとする。なお、図１３では、ＳＤ画像が、ＨＤ画像の横または縦の画素数をそれぞれ１／２にして構成されている。ここで、図１３においては（後述する図１４乃至図１６においても同様）、左からｉ＋１番目で、上からｊ＋１番目のＳＤ画素（図中、○印で示す部分）をＸi,jと表し、同様に、左からｉ’＋１番目で、上からｊ’＋１番目のＨＤ画素（図中、×印で示す部分）をＹi',j'と表してある。この場合、ＳＤ画素Ｘi,jの位置と、ＨＤ画素Ｙ2i,2jの位置とは一致する。
【００３１】
いま、あるＳＤ画素としての、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4を注目画素とすると、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＨＤ画素Ｙ4,4の位置と一致するＳＤ画素Ｘ2,2を中心とする３×３（横×縦）のＳＤ画素Ｘ1,1，Ｘ2,1，Ｘ3,1，Ｘ1,2，Ｘ2,2，Ｘ3,2，Ｘ1,3，Ｘ2,3，Ｘ3,3（図１３において点線で囲んである範囲のＳＤ画素）が抽出され、それが、注目画素（ＨＤ画素）Ｙ4,4のクラスタップとされる。
【００３２】
また、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の右隣のＨＤ画素Ｙ5,4が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ5,4に対応するＳＤ画素として、例えば、図１４において点線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ1,2に代えて、ＳＤ画素Ｘ4,2を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ5,4のクラスタップとされる。
【００３３】
さらに、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の下に隣接するＨＤ画素Ｙ4,5が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ4,5に対応するＳＤ画素として、例えば、図１５において点線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ2,1に代えて、ＳＤ画素Ｘ2,4を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ4,5のクラスタップとされる。
【００３４】
また、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の右斜め下に隣接するＨＤ画素Ｙ5,5が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ5,5に対応するＳＤ画素として、例えば、図１６において点線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ1,1に代えて、ＳＤ画素Ｘ4,4を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ5,5のクラスタップとされる。
【００３５】
そして、クラス分類回路２０３では、クラスタップ生成回路２０２で構成されたクラスタップとしての９個のＳＤ画素（画素値）のパターンが検出され、そのパターンに対応する値が、注目画素のクラスとして出力される。
【００３６】
このクラスは、適応処理部２０４における係数ＲＯＭ（Read Only Memory）２０７のアドレス端子（ＡＤ）に供給される。
【００３７】
ここで、画像を構成する画素には、一般的に、８ビットなどが割り当てられる。いま、ＳＤ画素に８ビットが割り当てられているとすると、例えば、図１３に示した３×３画素の正方形状のクラスタップだけを考えても、画素値のパターン数は、（２8）9通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００３８】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【００３９】
即ち、ＡＤＲＣ処理では、まず、クラスタップを構成する９個のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【００４０】
その結果、クラスタップを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、９個のＳＤ画素の画素値のパターン数は、（２1）9通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【００４１】
一方、適応処理部２０４は、予測タップ生成回路２０５、予測演算回路２０６、および係数ＲＯＭ２０７で構成され、そこでは、適応処理が行われる。
【００４２】
即ち、予測タップ生成回路２０５では、適応処理部２０４に供給されるＳＤ画像から、予測演算回路２０６において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０６に供給される。
【００４３】
具体的には、例えば、ＨＤ画素Ｙ4,4が注目画素とされ、図１３で説明したようなクラスタップが構成される場合、予測タップ生成回路２０５では、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＳＤ画素として、同図に実線で囲んで示す範囲の、注目画素Ｙ4,4の位置に一致するＳＤ画素Ｘ2,2を中心とする５×５のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）Ｙ4,4の予測タップとされる。
【００４４】
また、例えば、ＨＤ画素Ｙ5,4が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１４において実線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ0,2に代えて、ＳＤ画素Ｘ5,2を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ5,4のクラスタップとされる。
【００４５】
さらに、例えば、ＨＤ画素Ｙ4,5が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１５において実線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ2,0に代えて、ＳＤ画素Ｘ2,5を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ4,5の予測タップとされる。
【００４６】
また、例えば、ＨＤ画素Ｙ5,5が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１６において実線で囲んで示すように、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ0,0に代えて、ＳＤ画素Ｘ5,5を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ5,5の予測タップとされる。
【００４７】
そして、予測演算回路２０６には、予測タップ生成回路２０５から予測タップが供給される他、係数ＲＯＭ２０７から予測係数も供給される。
【００４８】
即ち、係数ＲＯＭ２０７は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路２０３からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０６に供給する。
【００４９】
これにより、予測演算回路２０６には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路２０６では、係数ＲＯＭ２０７からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路６からの予測タップ（を構成するＳＤ画素）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００５０】
以上の処理が、すべてのＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。なお、クラスタップ生成回路２０２および予測タップ生成回路２０５では、同一のＨＤ画素を注目画素として処理が行われる。
【００５１】
次に、図１７は、図１２の係数ＲＯＭ２０７に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００５２】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１１および教師データ抽出回路１４６に供給されるようになされており、間引き回路２１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。即ち、間引き回路２１１では、ＨＤ画像の横または縦の画素数がそれぞれ１／２にされ、これにより、ＳＤ画像が形成される。このＳＤ画像は、クラス分類部２１２および予測タップ生成回路１４５に供給される。
【００５３】
クラス分類部２１２または予測タップ生成回路１４５では、図１２のクラス分類部２０１または予測タップ生成回路２０５における場合とそれぞれ同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類部２１２が出力するクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１４５が出力する予測タップは、予測タップメモリ１４７に供給される。なお、クラス分類部２１２および予測タップ生成回路１４５では、同一のＨＤ画素を注目画素として処理が行われる。
【００５４】
予測タップメモリ１４７では、クラス分類部２１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【００５５】
一方、教師データ抽出回路１４６では、クラス分類部２１２および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【００５６】
そして、教師データメモリ１４８では、クラス分類部２１２から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【００５７】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【００５８】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１３乃至図１６において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【００５９】
なお、予測タップメモリ１４７と教師データメモリ１４８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００６０】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【００６１】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図１２の係数ＲＯＭ２０７における、各クラスに対応するアドレスに記憶されている。
【００６２】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【発明の開示】
【発明が解決しようとする課題】
【００６３】
適応処理によれば、元のＳＤ画像には含まれていない高周波成分を含んだＨＤ画像を得ることができる。また、注目画素について、クラス分類処理を行い、その結果得られるクラスに対応した予測係数を用いて適応処理を行うことで、注目画素に適した適応処理を施すことができる。
【００６４】
ところで、上述した画像変換装置（図１２）や学習装置（図１７）においては、クラスタップは、画像の特性とは無関係に、注目画素に対して、例えば、図１３乃至１６で説明したような位置関係にあるＳＤ画素によって構成される。
【００６５】
即ち、クラスタップは、図１３乃至１６で説明したように、注目画素の近くにある９個のＳＤ画素によって構成される。
【００６６】
一方、画像は、輝度値や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様を有する領域などに分割し得る。従って、上述のようなクラス分類を行うと、画像の中の異なる領域であっても、例えば、画素の変化がほとんどないような部分については、注目画素が、すべて同一のクラスに分類されることがある。
【００６７】
しかしながら、そのような部分であっても、例えば、注目画素から幾分離れたＳＤ画素をクラスタップに含めてクラス分類を行うことにより、同一のクラスに分類されていた注目画素が、異なるクラスに分類されることがある。即ち、より広い範囲のＳＤ画素でクラスタップを構成することにより、注目画素を、その注目画素にあったクラスにクラス分類することができる場合がある。
【００６８】
そして、このように、注目画素を、それにったクラスにクラス分類することができれば、注目画素に、より適した適応処理を施すことが可能となり、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【００６９】
本発明は、このような状況に鑑みてなされたものであり、画質の向上を図ることができるようにするものである。
【課題を解決するための手段】
【００７０】
本発明の第１の側面の画像処理装置は、第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、注目している前記第１の画像の画素を注目画素とし、前記第２および第３の画像の中の前記注目画素に対応する部分のアクティビティを検出するアクティビティ検出手段と、前記第２および第３の画像のうち、所定の閾値を超えるアクティビティを有する画像を選択する選択手段と、前記注目画素に対応する、選択された画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をクラスとすることにより、前記注目画素を所定のクラスに分類するクラス分類を行うクラス分類手段と、前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段とを備え、前記予測手段は、前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段とを有することを特徴とする。
【００７１】
前記選択された画像の前記所定領域内の画素の画素値のパターンに対応する値は、前記所定領域内の画素の画素値をＡＤＲＣ処理して得られるようにすることができる。
【００７２】
前記第２および第３の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像とさせることができる。
【００７３】
本発明の第１の側面の画像処理方法は、第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、注目している前記第１の画像の画素を注目画素とし、前記第２および第３の画像の中の前記注目画素に対応する部分のアクティビティを検出し、前記第２および第３の画像のうち、所定の閾値を超えるアクティビティを有する画像を選択し、前記注目画素に対応する、選択された画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をクラスとすることにより、前記注目画素を所定のクラスに分類し、前記注目画素の予測値を、その注目画素のクラスに対応して予測し、前記注目画素の予測値を予測する場合、前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求めることを特徴とする。
【００７４】
本発明の第１の側面においては、注目している第１の画像の画素を注目画素とし、前記第１の画像の画素数よりも少ない画素数で表した第２の画像、および前記第２の画像の画素数よりも少ない画素数で表した第３の画像の中の前記注目画素に対応する部分のアクティビティが検出され、前記第２および第３の画像のうち、所定の閾値を超えるアクティビティを有する画像が選択される。また、前記注目画素に対応する、選択された画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をクラスとすることにより、前記注目画素が所定のクラスに分類される。前記注目画素の予測値を、その注目画素のクラスに対応して予測する場合、前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とが線形結合され、前記注目画素の予測値が求められる。
【００７５】
本発明の第２の側面の画像処理装置は、第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、注目している前記第１の画像の画素を注目画素とし、前記第２乃至第４の画像の中の前記注目画素に対応する部分のアクティビティを検出するアクティビティ検出手段と、前記第２乃至第４の画像のうち、所定の閾値を超えるアクティビティを有する複数の画像を選択する選択手段と、前記注目画素に対応する、選択された複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段とを備え、前記予測手段は、前記第２乃至第４の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段とを有することを特徴とする。
【００７６】
前記選択された複数の画像の前記所定領域内の画素の画素値のパターンに対応する値は、前記所定領域内の画素の画素値をＡＤＲＣ処理して得られるようにすることができる。
【００７７】
前記第２乃至第４の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像とさせることができる。
【００７８】
本発明の第２の側面の画像処理方法は、第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、注目している前記第１の画像の画素を注目画素とし、前記第２乃至第４の画像の中の前記注目画素に対応する部分のアクティビティを検出し、前記第２乃至第４の画像のうち、所定の閾値を超えるアクティビティを有する複数の画像を選択し、前記注目画素に対応する、選択された複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類し、前記注目画素の予測値を、その注目画素のクラスに対応して予測し、前記注目画素の予測値を予測する場合、前記第２乃至第4の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求めることを特徴とする。
【００７９】
本発明の第２の側面においては、注目している第１の画像の画素を注目画素とし、前記第１の画像の画素数よりも少ない画素数で表した第２の画像、前記第２の画像の画素数よりも少ない画素数で表した第３の画像、および前記第３の画像の画素数よりも少ない画素数で表した第４の画像の中の前記注目画素に対応する部分のアクティビティが検出され、前記第２乃至第４の画像のうち、所定の閾値を超えるアクティビティを有する複数の画像が選択される。そして、前記注目画素に対応する、選択された複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、１つのビット列にすることにより、前記注目画素が前記ビット列で表される所定のクラスに分類される。前記注目画素の予測値を、その注目画素のクラスに対応して予測する場合、前記第２乃至第4の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とが線形結合され、前記注目画素の予測値が求められる。
【発明の効果】
【００８０】
本発明によれば、注目している第１の画像の画素である注目画素を、より適したクラスに分類することができ、HD画像の画質を向上させることが可能となる。
【発明を実施するための最良の形態】
【００８１】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００８２】
この画像処理装置においては、異なる画素数で構成される複数のＳＤ画像（第２や第３の画像）を処理することにより、そのＳＤ画像よりも画素数の多い（ここでは、解像度も高い）ＨＤ画像（第１の画像）が生成されるようになされている。
【００８３】
即ち、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３には、第１乃至第３階層のＳＤ画像が記憶されている。なお、第１階層のＳＤ画像を基準とすると、第２階層のＳＤ画像は、第１階層のＳＤ画像の画素数を少なくしたものとなっており、第３階層のＳＤ画像は、第２階層のＳＤ画像の画素数を少なくしたものとなっている。
【００８４】
第１階層メモリ１０１に記憶されている第１階層のＳＤ画像、第２階層メモリ１０２に記憶されている第２階層のＳＤ画像、および第３階層メモリ１０３に記憶されている第３階層のＳＤ画像は、いずれも、多階層クラス分類部１０４に供給される。また、第１階層メモリ１０１に記憶されている第１階層のＳＤ画像は、適応処理部１０５にも供給される。
【００８５】
多階層クラス分類部１０４は、多階層クラス分類回路１０４ａ乃至１０４ｄで構成され、適応処理により予測値を求めようとするＨＤ画素である注目画素が、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３それぞれからの第１乃至第３階層の画像を構成する画素のうちの、注目画素に対応するものを用いて、クラス分類の１つである多階層クラス分類される。
【００８６】
ここで、本実施の形態においては、例えば、第１階層のＳＤ画像の横または縦の画素数をそれぞれ２倍にした数の画素数で構成されるＨＤ画像が生成されるようになされている。この場合、図１３乃至図１６を参照して説明したことから、あるＳＤ画素（ここでは、第１階層のＳＤ画素）に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素と、そのＨＤ画素の右、下、右斜め下にそれぞれ隣接する３つのＨＤ画素との合計４つのＨＤ画素を生成する必要がある。即ち、第１階層の１つのＳＤ画素に対して、４つのＨＤ画素を生成する必要がある。このため、この４つのＨＤ画素のクラス分類処理（ここでは、多階層クラス分類処理）を同時に行うために、多階層クラス分類部１０４は、４つの多階層クラス分類回路１０４ａ乃至１０４ｄで構成されている。
【００８７】
多階層クラス分類回路１０４ａ乃至１０４ｄにおける、４つの注目画素のクラス分類結果は、いずれも適応処理部１０５に供給される。適応処理部１０５は、多階層クラス分類部１０４が４つの多階層クラス分類回路１０４ａ乃至１０４ｄで構成されるのと同様の理由から、やはり、４つの適応処理回路１０５ａ乃至１０５ｄで構成されており、その４つの適応処理回路１０５ａ乃至１０５ｄそれぞれでは、多階層クラス分類回路１０４ａ乃至１０４ｄからのクラス分類結果それぞれに対応して適応処理が行われ、４つの注目画素それぞれの予測値が求められる。適応処理回路１０５ａ乃至１０５ｄにおいて求められた予測値は、ＨＤ画像メモリ１０６に供給されて記憶される。
【００８８】
即ち、ＨＤ画像メモリ１０６は、多階層クラス分類部１０４や適応処理部１０５における場合と同様に、４つのメモリ１０６ａ乃至１０６ｄで構成されている。そして、メモリ１０６ａ乃至１０６ｄにおいて、適応処理部１０５ａ乃至１０５ｄから供給される予測値が、それぞれ記憶される。
【００８９】
なお、ここでは、第１階層のあるＳＤ画素に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素については、例えば、多階層クラス分類回路１０４ａまたは適応処理回路１０５ａにおいて多階層クラス分類または適応処理が行われ、その予測値が、メモリ１０６ａに記憶されるようになされている。また、第１階層のあるＳＤ画素に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素の右、下、または右斜め下にそれぞれ隣接するＨＤ画素については、多階層クラス分類回路１０４ｂおよび適応処理回路１０５ｂ、多階層クラス分類回路１０４ｃおよび適応処理回路１０５ｃ、または多階層クラス分類回路１０４ｄおよび適応処理回路１０５ｄにおいてそれぞれ処理が行われ、その結果得られるそれぞれの予測値が、メモリ１０６ｂ乃至１０６ｄに記憶されるようになされている。
【００９０】
次に、多階層クラス分類部１０４および適応処理部１５の詳細について説明するが、その前に、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３にそれぞれ記憶されている第１乃至第３階層のＳＤ画像の生成方法について説明する。
【００９１】
図２は、第１乃至第３階層のＳＤ画像を生成する記憶装置の構成例を示している。
【００９２】
この記憶装置は、例えば、１チップのＣＭＯＳ（Complementary Metal Oxide Semiconductor）などで構成され、そこに入力されるＳＤ画像を第１階層のＳＤ画像として、その第１階層のＳＤ画像よりも画素数の少ない第２のＳＤ画像、およびその第２のＳＤ画像よりも画素数の少ない第３のＳＤ画像を生成する３階層の階層符号化を行うようになされている。
【００９３】
即ち、アドレス供給回路１には、記憶装置に入力される画像を構成するＳＤ画素の水平方向または垂直方向の位置に対応したアドレスそれぞれとしての水平アドレスまたは垂直アドレスが供給されるようになされている。
【００９４】
なお、本実施の形態では、例えば、図３に示すような、水平方向が５１２画素で、垂直方向が５１２ラインで１画面が構成される画像（ディジタル画像データ）が、第１階層のＳＤ画像として入力されるものとする。従って、水平アドレスおよび垂直アドレスは、いずれも９（＝ｌｏｇ2５１２）ビットで表される。
【００９５】
また、本実施の形態では、上述したように、第１階層のＳＤ画像の横または縦の画素数をそれぞれ２倍にしたＨＤ画像が生成されるから、そのＨＤ画像の１画面は、１０２４×１０２４画素で構成されることになる。
【００９６】
アドレス供給回路１は、そこに供給される水平アドレスおよび垂直アドレスを必要に応じて加工して、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４に供給するようになされている。なお、アドレス供給回路１には、水平アドレスおよび垂直アドレスの他、クロック（後述する図４乃至図６おいては図示せず）、Ｒ／Ｗ（Read/Write）信号、および階層フラグも供給されるようになされており、アドレス供給回路１は、そのクロックに同期して、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４にアドレスを供給するようになされている。また、アドレス供給回路１は、Ｒ／Ｗ信号や階層フラグに対応して、そこに供給される水平アドレスおよび垂直アドレスを加工するようになされている。さらに、アドレス供給回路１は、必要に応じて、所定の制御信号を、ＲＭＷ（Read Modify Write）回路５に供給するようになされている。
【００９７】
ここで、Ｒ／Ｗ信号は、記憶装置からの画像データの読み出し、または記憶装置への画像データの書き込みを指示する信号であり、階層フラグは、記憶装置に記憶された画像を読み出す場合に、第１乃至第３階層のＳＤ画像のうちのいずれを読み出すかを指示するための、例えば２ビットのフラグである。なお、画像データの書き込みは、例えば、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４に対して同時に行われるようになされており、従って、Ｒ／Ｗ信号が書き込みを表している場合は、階層フラグは無視される（意味をもたない）。また、読み出しは、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４それぞれについて個別に行われるようになされており、従って、階層フラグは、読み出し時においてのみ有効となる。但し、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４からの読み出しも同時に行うようにすることが可能である。この場合、階層フラグは用いる必要がない。
【００９８】
第１階層メモリ２は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第１階層メモリ２は、第１階層のＳＤ画像、即ち、ここでは、記憶装置に入力される画像データを記憶するようになされている。また、第１階層メモリ２は、少なくとも、１画面分の第１階層のＳＤ画像、即ち、ここでは、図２に示したように、５１２×５１２画素の画像データを記憶することができるようになされている。さらに、第１階層メモリ２を構成するメモリセルは、少なくとも、第１階層のＳＤ画像を構成する画素に割り当てられたビット数と同一のデータ長を有している。即ち、第１階層のＳＤ画像を構成する画素が、例えば、８ビットで表されるとき、第１階層メモリ２を構成するメモリセルは、少なくとも８ビットのデータ長を有している。
【００９９】
第２階層メモリ３は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第２階層メモリ３は、第２階層のＳＤ画像を記憶するようになされている。即ち、本実施の形態では、例えば、第１階層のＳＤ画像を構成する、隣接する２×２（横×縦）の４画素の加算値が、第２階層の１の画素とされるようになされており、第２階層メモリ３は、そのような画素で構成される第２階層のＳＤ画像を記憶するようになされている。また、第２階層メモリ３は、少なくとも、１画面分の第２階層のＳＤ画像を記憶することのできる記憶容量を有している。即ち、ここでは、第１階層の２×２画素から第２階層の１の画素が形成されるから、第２階層のＳＤ画像は、２５６×２５６（＝５１２／２×５１２／２）画素で構成されることになる。従って、第２階層メモリ２は、そのような数の画素数で構成される第２階層のＳＤ画像を、少なくとも記憶することができるようになされている。さらに、第２階層メモリ３を構成するメモリセルは、少なくとも、第２階層のＳＤ画像を構成する画素を桁落ちさせずに記憶することのできるデータ長を有している。即ち、本実施の形態では、第１階層の画素が８ビットで表されるから、そのような８ビットの画素の４つの加算値である第２階層の画素は１０（＝ｌｏｇ2（２8＋２8＋２8＋２8））ビットで表されることになる。従って、第２階層メモリ３を構成するメモリセルは、少なくとも１０ビットのデータ長を有している。
【０１００】
第３階層メモリ４は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第３階層メモリ４は、第３階層のＳＤ画像を記憶するようになされている。即ち、本実施の形態では、例えば、第２階層のＳＤ画像を構成する、隣接する２×２の４画素、従って、第１階層のＳＤ画像を構成する４×４画素の加算値が、第３階層の１の画素とされるようになされており、第３階層メモリ４は、そのような画素で構成される第３階層のＳＤ画像を記憶するようになされている。また、第３階層メモリ４は、少なくとも、１画面分の第３階層のＳＤ画像を記憶することのできる記憶容量を有している。即ち、ここでは、第２階層の２×２画素から第３階層の１の画素が形成されるから、第２階層のＳＤ画像は、１２８×１２８（＝２５６／２×２５６／２）画素で構成されることになる。従って、第３階層メモリ４は、そのような数の画素数で構成される第３階層のＳＤ画像を、少なくとも記憶することができるようになされている。さらに、第３階層メモリ４を構成するメモリセルは、少なくとも、第３階層のＳＤ画像を構成する画素を桁落ちさせずに記憶することができるデータ長を有している。即ち、本実施の形態では、第２階層の画素が、上述したように１０ビットで表されるから、そのような１０ビットの画素の４つの加算値である第３階層の画素は１２（＝ｌｏｇ2（２10＋２10＋２10＋２10））ビットで表されることになる。従って、第３階層メモリ４を構成するメモリセルは、少なくとも１２ビットのデータ長を有している。
【０１０１】
なお、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４には、クロックが供給されるようになされており、このクロックに同期して、データの読み書きが行われるようになされている。
【０１０２】
ＲＭＷ回路５は、記憶装置に供給される画像データを、第１階層のＳＤ画像として、第１階層メモリ２に書き込むようになされている。また、ＲＭＷ回路５は、第１階層のＳＤ画像から第２階層のＳＤ画像を算出する処理を行い、第２階層メモリ３に書き込むようになされている。さらに、ＲＭＷ回路５は、第１階層のＳＤ画像（または第２階層のＳＤ画像）から第３階層のＳＤ画像を算出する処理を行い、第３階層メモリ４に書き込むようになされている。また、ＲＭＷ回路５は、第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４にそれぞれ記憶された画像データを読み出して出力するようにもなされている。なお、ＲＭＷ回路５には、クロック、Ｒ／Ｗ信号、階層フラグ、アドレス供給回路１が出力する制御信号が供給されるようになされており、ＲＭＷ回路５は、クロックに同期し、Ｒ／Ｗ信号、階層フラグ、制御信号に基づいて各種の処理を行うようになされている。
【０１０３】
次に、その動作について、図３乃至図５を参照して説明する。
【０１０４】
なお、ここでは、上述の図３に示したように、１画面が５１２×５１２画素で構成され、各画素が８ビットで表される画像データが、第１階層のＳＤ画像として記憶装置に供給されるものとする。また、画像データは、いわゆる順次走査されて供給されるものとする。
【０１０５】
さらに、第１階層のＳＤ画像を構成する画素を、その最も左上の画素をｈ（０，０）とし、以下、同様にして、左からｘ＋１番目で、上からｙ＋１番目にある画素をｈ（ｘ，ｙ）と表す。第１階層のＳＤ画像は、上述したように、５１２×５１２画素で構成されるから、ｘ，ｙは、いずれも０乃至５１１（＝２9−１）の範囲の整数値をとる。
【０１０６】
また、０乃至２５５（＝２9／２−１）の範囲の整数値をとる変数ｓ，ｔを考えると、第２階層のＳＤ画像を構成する画素は、第１階層の隣接する２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）の加算値となるが、それをｍ（ｓ，ｔ）と表す。従って、式
m(s,t)=h(2s,2t)+h(2s+1,2t)+h(2s,2t+1)+h(2s+1,2t+1)
・・・（８）
が成り立つ。
【０１０７】
さらに、０乃至１２７（＝２9／４−１）の範囲の整数値をとる変数ｍ，ｎを考えると、第３階層のＳＤ画像を構成する画素は、第２階層の隣接する２×２画素ｍ（２ｍ，２ｎ），ｍ（２ｍ＋１，２ｎ），ｍ（２ｍ，２ｎ＋１），ｍ（２ｍ＋１，２ｎ＋１）の加算値、即ち、第１階層の隣接する４×４画素h(4m,4n),h(4m+1,4n),h(4m+2,4n),h(4m+3,4n),h(4m,4n+1),h(4m+1,4n+1),h(4m+2,4n+1),h(4m+3,4n+1),h(4m,4n+2),h(4m+1,4n+2),h(4m+2,4n+2),h(4m+3,4n+2),h(4m,4n+3),h(4m+1,4n+3),h(4m+2,4n+3),h(4m+3,4n+3)の加算値となるが、それをｑ（ｍ，ｎ）と表す。従って、式
q(m,n)=m(2m,2n)+m(2m+1,2n)+m(2m,2n+1)+m(2m+1,2n+1)
=h(4m,4n)+h(4m+1,4n)+h(4m+2,4n)+h(4m+3,4n)
+h(4m,4n+1)+h(4m+1,4n+1)+h(4m+2,4n+1)+h(4m+3,4n+1)
+h(4m,4n+2)+h(4m+1,4n+2)+h(4m+2,4n+2)+h(4m+3,4n+2)
+h(4m,4n+3)+h(4m+1,4n+3)+h(4m+2,4n+3)+h(4m+3,4n+3)
・・・（９）
が成り立つ。
【０１０８】
また、アドレス供給回路１には、データの書き込み時および読み出し時のいずれの場合も、水平アドレスＨＡおよび垂直アドレスＶＡの組合せ（ＨＡ，ＶＡ）が、
（０，０），（１，０），・・・，（５１１，０），
（０，１），（１，１），・・・，（５１１，１），
・
・
・
（５１１，０），（５１１，１），・・・，（５１１，５１１）
の順（順次走査に対応する順）で、クロックに同期して供給されるものとする。
【０１０９】
さらに、９ビットの水平アドレスＨＡの各ビットを、その最下位ビットをｈａ０として、ｈａ１，ｈａ２，・・・，ｈａ８（ｈａ８は最上位ビット）と表すとともに、９ビットの垂直アドレスＶＡの各ビットも同様に、その最下位ビットをｖａ０として、ｖａ１，ｖａ２，・・・，ｖａ８（ｖａ８は最上位ビット）と表す。
【０１１０】
また、記憶装置への画像データの書き込み時には、ＲＭＷ回路５には、第１階層のＳＤ画像が、クロックに同期して順次走査されて供給され、これに伴い、アドレス供給回路１には、水平アドレスＨＡおよび垂直アドレスＶＡが、上述したように供給されるものとする。
【０１１１】
この場合、第１階層メモリ２へのアクセスは、次のようにして行われる。
【０１１２】
即ち、図４に示すように、まず書き込み時（Ｒ／Ｗ信号が書き込みを表している場合）においては、アドレス供給回路１は、そこに供給される水平アドレスＨＡおよび垂直アドレスＶＡを、そのまま、第１階層メモリ２のアドレス端子（ＡＤｈ，ＡＤｖ）に供給する。一方、ＲＭＷ回路５は、そこに供給される第１階層のＳＤ画像データ（ＳＤ画素（画素値））を、水平アドレスＨＡおよび垂直アドレスＶＡによって指定されている第１階層メモリ２のメモリセル（図示せず）に書き込む。以下、同様の処理が行われることで、５１２×５１２画素で構成される１画面分の第１階層のＳＤ画像が、第１階層メモリ２に記憶される。即ち、これにより、第１階層メモリ２のアドレス
（０，０），（１，０），・・・，（５１１，０），
（０，１），（１，１），・・・，（５１１，１），
・・・
（５１１，０），（５１１，１），・・・，（５１１，５１１）
には、第１階層の画素（画素値）
ｈ（０，０），ｈ（１，０），・・・，ｈ（５１１，０），
ｈ（０，１），ｈ（１，１），・・・，ｈ（５１１，１），
・・・
ｈ（５１１，０），ｈ（５１１，１），・・・，ｈ（５１１，５１１）
がそれぞれ記憶される。
【０１１３】
読み出し時（Ｒ／Ｗ信号が読み出しを表している場合）においては、アドレス供給回路１は、階層フラグが第１階層を表していれば、やはり、そこに供給される水平アドレスＨＡおよび垂直アドレスＶＡを、そのまま、第１階層メモリ２のアドレス端子に供給する。そして、ＲＭＷ回路５は、水平アドレスＨＡおよび垂直アドレスＶＡによって指定されている第１階層メモリ２のメモリセルに記憶されている第１階層のＳＤ画像データを読み出し、以下、同様の処理が行われることで、５１２×５１２画素で構成される１画面分の第１階層のＳＤ画像が、第１階層メモリ２から読み出される。即ち、これにより、順次走査された第１階層のＳＤ画像が出力される。
【０１１４】
次に、第２階層メモリ３へのアクセスについて説明する。
【０１１５】
まず書き込み時においては、アドレス供給回路１は、例えば、図５に示すように、そこに供給される水平アドレスＨＡの一部としての、そのうちの最下位ビットｈａ０を除く上位８ビットｈａ１乃至ｈａ８と、垂直アドレスＶＡの一部としての、最下位ビットｖａ０を除く上位８ビットｖａ１乃至ｖａ８を、第２階層メモリ３のアドレス端子に供給する。さらに、アドレス供給回路１は、水平アドレスＨＡの最下位ビットｈａ０と、垂直アドレスＶＡの最下位ビットｖａ０を、制御信号として、ＲＭＷ回路５に出力する。
【０１１６】
従って、例えば、図３にＤ１で示すような第１階層の２×２の４画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）が、ＲＭＷ回路５に供給されるタイミングにおいては、いずれのタイミングでも、アドレス供給回路１は、第２階層メモリ３の同一アドレス（ｓ，ｔ）を指定する信号を、第２階層メモリ３に出力する。
【０１１７】
一方、ＲＭＷ回路５では、そこに供給される第１階層のＳＤ画像データが、演算器１３に入力される。演算器１３には、第１階層のＳＤ画像データの他、スイッチ１２の出力が供給されるようになされており、演算器１３は、それらを加算して、書き込み部１４に供給するようになされている。
【０１１８】
スイッチ１２は、ＮＯＲゲート１５の出力に対応して、端子１２ａまたは１２ｂのうちのいずれか一方を選択するようになされており、また、端子１２ａまたは１２ｂには、読み出し部１１の出力または０がそれぞれ供給されるようになされている。ＮＯＲゲート１５には、アドレス供給回路１からの水平アドレスＨＡの最下位ビットｈａ０と、垂直アドレスＶＡの最下位ビットｖａ０とが供給されるようになされており、従って、その出力は、最下位ビットｈａ０およびｖａ０がいずれも０の場合、即ち、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）が、演算器１３に供給されるタイミングの場合のみ、Ｈレベルとなり、他の場合はＬレベルとなるようになされている。
【０１１９】
そして、スイッチ１２は、ＮＯＲゲート１５の出力がＬレベルまたはＨレベルのとき、端子１２ａまたは１２ｂをそれぞれ選択するようになされている。
【０１２０】
また、読み出し部１１は、アドレス供給回路１が出力する信号に対応するアドレスに記憶されているデータ（記憶データ）を読み出すようになされている。
【０１２１】
従って、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）が演算器１３に供給されるタイミングにおいては、読み出し部１１において、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータが読み出され、端子１２ａに供給されるが、この場合、水平アドレスＨＡの最下位ビットｈａ０、および垂直アドレスＶＡの最下位ビットｖａ０はいずれも０であるから、ＮＯＲゲート１５の出力はＨレベルとなり、スイッチ１２は端子１２ｂを選択する。
【０１２２】
その結果、演算器１３には、スイッチ１２を介して０が供給される。
【０１２３】
演算器１３では、この０と第１階層の画素ｈ（２ｓ，２ｔ）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１２４】
次に、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）の右隣の画素ｈ（２ｓ＋１，２ｔ）が演算器１３に供給されるタイミングにおいては、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ））が読み出され、端子１２ａに供給される。
【０１２５】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０は１で、垂直アドレスＶＡの最下位ビットｖａ０は０となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１２６】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ））が供給される。
【０１２７】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ＋１，２ｔ）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１２８】
その後、第１階層の上から２ｔ＋１ライン目の画像データの供給が開始され、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左下の画素ｈ（２ｓ，２ｔ＋１）が、演算器１３に供給されると、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が読み出され、端子１２ａに供給される。
【０１２９】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０は０で、垂直アドレスＶＡの最下位ビットｖａ０は１となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１３０】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が供給される。
【０１３１】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ，２ｔ＋１）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１３２】
次に、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左下の画素ｈ（２ｓ，２ｔ＋１）の右隣の画素ｈ（２ｓ＋１，２ｔ＋１）が、演算器１３に供給されると、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が読み出され、端子１２ａに供給される。
【０１３３】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０および垂直アドレスＶＡの最下位ビットｖａ０は、いずれも１となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１３４】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が供給される。
【０１３５】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ＋１，２ｔ＋１）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋ｈ（２ｓ＋１，２ｔ＋１））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１３６】
従って、第２階層メモリ３のアドレス（ｓ，ｔ）には、最終的には、式ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋ｈ（２ｓ＋１，２ｔ＋１）で表される加算値、即ち、上述の式（８）に示した第２階層の画素（画素値）ｍ（ｓ，ｔ）が記憶されることになる。
【０１３７】
以上のようにして、第２階層メモリ３には、２５６×２５６画素で１画面が構成される第２階層のＳＤ画像が記憶される。
【０１３８】
以上のように、第１階層のＳＤ画像データを、水平アドレスＨＡおよび垂直アドレスＶＡによって指定される第１階層メモリ２のアドレス（ＨＡ，ＶＡ）に書き込むとともに、水平アドレスＨＡおよび垂直アドレスＶＡの一部ｈａ１乃至ｈａ８およびｖａ１乃至ｖａ８によって指定される第２階層メモリのアドレスから、そこに記憶されている記憶データを読み出し、その記憶データと第１階層のＳＤ画像データとを加算する処理を行い、その加算値を記憶データが記憶されていた第２階層メモリのアドレスに書き込むようにしたので、第１階層のＳＤ画像データを記憶するのと同時に、第２階層のＳＤ画像データを生成して記憶することができる。即ち、リアルタイムで、第２階層のＳＤ画像データを得ることができる。
【０１３９】
次に、第２階層メモリ３からの第２階層のＳＤ画像の読み出しについて説明する。
【０１４０】
読み出し時においては、アドレス供給回路１は、階層フラグが第２階層を表している場合、やはり、そこに供給される水平アドレスＨＡまたは垂直アドレスＶＡのそれぞれ上位８ビットｈａ１乃至ｈａ８またはｖａ１乃至ｖａ８を、第２階層メモリ２のアドレス端子に供給するとともに、それぞれの最下位ビットｈａ０またはｖａ０を、制御信号として、ＲＭＷ回路５に出力する。
【０１４１】
一方、ＲＭＷ回路５では、読み出し部１１に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲート１５の出力が供給されるようになされており、読み出し部１１は、Ｒ／Ｗ信号が読み出しを表しており、かつ階層フラグが第２階層を表している場合には、ＮＯＲゲート１５の出力がＨレベルのときだけ、アドレス供給回路１が出力する信号に対応するアドレスに記憶されている第２階層のＳＤ画像データを読み出して出力する。
【０１４２】
即ち、上述したことから、水平アドレスＨＡと垂直アドレスＶＡとの組が（２ｓ，２ｔ），（２ｓ＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋１，２ｔ＋１）の場合は、アドレス供給回路１からは、いずれも同一のアドレス（ｓ，ｔ）が出力される。従って、単純に、アドレス供給回路１が出力する信号に対応する第２階層メモリ３のアドレスからデータを読み出したのでは、同一のデータが４回重複して読み出されることになる。
【０１４３】
そこで、読み出し部１１では、水平アドレスＨＡと垂直アドレスＶＡとの組が（２ｓ，２ｔ），（２ｓ＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋１，２ｔ＋１）のうちの、例えば、（２ｓ，２ｔ）となるときだけ、即ち、ＮＯＲゲート１５の出力がＨレベルのときだけ、第２階層メモリ３のアドレス（ｓ，ｔ）から、第２階層の画素（画素値）ｍ（ｓ，ｔ）を読み出すようになっている。
【０１４４】
読み出し部１１が読み出した第２階層のＳＤ画像データは、スイッチ１６に供給される。スイッチ１６は、Ｒ／Ｗ信号が読み出しを表している場合のみオンになり、他の場合はオフになっており、従って、いまの場合、スイッチ１６はオンになっているから、読み出し部１１によって読み出された第２階層のＳＤ画像データは、スイッチ１６を介して出力される。
【０１４５】
以上のようにして、第２階層メモリ３からは、そこに記憶されている２５６×２５６画素で構成される１画面分の第２階層のＳＤ画像が読み出される。即ち、これにより、順次走査された第２階層のＳＤ画像が出力される。
【０１４６】
次に、第３階層メモリ４へのアクセスについて説明する。
【０１４７】
まず書き込み時においては、アドレス供給回路１は、例えば、図６に示すように、そこに供給される水平アドレスＨＡの一部としての、そのうちの下位２ビットｈａ０およびｈａ１を除く上位７ビットｈａ２乃至ｈａ８と、垂直アドレスＶＡの一部としての、下位２ビットｖａ０およびｖａ１を除く上位７ビットｖａ２乃至ｖａ８を、第３階層メモリ４のアドレス端子に供給する。さらに、アドレス供給回路１は、水平アドレスＨＡの下位２ビットｈａ０およびｈａ１と、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１を、制御信号として、ＲＭＷ回路５に出力する。
【０１４８】
従って、例えば、図３にＤ２で示すような第１階層の４×４の１６画素ｈ（４ｍ，４ｎ），ｈ（４ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）が、ＲＭＷ回路５に供給されるタイミングにおいては、いずれのタイミングでも、アドレス供給回路１は、第３階層メモリ４の同一アドレス（ｍ，ｎ）を指定する信号を出力する。
【０１４９】
一方、ＲＭＷ回路５では、そこに供給される第１階層のＳＤ画像データが、演算器２３に入力される。演算器２３には、第１階層のＳＤ画像データの他、スイッチ２２の出力が供給されるようになされており、演算器２３は、それらを加算して、書き込み部２４に供給するようになされている。
【０１５０】
スイッチ２２は、ＮＯＲゲート２５の出力に対応して、端子２２ａまたは２２ｂのうちのいずれか一方を選択するようになされており、また、端子２２ａまたは２２ｂには、読み出し部２１の出力または０がそれぞれ供給されるようになされている。ＮＯＲゲート２５には、アドレス供給回路１からの水平アドレスＨＡの下位２ビットｈａ０およびｈａ１と、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１とが供給されるようになされており、従って、その出力は、下位２ビットｈａ０およびｈａ１並びにｖａ０およびｖａ１がいずれも０の場合、即ち、第１階層の４×４画素ｈ（４ｍ，４ｎ），ｈ（４ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）のうちの左上の画素ｈ（４ｍ，４ｎ）が、演算器２３に供給されるタイミングの場合のみ、Ｈレベルとなり、他の場合はＬレベルとなるようになされている。
【０１５１】
そして、スイッチ２２は、ＮＯＲゲート２５の出力がＬレベルまたはＨレベルのとき、端子２２ａまたは２２ｂをそれぞれ選択するようになされている。
【０１５２】
また、読み出し部２１は、アドレス供給回路１が出力する信号に対応するアドレスに記憶されているデータ（記憶データ）を読み出すようになされている。
【０１５３】
従って、第１階層の画素ｈ（４ｍ，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータが読み出され、端子２２ａに供給されるが、この場合、水平アドレスＨＡの下位２ビットｈａ０およびｈａ１、並びに垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０であるから、ＮＯＲゲート２５の出力はＨレベルとなり、スイッチ２２は端子２２ｂを選択する。
【０１５４】
その結果、演算器２３には、スイッチ２２を介して０が供給される。
【０１５５】
演算器２３では、この０と第１階層の画素ｈ（４ｍ，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１５６】
次に、第１階層の画素ｈ（４ｍ，４ｎ）の右隣の画素ｈ（４ｍ＋１，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、やはり、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ））が読み出され、端子２２ａに供給される。
【０１５７】
一方、この場合、水平アドレスＨＡの下位２ビットｈａ０またはｈａ１はそれぞれ１または０で、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０となっているから、ＮＯＲゲート２５の出力はＬレベルとなり、スイッチ２２は端子２２ａを選択する。
【０１５８】
その結果、演算器２３には、スイッチ２２を介して、読み出し部２１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ））が供給される。
【０１５９】
演算器２３では、スイッチ２２を介して供給されるデータと、第１階層の画素ｈ（４ｍ＋１，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１６０】
次に、第１階層の画素ｈ（４ｍ＋１，４ｎ）の右隣の画素ｈ（４ｍ＋２，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、やはり、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が読み出され、端子２２ａに供給される。
【０１６１】
一方、この場合、水平アドレスＨＡの下位２ビットｈａ０またはｈａ１はそれぞれ１または０で、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０となっているから、ＮＯＲゲート２５の出力はＬレベルとなり、スイッチ２２は端子２２ａを選択する。
【０１６２】
その結果、演算器２３には、スイッチ２２を介して、読み出し部２１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が供給される。
【０１６３】
演算器２３では、スイッチ２２を介して供給されるデータと、第１階層の画素ｈ（４ｍ＋２，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ）＋ｈ（４ｍ＋２，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１６４】
以下、第１階層の画素ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）が、演算器２３に供給されるタイミングにおいては、いずれにおいても、上述の場合と同様の処理が行われ、これにより、第３階層メモリ４のアドレス（ｍ，ｎ）には、最終的には、上述の式（９）に示した第３階層の画素（画素値）ｑ（ｍ，ｎ）が記憶されることになる。
【０１６５】
以上のようにして、第３階層メモリ４には、１２８×１２８画素で１画面が構成される第３階層のＳＤ画像が記憶される。
【０１６６】
従って、第１階層のＳＤ画像データを記憶するのと同時に、第２階層のＳＤ画像データ、さらには、第３階層のＳＤ画像データを生成して記憶することができる。即ち、リアルタイムで、第２および第３階層のＳＤ画像データを得ることができる。
【０１６７】
次に、第３階層メモリ４からの第３階層のＳＤ画像の読み出しについて説明する。
【０１６８】
読み出し時においては、アドレス供給回路１は、階層フラグが第３階層を表している場合、やはり、そこに供給される水平アドレスＨＡまたは垂直アドレスＶＡのそれぞれ上位７ビットｈａ２乃至ｈａ８またはｖａ２乃至ｖａ８を、第３階層メモリ４のアドレス端子に供給するとともに、それぞれの下位２ビットｈａ０およびｈａ１またはｖａ０およびｖａ１を、制御信号として、ＲＭＷ回路５に出力する。
【０１６９】
一方、ＲＭＷ回路５では、読み出し部２１に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲート２５の出力が供給されるようになされており、読み出し部２１は、Ｒ／Ｗ信号が読み出しを表しており、階層フラグが第３階層を表している場合には、ＮＯＲゲート２５の出力がＨレベルのときだけ、アドレス供給回路１が出力する信号に対応するアドレスに記憶されている第３階層のＳＤ画像データを読み出して出力する。
【０１７０】
即ち、上述したことから、水平アドレスＨＡと垂直アドレスＶＡとの組が、（４ｍ，４ｎ），（４ｍ＋１，４ｎ），（４ｍ＋２，４ｎ），（４ｍ＋３，４ｎ），（４ｍ，４ｎ＋１），（４ｍ＋１，４ｎ＋１），（４ｍ＋２，４ｎ＋１），（４ｍ＋３，４ｎ＋１），（４ｍ，４ｎ＋２），（４ｍ＋１，４ｎ＋２），（４ｍ＋２，４ｎ＋２），（４ｍ＋３，４ｎ＋２），（４ｍ，４ｎ＋３），（４ｍ＋１，４ｎ＋３），（４ｍ＋２，４ｎ＋３），（４ｍ＋３，４ｎ＋３）の場合は、アドレス供給回路１からは、いずれも同一のアドレス（ｍ，ｎ）が出力される。従って、単純に、アドレス供給回路１が出力する信号に対応する第３階層メモリ４のアドレスからデータを読み出したのでは、同一のデータが１６回重複して読み出されることになる。
【０１７１】
そこで、読み出し部２１では、水平アドレスＨＡと垂直アドレスＶＡとの組が、上述のうちの、例えば、（４ｍ，４ｎ）となるときだけ、即ち、ＮＯＲゲート２５の出力がＨレベルのときだけ、第３階層メモリ４のアドレス（ｍ，ｎ）から、第３階層の画素（画素値）ｍ（ｍ，ｎ）を読み出すようになっている。
【０１７２】
読み出し部２１が読み出した第３階層のＳＤ画像データは、スイッチ２６に供給される。スイッチ２６は、Ｒ／Ｗ信号が読み出しを表している場合のみオンになり、他の場合はオフになっており、従って、いまの場合、スイッチ２６はオンになっているから、読み出し部２１によって読み出された第３階層のＳＤ画像データは、スイッチ２６を介して出力される。
【０１７３】
以上のようにして、第３階層メモリ４からは、そこに記憶されている１２８×１２８画素で構成される１画面分の第３階層のＳＤ画像が読み出される。即ち、これにより、順次走査された第３階層のＳＤ画像が出力される。
【０１７４】
なお、第２階層メモリ３からの第２階層のＳＤ画像データの読み出しは、上述したようにして行う他、例えば、アドレス供給回路１から、水平アドレスＨＡの下位８ビットｈａ０乃至ｈａ７と、垂直アドレスＶＡの下位８ビットｖａ０乃至ｖａ７を、第２階層メモリ３のアドレスとして与えることにより行うことも可能である。同様に、第３階層メモリ４からの第３階層のＳＤ画像データの読み出しも、アドレス供給回路１から、水平アドレスＨＡの下位７ビットｈａ０乃至ｈａ６と、垂直アドレスＶＡの下位７ビットｖａ０乃至ｖａ６を、第３階層メモリ４のアドレスとして与えることにより行うことが可能である。
【０１７５】
図１の第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３には、以上のようにして、図２の第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４に記憶された第１乃至第３階層のＳＤ画像がそれぞれ記憶されている。従って、図１の第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３は、基本的に、図２の第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４とそれぞれ同様に構成される。
【０１７６】
次に、図７は、図１の多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）の構成例を示している。
【０１７７】
第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３にそれぞれ記憶されている第１乃至第３階層のＳＤ画像は、選択回路１１２に供給されるようになされている。また、第１または第２階層のＳＤ画像は、アクティビティ検出回路１１１1または１１１2にもそれぞれ供給されるようになされている。
【０１７８】
アクティビティ検出回路１１１1または１１１2は、例えば、第１または第２階層のＳＤ画像における、注目画素の位置付近にあるＳＤ画素を用いて、そのアクティビティを検出し、その検出結果を、選択回路１１２に検出するようになされている。選択回路１１２は、アクティビティ検出回路１１１1および１１１2からのアクティビティに基づいて、第１乃至第３階層のＳＤ画像のうちのいずれかを選択し、クラスタップ生成回路１１３に供給するようになされている。また、選択回路１１２は、第１乃至第３階層のうちのいずれを選択したかを表す、例えば、２ビットの選択信号を合成回路１１５に出力するようにもなされている。クラスタップ生成回路１１３は、選択回路１１２からの画像を用いて、注目画素のクラス分類を行うためのクラスタップを生成し、クラス分類回路１１４に供給するようになされている。クラス分類回路１１４は、クラスタップ生成回路１１３からのクラスタップを用いてクラス分類を行い、そのクラス分類結果を、合成回路１１５に供給するようになされている。合成回路１１５は、選択回路１１２からの選択信号と、クラス分類回路１１４からのクラス分類結果としてのクラスとを合成して、１つの値にし、これを、注目画素の最終的なクラス分類結果として、適応処理部１０５（図１）に供給するようになされている。
【０１７９】
次に、その動作について説明する。
【０１８０】
まず、アクティビティ検出回路１１１1または１１１2において、第１または第２階層のＳＤ画像における、注目画素付近のアクティビティがそれぞれ検出される。
【０１８１】
即ち、アクティビティ検出回路１１１1では、第１階層のＳＤ画像を構成する画素のうちの、例えば、注目画素の位置に一致する画素を中心とした３×３画素の範囲におけるアクティビティが検出される。また、アクティビティ検出回路１１１2でも、第２階層のＳＤ画像を構成する画素のうちの、例えば、注目画素の位置に一致する画素を中心とした３×３画素の範囲におけるアクティビティが検出される。
【０１８２】
ここで、第２階層のＳＤ画像は、第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／２にした画像であるから、第１階層のＳＤ画像を基準に考えれば、アクティビティ検出回路１１１2では、アクティビティ検出回路１１１1における範囲よりも広範囲におけるアクティビティが検出される。
【０１８３】
なお、以上のように、注目画素の位置に一致する第１および第２階層のＳＤ画素を中心とする３×３画素の範囲、即ち、図１３で説明したクラスタップに対応するような正方形状の範囲のアクティビティが検出されるのは、例えば、多階層クラス分類回路１０４ａにおいてであって、他の多階層クラス分類回路１０４ｂ乃至１０４ｄでは、例えば、図１４乃至図１６で説明したクラスタップに対応するような範囲それぞれのアクティビティが検出される。
【０１８４】
アクティビティ検出回路１１１1または１１１2でそれぞれ検出された第１または第２階層の画像についてのアクティビティは、いずれも、選択回路１１２に供給される。選択回路１１２では、アクティビティ検出回路１１１1および１１１2からのアクティビティに基づいて、第１乃至第３階層のＳＤ画像のうちのいずれかが選択される。
【０１８５】
即ち、選択回路１１２は、第１階層の画像についてのアクティビティが、所定の閾値εより大きいか否かを判定する。第１階層の画像についてのアクティビティが、所定の閾値εより大きい場合、選択回路１１２は、第１階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８６】
また、第１階層の画像についてのアクティビティが、所定の閾値εより大きくない場合、選択回路１１２は、第２階層の画像についてのアクティビティが、所定の閾値εより大きいかどうかを判定する。第２階層の画像についてのアクティビティが、所定の閾値εより大きい場合、選択回路１１２は、第２階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８７】
そして、第２階層の画像についてのアクティビティが、所定の閾値εより大きくない場合、選択回路１１２は、第３階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８８】
さらに、選択回路１１２は、選択した階層を表す選択信号を、合成回路１１５に供給する。
【０１８９】
クラスタップ生成回路１１３では、選択回路１１２から供給される階層の画像を用いてクラスタップが生成（形成）される。
【０１９０】
即ち、選択回路１１２において第１階層のＳＤ画像が選択された場合、つまり、図８においてＲ１で示す、第１階層のＳＤ画像を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素の範囲のアクティビティが閾値εより大きい場合には、クラスタップ生成回路１１３では、その３×３の第１階層のＳＤ画素がクラスタップとされ、クラス分類回路１１４に供給される。なお、図８において、○印は第１階層のＳＤ画素を、×印はＨＤ画素を示している。
【０１９１】
また、選択回路１１２において第２階層のＳＤ画像が選択された場合、即ち、第１階層のＳＤ画像を基準とすれば、図８においてＲ２で示す、第２階層のＳＤ画像（第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／２にした画像）を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素の範囲のアクティビティが閾値εより大きい場合には、クラスタップ生成回路１１３では、その３×３の第２階層のＳＤ画素がクラスタップとされ、クラス分類回路１１４に供給される。従って、この場合、第１階層のＳＤ画像を基準とすれば、第１階層のＳＤ画像が選択された場合における範囲の横または縦がそれぞれ４倍の範囲における９個の第２階層のＳＤ画素からクラスタップが形成される。
【０１９２】
さらに、選択回路１１２において第３階層のＳＤ画像が選択された場合、クラスタップ生成回路１１３では、第１階層のＳＤ画像を基準とすれば、図８においてＲ３で示す、第３階層のＳＤ画像（第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／４にした画像）を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素がクラスタップとされ、クラス分類回路１１４に供給される。従って、この場合、第１階層のＳＤ画像を基準とすれば、第１階層のＳＤ画像が選択された場合における範囲の横または縦がそれぞれ１６倍の範囲における９個の第３階層のＳＤ画素からクラスタップが形成される。
【０１９３】
なお、以上のように、注目画素の位置に一致する第１乃至第３階層のＳＤ画素を中心とする３×３画素の範囲、即ち、図１３で説明したような位置関係のＳＤ画素によるクラスタップが形成されるのは、例えば、多階層クラス分類回路１０４ａにおいてであって、他の多階層クラス分類回路１０４ｂ乃至１０４ｄでは、例えば、図１４乃至図１６で説明したような位置関係の画素によるクラスタップがそれぞれ形成される。
【０１９４】
クラス分類回路１１４では、クラスタップ生成回路１１３からのクラスタップを用い、図１２におけるクラス分類回路２０３における場合と同様にして、注目画素のクラス分類が行われる。このクラス分類結果は、合成回路１１５に供給される。合成回路１１５では、例えば、クラス分類回路１１４からのクラス分類結果としての値の上位ビットとして、選択回路１１２からの選択信号が付加され、それが、注目画素の最終的なクラス（クラスを表す値）として、適応処理部１０５に供給される。
【０１９５】
以上のように、第１階層のＳＤ画像を基準として、アクティビティが、ある程度の大きさ（ここでは、閾値ε）になる範囲に対応する階層の画像を用いて、注目画素をクラス分類するためのクラスタップを形成するようにしたので、そのクラスタップを用いてクラス分類を行うことにより、注目画素にあったクラスを得ることが可能となる。
【０１９６】
なお、以上においては、第１および第２階層の画像のアクティビティを検出するようにしたが、その他、第２および第３階層のアクティビティを検出するようにすることも可能である。この場合、例えば、第３階層のアクティビティが所定の閾値ε’よりも小さいときは、第３階層の画像を用いてクラスタップを形成するようにすれば良い。また、第３階層のアクティビティが所定の閾値ε’以上であるが、第２階層のアクティビティが所定の閾値ε’よりも小さい場合には、第２階層の画像を用いてクラスタップを形成するようにすれば良い。さらに、第２階層のアクティビティが所定の閾値ε’以上の場合には、第１階層の画像を用いてクラスタップを形成するようにすれば良い。
【０１９７】
次に、図９は、図１の適応処理部１０５（適応処理回路１０５ａ乃至１０５ｄそれぞれ）の構成例を示している。
【０１９８】
予測タップ生成回路１２１、予測演算回路１２２、または係数ＲＯＭ１２３は、図１２における、予測タップ生成回路２０５、予測演算回路２０６、または係数ＲＯＭ２０７とそれぞれ同様に構成されている。
【０１９９】
即ち、予測タップ生成回路１２１では、第１階層メモリ１０１（図１）から供給される第１階層のＳＤ画像から、予測演算回路１２２において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路１２２に供給される。
【０２００】
具体的には、ここでは、例えば、図１３乃至図１６で説明したような予測タップが（適応処理回路１０５ａ乃至１０５ｄそれぞれにおける予測タップ生成回路１２１において）形成され、予測演算回路１２２に供給される。
【０２０１】
また、予測演算回路１２２には、予測タップ生成回路１２１から予測タップが供給される他、係数ＲＯＭ１２３から予測係数も供給される。
【０２０２】
即ち、係数ＲＯＭ１２３は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、また、そのアドレス端子（ＡＤ）には、多階層クラス分類部１０４（図１）から、注目画素のクラスが供給されるようになされている。そして、係数ＲＯＭ１２３は、多階層クラス分類部１０４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路１２２に供給する。
【０２０３】
これにより、予測演算回路１２２には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路１２２では、係数ＲＯＭ１２３からの予測係数ｗ，ｗ2，・・・と、予測タップ生成回路６からの予測タップ（を構成するＳＤ画素）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０２０４】
上述したように、多階層クラス分類部１０４からは、注目画素に、よりあったクラスが供給されるので、そのクラスに対応して、以上のような適応処理を行うことにより、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【０２０５】
次に、図１０は、図１の多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）の他の構成例を示している。
【０２０６】
第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３に記憶されている第１乃至第３階層の画像データは、クラスタップ生成回路１３１1乃至１３１3にそれぞれ供給されるようになされている。
【０２０７】
クラスタップ生成回路１３１1乃至１３１3は、例えば、図７のクラスタップ生成回路１１３における場合と同様に、第１乃至第３階層の画像を用いて、注目画素をクラス分類するためのクラスタップを生成（形成）し、クラス分類回路１３２1乃至１３２3にそれぞれ供給するようになされている。クラス分類回路１３２1乃至１３２3は、クラスタップ生成回路１３１1乃至１３１3からのクラスタップを用い、例えば、図７のクラス分類回路１１４における場合と同様にして、注目画素のクラス分類を行い、そのクラスを、合成回路１３３にそれぞれ供給するようになされている。合成回路１３３は、クラス分類回路１３２1乃至１３２3それぞれからのクラスを合成し、その合成結果を、注目画素の最終的なクラスとして、適応処理部１０５（図１）に供給するようになされている。
【０２０８】
以上のように構成される多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）では、クラスタップ生成回路１３１1乃至１３１3において、クラスタップが、第１乃至第３階層の画像を用いてそれぞれ形成される。
【０２０９】
即ち、クラスタップ生成回路１３１1乃至１３１3では、例えば、図７の選択回路１１２において第１乃至第３階層の画像が選択された場合に、同図のクラスタップ生成回路１１３が形成するクラスタップと同様のクラスタップが、第１乃至第３階層の画像を用いてそれぞれ形成される。この第１乃至第３階層の画像を用いて形成されたクラスタップは、クラス分類回路１３２1乃至１３２3にそれぞれ供給される。
【０２１０】
クラス分類回路１３２1乃至１３２3では、クラスタップ生成回路１３１1乃至１３１3からのクラスタップを用いて、クラス分類が行われ、その結果得られる注目画素の３つのクラス（第１乃至第３階層の画像それぞれから形成されたクラスタップを用いてのクラス分類結果）は、いずれも、合成回路１３３に供給される。
【０２１１】
合成回路１３３では、クラス分類回路１３２1乃至１３２3それぞれからのクラスが１つに合成される。即ち、合成回路１３３は、例えば、クラス分類回路１３２1乃至１３２3からのクラスを表す値を、それぞれ上位、中位、下位ビットとして１つのビット列にする。そして、この値が、注目画素の最終的なクラスとして、適応処理部１０５に供給される。
【０２１２】
以上のように、第１階層乃至第３階層のＳＤ画像を用いてクラス分類を行い、そのクラス分類結果を合成したものを、注目画素の最終的なクラス分類結果とするようにしたので、即ち、等価的に、注目画素の近くにあるＳＤ画素だけでなく、注目画素から幾分離れたＳＤ画素をも用いてクラス分類を行うようにしたので、やはり、注目画素を、その注目画素にあったクラスにクラス分類することができる。さらに、そのクラスに対応して適応処理を行うことにより、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【０２１３】
なお、図８において、例えば、Ｒ３で示す範囲にある第１階層のＳＤ画素すべてをクラスタップとして用いてクラス分類を行うことによっても、上述の場合と同様の効果が得られると予想されるが、この場合、範囲Ｒ３にある第１階層のＳＤ画素の数が多いので、処理の負担が莫大なものとなる。
【０２１４】
即ち、例えば、図７の実施の形態では、クラスタップ生成回路１１３において形成されるクラスタップは、図１２のクラスタップ生成回路２０２における場合と同様に、９個のＳＤ画素で構成され、さらに、そのクラスタップを用いたクラス分類結果に、２ビットの選択信号が付加されるから、単純には、２11（＝２9×２2）に比例した数のクラスのうちのいずれかにクラス分類が行われる。
【０２１５】
また、図１０の実施の形態では、クラスタップ生成回路１１３1乃至１１３3それぞれにおいて、やはり、図１２のクラスタップ生成回路２０２における場合と同様に、９個のＳＤ画素で構成されるクラスタップが形成され、その３つのクラスタップを用いてクラス分類が行われた後、その３つのクラス分類結果が合成されるから、単純には、２27（＝２9×２9×２9）に比例した数のクラスのうちのいずれかにクラス分類が行われる。
【０２１６】
これに対して、図８における範囲Ｒ３には、２８９（＝１７×１７）の第１階層のＳＤ画素が含まれるから、これによりクラスタップを形成した場合には、単純には、２289という莫大な値に比例した数のうちのクラスのいずれかに、クラス分類を行う必要がある。従って、この場合には、処理の負担が莫大なものとなる。
【０２１７】
次に、図１１は、図９の係数ＲＯＭ１２３に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してある。
【０２１８】
学習における教師データｙとなるべきＨＤ画像が、間引き回路１４１1および教師データ抽出回路１４６に供給されるようになされており、間引き回路１４１1では、例えば、図２の記憶装置における場合と同様にして（図２の記憶装置において、第１階層のＳＤ画像から第２階層のＳＤ画像を生成するのと同様にして）、ＨＤ画像の横または縦の画素数それぞれが１／２にされた第１階層のＳＤ画像が構成される。この第１階層のＳＤ画像は、間引き回路１４１2、多階層クラス分類部１４４、および予測タップ生成回路１４５に供給される。
【０２１９】
間引き回路１４１2でも、間引き回路１４１1における場合と同様にして、第１階層のＳＤ画像の横または縦の画素数それぞれが１／２にされた第２階層のＳＤ画像が構成される。この第２階層のＳＤ画像は、間引き回路１４１3および多階層クラス分類部１４４に供給される。間引き回路１４１3でも、間引き回路１４１1における場合と同様にして、第２階層のＳＤ画像の横または縦の画素数それぞれが１／２にされた第３階層のＳＤ画像が構成される。この第３階層のＳＤ画像は、多階層クラス分類部１４４に供給される。
【０２２０】
多階層クラス分類部１４４は、図７または図１０に示した多階層クラス分類部１０４と同様に構成され、そこに供給される第１乃至第３階層の画像を用いて、上述したようなクラス分類（多階層クラス分類）が行われる。このクラス分類結果としてのクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給される。
【０２２１】
また、予測タップ生成回路１４５では、図９の予測タップ生成回路１２１における場合と同様の処理が行われ、これにより注目画素の予測値を求めるための予測タップが、間引き回路１４１1からの第１階層のＳＤ画像を用いて形成される。この予測タップは、予測タップメモリ１４７に供給される。
【０２２２】
予測タップメモリ１４７では、多階層クラス分類部１４４から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【０２２３】
一方、教師データ抽出回路１４６では、多階層クラス分類部１４４および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【０２２４】
そして、教師データメモリ１４８では、多階層クラス分類部１４４から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【０２２５】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【０２２６】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１３乃至図１６において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【０２２７】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０２２８】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図９の係数ＲＯＭ１２３における、そのクラスに対応するアドレスに記憶されている。
【０２２９】
なお、図７の実施の形態では、選択回路１１２において、第１乃至第３階層のＳＤ画像のうちのいずれか１つを選択し、クラスタップ生成回路１１３において、その１の階層の画像を用いてクラスタップを形成するようにしたが、その他、例えば、選択回路１１２には、第１乃至第３階層のＳＤ画像のうちの２つを選択させ、クラスタップ生成回路１１３には、その２つの階層それぞれを用いてクラスタップを形成させるようにすることができる。この場合、クラス分類回路１１４において、その２つの階層を用いて形成されたクラスタップそれぞれについてクラス分類を行わせ、合成回路１１５において、その２つのクラス分類結果を１つに合成させるようにすれば良い。
【０２３０】
また、本実施の形態では、第１乃至第３階層のＳＤ画像のうち、最も画素数の多い第１階層の画像を用いて予測タップを形成するようにしたが、予測タップは、第１乃至第３階層の画像の２以上を用いて形成するようにすることも可能である。
【０２３１】
さらに、本実施の形態では、図２の記憶装置において、第２階層メモリ３や第３階層メモリ４に対しては、第１階層メモリ２に与える水平アドレスＨＡおよび垂直アドレスＶＡの一部を与えてアクセスするようにしたが、第２階層メモリ３や第３階層メモリ４には、第１階層メモリ２に与える水平アドレスＨＡおよび垂直アドレスＶＡとは別に、専用の（独立の）アドレスを与えてアクセスするようにすることも可能である。
【０２３２】
また、本実施の形態では、図２の記憶装置において、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４に対して、ＳＤ画像を構成する画素の水平または垂直方向の位置にそれぞれ対応する水平アドレスまたは垂直アドレスを与えてアクセスするようにしたが、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４には、その他、例えば、時間方向に対応するアドレスをさらに与えてアクセスするようにすることなども可能である。この場合、第２や第３階層の画素は、横および縦の空間方向に散らばる第１階層の画素の他、時間方向に散らばる第１階層の画素も加算して形成されることになる。
【０２３３】
同様に、クラスタップや予測タップについても、空間方向だけでなく、時間方向に散らばるＳＤ画素も用いて形成することが可能である。
【０２３４】
さらに、図１における第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３や、図２における第１階層メモリ２、第２階層メモリ３、第３階層メモリ４は、それぞれ物理的に１つのメモリである必要はなく、それらのすべてを、１のメモリで構成することも可能である。この場合、１のメモリの記憶領域を、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３の３つそれぞれや、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４の３つそれぞれに割り当てるようにすれば良い。
【０２３５】
また、本実施の形態では、図２において、アドレス供給回路１、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４、およびＲＭＷ回路５のすべてを、１チップ上に形成するようにしたが、これらは、必ずしも１チップ上に形成する必要はない。
【０２３６】
さらに、本実施の形態では、第１階層の画素のビット割当量を８ビットとし、第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４のメモリセルのデータ長を、第１乃至第３階層の画素の桁落ちがないように、それぞれ８，１０、または１２ビットとしたが、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４のメモリセルのデータ長は、例えば、一律に８ビットなどとすることも可能である。但し、この場合、第２または第３階層の画素については、第１または第２階層の２×２画素の加算値の下位２ビットを切り捨てた値（この値は、加算値を４で除算したものに相当するから、平均値となる）をそれぞれ記憶させることになり、従って、桁落ちが生じるので、データの可逆性は失われることになる。
【０２３７】
また、本発明は、ノンインターレース走査される画像およびインターレース走査される画像のいずれにも適用可能である。
【０２３８】
さらに、本実施の形態では、ＳＤ画像の階層数を３としたが、階層数は２であっても良いし、あるいは、４以上であっても良い。
【０２３９】
また、本実施の形態では、下位階層の２×２の４つのＳＤ画素の加算値を、その１つ上位の上位階層のＳＤ画素（画素値）とするようにしたが、上位階層のＳＤ画素の形成の仕方は、これに限定されるものではない。
【０２４０】
さらに、本発明はハードウェアによっても、また、コンピュータに、上述の処理を行わせるようなプログラムを実行させることによっても実現可能である。
【０２４１】
また、本実施の形態では、画素（画素値）を、例えば、ＲＡＭ（Random Access Memory）などに代表されるメモリに記憶させるようにしたが、画素は、その他、例えば、磁気ディスクや、光磁気ディスク、磁気テープ、光カードなどの記録媒体に記憶（記録）させるようにすることも可能である。
【０２４２】
さらに、図１の画像処理装置と、図２の記憶装置とは、別々の装置として構成する他、一体的に構成することも可能である。
【０２４３】
また、本発明は、ＳＤ画像をＨＤ画像に変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０２４４】
さらに、クラスタップや予測タップを構成させるＳＤ画素の位置関係は、上述したものに限定されるものではない。
【図面の簡単な説明】
【０２４５】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】第１乃至第３階層のＳＤ画像を生成する記憶装置の構成例を示すブロック図である。
【図３】第１階層のＳＤ画像の１画面の構成例を示す図である。
【図４】図２の記憶装置の第１の機能的構成例を示すブロック図である。
【図５】図２の記憶装置の第２の機能的構成例を示すブロック図である。
【図６】図２の記憶装置の第３の機能的構成例を示すブロック図である。
【図７】図１の多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれの第１の構成例を示すブロック図である。
【図８】図７のクラスタップ生成回路１１３が生成するクラスタップを説明するための図である。
【図９】図１の適応処理回路１０５ａ乃至１０５ｄそれぞれの構成例を示すブロック図である。
【図１０】図１の多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれの第２の構成例を示すブロック図である。
【図１１】図９の係数ＲＯＭ１２３に記憶させる予測係数の学習を行う学習装置の一実施の形態の構成例を示すブロック図である。
【図１２】従来の画像変換装置の一例の構成を示すブロック図である。
【図１３】クラスタップと予測タップの形成方法を説明するための図である。
【図１４】クラスタップと予測タップの形成方法を説明するための図である。
【図１５】クラスタップと予測タップの形成方法を説明するための図である。
【図１６】クラスタップと予測タップの形成方法を説明するための図である。
【図１７】図１２の係数ＲＯＭ２０７に記憶させる予測係数の学習を行う学習装置の一例の構成を示すブロック図である。
【符号の説明】
【０２４６】
１  アドレス供給回路，  ２  第１階層メモリ，  ３  第２階層メモリ，  ４  第３階層メモリ，  ５  ＲＭＷ回路，  １１  読み出し部，  １２  スイッチ，  １２ａ，１２ｂ  端子，  １３  演算器，  １４  書き込み部，  １５  ＮＯＲゲート，  １６  スイッチ，  ２１  読み出し部，  ２２  スイッチ，  ２２ａ，２２ｂ  端子，  ２３  演算器，  ２４  書き込み部，  ２５  ＮＯＲゲート，  ２６  スイッチ，  １０１  第１階層メモリ，  １０２  第２階層メモリ，  １０３  第３階層メモリ，  １０４  多階層クラス分類部，  １０４ａ乃至１０４ｄ  多階層クラス分類回路，  １０５  適応処理部，  １０５ａ乃至１０５ｄ  適応処理回路，  １０６  ＨＤ画像メモリ，  １０６ａ乃至１０６ｄ  メモリ，  １１１1，１１１2  アクティビティ検出回路，  １１２  選択回路，  １１３  クラスタップ生成回路，  １１４  クラス分類回路，  １１５  合成回路，  １２１  予測タップ生成回路，  １２２  予測演算回路，  １２３  係数ＲＯＭ，  １３１1乃至１３１3  クラスタップ生成回路，  １３２1乃至１３２3  クラス分類回路，  １３３  合成回路，  １４１1乃至１４１3  間引き回路，  １４４  多階層クラス分類部，  １４５  予測タップ生成回路，  １４６  教師データ抽出回路，  １４７  予測タップメモリ，  １４８  教師データメモリ，  １４９  演算回路
【図１】
2006157958.tif 000010
【図２】
2006157958.tif 000011
【図３】
2006157958.tif 000012
【図４】
2006157958.tif 000013
【図５】
2006157958.tif 000014
【図６】
2006157958.tif 000015
【図７】
2006157958.tif 000016
【図８】
2006157958.tif 000017
【図９】
2006157958.tif 000018
【図１０】
2006157958.tif 000019
【図１１】
2006157958.tif 000020
【図１２】
2006157958.tif 000021
【図１３】
2006157958.tif 000022
【図１４】
2006157958.tif 000023
【図１５】
2006157958.tif 000024
【図１６】
2006157958.tif 000025
【図１７】
2006157958.tif 000026