(57)【特許請求の範囲】
【請求項１】
入力画像信号の推定対象画素である注目画素を中心として、順次間引き間隔が大となるｎ個の間引き間隔候補が設定され、上記設定されたｎ個の間引き間隔候補毎に、間引かれる複数の画素の予測画素値をそれぞれ生成し、上記間引かれる画素と上記間引かれる画素の予測画素値との予測誤差の絶対値をそれぞれ加算した後、平均値を算出し、上記算出されるｎ個の平均値をｎ個のアクティビティとするアクティビティ算出手段と、
上記算出されたｎ個のアクティビティとしきい値とを順次比較し、上記しきい値に対する大小関係から間引き間隔を決定する間引き間隔決定手段と、
上記入力画像信号を上記決定された間引き間隔で間引いた後、上記注目画素の近傍となる第１の位置関係にある複数の画素を、当該入力画像信号から抽出する第１の画素抽出手段と、
上記抽出された第１の位置関係にある複数の画素の夫々の画素レベルに基づいて、クラスコードを発生するクラスコード発生手段と、
クラス毎の予測係数を予め記憶し、上記発生されたクラスコードに対応する予測係数を出力する係数記憶手段と、
上記入力画像信号を上記決定された間引き間隔で間引いた後、上記注目画素の近傍となる第２の位置関係にある複数の画素を、当該入力画像信号から抽出する第２の画素抽出手段と、
上記予測係数と上記抽出された第２の位置関係にある複数の画素の画素値との積和演算によって、上記注目画素の画素値を予測推定する予測推定演算手段と
を有し、上記入力画像信号をより高い解像度へ変換する画像情報変換装置。
【請求項２】
上記アクティビティ算出手段において、間引き間隔がなしの場合、隣接する画素の差分の絶対値をそれぞれ加算した後、平均値を算出し、上記算出した平均値をアクティビティとする請求項１に記載の画像情報変換装置。
【請求項３】
入力画像信号の推定対象画素である注目画素を中心として、順次間引き間隔が大となるｎ個の間引き間隔候補が設定され、上記設定されたｎ個の間引き間隔候補毎に、間引かれる複数の画素の予測画素値をそれぞれ生成し、上記間引かれる画素と上記間引かれる画素の予測画素値との予測誤差の絶対値をそれぞれ加算した後、平均値を算出し、上記算出されるｎ個の平均値をｎ個のアクティビティとするアクティビティ算出ステップと、
上記算出されたｎ個のアクティビティとしきい値とを順次比較し、上記しきい値に対する大小関係から間引き間隔を決定する間引き間隔決定ステップと、
上記入力画像信号を上記決定された間引き間隔で間引いた後、上記注目画素の近傍となる位置関係にある複数の画素を当該入力画像信号から抽出する第１の画素抽出ステップと、
上記抽出された複数の画素の夫々の画素レベルに基づいて、クラスコードを発生するクラスコード発生ステップと、
クラス毎の予測係数を予め記憶し、上記発生されたクラスコードに対応する予測係数を出力する係数記憶ステップと、
上記入力画像信号を上記決定された間引き間隔で間引いた後、上記注目画素の周辺の所定の画素位置の画素値を当該入力画像信号から抽出する第２の画素抽出ステップと、
上記予測係数と上記抽出された第２の位置関係にある複数の画素の画素値との積和演算によって、上記注目画素の画素値を予測推定する予測推定演算ステップと
を有し、上記入力画像信号をより高い解像度へ変換する画像情報変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像の解像度を向上させる機能を有する画像情報変換装置および変換方法に関する。
【０００２】
【従来の技術】
入力画像の解像度を向上させるためにクラス分類適応処理を用いる技術が研究開発されている。この場合、元の画像上でぼけが小さい部分に比べて、ぼけが大きい部分では解像度の向上の度合いが小さいという問題があった。
【０００３】
【発明が解決しようとする課題】
元の画像上でぼけが大きい部分に対して解像度をより向上させるためには、クラスタップおよび／または予測タップのタップ構造においてタップ間の間隔を広くとることが有効であることは実験的、経験的に知られている。しかしながら、最適な間引き間隔を判定する方法は知られていなかった。
【０００４】
従って、この発明の目的は、元の画像上でぼけが大きい部分等に対して解像度をより向上させることが可能な画像情報変換装置および変換方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号の推定対象画素である注目画素を中心として、順次間引き間隔が大となるｎ個の間引き間隔候補が設定され、設定されたｎ個の間引き間隔候補毎に、間引かれる複数の画素の予測画素値をそれぞれ生成し、間引かれる画素と間引かれる画素の予測画素値との予測誤差の絶対値をそれぞれ加算した後、平均値を算出し、算出されるｎ個の平均値をｎ個のアクティビティとするアクティビティ算出手段と、
算出されたｎ個のアクティビティとしきい値とを順次比較し、しきい値に対する大小関係から間引き間隔を決定する間引き間隔決定手段と、
入力画像信号を決定された間引き間隔で間引いた後、注目画素の近傍となる第１の位置関係にある複数の画素を、当該入力画像信号から抽出する第１の画素抽出手段と、
抽出された第１の位置関係にある複数の画素の夫々の画素レベルに基づいて、クラスコードを発生するクラスコード発生手段と、
クラス毎の予測係数を予め記憶し、発生されたクラスコードに対応する予測係数を出力する係数記憶手段と、
入力画像信号を決定された間引き間隔で間引いた後、注目画素の近傍となる第２の位置関係にある複数の画素を、当該入力画像信号から抽出する第２の画素抽出手段と、
予測係数と抽出された第２の位置関係にある複数の画素の画素値との積和演算によって、注目画素の画素値を予測推定する予測推定演算手段と
を有し、入力画像信号をより高い解像度へ変換する画像情報変換装置である。
【０００６】
請求項３の発明は、入力画像信号の推定対象画素である注目画素を中心として、順次間引き間隔が大となるｎ個の間引き間隔候補が設定され、設定されたｎ個の間引き間隔候補毎に、間引かれる複数の画素の予測画素値をそれぞれ生成し、間引かれる画素と間引かれる画素の予測画素値との予測誤差の絶対値をそれぞれ加算した後、平均値を算出し、算出されるｎ個の平均値をｎ個のアクティビティとするアクティビティ算出ステップと、
算出されたｎ個のアクティビティとしきい値とを順次比較し、しきい値に対する大小関係から間引き間隔を決定する間引き間隔決定ステップと、
入力画像信号を決定された間引き間隔で間引いた後、注目画素の近傍となる位置関係にある複数の画素を当該入力画像信号から抽出する第１の画素抽出ステップと、
抽出された複数の画素の夫々の画素レベルに基づいて、クラスコードを発生するクラスコード発生ステップと、
クラス毎の予測係数を予め記憶し、発生されたクラスコードに対応する予測係数を出力する係数記憶ステップと、
入力画像信号を決定された間引き間隔で間引いた後、注目画素の周辺の所定の画素位置の画素値を当該入力画像信号から抽出する第２の画素抽出ステップと、
予測係数と抽出された第２の位置関係にある複数の画素の画素値との積和演算によって、注目画素の画素値を予測推定する予測推定演算ステップと
を有し、入力画像信号をより高い解像度へ変換する画像情報変換方法である。
【０００７】
以上のような発明によれば、例えば入力画像信号中に含まれるぼけの大／小等の特性に対して最適な間引き間隔を有するクラスタップおよび予測タップのタップ構造の下で画像情報変換処理がなされる。
【０００８】
【発明の実施の形態】
この発明の一実施形態についての説明に先立ち、理解を容易とするために、一般的なクラス分類適応処理について説明する。まず、図１を参照して、予測推定に係る構成について説明する。入力画像信号が領域切り出し回路１、２に供給される。領域切り出し回路１は、入力画像信号から所定の画素領域を抽出し、抽出した画素領域の画素データをクラスコード発生回路４に供給する。クラスコード発生回路４は、供給される画素データにＡＤＲＣ等の処理を施し、処理結果に基づいて、分類されるクラスに対応するクラスコードを発生して予測演算部５に供給する。ここで、領域切り出し回路１が抽出する、クラス分類に使用される画素領域をクラスタップと称する。
【０００９】
一方、領域切り出し回路２は、入力画像信号から所定の画素領域を抽出し、抽出した画素領域の画素データを予測演算部５に供給する。予測演算部５は、供給される画素データと、クラスコード発生回路４から供給されるクラスコードに対応する予測係数とに基づいて以下の式（１）に従う積和演算を行うことによって出力画像信号を生成する。ここで、領域切り出し回路２が抽出する、積和演算に使用される画素領域を予測タップと称する。予測係数は後述するようにして予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする等の形態で予測演算部５内の所定のメモリに記憶されている。
【００１０】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００１１】
次に、図２を参照して、学習、すなわちクラス毎の予測係数を求める処理について説明する。ノイズを含まない所定の入力画像信号（教師信号と称する）がＬＰＦ(Low Pass Filter) ２１と、正規方程式演算部２７とに供給される。ＬＰＦ２１は、教師信号を劣化させ、劣化した信号を領域切り出し回路２２、２３に供給する。領域切り出し回路２２は、供給される画像信号から所定の画素領域をクラスタップとして抽出し、抽出したクラスタップの画素データをクラスコード発生回路２５に供給する。クラスコード発生回路２５は、供給される画素データにＡＤＲＣ等の処理を施し、処理結果に基づいて、分類されるクラスに対応するクラスコードを発生して正規方程式演算部２７に供給する。
【００１２】
一方、領域切り出し回路２３は、供給される画像信号から所定の画素領域を予測タップとして抽出し、予測タップの画素データを正規方程式演算部２７に供給する。正規方程式演算部２７は、領域切り出し回路２３から供給される画素データと、教師信号とに基づく所定の演算処理によって、クラスコード発生回路２５から供給されるクラスコードに対応する予測係数を算出する。算出された予測係数がメモリ２９に供給される。そして、予測推定に係る処理を行うに先立って、上述した、予測演算部５内の所定のメモリにロードされる。
【００１３】
予測係数を算出するための演算処理は、最小自乗法を用いたものであり、より具体的には、正規方程式を解くことによって予測係数が算出される。正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００１４】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００１５】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （３）
（ｋ＝１，２，‥‥ｍ）
【００１６】
【数１】
0004182574.tif 000002
【００１７】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００１８】
【数２】
0004182574.tif 000003
【００１９】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２０】
【数３】
0004182574.tif 000004
【００２１】
【数４】
0004182574.tif 000005
【００２２】
【数５】
0004182574.tif 000006
【００２３】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部２８は、領域切り出し回路２３から供給される画素データと、教師信号とに基づいて正規方程式（８）中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗi を算出する。
【００２４】
上述したようなクラス分類適応処理において、クラスタップおよび予測タップのタップ構造における好適な間引き間隔は、入力画像信号の性質によって異なる。この点について以下に説明する。図３に、入力画像信号からの画素のサンプリングの一例を示す。ここでは、注目画素を中心として５個のクラスタップ（すなわち、注目画素自身とその前後の２個ずつの画素）と、１３個の予測タップ（すなわち、クラスタップとされる５個の画素とその前後の４個ずつの画素）とを配置する。
【００２５】
一般に、注目画素の近傍に高域成分がある程度以上の比率で含まれる場合には、クラスタップおよび予測タップのタップ構造における間引き間隔を詰めてクラス分類適応処理を行うことにより、解像度向上の程度を高めることができることが知られている。これに対し、注目画素の近傍に高域成分が少なくなだらかな変化しかない場合には、クラスタップおよび予測タップのタップ構造における間引き間隔を詰めても解像度向上の程度が高くならないことが知られている。
【００２６】
また、注目画素の近傍に高域成分が少ない場合には、タップの間引き間隔を広くとって入力画像信号中の広い領域をカバーするようにすれば、解像度向上の程度を高めることができる。そして、注目画素の近傍における入力画像信号のアクティビティ、すなわちレベル変化の程度と間引き率と改善度との間には、何らかの最適な関係があることも、経験的、実験的に知られている。
【００２７】
従って、解像度を向上させるために、注目画素の近傍における入力画像信号のアクティビティに応じてクラスタップおよび予測タップの間引き間隔を変えることが有効であると考えられる。ここでは、説明を簡明とするために、１次元のクラスタップおよび予測タップを用いてクラス分類適応処理を行う場合を例として説明したが、上述した点は、２次元、３次元等のクラスタップ、予測タップについての間引き間隔についても同様である。
【００２８】
この発明は、アクティビティに応じた最適な間引き率を決定することにより、クラスタップおよび予測タップの間引き間隔の切替えを行うものである。以下、図３に示したような１次元のクラスタップおよび予測タップのタップ構造を前提とする、この発明の一実施形態について説明する。なお、この発明の一実施形態においては、入力画像信号が標準テレビジョン画像信号であり、且つ、出力画像信号も標準テレビジョン画像信号であることを前提とする。
【００２９】
この発明の一実施形態おいては、様々な間引き間隔を有するクラスタップおよび予測タップのタップ構造の下でクラス分類適応処理による予測推定を行い、予測誤差の絶対値和を計算する。そして、予測誤差の絶対値和についての計算値をアクティビティの尺度として用いることにより、最適な間引き間隔を決定する。より具体的には、予測誤差の絶対値和についての計算値を所定のしきい値と比較し、比較結果に基づいて最適な間引き間隔を決定する。
【００３０】
予測誤差の絶対値和の計算について具体的に説明する。図５において、横方向に並んだ１次元の画素配列の一例について、各画素レベルを縦方向の位置で示す。すなわち、画素レベルの変動が縦方向の位置変動によって表現されている。そして、図５においてはクラスタップＸ1 ，Ｘ2 ，Ｘ3 ，Ｘ4 ，Ｘ5 ・・・を１間引き間隔で配置する場合について示す。これらのクラスタップの間に位置する画素の画素レベルＹ1 ，Ｙ2 ，Ｙ3 ，Ｙ4 ，Ｙ5 ・・・に対する予測画素レベルＺ1 ，Ｚ2 ，Ｚ3 ，Ｚ4 ，Ｚ5 は、周囲のクラスタップの画素レベルを用いて次の式（９）によって計算される。図５においては、ｉ番目の予測画素レベルＺi を星型の記号で示す。
【００３１】
Ｚi ＝Σｗj ×Ｘj   （９）
ここで、添え字ｊの変域は、予測画素レベルＺi が計算される画素位置Ｙi の近傍の例えば４個のクラスタップ上に設定される。
【００３２】
この時の予測誤差の絶対値和の平均値Ａ1 は、以下の式（１０）のように表される。
【００３３】
Ａ1 ＝｛Σ｜Ｙi −Ｚi ｜｝／４    （１０）
ここで、Ａに付した添え字１は、間引き間隔１であることを表す。また、添え字ｉの変域は、予測画素レベルＺi が計算される画素位置Ｙi の近傍の４個のクラスタップ上に設定される。勿論、４個以外の個数のクラスタップについて絶対値和の平均をとるようにしても良い。
【００３４】
次に、間引き間隔２の場合の一例を図６に示す。ここで、図５と同様に、横方向に並んだ１次元の画素配列において各画素レベルを縦方向の位置で示している。そして、クラスタップＸ1 ，Ｘ2 ，Ｘ3 ，Ｘ4 ，Ｘ5 ・・・を２間引き間隔で配置する場合について示す。これらのクラスタップの間に位置する２個ずつの画素について２モードの予測推定がなされる。図６においても、予測画素レベルＺi を星型の記号で示す。予測推定は、例えば上述の式（９）に従って行うことができる。予測画素レベルＺ1 〜Ｚ8 の間での予測誤差の絶対値和の平均値Ａ2 は、以下の式（１１）のように表される。
【００３５】
Ａ2 ＝｛Σ｜Ｙ2i-1−Ｚ2i-1｜＋Σ｜Ｙ2i−Ｚ2i｜｝／８  （１１）
ここで、Ａに付した添え字２は、間引き間隔２であることを表す。また、添え字ｉの変域は、予測画素レベルＺi が計算される画素位置Ｙi の近傍の８個のクラスタップ上に設定される。勿論、８個以外の個数のクラスタップについて絶対値和の平均をとるようにしても良い。
【００３６】
式（１１）では、２モードの予測推定に対応して、図６中で奇数番目の画素Ｙ2i-1と予測画素Ｚ2i-1の組からの寄与分と、偶数番目の画素Ｙ2iと予測画素Ｚ2iの組からの寄与分とが計算される。
【００３７】
以下、同様にして、間引き間隔を３、４・・・と増やした時の予測誤差の絶対値和の平均値Ａ3 ，Ａ4 ，・・・を順次求める。なお、間引き無しの場合には、予測誤差の代替量として、以下の式（１２）の隣接画素差分を用いる。ここで、αは適当な定数とする。
【００３８】
Ａ0 ＝α×｛Σ｜Ｘi −Ｘi+1 ｜｝／４    （１２）
ここで、Ａに付した添え字０は、間引き間隔０であることを表す。また、添え字ｉの変域は、予測画素レベルＺi が計算される画素位置Ｙi の近傍の例えば４個のクラスタップ上に設定される。
【００３９】
以上のようにして求めた予測誤差の絶対値和の平均値Ａ0 ，Ａ1 ，Ａ2 ・・・を順次しきい値と比較し、予測誤差の絶対値和の平均値が最初にしきい値ｔｈより大きい値をとる際の間引き間隔を、最適間引き間隔として決定する。
【００４０】
すなわち、Ａ0 ＞ｔｈであれば、間引き無しとすることが最適であると判定する。また、Ａ0 がｔｈ以下の場合、Ａ1 ＞ｔｈであれば、間引き間隔１とすることが最適であると判定する。さらに、Ａ1 がｔｈ以下の場合、Ａ2 ＞ｔｈであれば間引き間隔２とすることが最適であると判定し、Ａ2 がｔｈ以下の場合、Ａ3 ＞ｔｈであれば間引き間隔３とすることが最適であると判定する。さらにまた、Ａ3 がｔｈ以下の場合、Ａ4 ＞ｔｈであれば間引き間隔４とすることが最適であると判定し、Ａ4 がｔｈ以下の場合、Ａ5 ＞ｔｈであれば間引き間隔５とすることが最適であると判定する。以下、最適な間引き間隔が定まるまで同様な処理を行う。
【００４１】
上述したようにして決定される最適な間引き間隔の下でのクラスタップおよび予測タップのタップ構造を使用してクラス分類適応処理を行うことにより、解像度のより大きな向上を実現することができる。
【００４２】
上述したような処理を実現する構成の一例を図７に示す。入力画像信号は、遅延回路３１と、アクティビティ演算回路３２とに供給される。アクティビティ演算回路３２は、供給される信号に基づいてアクティビティの尺度としての予測誤差の絶対値和の平均値Ａ0 ，Ａ1 ，Ａ2 ・・・を上述した式（１２）、（１０）、（１１）等に従って計算する。そして、計算結果を間引き率決定回路３３に供給する。間引き率決定回路３３は、上述したように、所定のしきい値ｔｈを参照して、Ａ0 ，Ａ1 ，Ａ2 ・・・の計算結果に基づいて間引き率を決定し、決定した間引き率をクラスタップおよび予測タップ抽出回路３４に供給する。クラスタップおよび予測タップ抽出回路３４は、間引き率決定回路３３の出力に基づいて間引き間隔を定め、クラスタップおよび予測タップのタップ構造を決定する。
【００４３】
一方、遅延回路３１は、入力画像信号を、上述したようにしてクラスタップおよび予測タップのタップ構造が決定されるまでに要する時間分遅延させて、クラスタップおよび予測タップ抽出回路３４に供給する。クラスタップおよび予測タップ抽出回路３４は、遅延回路３１の出力である、遅延させられた入力画像信号から、クラスタップおよび予測タップを抽出し、抽出したクラスタップおよび予測タップの画素データをクラス分類適応処理部３５に供給する。クラス分類適応処理部３５は、供給されるクラスタップおよび予測タップの画素データに基づいてクラス分類適応処理を行い、出力画像信号を生成する。
【００４４】
図８に、アクティビティ演算回路３２の詳細な構成の一例を示す。入力画像信号は、予測誤差の絶対値和の平均値Ａ0 ，Ａ1 ，Ａ2 ・・・をそれぞれ生成するアクティビティ値算出部４０0 ，４０1 ，・・・，４０n に供給される。アクティビティ値算出部４０1 ，・・・，４０n は、同様な構成を有するので、アクティビティ値算出部４０1 を例として説明する。アクティビティ値算出部４０1 は、クラス分類適応予測部４１1 、遅延回路４２1 、減算器４３1 、絶対値算出回路４４1 、および積算回路４５1 を有する。
【００４５】
入力画像信号は、クラス分類適応予測部４１1 と遅延回路４２1 とに供給される。クラス分類適応予測部４１1 は、入力画像信号に基づいてクラス分類適応予測を行い、予測値Ｚi （ｉ＝１，２・・・）を順次減算器４３1 に供給する。一方、遅延回路４２1 は、入力画像信号をクラス分類適応予測に要する時間分だけ遅延させて、減算器４３1 に供給する。このような処理により、減算器４３1 には、同一の画素についての予測値Ｚi と画素値Ｙi とが同一のタイミングで供給される。これにより、減算器４３1 は、差分Ｙi −Ｚi を生成し、生成した差分Ｙi −Ｚi を絶対値算出回路４４1 に供給する。
【００４６】
絶対値算出回路４４1 は、減算器４３1 の出力に基づいて｜Ｙi −Ｚi ｜の値を算出し、算出値を積算回路４５1 に供給する。積算回路４５1 は、絶対値算出回路４４1 の出力を順次積算する。積算値が所定のタイミングで出力され、さらに図示しない構成によって４で割る処理を施されることにより、式（１０）に従う演算処理が完了し、間引き間隔１の場合の、アクティビティの尺度としての予測誤差の絶対値の平均値Ａ1 が生成される。
【００４７】
アクティビティ値算出部４０2 においては、式（１１）に従う演算処理が行われ、間引き間隔２の場合の、アクティビティの尺度としての予測誤差の絶対値の平均値Ａ2 が生成される。以下、アクティビティ値算出部４０3 ・・・４０n において、間引き間隔３・・・ｎの場合の、アクティビティの尺度としての予測誤差の絶対値の平均値Ａ3 ・・・Ａn が生成される。
【００４８】
次に、予測誤差の絶対値和の平均値Ａ0 を式（１２）に従って計算するアクティビティ値算出部４０0 について説明する。アクティビティ値算出部４０0 は、遅延回路４２0 、減算器４３0 、絶対値算出回路４４0 および，積算およびゲイン調整回路４６を有する。
【００４９】
入力画像信号は、遅延回路４２0 と減算器４３0 とに供給される。遅延回路４２0 は、入力画像信号を１画素の処理に要する時間分だけ遅延させて、減算器４３0 に供給する。このような処理により、減算器４３0 には、入力画像信号中の隣合う２個の画素Ｘi ，Ｘi-1 が同一のタイミングで供給される。これにより、減算器４３0 は、差分Ｘi −Ｘi-1 を生成し、生成した差分Ｘi −Ｘi-1 を絶対値算出回路４４0 に供給する。
【００５０】
絶対値算出回路４４0 は、減算器４３0 の出力に基づいて｜Ｘi −Ｘi-1 ｜の値を算出し、算出値を積算およびゲイン調整回路４６に供給する。積算およびゲイン調整回路４６は、絶対値算出回路４４0 の出力を順次積算する。積算値が所定のタイミングで出力され、さらに図示しない構成によって４で割る処理を施されることにより、式（１２）に従う演算処理が完了し、間引き間隔０の場合の、アクティビティの尺度としての予測誤差の絶対値の平均値Ａ0 が生成される。
【００５１】
上述したこの発明の一実施形態についての説明は、１次元のクラスタップ構造および予測タップ構造を前提とするものであるが、上述したように、クラスタップ構造および予測タップ構造が２次元、３次元等である場合にも、注目画素の近傍における入力画像信号のアクティビティと間引き率と改善度との間には何らかの最適な関係がある。従って、この発明は、クラスタップ構造および予測タップ構造が２次元、３次元等である場合においても適用することができる。
【００５２】
また、上述したこの発明の一実施形態においては、入力画像信号が標準テレビジョン画像信号であり、且つ、出力画像信号も標準テレビジョン画像信号であることを前提としている。これに対し、出力画像信号がＨＤ(High Definition) 画像信号である場合にも、この発明を適用することができる。
【００５３】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５４】
【発明の効果】
上述したように、この発明は、クラス分類適応処理を行う際に使用されるクラスタップおよび予測タップのタップ構造における間引き間隔として、入力画像信号に対して最適なものを、複数種類の間引き間隔の下で生成される予測画素値の各々に基づいて計算される予測誤差の絶対値和等に基づいて決定するものである。
【００５５】
このため、例えば入力画像信号中に含まれるぼけの大／小等の特性に対して最適な間引き間隔を有するクラスタップおよび予測タップのタップ構造の下で画像情報変換処理を行うことが可能となる。
【００５６】
従って、特にぼけの大きい部分等において画像解像度をより大きく向上させることが可能となる。
【図面の簡単な説明】
【図１】クラス分類適応処理における予測推定に係る一般的な構成について説明するためのブロック図である。
【図２】クラス分類適応処理における学習に係る一般的な構成について説明するためのブロック図である。
【図３】入力画像信号に高域成分が多い場合に好適なクラスタップ構造およびタップ構造について説明するための略線図である。
【図４】入力画像信号に高域成分が少ない場合に好適なクラスタップ構造およびタップ構造について説明するための略線図である。
【図５】間引間隔１のクラスタップ構造の下での予測誤差の絶対値和の平均を求める方法について説明するための略線図である。
【図６】間引間隔２のクラスタップ構造の下での予測誤差の絶対値和の平均を求める方法について説明するための略線図である。
【図７】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図８】この発明の一実施形態の一部の構成の一例を示すブロック図である。
【符号の説明】
３２・・・アクティビティ演算回路、３３・・・間引き率決定回路、３４・・・クラスタップおよび予測タップ抽出回路
【図１】
0004182574.tif 000007
【図２】
0004182574.tif 000008
【図３】
0004182574.tif 000009
【図４】
0004182574.tif 000010
【図５】
0004182574.tif 000011
【図６】
0004182574.tif 000012
【図７】
0004182574.tif 000013
【図８】
0004182574.tif 000014