(57)【要約】【課題】入力画像から出力画像に変換する。【解決手段】特徴量クラス分類部２３３は、入力画像から出力画像に変換するために、入力画像の水平方向の波形を形成している画素群のうちの注目画素と、その波形に含まれるエッジ領域との位置関係を位相として算出し、その位相に基づいて、注目画素をクラス分類する。積和演算部２４０は、特徴量クラス分類部２３３により分類された注目画素の特徴量クラスにより特定される予測係数と、注目画素を含む入力画像における画素のデータ群とを用いて、出力画像を構成する画素を予測演算する。本発明は、例えば、画像変換装置に適用できる。【選択図】図３６
2009253873.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、
前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記クラス分類手段により分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する予測演算手段と
を備える画像処理装置。
【請求項２】
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、
前記位相算出手段は、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求める
請求項１に記載の画像処理装置。
【請求項３】
前記位相は、前記注目画素の画素値と前記エッジ領域の全体についての画素値範囲との位置関係を表す情報であり、
前記位相算出手段は、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体についての画素値範囲を求める
請求項１に記載の画像処理装置。
【請求項４】
前記位置範囲は、画素値の単純増加または単純減少する位置範囲である
請求項３に記載の画像処理装置。
【請求項５】
画像処理装置が、
第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
算出された前記位相に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する
ステップを含む画像処理方法。
【請求項６】
コンピュータが実行するステップとして、
第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
算出された前記位相に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する
ステップを含むプログラム。
【請求項７】
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、
前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、
前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記クラス分類手段により分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する係数生成手段と
を備える画像処理装置。
【請求項８】
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、
前記位相算出手段は、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求める
請求項７に記載の画像処理装置。
【請求項９】
前記位相は、前記注目画素と前記エッジ領域の全体との位置関係を表す情報であり、
前記位相算出手段は、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体の位置を求める
請求項７に記載の画像処理装置。
【請求項１０】
前記位置範囲は、画素値の単純増加または単純減少する位置範囲である
請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置が、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
算出された前記位相に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する
ステップを含む画像処理方法。
【請求項１２】
コンピュータが実行するステップとして、
第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、
前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、
算出された前記位相に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができるようになった画像処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、標準解像度または低解像度の画像(以下、SD(Standard Definition)画像と称する)を、高解像度の画像(以下、HD(High Definition)画像と称する)に変換する変換手法として、いわゆる補間フィルタなどによって、不足している画素の画素値を補間(補償)する変換手法がある。
【０００３】
しかしながら、補間フィルタによって画素を補間する変換手法では、SD画像に含まれていない成分、即ち、HD画像の成分(高周波成分)を復元することはできない。したがって、この変換手法では、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本出願人は、SD画像には含まれていない高周波成分を復元する変換手法として、SD画像と、所定の予測係数との線形結合により、HD画像の画素の予測値を求める適応処理を行う手法を特許文献１により提案している。
【０００５】
以下、適応処理について説明する。
【０００６】
例えば、いま、HD 画像を構成する画素(以下、適宜、HD 画素と称する) の画素値y の予測値E[y]を、幾つかのSD 画素(HD画素に対して、SD 画像を構成する画素を、以下、このように称する)の画素値x1，x2，・・・，xnと、所定の予測係数w1，w2，・・・，wn（なお、個々の区別が不要な場合、予測係数wと称する）の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式（１）で表すことができる。
【０００７】
E[y] ＝ w1×x1＋ w2×x2＋・・・＋wn×xn          ・・・（１）
【０００８】
予測係数wは、あらかじめ学習により求められる。
【０００９】
この学習では、HD画像が学習の教師となる教師データとされ、SD画像が学習の生徒となる生徒データとされる。
【００１０】
生徒データとしてのSD画像の幾つかのSD画素を学習用に多数セット用意するとする。
【００１１】
いま、生徒データの集合でなる行列X、予測係数w の集合でなる行列W、予測値E[y] の集合でなる行列Y ’を、それぞれ、式（２）乃至（４）で定義すると、式（５）で表される観測方程式が成立する。
【００１２】
【数１】
2009253873.tif 000003
・・・（２）
【００１３】
【数２】
2009253873.tif 000004
・・・（３）
【００１４】
【数３】
2009253873.tif 000005
・・・（４）
【００１５】
X・W ＝ Y'
・・・（５）
【００１６】
なお、式（５）及び後述する式（８）において、「・」は、行列積を表す。
【００１７】
そして、最小自乗法を適用して、教師データとしてのHD 画素の画素値y に最も近い予測値E[y]を求めるとする。この場合、HD 画素の画素値y に対する予測値E[y] の残差e の集合でなる行列E、教師データとしてのHD 画素の真の画素値y の集合でなる行列Y を、それぞれ、式（６）、式（７）で定義すると、式（５）から、式（８）で表される残差方程式が成立する。
【００１８】
【数４】
2009253873.tif 000006
・・・（６）
【００１９】
【数５】
2009253873.tif 000007
・・・（７）
【００２０】
X・W ＝ Y＋E      ・・・（８）
【００２１】
この場合、教師データとしてのHD 画素の画素値y に最も近い予測値E[y] を求めるための予測係数wi は、例えば、式（９）で表される自乗誤差を最小にすることで求めることができる。
【００２２】
【数６】
2009253873.tif 000008
・・・（９）
【００２３】
従って、式（９）で表される自乗誤差を予測係数wiで微分したものが0になる場合、即ち、式（１０）を満たす予測係数wiが、教師データとしてのHD画素の画素値yに近い予測値E[y]を求めるための最適値ということになる。
【００２４】
【数７】
2009253873.tif 000009
・・・（１０）
【００２５】
そこで、まず、式（８）を、予測係数wi で微分することにより、式（１１）が成立する。
【００２６】
【数８】
2009253873.tif 000010
・・・（１１）
【００２７】
式（１０）及び（１１）より、式（１２）が得られる。
【００２８】
【数９】
2009253873.tif 000011
・・・（１２）
【００２９】
さらに、式（９）の残差方程式における生徒データx、予測係数w、教師データy、および残差e の関係を考慮すると、式（１２） から、式（１３）のような正規方程式を得ることができる。
【００３０】
【数１０】
2009253873.tif 000012
・・・（１３）
【００３１】
式（１３）の正規方程式は、求めるべき予測係数w の数nと同じ数だけたてることができる。従って、式（１３）を解くことで、最適な予測係数w を求めることができる。但し、式（１３）を解くには、予測係数w にかかる係数で構成される行列が正則である必要がある。また、式（１３）を解くにあたっては、例えば、掃き出し法(Gauss−Jordan の消去法) などを適用することが可能である。
【００３２】
以上のようにして、学習により最適な予測係数w を求めておく。そして、その予測係数w を用い、式（１）により、HD 画素の画素値y に近い予測値E[y] を求める処理が適応処理である。
【００３３】
なお、適応処理は、SD 画像には含まれていない成分、即ちHD 画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と、適応処理とは同一にみえる。しかしながら、適応処理では、その補間フィルタのタップ係数に相当する予測係数w が、教師データy を用いた学習により求められるため、HD 画像に含まれる成分を再現することができる。即ち、高解像度の画像を容易に得ることができる。このことから、適応処理は、いわば画像(の解像度) の創造作用がある処理ということができる。
【００３４】
次に、図１を参照して、適応処理によりSD 画像をHD 画像に変換する画像変換装置の一例としての画像変換装置１について説明する。
【００３５】
図１は、画像変換装置１の構成例を示している。
【００３６】
画像変換装置１は、予測タップ選択部２、クラスタップ選択部３、クラス分類部４、係数メモリ５、及び予測演算部６から構成される。
【００３７】
予測タップ選択部２及びクラスタップ選択部３には、外部からSD画像が供給される。
【００３８】
予測タップ選択部２は、適応処理により予測値を求めようとしているHD 画素を、処理対象として注目すべき注目画素に設定する。予測タップ選択部２は、例えば、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを、SD画像から選択し、その予測タップのデータを、予測演算部６に供給する。
【００３９】
クラスタップ選択部３は、例えば、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを、SD画像から選択し、そのクラスタップのデータを、クラス分類部４に供給する。
【００４０】
クラス分類部４は、クラスタップ選択部３から供給されるクラスタップのデータに基づいて、すなわち、クラスタップを構成するSD画素の性質に基づいて、注目画素を所定のクラスにクラス分類し、係数メモリ５に供給する。すなわち、例えば、クラス分類部４は、クラスタップを構成するSD 画素の画素値のパターン(画素値の分布) を検出し、そのパターンにあらかじめ割り当てられた値を、注目画素のクラスとして算出する。
【００４１】
係数メモリ５には、あらかじめ学習により求められた予測係数がクラス毎に記憶されている。係数メモリ５は、クラス分類部４からクラスが供給されると、そのクラスに対応する予測係数を読み出し、予測演算部６に供給する。
【００４２】
予測演算部６は、予測タップ選択部２から供給される注目画素に対する予測タップのデータと、係数メモリ５から供給される注目画素のクラスに対応する予測係数とを用いて、注目画素の画素値を予測し、HD 画素の画素値として外部に出力する。すなわち、予測演算部６は、係数メモリ５からの予測係数w1，w2，・・・，wnと、予測タップ選択部２からの予測タップを構成するSD 画素（の画素値）x1，x2，・・・xnとを用いて、式（１）に示した演算（予測演算）を行うことにより、注目画素（HD 画素）y の予測値E[y] を求める。
【特許文献１】特開２００２−２１８４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００４３】
しかしながら、上述した従来のクラス分類手法を用いて画像変換を行った場合、特に、ズーム時等の高倍密変換を行った場合に解像度感が不足するといった問題や、リンギングが発生するといった問題等が生じていた。
【００４４】
本発明は、このような状況に鑑みてなされたものであり、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができるようにするものである。
【課題を解決するための手段】
【００４５】
本発明の第１の側面の画像処理装置は、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、前記クラス分類手段により分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算する予測演算手段とを備える。
【００４６】
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、前記位相算出手段には、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求めさせることができる。
【００４７】
前記位相は、前記注目画素の画素値と前記エッジ領域の全体についての画素値範囲との位置関係を表す情報であり、前記位相算出手段には、前記波形から、前記注目画素を含む所定の位置範囲を検出させ、検出された前記位置範囲に基づいて前記エッジ領域の全体についての画素値範囲を求めさせることができる。
【００４８】
前記位置範囲は、画素値の単純増加または単純減少する位置範囲であるようにすることができる。
【００４９】
本発明の第１の側面の画像処理方法またはプログラムは、画像処理装置またはコンピュータが実行するステップとして、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、算出された前記位相に基づいて、前記注目画素をクラス分類し、分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素を予測演算するステップを含む。
【００５０】
本発明の第２の側面の画像処理装置は、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成する生徒生成手段と、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類するクラス分類手段と、前記クラス分類手段により分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成する係数生成手段とを備える。
【００５１】
前記位相は、前記エッジ領域の変曲点と前記注目画素との位置関係を表す情報であり、前記位相算出手段には、前記波形の前記注目画素における二次微分値に基づいて、前記変曲点の位置を求めさせることができる。
【００５２】
前記位相は、前記注目画素と前記エッジ領域の全体との位置関係を表す情報であり、前記位相算出手段には、前記波形から、前記注目画素を含む所定の位置範囲を検出し、検出した前記位置範囲に基づいて前記エッジ領域の全体の位置を求めさせることができる。
【００５３】
前記位置範囲は、画素値の単純増加または単純減少する位置範囲であるようにすることができる。
【００５４】
本発明の第２の側面の画像処理方法またはプログラムは、画像処理装置またはコンピュータが実行するステップとして、第１の画像を教師として入力し、前記第１の画像から生徒としての第２の画像を生成し、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係を位相として算出し、算出された前記位相に基づいて、前記注目画素をクラス分類し、分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数を生成するステップを含む。
【００５５】
本発明の第１の側面においては、第１の画像から第２の画像に変換するために、前記第１の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係が位相として算出され、算出された前記位相に基づいて、前記注目画素がクラス分類され、分類された前記注目画素のクラスにより特定される予測係数と、前記注目画素を含む前記第１の画像における画素のデータ群とを用いて、前記第２の画像を構成する画素が予測演算される。
【００５６】
本発明の第２の側面においては、第１の画像が教師として入力され、前記第１の画像から生徒としての第２の画像が生成され、前記第２の画像の所定方向の波形を形成している画素群のうちの注目画素と、前記波形に含まれるエッジ領域との位置関係が位相として算出され、算出された前記位相に基づいて、前記注目画素がクラス分類され、分類された前記注目画素のクラスについて、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる予測係数が生成される。
【発明の効果】
【００５７】
本発明の第１の側面によれば、入力画像を出力画像に変換することができる。特に、入力画像をより鮮明な出力画像に変換することができる。即ち、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成することができる。
【００５８】
本発明の第２の側面によれば、入力画像を出力画像に変換するために用いる予測係数を生成することができる。特に、入力画像をより鮮明な出力画像に変換するために用いる予測係数を生成することができる。即ち、高倍密変換時に従来以上に高解像度の画像信号を生成したり、リンギングを低減した画像信号を生成するために用いる予測係数を生成することができる。
【発明を実施するための最良の形態】
【００５９】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００６０】
まず、第１の実施の形態について説明する。
【００６１】
図２は、本発明が適用される画像変換システム１０の構成例を示す図である。
【００６２】
まず、画像変換システム１０で採用するクラス分類手法について、従来のクラス分類手法と対比させながら説明する。なお、説明の便宜上、処理対象は装置であるとして説明していく。
【００６３】
従来のクラス分類手法では、装置は、入力された画素のデータを用いてクラス分類を行っていた。すなわち、従来のクラス分類手法では、装置は、画素精度で得られる特徴量を利用してクラス分類を行っていた。
【００６４】
具体的には、例えば、従来のクラス分類手法では、装置は、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類を行っていた。すなわち、装置は、入力画像から任意のデータを取得し、取得したデータ毎のダイナミックレンジ(画素値の最大値と最小値の差分)に応じて、適応的な量子化を行っていた。すなわち、従来のクラス分類手法では、装置は、入力された画素のデータを用いてクラス分類を行っていた。したがって、従来のクラス分類手法は、画素精度で得られる特徴量を利用したクラス分類手法であると把握することができる。
【００６５】
それに対して、画像変換システム１０で採用するクラス分類手法では、装置は、画素精度より細かい情報、即ち、画素以下の情報を用いる。具体的には、画像変換システム１０で採用するクラス分類手法では、装置は、入力画像の所定方向についての波形の変曲点を求め、その変曲点位置に応じてクラス分類を行う。但し、この変曲点位置は、その波形の二次微分値を利用して算出する。よって、変曲点位置が求まらない場合、変曲点位置の代わりに二次微分値が利用されてクラス分類が行われる。つまり、この二次微分値や変曲点位置が、画素以下の情報に相当する。
【００６６】
なお、波形の方向は、特に限定されない。但し、第１の実施の形態では、水平方向の波形に特化して説明を行う。
【００６７】
第１の実施の形態（及び後述する第２の実施の形態）では、動画像の処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールド等でも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない点留意すべきである。
【００６８】
画像変換システム１０は、学習装置１１及び画像変換装置１２から構成される。
【００６９】
学習装置１１は、予測係数を学習する。この予測係数は、画像変換装置１２によるマッピング処理における予測演算に用いられる。マッピング処理については後述する。学習装置１１は、学習の教師となる教師画像を入力する。学習装置１１は、教師画像から、学習の生徒となる生徒画像を生成する。学習装置１１は、これらの教師画像と生徒画像とを用いて予測係数を学習する学習処理を行う。そして、学習装置１１は、学習した予測係数を画像変換装置１２に供給する。
【００７０】
なお、教師画像及び生徒画像の解像度については、特に限定されない。但し、第１の実施の形態では、教師画像として、例えば16倍密HD画像（SD画像に対して縦横各4倍の解像度のHD画像）を採用し、また、生徒画像として、例えばSD画像を採用するとする。また、これらの画像変換装置１２への入力画像は、生徒画像と同解像度の画像となる。画像変換装置１２からの出力画像は、教師画像と同解像度の画像となる。
【００７１】
画像変換装置１２は、学習装置１１から供給される予測係数を内部の係数メモリ２１に記憶する。また、画像変換装置１２は、外部から供給されるSD画像を入力画像とし、その入力画像に対してマッピング処理を施し、その結果得られる16倍密HD画像を出力画像として外部に出力する。なお、画像変換装置１２は、係数メモリ２１に記憶された予測係数を適宜読み出し、マッピング処理で実行する予測演算に使用する。
【００７２】
ここで、マッピング処理とは、学習処理により得られた予測係数を用いて、SD画像からHD予測画像を得る処理をいう。
【００７３】
なお、係数メモリ２１は、図２の例では画像変換装置１２の一構成要素となっている。しかし、係数メモリ２１は、画像変換装置１２の外部に設けてもよい。
【００７４】
図３は、学習装置１１の内部構成例を示すブロック図である。
【００７５】
学習装置１１は、入力部４１、教師タップ選択部４２、生徒画像生成部４３、特徴量算出クラスタップ選択部４４、クラス分類部４５、予測タップ選択部４６、正規方程式加算部４７、及び係数データ生成部４８から構成される。
【００７６】
入力部４１は、教師画像を入力し、教師タップ選択部４２及び生徒画像生成部４３に供給する。
【００７７】
教師タップ選択部４２は、教師画像から教師タップを選択し、その教師タップのデータを正規方程式加算部４７に提供する。教師タップは、生徒画像における注目画素に対して所定の位置関係にある教師画像内の画素から選択される。なお、注目画素は、後述する特徴量算出クラスタップ選択部４４により設定される。
【００７８】
生徒画像生成部４３は、教師画像から生徒画像を生成し、特徴量算出クラスタップ選択部４４及び予測タップ選択部４６に供給する。例えば、生徒画像生成部４３は、教師画像に対して、LPF(Low Pass Filter)を用いるダウンコンバート処理を施すことで、生徒画像を生成する。
【００７９】
特徴量算出クラスタップ選択部４４は、生徒画像を構成する各画素を注目画素に順次設定する。特徴量算出クラスタップ選択部４４は、注目画素を含む水平方向のN画素分のデータから、水平方向の波形の二次微分値を特徴量として算出し、クラス分類部４５に供給する。但し、Nは、二次微分値を算出するために用いる画素の数で決まる。また、特徴量算出クラスタップ選択部４４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択し、そのクラスタップのデータを、クラス分類部４５に供給する。
【００８０】
クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給される二次微分値から、水平方向の波形の変曲点を求める。クラス分類部４５は、変曲点位置が算出可能な場合、その変曲点位置を特徴量として算出する。これに対して、クラス分類部４５は、変曲点位置が算出不可能な場合、二次微分値をそのまま特徴量として採用する。そして、
クラス分類部４５は、特徴量に基づいて、注目画素をクラス分類する。なお、以下、このようなクラス分類を他のクラス分類と区別するために、特徴量クラス分類と称する。また、特徴量クラス分類で分類されるクラスを、以下、特徴量クラスと称する。さらに、特徴量クラスを特定可能なコードを、以下、特徴量クラスコードと称する。即ち、クラス分類部４５は、注目画素についての特徴量クラスコードを生成する。
【００８１】
また、クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素をクラス分類する。このようなクラス分類を他のクラス分類と区別するために、以下、ADRCクラス分類と称する。また、ADRCクラス分類で分類されるクラスを、以下、ADRCクラスと称する。さらに、ADRCクラスを特定可能なコードを、以下、ADRCクラスコードと称する。即ち、クラス分類部４５は、注目画素についてのADRCクラスコードを生成する。
【００８２】
そして、クラス分類部４５は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部４７に供給する。
【００８３】
予測タップ選択部４６は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択し、その予測タップのデータを、正規方程式加算部４７に供給する。
【００８４】
正規方程式加算部４７は、教師タップ選択部４２から供給される教師タップのデータ、及び予測タップ選択部４６から供給される予測タップのデータを、クラス分類部４５から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。正規方程式加算部４７は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部４８に供給する。
【００８５】
係数データ生成部４８は、正規方程式加算部４７から供給された正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ２１に記憶させる。
【００８６】
次に、図４を参照して、教師タップ選択部４２による教師タップの選択、特徴量算出クラスタップ選択部４４によるクラスタップの選択、及び予測タップ選択部４６による予測タップの選択について説明する。
【００８７】
図４Ａは、クラスタップの一例を示している。図４Ｂは、予測タップの一例を示している。
【００８８】
図４Ａ及び４Ｂにおいて、縦方向は生徒画像の垂直方向を示し、横方向は生徒画像の水平方向を示している。
【００８９】
図４Ａ及び４Ｂにおいて、中央の画素が、注目画素であるとする。
【００９０】
この場合、特徴量算出クラスタップ選択部４４は、例えば、注目画素a3を中心とする水平方向に並んだ画素a1乃至a5、並びに、注目画素a3を挟んで垂直方向に並んだ画素a6乃至a9の集合体をクラスタップに選択する。
【００９１】
予測タップ選択部４６は、例えば、注目画素aa3から水平方向に２画素ずつ離れている画素aa1及びaa5、並びに、注目画素aa3から垂直方向に２画素ずつ離れている画素aa6及びaa9を４頂点とする菱形の辺上若しくは内部に存在する画素aa1乃至aa13の集合体を予測タップに選択する。
【００９２】
教師タップ選択部４２は、教師画像のうちの複数の画素、すなわち、注目画素の左上の画素p1、右上の画素p2、左下の画素p3、及び右下の画素p4を４隅の画素とする正方形の辺上または内部に存在する図示せぬ画素を含む９の画素から、教師タップを選択する。これらの９の画素を、以下、処理画素群と称する。なお、処理画素群のうちの図示している画素p1乃至p4は、特徴量クラスについての予測係数の学習に利用される画素である。処理画素群のうちの図示していない画素は、特徴量クラスについての予測係数の学習に利用されない画素、すなわち、ADRCクラスの予測係数の学習にのみ利用される画素である。
【００９３】
図４Ａを参照したまま、クラス分類部４５による変曲点位置の算出について説明する。
【００９４】
クラス分類部４５は、例えば、図４Ａの実線の両矢印で示される２つの領域のそれぞれについて、その領域に水平方向の波形の変曲点が存在する場合、すなわち、その変曲点位置が算出可能な場合、その変曲点位置を算出する。ここで、実線の両矢印で示される２つの領域とは、注目画素の左隣の画素と注目画素の間の領域と、注目画素と注目画素の右隣の画素の間の領域とを指す。なお、これらの領域を、以下、適宜、処理対象領域と称する。それに対して、クラス分類部４５は、例えば、図４Ａの点線の両矢印で示される２つの領域については、変曲点位置を算出しない。ここで、点線の両矢印で示される２つの領域とは、注目画素の２つ左の画素と左隣の画素の間の領域と、注目画素の右隣の画素と注目画素の２つ右の画素の間の領域とを指す。
【００９５】
すなわち、例えば、クラス分類部４５は、上述した２つの処理対象領域のうちの１つを注目領域に設定し、注目領域の両端における水平方向の波形の二次微分値から、水平方向の波形の変曲点を求める。そして、クラス分類部４５は、水平方向の波形の変曲点が注目領域に存在する場合、注目領域の変曲点位置を算出する。
【００９６】
但し、水平方向の波形の二次微分値は、特徴量算出クラスタップ選択部４４で算出される特徴量である。
【００９７】
次に、図５を参照して、特徴量算出クラスタップ選択部４４による二次微分値の算出について説明する。
【００９８】
図５は、二次微分値の算出に用いる画素の一例を示している。
【００９９】
特徴量算出クラスタップ選択部４４は、注目画素ab3を中心とする水平方向に並んだ画素ab1乃至ab5を、二次微分値の算出用の画素として採用する。
【０１００】
図５では、各処理対象領域の両端の画素が枠で囲まれている。すなわち、左側の処理対象領域についての左端の画素ab2と右端の注目画素ab3とが枠で囲まれている。また、右側の処理対象領域についての左端の注目画素ab3と右端の画素ab4とが枠で囲まれている。
【０１０１】
図５に示すように、注目画素ab3の水平方向（x方向）の位置をx0と表し、隣接する画素どうしの間隔を1とする。すなわち、画素ab1、ab2、ab3、ab4、及びab5のx方向位置を、それぞれ、x0−2、x0−1、x0、x0＋1、及びx0＋2と表すとする。
【０１０２】
いま、クラス分類部４５により、図４Ａの右側の処理対象領域、すなわち、図５の右側の枠内の位置x0、x0＋1の間の領域が注目領域として設定されているとする。
【０１０３】
この場合、特徴量算出クラスタップ選択部４４は、位置x0、x0＋1における水平方向の波形の二次微分値を算出する。
【０１０４】
位置xにおける波形をf(x)と表すとすると、位置x0、x0＋1における二次微分値f”(x0)、f”(x0＋1)は、式（１４）で表される。
【０１０５】
f”(x0) ＝ f(x0−1)＋f(x0＋1)−2×f(x0)
f”(x0＋1) ＝ f(x0)＋f(x0＋2)−2×f(x0＋1)
・・・（１４）
【０１０６】
ここで、f(x0−1)、f(x0)、f(x0＋1)、及びf(x0＋2)は、それぞれ、画素ab2、ab3、ab4、及びab5の画素値を示している。すなわち、二次微分値f”(x0)は、画素ab2、ab3、ab4の画素値から算出される。二次微分値f”(x0＋1)は、画素ab3、ab4、ab5の画素値から算出される。
【０１０７】
クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)から、注目領域の変曲点位置が算出可能であれば、注目領域の変曲点位置を算出する。そして、クラス分類部４５は、変曲点位置を算出した場合には変曲点を、算出しない場合には二次微分値f”(x0)、f”(x0＋1)を特徴量に設定する。そして、クラス分類部４５は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。なお、特徴量クラスのクラス数は特に限定されない。但し、第１の実施の形態では、特徴量クラスコードが0乃至7の8クラスを採用するとする。
【０１０８】
具体的には、クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)及びf”(x0＋1)のうちのいずれか一つが「0」の場合、通常の処理を行う。すなわち、クラス分類部４５は、それらの二次微分値に基づいて、特徴量クラスに分類する特徴量クラス分類を行う。変曲点位置が位置x0、x0＋1のいずれかに確定しており、変曲点位置の算出が不要だからである。すなわち、クラス分類部４５は、二次微分値f”(x0)が「0」で、二次微分値f”(x0＋1)が「0」でない場合、特徴量クラスコード「0」を生成し、また、二次微分値f”(x0)が「0」でなく、二次微分値f”(x0＋1)が「0」の場合、特徴量クラスコード「3」を生成する。
【０１０９】
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が同符号の場合、変曲点が注目領域に存在しないので、変曲点位置の算出は行わない。そして、クラス分類部４５は、|f”(x0)|＞|f”(x0＋1)|の場合と|f”(x0)|＜|f”(x0＋1)|の場合で別々の特徴量クラスに分類する（|a|は、aの絶対値を表す）。すなわち、例えば、クラス分類部４５は、前者の場合には、特徴量クラスコード「4」を生成し、また、後者の場合には、特徴量クラスコード「5」を生成する。このように、２つの二次微分値の大小関係に応じてクラスを分ける理由については後述する。
【０１１０】
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が異符号の場合、変曲点が注目領域に存在するので、式（１５）に従って、変曲点位置を算出する。但し、この変曲点位置は、位置x0を基準（0）とした位置である。
【０１１１】
[変曲点位置] = |f”(x0)|/(|f”(x0) |＋|f”(x0＋1)|)
・・・（１５）
【０１１２】
例えば、図６に示すように、位置x0と位置x0＋1の間の領域を、0.25刻みで４つの領域にさらに分け、左の領域から順に、特徴量クラスコード0、1、2、及び3をあらかじめ割り当てておく。
【０１１３】
そして、クラス分類部４５は、例えば、算出した変曲点位置が、図６の４つの領域のうちの何れの領域に属するのかを認識し、属する領域に割り当てられた特徴量クラスコードを生成する。
【０１１４】
すなわち、クラス分類部４５は、算出した変曲点位置が位置x0から位置x0＋0.25の領域にある場合、その領域に割り当てられた特徴量クラスコード「0」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.25から位置x0＋0.5の領域にある場合、その領域に割り当てられた特徴量クラスコード「1」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.5から位置x0＋0.75の領域に含まれる場合、その領域に割り当てられた特徴量クラスコード「2」を生成する。クラス分類部４５は、算出した変曲点位置が位置x0＋0.75から位置x0＋1の領域にある場合、その領域に割り当てられた特徴量クラスコード「3」を生成する。なお、クラス分類部４５は、算出した変曲点位置が領域どうしの境界にある場合、その境界の左に位置する領域に割り当てられた特徴量クラスコードを生成する。具体的には、例えば、変曲点位置が位置x0＋0.25（位置x0から位置x0＋0.25の領域と、位置x0＋0.25から位置x0＋0.5の領域の境界）にある場合、その境界の左に位置する位置x0から位置x0＋0.25の領域に割り当てられた特徴量クラスコード「0」を生成する。
【０１１５】
すなわち、クラス分類部４５は、特徴量クラスコードを、式（１６）に従って生成することになる。
【０１１６】
[特徴量クラスコード] = {|f”(x0)|/(|f”(x0)＋f”(x0＋1)|)}/0.25
・・・（１６）
【０１１７】
但し、式（１６）において、右辺の演算値に対して少数点以下の切捨てを行うとする。
【０１１８】
クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)が上述したいずれの条件にも該当しない場合、通常処理を行う。すなわち、クラス分類部４５は、それらの二次微分値に基づいて、特徴量クラスに分類する特徴量クラス分類を行う。上述したいずれの条件にも該当しない場合とは、波形が複雑である等の特殊な場合だからである。
【０１１９】
具体的には、クラス分類部４５は、例えば、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)について、f”(x0) ＝ f”(x0＋1) ≠ 0が成立する場合、特徴量クラスコード「6」を生成する。また、クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0)、f”(x0＋1)について、f”(x0) ＝ f”(x0＋1) ＝ 0が成立する場合、特徴量クラスコード「7」を生成する。
【０１２０】
そして、クラス分類部４５は、残りの方の処理対象領域、すなわち、例えば、図４Ａの左側の処理対象領域（図５の左側の枠内の位置x0、x0＋1の間の領域）を注目領域に設定し、同様の処理を行う。すなわち、クラス分類部４５は、特徴量算出クラスタップ選択部４４で算出された二次微分値f”(x0−1)とf”(x0)から、適宜、注目領域の変曲点位置を算出する。そして、クラス分類部４５は、変曲点位置または二次微分値f”(x0−1)、f”(x0)に基づいて、注目画素を特徴量クラスに分類する。
【０１２１】
クラス分類部４５は、例えば、このようにして生成された２つの処理対象領域のそれぞれについての特徴量クラスコードから、最終的な特徴量クラスコードを生成する。
【０１２２】
クラス分類部４５は、例えば、（最終的な）特徴量クラスコードとADRCクラスコードとから、全体のクラスコードを求め、正規方程式加算部４７に供給する。
【０１２３】
次に、図７乃至９を参照して、２つの二次微分値が同符号の場合、２つの二次微分値の大小関係に応じて別々のクラスに分類する理由について説明する。
【０１２４】
図７Ａは、ある教師画像Pの一部と、教師画像P中のバツ(×)印の画素を注目画素としたときの水平方向の波形Fとを示している。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。波形が示されているグラフの縦軸と横軸についての前提事項は、図８Ａでも同様とされる。
【０１２５】
図７Ａのような場合、すなわち、波形のうちのエッジ領域の変曲点が位置x0と位置x0＋1の間にある場合、二次微分値f”(x0−1)とf”(x0)は同符号となる。一方、二次微分値f”(x0)とf”(x0＋1)は異符号となっている。図７Ａのように、エッジ領域の変曲点が注目画素から遠い場合、すなわち、エッジ領域の変曲点が位置x0と位置x0＋1の間の位置x0＋1寄りにある場合、|f”(x0−1)|と|f”(x0)|の大小関係は、|f”(x0−1)|＜|f”(x0)|となる。実際、図７Ｂに示すように、二次微分値f”(x0−1)、f”(x0)は、それぞれ、31、93となっている。
【０１２６】
図８Ａは、図７Ａと同じ教師画像Pの一部と、教師画像P中の図７Ａ中のバツ印の画素とは異なる位置のバツ印の画素を注目画素としたときの水平方向の波形Fとを示している。
【０１２７】
図８Ａのような場合、すなわち、波形のうちのエッジ領域の変曲点が位置x0と位置x0＋1の間にある場合、二次微分値f”(x0−1)とf”(x0)は同符号となる。一方、二次微分値f”(x0)とf”(x0＋1)は異符号となっている。図８Ａのように、エッジ領域の変曲点が注目画素から近い場合、すなわち、エッジ領域の変曲点が位置x0と位置x0＋1の間の位置x0寄りにある場合、|f”(x0−1)|と|f”(x0)|の大小関係は、|f”(x0−1)|＞|f”(x0)|となる。実際、図７Ｂに示すように、二次微分値f”(x0−1)、f”(x0)は、それぞれ、78、40となっている。
【０１２８】
図９を参照して、２つの二次微分値の大小関係についてまとめる。
【０１２９】
図９Ａ及び９Ｂは、波形Fのうちのエッジ領域を示す模式図である。
【０１３０】
図９Ａ及び９Ｂにおいて、横軸は水平方向位置xを示し、縦軸は画素値Iを示す。
【０１３１】
図９Ａに示すように、注目画素が変曲点から遠い場合、|f”(x0−1)|＜|f”(x0)|となる。一方、図９Ｂに示すように、注目画素が変曲点から近い場合、|f”(x0−1)|＞|f”(x0)|となる。
【０１３２】
図９Ａと図９Ｂの波形は、注目画素が変曲点に近いか遠いかの違いがある。よって、従来のクラス分類処理（ADRCクラス分類処理等）では、図９Ａと図９Ｂの波形を分類することはできなかった。これに対して、本発明が適用される特徴量クラス分類では、図９Ａと図９Ｂの波形を分類することができる。その結果、適応処理の性能を向上させることができるという効果を奏することが可能になる。さらに、|f”(x0−1)|と|f”(x0)|の大小関係だけではなく、|f”(x0−1)|と|f”(x0)|の差と、教師画像との関係を求め、例えば、非線形の要素を入れる等して、それらを分類することで、効果はより顕著なものとなる。
【０１３３】
次に、図１０及び１１のフローチャートを参照して、学習装置１１による学習処理の一例について説明する。
【０１３４】
ステップＳ１において、入力部４１は、教師画像を入力し、教師タップ選択部４２及び生徒画像生成部４３に供給する。
【０１３５】
ステップＳ２において、生徒画像生成部４３は、教師画像から生徒画像を生成し、特徴量算出クラスタップ選択部４４及び予測タップ選択部４６に供給する。
【０１３６】
ステップＳ３において、特徴量算出クラスタップ選択部４４は、生徒画像のうちのまだ設定していない所定の画素を注目画素に設定する。
【０１３７】
ステップＳ４において、特徴量算出クラスタップ選択部４４は、注目画素を含む水平方向に並んだN画素分のデータを、特徴量の算出に用いるデータに設定する。但し、Nは、二次微分値を算出するための画素の数で決まる。
【０１３８】
ステップＳ５において、特徴量算出クラスタップ選択部４４とクラス分類部４５は、特徴量を算出する。即ち、特徴量算出クラスタップ選択部４４は、設定したデータから水平方向の波形の二次微分値を算出し、クラス分類部４５に供給する。クラス分類部４５は、その二次微分値から水平方向の波形の変曲点を求め、その変曲点位置が算出可能か否かを試みる。クラス分類部４５は、その試みに成功した場合、その変曲点位置を特徴量として算出する。これに対して、その試みに失敗した場合、クラス分類部４５は、二次微分値をそのまま特徴量として採用する。
【０１３９】
ステップＳ６において、クラス分類部４５は、例えば、図５及び図６を参照して前述したように、特徴量に基づいて特徴量クラス分類を行う。クラス分類部４５は、特徴量クラス分類の結果として、特徴量クラスコードを生成する。
【０１４０】
ステップＳ７において、特徴量算出クラスタップ選択部４４は、図４Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択する。
【０１４１】
ステップＳ８において、特徴量算出クラスタップ選択部４４は、選択したクラスタップのデータを、クラス分類部４５に供給する。
【０１４２】
ステップＳ９において、クラス分類部４５は、特徴量算出クラスタップ選択部４４から供給されるクラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部４５は、ADRCクラスコードを生成する。
【０１４３】
ステップＳ１０において、教師タップ選択部４２は、教師画像から教師タップを選択する。
【０１４４】
ステップＳ１１において、教師タップ選択部４２は、選択した教師タップのデータを、正規方程式加算部４７に供給する。
【０１４５】
ステップＳ１２において、クラス分類部４５は、ステップＳ６で生成した特徴量クラスコード及びステップＳ９で生成したADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部４７に供給する。なお、クラス分類部４５は、注目画素に対して所定の位置関係にある処理画素群のうちの、例えば、図４Ａに示した画素p1乃至p4のいずれか１つが教師タップとして選択されている場合、特徴量クラスコード及びADRCクラスコードを用いて全体のクラスコードを生成する。クラス分類部４５は、処理画素群のうちの画素p1乃至p4以外の画素が教師タップとして選択されている場合、ADRCクラスコードだけを用いて全体のクラスコードを生成する。
【０１４６】
ステップＳ１３において、予測タップ選択部４６は、図４Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択する。
【０１４７】
ステップＳ１４において、予測タップ選択部４６は、選択した予測タップのデータを、正規方程式加算部４７に供給する。
【０１４８】
ステップＳ１５において、正規方程式加算部４７は、教師タップ選択部４２から供給される教師タップのデータ、及び予測タップ選択部４６から供給される予測タップのデータを、クラス分類部４５から供給されるクラスコード毎に式（１３）の正規方程式に足し込みを行う。
【０１４９】
ステップＳ１６において、教師タップ選択部４２は、教師タップが処理画素群のうちの最後の画素か否かを判定する。
【０１５０】
教師タップが処理画素群のうちの最後の画素でない場合、ステップＳ１６において、ＮＯと判定されて、処理はステップＳ１０に戻され、それ以降、同様の処理が繰り返される。
【０１５１】
即ち、処理画素群の全ての画素に対して、ステップＳ１０乃至Ｓ１６の処理が繰り返し実行される。その結果、処理画素群の全ての画素に対して足し込みの処理が行われることになる。
【０１５２】
そして、教師タップが処理画素群のうちの最後の画素とされて、ステップＳ１５の処理が終了すると、ステップＳ１６において、ＹＥＳと判定されて、処理はステップＳ１７に進む。
【０１５３】
ステップＳ１７において、特徴量算出クラスタップ選択部４４は、注目画素が生徒画像の最後の画素か否かを判定する。
【０１５４】
注目画素が生徒画像の最後の画素でない場合、ステップＳ１７において、ＮＯと判定されて、処理はステップＳ３に戻され、それ以降、同様の処理が繰り返される。
【０１５５】
即ち、生徒画像の全ての画素が注目画素に設定され、ステップＳ３乃至Ｓ１７の処理が繰り返し実行される。その結果、生徒画像の全ての画素に対して足し込みの処理が行われることになる。これにより、教師画像の全ての画素に対しても足し込みの処理が行われることになる。
【０１５６】
そして、注目画素が生徒画像の最後の画素に設定され、さらに、ステップＳ１６でＹＥＳと判定されると、ステップＳ１７において、ＹＥＳと判定されて、処理はステップＳ１８に進む。
【０１５７】
ステップＳ１８において、入力部４１は、教師画像は最後の画像か否かを判定する。
【０１５８】
教師画像は最後の画像でない場合、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１に戻され、それ以降、同様の処理が繰り返される。
【０１５９】
即ち、教師画像とすべき画像全てに対してステップＳ１乃至Ｓ１８の処理が繰り返し実行される。その結果、教師画像とすべき画像全てに対して足し込みの処理が行われることになる。
【０１６０】
そして、教師画像とすべき画像のうちの最後の画像が教師画像とされ、さらに、ステップＳ１７でＹＥＳと判定されると、ステップＳ１８において、ＹＥＳと判定されて、処理はステップＳ１９に進む。
【０１６１】
ステップＳ１９において、正規方程式加算部４７は、足し込んだ正規方程式を係数データ生成部４８に供給する。
【０１６２】
ステップＳ２０において、係数データ生成部４８は、正規方程式を例えば掃き出し法によりクラスごとに解くことで、クラスごとの予測係数を生成し、外部の係数メモリ２１に記憶させる。そして、最後の予測係数が係数メモリ２１に記憶されると、学習処理は終了する。
【０１６３】
以上、図２の画像変換システム１０のうちの学習装置１１について説明した。次に、画像変換装置１２について説明する。
【０１６４】
図１２は、画像変換装置１２の内部構成例を示すブロック図である。
【０１６５】
画像変換装置１２は、係数メモリ２１、入力部７１、特徴量算出クラスタップ選択部７２、クラス分類部７３、係数取得部７４、予測タップ選択部７５、及び積和演算部７６から構成される。
【０１６６】
画像変換装置１２の特徴量算出クラスタップ選択部７２及びクラス分類部７３は、学習装置１１における特徴量算出クラスタップ選択部４４及びクラス分類部４５と基本的に同様の構成と機能を有している。したがって、画像変換装置１２は、学習装置１１と同様に、特徴量の算出及び特徴量クラス分類を行うことができる。以下、これらの説明を適宜省略する。
【０１６７】
係数メモリ２１には、学習装置１１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
【０１６８】
入力部７１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部７１は、フレームを入力画像として入力し、特徴量算出クラスタップ選択部７２及び予測タップ選択部７５に供給する。
【０１６９】
特徴量算出クラスタップ選択部７２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量算出クラスタップ選択部７２は、注目画素を含む水平方向に並んだN画素分のデータから、水平方向の波形の二次微分値を特徴量として算出し、クラス分類部７３に供給する。但し、Nは、二次微分値を算出するために用いる画素の数で決まる。また、特徴量算出クラスタップ選択部７２は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータをクラス分類部７３に供給する。
【０１７０】
クラス分類部７３は、特徴量算出クラスタップ選択部７２から供給される二次微分値から、水平方向の波形の変曲点を求め、その変曲点位置が算出可能な場合、その変曲点位置を特徴量として算出する。これに対して、変曲点位置が算出不可能な場合、クラス分類部７３は、二次微分値をそのまま特徴量として採用する。クラス分類部７３は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。すなわち、クラス分類部７３は、特徴量クラスコードを生成する。
【０１７１】
クラス分類部７３は、特徴量算出クラスタップ選択部７２から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部７３は、ADRCクラスコードを生成する。
【０１７２】
そして、クラス分類部４５は、注目画素についての特徴量クラスコード及びADRCクラスコードから、注目画素についての全体のクラスコードを生成し、係数取得部７４に供給する。
【０１７３】
係数取得部７４は、注目画素のクラスコードに対応付けられた予測係数を係数メモリ２１から取得し、積和演算部７６に供給する。
【０１７４】
予測タップ選択部７５は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部７６に供給する。
【０１７５】
積和演算部７６は、出力画像を構成する各画素の中から対象画素を設定する。対象画素としては、注目画素に対して所定の位置関係にある出力画像内の所定の画素が設定される。積和演算部７６は、予測タップ選択部７５から供給される予測タップのデータと、係数取得部７４から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。そして、積和演算部７６は、マッピングの結果得られる対象画素の画素値を外部に出力する。
【０１７６】
ここで、図１３を参照して、特徴量算出クラスタップ選択部７２によるクラスタップの選択、予測タップ選択部７５による予測タップの選択、及び積和演算部７６による対象画素の設定について説明する。
【０１７７】
図１３Ａは、クラスタップの一例を示している。図１３Ｂは、予測タップの一例を示している。
【０１７８】
図１３Ａ及び１３Ｂにおいて、縦方向は入力画像の垂直方向を示し、横方向は入力画像の水平方向を示している。
【０１７９】
図１３Ａ及び１３Ｂにおいて、中央の画素が、注目画素であるとする。
【０１８０】
この場合、特徴量算出クラスタップ選択部７２は、例えば、注目画素b3を中心とする水平方向に並んだ画素b1乃至b5、並びに、注目画素b3を挟んで垂直方向に並んだ画素b6乃至b9の集合体をクラスタップに選択する。
【０１８１】
予測タップ選択部７５は、例えば、注目画素bb3から水平方向に２画素ずつ離れている画素bb1及びbb5、並びに、注目画素bb3から垂直方向に２画素ずつ離れている画素bb6及びbb9を４頂点とする菱形の辺上若しくは内部に存在する画素bb1乃至bb13の集合体を予測タップに選択する。
【０１８２】
積和演算部７６は、例えば、出力画像の複数の画素、すなわち、注目画素の左上の画素q1、右上の画素q2、左下の画素q3、及び右下の画素q4を４隅の画素とする正方形の辺上または内部に存在する図示せぬ画素を含む９の画素から対象画素を選択する。これらの９の画素を、以下、処理画素群と称する。なお、図示している画素q1乃至q4は、特徴量クラス分類を行うことで生成される画素である。処理画素群のうちの図示していない画素は、特徴量クラス分類を行わずに生成される画素、すなわち、ADRCクラス分類のみを行うことで生成される画素である。
【０１８３】
次に、図１４及び１５のフローチャートを参照して、画像変換装置１２によるマッピング処理の一例について説明する。
【０１８４】
なお、係数メモリ２１には、学習装置１１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
【０１８５】
ステップＳ４１において、入力部７１は、フレームを入力する。そのフレームは、入力画像として特徴量算出クラスタップ選択部７２及び予測タップ選択部７５に供給される。
【０１８６】
ステップＳ４２において、特徴量算出クラスタップ選択部７２は、入力画像を構成する画素のうちのまだ設定していない所定画素を注目画素に設定する。
【０１８７】
ステップＳ４３において、特徴量算出クラスタップ選択部７２は、注目画素を含む水平方向に並んだN画素分のデータを、特徴量の算出に用いるデータに設定する。但し、Nは、二次微分値を算出するための画素の数で決まる。
【０１８８】
ステップＳ４４において、特徴量算出クラスタップ選択部７２とクラス分類部７３は、特徴量を算出する。即ち、特徴量算出クラスタップ選択部７２は、設定したデータから水平方向の波形の二次微分値を算出し、クラス分類部７３に供給する。クラス分類部７３は、その二次微分値から水平方向の波形の変曲点を求め、その変曲点位置が算出可能か否かを試みる。クラス分類部７３は、その試みに成功した場合、その変曲点位置を特徴量として算出する。これに対して、その試みに失敗した場合、クラス分類部７３は、二次微分値をそのまま特徴量として採用する。
【０１８９】
ステップＳ４５において、クラス分類部７３は、例えば、図５及び図６を参照して前述したように、特徴量に基づいて特徴量クラス分類を行う。クラス分類部７３は、特徴量クラス分類の結果として、特徴量クラスコードを生成する。
【０１９０】
ステップＳ４６において、特徴量算出クラスタップ選択部７２は、図１３Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択する。
【０１９１】
ステップＳ４７において、特徴量算出クラスタップ選択部７２は、選択したクラスタップのデータを、クラス分類部７３に供給する。
【０１９２】
ステップＳ４８において、特徴量算出クラスタップ選択部７２から供給されるクラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、クラス分類部７３は、ADRCクラスコードを生成する。
【０１９３】
ステップＳ４９において、積和演算部７６は、出力画像の所定の画素を対象画素に設定する。
【０１９４】
ステップＳ５０において、クラス分類部７３は、ステップＳ４５で生成した特徴量クラスコード及びステップＳ４８で生成したADRCクラスコードから、全体のクラスコードを生成し、係数取得部７４に供給する。なお、クラス分類部７３は、注目画素に対して所定の位置関係にある処理画素群、例えば、図１３Ａに示した画素q1乃至q4のいずれか１つが対象画素に選択されている場合、特徴量クラスコード及びADRCクラスコードを用いて全体のクラスコードを生成する。クラス分類部７３は、処理画素群のうちの画素q1乃至q4以外の画素が対象画素に選択されている場合、ADRCクラスコードだけを用いて全体のクラスコードを生成する。
【０１９５】
ステップＳ５１において、予測タップ選択部７５は、図１３Ｂに示すような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択する。
【０１９６】
ステップＳ５２において、予測タップ選択部７５は、選択した予測タップのデータを、積和演算部７６に供給する。
【０１９７】
ステップＳ５３において、係数取得部７４は、注目画素のクラスコードに対応付けられた予測係数を係数メモリ２１から取得し、積和演算部７６に供給する。
【０１９８】
ステップＳ５４において、積和演算部７６は、予測タップ選択部７５から供給される予測タップのデータと、係数取得部７４から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部７６は、マッピングの結果得られる対象画素の画素値を外部に出力する。
【０１９９】
ステップＳ５５において、積和演算部７６は、対象画素が処理画素群のうちの最後の画素か否かを判定する。
【０２００】
対象画素が処理画素群のうちの最後の画素でない場合、ステップＳ５５において、ＮＯと判定されて、処理はステップＳ４９に戻され、それ以降、同様の処理が繰り返される。
【０２０１】
即ち、処理画素群の画素全てに対して、ステップＳ４９乃至Ｓ５５の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して画素値が求められることになる。
【０２０２】
そして、対象画素が処理画素群のうちの最後の画素とされて、ステップＳ５４の処理が終了すると、ステップＳ５５において、ＹＥＳと判定されて、処理はステップＳ５６に進む。
【０２０３】
ステップＳ５６において、特徴量算出クラスタップ選択部７２は、注目画素が入力画像の最後の画素か否かを判定する。
【０２０４】
注目画素が入力画像の最後の画素でない場合、ステップＳ５６において、ＮＯと判定されて、処理はステップＳ４２に戻され、それ以降、同様の処理が繰り返される。
【０２０５】
即ち、入力画像の全ての画素が注目画素に設定され、ステップＳ４２乃至Ｓ５６の処理が繰り返し実行される。その結果、入力画像の全ての画素に対して、式（１）の積和演算が行われることになる。また、出力画像の全ての画素に対して画素値が求まることになる。
【０２０６】
そして、注目画素が入力画像の最後の画素とされて、ステップＳ５５でＹＥＳと判定されると、ステップＳ５６において、ＹＥＳと判定されて、処理はステップＳ５７に進む。
【０２０７】
ステップＳ５７において、入力部７１は、入力画像は最後の画像か否かを判定する。
【０２０８】
入力画像は最後の画像でない場合、ステップＳ５７においてＮＯと判定されて、処理はステップＳ４１に戻され、それ以降、同様の処理が繰り返される。
【０２０９】
即ち、外部からフレームが供給される限り、ステップＳ４１乃至Ｓ５７の処理が繰り返し実行される。すなわち、外部からフレームが供給されなくなるまで、外部から供給されるフレームとしての入力画像に対して出力画像の生成が行われることになる。
【０２１０】
そして、外部から最後のフレームが供給され、入力画像とされて、ステップＳ５６で、ＹＥＳと判定されると、ステップＳ５７において、ＹＥＳと判定されて、マッピング処理は終了する。
【０２１１】
次に、図１６乃至２２を参照して、本発明の手法によりマッピングされた画像（以下、特徴量ありの出力画像と称する）と、従来の手法（ADRCクラス分類のみ）によりマッピングされた画像（以下、特徴量なしの出力画像と称する）とを比較する。特徴量ありの出力画像とは、図１４，図１５のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価と、SNR(Signal to Noise ratio)を評価する定量評価の結果を用いて比較する。
【０２１２】
図１６は、教師画像P1の一部とその波形を示している。図１７は、教師画像P1に対する特徴量なしの出力画像P2の一部とその波形を示している。図１８は、教師画像P1に対する特徴量ありの出力画像P3の一部とその波形を示している。
【０２１３】
図１６乃至図１８の画像は、本来カラー画像である。そして、その画像内に示される波形は、画像中のバツ印の画素mが存在するラインにおける、RGB(Red-Green-Blue)の各色画像の水平方向の波形R、波形G、及び波形Bである。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。また、これらの前提は、図１９乃至２１でも同様である。
【０２１４】
特徴量なしの出力画像P2及び特徴量ありの出力画像P3の波形の楕円で囲んだ部分を注目部分として説明する。
【０２１５】
特徴量ありの出力画像P3の波形の注目部分では、特徴量なしの出力画像P2の波形の注目部分に比べて、定性的には、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P3では、特徴量なしの出力画像P2に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、注目部分の波打ちが少なく、リンギングに関しても減少していることが分かる。
【０２１６】
図１９は、教師画像P4の一部とその各色画像の波形を示している。図２０は、教師画像P4に対する特徴量なしの出力画像P5の一部とその各色画像の波形を示している。図２１は、教師画像P4に対する特徴量ありの出力画像P6の一部とその各色画像の波形を示している。
【０２１７】
特徴量なしの出力画像P5及び特徴量ありの出力画像P6の波形の楕円で囲んだ部分を注目部分として説明する。
【０２１８】
特徴量ありの出力画像P6の波形の注目部分では、特徴量なしの出力画像P5の波形の注目部分に比べて、定性的には、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P6では、特徴量なしの出力画像P5に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P6の注目部分では、特徴量なしの出力画像P5の注目部分に比べて、注目部分の波打ちが少なく、定性的に、リンギングに関しても減少していることが分かる。
【０２１９】
次に、定量評価の結果を、図２２を参照して説明する。
【０２２０】
図２２は、定量評価の結果の一覧表を示している。
【０２２１】
図２２において、一覧表の第１列には、教師画像の画像番号が示されている。一覧表の第２列には、第１列の教師画像に対する特徴量なしの出力画像のSNRが示されている。一覧表の第３列には、第１列の教師画像に対する特徴量ありの出力画像のSNRが示されている。
【０２２２】
例えば、一覧表の第２行に注目すると、画像番号0の教師画像に対する特徴量なしの出力画像のSNRは、29.09944である。それに対して、その教師画像に対する特徴量ありの出力画像のSNRは、29.23068である。すなわち、特徴量ありの出力画像のSNRは、特徴量なしの出力画像のSNRに比べて、0.13124だけ大きい。
【０２２３】
一覧表の第３行に注目すると、画像番号1の教師画像に対する特徴量なしの出力画像のSNRは、31.89576である。それに対して、その教師画像に対する特徴量ありの出力画像のSNRは、32.03182である。すなわち、特徴量なしの出力画像のSNRは、特徴量ありの出力画像のSNRに比べて、0.13606だけ大きい。以下、同様である。
【０２２４】
画像番号1乃至9の教師画像に対する特徴量ありの出力画像のSNRは、それらの教師画像に対する特徴量なしの出力画像のSNRに比べて、全て大きくなっているという結果である。すなわち、SNRは向上していることが分かる。よって、特徴量クラス分類を追加することにより、SNRが向上するという効果があることが分かる。
【０２２５】
但し、これらの結果は、水平方向のみの分類結果である。したがって、例えば、垂直方向についても特徴量クラス分類を行うと、さらにSNRが改善する。
【０２２６】
以上のように、学習装置１１及び画像変換装置１２は、特徴量、すなわち、変曲点位置及び二次微分値をクラス分類に利用することで、従来のクラス分類手法で分類することができなかった波形パターンを用いてクラス分類することができる。言い換えれば、学習装置１１及び画像変換装置１２は、従来のクラス分類手法に比べてより似ている波形パターンを集めてクラス分類を行うことができる。したがって、画像変換装置１２の適応処理の性能を、従来のクラス分類手法を用いた適応処理の場合に比べて向上させることができる。
【０２２７】
即ち、画像変換装置１２は、従来のクラス分類手法を採用した適応処理の結果得られる画像と比較して、高解像度の画像、すなわち、例えば、エッジを急峻に立たせた画像を生成することができる、という効果を奏することが可能になる。特に、ズーム時に高倍密変換を行った場合に、その効果は顕著なものとなる。さらに、画像変換装置１２は、リンギングを低減した画像を生成することができる。
【０２２８】
したがって、画像変換装置１２は、従来のクラス分類手法を採用した場合に発生してしまう問題点、即ち、ズーム時に高倍密変換を行った場合の解像度感の不足やリンギングの発生等といった問題点を解決することができる。
【０２２９】
次に、第２の実施の形態について説明する。
【０２３０】
図２３は、本発明が適用される画像変換システム１２０の構成例を示す図である。
【０２３１】
画像変換システム１２０で採用するクラス分類手法では、装置は、入力画像の所定方向についての波形のうちの注目画素を含む所定領域に注目し、その所定領域についての画素値範囲における注目画素の画素値の位置に応じてクラス分類を行う。なお、画素値範囲については後述する。
【０２３２】
なお、波形の方向は、特に限定されない。但し、第２の実施の形態では、水平方向の波形に特化して説明を行う。
【０２３３】
画像変換システム１２０は、学習装置１２１及び画像変換装置１２２から構成される。
【０２３４】
学習装置１２１は、予測係数を学習する。この予測係数は、画像変換装置１２２によるマッピング処理による予測演算に用いられる。学習装置１２１は、学習の教師となる教師画像を入力する。学習装置１２１は、教師画像から、学習の生徒となる生徒画像を生成する。学習装置１１は、これらの教師画像と生徒画像とを用いて予測係数を学習する学習処理を行う。そして、学習装置１２１は、学習した予測係数を画像変換装置１２２に供給する。
【０２３５】
なお、教師画像及び生徒画像の解像度については、特に限定されない。但し、第２の実施の形態では、教師画像として、例えば16倍密HD画像を採用し、また、生徒画像として、例えばSD画像を採用するとする。画像変換装置１２２への入力画像は、生徒画像と同解像度の画像となる。画像変換装置１２２からの出力画像は、教師画像と同解像度の画像となる。
【０２３６】
画像変換装置１２２は、学習装置１２１から供給される予測係数を内部の係数メモリ１３１に記憶する。また、画像変換装置１２２は、外部から供給されるSD画像を入力画像とし、その入力画像に対してマッピング処理を施し、その結果得られる16倍密HD画像を出力画像として外部に出力する。なお、画像変換装置１２２は、係数メモリ１３１に記憶された予測係数を適宜読み出し、マッピング処理で実行する予測演算に使用する。
【０２３７】
なお、係数メモリ１３１は、図２３の例では画像変換装置１２２の一構成要素となっている。しかし、係数メモリ１３１は、画像変換装置１２２の外部に設けてもよい。
【０２３８】
図２４は、学習装置１２１の内部構成例を示すブロック図である。
【０２３９】
学習装置１２１は、入力部１５１、教師タップ選択部１５２、生徒画像生成部１５３、特徴量取得部１５４、特徴量クラス分類部１５５、クラスタップ選択部１５６、ADRCクラス分類部１５７、クラスコード生成部１５８、予測タップ選択部１５９、正規方程式加算部１６０、及び係数データ生成部１６１から構成される。
【０２４０】
入力部１５１には、外部から教師画像が供給される。
【０２４１】
入力部１５１は、教師画像を入力し、教師タップ選択部１５２及び生徒画像生成部１５３に供給する。
【０２４２】
教師タップ選択部１５２は、教師画像から教師タップを選択し、その教師タップのデータを正規方程式加算部１６０に供給する。教師タップは、注目画素に対して所定の位置関係にある教師画像内の画素から選択される。なお、注目画素は、後述する特徴量取得部１５４により設定される。
【０２４３】
生徒画像生成部１５３は、教師画像から生徒画像を生成し、特徴量取得部１５４、クラスタップ選択部１５６、及び予測タップ選択部１５９に供給する。すなわち、例えば、生徒画像生成部１５３は、教師画像に対して、LPFを用いてダウンコンバートを行うことにより、生徒画像を生成する。
【０２４４】
特徴量取得部１５４は、生徒画像を構成する各画素を注目画素に順次設定する。特徴量取得部１５４は、注目画素を含む水平方向のデータから、水平方向の波形のうちの所定の位置範囲をエッジ領域の全体（以下、エッジ領域全体と称する）として検出する。特徴量取得部１５４は、エッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として取得して、特徴量クラス分類部１５５に供給する。
【０２４５】
特徴量クラス分類部１５５は、特徴量から、即ち、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、エッジ領域全体についての画素値範囲における注目画素の画素値の位置（以下、注目画素位置と称する）を特徴量として求める。ここで、画素値範囲とは、エッジ領域全体についての最小画素値と最大画素値との間の画素値が取り得る範囲をいう。例えば、後述する図２６のβが画素値範囲の一例である。
【０２４６】
特徴量クラス分類部１５５は、特徴量に基づいて、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部１５５は、特徴量クラスコードを生成する。特徴量クラスコードは、クラスコード生成部１５８に提供される。
【０２４７】
クラスタップ選択部１５６は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択し、そのクラスタップのデータを、ADRCクラス分類部１５７に供給する。
【０２４８】
ADRCクラス分類部１５７は、クラスタップ選択部１５６から供給されるクラスタップのデータを用いてADRCクラス分類を行う。即ち、特徴量クラス分類部１５５は、ADRCクラスコードを生成する。ADRCクラスコードは、クラスコード生成部１５８に提供される。
【０２４９】
クラスコード生成部１５８は、特徴量クラス分類部１５５から供給される特徴量クラスコード、及びADRCクラス分類部１５７から供給されるADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部１６０に供給する。
【０２５０】
予測タップ選択部１５９は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択し、その予測タップのデータを、正規方程式加算部１６０に供給する。
【０２５１】
正規方程式加算部１６０は、教師タップ選択部１５２から供給される教師タップのデータ、及び予測タップ選択部１５９から供給される予測タップのデータを、クラスコード生成部１５８から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。正規方程式加算部１６０は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部１６１に供給する。
【０２５２】
係数データ生成部１６１は、正規方程式加算部１６０から供給された正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ１３１に記憶させる。
【０２５３】
ここで、図２５を参照して、教師タップ選択部１５２による教師タップの選択、クラスタップ選択部１５６によるクラスタップの選択、及び予測タップ選択部１５９による予測タップの選択について説明する。
【０２５４】
図２５Ａは、クラスタップの一例を示している。図２５Ｂは、予測タップの一例を示している。
【０２５５】
図２５Ａ及び２５Ｂにおいて、縦方向は生徒画像の垂直方向を示し、横方向は生徒画像の水平方向を示している。
【０２５６】
図２５Ａ及び２５Ｂにおいて、中央の画素が、注目画素とする。
【０２５７】
この場合、クラスタップ選択部１５６は、例えば、注目画素c3を中心とする水平方向に並んだ画素c1乃至c5、並びに、注目画素c3を挟んで垂直方向に並んだ画素c6乃至c9の集合体をクラスタップに選択する。
【０２５８】
予測タップ選択部１５９は、例えば、注目画素cc3から水平方向に２画素ずつ離れている画素cc1及びcc5、並びに、注目画素cc3から垂直方向に２画素ずつ離れている画素cc6及びcc9を４頂点とする菱形の辺上若しくは内部に存在する画素cc1乃至cc13の集合体を予測タップに選択する。
【０２５９】
教師タップ選択部１５２は、例えば、注目画素に対して所定の位置関係にある教師画像の画素r1乃至r3、r5乃至r7、r9乃至r11の９の画素から教師タップを選択する。これらの９の画素を、以下、処理画素群と称する。
【０２６０】
次に、図２６を参照して、注目画素位置についての特徴量クラス分類について概要を説明する。
【０２６１】
図２６は、波形Fのうちのエッジ領域を示している。
【０２６２】
図２６において、縦軸は画素値Iを示し、横軸は水平方向位置xを示している。
【０２６３】
注目画素位置は、注目画素の画素値と最小画素値minとの差分αと、最大画素値maxと最小画素値minとの差分βとの比α/βで表される。ここで、差分βとは、上述の如く、画素値範囲を意味する。
【０２６４】
特徴量クラス分類部１５５は、例えば、この比α/βを用いた次の式（１７）に従った演算を行うことで、特徴量クラスコードを生成する。
【０２６５】
［特徴量クラスコード］＝α／β×(［クラス数］−1)
・・・・（１７）
【０２６６】
なお、式（１７）の右辺の演算値の小数点以下は切り捨てるとする。式（１７）において、クラス数は、特徴量クラスのクラス数を表す。また、特徴量クラスの１つを平坦の場合のクラスとして利用する。
【０２６７】
図２６における最大画素値max及び最小画素値minは、具体的には例えば、次のように取得される。
【０２６８】
特徴量取得部１５４は、注目画素を含む水平ラインの画素群の画素値の系列のうち、即ち、水平方向の波形のうち、ある位置範囲をエッジ領域全体の範囲として検出する。特徴量取得部１５４は、検出したエッジ領域全体の範囲の両端の画素値のうち、大きい方を最大画素値maxとして、小さい方を最小画素値minとして、それぞれ取得する。
【０２６９】
ここでいう「ある位置範囲」とは、画素値の単純増加または単純減少する位置範囲をいう。
【０２７０】
まず、単純増加の場合について最大画素値max及び最小画素値minの取得手法について、図２７を参照して説明する。
【０２７１】
図２７（及び後述する図２８）において、縦軸は画素値Iを示し、横軸は水平方向位置xを示している。
【０２７２】
図２７において、注目画素の水平方向位置をx0と表し、水平方向で隣接する画素どうしの間隔を１とする。また、水平方向位置xにおける波形をf(x)と表すとする。
【０２７３】
特徴量取得部１５４は、例えば、注目画素よりマイナス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の左端として検出する。
【０２７４】
図２７の例では、f(x0)−f(x0−1)＞0、f(x0−1)−f(x0−2)≦0なので、特徴量取得部１５４は、位置x0−1を、画素値の単純増加の範囲の左端として検出する。
【０２７５】
特徴量取得部１５４は、例えば、注目画素よりプラス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の右端として検出する。
【０２７６】
図２７の例では、f(x0＋1)−f(x0)＞0、f(x0＋2)−f(x0＋1)＞0、f(x0＋3)−f(x0＋2) ≦0なので、特徴量取得部１５４は、位置x0＋2を、画素値の単純増加の範囲の右端として検出する。
【０２７７】
このようにして、特徴量取得部１５４は、画素値の単純増加する範囲、すなわち、位置x0−1から位置x0＋2までの範囲をエッジ領域の全体として検出する。
【０２７８】
そして、特徴量取得部１５４は、単純増加であることから、最小画素値をf(x0−1)、最大画素値f(x0＋2)として取得し、特徴量クラス分類部１５５に供給する。
【０２７９】
図２７を引き続き参照しながら、特徴量クラス分類部１５５による特徴量クラス分類について説明する。
【０２８０】
特徴量クラス分類部１５５は、特徴量取得部１５４から供給されるエッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を比α/βとして求める。
【０２８１】
図２７の例では、特徴量クラス分類部１５５は、注目画素位置を、(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))として求めることになる。
【０２８２】
そして、特徴量クラス分類部１５５は、求めた注目画素位置から、特徴量クラスコードを生成する。このようにすることで、注目画素についての特徴量クラス分類が行われる。
【０２８３】
すなわち、特徴量クラス分類部１５５は、注目画素位置(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))から、式（１７）に従って、(f(x0)−f(x0−1))/(f(x0＋2)−f(x0−1))×7（小数点以下を切り捨て）を特徴量クラスコードとして算出する。
【０２８４】
なお、波形が平坦の場合、すなわち、f(x0−1) ＝ f(x0) ＝ f(x0＋1)の場合、特徴量クラスコードは式（１７）から求められるクラスコードのクラスとは別のクラス(クラスコードは7)とされる。
【０２８５】
次に、単純減少の場合の最大画素値max及び最小画素値minの取得手法について、図２８を参照して説明する。
【０２８６】
特徴量取得部１５４は、例えば、注目画素よりマイナス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の左端として検出する。
【０２８７】
図２８の例では、f(x0)−f(x0−1)＜0、f(x0−1)−f(x0−2)≧0なので、特徴量取得部１５４は、位置x0−1を、画素値の単純減少する範囲の左端として検出する。
【０２８８】
特徴量取得部１５４は、例えば、注目画素よりプラス方向については、まず注目画素を処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。特徴量取得部１５４は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の右端として検出する。
【０２８９】
図２８の例では、f(x0＋1)−f(x0)＜0、f(x0＋2)−f(x0＋1)＜0、f(x0＋3)−f(x0＋2)≧0なので、特徴量取得部１５４は、位置x0＋2を、画素値の単純減少の範囲の右端として検出する。
【０２９０】
このようにして、特徴量取得部１５４は、画素値の単純減少する範囲、すなわち、位置x0−1から位置x0＋2までの範囲をエッジ領域の全体として検出する。
【０２９１】
そして、特徴量取得部１５４は、単純減少であることから、最小画素値をf(x0＋2)、最大画素値f(x0−1)として取得し、特徴量クラス分類部１５５に供給する。また、特徴量取得部１５４は、注目画素の画素値f(x0)を、特徴量クラス分類部１５５に供給する。
【０２９２】
図２８を引き続き参照しながら、特徴量クラス分類部１５５による特徴量クラス分類について説明する。
【０２９３】
特徴量クラス分類部１５５は、特徴量取得部１５４から供給されるエッジ領域全体の最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を比α/βとして求める。
【０２９４】
図２７の例では、特徴量クラス分類部１５５は、注目画素位置を、(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))として求めることになる。
【０２９５】
そして、特徴量クラス分類部１５５は、求めた注目画素位置から、特徴量クラスコードを生成する。これにより、注目画素についての特徴量クラス分類が行われる。
【０２９６】
すなわち、特徴量クラス分類部１５５は、注目画素位置(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))から、式（１７）に従って、(f(x0)−f(x0＋2))/(f(x0−1) −f(x0＋2))×7（小数点以下を切り捨て）を特徴量クラスコードとして算出する。
【０２９７】
なお、波形が平坦の場合、すなわち、f(x0−1) ＝ f(x0) ＝ f(x0＋1)の場合、上述したように、特徴量クラスコードは式（１７）から求められるクラスコードのクラスとは別のクラス(クラスコードは7)とされる。
【０２９８】
次に、図２９及び３０のフローチャートを参照して、学習装置１２１による学習処理の一例について説明する。
【０２９９】
ステップＳ７１において、入力部１５１は、教師画像を入力し、教師タップ選択部１５２及び生徒画像生成部１５３に供給する。
【０３００】
ステップＳ７２において、生徒画像生成部１５３は、教師画像から生徒画像を生成し、特徴量取得部１５４、クラスタップ選択部１５６、及び予測タップ選択部１５９に供給する。
【０３０１】
ステップＳ７３において、特徴量取得部１５４は、生徒画像の所定の画素を注目画素に設定する。
【０３０２】
ステップＳ７４において、特徴量取得部１５４は、注目画素を含む水平ラインの画素群の各画素値の系列のうち、即ち、水平方向の波形のうち、所定の位置範囲をエッジ領域全体として検出する。
【０３０３】
ステップＳ７５において、特徴量取得部１５４は、検出したエッジ領域全体の最大画素値と最小画素値、並びに注目画素の画素値を特徴量として取得して、特徴量クラス分類部１５５に供給する。
【０３０４】
ステップＳ７６において、特徴量クラス分類部１５５は、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部１５５は、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を求める。そして、特徴量クラス分類部１５５は、例えば、図２６を参照して上述したように、求めた注目画素位置に基づいて特徴量クラス分類を行う。すなわち、特徴量クラス分類部１５５は、特徴量クラスコードを生成する。特徴量クラスコードは、クラスコード生成部１５８に供給される。
【０３０５】
ステップＳ７７において、クラスタップ選択部１５６は、図２５Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択する。
【０３０６】
ステップＳ７８において、クラスタップ選択部１５６は、選択したクラスタップのデータを、ADRCクラス分類部１５７に供給する。
【０３０７】
ステップＳ７９において、ADRCクラス分類部１５７は、クラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部１５７は、ADRCクラスコードを生成する。ADRCクラスコードは、クラスコード生成部１５８に供給される。
【０３０８】
ステップＳ８０において、クラスコード生成部１５８は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、正規方程式加算部１６０に供給する。
【０３０９】
ステップＳ８１において、教師タップ選択部１５２は、教師画像から教師タップを選択する。
【０３１０】
ステップＳ８２において、教師タップ選択部１５２は、選択した教師タップのデータを、正規方程式加算部１６０に供給する。
【０３１１】
ステップＳ８３において、予測タップ選択部１５９は、図２５Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択する。
【０３１２】
ステップＳ８４において、予測タップ選択部１５９は、選択した予測タップのデータを、正規方程式加算部１６０に供給する。
【０３１３】
ステップＳ８５において、正規方程式加算部１６０は、教師タップ選択部１５２から供給される教師タップのデータ、及び予測タップ選択部１５９から供給される予測タップのデータを、クラスコード生成部１５８から供給されるクラスコード毎に式（１３）の正規方程式に足し込む。
【０３１４】
ステップＳ８６において、教師タップ選択部１５２は、教師タップが処理画素群のうちの最後の画素かを判定する。
【０３１５】
教師タップが処理画素群のうちの最後の画素でない場合、ステップＳ８６において、ＮＯと判定されて、処理はステップＳ８１に戻され、それ以降、同様の処理が繰り返される。
【０３１６】
即ち、処理画素群の画素全てに対して、ステップＳ８１乃至Ｓ８６の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して足し込みの処理が行われることになる。
【０３１７】
そして、教師タップが処理画素群のうちの最後の画素とされて、ステップＳ８５の処理が終了すると、ステップＳ８６において、ＹＥＳと判定されて、処理はステップＳ８７に進む。
【０３１８】
ステップＳ８７において、特徴量取得部１５４は、注目画素が生徒画像の最後の画素か否かを判定する。
【０３１９】
注目画素が生徒画像の最後の画素でない場合、ステップＳ８７において、ＮＯと判定されて、処理はステップＳ７３に戻され、それ以降、同様の処理が繰り返される。
【０３２０】
即ち、生徒画像の全ての画素が注目画素に設定され、ステップＳ７３乃至Ｓ８７の処理が繰り返し実行される。その結果、生徒画像の全ての画素に対して、足し込みの処理が行われることになる。これにより、教師画像の全ての画素に対しても、足し込みの処理が行われることになる。
【０３２１】
そして、注目画素が生徒画像の最後の画素とされて、ステップＳ８６の処理で、ＹＥＳと判定されると、ステップＳ８７において、ＹＥＳと判定されて、処理はステップＳ８８に進む。
【０３２２】
ステップＳ８８において、入力部１５１は、教師画像は最後の画像かを判定する。
【０３２３】
教師画像は最後の画像でない場合、ステップＳ８８においてＮＯと判定されて、処理はステップＳ７１に戻され、それ以降、同様の処理が繰り返される。
【０３２４】
即ち、教師画像とすべき画像全てに対してステップＳ７１乃至Ｓ８８の処理が繰り返し実行される。その結果、教師画像とすべき画像全てに対して足し込みの処理が行われることになる。
【０３２５】
そして、教師画像が最後の画像とされて、ステップＳ８７の処理で、ＹＥＳと判定されると、ステップＳ８８において、ＹＥＳと判定されて、処理はステップＳ８９に進む。
【０３２６】
ステップＳ８９において、正規方程式加算部１６０は、それまでに足し込んだ正規方程式を係数データ生成部１６１に供給する。
【０３２７】
ステップＳ９０において、係数データ生成部１６１は、正規方程式を例えば掃き出し法により解くことにより、クラス毎に予測係数を生成し、外部の係数メモリ１３１に記憶させる。そして、最後の予測係数が係数メモリ１３１に記憶されると、学習処理は終了する。
【０３２８】
以上、図２３の画像変換システム１２０のうちの学習装置１２１について説明した。次に、画像変換装置１２２について説明する。
【０３２９】
図３１は、画像変換装置１２２の内部構成例を示すブロック図である。
【０３３０】
画像変換装置１２２は、係数メモリ１３１、入力部２１１、特徴量取得部２１２、特徴量クラス分類部２１３、クラスタップ選択部２１４、ADRCクラス分類部２１５、クラスコード生成部２１６、係数取得部２１７、予測タップ選択部２１８、及び積和演算部２１９から構成される。
【０３３１】
画像変換装置１２２の特徴量取得部２１２及び特徴量クラス分類部２１３は、学習装置１２１における特徴量取得部１５４及び特徴量クラス分類部１５５と基本的に同様の構成と機能を有している。したがって、画像変換装置１２２は、学習装置１２１と同様に、特徴量の算出及び特徴量クラス分類を行うことができる。以下、これらの説明を適宜省略する。
【０３３２】
なお、係数メモリ１３１には、学習装置１２１によりクラスコード（特徴量クラスとADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
【０３３３】
入力部２１１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部２１１は、フレームを入力画像として入力し、特徴量取得部２１２、クラスタップ選択部２１４、及び予測タップ選択部２１８に供給する。
【０３３４】
特徴量取得部２１２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量取得部２１２は、注目画素を含む水平方向のデータから、水平方向の波形のうちの所定の位置範囲をエッジ領域全体として検出し、検出したエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として得て、特徴量クラス分類部２１３に供給する。
【０３３５】
特徴量クラス分類部２１３は、特徴量取得部２１２から供給されるエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、エッジ領域全体の画素値範囲における注目画素の位置（注目画素位置）を特徴量として求める。そして、特徴量クラス分類部２１３は、求めた特徴量に基づいて、注目画素についての特徴量クラス分類を行う。すなわち、特徴量クラス分類部２１３は、特徴量クラスコードを生成し、クラスコード生成部２１６に供給する。
【０３３６】
クラスタップ選択部２１４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータを、ADRCクラス分類部２１５に供給する。
【０３３７】
ADRCクラス分類部２１５は、クラスタップ選択部２１４から供給されるクラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部２１５は、ADRCクラスコードを生成し、クラスコード生成部２１６に供給する。
【０３３８】
クラスコード生成部２１６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２１７に供給する。
【０３３９】
係数取得部２１７は、クラスコード生成部２１６から供給される注目画素のクラスコードに対応付けられた予測係数を係数メモリ１３１から取得し、積和演算部２１９に供給する。
【０３４０】
予測タップ選択部２１８は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部２１９に供給する。
【０３４１】
積和演算部２１９は、出力画像の所定の画素を対象画素に設定する。対象画素は、注目画素に対して所定の位置関係にある出力画像内の画素に設定される。積和演算部２１９は、予測タップ選択部２１８から供給される予測タップのデータと、係数取得部２１７から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部２１９は、マッピングの結果得られる対象画素の画素値を外部に出力する。
【０３４２】
ここで、図３２を参照して、クラスタップ選択部２１４によるクラスタップの選択、予測タップ選択部２１８による予測タップの選択、及び積和演算部２１９による対象画素の設定について説明する。
【０３４３】
図３２Ａは、クラスタップの一例を示している。図３２Ｂは、予測タップの一例を示している。
【０３４４】
図３２Ａ及び３２Ｂにおいて、縦方向は入力画像の垂直方向を示し、横方向は入力画像の水平方向を示している。
【０３４５】
図３２Ａ及び３２Ｂにおいて、中央の画素が、注目画素とする。
【０３４６】
この場合、クラスタップ選択部２１４は、例えば、注目画素d3を中心とする水平方向に並んだ画素d1乃至d5、並びに、注目画素d3を挟んで垂直方向に並んだ画素d6乃至d9の集合体をクラスタップに選択する。
【０３４７】
予測タップ選択部２１８は、例えば、注目画素dd3から水平方向に２画素ずつ離れている画素dd1及びdd5、並びに、注目画素dd3から垂直方向に２画素ずつ離れている画素dd6及びdd9を４頂点とする菱形の辺上若しくは内部に存在する画素dd1乃至dd13の集合体を予測タップに選択する。
【０３４８】
積和演算部２１９は、例えば、注目画素に対して所定の位置関係にある出力画像内の画素s1乃至s3、s5乃至s7、並びにs9乃至s11の９の画素のうちの所定の画素を対象画素に設定する。これらの９の画素を、以下、処理画素群と称する。
【０３４９】
次に、図３３及び３４のフローチャートを参照して、画像変換装置１２２によるマッピング処理の一例について説明する。
【０３５０】
なお、係数メモリ１３１には、学習装置１２１によりクラスコード（特徴量クラス及びADRCクラスから特定される全体のクラスコード）毎に生成された予測係数があらかじめ記憶されているとする。
【０３５１】
ステップＳ１１１において、入力部２１１は、フレームを入力する。そのフレームは、入力画像として、特徴量取得部２１２、クラスタップ選択部２１４、及び予測タップ選択部２１８に供給される。
【０３５２】
ステップＳ１１２において、特徴量取得部２１２は、入力画像を構成する画素のうちのまだ設定していない所定画素を注目画素に設定する。
【０３５３】
ステップＳ１１３において、特徴量取得部２１２は、注目画素を含む水平ラインの画素群の各画素値の系列のうち、即ち、水平方向の波形のうち、所定の位置範囲をエッジ領域全体として検出する。
【０３５４】
ステップＳ１１４において、特徴量取得部２１２は、検出したエッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値を、特徴量として取得し、特徴量クラス分類部２１３に供給する。
【０３５５】
ステップＳ１１５において、特徴量クラス分類部２１３は、注目画素についての特徴量クラス分類を行う。特徴量クラス分類部２１３は、エッジ領域全体についての最大画素値及び最小画素値、並びに注目画素の画素値から、注目画素位置を求める。そして、特徴量クラス分類部２１３は、例えば、図２６を参照して前述したように、求めた注目画素位置に基づいて、特徴量クラス分類を行う。すなわち、特徴量クラス分類部２１３は、特徴量クラスコードを生成し、クラスコード生成部２１６に供給する。
【０３５６】
ステップＳ１１６において、クラスタップ選択部２１４は、図３２Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択する。
【０３５７】
ステップＳ１１７において、クラスタップ選択部２１４は、選択したクラスタップのデータを、ADRCクラス分類部２１５に供給する。
【０３５８】
ステップＳ１１８において、ADRCクラス分類部２１５は、クラスタップのデータを用いて例えば1bitADRCを行うことにより、注目画素についてのADRCクラス分類を行う。すなわち、ADRCクラス分類部２１５は、ADRCクラスコードを生成し、クラスコード生成部２１６に供給する。
【０３５９】
ステップＳ１１９において、クラスコード生成部２１６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２１７に供給する。
【０３６０】
ステップＳ１２０において、積和演算部２１９は、出力画像の所定の画素を対象画像に設定する。
【０３６１】
ステップＳ１２１において、予測タップ選択部２１８は、図３２Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択する。
【０３６２】
ステップＳ１２２において、予測タップ選択部２１８は、選択した予測タップのデータを、積和演算部２１９に供給する。
【０３６３】
ステップＳ１２３において、係数取得部２１７は、注目画素についてのクラスコードに対応付けられた予測係数を係数メモリ１３１から取得し、積和演算部２１９に供給する。
【０３６４】
ステップＳ１２４において、積和演算部２１９は、予測タップ選択部２１８から供給される予測タップのデータと、係数取得部２１７から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。そして、積和演算部２１９は、マッピングの結果得られる対象画素の画素値を外部に出力する。
【０３６５】
ステップＳ１２５において、積和演算部２１９は、対象画素が処理画素群のうちの最後の画素かを判定する。
【０３６６】
対象画素が処理画素群のうちの最後の画素でない場合、ステップＳ１２５において、ＮＯと判定されて、処理はステップＳ１２０に戻され、それ以降、同様の処理が繰り返される。
【０３６７】
即ち、処理画素群の画素全てに対して、ステップＳ１２０乃至Ｓ１２５の処理が繰り返し実行される。その結果、処理画素群の画素全てに対して画素値が求められることになる。
【０３６８】
そして、対象画素が処理画素群の画素のうちの最後の画素とされて、ステップＳ１２４の処理が終了すると、ステップＳ１２５において、ＹＥＳと判定されて、処理はステップＳ１２６に進む。
【０３６９】
ステップＳ１２６において、特徴量取得部２１２は、注目画素が入力画像の最後の画素か否かを判定する。
【０３７０】
注目画素が入力画像の最後の画素でない場合、ステップＳ１２６において、ＮＯと判定されて、処理はステップＳ１１２に戻され、それ以降、同様の処理が繰り返される。
【０３７１】
即ち、入力画像の全ての画素が注目画素に設定され、ステップＳ１１２乃至Ｓ１２６の処理が繰り返し実行される。その結果、入力画像の全ての画素に対して、式（１）の積和演算が行われることになる。これにより、出力画像の全ての画素に対して画素値が求まることになる。
【０３７２】
そして、注目画素が入力画像の最後の画素とされて、ステップＳ１２５で、ＹＥＳと判定されると、ステップＳ１２６において、ＹＥＳと判定されて、処理はステップＳ１２７に進む。
【０３７３】
ステップＳ１２７において、入力部２１１は、入力画像は最後の画像か否かを判定する。
【０３７４】
入力画像は最後の画像でない場合、ステップＳ１２７においてＮＯと判定されて、処理はステップＳ１１１に戻され、それ以降、同様の処理が繰り返される。
【０３７５】
即ち、外部からフレームが供給される限り、ステップＳ１１１乃至Ｓ１２７の処理が繰り返し実行される。すなわち、外部からフレームが供給されなくなるまで、外部から供給されるフレームとしての入力画像に対して出力画像の生成が行われることになる。
【０３７６】
そして、外部から最後のフレームが供給され、入力画像とされて、ステップＳ１２６で、ＹＥＳと判定されると、ステップＳ１２７において、ＹＥＳと判定されて、マッピング処理は終了する。
【０３７７】
次に、図３５を参照して、本発明の手法によりマッピングされた画像（以下、特徴量ありの出力画像）と、従来の手法（ADRCのクラス分類のみ）によりマッピングされた画像（以下、特徴量なしの出力画像）とを比較する。特徴量ありの出力画像とは、図３３，３４のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価の結果を用いて比較する。
【０３７８】
図３５の上段には、左から順に、教師画像P1の一部、教師画像P1に対する特徴量なしの出力画像P2の一部、教師画像P1に対する特徴量ありの出力画像P3の一部が示されている。図３５の下段には、左から順に、教師画像P1の水平方向の波形、特徴量なしの出力画像P2の水平方向の波形、特徴量ありの出力画像P3の水平方向の波形が示されている。
【０３７９】
図３５の下段の波形は、対応する上段の画像中のバツ印の画素mが存在するラインにおける水平方向の波形を示している。なお、波形が示されているグラフの縦軸は画素値を示し、横軸は水平方向位置を示している。
【０３８０】
特徴量なしの出力画像P2の波形と、特徴量ありの出力画像P3の楕円で囲んでいる部分を注目部分として説明する。
【０３８１】
特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、定性的に、波形がよりくっきりしていることが分かる。すなわち、特徴量ありの出力画像P3は、特徴量なしの出力画像P2に比べて解像度感が向上していることが分かる。また、特徴量ありの出力画像P3の注目部分では、特徴量なしの出力画像P2の注目部分に比べて、波形の波打ちが少なく、リンギングに関しても減少していることが分かる。
【０３８２】
但し、これらの結果は、水平方向のみの分類結果である。したがって、例えば、垂直方向についても特徴量クラス分類を行うと、さらにSNRが改善する。
【０３８３】
以上のように、学習装置１２１及び画像変換装置１２２は、特徴量、すなわち、注目画素位置をクラス分類に利用することで、従来のクラス分類手法で分類することができなかった波形パターンを用いてクラス分類することができる。言い換えれば、学習装置１２１及び画像変換装置１２２は、従来のクラス分類手法に比べてより似ている波形パターンを集めてクラス分類を行うことができる。したがって、画像変換装置１２２の適応処理の性能を、従来のクラス分類手法を用いた適応処理の場合に比べて向上させることができる。
【０３８４】
即ち、画像変換装置１２２は、従来のクラス分類手法を採用した適応処理の結果得られる画像と比較して、高解像度の画像、すなわち、例えば、エッジを急峻に立たせた画像を生成することができる、という効果を奏することが可能になる。特に、ズーム時に高倍密変換を行った場合に、その効果は顕著なものとなる。さらに、画像変換装置１２２は、リンギングを低減した画像を生成することができる。
【０３８５】
したがって、画像変換装置１２２は、従来のクラス分類手法を採用した場合に発生してしまう問題点、即ち、ズーム時に高倍密変換を行った場合の解像度感の不足やリンギングの発生等といった問題点を解決することができる。
【０３８６】
ところで、第１の実施の形態における変曲点位置は、エッジ領域の変曲点と、注目画素との位置関係を表す特徴量である。ここで、エッジ領域の変曲点は、エッジ領域の中央に位置することから、変曲点位置は、エッジ領域と注目画素との位置関係を表していると言える。第２の実施の形態における注目画素位置は、エッジ領域の全体の画素値範囲と注目画素の画素値との（画素値方向における）位置関係を表す特徴量である。したがって、第１の実施の形態における変曲点位置と、第２の実施の形態における注目画素位置とは、エッジ領域と注目画素との位置関係を表す特徴量という点で共通している。そこで、以下、エッジ領域と注目画素との位置関係を表す特徴量を、位相と総称するとする。
【０３８７】
図３６は、かかる位相のクラス分類を行う画像変換装置２３０の内部構成例を示すブロック図である。
【０３８８】
画像変換装置２３０は、入力部２３１、特徴量取得部２３２、特徴量クラス分類部２３３、クラスタップ選択部２３４、ADRCクラス分類部２３５、クラスコード生成部２３６、係数メモリ２３７、係数取得部２３８、予測タップ選択部２３９、及び積和演算部２４０から構成される。
【０３８９】
入力部２３１には、例えば、動画像を構成する各フレームが外部から順次供給される。そこで、入力部２３１は、フレームを入力画像として、特徴量取得部２３２、クラスタップ選択部２３４、及び予測タップ選択部２３９に供給する。
【０３９０】
特徴量取得部２３２は、入力画像を構成する各画素を注目画素に順次設定する。特徴量取得部２３２は、入力画像から、位相を算出するためのデータを取得し、特徴量クラス分類部２３３に供給する。
【０３９１】
特徴量クラス分類部２３３は、特徴量取得部２３２から供給されるデータを用いて、入力画像の水平方向の波形を形成している画素群のうちの注目画素と、その波形に含まれるエッジ領域との位置関係を表す位相を、特徴量として算出する。そして、特徴量クラス分類部２３３は、特徴量たる位相に基づいて、注目画素についての特徴量クラス分類を行う。即ち、特徴量クラス分類部２３３は、特徴量クラスコードを生成し、クラスコード生成部２３６に供給する。
【０３９２】
クラスタップ選択部２３４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータを、ADRCクラス分類部２３５に供給する。
【０３９３】
ADRCクラス分類部２３５は、クラスタップのデータを用いてADRCを行うことにより、注目画素についてのADRCクラス分類を行う。
【０３９４】
クラスコード生成部２３６は、特徴量クラスコード及びADRCクラスコードから、全体のクラスコードを生成し、係数取得部２３８に供給する。
【０３９５】
係数メモリ２３７は、あらかじめ求められたクラスコード（特徴量クラス及びADRCクラスから特定される全体のクラスコード）毎の予測係数を記憶している。
【０３９６】
係数取得部２３８は、注目画素のクラスコードに対応する予測係数を、係数メモリ２３７から取得し、積和演算部２４０に供給する。
【０３９７】
予測タップ選択部２３９は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部２４０に供給する。
【０３９８】
積和演算部２４０は、出力画像の所定の画素を対象画素に設定する。対象画素は、注目画素に対して所定の位置関係にある出力画像内の画素に設定される。積和演算部２４０は、予測タップ選択部２３９から供給される予測タップのデータと、係数取得部２３８から供給される予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、対象画素の画素値を求めるマッピングを行う。積和演算部２４０は、マッピングの結果得られる対象画素の画素値を外部に出力する。
【０３９９】
なお、図示はしないが、画像変換装置２３０に対応する学習装置は、例えば図２４の学習装置１２１と同様の構成を取ることができる。ただし、図２４の特徴量取得部１５４と特徴量クラス分類部１５５の代わりに、図３６の特徴量取得部２３２と特徴量クラス分類部２３３に対応する機能と構成を有する機能ブロックが設けられる。
【０４００】
ところで、以上の例では、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類が採用された。ただし、特徴量クラス分類とともに行われるクラス分類は、ADRCクラス分類に限定されず、その他の手法のクラス分類、例えばVQ（ベクトル量子化）によるクラス分類等を採用できる。換言すると、これらのクラス分類では画素精度の特徴量を用いているため分類精度が粗く、それゆえ、［発明が解決しようとする課題］の欄で説明した課題が生じていた。即ち、従来の適応処理では、高倍密(ズーム)変換時に解像度感が不足したり、リンギングが発生するなどの問題が生じていた。そこで、本発明の手法では、この問題点を解決すべく、従来の分類精度が粗いクラス分類のみならず、それよりもさらに細かく分類可能な特徴量クラス分類、即ち、画素以下の特徴量を用いた特徴量クラス分類を採用しているのである。
【０４０１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０４０２】
図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０４０３】
コンピュータにおいて、CPU２６１，ROM（Read Only Memory）２６２，RAM（Random Access Memory）２６３は、バス２６４により相互に接続されている。
【０４０４】
バス２６４には、さらに、入出力インタフェース２６５が接続されている。入出力インタフェース２６５には、キーボード、マウス、マイクロホンなどよりなる入力部２６６、ディスプレイ、スピーカなどよりなる出力部２６７、ハードディスクや不揮発性のメモリなどよりなる記憶部２６８、ネットワークインタフェースなどよりなる通信部２６９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２７１を駆動するドライブ２７０が接続されている。
【０４０５】
以上のように構成されるコンピュータでは、CPU２６１が、例えば、記憶部２６８に記憶されているプログラムを、入出力インタフェース２６５及びバス２６４を介して、RAM２６３にロードして実行することにより、上述した一連の処理が行われる。
【０４０６】
コンピュータ（CPU２６１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２７１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０４０７】
そして、プログラムは、リムーバブルメディア２７１をドライブ２７０に装着することにより、入出力インタフェース２６５を介して、記憶部２６８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２６９で受信し、記憶部２６８にインストールすることができる。その他、プログラムは、ROM２６２や記憶部２６８に、あらかじめインストールしておくことができる。
【０４０８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４０９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４１０】
【図１】画像変換装置１の構成例を示す図である。
【図２】画像変換システム１０の構成例を示す図である。
【図３】学習装置１１の内部構成例を示すブロック図である。
【図４】クラスタップ及び予測タップの例を示す図である。
【図５】二次微分値の算出に用いる画素の例を示す図である。
【図６】変曲点位置と特徴量クラスコードの関係を説明するための図である。
【図７】教師画像とその波形、並びに２次微分値の例を示す図である。
【図８】教師画像とその波形、並びに２次微分値の例を示す図である。
【図９】エッジ領域の波形を示す模式図である。
【図１０】学習装置１１による学習処理を説明するフローチャートである。
【図１１】学習装置１１による学習処理を説明するフローチャートである。
【図１２】画像変換装置１２の内部構成例を示すブロック図である。
【図１３】クラスタップ及び予測タップの例を示す図である。
【図１４】画像変換装置１２によるマッピング処理を説明するフローチャートである。
【図１５】画像変換装置１２によるマッピング処理を説明するフローチャートである。
【図１６】教師画像P1とその波形を示す図である。
【図１７】特徴量なしの出力画像P2とその波形を示す図である。
【図１８】特徴量ありの出力画像P3とその波形を示す図である。
【図１９】教師画像P4とその波形を示す図である。
【図２０】特徴量なしの出力画像P5とその波形を示す図である。
【図２１】特徴量ありの出力画像P6とその波形を示す図である。
【図２２】定量評価の結果の一覧表を示す図である。
【図２３】画像変換システム１２０の構成例を示す図である。
【図２４】学習装置１２１の内部構成例を示すブロック図である。
【図２５】クラスタップ及び予測タップの例を示す図である。
【図２６】エッジ領域全体の波形を模式的に示す図である。
【図２７】エッジ領域全体の範囲の検出を説明するための図である。
【図２８】エッジ領域全体の範囲の検出を説明するための図である。
【図２９】学習装置１２１による学習処理を説明するフローチャートである。
【図３０】学習装置１２１による学習処理を説明するフローチャートである。
【図３１】画像変換装置１２２の内部構成例を示すブロック図である。
【図３２】クラスタップ及び予測タップの例を示す図である。
【図３３】画像変換装置１２２によるマッピング処理を説明するフローチャートである。
【図３４】画像変換装置１２２によるマッピング処理を説明するフローチャートである。
【図３５】教師画像P1、出力画像P2、及び出力画像P3とそれぞれの波形を示す図である。
【図３６】画像変換装置２３０の内部構成例を示すブロック図である。
【図３７】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０４１１】
１  画像変換装置，  ２  予測タップ選択部，  ３  クラスタップ選択部，  ４  クラス分類部，  ５  係数メモリ，  ６  予測演算部，  １０  画像変換システム，  １１  学習装置，  １２  画像変換装置，  ２１  係数メモリ，  ４１  入力部，  ４２  教師タップ選択部，  ４３  生徒画像生成部，  ４４  特徴量算出クラスタップ選択部，  ４５  クラス分類部，  ４６  予測タップ選択部，  ４７  正規方程式加算部，  ４８  係数データ生成部，  ７１  入力部，  ７２  特徴量算出クラスタップ選択部，  ７３  クラス分類部，  ７４  係数取得部，  ７５  予測タップ選択部，  ７６  積和演算部，  １２０  画像変換システム，  １２１  学習装置，  １２２  画像変換装置，  １３１  係数メモリ，  １５１  入力部，  １５２  教師タップ選択部，  １５３  生徒画像生成部，  １５４  特徴量取得部，  １５５  特徴量クラス分類部，  １５６  クラスタップ選択部，  １５７  ADRCクラス分類部，  １５８  クラスコード生成部，  １５９  予測タップ選択部，  １６０  正規方程式加算部，  １６１  係数データ生成部，  ２１１  入力部，  ２１２  特徴量取得部，  ２１３  特徴量クラス分類部，  ２１４  クラスタップ選択部，  ２１５  ADRCクラス分類部，  ２１６  クラスコード生成部，  ２１７  係数取得部，  ２１８  予測タップ選択部，  ２１９  積和演算部，  ２３０  画像変換装置，  ２３１  入力部，  ２３２  特徴量取得部，  ２３３  特徴量クラス分類部，  ２３４  クラスタップ選択部，  ２３５  ADRCクラス分類部，  ２３６  クラスコード生成部，  ２３７  係数メモリ，  ２３８  係数取得部，  ２３９  予測タップ選択部，  ２４０  積和演算部，  ２６１  CPU，  ２６２  ROM，  ２６３  RAM，  ２６４  バス，  ２６５  入出力インタフェース，  ２６６  入力部，  ２６７  出力部，  ２６８  記憶部，  ２６９  通信部，  ２７０  ドライブ，  ２７１  リムーバブルメディア
【図１】
2009253873.tif 000013
【図２】
2009253873.tif 000014
【図３】
2009253873.tif 000015
【図４】
2009253873.tif 000016
【図５】
2009253873.tif 000017
【図６】
2009253873.tif 000018
【図７】
2009253873.tif 000019
【図８】
2009253873.tif 000020
【図９】
2009253873.tif 000021
【図１０】
2009253873.tif 000022
【図１１】
2009253873.tif 000023
【図１２】
2009253873.tif 000024
【図１３】
2009253873.tif 000025
【図１４】
2009253873.tif 000026
【図１５】
2009253873.tif 000027
【図１６】
2009253873.tif 000028
【図１７】
2009253873.tif 000029
【図１８】
2009253873.tif 000030
【図１９】
2009253873.tif 000031
【図２０】
2009253873.tif 000032
【図２１】
2009253873.tif 000033
【図２２】
2009253873.tif 000034
【図２３】
2009253873.tif 000035
【図２４】
2009253873.tif 000036
【図２５】
2009253873.tif 000037
【図２６】
2009253873.tif 000038
【図２７】
2009253873.tif 000039
【図２８】
2009253873.tif 000040
【図２９】
2009253873.tif 000041
【図３０】
2009253873.tif 000042
【図３１】
2009253873.tif 000043
【図３２】
2009253873.tif 000044
【図３３】
2009253873.tif 000045
【図３４】
2009253873.tif 000046
【図３５】
2009253873.tif 000047
【図３６】
2009253873.tif 000048
【図３７】
2009253873.tif 000049