(57)【要約】【課題】入力画像から出力画像に変換する。【解決手段】入力部８１は、注目行が間引かれた画像を入力画像として入力し、クラス分類部８４は、出力画像としての注目行の間引きがない画像の注目行を構成する各画素をクラス分類し、同クラス判定部８６は、注目行の注目画素と同じクラスに分類された一連の画素群と、注目画素との位置関係を表す間隔M、Nを算出し、クラス分類部８７は、間隔M、Nに基づいて、注目画素をクラス分類し、積和演算部９１は、クラス分類部８４及びクラス分類部８７により分類された注目画素の各クラスに基づいて特定される予測係数と、注目画素と所定の位置関係にある入力画像における予測タップとを用いて、注目画素を予測演算し、その予測演算結果である出力画像を出力する。本発明は、例えば、画像変換装置に適用できる。【選択図】図２５
2009252021.tif 000002
【特許請求の範囲】
【請求項１】
所定の行が間引かれた第１の画像を入力する入力手段と、
出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素をクラス分類する第１のクラス分類手段と、
前記第１のクラス分類手段により前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報を算出する位置算出手段と、
前記位置算出手段により算出された前記位置情報に基づいて、前記注目画素をクラス分類する第２のクラス分類手段と、
前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素を予測演算する予測演算手段と、
前記予測演算結果である前記第２の画像を出力する出力手段と
を備える画像処理装置。
【請求項２】
前記第１の画素群の両端の各画素と所定の位置関係にある前記行の２つの画素のそれぞれを対象画素として、前記対象画素の画素値と、前記対象画素の所定方向の波形に含まれるエッジ領域の画素値範囲との位置関係を、位相として算出する位相算出手段と、
前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類する第３のクラス分類手段と
をさらに備え、
前記予測演算手段による前記予測演算に使用される予測係数は、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに加えて、さらに、前記第３のクラス分類手段により分類された前記注目画素のクラスに基づいて特定される
請求項１に記載の画像処理装置。
【請求項３】
画像処理装置が、
所定の行が間引かれた第１の画像を入力し、
出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素をクラス分類し、
前記行の注目画素と同じクラスに分類された一連の画素群と、前記注目画素との位置関係を表す位置情報を算出し、
前記位置情報に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素を予測演算し、
前記予測演算結果である前記第２の画像を出力する
ステップを含む画像処理方法。
【請求項４】
コンピュータが実行するステップとして、
所定の行が間引かれた第１の画像を入力し、
出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素をクラス分類し、
前記行の注目画素と同じクラスに分類された一連の画素群と、前記注目画素との位置関係を表す位置情報を算出し、
前記位置情報に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素を予測演算し、
前記予測演算結果である前記第２の画像を出力する
ステップを含むプログラム。
【請求項５】
第１の画像を教師として入力し、前記第１の画像の所定の行を間引くことで、生徒としての第２の画像を生成する生徒画像生成手段と、
前記第１の画像の前記行を構成する各画素をクラス分類する第１のクラス分類手段と、
前記第１のクラス分類手段により前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報を算出する位置算出手段と、
前記位置算出手段により算出された前記位置情報に基づいて、前記注目画素をクラス分類する第２のクラス分類手段と、
前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスから特定されるクラスについて、前記注目画素と所定の位置関係にある前記第２の画像における画素のデータ群から、前記注目画素を予測演算するために用いる予測係数を生成する係数生成手段と
を備える画像処理装置。
【請求項６】
前記第１の画素群の両端の各画素と所定の位置関係にある前記行の２つの画素のそれぞれを対象画素として、前記対象画素と、前記対象画素の所定方向の波形に含まれるエッジ領域との位置関係を、位相として算出する位相算出手段と、
前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類する第３のクラス分類手段と
をさらに備え、
前記予測演算手段による前記予測演算に使用される予測係数は、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに加えて、さらに、前記第３のクラス分類手段により分類された前記注目画素のクラスに基づいて特定される
請求項５に記載の画像処理装置。
【請求項７】
画像処理装置が、
第１の画像を教師として入力し、前記第１の画像の所定の行を間引くことで、生徒としての第２の画像を生成し、
前記第１の画像の前記行を構成する各画素をクラス分類し、
前記行の注目画素と同じクラスに分類された一連の画素群と、前記注目画素との位置関係を表す位置情報を算出し、
前記位置情報に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素の各クラスから特定されるクラスについて、前記注目画素と所定の位置関係にある前記第２の画像における画素のデータ群から、前記注目画素を予測演算するために用いる予測係数を生成する
ステップを含む画像処理方法。
【請求項８】
コンピュータが実行するステップとして、
第１の画像を教師として入力し、前記第１の画像の所定の行を間引くことで、生徒としての第２の画像を生成し、
前記第１の画像の前記行を構成する各画素をクラス分類し、
前記行の注目画素と同じクラスに分類された一連の画素群と、前記注目画素との位置関係を表す位置情報を算出し、
前記位置情報に基づいて、前記注目画素をクラス分類し、
分類された前記注目画素の各クラスから特定されるクラスについて、前記注目画素と所定の位置関係にある前記第２の画像における画素のデータ群から、前記注目画素を予測演算するために用いる予測係数を生成する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、IP変換時に斜め線に発生する折り返しが除去された画像信号を生成し、IP変換した際に斜め線が滑らかに再現される画像信号を生成することができるようになった画像処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、標準解像度または低解像度の画像(以下、SD(Standard Definition)画像と称する)を、高解像度の画像(以下、HD(High Definition)画像と称する)に変換する変換手法として、いわゆる補間フィルタなどによって、不足している画素の画素値を補間(補償)する変換手法が従来知られている。
【０００３】
しかしながら、補間フィルタによって画素を補間する変換手法では、SD画像に含まれていない成分、即ち、HD画像の成分(高周波成分)を復元することはできない。したがって、この変換手法では、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本出願人は、SD画像には含まれていない高周波成分を復元する変換手法として、SD画像と、所定の予測係数との線形結合により、HD画像の画素の予測値を求める適応処理を行う手法を特許文献１により提案している。
【０００５】
以下、適応処理について説明する。
【０００６】
例えば、いま、HD 画像を構成する画素(以下、適宜、HD 画素と称する) の画素値y の予測値E[y]を、幾つかのSD 画素(HD画素に対して、SD 画像を構成する画素を、以下、このように称する)の画素値x1，x2，・・・，xnと、所定の予測係数w1，w2，・・・，wn（なお、個々の区別が不要な場合、予測係数wと称する）の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式（１）で表すことができる。
【０００７】
E[y] ＝ w1×x1＋ w2×x2＋・・・＋wn×xn          ・・・（１）
【０００８】
予測係数wは、あらかじめ学習により求められる。
【０００９】
この学習では、HD画像が学習の教師となる教師データとされ、SD画像が学習の生徒となる生徒データとされる。
【００１０】
生徒データとしてのSD画像の幾つかのSD画素を学習用に多数セット用意するとする。
【００１１】
いま、生徒データの集合でなる行列X、予測係数w の集合でなる行列W、予測値E[y] の集合でなる行列Y ’を、それぞれ、式（２）乃至（４）で定義すると、式（５）で表される観測方程式が成立する。
【００１２】
【数１】
2009252021.tif 000003
・・・（２）
【００１３】
【数２】
2009252021.tif 000004
・・・（３）
【００１４】
【数３】
2009252021.tif 000005
・・・（４）
【００１５】
X・W ＝ Y'
・・・（５）
【００１６】
なお、式（５）及び後述する式（８）において、「・」は、行列積を表す。
【００１７】
そして、最小自乗法を適用して、教師データとしてのHD 画素の画素値y に最も近い予測値E[y]を求めるとする。この場合、HD 画素の画素値y に対する予測値E[y] の残差e の集合でなる行列E、教師データとしてのHD 画素の真の画素値y の集合でなる行列Y を、それぞれ、式（６）、式（７）で定義すると、式（５）から、式（８）で表される残差方程式が成立する。
【００１８】
【数４】
2009252021.tif 000006
・・・（６）
【００１９】
【数５】
2009252021.tif 000007
・・・（７）
【００２０】
X・W ＝ Y＋E      ・・・（８）
【００２１】
この場合、教師データとしてのHD 画素の画素値y に最も近い予測値E[y] を求めるための予測係数wi は、例えば、式（９）で表される自乗誤差を最小にすることで求めることができる。
【００２２】
【数６】
2009252021.tif 000008
・・・（９）
【００２３】
従って、式（９）で表される自乗誤差を予測係数wiで微分したものが0になる場合、即ち、式（１０）を満たす予測係数wiが、教師データとしてのHD画素の画素値yに近い予測値E[y]を求めるための最適値ということになる。
【００２４】
【数７】
2009252021.tif 000009
・・・（１０）
【００２５】
そこで、まず、式（８）を、予測係数wi で微分することにより、式（１１）が成立する。
【００２６】
【数８】
2009252021.tif 000010
・・・（１１）
【００２７】
式（１０）及び（１１）より、式（１２）が得られる。
【００２８】
【数９】
2009252021.tif 000011
・・・（１２）
【００２９】
さらに、式（９）の残差方程式における生徒データx、予測係数w、教師データy、および残差e の関係を考慮すると、式（１２） から、式（１３）のような正規方程式を得ることができる。
【００３０】
【数１０】
2009252021.tif 000012
・・・（１３）
【００３１】
式（１３）の正規方程式は、求めるべき予測係数w の数nと同じ数だけたてることができる。従って、式（１３）を解くことで、最適な予測係数w を求めることができる。但し、式（１３）を解くには、予測係数w にかかる係数で構成される行列が正則である必要がある。また、式（１３）を解くにあたっては、例えば、掃き出し法(Gauss−Jordan の消去法) などを適用することが可能である。
【００３２】
以上のようにして、学習により最適な予測係数w を求めておく。そして、その予測係数w を用い、式（１）により、HD 画素の画素値y に近い予測値E[y] を求める処理が適応処理である。
【００３３】
なお、適応処理は、SD 画像には含まれていない成分、即ちHD 画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と、適応処理とは同一にみえる。しかしながら、適応処理では、その補間フィルタのタップ係数に相当する予測係数w が、教師データy を用いた学習により求められるため、HD 画像に含まれる成分を再現することができる。即ち、高解像度の画像を容易に得ることができる。このことから、適応処理は、いわば画像(の解像度) の創造作用がある処理ということができる。
【００３４】
次に、図１を参照して、適応処理によりSD 画像をHD 画像に変換する画像変換装置の一例としての画像変換装置１について説明する。
【００３５】
図１は、画像変換装置１の構成例を示している。
【００３６】
画像変換装置１は、予測タップ選択部２、クラスタップ選択部３、クラス分類部４、係数メモリ５、及び予測演算部６から構成される。
【００３７】
予測タップ選択部２及びクラスタップ選択部３には、外部からSD画像が供給される。
【００３８】
予測タップ選択部２は、適応処理により予測値を求めようとしているHD 画素を、処理対象として注目すべき注目画素に設定する。予測タップ選択部２は、例えば、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを、SD画像から選択し、その予測タップのデータを、予測演算部６に供給する。
【００３９】
クラスタップ選択部３は、例えば、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを、SD画像から選択し、そのクラスタップのデータを、クラス分類部４に供給する。
【００４０】
クラス分類部４は、クラスタップ選択部３から供給されるクラスタップのデータに基づいて、すなわち、クラスタップを構成するSD画素の性質に基づいて、注目画素をクラス分類し、係数メモリ５に供給する。すなわち、例えば、クラス分類部４は、クラスタップを構成するSD 画素の画素値のパターン(画素値の分布) を検出し、そのパターンに対してあらかじめ割り当てられた値を、注目画素のクラスとして算出する。
【００４１】
係数メモリ５には、あらかじめ学習により求められた予測係数がクラス毎に記憶されている。係数メモリ５は、クラス分類部４からクラスが供給されると、そのクラスに対応する予測係数を読み出し、予測演算部６に供給する。
【００４２】
予測演算部６は、予測タップ選択部２から供給される予測タップのデータと、係数メモリ５から供給される予測係数とを用いて、注目画素（HD画素）の画素値を予測し、外部に出力する。すなわち、予測演算部６は、予測係数w1，w2，・・・，wnと、の予測タップを構成するSD 画素（の画素値）x1，x2，・・・xnとをそれぞれ式（１）に代入して予測演算を行うことで、注目画素（HD 画素）y の予測値E[y] を求める。
【特許文献１】特開２００２−２１８４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００４３】
上述した画像変換装置１によるクラス分類手法を含む従来のクラス分類手法では、クラスタップの画素値の空間的な分布を用いてクラス分類が行われる（このようなクラス分類を、以下、空間クラス分類と称する）。
【００４４】
しかしながら、上述した従来のクラス分類手法を用いて画像変換を行った場合、特に、IP(interlace progressive)変換を行った場合、うまく補間処理が行えず、斜め線に対して折り返しが発生してしまうといった問題や、視覚的に斜め線がぎざぎざしてしまい、うまくつながらないといった問題等が生じていた。
【００４５】
本発明は、このような状況に鑑みてなされたものであり、IP変換時に斜め線に発生する折り返しが除去された画像信号を生成し、IP変換した際に斜め線が滑らかに再現される画像信号を生成することができるようにするものである。
【課題を解決するための手段】
【００４６】
本発明の第１の側面の画像処理装置は、所定の行が間引かれた第１の画像を入力する入力手段と、出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素をクラス分類する第１のクラス分類手段と、前記第１のクラス分類手段により前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報を算出する位置算出手段と、前記位置算出手段により算出された前記位置情報に基づいて、前記注目画素をクラス分類する第２のクラス分類手段と、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素を予測演算する予測演算手段と、前記予測演算結果である前記第２の画像を出力する出力手段とを備える。
【００４７】
本発明の第１の側面の画像処理装置には、前記第１の画素群の両端の各画素と所定の位置関係にある前記行の２つの画素のそれぞれを対象画素として、前記対象画素の画素値と、前記対象画素の所定方向の波形に含まれるエッジ領域の画素値範囲との位置関係を、位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類する第３のクラス分類手段とをさらに設け、前記予測演算手段による前記予測演算に使用される予測係数は、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに加えて、さらに、前記第３のクラス分類手段により分類された前記注目画素のクラスに基づいて特定できる。
【００４８】
本発明の第１の側面の画像処理装置またはコンピュータが実行するステップとして、所定の行が間引かれた第１の画像を入力し、出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素をクラス分類し、前記行の注目画素と同じクラスに分類された一連の画素群と、前記注目画素との位置関係を表す位置情報を算出し、前記位置情報に基づいて、前記注目画素をクラス分類し、分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素を予測演算し、前記予測演算結果である前記第２の画像を出力するステップを含む。
【００４９】
本発明の第２の側面の画像処理装置は、第１の画像を教師として入力し、前記第１の画像の所定の行を間引くことで、生徒としての第２の画像を生成する生徒画像生成手段と、前記第１の画像の前記行を構成する各画素をクラス分類する第１のクラス分類手段と、前記第１のクラス分類手段により前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報を算出する位置算出手段と、前記位置算出手段により算出された前記位置情報に基づいて、前記注目画素をクラス分類する第２のクラス分類手段と、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスから特定されるクラスについて、前記注目画素と所定の位置関係にある前記第２の画像における画素のデータ群から、前記注目画素を予測演算するために用いる予測係数を生成する係数生成手段とを備える。
【００５０】
本発明の第２の側面の画像処理装置には、前記第１の画素群の両端の各画素と所定の位置関係にある前記行の２つの画素のそれぞれを対象画素として、前記対象画素と、前記対象画素の所定方向の波形に含まれるエッジ領域との位置関係を、位相として算出する位相算出手段と、前記位相算出手段により算出された前記位相に基づいて、前記注目画素をクラス分類する第３のクラス分類手段とをさらに設け、前記予測演算手段による前記予測演算に使用される予測係数は、前記第１のクラス分類手段及び前記第２のクラス分類手段により分類された前記注目画素の各クラスに加えて、さらに、前記第３のクラス分類手段により分類された前記注目画素のクラスに基づいて特定できる。
【００５１】
本発明の第１の側面においては、所定の行が間引かれた第１の画像が入力され、出力画像としての前記行の間引きがない第２の画像の前記行を構成する各画素がクラス分類され、前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報が算出され、前記位置情報に基づいて、前記注目画素がクラス分類され、分類された前記注目画素の各クラスに基づいて特定される予測係数と、前記注目画素と所定の位置関係にある前記第１の画像における画素のデータ群とを用いて、前記注目画素が予測演算され、前記予測演算結果である前記第２の画像が出力される。
【００５２】
本発明の第２の側面においては、第１の画像を教師として入力し、前記第１の画像の所定の行を間引くことで、生徒としての第２の画像が生成され、前記第１の画像の前記行を構成する各画素が第１のクラス分類によりクラス分類され、前記行の注目画素と同じクラスに分類された一連の第１の画素群と、前記注目画素との位置関係を表す位置情報が算出され、算出された前記位置情報に基づいて、前記注目画素が第２のクラス分類によりクラス分類され、前記第１のクラス分類及び前記第２のクラス分類により分類された前記注目画素の各クラスから特定されるクラスについて、前記注目画素と所定の位置関係にある前記第２の画像における画素のデータ群から、前記注目画素を予測演算するために用いる予測係数が生成される。
【発明の効果】
【００５３】
本発明の第１の側面によれば、第１の画像を第２の画像に変換することができる。特に、第１の画像をより鮮明な第２の画像に変換することができる。
【００５４】
本発明の第２の側面によれば、第２の画像から第１の画像を予測するために用いる予測係数を生成することができる。特に、第２の画像からより鮮明な第１の画像を予測するために用いる予測係数を生成することができる。
【発明を実施するための最良の形態】
【００５５】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００５６】
まず、本実施の形態で採用するクラス分類手法（以下、本実施形態のクラス分類手法と称する）について、従来のクラス分類手法と対比させながら説明する。
【００５７】
なお、以下、説明の便宜上、各種処理の動作主体は、装置であるとする。
【００５８】
従来のクラス分類手法では、入力された画素のデータを用いてクラス分類を行っていた。すなわち、従来のクラス分類手法では、画素精度で得られる特徴量を利用していた。
【００５９】
具体的には、例えば、従来のクラス分類手法では、装置は、ADRC(Adaptive Dynamic Range Coding)を用いてクラス分類を行っていた。すなわち、装置は、入力画像から任意のデータを取得し、取得したデータ毎のダイナミックレンジ(画素値の最大値と最小値の差分) に応じて、適応的な量子化を行っていた。すなわち、従来のクラス分類手法では、装置は、入力される画素のデータを用いてクラス分類を行っていた。したがって、従来のクラス分類手法とは、画素精度で得られる特徴量を利用したクラス分類である、と把握することができる。
【００６０】
これに対して、本実施形態のクラス分類手法では、装置は、画素精度より細かい情報、即ち、画素以下の情報を用いる。具体的には、本実施の形態で採用するクラス分類手法では、装置は、前処理として、入力画像に対して、例えば従来のクラス分類手法に従ったクラス分類を行う。そして、装置は、本処理としてのクラス分類を行う。この本処理のクラス分類では、前処理としてのクラス分類で得られるクラスが変化しない領域についての情報と、その領域周辺の位相情報とが利用される。なお、位相情報については後述する。これにより、従来のクラス分類手法では分類できなかった波形を用いて、クラス分類が行われることになる。その結果、適応処理の性能が向上するという効果が得られる。この効果については図２９乃至図３１を参照して後述する。
【００６１】
なお、以下、垂直方向に二倍密変換（IP変換）を行う場合について説明する。よって、入力画像の間引かれている画素の並んでいる方向については、基本的には、水平方向に特化した説明となる。
【００６２】
ここで、図２乃至１３の簡単な例を用いて、本実施形態のクラス分類手法の存在意義について説明する。
【００６３】
例えば、適応処理を行うことで垂直方向に二倍密変換を行う場合、その適応処理で用いる予測係数をあらかじめ学習しておく必要がある。その学習では、例えば、教師となる教師画像に対して単純間引きを行うことにより、生徒となる生徒画像が作成される。すなわち、生徒画像は、所定の水平ラインが間引かれた画像として作成される。なお、以下においては、この水平ラインを行と称する。
【００６４】
図２は、教師画像PKの一部が拡大された教師画像PK'の一例を示している。
【００６５】
図２において、教師画像PK'における丸印は画素を示している。黒に近い色の丸印ほど、画素値が小さい画素を示している。即ち、白に近い丸印ほど、画素値が大きい画素を示している。なお、この前提は、以降の図でも同様である。
【００６６】
教師画像PK'は、教師画像PKのバツ印（×）の周辺部分の画像である。即ち、教師画像PKに含まれる文字「セ」を形成する部分のうちの、やや右上がりの線に相当する部分を拡大した画像が、教師画像PK’である。当該部分のエッジが、教師画像PK’では斜め線Tとして示されている。教師画像PK'において、斜め線Tの近傍では、水平方向に画素値が徐々に変化していることが分かる。
【００６７】
図３は、図２の教師画像PKに対する生徒画像PSの一部が拡大された生徒画像PS'の一例を示している。
【００６８】
図３において、生徒画像PS'における丸印は、図２と同様に、画素を示している。生徒画像PS'は、生徒画像PSのバツ印、すなわち、教師画像PKのバツ印と同じ位置のバツ印の周辺部分の画像である。
【００６９】
垂直方向に二倍密変換（IP変換）を行う場合を考えてみる。すなわち、生徒画像PSを入力画像PNとして入力し、入力画像PNの波形をクラス分類して適応処理を行うことで、教師画像PKの予測画像として出力画像PHを出力する場合を考えてみる。
【００７０】
図４は、入力画像PNの一部が拡大された入力画像PN'の一例を示している。
【００７１】
図４において、入力画像PN'における丸印は、図２と同様に、画素を示している。入力画像PN'は、入力画像PNのバツ印、すなわち、教師画像PKのバツ印と同じ位置のバツ印の周辺部分の画像である。
【００７２】
このクラス分類を行うにあたり注目すべき部分は、教師画像PKの画素値の変化があるにも係らず、入力画像PNの画素値の変化がない部分である。このような部分では、従来のクラス分類手法による分類が難しいからである。例えば、図４の横枠内では、入力画像PNの画素値が水平方向に変化していない。一方、教師画像PK（図１）の対応する部分では、水平方向に徐々に画素値が変化している。
【００７３】
したがって、図４の例で注目すべき部分は、この横枠内の部分となる。そこで、図４の横枠内において、画素以下の情報を取得するために、位相の分類を垂直方向に行ったときにどのようになるのかを考えてみる。即ち、図５及び６を参照して、位相の分類について説明する。
【００７４】
図５は、注目画素Q、注目画素Qの上隣の位置にある入力画像PNの画素U、及び、注目画素Qの下隣の位置にある入力画像PNの画素Sの一例を示している。注目画素Qとは、出力画像PHにおける画素として創造すべき画素を意味している。この注目画素Qについて位相の分類が行われるとして、以下説明する。
【００７５】
図６は、図５の縦枠内の入力画像PN'における画素U及び画素Sを含む垂直方向の波形Wの一例を示している。
【００７６】
図６において、縦軸は画素値を示している。位相の分類では、波形Wの単純増加区間または単純減少区間がエッジ領域として検出される。このエッジ領域内の画素値範囲における内挿点USの画素値の位置に応じて、注目画素Qについての位相の分類が行われる。ここで、画素値範囲とは、エッジ領域全体についての画素値の最小値と最大値との間の画素値が取り得る範囲をいう。
【００７７】
例えば、図６の例では、画素値範囲が７分割された各範囲（以下、分割範囲と称する）について、図中下から0乃至6の位相番号がそれぞれ付与される。そして、内挿点USの画素値の位置が属する分割範囲に付された位相番号が、注目画素Qについての位相情報として生成される。内挿点USは、注目画素Qの上下の画素Uと画素Sの内挿点である。なお、この例では、エッジ領域内の画素値範囲における内挿点USの画素値の位置が、注目画素Qについての位相となる。
【００７８】
次に、図７乃至１３を参照して、このような位相の分類を、横枠内の出力画像PHの各画素について行なった結果について説明する。
【００７９】
図７Ａは、拡大された入力画像PN'を示している。図７Ｂは、入力画像PN'における縦枠内の画素U及び画素Sを含む垂直方向の波形Wを示している。図７Ｂにおいては、横軸が画素値を示している。
【００８０】
図７Ｂには、注目画素Qについての位相の分類で得られる位相情報（以下、注目画素の位相情報と称する）と、対応する正解の位相情報とが示されている。ここで、正解の位相情報とは、注目画素Qに対応する教師画像PK'の画素Rについての位相情報を指す。ここで、画素Rについての位相情報は、次のような画素Rについての位相の分類で得られる。この位相の分類では、教師画像PK'の縦枠内の垂直方向の波形W'の単純増加区間または単純減少区間がエッジ領域として検出される。このエッジ領域内の画素値範囲における画素Rの画素値の位置に応じて、画素Rについての位相の分類が行われる。この例では、画素値範囲が７分割された各分割範囲について、図中下から0乃至6の位相番号がそれぞれ付与される。そして、画素Rの画素値の位置が属する分割範囲に付された位相番号が、画素Rについての位相情報として生成される。
【００８１】
なお、この前提は、以降の図でも同様である。
【００８２】
図７のように、横枠内の左から１番目の画素を注目画素Qとした例では、正解の位相情報は0であり、また、注目画素の位相情報は3である。図８のように、横枠内の左から２番目の画素を注目画素Qとした例では、正解の位相情報は1であり、また、注目画素の位相情報は3である。図９のように、横枠内の左から３番目の画素を注目画素Qとした例では、正解の位相情報は2であり、また、注目画素の位相情報は3である。図１０のように、横枠内の左から4番目の画素を注目画素Qとした例では、正解の位相情報は3であり、また、注目画素の位相情報も3である。図１１のように、横枠内の左から５番目の画素を注目画素Qとした例では、正解の位相情報は4であり、また、注目画素の位相情報は3である。図１２のように、横枠内の左から６番目の画素を注目画素Qとした例では、正解の位相情報は5であり、また、注目画素の位相情報は3である。図１３のように、横枠内の左から７番目の画素を注目画素Qとした例では、正解の位相情報は6であり、また、注目画素の位相情報は3である。
【００８３】
すなわち、横枠内における注目画素Qとする画素の位置が右に移動していくのに伴い、正解の位相情報は徐々に変化していることがわかる。これに対して、注目画素の位相情報は、すべて同じ位相情報になっていることが分かる。すなわち、図５及び６で説明したような、位相の分類としては比較的大まかな分類を行ったときには、すべて同じ位相になっていることが分かる。このため、横枠内の出力画像PH'の各画素に対して位相情報を用いたクラス分類を行い、適応処理を行うことで垂直方向に二倍密変換を行うと、全画素が同じクラスに分類されて同一画素値が出力される。したがって、横枠内では、本来は斜め線になるはずが、直線になってしまう。
【００８４】
本実施形態のクラス分類手法は、このような大まかな分類では分類できない領域についての情報や、その領域周辺の位相情報に基づいて、位相のクラス分類を行うという手法である。これにより、適応処理の性能が向上するという効果を奏することが可能になる。
【００８５】
次に、図１４を参照して、画像処理システム１０について説明する。
【００８６】
画像処理システム１０は、上述した本実施形態のクラス分類手法を採用する画像処理システムである。
【００８７】
画像変換システム１０は、学習装置１１と画像変換装置１２とから構成される。
【００８８】
学習装置１１は、予測係数を学習する。この予測係数は、画像変換装置１２によるマッピング処理で利用される。なお、マッピング処理については後述する。学習装置１１は、学習の教師となる教師画像を入力する。学習装置１１は、教師画像から、学習の生徒となる生徒画像を生成する。学習装置１１は、これらの教師画像と生徒画像とを用いて予測係数を学習する学習処理を行う。そして、学習装置１１は、学習した予測係数を画像変換装置１２に供給する。
【００８９】
本実施の形態では、生徒画像の一例として、図３に示したような、教師画像を１行間隔で間引いた画像を採用するとする。
【００９０】
ここで、画像とは、動画像の処理単位としての、フィールドを採用する。ただし、処理単位は、フィールドに限定されず、例えばフレーム等でも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフィールドは単位画像の例示にしか過ぎない点留意すべきである。
【００９１】
また、教師画像から生徒画像を生成するための間引きの手法は限定されない。例えば、N行間隔で間引く手法や、N行まとめて間引く手法等を採用することができる。また、画像変換装置１２への入力画像は、生徒画像と同解像度の画像となり、画像変換装置１２からの出力画像は、教師画像と同解像度の画像となる。
【００９２】
画像変換装置１２は、学習装置１１から供給される予測係数を内部の係数メモリ２１に記憶する。また、画像変換装置１２は、例えば、外部から供給されるフィールドを入力画像とし、その入力画像に対してマッピング処理を施し、その結果得られるフレームを出力画像として外部に出力する。なお、画像変換装置１２は、係数メモリ２１に記憶された予測係数を適宜読み出し、マッピング処理による予測演算に使用する。
【００９３】
ここで、マッピング処理とは、学習処理により得られた予測係数を用いて、入力画像から予測画像としての出力画像を得る処理をいう。
【００９４】
なお、以下においては、係数メモリ２１は、画像変換装置１２内に格納されているとする。もっとも、係数メモリ２１は、画像変換装置１２内に格納されている必要は特にない点に留意すべきである。
【００９５】
図１５は、学習装置１１の内部構成例を示すブロック図である。
【００９６】
学習装置１１は、入力部５１、生徒画像生成部５２、教師タップ選択部５３、クラスタップ選択部５４、クラス分類部５５、クラス保持メモリ５６、同クラス判定部５７、クラス分類部５８、エッジ領域判定部５９、クラス分類部６０、クラスコード生成部６１、予測タップ選択部６２、正規方程式加算部６３、及び係数データ生成部６４から構成される。
【００９７】
入力部５１には、外部から教師画像が順次供給される。
【００９８】
入力部５１は、教師画像を入力し、生徒画像生成部５２及び教師タップ選択部５３に供給する。
【００９９】
生徒画像生成部５２は、教師画像に対して、例えば、図３に示したように、１行間隔で行の間引きを行うことにより、生徒画像を生成し、クラスタップ選択部５４、エッジ領域判定部５９、及び予測タップ選択部６２に供給する。
【０１００】
教師タップ選択部５３は、教師画像の所定の画素を教師タップに選択し、その教師タップのデータを、正規方程式加算部６３に供給する。また、教師タップ選択部５３は、教師タップを注目画素に設定する。
【０１０１】
クラスタップ選択部５４は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択し、そのクラスタップのデータをクラス分類部５５に供給する。
【０１０２】
クラス分類部５５は、クラスタップのデータに基づいて、教師タップ選択部５３により設定された注目画素を所定のクラスに分類する。
【０１０３】
クラス分類部５５によるクラス分類の手法は、特に、限定されない。但し、このクラス分類の手法としては、空間クラス分類が好ましい。
【０１０４】
例えば本実施の形態では、空間クラス分類のひとつであるADRCクラス分類が採用されている。ADRCクラス分類とは、クラスタップのデータに対してADRCを行うことによりクラス分類を行う、といったクラス分類の一手法である。
【０１０５】
つまり、本実施の形態では、クラス分類部５５は、ADRCクラス分類を行うことで、注目画素を所定クラスに分類する。そして、クラス分類部５５は、その所定クラスを特定するコードを生成する。なお、以下、このような所定クラスを、ADRCクラスと称する。また、ADRCクラスを特定するコードを、ADRCクラスコードと称する。クラス分類部５５は、注目画素についてのADRCクラスコードを、クラス保持メモリ５６とクラスコード生成部６１に供給する。
【０１０６】
クラス保持メモリ５６は、クラス分類部５５から供給される注目画素についてのADRCクラスコードを保持する。
【０１０７】
同クラス判定部５７は、注目画素を含む行を注目行に設定する。同クラス判定部５７は、クラス保持メモリ５６を参照し、注目行を構成する画素のうち、注目画素と同じADRCクラスに分類された一連の画素群で形成される領域（以下、同クラス領域と称する）を検出する。同クラス判定部５７は、この同クラス領域の範囲を特定するための特定情報を求め、クラス分類部５８とエッジ領域判定部５９に供給する。なお、この特定情報については、図１６を参照して後述する。
【０１０８】
クラス分類部５８は、特定情報に基づいて、注目画素を所定クラスに分類する。このようなクラス分類を他のクラス分類と区別するために、以下、同クラス領域クラス分類と称する。同クラス領域クラス分類によって分類されたクラスを、以下、同クラス領域クラスと称する。クラス分類部５８は、注目画素の同クラス領域クラスを特定するコード（以下、かかるコードを、同クラス領域クラスコードと称する）を生成し、クラスコード生成部６１に供給する。
【０１０９】
エッジ領域判定部５９は、特定情報に基づいて、同クラス領域の両端の画素を特定し、各両端の画素に対して所定の位置関係にある注目行の２つの画素を、位相情報を取得する画素（以下、取得画素と称する）として設定する。エッジ領域判定部５９は、例えば、生徒画像中の所定波形に含まれるエッジ領域を検出する。ここで、波形とは、取得画素の上下方向についての複数画素の各画素値の系列をいう。エッジ領域判定部５９は、検出したエッジ領域から、所定の特徴量を抽出し、クラス分類部６０に供給する。なお、所定の特徴量の具体例については、図２０及び２１を参照して後述する。
【０１１０】
クラス分類部６０は、エッジ領域の所定の特徴量に基づいて、取得画素の位相情報を算出する。クラス分類部６０は、その位相情報に基づいて、注目画素をクラス分類する。このようなクラス分類を、以下、位相情報クラス分類と称する。また、位相情報クラス分類によって分類されたクラスを、以下、位相情報クラスと称する。クラス分類部５８は、注目画素の位相情報クラスを特定するコード（以下、かかるコードを、位相情報クラスコードと称する）を生成し、クラスコード生成部６１に供給する。
【０１１１】
本実施形態のクラス分類手法では、同クラス領域クラスと位相情報クラスを用いて、さらに所定クラスに分類する。このクラス分類を位相クラス分類と称する。位相クラス分類は、上述したような、図５及び６で説明した大まかな分類では分類できない領域についての情報（特定情報）と、その領域周辺の位相情報（取得画素の位相情報）とに基づいたクラス分類となっている。この位相クラス分類によって分類されたクラスを、以下、位相クラスと称する。
【０１１２】
クラスコード生成部６１は、注目画素についての同クラス領域クラスコード及び位相情報クラスコードから、注目画素についての位相クラスを特定するコード（以下、位相クラスコードと称する）を生成する。クラスコード生成部６１は、注目画素についてのADRCクラスコード及び位相クラスコードから、注目画素についての全体のクラスコードを生成する。そして、クラスコード生成部６１は、注目画素についての全体のクラスコードを、正規方程式加算部６３に供給する。
【０１１３】
予測タップ選択部６２は、例えば、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを生徒画像から選択し、その予測タップのデータを、正規方程式加算部６３に供給する。
【０１１４】
正規方程式加算部６３は、注目画素についての教師タップのデータ及び予測タップのデータを、注目画素についてのクラスコード毎に式（１３）の正規方程式に足し込む。正規方程式加算部６３は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部６４に供給する。
【０１１５】
係数データ生成部６４は、正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ２１に記憶させる。
【０１１６】
次に、図１６を参照して、クラス分類部５５及び同クラス判定部５７による処理について簡単に説明する。
【０１１７】
クラス分類部５５は、例えば図１６Ａに示されるようなクラスタップを用いてクラス分類を行う。
【０１１８】
図１６Ａにおいて、中央の点線の丸印が注目画素を示している。この場合、クラスタップ選択部５４により選択されるクラスタップは、注目画素の左上、上、右上、左下、下、右下の生徒画像の画素の集合体である。
【０１１９】
そして、図１６Ａに示したクラスタップを用いて注目画素がADRCクラスに分類され、その結果得られるADRCクラスコードがクラス保持メモリ５６に記憶される。なお、ADRCクラスコードを事前に１行分だけクラス保持メモリ５６に蓄えることで、それらのADRCクラスコードを効率的に利用することができる。
【０１２０】
同クラス判定部５７は、クラス保持メモリ５６に保持されているADRCクラスコードを参照し、ADRCクラスが注目画素の左右に何画素ずつ連続するかを調べる。
【０１２１】
すなわち、例えば、注目画素のN画素左まで同じADRCクラスであり、注目画素のM画素右まで同じADRCクラスであるとする。この場合、同クラス判定部５７は、これらの同じADRCクラスが何画素連続するかの値M、Nを求める。なお、以下、これらの値M、Nを間隔M，Nと称する。但し、注目画素のN画素左からM画素右までの領域が、上述した同クラス領域である。すなわち、間隔N及びMは、同クラス領域の範囲を特定する特定情報となる。
【０１２２】
次に、図１７を参照して、クラスタップ選択部５４によるクラスタップの選択、及び予測タップ選択部６２による予測タップの選択について説明する。
【０１２３】
図１７Ａは、クラスタップの一例を示している。図１７Ｂは、予測タップの一例を示している。
【０１２４】
図１７Ａ及び図１７Ｂにおいて、縦方向は生徒画像の垂直方向を示し、横方向は生徒画像の水平方向を示している。
【０１２５】
図１７Ａ及び１７Ｂにおいて、中央の点線の画素が、注目画素k0である。なお、注目画素k0が、教師タップkである。
【０１２６】
この場合、クラスタップ選択部５４は、例えば、注目画素k0の左上、上、右上、左下、下、及び右下のそれぞれの生徒画像の画素b1、b2、b3、b4、b5、及びb6の集合体をクラスタップに選択する。
【０１２７】
予測タップ選択部６２は、例えば、注目画素k0の３画素分上、左上、上、右上、左下、下、右下、及び３画素分下のそれぞれの生徒画像の画素c1、c2、c3、c4、c5、c6、c7、及びc8の集合体を予測タップに選択する。
【０１２８】
次に、図１８を参照して、エッジ領域判定部５９による処理について説明する。
【０１２９】
図１８は、同クラス領域の周辺の生徒画像PSの画素を示している。
【０１３０】
図１８において、網掛けの画素は、同じADRCクラスに分類された画素を示している。注目画素k0の水平方向位置をxとする。注目画素k0の１つ上の生徒画像PSの行の垂直方向位置をyとする。水平方向位置x及び垂直方向位置yは、いずれも、画素間隔を1としている。
【０１３１】
エッジ領域判定部５９は、例えば、特定情報としての間隔N、Mから、同クラス領域の両端の画素の水平位置を、それぞれ、x-N、x+Mと特定することができる。エッジ領域判定部５９は、同クラス領域の両端の画素の例えば１画素隣の画素、すなわち、水平方向位置がそれぞれx-(N+1)、x+M+1の２つの画素H1、H2を、位相情報を取得する取得画素とする（なお、取得画素H1と取得画素H2を個々に区別する必要のないときは取得画素Hと称する）。これらの取得画素H1、H2は、ADRCクラスが変化する位置に存在することになっている。
【０１３２】
なお、以下においては、取得画素H1の上下の生徒画像PSの画素を、それぞれ、UH1、SH1と称する。また、取得画素H2の上下の生徒画像PSの画素を、それぞれ、UH2、SH2と称する。但し、画素UH1とUH2を個々に区別する必要のないときは画素UHと称する。画素SH1とSH2を個々に区別する必要のないときは画素SHと称する。
【０１３３】
図１９を参照して、クラス分類部６０による位相情報の分類について説明する。
【０１３４】
図１９は、取得画素Hの上下の生徒画像PSの画素UH及び画素SHを含む垂直方向の波形WWの一例を示している。
【０１３５】
図１９において、縦軸は画素値を示している。
【０１３６】
クラス分類部６０は、エッジ領域内の画素値範囲が4分割された各範囲（以下、分割範囲と称する）について、図中下から0乃至3の位相番号がそれぞれ付与される。そして、内挿点USHの画素値の位置が属する分割範囲に付された位相番号が、取得画素Hについての位相情報として生成される。内挿点USHは、取得画素Hの上下の画素UHと画素SHの内挿点である。なお、この例では、エッジ領域内の画素値範囲における内挿点USHの画素値の位置が、取得画素Hについての位相となる。
【０１３７】
次に、図２０及び２１を参照して、エッジ領域判定部５９及びクラス分類部６０による位相情報クラス分類について説明する。
【０１３８】
エッジ領域判定部５９は、画素UH及び画素SHを含む垂直方向の生徒画像PSにおけるデータから、それらのデータで形成される垂直方向の波形のうちの、ある位置範囲をエッジ領域として検出する。
【０１３９】
このある位置範囲とは、複数の画素値が単純増加または単純減少する範囲である。
【０１４０】
まず、単純増加の場合について、図２０を参照して説明する。
【０１４１】
図２０（及び後述する図２１）において、縦軸は画素値を示し、横軸は生徒画像PSの垂直方向位置yを示している。図２０において、垂直方向位置yにおける波形をf(y)と表すとする。
【０１４２】
エッジ領域判定部５９は、例えば、マイナス方向については、まず画素UHを処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。エッジ領域判定部５９は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の左端として検出する。
【０１４３】
図２０の例では、f(y)−f(y−1)＞0、f(y−1)−f(y−2)≦0なので、エッジ領域判定部５９は、位置y−1を、画素値の単純増加の範囲の左端として検出する。
【０１４４】
エッジ領域判定部５９は、例えば、プラス方向については、まず画素UHを処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。エッジ領域判定部５９は、その差分が正の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または負になったとき、処理画素の位置を、画素値の単純増加の範囲の右端として検出する。
【０１４５】
図２０の例では、f(y＋1)−f(y)＞0、f(y＋2)−f(y＋1)＞0、f(y＋3)−f(y＋2) ≦0なので、エッジ領域判定部５９は、位置y＋2を、画素値の単純増加の範囲の右端として検出する。
【０１４６】
このようにして、エッジ領域判定部５９は、画素値の単純増加する範囲、すなわち、位置y−1から位置y＋2までの範囲をエッジ領域として検出する。
【０１４７】
そして、エッジ領域判定部５９は、単純増加であることから、画素値の最小値をf(y−1)、画素値の最大値を、f(y＋2)として得て、特徴量としてクラス分類部６０に供給する。
【０１４８】
図２０を引き続き参照しながら、クラス分類部６０による位相情報クラス分類について説明する。
【０１４９】
クラス分類部６０は、エッジ領域判定部５９から供給される特徴量としての最大値及び最小値の間の範囲、すなわち、エッジ領域内の画素値範囲における内挿点USHの画素値の位置に応じて、取得画素Hについての位相情報を算出する。クラス分類部６０は、その取得画素Hについての位相情報に基づいて、注目画素を位相情報クラスに分類する位相情報クラス分類を行う。
【０１５０】
図２０の例では、単純増加の範囲（エッジ領域）内における内挿点USHの画素値の位置は、f(y)/(f(y+2)-f(y-1))となり、例えば、図１９の例のように、位相番号の数を4とする場合は、位相番号を、f(y)/(f(y+2)-f(y-1))×4（なお、この式の演算値の小数点以下を切り捨てるとする）と求める。但し、f(y-1) = f(y) = f(y+1)の場合は、位相番号は「4」とする。また、演算値が丁度4になる場合には、位相番号を3とする。この位相番号が、取得画素Hについての位相情報として算出される。
【０１５１】
次に、単純減少の場合について、図２１を参照して説明する。
【０１５２】
エッジ領域判定部５９は、例えば、マイナス方向については、まず画素UHを処理対象とする処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとる。エッジ領域判定部５９は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のマイナス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の左端として検出する。
【０１５３】
図２１の例では、f(y)−f(y−1)＜0、f(y−1)−f(y−2)≧0なので、エッジ領域判定部５９は、位置y−1を、画素値の単純減少する範囲の左端として検出する。
【０１５４】
エッジ領域判定部５９は、例えば、プラス方向については、まず画素UHを処理対象とする処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとる。エッジ領域判定部５９は、その差分が負の場合、この隣接画素を新たな処理画素に設定し、設定した処理画素のプラス方向についての隣接画素と処理画素との差分をとることを繰り返す。そして、その差分が0または正になったとき、処理画素の位置を、画素値の単純減少する範囲の右端として検出する。
【０１５５】
図２１の例では、f(y＋1)−f(y)＜0、f(y＋2)−f(y＋1)＜0、f(y＋3)−f(y＋2)≧0なので、エッジ領域判定部５９は、位置y＋2を、画素値の単純減少の範囲の右端として検出する。
【０１５６】
このようにして、エッジ領域判定部５９は、画素値の単純減少する範囲、すなわち、位置y−1から位置y＋2までの範囲をエッジ領域として検出する。
【０１５７】
そして、エッジ領域判定部５９は、単純減少であることから、画素値の最小値をf(y＋2)、画素値の最大値をf(y−1)として得て、特徴量としてクラス分類部６０に供給する。
【０１５８】
図２１を引き続き参照しながら、クラス分類部６０による位相情報クラス分類について説明する。
【０１５９】
クラス分類部６０は、エッジ領域判定部５９から供給される特徴量としての最大値及び最小値の間の範囲、すなわち、エッジ領域内の画素値範囲における内挿点USHの画素値の位置に応じて、取得画素Hについての位相情報を算出する。クラス分類部６０は、その取得画素Hについての位相情報に基づいて、注目画素を位相情報クラスに分類する位相情報クラス分類を行う。
【０１６０】
図２１の例では、単純減少の範囲（エッジ領域）内における内挿点USHの画素値の位置は、f(y)/(f(y-1)-f(y+2))となり、例えば、図１９の例のように、位相番号の総数を4とする場合は、位相番号を、f(y)/(f(y-1)-f(y+2))×4（なお、この式の演算値の小数点以下を切り捨てるとする）と求める。但し、f(y-1) = f(y) = f(y+1)の場合は、位相番号は「4」とする。また、演算値が丁度4になる場合には、位相番号を3とする。この位相番号が、取得画素Hについての位相情報として算出される。
【０１６１】
学習装置１１は、取得画素Hについての位相情報を取得することにより、図３等の斜め線Tがどのような斜め線なのかという情報を取得することができる。
【０１６２】
例えば、図１９で説明した位相情報を用いて、取得画素H1の位相情報が「0」で、取得画素H2の位相情報が「3」であれば、斜め線Tが右上がりの斜め線であるということが分かる。また、例えば、取得画素H1の位相情報が「3」で、取得画素H2の位相情報が「0」であれば、斜め線Tが右下がりの斜め線であるということが分かる。
【０１６３】
このように、学習装置１１は、間隔や取得画素についての位相情報を用いて、斜め線Tがどのような斜め線であるかと、注目画素が斜め線Tのどのあたりに位置しているかを表す位相を求め、それに基づいてクラス分類（位相クラス分類）を行う。
【０１６４】
次に、図２２のフローチャートを参照して、学習装置１１による前処理の一例について説明する。
【０１６５】
入力部５１には、外部から教師画像が供給される。
【０１６６】
ステップＳ１において、入力部５１は、教師画像を入力し、生徒画像生成部５２及び教師タップ選択部５３に供給する。
【０１６７】
ステップＳ２において、生徒画像生成部５２は、教師画像に対して例えば、図３に示したように、１行間隔で行の間引きを行うことにより、生徒画像を生成し、クラスタップ選択部５４、エッジ領域判定部５９、及び予測タップ選択部６２に供給する。
【０１６８】
ステップＳ３において、教師タップ選択部５３は、生徒画像において間引かれている行（間引き行）の教師画像の所定の画素を教師タップに選択する。
【０１６９】
ステップＳ４において、教師タップ選択部５３は、教師タップを注目画素に設定する。
【０１７０】
ステップＳ５において、教師タップ選択部５３は、選択した教師タップのデータを、正規方程式加算部６３に供給する。
【０１７１】
ステップＳ６において、クラスタップ選択部５４は、例えば、図１７Ａに示したような、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを生徒画像から選択する。
【０１７２】
ステップＳ７において、クラスタップ選択部５４は、選択したクラスタップのデータをクラス分類部５５に供給する。
【０１７３】
ステップＳ８において、クラス分類部５５は、クラスタップのデータに対して例えば1bitADRCを行うことにより、ADRCクラス分類を行う。すなわち、クラス分類部５５は、注目画素についてのADRCクラスコードを生成する。そして、クラス分類部５５は、注目画素についてのADRCクラスコードをクラス保持メモリ５６及びクラスコード生成部６１に供給する。
【０１７４】
ステップＳ９において、クラス保持メモリ５６は、クラス分類部５５から供給されるADRCクラスコードを保持する。
【０１７５】
ステップＳ１０において、教師タップ選択部５３は、注目画素は教師画像の全間引き行の画素のうちの最後の画素かを判定する。
【０１７６】
注目画素は教師画像の全間引き行の画素のうちの最後の画素でない場合、ステップＳ１０において、ＮＯと判定されて、処理はステップＳ３に戻され、それ以降、同様の処理が繰り返される。
【０１７７】
即ち、教師画像の間引き行の画素全てに対して、ステップＳ３乃至Ｓ１０の処理が繰り返し実行される。その結果、教師画像の間引き行の画素全てに対してADRCクラス分類が行われることになる。
【０１７８】
そして、注目画素は教師画像の全間引き行の画素のうちの最後の画素とされて、ステップＳ９の処理が終了すると、ステップＳ１０において、ＹＥＳと判定されて、処理はステップＳ１１に進む。
【０１７９】
ステップＳ１１において、入力部５１は、教師画像は最後の画像かを判定する。
【０１８０】
教師画像は最後の画像でない場合、ステップＳ１１において、ＮＯと判定されて、処理はステップＳ１に戻され、それ以降、同様の処理が繰り返される。
【０１８１】
即ち、処理すべき教師画像全てに対して、ステップＳ１乃至Ｓ１１の処理が繰り返し実行される。その結果、処理すべき教師画像全てに対してADRCクラス分類が行われることになる。
【０１８２】
そして、教師画像が最後の教師画像とされて、ステップ１０の処理で、ＹＥＳと判定されると、ステップＳ１１において、ＹＥＳと判定されて、前処理は終了する。
【０１８３】
次に、図２３のフローチャートを参照して、学習装置１１による学習処理の一例について説明する。
【０１８４】
ステップＳ３１において、同クラス判定部５７は、教師画像の間引き行の所定の画素を注目画素に設定し、注目画素が含まれる行を注目行に設定する。
【０１８５】
ステップＳ３２において、同クラス判定部５７は、注目画素と同じADRCクラスに分類された一連の画素群で形成される同クラス領域を注目行から検出し、同クラス領域の範囲を特定するための特定情報を、クラス分類部５８及びエッジ領域判定部５９に供給する。
【０１８６】
具体的には、例えば、同クラス判定部５７は、クラス保持メモリ５６に保持されている注目行のADRCクラスコードを参照し、水平方向左右に同じADRCクラスが何画素ずつ連続するかを注目行から検出し、間隔M及びNを求める。そして、この間隔M及びNが特定情報とされる。
【０１８７】
ステップＳ３３において、クラス分類部５８は、特定情報に基づいて、注目画素を同クラス領域クラスに分類する同クラス領域クラス分類を行う。すなわち、クラス分類部５８は、注目画素についての同クラス領域クラスコードを生成し、クラスコード生成部６１に供給する。
【０１８８】
ステップＳ３４において、エッジ領域判定部５９及びクラス分類部６０は、後述する位相情報クラス分類処理を行う。すなわち、エッジ領域判定部５９及びクラス分類部６０は、注目画素についての位相情報クラスコードを生成し、クラスコード生成部６１に供給する。
【０１８９】
ステップＳ３５において、クラスコード生成部６１は、注目画素についての同クラス領域クラスコード及び位相情報クラスコードから、注目画素についての位相クラスコードを生成する。
【０１９０】
ステップＳ３６において、クラスコード生成部６１は、注目画素についての同クラス領域クラスコード及び位相クラスコードから、注目画素についての全体の位相クラスコードを生成する。そして、クラスコード生成部６１は、注目画素についての全体のクラスコードを正規方程式加算部６３に供給する。
【０１９１】
ステップＳ３７において、予測タップ選択部６２は、図１７Ｂに示したような、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを、生徒画像から選択する。
【０１９２】
ステップＳ３８において、予測タップ選択部６２は、選択した予測タップのデータを、正規方程式加算部６３に供給する。
【０１９３】
ステップＳ３９において、正規方程式加算部６３は、教師タップのデータ及び予測タップのデータを、注目画素についてのクラスコード毎に式（１３）の正規方程式に足し込む。
【０１９４】
ステップＳ４０において、同クラス判定部５７は、注目画素は教師画像の全間引き行の画素のうちの最後の画素か否かを判定する。
【０１９５】
注目画素は教師画像の全間引き行の画素のうちの最後の画素でない場合、ステップＳ４０において、ＮＯと判定されて、処理はステップＳ３１に戻され、それ以降、同様の処理が繰り返される。
【０１９６】
即ち、教師画像の間引き行の全ての画素に対して、ステップＳ３１乃至Ｓ４０の処理が繰り返し実行される。その結果、教師画像の間引き行の全ての画素に対して足し込みの処理が行われることになる。
【０１９７】
そして、注目画素が教師画像の全間引き行の最後の画素とされて、ステップＳ３９の処理が終了すると、ステップＳ４０において、ＹＥＳと判定されて、処理はステップＳ４１に進む。
【０１９８】
ステップＳ４１において、同クラス判定部５７は、教師画像は最後の画像か否かを判定する。
【０１９９】
教師画像は最後の画像でない場合、ステップＳ４１において、ＮＯと判定されて、処理はステップＳ３１に戻され、それ以降、同様の処理が繰り返される。
【０２００】
即ち、処理すべき教師画像全てに対して、ステップＳ３１乃至Ｓ４１の処理が繰り返し実行される。その結果、処理すべき教師画像全てに対して足し込みの処理が行われることになる。
【０２０１】
そして、教師画像が最後の画像とされて、ステップＳ４０で、ＹＥＳと判定されると、ステップＳ４１において、ＹＥＳと判定されて、処理はステップＳ４２に進む。
【０２０２】
ステップＳ４２において、正規方程式加算部６３は、例えば、全ての教師画像といった全サンプルに対して足し込みを行った後に、足し込んだ正規方程式を係数データ生成部６４に供給する。
【０２０３】
ステップＳ４３において、係数データ生成部６４は、正規方程式を例えば掃き出し法により解くことで、クラス毎に予測係数を求め、外部の係数メモリ２１に記憶させる。そして、全ての予測係数が係数メモリ２１に記憶されると、学習処理は終了する。
【０２０４】
次に、図２４のフローチャートを参照して、エッジ領域判定部５９及びクラス分類部６０による位相情報クラス分類処理の一例について説明する。
【０２０５】
ステップＳ６１において、エッジ領域判定部５９は、同クラス判定部５７から供給される特定情報に基づいて、同クラス領域の両端の画素を特定し、各両端の画素に対して所定の位置関係にある注目行の２つの画素を取得画素とする。そして、エッジ領域判定部５９は、取得画素のうちの１つを処理対象とする対象画素に設定する。
【０２０６】
ステップＳ６２において、エッジ領域判定部５９は、対象画素の上下方向の波形に含まれるエッジ領域を検出し、検出したエッジ領域における画素値の最大値と最小値を特徴量としてクラス分類部６０に供給する。
【０２０７】
ステップＳ６３において、クラス分類部６０は、エッジ領域判定部５９から供給される特徴量に基づいて、対象画素についての位相情報を算出する。
【０２０８】
ステップＳ６４において、クラス分類部６０は、位相情報に基づいて、注目画素を位相情報クラスに分類する位相情報クラス分類を行う。すなわち、クラス分類部６０は、位相情報クラスコードを生成し、クラスコード生成部６１に供給する。
【０２０９】
ステップＳ６５において、エッジ領域判定部５９は、対象画素は最後の取得画素か否かを判定する。
【０２１０】
対象画素は最後の取得画素でない場合、ステップＳ６５において、ＮＯと判定されて、処理はステップＳ６１に戻され、それ以降、同様の処理が繰り返される。
【０２１１】
即ち、２つの取得画素のそれぞれに対して、ステップＳ６１乃至Ｓ６５の処理が繰り返し実行される。その結果、２つの取得画素のそれぞれに対して位相情報クラス分類が行われることになる。
【０２１２】
そして、対象画素が最後の取得画素とされて、ステップＳ６４の処理が終了されると、ステップＳ６５において、ＹＥＳと判定されて、位相情報クラス分類処理は終了される。そして、処理は図２３のステップＳ３５にリターンする。
【０２１３】
図２５は、画像変換装置１２の内部構成例を示すブロック図である。
【０２１４】
画像変換装置１２は、係数メモリ２１、入力部８１、予測タップ選択部８２、クラスタップ選択部８３、クラス分類部８４、クラス保持メモリ８５、同クラス判定部８６、クラス分類部８７、エッジ領域判定部８８、クラス分類部８９、クラスコード生成部９０、積和演算部９１から構成される。
【０２１５】
画像変換装置１２のクラス分類部８４、クラス保持メモリ８５、同クラス判定部８６、クラス分類部８７、エッジ領域判定部８８、クラス分類部８９、及びクラスコード生成部９０は、学習装置１１におけるクラス分類部５５、クラス保持メモリ５６、同クラス判定部５７、クラス分類部５８、エッジ領域判定部５９、クラス分類部６０、及びクラスコード生成部６１と同様に構成される。したがって、画像変換装置１２は、学習装置１１と同様に、ADRCクラス分類、及び位相クラス分類（同クラス領域クラス分類及び位相情報クラス分類）を行うことができる。したがって、以下、これらの説明を適宜省略する。
【０２１６】
なお、係数メモリ２１には、学習装置１１によりクラスコード（位相クラス及びADRCクラスから特定される全体のクラスコード）毎の予測係数があらかじめ記憶されているとする。
【０２１７】
入力部８１には、外部から、例えば、動画像を構成するフィールドが供給される。
【０２１８】
入力部８１は、フィールドを入力画像として入力し、予測タップ選択部８２、クラスタップ選択部８３、及びエッジ領域判定部８８に供給する。
【０２１９】
予測タップ選択部８２は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択し、その予測タップのデータを、積和演算部９１に供給する。
【０２２０】
クラスタップ選択部８３は、入力画像において間引かれている行（間引き行）の出力画像の画素を注目画素に設定し、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択し、そのクラスタップのデータをクラス分類部８４に供給する。
【０２２１】
クラス分類部８４は、クラスタップのデータに基づいて、注目画素を所定のクラスに分類する。
【０２２２】
クラス分類部８４によるクラス分類の手法は、特に、限定されない。但し、このクラス分類手法としては、空間クラス分類が好ましい。
【０２２３】
例えば本実施の形態では、空間クラス分類のひとつであるADRCクラス分類が採用されている。ADRCクラス分類とは、クラスタップのデータに対してADRCを行うことによりクラス分類を行う、といったクラス分類の一手法である。
【０２２４】
つまり、本実施の形態では、クラス分類部８４は、ADRCクラス分類を行うことで、注目画素を所定クラスに分類する。そして、クラス分類部８４は、その所定クラスを特定するコードを生成する。なお、以下、このような所定クラスを、ADRCクラスと称する。また、ADRCクラスを特定するコードを、ADRCクラスコードと称する。クラス分類部８４は、注目画素についてのADRCクラスコードを、クラス保持メモリ８５とクラスコード生成部９０に供給する。
【０２２５】
クラス保持メモリ８５は、クラス分類部８４から供給される注目画素についてのADRCクラスコードを保持する。
【０２２６】
同クラス判定部８６は、注目画素を含む行を注目行に設定する。同クラス判定部８６は、クラス保持メモリ８５を参照し、注目行を構成する画素のうち、注目画素と同じADRCクラスに分類された一連の画素群で形成される領域（以下、同クラス領域と称する）を検出する。同クラス判定部８６は、この同クラス領域の範囲を特定するための特定情報を求め、クラス分類部８７とエッジ領域判定部８８に供給する。なお、この特定情報としては、図１６を参照して説明した特定情報を採用するとする。
【０２２７】
クラス分類部８７は、特定情報に基づいて、注目画素を所定クラスに分類する。このようなクラス分類を他のクラス分類と区別するために、以下、同クラス領域クラス分類と称する。同クラス領域クラス分類によって分類されたクラスを、以下、同クラス領域クラスと称する。クラス分類部８７は、注目画素の同クラス領域クラスを特定するコード（以下、かかるコードを、同クラス領域クラスコードと称する）を生成し、クラスコード生成部９０に供給する。
【０２２８】
エッジ領域判定部８８は、特定情報に基づいて、同クラス領域の両端の画素を特定し、各両端の画素に対して所定の位置関係にある注目行の２つの画素を、位相情報を取得する画素（以下、取得画素と称する）として設定する。エッジ領域判定部８８は、例えば、入力画像中の所定波形に含まれるエッジ領域を検出する。ここで、波形とは、取得画素の上下方向についての複数画素の各画素値の系列をいう。エッジ領域判定部８８は、検出したエッジ領域から、所定の特徴量を抽出し、クラス分類部８９に供給する。なお、所定の特徴量としては、例えば、図２０及び２１を参照して説明した特徴量を採用するとする。
【０２２９】
クラス分類部８９は、エッジ領域の所定の特徴量に基づいて、取得画素の位相情報を算出する。クラス分類部８９は、その位相情報に基づいて、注目画素をクラス分類する。このようなクラス分類を、以下、位相情報クラス分類と称する。また、位相情報クラス分類によって分類されたクラスを、以下、位相情報クラスと称する。クラス分類部８９は、注目画素の位相情報クラスを特定するコード（以下、かかるコードを、位相情報クラスコードと称する）を生成し、クラスコード生成部９０に供給する。
【０２３０】
本実施形態のクラス分類手法では、同クラス領域クラスと位相情報クラスを用いて、さらに所定クラスに分類する。このクラス分類を位相クラス分類と称する。位相クラス分類は、上述したような、図５及び６で説明した大まかな分類では分類できない領域についての情報（特定情報）と、その領域周辺の位相情報（取得画素の位相情報）とに基づいたクラス分類となっている。この位相クラス分類によって分類されたクラスを、以下、位相クラスと称する。
【０２３１】
クラスコード生成部９０は、注目画素についての同クラス領域クラスコード及び位相情報クラスコードから、注目画素についての位相クラスを特定するコード（以下、位相クラスコードと称する）を生成する。クラスコード生成部９０は、注目画素についてのADRCクラスコード及び位相クラスコードから、注目画素についての全体のクラスコードを生成する。そして、クラスコード生成部９０は、注目画素についての全体のクラスコードを、積和演算部９１に供給する。
【０２３２】
積和演算部９１は、注目画素についてのクラスコードに対応する予測係数を、係数メモリ２１から取得する。積和演算部９１は、注目画素についての予測タップのデータと予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、注目画素の画素値を求めるマッピングを行う。積和演算部９１は、マッピングの結果得られる注目画素の画素値を外部に出力する。
【０２３３】
次に、図２６のフローチャートを参照して、画像変換装置１２による前処理の一例について説明する。
【０２３４】
なお、係数メモリ２１には、学習装置１１によりクラスコード（ADRCクラス及び位相クラスから特定される全体のクラスコード）毎の予測係数があらかじめ記憶されているとする。
【０２３５】
入力部８１には、外部から、例えば、動画像を構成する各フィールドが順次供給される。
【０２３６】
ステップＳ８１において、入力部８１は、フィールドを入力画像として入力し、予測タップ選択部８２、クラスタップ選択部８３、及びエッジ領域判定部８８に供給する。
【０２３７】
ステップＳ８２において、クラスタップ選択部８３は、入力画像において間引かれている行（間引き行）の出力画像の画素を注目画素に設定する。
【０２３８】
ステップＳ８３において、クラスタップ選択部８３は、注目画素に対して所定の位置関係にある複数の画素からなるクラスタップを入力画像から選択する。
【０２３９】
具体的には、例えば、クラスタップ選択部８３は、図１７Ａに示したように、中央の点線の画素が注目画素であるとすると、注目画素の左上、上、右上、左下、下、及び右下のそれぞれの入力画像の画素の集合体をクラスタップに選択する。
【０２４０】
ステップＳ８４において、クラスタップ選択部８３は、選択したクラスタップのデータをクラス分類部８４に供給する。
【０２４１】
ステップＳ８５において、クラス分類部８４は、クラスタップのデータに対して例えば1bitADRCを行うことにより、ADRCクラス分類を行う。すなわち、クラス分類部８４は、注目画素についてのADRCクラスコードを生成する。そして、クラス分類部８４は、注目画素についてのADRCクラスコードをクラス保持メモリ８５及びクラスコード生成部９０に供給する。
【０２４２】
ステップＳ８６において、クラス保持メモリ８５は、クラス分類部８４から供給されるADRCクラスコードを保持する。
【０２４３】
ステップＳ８７において、クラスタップ選択部８３は、注目画素は出力画像の全間引き行の画素のうちの最後の画素かを判定する。
【０２４４】
注目画素は出力画像の全間引き行の画素のうちの最後の画素でない場合、ステップＳ８７において、ＮＯと判定されて、処理はステップＳ８２に戻され、それ以降、同様の処理が繰り返される。
【０２４５】
即ち、出力画像の間引き行の画素全てに対して、ステップＳ８２乃至Ｓ８７の処理が繰り返し実行される。その結果、出力画像の全間引き行の画素全てに対してADRCクラス分類が行われることになる。
【０２４６】
そして、注目画素が出力画像の間引き行の画素のうちの最後の画素とされて、ステップＳ８６の処理が終了すると、ステップＳ８７において、ＹＥＳと判定されて、処理はステップＳ８８に進む。
【０２４７】
ステップＳ８８において、入力部５１は、入力画像は最後の画像かを判定する。
【０２４８】
入力画像は最後の画像でない場合、ステップＳ８７において、ＮＯと判定されて、処理はステップＳ８１に戻され、それ以降、同様の処理が繰り返される。
【０２４９】
即ち、外部からフィールドが供給される限り、ステップＳ８１乃至Ｓ８８の処理が繰り返し実行される。すなわち、外部からフィールドが供給されなくなるまで、外部から供給されるフィールドとしての入力画像に対して出力画像の生成が行われることになる。
【０２５０】
そして、外部から最後のフィールドが供給され、入力画像とされて、ステップＳ８７で、ＹＥＳと判定されると、ステップＳ８８において、ＹＥＳと判定されて、前処理は終了する。
【０２５１】
次に、図２７のフローチャートを参照して、画像処理装置１２によるマッピング処理の一例について説明する。
【０２５２】
なお、係数メモリ２１には、学習装置１１によりクラスコード（ADRCクラス及び位相クラスから特定される全体のクラスコード）毎の予測係数があらかじめ記憶されているとする。
【０２５３】
ステップＳ１０１において、同クラス判定部８６は、出力画像の間引き行の所定の画素を注目画素に設定し、注目画素が含まれる行を注目行に設定する。
【０２５４】
ステップＳ１０２において、同クラス判定部８６は、注目画素と同じADRCクラスに分類された一連の画素群で形成される同クラス領域を注目行から検出し、同クラス領域の範囲を特定するための特定情報を、クラス分類部８７及びエッジ領域判定部８８に供給する
【０２５５】
具体的には、例えば、同クラス判定部８６は、クラス保持メモリ８５に保持されている注目行のADRCクラスコードを参照し、水平方向左右に同じADRCクラスが何画素ずつ連続するかを注目行から検出し、間隔M及びNを求める。そして、この間隔M及びNが特定情報とされる。
【０２５６】
ステップＳ１０３において、クラス分類部８７は、特定情報に基づいて、注目画素を同クラス領域クラスに分類する同クラス領域クラス分類を行う。すなわち、クラス分類部８７は、注目画素についての同クラス領域クラスコードを生成し、クラスコード生成部９０に供給する。
【０２５７】
ステップＳ１０４において、エッジ領域判定部８８及びクラス分類部８９は、位相情報クラス分類処理を行う。この位相情報クラス分類処理は、図２４を参照して説明した位相情報クラス分類処理と同様の処理である。すなわち、エッジ領域判定部８８及びクラス分類部８９は、注目画素についての位相情報クラスコードを生成し、クラスコード生成部９０に供給する。
【０２５８】
ステップＳ１０５において、クラスコード生成部９０は、注目画素についての同クラス領域クラスコード及び位相情報クラスコードから、注目画素についての位相クラスコードを生成する。
【０２５９】
ステップＳ１０６において、クラスコード生成部９０は、注目画素についての同クラス領域クラスコード及び位相クラスコードから、注目画素についての全体の位相クラスコードを生成する。そして、クラスコード生成部９０は、注目画素についての全体のクラスコードを積和演算部９１に供給する。
【０２６０】
ステップＳ１０７において、積和演算部９１は、クラスコード生成部９０から供給される注目画素についてのクラスコードに対応する予測係数を、係数メモリ２１から取得する。
【０２６１】
ステップＳ１０８において、予測タップ選択部８２は、注目画素に対して所定の位置関係にある複数の画素からなる予測タップを入力画像から選択する。
【０２６２】
具体的には、例えば、予測タップ選択部８２は、図１７Ｂに示したように、中央の点線の画素が注目画素であるとすると、注目画素の３画素分上、左上、上、右上、左下、下、右下、及び３画素分下のそれぞれの入力画像の画素の集合体をクラスタップに選択する。
【０２６３】
ステップＳ１０９において、予測タップ選択部８２は、選択した予測タップのデータを、積和演算部９１に供給する。
【０２６４】
ステップＳ１１０において、積和演算部９１は、注目画素についての予測タップのデータと予測係数とから、式（１）に示した予測演算（積和演算）を行うことにより、注目画素の画素値を求めるマッピングを行う。積和演算部９１は、マッピングの結果得られる注目画素の画素値を外部に出力する。
【０２６５】
ステップＳ１１１において、同クラス判定部８６は、注目画素は出力画像の全間引き行の画素のうちの最後の画素か否かを判定する。
【０２６６】
注目画素は出力画像の全間引き行の画素のうちの最後の画素でない場合、ステップＳ１１１において、ＮＯと判定されて、処理はステップＳ１０１に戻され、それ以降、同様の処理が繰り返される。
【０２６７】
即ち、出力画像の間引き行の全ての画素に対して、ステップＳ１０１乃至Ｓ１１１の処理が繰り返し実行される。その結果、出力画像の間引き行の全ての画素に対して画素の生成が行われることになる。
【０２６８】
そして、注目画素が出力画像の全間引き行の画素のうちの最後の画素とされて、ステップＳ１１０の処理が終了すると、ステップＳ１１１において、ＹＥＳと判定されて、処理はステップＳ１１２に進む。
【０２６９】
ステップＳ１１２において、同クラス判定部８６は、出力画像は最後の画像か否かを判定する。
【０２７０】
出力画像は最後の画像でない場合、ステップＳ１１２において、ＮＯと判定されて、処理はステップＳ１０１に戻され、それ以降、同様の処理が繰り返される。
【０２７１】
即ち、外部からフィールドが供給される限り、ステップＳ１０１乃至Ｓ１１２の処理が繰り返し実行される。その結果、外部から供給されるフィールドとしての入力画像に対して出力画像の生成が行われることになる。但し、出力画像の間引き行でない行の画素については、例えば、入力画像の画素の画素値がそのまま出力されるとする。
【０２７２】
そして、外部から最後のフィールドが供給され、入力画像とされて、ステップＳ１１１で、ＹＥＳと判定されると、ステップＳ１１２において、ＹＥＳと判定されて、マッピング処理は終了する。
【０２７３】
次に、図２８乃至２９を参照して、本発明の手法によりマッピングされた画像（以下、分類ありの出力画像）と、従来の手法（ADRCのクラス分類のみ）によりマッピングされた画像（以下、分類なしの出力画像）とを比較する。分類ありの出力画像とは、図２６の前処理及び図２７のマッピング処理の結果として得られた画像を意味する。具体的には、波形を評価する定性評価と、SNRを評価する定量評価の結果を用いて比較する。
【０２７４】
まずは、定性評価の結果について、図２８及び２９を参照して説明する。
【０２７５】
図２８には、上から順に、教師画像P1の一部、教師画像P1に対する分類なしの出力画像P2の一部、及び、教師画像P1に対する分類ありの出力画像P3の一部が示されている。
【０２７６】
各画像中の左上から右下に伸びる斜め線を注目部分として説明する。
【０２７７】
分類ありの出力画像P3の注目部分では、分類なしの出力画像P2の注目部分に比べて、斜め線がぎざぎざしておらず、また、斜め線が折り返っていないことが分かる。また、分類なしの出力画像P2では、斜め線が切れかけているのに対して、分類ありの出力画像P3の注目部分では、斜め線がうまくつながっていることが分かる。
【０２７８】
図２９には、上から順に、教師画像P4の一部、教師画像P4に対する分類なしの出力画像P5の一部、及び、教師画像P4に対する分類ありの出力画像P6の一部が示されている。
【０２７９】
各画像中の屋根の頂上部分の左上から右下に伸びる斜め線を注目部分として説明する。
【０２８０】
分類ありの出力画像P6の注目部分では、分類なしの出力画像P5の注目部分に比べて、斜め線がぎざぎざしておらず、また、斜め線が折り返っていないことが分かる。また、分類なしの出力画像P5では、斜め線が切れかけているのに対して、分類ありの出力画像P6の注目部分では、斜め線がうまくつながっていることが分かる。
【０２８１】
以上のように、学習装置１１及び画像変換装置１２は、同クラス領域の情報及び同クラス領域の周辺の取得画素についての位相情報をクラス分類に利用することで、従来のクラス分類手法で分類することができなかった波形パターンを用いてクラス分類することができる。言い換えれば、学習装置１１及び画像変換装置１２は、従来のクラス分類手法に比べてより似ている波形パターンを集めてクラス分類を行うことができる。したがって、画像変換装置１２２の適応処理の性能を、従来の適応処理に比べて向上させることができる。
【０２８２】
画像変換装置１２は、同じクラスコードを有する画素群と注目画素との位置関係情報に基づいてクラス分類するようにしたので、注目画素とエッジ領域との位置関係が考慮されることになり、IP変換時に斜め線がぎざぎざして折り返らない画像信号を生成したり、斜め線がうまくつながる画像信号を生成することができる。
【０２８３】
ところで、以上の例では、位相クラス分類とともに行われるクラス分類は、ADRCクラス分類が採用された。ただし、位相クラス分類とともに行われるクラス分類は、ADRCクラス分類に限定されず、その他の手法のクラス分類、例えばVQ（ベクトル量子化）によるクラス分類等を採用できる。換言すると、これらのクラス分類では画素精度の特徴量を用いているため分類精度が粗く、それゆえ、［発明が解決しようとする課題］の欄で説明した課題が生じていた。即ち、従来の適応処理では、IP変換を行った場合、斜め線がぎざぎざして折り返ってしまうといった問題や、斜め線がうまくつながらないといった問題等が生じていた。そこで、本発明の手法では、この問題点を解決すべく、従来の分類精度が粗いクラス分類のみならず、それよりもさらに細かく分類可能な位相クラス分類、即ち、画素以下の特徴量を用いたクラス分類を採用しているのである。
【０２８４】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２８５】
図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２８６】
コンピュータにおいて、CPU１５１，ROM（Read Only Memory）１５２，RAM（Random Access Memory）１５３は、バス１５４により相互に接続されている。
【０２８７】
バス１５４には、さらに、入出力インタフェース１５５が接続されている。入出力インタフェース１５５には、キーボード、マウス、マイクロホンなどよりなる入力部１５６、ディスプレイ、スピーカなどよりなる出力部１５７、ハードディスクや不揮発性のメモリなどよりなる記憶部１５８、ネットワークインタフェースなどよりなる通信部１５９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１６１を駆動するドライブ１６０が接続されている。
【０２８８】
以上のように構成されるコンピュータでは、CPU１５１が、例えば、記憶部１５８に記憶されているプログラムを、入出力インタフェース１５５及びバス１５４を介して、RAM１５３にロードして実行することにより、上述した一連の処理が行われる。
【０２８９】
コンピュータ（CPU１５１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２９０】
そして、プログラムは、リムーバブルメディア１６１をドライブ１６０に装着することにより、入出力インタフェース１５５を介して、記憶部１５８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１５９で受信し、記憶部１５８にインストールすることができる。その他、プログラムは、ROM１５２や記憶部１５８に、あらかじめインストールしておくことができる。
【０２９１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２９３】
【図１】画像変換装置１の構成例を示す図である。
【図２】教師画像PKの例を示す図である。
【図３】生徒画像PSの例を示す図である。
【図４】入力画像PNの例を示す図である。
【図５】入力画像PNの例を示す図である。
【図６】波形Wの例を示す図である。
【図７】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図８】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図９】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図１０】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図１１】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図１２】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図１３】入力画像PNとその波形W、並びに位相の分類結果の例を示す図である。
【図１４】画像処理システム１０の構成例を示す図である。
【図１５】学習装置１１の内部構成例を示すブロック図である。
【図１６】クラス分類部５５及び同クラス判定部５７による処理を説明するための図である。
【図１７】クラスタップと予測タップの例を示す図である。
【図１８】同クラス領域の周辺の生徒画像PSを示す図である。
【図１９】波形WWの例を示す図である。
【図２０】エッジ領域判定部５９によるエッジ領域の検出を説明するための図である。
【図２１】エッジ領域判定部５９によるエッジ領域の検出を説明するための図である。
【図２２】学習装置１１による前処理を説明するフローチャートである。
【図２３】学習装置１１による学習処理を説明するフローチャートである。
【図２４】エッジ領域判定部５９及びクラス分類部６０による位相情報クラス分類処理を説明するフローチャートである。
【図２５】画像変換装置１２の内部構成例を示すブロック図である。
【図２６】画像変換装置１２による前処理を説明するフローチャートである。
【図２７】画像処理装置１２によるマッピング処理を説明するフローチャートである。
【図２８】定性評価の結果を示す図である。
【図２９】定性評価の結果を示す図である。
【図３０】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２９４】
１  画像変換装置，  ２  予測タップ選択部，  ３  クラスタップ選択部，  ４  クラス分類部，  ５  係数メモリ，  ６  予測演算部，  １０  画像変換システム，  １１  学習装置，  １２  画像変換装置，  ２１  係数メモリ，  ５１  入力部，  ５２  生徒画像生成部，  ５３  教師タップ選択部，  ５４  クラスタップ選択部，  ５５  クラス分類部，  ５６  クラス保持メモリ，  ５７  同クラス判定部，  ５８  クラス分類部，  ５９  エッジ領域判定部，  ６０  クラス分類部，  ６１  クラスコード生成部，  ６２  予測タップ選択部，  ６３  正規方程式加算部，  ６４  係数データ生成部，  ８１  入力部，  ８２  予測タップ選択部，  ８３  クラスタップ選択部，  ８４  クラス分類部，  ８５  クラス保持メモリ，  ８６  同クラス判定部，  ８７  クラス分類部，  ８８  エッジ領域判定部，  ８９  クラス分類部，  ９０  クラスコード生成部，  ９１  積和演算部，  １５１  CPU，  １５２  ROM，  １５３  RAM，  １５４  バス，  １５５  入出力インタフェース，  １５６  入力部，  １５７  出力部，  １５８  記憶部，  １５９  通信部，  １６０  ドライブ，  １６１  リムーバブルメディア
【図１】
2009252021.tif 000013
【図２】
2009252021.tif 000014
【図３】
2009252021.tif 000015
【図４】
2009252021.tif 000016
【図５】
2009252021.tif 000017
【図６】
2009252021.tif 000018
【図７】
2009252021.tif 000019
【図８】
2009252021.tif 000020
【図９】
2009252021.tif 000021
【図１０】
2009252021.tif 000022
【図１１】
2009252021.tif 000023
【図１２】
2009252021.tif 000024
【図１３】
2009252021.tif 000025
【図１４】
2009252021.tif 000026
【図１５】
2009252021.tif 000027
【図１６】
2009252021.tif 000028
【図１７】
2009252021.tif 000029
【図１８】
2009252021.tif 000030
【図１９】
2009252021.tif 000031
【図２０】
2009252021.tif 000032
【図２１】
2009252021.tif 000033
【図２２】
2009252021.tif 000034
【図２３】
2009252021.tif 000035
【図２４】
2009252021.tif 000036
【図２５】
2009252021.tif 000037
【図２６】
2009252021.tif 000038
【図２７】
2009252021.tif 000039
【図２８】
2009252021.tif 000040
【図２９】
2009252021.tif 000041
【図３０】
2009252021.tif 000042