(57)【要約】【課題】より高画質の画像を予測する。【解決手段】予測タップ抽出部６１は、第２の画像データの注目画素を予測する予測演算に用いるための予測タップを、第１の画像データから抽出し、マッチング位置取得部６５は、基準ブロックと最も類似するマッチングブロックが存在する位置を表すマッチング位置を、第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得し、方向クラス分類部６６は、マッチング位置に基づいて、注目画素を、複数の方向クラスのうちのいずれかの方向クラスに分類し、係数ROM６７は、学習により予め求められている予測係数のうち、注目画素の方向クラスに対応する予測係数を出力し、予測演算部６８は、出力された予測係数と、抽出された予測タップを構成する複数の画素とを用いた予測演算により、第２の画像データの注目画素を予測する。本発明は、例えばテレビジョン受像機に適用できる。【選択図】図５
2009268021.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像よりも高画質な第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出する予測タップ抽出手段と、
前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、
前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、
学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数を出力する予測係数出力手段と、
出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素を予測する予測演算手段と
を備える画像処理装置。
【請求項２】
前記方向クラス分類手段は、
複数の傾きクラスのうち、前記連続領域が連続する方向を表す傾きに対応する前記注目画素の傾きクラスを決定する傾きクラス決定手段と、
複数の位相クラスのうち、前記連続領域の位相に対応する前記注目画素の位相クラスを決定する位相クラス決定手段と、
決定された前記傾きクラスと、決定された前記位相クラスとの組合せに基づいて、前記注目画素の前記方向クラスを決定する方向クラス決定手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記方向クラス分類手段は、
前記基準ブロックを構成する複数の画素、及び前記マッチング位置に存在する前記マッチングブロックを構成する複数の画素を用いた最小自乗法により、前記連続領域を表す直線式を算出する直線式算出手段をさらに有し、
前記傾きクラス決定手段は、算出された前記直線式の傾きに基づいて、前記注目画素の前記傾きクラスを決定し、
前記位相クラス決定手段は、算出された前記直線式の切片に基づいて、前記注目画素の前記位相クラスを決定する
請求項２に記載の画像処理装置。
【請求項４】
前記傾きクラス決定手段は、前記マッチング位置に基づいて、前記注目画素の前記傾きクラスを決定する
請求項２に記載の画像処理装置。
【請求項５】
前記注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出する波形タップ抽出手段と、
前記注目画素を、複数の波形クラスのうち、前記波形タップの特徴を表す波形クラスに分類する波形クラス分類手段と
をさらに備え、
前記予測係数出力手段は、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスと前記注目画素の前記波形クラスとの組合せに対応する前記予測係数を出力する
請求項２に記載の画像処理装置。
【請求項６】
前記方向クラス分類手段は、
前記波形タップを構成する複数の画素のうち、所定の画素と、前記所定の画素に隣接する隣接画素との差分を算出する隣接画素差分算出手段をさらに有し、
前記位相クラス決定手段は、前記隣接画素差分算出手段による算出結果に基づいて、前記注目画素の位相クラスを決定する
請求項５に記載の画像処理装置。
【請求項７】
前記連続領域が定常的に連続して存在する方向を表す定常方向を判定する定常判定手段をさらに備え、
前記マッチング位置取得手段は、前記定常方向の幅が他の方向の幅よりも大きく設けられた前記マッチング範囲内に存在する複数の画素の位置から、前記マッチング位置を取得する
請求項１に記載の画像処理装置。
【請求項８】
前記マッチング位置取得手段により取得された前記マッチング位置の信頼性を判定する信頼性判定手段をさらに備え、
前記方向クラス分類手段は、前記マッチング位置の信頼性が高いと判定された場合、前記マッチング位置に基づいて、前記注目画素を、前記複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する前記連続領域に対応する方向クラスに分類する
請求項１に記載の画像処理装置。
【請求項９】
第１の画像を、前記第１の画像よりも高画質な第２の画像に変換する画像処理装置は、
予測タップ抽出手段と、
マッチング位置取得手段と、
方向クラス分類手段と、
予測係数出力手段と、
予測演算手段と
を備え、
前記予測タップ抽出手段が、前記第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出し、
前記マッチング位置取得手段が、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得し、
前記方向クラス分類手段が、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類し、
前記予測係数出力手段が、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数を出力し、
前記予測演算手段が、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素を予測する
ステップを含む画像処理方法。
【請求項１０】
コンピュータを、
第１の画像よりも高画質な第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出する予測タップ抽出手段と、
前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、
前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、
学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数を出力する予測係数出力手段と、
出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素を予測する予測演算手段と
して、機能させるためのプログラム。
【請求項１１】
学習用の第１の画像よりも高画質な学習用の第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出する予測タップ抽出手段と、
前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、
前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、
前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
を備える学習装置。
【請求項１２】
前記方向クラス分類手段は、
複数の傾きクラスのうち、前記連続領域が連続する方向を表す傾きに対応する前記注目画素の傾きクラスを決定する傾きクラス決定手段と、
複数の位相クラスのうち、前記連続領域の位相に対応する前記注目画素の位相クラスを決定する位相クラス決定手段と、
決定された前記傾きクラスと、決定された前記位相クラスとの組合せに基づいて、前記注目画素の前記方向クラスを決定する方向クラス決定手段と
を有する
請求項１１に記載の学習装置。
【請求項１３】
前記方向クラス分類手段は、
前記基準ブロックを構成する複数の画素、及び前記マッチング位置に存在する前記マッチングブロックを構成する複数の画素を用いた最小自乗法により、前記連続領域を表す直線式を算出する直線式算出手段をさらに有し、
前記傾きクラス決定手段は、算出された前記直線式の傾きに基づいて、前記注目画素の前記傾きクラスを決定し、
前記位相クラス決定手段は、算出された前記直線式の切片に基づいて、前記注目画素の前記位相クラスを決定する
請求項１２に記載の学習装置。
【請求項１４】
前記傾きクラス決定手段は、前記マッチング位置に基づいて、前記注目画素の前記傾きクラスを決定する
請求項１２に記載の学習装置。
【請求項１５】
前記注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出する波形タップ抽出手段と、
前記注目画素を、複数の波形クラスのうち、前記波形タップの特徴を表す波形クラスに分類する波形クラス分類手段と
をさらに備え、
前記予測係数算出手段は、前記注目画素の方向クラス及び前記注目画素の波形クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める
請求項１２に記載の学習装置。
【請求項１６】
前記方向クラス分類手段は、
前記波形タップを構成する複数の画素のうち、所定の画素と、前記所定の画素に隣接する隣接画素との差分を算出する隣接画素差分算出手段をさらに有し、
前記位相クラス決定手段は、前記隣接画素差分算出手段による算出結果に基づいて、前記注目画素の位相クラスを決定する
請求項１５に記載の学習装置。
【請求項１７】
前記連続領域が定常的に連続して存在する方向を表す定常方向を判定する定常判定手段をさらに備え、
前記マッチング位置取得手段は、前記定常方向の幅が他の方向の幅よりも大きく設けられた前記マッチング範囲内に存在する複数の画素の位置から、前記マッチング位置を取得する
請求項１１に記載の学習装置。
【請求項１８】
前記マッチング位置取得手段により取得された前記マッチング位置の信頼性を判定する信頼性判定手段をさらに備え、
前記方向クラス分類手段は、前記マッチング位置の信頼性が高いと判定された場合、前記マッチング位置に基づいて、前記注目画素を、前記複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する前記連続領域に対応する方向クラスに分類する
請求項１１に記載の学習装置。
【請求項１９】
第１の画像データを、前記第１の画像データよりも高画質の第２の画像データに変換する画像処理における予測演算に用いられる予測係数を、学習用の前記第１の画像データを用いた前記予測演算の結果と、学習用の前記第１の画像データに対応する学習用の前記第２の画像データとの誤差を最小にする学習により求める学習装置は、
予測タップ抽出手段と、
マッチング位置取得手段と、
方向クラス分類手段と、
予測係数算出手段と
を備え、
前記予測タップ抽出手段が、学習用の前記第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出し、
前記マッチング位置取得手段が、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得し、
前記方向クラス分類手段が、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類し、
前記予測係数算出手段が、前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める
ステップを含む学習方法。
【請求項２０】
コンピュータを、
学習用の第１の画像よりも高画質な学習用の第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出する予測タップ抽出手段と、
前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、
前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、
前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段と
して、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関し、特に、例えば、より高画質の画像を生成することができるようにした画像処理装置、画像処理方法、学習装置、学習方法、及びプログラムに関する。
【背景技術】
【０００２】
本出願人は、例えば、低解像度の画像データを、より解像度が高い高解像度の画像データに変換する方法として、クラス分類適応処理を先に提案している（例えば、特許文献１を参照）。
【０００３】
クラス分類適応処理では、例えば、予測すべき高解像度の画像データの画素（以下、注目画素という）が決定され、注目画素の位置に相当する、低解像度の画像データの位置から最も近くに存在する画素を、注目画素に対応する対応画素として、対応画素を含む、その対応画素の周辺に存在する複数の画素がクラスタップとして抽出され、クラスタップを構成する複数の画素に基づいて、注目画素が複数のクラスのうちのいずれかのクラスに分類される。
【０００４】
また、クラス分類適応処理では、注目画素の位置に対応する、低解像度の画像データの対応画素を含む、その対応画素の周辺に存在する複数の画素が予測タップとして抽出され、予測タップを構成する複数の画素と、注目画素が分類されたクラスに対応する予測係数とを用いた予測演算によって注目画素が予測（生成）される。
【０００５】
なお、予測係数は、学習用の高解像度の画像データ、及び学習用の低解像度の画像データを用いた学習により予め求められている。
【０００６】
ここで、注目画素を複数のクラスのうちのいずれかのクラスに分類するクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)(適応的ダイナミックレンジ符号化)等を採用することができる。
【０００７】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られたADRCコードにしたがって、注目画素が、複数のクラスのうちのいずれかのクラスに分類される。
【０００８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素（の画素値）がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。
【０００９】
そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が０又は１の１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００１０】
【特許文献１】特開平５−３２８１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
次に、図１を参照して、従来のクラス分類適応処理において、１ビットADRC処理を用いてクラス分類を行ったときに取得される、クラスタップを構成する複数の画素の画素値の変化を表す波形パターンを説明する。
【００１２】
図１Ａ右側には、横×縦が３×３画素の合計９画素（丸で示す）により構成されるクラスタップが示されている。また、図１Ａ左側には、図１Ａ右側に示すクラスタップのうち、楕円により囲まれた３個の画素の位置を横軸とし、楕円により囲まれた３個の画素の画素値を縦軸とする直交座標が示されている。
【００１３】
さらに、図１Ａ左側及び図１Ａ右側において、黒丸で示す画素は、その画素値がDRA/2以上の画素であり、対応するADRCコードとして１が割り当てられる画素を示している。また、白丸で示す画素は、その画素値がDRA/2未満の画素であり、対応するADRCコードとして０が割り当てられる画素を示している。
【００１４】
なお、DRAとは、図１Ａ右側に示すクラスタップを構成する複数の画素の画素値の最大値MAXAと最小値MINAとの差分MAXA-MINAを表している。図１Ｂについても同様である。
【００１５】
図１Ａ左側において、画素１aから画素１bへの画素値の変化が急峻であるため、画素１aと画素１bとの間にエッジが存在する。また、画素１bから画素１cへの画素値の変化が急峻であるため、画素１bと画素１cとの間にエッジが存在する。
【００１６】
図１Ｂ左側において、画素２aから画素２bへの画素値の変化が緩やかであるため、画素２aと画素２bとの間にエッジは存在しない。また、画素２bから画素２cへの画素値の変化が急峻であるため、画素２bと画素２cとの間にエッジが存在する。
【００１７】
従来のクラス分類適応処理では、図１Ａ右側に示すクラスタップから得られるADRCコードと、図１Ｂ右側に示すクラスタップから得られるADRCコードとは、同一のADRCコードが出力される。
【００１８】
すなわち、例えば、図１Ａ左側において、画素１a及び１bは、画素値がDRA/2以上の画素であるとともに、画素１cは、画素値がDRA/2未満の画素である。従って、画素１a、１b、及び１cに対応するADRCコードは、「110」となる。
【００１９】
同様に、画素２a、２b、及び２cに対応するADRCコードは、「110」となる。
【００２０】
例えば、図１Ａにおいて、ADRCコードが「110」である場合、ADRCコード「1」に対応する画素の画素値は、DRA/2以上であり、ADRCコード「0」に対応する画素の画素値は、DRA/2未満である。従って、ADRCコード「1」に対応する画素１bから、ADRCコード「0」に対応する画素１cへの画素値の変化は急峻であることが推測される。
【００２１】
図１Ｂにおいても同様に、ADRCコード「1」に対応する画素２bから、ADRCコード「0」に対応する画素２cへの画素値の変化は急峻であることが推測される。
【００２２】
従って、ADRCコードからは、ADRCコード「1」に対応する画素と、ADRCコード「0」に対応する画素との間にエッジが存在していることを推測することができる。
【００２３】
しかしながら、ADRCコードだけでは、ADRCコード「1」に対応する画素間にエッジが存在するか否かは推測することができない。
【００２４】
すなわち、例えば、図１Ａ左側に示すクラスタップにおいて、画素１aの画素値と画素１bの画素値とがDRA/2以上であることは、ADRCコードから認識することができるが、画素１aから画素１bへの画素値の変化が緩やかであるのか、急峻であるのかを推測することはできない。図１Ｂ左側に示す他のクラスタップにおいても同様である。
【００２５】
従って、図１Ａ右側に示すクラスタップには、エッジが２本存在しており、図１Ｂ右側に示す他のクラスタップには、エッジが１本のみ存在しているにも拘わらず、図１Ａ右側に示すクラスタップと、図１Ｂ右側に示す他のクラスタップとから得られるADRCコードは同一となってしまう。
【００２６】
よって、従来のクラス分類適応処理により出力されるADRCコードには、エッジが何本存在するかを示す情報は完全に反映されていない。また、ADRCコードには、エッジがいずれの方向に連続しているかを示す情報についても同様に反映されていない。
【００２７】
次に、図２は、従来のクラス分類適応処理において、連続してエッジが存在する可能性がある方向を示している。
【００２８】
図２Ａは、ADRCコードが１となる画素間に、図中、右上方向に延びたエッジが存在する場合のクラスタップを示している。
【００２９】
図２Ｂは、ADRCコードが１となる画素間に、図中、左上方向に延びたエッジが存在する場合のクラスタップを示している。
【００３０】
図２Ｃは、ADRCコードが１となる画素間に、図中、上下方向に延びたエッジが存在する場合のクラスタップを示している。
【００３１】
図２Ｄは、ADRCコードが１となる画素間に、図中、図２Ｂの場合と比較して、より左上方向に延びたエッジが存在する場合のクラスタップを示している。
【００３２】
図２Ａないし図２Ｄそれぞれに示すクラスタップからは、同一のADRCコードが得られる。しかしながら、ADRCコードが１となる画素間に存在するエッジについては、ADRCコードに変化がなく、エッジが存在することは勿論、連続してエッジが存在する方向を示す情報が反映されていない。
【００３３】
従って、従来のクラス分類適応処理では、連続してエッジが存在する方向が、図２Ａないし図２Ｄに示すような様々な方向に存在する場合であっても、同一のADRCコードが出力されるため、連続してエッジが存在する方向等が考慮されずに、低解像度の画像データを、高解像度の画像データに変換することが行われている。
【００３４】
よって、従来のクラス分類適応処理による変換後の高解像度の画像データにおいて、連続してエッジが存在する領域等の連続領域に歪み等が発生し得た。
【００３５】
本発明は、このような状況に鑑みてなされたものであり、注目画素の周辺に存在する連続領域を示す情報を取得して、より高画質の画像を予測できるようにするものである。
【課題を解決するための手段】
【００３６】
本発明の第１の側面の画像処理装置、又はプログラムは、第１の画像よりも高画質な第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出する予測タップ抽出手段と、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数を出力する予測係数出力手段と、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素を予測する予測演算手段とを備える画像処理装置、又は画像処理装置として、コンピュータを機能させるためのプログラムである。
【００３７】
本発明の第１の側面では、前記方向クラス分類手段には、複数の傾きクラスのうち、前記連続領域が連続する方向を表す傾きに対応する前記注目画素の傾きクラスを決定する傾きクラス決定手段と、複数の位相クラスのうち、前記連続領域の位相に対応する前記注目画素の位相クラスを決定する位相クラス決定手段と、決定された前記傾きクラスと、決定された前記位相クラスとの組合せに基づいて、前記注目画素の前記方向クラスを決定する方向クラス決定手段とを設けることができる。
【００３８】
本発明の第１の側面では、前記方向クラス分類手段には、前記基準ブロックを構成する複数の画素、及び前記マッチング位置に存在する前記マッチングブロックを構成する複数の画素を用いた最小自乗法により、前記連続領域を表す直線式を算出する直線式算出手段をさらに設けることができ、前記傾きクラス決定手段では、算出された前記直線式の傾きに基づいて、前記注目画素の前記傾きクラスを決定し、前記位相クラス決定手段では、算出された前記直線式の切片に基づいて、前記注目画素の前記位相クラスを決定することができる。
【００３９】
本発明の第１の側面では、前記傾きクラス決定手段では、前記マッチング位置に基づいて、前記注目画素の前記傾きクラスを決定することができる。
【００４０】
本発明の第１の側面では、前記注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出する波形タップ抽出手段と、前記注目画素を、複数の波形クラスのうち、前記波形タップの特徴を表す波形クラスに分類する波形クラス分類手段とをさらに設けることができ、前記予測係数出力手段では、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスと前記注目画素の前記波形クラスとの組合せに対応する前記予測係数を出力することができる。
【００４１】
本発明の第１の側面では、前記方向クラス分類手段には、前記波形タップを構成する複数の画素のうち、所定の画素と、前記所定の画素に隣接する隣接画素との差分を算出する隣接画素差分算出手段をさらに設けることができ、前記位相クラス決定手段では、前記隣接画素差分算出手段による算出結果に基づいて、前記注目画素の位相クラスを決定することができる。
【００４２】
本発明の第１の側面では、前記連続領域が定常的に連続して存在する方向を表す定常方向を判定する定常判定手段をさらに設けることができ、前記マッチング位置取得手段では、前記定常方向の幅が他の方向の幅よりも大きく設けられた前記マッチング範囲内に存在する複数の画素の位置から、前記マッチング位置を取得することができる。
【００４３】
本発明の第１の側面では、前記マッチング位置取得手段により取得された前記マッチング位置の信頼性を判定する信頼性判定手段をさらに設けることができ、前記方向クラス分類手段では、前記マッチング位置の信頼性が高いと判定された場合、前記マッチング位置に基づいて、前記注目画素を、前記複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する前記連続領域に対応する方向クラスに分類することができる。
【００４４】
本発明の第１の側面の画像処理方法は、前記予測タップ抽出手段が、前記第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素を、前記第１の画像から抽出し、前記マッチング位置取得手段が、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得し、前記方向クラス分類手段が、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類し、前記予測係数出力手段が、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数を出力し、前記予測演算手段が、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素を予測するステップを含む画像処理方法である。
【００４５】
本発明の第１の側面によれば、第１の画像よりも高画質な第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素が、前記第１の画像から抽出され、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置が、前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得され、前記マッチング位置に基づいて、前記注目画素が、複数の方向クラスのうち、前記注目画素の位置に相当する前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類され、学習用の前記第１の画像を用いた前記予測演算の結果と、学習用の前記第１の画像に対応する学習用の前記第２の画像との誤差を最小にする学習により予め求められている予測係数のうち、前記注目画素の前記方向クラスに対応する前記予測係数が出力され、出力された前記予測係数と、抽出された前記予測タップを構成する複数の画素とを用いた前記予測演算により、前記第２の画像の前記注目画素が予測される。
【００４６】
本発明の第２の側面の学習装置、又はプログラムは、学習用の第１の画像よりも高画質な学習用の第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出する予測タップ抽出手段と、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得するマッチング位置取得手段と、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類する方向クラス分類手段と、前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求める予測係数算出手段とを備える学習装置、又は学習装置として、コンピュータを機能させるためのプログラムである。
【００４７】
本発明の第２の側面では、前記方向クラス分類手段には、複数の傾きクラスのうち、前記連続領域が連続する方向を表す傾きに対応する前記注目画素の傾きクラスを決定する傾きクラス決定手段と、複数の位相クラスのうち、前記連続領域の位相に対応する前記注目画素の位相クラスを決定する位相クラス決定手段と、決定された前記傾きクラスと、決定された前記位相クラスとの組合せに基づいて、前記注目画素の前記方向クラスを決定する方向クラス決定手段とを設けることができる。
【００４８】
本発明の第２の側面では、前記方向クラス分類手段には、前記基準ブロックを構成する複数の画素、及び前記マッチング位置に存在する前記マッチングブロックを構成する複数の画素を用いた最小自乗法により、前記連続領域を表す直線式を算出する直線式算出手段をさらに設けることができ、前記傾きクラス決定手段では、算出された前記直線式の傾きに基づいて、前記注目画素の前記傾きクラスを決定し、前記位相クラス決定手段では、算出された前記直線式の切片に基づいて、前記注目画素の前記位相クラスを決定することができる。
【００４９】
本発明の第２の側面では、前記傾きクラス決定手段では、前記マッチング位置に基づいて、前記注目画素の前記傾きクラスを決定することができる。
【００５０】
本発明の第２の側面では、前記注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出する波形タップ抽出手段と、前記注目画素を、複数の波形クラスのうち、前記波形タップの特徴を表す波形クラスに分類する波形クラス分類手段とをさらに設けることができ、前記予測係数算出手段では、前記注目画素の方向クラス及び前記注目画素の波形クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求めることができる。
【００５１】
本発明の第２の側面では、前記方向クラス分類手段には、前記波形タップを構成する複数の画素のうち、所定の画素と、前記所定の画素に隣接する隣接画素との差分を算出する隣接画素差分算出手段をさらに設けることができ、前記位相クラス決定手段では、前記隣接画素差分算出手段による算出結果に基づいて、前記注目画素の位相クラスを決定することができる。
【００５２】
本発明の第２の側面では、前記連続領域が定常的に連続して存在する方向を表す定常方向を判定する定常判定手段をさらに設けることができ、前記マッチング位置取得手段では、前記定常方向の幅が他の方向の幅よりも大きく設けられた前記マッチング範囲内に存在する複数の画素の位置から、前記マッチング位置を取得することができる。
【００５３】
本発明の第２の側面では、前記マッチング位置取得手段により取得された前記マッチング位置の信頼性を判定する信頼性判定手段をさらに設けることができ、前記方向クラス分類手段では、前記マッチング位置の信頼性が高いと判定された場合、前記マッチング位置に基づいて、前記注目画素を、前記複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する前記連続領域に対応する方向クラスに分類することができる。
【００５４】
本発明の第２の側面の学習方法は、前記予測タップ抽出手段が、学習用の前記第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素を、学習用の前記第１の画像から抽出し、前記マッチング位置取得手段が、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置を、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得し、前記方向クラス分類手段が、前記マッチング位置に基づいて、前記注目画素を、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類し、前記予測係数算出手段が、前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数を求めるステップを含む学習方法である。
【００５５】
本発明の第２の側面によれば、学習用の第１の画像よりも高画質な学習用の第２の画像の注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素が、学習用の前記第１の画像から抽出され、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、前記基準ブロックと最も類似する、前記基準ブロックと同一ブロックサイズのブロックであるマッチングブロックが存在する位置を表すマッチング位置が、学習用の前記第１の画像を構成する複数の画素が存在する範囲を表すマッチング範囲から取得され、前記マッチング位置に基づいて、前記注目画素が、複数の方向クラスのうち、前記注目画素の位置に相当する学習用の前記第１の画像の位置の周辺に存在する、所定の性質を有する画素が連続する領域を表す連続領域に対応する方向クラスに分類され、前記注目画素の方向クラス毎に、前記予測タップを用いた前記予測演算の結果と、前記注目画素との誤差を最小にする前記予測係数が求められる。
【発明の効果】
【００５６】
本発明の第１の側面によれば、注目画素の周辺に存在する連続領域に関する情報を取得して、より高画質の画像を予測することができる。
【００５７】
また、本発明の第２の側面によれば、注目画素の周辺に存在する連続領域に関する情報を取得して、より高画質の画像を予測するための予測係数を学習することができる。
【発明を実施するための最良の形態】
【００５８】
以下、図面を参照して本実施の形態について説明する。
【００５９】
図３は、本発明の一実施の形態である画像処理装置の構成例を示している。
【００６０】
この画像処理装置３１は、第１の画像データを、より高画質の第２の画像データに変換する画像変換処理を行う。
【００６１】
ここで、第１及び第２の画像データをどのように定義するかによって、画像処理装置３１は様々な画像変換処理を実現することができる。
【００６２】
すなわち、例えば、第１の画像データを低解像度の画像データとするとともに、第２の画像データを、第１の画像データよりも解像度が高い高解像度の画像データとすれば、画像変換処理は、解像度を向上させて高画質化させる解像度向上処理ということができる。
【００６３】
また、例えば、第１の画像データを低SNR(Signal to Noise Ratio)の画像データとするとともに、第２の画像データを、第１の画像データよりもSNRが高い高SNRの画像データとすれば、画像変換処理は、ノイズを除去して高画質化させるノイズ除去処理ということができる。
【００６４】
さらに、例えば、第１の画像データをSD（Standard Definition）画像データとするとともに、第２の画像データを、第１の画像データの画素数と解像度を大きくしたHD（High Definition）画像データとすれば、画像変換処理は、SD画像データをHD画像データに高画質化する変換処理ということができる。
【００６５】
以下、第１の画像データをSD画像データとし、第２の画像データを、HD画像データとして、画像処理装置３１における画像変換処理を説明する。
【００６６】
次に、図４を参照して、図３の画像処理装置３１が行う画像変換処理の概要を説明する。
【００６７】
画像処理装置３１では、従来のクラス分類適応処理により得られる波形クラスコード（ADRCコード）と、注目画素の周辺に存在するエッジ等が連続して存在する方向や位相等を示す方向クラスコード（例えば、エッジ等を含む連続領域を表す直線式の傾きにより決定される傾きクラスコード、及び、その直線式の切片により決定される位相クラスコード）との組合せが、最終的なクラスコードとして決定される。
【００６８】
そして、画像処理装置３１では、決定された最終的なクラスコードに対応する予測係数と、予測タップを構成する複数の画素との予測演算により、注目画素が予測される。
【００６９】
図５は、図３の画像処理装置３１の第１の構成例を示している。
【００７０】
画像処理装置３１は、予測タップ抽出部６１、波形タップ抽出部６２、波形クラス分類部６３、定常判定部６４、マッチング位置取得部６５、方向クラス分類部６６、係数ROM(Read Only Memory)６７、及び予測演算部６８により構成される。
【００７１】
画像処理装置３１において、外部から入力される第１の画像データは、予測タップ抽出部６１、波形タップ抽出部６２、及びマッチング位置取得部６５に供給される。
【００７２】
予測タップ抽出部６１は、第１の画像データの変換結果となる第２の画像データを構成する複数の画素を、例えば、ラスタスキャン順に、順次、注目画素とする。
【００７３】
予測タップ抽出部６１は、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素（の画素値）を、外部から供給された第１の画像データから抽出し、予測演算部６８に供給する。
【００７４】
具体的には、予測タップ抽出部６１は、注目画素の位置に相当する第１の画像データの位置に対して、空間的または時間的に近い位置にある複数の画素（例えば、注目画素の位置に相当する第１の画像データの位置に最も近い画素と、その画素に空間的に隣接する画素等）を、予測タップとして抽出し、予測演算部６８に供給する。
【００７５】
波形タップ抽出部６２は、注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素を、外部から供給された第１の画像データから抽出し、波形クラス分類部６３、定常判定部６４及び方向クラス分類部６６に供給する。
【００７６】
なお、ここでは、説明を簡単にするために、予測タップと波形タップは、同一のタップ構造を有する（同一の画素から構成される）ものとする。但し、予測タップと波形タップとは、異なるタップ構造とすることが可能である。
【００７７】
波形クラス分類部６３は、波形タップ抽出部６２からの波形タップに基づいて、注目画素を、複数の波形クラスのうち、波形タップの特徴を表す波形クラスに分類する波形クラス分類処理を行う。また、波形クラス分類部６３は、波形クラス分類処理により得られた注目画素の波形クラスに対応する（を示す）波形クラスコードを、係数ROM６７に供給する。
【００７８】
定常判定部６４は、波形タップ抽出部６２からの波形タップに基づいて、注目画素の位置に相当する第１の画像データの位置の周辺に存在する、所定の性質を有する画素（画素値が同一又は近い値をとるために、同様の色彩等を表す画素）が連続する領域を表す連続領域が、定常的に連続して存在する方向を表す定常方向を判定する定常方向判定処理を行う。
【００７９】
定常判定部６４は、定常方向判定処理により得られた定常方向を、マッチング位置取得部６５に供給する。
【００８０】
また、定常判定部６４は、定常方向判定処理により、定常方向が得られなかった場合、定常方向は存在しないことを表す定常性なし情報を、マッチング位置取得部６５を介して方向クラス分類部６６に供給する。
【００８１】
マッチング位置取得部６５は、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、基準ブロックと最も類似するブロックであるマッチングブロックが存在する位置を表すマッチング位置を、マッチング範囲から取得（検出）するマッチング位置取得処理を行う。
【００８２】
ここで、マッチング範囲としては、例えば、注目画素の位置に相当する第１の画像データの位置に最も近い位置に存在する画素を表す対応画素と定常方向に垂直な方向で隣接する２画素のうち、一方の画素を中心として定常方向に並ぶ複数の画素が存在する範囲を表す第１のマッチング範囲、又は他方の画素を中心として定常方向に並ぶ複数の画素が存在する範囲を表す第２のマッチング範囲が設定される。
【００８３】
そして、マッチング位置取得部６５が行うマッチング位置取得処理により、マッチング位置として、第１のマッチング範囲から第１のマッチング位置が取得されるとともに、第２のマッチング範囲から第２のマッチング位置が取得される。
【００８４】
以下、第１のマッチング範囲、又は第２のマッチング範囲のうちのいずれか一方を指して、単に、マッチング範囲ともいう。また、マッチング範囲が第１のマッチング範囲を指している場合には第１のマッチング位置を、マッチング範囲が第２のマッチング範囲を指している場合には第２のマッチング位置を指して、単に、マッチング位置ともいう。
【００８５】
マッチング位置取得部６５は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部６６に供給する。
【００８６】
また、マッチング位置取得部６５は、マッチング位置取得処理により、マッチング位置が取得できなかった場合、マッチング位置は存在しないことを表すマッチング位置なし情報を、方向クラス分類部６６に供給する。
【００８７】
方向クラス分類部６６は、マッチング位置取得部６５からのマッチング位置と、波形タップ抽出部６２からの波形タップに基づいて、注目画素を、複数の方向クラスのうち、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域に対応する方向クラスに分類する。
【００８８】
方向クラス分類部６６は、注目画素の方向クラスに対応する方向クラスコードを、係数ROM６７に供給する。
【００８９】
また、方向クラス分類部６６は、マッチング位置取得部６５から、定常性なし情報、又はマッチング位置なし情報が供給された場合、所定の（デフォルトの）方向クラスコードを、注目画素の方向クラスに対応する方向クラスコードとして、係数ROM６７に供給する。
【００９０】
係数ROM６７は、学習用の第１の画像データを用いた予測演算の結果と、学習用の第１の画像データに対応する学習用の第２の画像データとの誤差を最小にする学習によって予め求められた、注目画素の波形クラスと注目画素の方向クラスとの複数の組合せにそれぞれ対応する予測係数のセットを記憶（保持）している。なお、学習については図２３等を参照して後述する。
【００９１】
係数ROM６７は、記憶している予測係数のセットのうち、波形クラス分類部６３からの波形クラスコードが表す注目画素の波形クラスと、方向クラス分類部６６からの方向クラスコードが表す注目画素の方向クラスとの組合せに対応するアドレスに記憶されている予測係数を、予測演算部６８に供給する。
【００９２】
予測演算部６８は、係数ROM６７からの予測係数と、予測タップ抽出部６１からの予測タップを構成する複数の画素とを用いた予測演算（例えば、線形１次演算）により、第２の画像データの注目画素を予測（生成）する。これにより、予測演算部６８は、注目画素の画素値（の予測値）、すなわち、第２の画像データを構成する画素の画素値を求めて出力する。
【００９３】
次に、図６は、図５の定常判定部６４の詳細な構成例を示している。
【００９４】
図６の定常判定部６４は、隣接差分算出部９１、及び定常方向検出部９２により構成される。
【００９５】
隣接差分算出部９１には、波形タップ抽出部６２から、波形タップが供給される。隣接差分算出部９１は、波形タップ抽出部６２からの波形タップを構成する複数の画素について、水平方向に隣接する画素どうしの差分絶対値の総和（以下、水平差分絶対値の総和ともいう）を算出し、定常方向検出部９２に供給する。
【００９６】
また同様に、隣接差分算出部９１は、波形タップ抽出部６２からの波形タップを構成する複数の画素について、垂直方向に隣接する画素どうしの差分絶対値の総和（以下、垂直差分絶対値の総和ともいう）を算出し、定常方向検出部９２に供給する。
【００９７】
なお、隣接差分算出部９１が行う、水平差分絶対値の総和と垂直差分絶対値の総和を算出する算出処理の詳細は、図７を参照して後述する。
【００９８】
定常方向検出部９２は、隣接差分算出部９１からの垂直差分絶対値の総和と、隣接差分算出部９１からの水平差分絶対値の総和との大小関係を判定し、その判定結果に基づいて、定常方向を検出し、マッチング位置取得部６５に供給する。
【００９９】
なお、定常方向検出部９２は、定常方向が存在しない場合、定常方向が存在しないことを示す定常性なし情報を生成し、マッチング位置取得部６５を介して方向クラス分類部６６に供給する。
【０１００】
次に、図７を参照して、図６の隣接差分算出部９１が行う、水平差分絶対値の総和と垂直差分絶対値の総和を算出する算出処理を説明する。
【０１０１】
図７Ａ及び図７Ｂに示す横×縦が３×３個の白丸（○）は、波形タップ抽出部６２から隣接差分算出部９１に供給される波形タップを構成する複数の画素の一例を示している。
【０１０２】
隣接差分算出部９１は、波形タップ抽出部６２からの波形タップ（３×３の９画素）について、図７Ａに示されるように、水平方向に隣接する画素どうしの差分絶対値の総和を算出し、定常方向検出部９２に供給する。
【０１０３】
また同様に、隣接差分算出部９１は、波形タップ抽出部６２からの波形タップについて、図７Ｂに示されるように、垂直方向に隣接する画素どうしの差分絶対値の総和を算出し、定常方向検出部９２に供給する。
【０１０４】
図８は、図５のマッチング位置取得部６５の第１の構成例を示している。
【０１０５】
図５のマッチング位置取得部６５は、LPF（Low Pass Filter）部１２１、ブロック差分算出部１２２、検索方向決定部１２３、及びマッチング位置検索部１２４により構成される。
【０１０６】
LPF部１２１には、外部から第１の画像データが供給される。LPF部１２１は、外部からの第１の画像データの高周波成分を除去するローパスフィルタリング処理を行い、その処理後の第１の画像データを、ブロック差分算出部１２２に供給する。
【０１０７】
なお、LPF部１２１により、第１の画像データに対してローパスフィルタリング処理を行うのは、第１の画像データを構成する複数の画素における微小な画素値の変化が、後述するブロック差分算出部１２２による算出結果に悪影響を及ぼすことを防止するためである。
【０１０８】
ブロック差分算出部１２２は、対応画素を中心とする複数の画素により構成されるブロックであって、定常判定部６４からの定常方向に長い形状のブロックを表す基準ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１０９】
また、ブロック差分算出部１２２は、定常判定部６４からの定常方向に基づいて、その定常方向に並ぶ複数の画素が存在する範囲であって、かつ、基準ブロックと最も類似するブロックが存在するマッチング位置を検索する範囲を、マッチング範囲に決定する。
【０１１０】
さらに、ブロック差分算出部１２２は、定常方向に基づいて決定したマッチング範囲内に存在する画素をそれぞれ中心とする、基準ブロックと同一ブロックサイズの複数のブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１１１】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数のブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（以下、ブロック差分総和ともいう）を算出する。
【０１１２】
なお、ブロック差分算出部１２２が行う、ブロック差分総和を生成する生成処理の詳細は、図９及び図１０を参照して後述する。
【０１１３】
ブロック差分算出部１２２は、複数のブロック毎に算出されたブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０１１４】
なお、ブロック差分総和のグラフは、例えば、ブロック差分総和を縦軸とし、マッチング範囲内に存在する複数の画素それぞれの位置を横軸とする座標軸により表される。
【０１１５】
検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフと、内蔵するメモリ（図示せず）に記憶されている複数パターンのグラフとを比較する。
【０１１６】
また、検索方向決定部１２３は、ブロック差分総和のグラフと、複数パターンのグラフとの比較結果に基づいて、基準ブロックの中心に存在する画素の位置（以下、基準ブロックの位置ともいう）から、マッチング位置を検索する方向を表す検索方向を決定して、マッチング位置検索部１２４に供給する。
【０１１７】
なお、検索方向決定部１２３は、情報を一時記憶するフラッシュメモリ等のメモリを内蔵しており、そのメモリに、マッチング位置を検索する検索方向を決定するために用いる複数パターンのグラフを記憶している。検索方向決定部１２３が検索方向を決定する決定処理の詳細は、図１１を参照して後述する。
【０１１８】
マッチング位置検索部１２４は、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、基準ブロックの位置から、検索方向決定部１２３からの検索方向に向かって、ブロック差分総和の最小値を検索する。
【０１１９】
マッチング位置検索部１２４は、ブロック差分総和の最小値が、予め設定されている第１の閾値未満であるか否かを判定し、ブロック差分総和の最小値が、第１の閾値未満であると判定した場合、ブロック差分総和の最小値に対応する位置を、仮のマッチング位置とする。
【０１２０】
また、マッチング位置検索部１２４は、ブロック差分総和の最小値が、第１の閾値未満であると判定した場合、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、基準ブロックの位置から最も近い位置に対応するブロック差分総和の極小値を検索する。
【０１２１】
反対に、マッチング位置検索部１２４は、ブロック差分総和の最小値が、第１の閾値以上であると判定した場合、マッチング位置は存在しないことを表すマッチング位置なし情報を生成し、方向クラス分類部６６に供給する。
【０１２２】
さらに、マッチング位置検索部１２４は、ブロック差分総和について検索により得られた最小値と極小値との差分絶対値を算出し、その差分絶対値が、予め設定されている第２の閾値未満であるか否かを判定して、最小値と極小値との差分絶対値が、第２の閾値未満であると判定した場合、ブロック差分総和の極小値に対応する位置を、最終的なマッチング位置として、方向クラス分類部６６に供給する。
【０１２３】
反対に、マッチング位置検索部１２４は、最小値と極小値との差分絶対値が、第２の閾値以上であると判定した場合、ブロック差分総和の最小値に対応する位置を、最終的なマッチング位置として、方向クラス分類部６６に供給する。
【０１２４】
なお、マッチング位置検索部１２４が行うマッチング位置を検索するマッチング位置検索処理の詳細は、図１２を参照して後述する。
【０１２５】
次に、図９及び図１０を参照して、ブロック差分算出部１２２が行う、ブロック差分総和のグラフを生成する生成処理を説明する。
【０１２６】
なお、ブロック差分算出部１２２が行う生成処理は、定常判定部６４からブロック差分算出部１２２への定常方向が、水平方向である場合と垂直方向である場合とで異なる生成処理が行われる。
【０１２７】
図９を参照して、定常判定部６４からブロック差分算出部１２２への定常方向が、水平方向である場合に、ブロック差分算出部１２２が行う、ブロック差分総和のグラフを生成する生成処理を説明する。
【０１２８】
図９に示すXY座標は、第１の画像データ内の対応画素１３１の位置を原点（0,0）として、互いに直交するX軸とY軸とで定義される直交座標を表している。また、X軸は第１の画像データ内の水平方向の位置を表しており、Y軸は第１の画像データ内の垂直方向の位置を表している。以下、図１０等の、その他の図面についても同様である。
【０１２９】
図９に示す上側マッチング範囲１３２は、対応画素１３１から１画素だけ上側（Y軸の正方向）にずれた位置に存在する画素を中心として、定常方向である水平方向（X軸方向）に並ぶ複数の画素が存在する範囲を示している。
【０１３０】
図９に示す下側マッチング範囲１３３は、対応画素１３１から１画素だけ下側（Y軸の負方向）にずれた位置に存在する画素を中心として、定常方向である水平方向に並ぶ複数の画素が存在する範囲を示している。
【０１３１】
なお、定常方向が水平方向である場合、例えば、第１のマッチング範囲が上側マッチング範囲１３２とされるとともに、第２のマッチング範囲が下側マッチング範囲１３３とされる。
【０１３２】
ブロック差分算出部１２２は、定常判定部６４からの定常方向として、水平方向が供給された場合、対応画素１３１を中心とする複数の画素により構成されるブロックであって、水平方向（横方向）の幅が垂直方向（縦方向）の幅よりも大きい横×縦がn×m画素（n>m）のブロック、すなわち、例えば、５×３画素のブロックを、基準ブロックに決定する。
【０１３３】
ブロック差分算出部１２２は、定常判定部６４からの定常方向として、水平方向が供給された場合、第１のマッチング範囲として、上側マッチング範囲１３２を決定する。
【０１３４】
ブロック差分算出部１２２は、上側マッチング範囲１３２内に存在する画素それぞれを中心とする、基準ブロックと同一ブロックサイズの複数の上側ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１３５】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数の上側ブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（以下、上側ブロック差分総和ともいう）を算出する。
【０１３６】
ブロック差分算出部１２２は、複数の上側ブロック毎に算出された上側ブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０１３７】
なお、上側ブロック差分総和のグラフは、例えば、上側ブロック差分総和を縦軸とし、上側マッチング範囲１３２内に存在する複数の画素それぞれの位置(x,y)のうちのX方向の位置xを横軸とする座標軸により表される。
【０１３８】
ブロック差分算出部１２２は、上側マッチング範囲１３２の場合と同様に、下側マッチング範囲１３３についても、同様の処理を行う。
【０１３９】
すなわち、例えば、ブロック差分算出部１２２は、定常判定部６４からの定常方向として、水平方向が供給された場合、第２のマッチング範囲として、下側マッチング範囲１３３を決定する。
【０１４０】
ブロック差分算出部１２２は、下側マッチング範囲１３３内に存在する画素それぞれを中心とする、基準ブロックと同一ブロックサイズの複数の下側ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１４１】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数の下側ブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（以下、下側ブロック差分総和ともいう）を算出する。
【０１４２】
ブロック差分算出部１２２は、複数の下側ブロック毎に算出された下側ブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０１４３】
なお、下側ブロック差分総和のグラフは、例えば、下側ブロック差分総和を縦軸とし、下側マッチング範囲１３３内に存在する複数の画素それぞれの位置(x,y)のうちのX方向の位置xを横軸とする座標軸により表される。
【０１４４】
次に、図１０を参照して、定常判定部６４からブロック差分算出部１２２への定常方向が、垂直方向である場合に、ブロック差分算出部１２２が行う、ブロック差分総和のグラフを生成する生成処理を、図１０を参照して説明する。
【０１４５】
図１０に示す右側マッチング範囲１３４は、対応画素１３１から１画素だけ右側（X軸の正方向）にずれた位置に存在する画素を中心として、定常方向である垂直方向（Y軸方向）に並ぶ複数の画素が存在する範囲を示している。
【０１４６】
図１０に示す左側マッチング範囲１３５は、対応画素１３１から１画素だけ左側（X軸の負方向）にずれた位置に存在する画素を中心として、定常方向である垂直方向に並ぶ複数の画素が存在する範囲を示している。
【０１４７】
なお、定常方向が垂直方向である場合、例えば、第１のマッチング範囲が右側マッチング範囲１３４とされるとともに、第２のマッチング範囲が左側マッチング範囲１３５とされる。
【０１４８】
ブロック差分算出部１２２は、定常判定部６４からの定常方向として、垂直方向が供給された場合、対応画素１３１を中心とする複数の画素により構成されるブロックであって、垂直方向（縦方向）の幅が水平方向（横方向）の幅よりも大きいn×m画素（n<m）のブロック、すなわち、例えば、横×縦が３×５画素のブロックを、基準ブロックに決定する。
【０１４９】
ブロック差分算出部１２２は、定常判定部６４からの定常方向として、垂直方向が供給された場合、第１のマッチング範囲として、右側マッチング範囲１３４を決定する。
【０１５０】
ブロック差分算出部１２２は、右側マッチング範囲１３４内に存在する画素それぞれを中心とする、基準ブロックと同一ブロックサイズの複数の右側ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１５１】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数の右側ブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（以下、右側ブロック差分総和ともいう）を算出する。
【０１５２】
ブロック差分算出部１２２は、複数の右側ブロック毎に算出された右側ブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０１５３】
なお、右側ブロック差分総和のグラフは、例えば、右側ブロック差分総和を縦軸とし、右側マッチング範囲１３４内に存在する複数の画素それぞれの位置(x,y)のうちのY方向の位置yを横軸とする座標軸により表される。
【０１５４】
ブロック差分算出部１２２は、右側マッチング範囲１３４の場合と同様に、左側マッチング範囲１３５についても、同様の処理を行う。
【０１５５】
すなわち、例えば、ブロック差分算出部１２２は、定常判定部６４からの定常方向として、垂直方向が供給された場合、第２のマッチング範囲として、左側マッチング範囲１３５を決定する。
【０１５６】
ブロック差分算出部１２２は、左側マッチング範囲１３５内に存在する画素それぞれを中心とする、基準ブロックと同一ブロックサイズの複数の左側ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０１５７】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数の左側ブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（以下、左側ブロック差分総和ともいう）を算出する。
【０１５８】
ブロック差分算出部１２２は、複数の左側ブロック毎に算出された左側ブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０１５９】
なお、左側ブロック差分総和のグラフは、例えば、左側ブロック差分総和を縦軸とし、左側マッチング範囲１３５内に存在する複数の画素それぞれの位置(x,y)のうちのY方向の位置yを横軸とする座標軸により表される。
【０１６０】
次に、図１１を参照して、検索方向決定部１２３が検索方向を決定する決定処理を説明する。
【０１６１】
図１１Ａないし図１１Ｄに示すブロック差分総和のグラフの横軸は、マッチング範囲内に存在する複数の画素の位置を表しており、ブロック差分総和のグラフの縦軸は、ブロック差分総和を表している。以下、後述する図１２についても同様である。
【０１６２】
図１１Ａに示すブロック差分総和のグラフは、横軸の左方向（負方向）にブロック差分総和が減少しているグラフを表している。このとき、検索方向は左方向に決定される。
【０１６３】
図１１Ｂに示すブロック差分総和のグラフは、横軸の右方向（正方向）にブロック差分総和が減少しているグラフを表している。このとき、検索方向は右方向に決定される。
【０１６４】
図１１Ｃに示すブロック差分総和のグラフは、縦軸の負方向に凸のグラフを表している。このとき、検索方向は、横軸において、左右方向（正負方向）に決定される。
【０１６５】
図１１Ｄに示すブロック差分総和のグラフは、縦軸の正方向に凸のグラフを表している。このとき、検索方向は、横軸において、左右方向（正負方向）に決定される。
【０１６６】
検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフと、内蔵するメモリ（図示せず）に記憶されている複数パターンのグラフとを比較し、その比較結果に基づいて、マッチング位置を検索する方向を表す検索方向を決定して、マッチング位置検索部１２４に供給する。
【０１６７】
すなわち、例えば、検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフが、内蔵するメモリに記憶されている４つのグラフ（図１１Ａないし図１１Ｄに示す）のうち、図１１Ａに示されたグラフに最も類似しているとの結果を、比較結果として得た場合、左方向を検索方向として、マッチング位置検索部１２４に供給する。
【０１６８】
また、検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフが、内蔵するメモリに記憶されている４つのグラフのうち、図１１Ｂに示されたグラフに最も類似しているとの結果を、比較結果として得た場合、右方向を検索方向として、マッチング位置検索部１２４に供給する。
【０１６９】
さらに、検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフが、内蔵するメモリに記憶されている４つのグラフのうち、図１１Ｃに示されたグラフに最も類似しているとの結果を、比較結果として得た場合、左右方向を検索方向として、マッチング位置検索部１２４に供給する。
【０１７０】
また、検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフが、内蔵するメモリに記憶されている４つのグラフのうち、図１１Ｄに示されたグラフに最も類似しているとの結果を、比較結果として得た場合、左右方向を検索方向として、マッチング位置検索部１２４に供給する。
【０１７１】
次に、図１２を参照して、マッチング位置検索部１２４が行うマッチング位置を検索するマッチング位置検索処理を説明する。
【０１７２】
図１２には、ブロック差分総和のグラフが示されている。例えば、ブロック差分算出部１２２により、図１２に示すブロック差分総和のグラフが生成された場合、ブロック差分算出部１２２は、図１２に示すブロック差分総和のグラフを、マッチング位置検索部１２４に供給する。
【０１７３】
また、図１２に示すブロック差分総和のグラフは、図１１Ａないし図１１Ｄに示すグラフのうち、図１１Ａに示すグラフに最も類似している。従って、検索方向決定部１２３は、左方向を検索方向として、マッチング位置検索部１２４に供給する。
【０１７４】
マッチング位置検索部１２４は、ブロック差分算出部１２２からの図１２に示すブロック差分総和のグラフを用いて、横軸が示す位置０（基準ブロックの位置）から、検索方向決定部１２３からの検索方向である左方向に向かって、ブロック差分総和の最小値を検索する。
【０１７５】
マッチング位置検索部１２４は、検索することにより得られたブロック差分総和の最小値が、予め設定されている第１の閾値未満であるか否かを判定する。
【０１７６】
マッチング位置検索部１２４は、ブロック差分総和の最小値が、所定の閾値以上であると判定した場合、マッチング位置は存在しないことを表すマッチング位置なし情報を、方向クラス分類部６６に供給する。
【０１７７】
マッチング位置検索部１２４は、ブロック差分総和の最小値が、第１の閾値未満であると判定した場合、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、ブロック差分総和の極小値のうち、横軸の位置０に最も近い位置に対応する極小値を検索する。
【０１７８】
さらに、マッチング位置検索部１２４は、検索した最小値と極小値との差分を算出し、その差分が、予め設定されている第２の閾値未満であるか否かを判定する。
【０１７９】
マッチング位置検索部１２４は、最小値と極小値との差分が第２の閾値未満であると判定した場合、ブロック差分総和の極小値に対応する位置を表す極小位置を、マッチング位置として方向クラス分類部６６に供給する。
【０１８０】
マッチング位置検索部１２４は、最小値と極小値との差分が第２の閾値以上であると判定した場合、ブロック差分総和の最小値に対応する位置を表す最小位置を、マッチング位置として方向クラス分類部６６に供給する。
【０１８１】
図１３は、図５の方向クラス分類部６６の構成例を示している。
【０１８２】
図１３の方向クラス分類部６６は、傾きクラス決定部１５１、位相クラス決定部１５２、及び方向クラス決定部１５３により構成される。
【０１８３】
傾きクラス決定部１５１には、マッチング位置取得部６５から、マッチング位置が供給される。傾きクラス決定部１５１は、マッチング位置取得部６５からのマッチング位置に基づいて、注目画素の傾きクラスを決定する。
【０１８４】
傾きクラス決定部１５１は、注目画素の傾きクラスに対応する傾きクラスコードを、方向クラス決定部１５３に供給する。
【０１８５】
位相クラス決定部１５２には、波形タップ抽出部６２から、波形タップが供給される。位相クラス決定部１５２は、波形タップ抽出部６２からの波形タップに基づいて、注目画素の位相クラスを決定する。
【０１８６】
なお、位相クラス決定部１５２が行う、注目画素の位相クラスを決定する決定処理の詳細は、図１４及び図１５を参照して後述する。
【０１８７】
位相クラス決定部１５２は、注目画素の位相クラスに対応する位相クラスコードを、方向クラス決定部１５３に供給する。
【０１８８】
方向クラス決定部１５３は、傾きクラス決定部１５１からの傾きクラスコードと、位相クラス決定部１５２からの位相クラスコードとの組合せを、注目画素の方向クラスに対応する方向クラスコードに決定し、その方向クラスコードを係数ROM６７に供給する。
【０１８９】
なお、方向クラス決定部１５３には、適宜、マッチング位置取得部６５から傾きクラス決定部１５１を介して、マッチング位置なし情報が、定常判定部６４からマッチング位置取得部６５、傾きクラス決定部１５１を介して、定常性なし情報が供給される。
【０１９０】
方向クラス決定部１５３は、傾きクラス決定部１５１から、定常性なし情報、又はマッチング位置なし情報が供給された場合、予め設定された所定（デフォルト）の方向クラスコードを、係数ROM６７に供給する。
【０１９１】
次に、図１４及び図１５を参照して、位相クラス決定部１５２が行う、注目画素の位相クラスを決定する決定処理を説明する。
【０１９２】
図１４に示す横×縦が３×３の合計９個の白丸（○）は、波形タップ抽出部６２から位相クラス決定部１５２に供給される波形タップを構成する複数の画素の一例を示している。
【０１９３】
位相クラス決定部１５２は、波形タップ抽出部６２からの波形タップを構成する複数の画素のうち、対応画素１３１と、対応画素１３１に上下左右の４方向に隣接する画素どうしの差分値を算出し、その差分値の符号に基づいて、注目画素の位相クラスを決定する。
【０１９４】
図１５Ａに示す横×縦が３×３の合計９個の丸は、波形タップ抽出部６２から位相クラス決定部１５２に供給される波形タップを構成する複数の画素の一例を示している。図１５Ａにおいて、画素値k1は対応画素１３１の画素値を表しており、画素値k2は対応画素１３１の上に隣接する画素である上画素の画素値を表している。
【０１９５】
また、図１５Ａにおいて、画素値k3は対応画素１３１の左に隣接する画素である左画素の画素値を表しており、画素値k4は対応画素１３１の右に隣接する画素である右画素の画素値を表している。さらに、画素値k5は対応画素１３１の下に隣接する画素である下画素の画素値を表している。
【０１９６】
図１５Ｂにおいて、差分値aは、対応画素１３１の画素値k1から上画素の画素値k2を減算して得られる値を示しており、差分値bは、対応画素１３１の画素値k1から左画素の画素値k3を減算して得られる値を示している。
【０１９７】
また、図１５Ｂにおいて、差分値cは、対応画素１３１の画素値k1から右画素の画素値k4を減算して得られる値を示しており、差分値dは、対応画素１３１の画素値k1から下画素の画素値k5を減算して得られる値を示している。
【０１９８】
図１５Ｃ上側は、差分値a，b，c、及びdを左側から右側に配列したものを示しており、図１５Ｃ中央は、差分値a，b，c、及びdの符号を左側から右側に配列したものを示している。
【０１９９】
図１５Ｃ下側に示す位相クラスコードは、符号が正の差分値a及びbが値１に変換されるとともに、符号が負の差分値c及びdが値０に変換されて得られた４ビットの位相クラスコードを示している。
【０２００】
位相クラス決定部１５２は、波形タップ抽出部６２からの波形タップに基づいて、対応画素１３１と上画素との差分値a（=k1-k2）、対応画素１３１と左画素との差分値b（=k1-k3）、対応画素１３１と右画素との差分値c（=k1-k4）、及び対応画素１３１と下画素との差分値d（=k1-k5）を、それぞれ算出する。
【０２０１】
また、位相クラス決定部１５２は、図１５Ｃに示されたように、差分値a,b,c、及びdについて、それぞれ、差分値の符号が正である場合、差分値を値１に変換し、差分値の符号が負である場合、差分値を値０に変換する。
【０２０２】
位相クラス決定部１５２は、その変換により得られた、注目画素の位相クラスに対応する４ビットの位相クラスコード（例えば「1100」）を、方向クラス決定部１５３に供給する。なお、位相クラスコードは、４ビットのコードに限定されるものではない。
【０２０３】
次に、図１６及び図１７を参照して、波形クラスコードと位相クラスコードとの関係を説明する。
【０２０４】
図１６には、横×縦が３×３画素の合計９画素により構成される波形タップを構成する複数の画素の一例が示されている。
【０２０５】
図１６において、黒丸で示す画素は、その画素値がDR/2以上の画素であり、対応するADRCコードとして１が割り当てられる画素を示している。また、白丸で示す画素は、その画素値がDR/2未満の画素であり、対応するADRCコードとして０が割り当てられる画素を示している。
【０２０６】
なお、DRとは、図１６に示す波形タップのダイナミックレンジを表している。このことは、後述する図１７においても同様である。
【０２０７】
従って、対応画素１３１、上画素、左画素、及び下画素は、いずれも、白丸で示す画素の画素値よりも大きい画素であり、対応画素１３１、上画素、左画素、及び下画素それぞれの大小関係は不明である。
【０２０８】
よって、対応画素１３１と上画素との差分値a（=k1-k2）、対応画素１３１と左画素との差分値b（=k1-k3）、及び対応画素１３１と下画素との差分値d（=k1-k5）は、正の値、又は負の値のいずれの場合も有り得る。
【０２０９】
しかしながら、右画素は、その画素値k4が、対応画素１３１の画素値k1よりも小さいため、対応画素１３１と右画素との差分値c（=k1-k4）は、必ず正の値となる。
【０２１０】
従って、対応画素１３１に対応するADRCコードが１であって、右画素に対応するADRCコードが０である場合、位相クラスコードは「XX１X」となり、４ビットの位相クラスコードとして取り得る組合せは、８（=23）通りに制限される。但し、「XX１X」のXは、１又は０の値をとるものとする。
【０２１１】
このように、図１６に示す波形タップから得られるADRCコードによって、位相クラスコードが取り得る組合せは制限される場合がある。
【０２１２】
次に、図１７を参照して、波形タップから得られるADRCコードによって、位相クラスコードが取り得る組合せに、制限が生じることを説明する。
【０２１３】
図１７において、１６通りのi行j列目（i及びjは、それぞれ、１から４までの値）に示された十字に並ぶ５つの丸は、図１６に示した波形タップを構成する複数の画素のうち、対応画素を中心として、対応画素、上画素、左画素、右画素、及び下画素により構成される十字に並ぶ画素を示している。
【０２１４】
また、図１７において、i行j列目に示された十字に並ぶ画素の下には、i行j列目に示された十字に並ぶ画素から得られる位相クラスコードを示している。なお、水平方向に並ぶ４つの正方形内が空白である場合は、ADRCコードとして１又は０の値をとるものとする。
【０２１５】
１行１列目に示された十字に並ぶ画素すべては、画素値が小さいものであるため、対応画素と、上画素、左画素、右画素、及び下画素それぞれとの大小関係は一意に定まらない。この場合、位相クラスコードが取り得る組合せは制限されずに１６(=24)通りとなる。
【０２１６】
１行２列目に示された十字に並ぶ画素では、対応画素に対応するADRCコードが０であり、上画素に対応するADRCコードが１となる。この場合、位相クラスコードが取り得る組合せは８(=23)通りとなる。
【０２１７】
すなわち、１行２列目に示された十字に並ぶ画素において、上画素は画素値が大きいものであり、それ以外の画素はすべて画素値が小さいものである。従って、対応画素が上画素よりも小さいことが一意に定まるため、対応画素と上画素との差分値の符号は負となり、対応する位相クラスコードは０に一意に決定される。この場合、位相クラスコードが取り得る組合せは８(=23)通りとなる。
【０２１８】
同様にして、十字に並ぶ画素から得られるADRCコードによって、位相クラスコードが取り得る組合せは制限される。
【０２１９】
なお、図１７に示す十字に並ぶ画素において、白丸で示す画素と黒丸で示す画素とを置換した場合についても同様であるが、その説明は省略する。
【０２２０】
次に、図１８のフローチャートを参照して、図５の画像処理装置３１が行う画像変換処理の詳細を説明する。
【０２２１】
ステップＳ３１において、予測タップ抽出部６１は、第１の画像データの変換結果となる第２の画像データを構成する複数の画素のうちの所定の画素に注目し、その所定の画素を注目画素とする。
【０２２２】
ステップＳ３２において、予測タップ抽出部６１は、第２の画像データの注目している画素である注目画素を予測する予測演算に用いるための予測タップとして、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素を、外部から供給された第１の画像データから抽出し、予測演算部６８に供給する。
【０２２３】
ステップＳ３３において、波形タップ抽出部６２は、注目画素を複数の波形クラスのうちのいずれかのクラスに分類するための波形タップとして、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素を、外部から供給された第１の画像データから抽出し、波形クラス分類部６３、定常判定部６４及び方向クラス分類部６６に供給する。
【０２２４】
ステップＳ３４において、波形クラス分類部６３は、波形タップ抽出部６２からの波形タップに基づいて、注目画素を、複数の波形クラスのうち、波形タップの特徴を表す波形クラスに分類する波形クラス分類処理を行う。また、波形クラス分類部６３は、波形クラス分類処理により得られた注目画素の波形クラスに対応する波形クラスコードを、係数ROM６７に供給する。
【０２２５】
ステップＳ３５において、定常判定部６４は、波形タップ抽出部６２からの波形タップに基づいて、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域が、定常的に連続して存在する方向を表す定常方向を判定する定常方向判定処理を行う。
【０２２６】
定常判定部６４は、定常方向判定処理により得られた定常方向を、マッチング位置取得部６５に供給する。
【０２２７】
なお、定常判定部６４は、定常方向判定処理により、定常方向が得られなかった場合、生成した定常性なし情報を、マッチング位置取得部６５を介して方向クラス分類部６６に供給する。
【０２２８】
ステップＳ３６において、マッチング位置取得部６５は、注目画素の位置に相当する第１の画像データの位置の周辺に存在する複数の画素により構成されるブロックを基準ブロックとして、基準ブロックと最も類似するブロックであるマッチングブロックが存在する位置を表すマッチング位置を、マッチング範囲から取得（検出）するマッチング位置取得処理を行う。
【０２２９】
マッチング位置取得部６５は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部６６に供給する。
【０２３０】
なお、マッチング位置取得部６５は、マッチング位置取得処理によりマッチング位置が得られなかった場合、生成したマッチング位置なし情報を、方向クラス分類部６６に供給する。
【０２３１】
ステップＳ３７において、方向クラス分類部６６は、マッチング位置取得部６５からのマッチング位置と、波形タップ抽出部６２からの波形タップに基づいて、注目画素を、複数の方向クラスのうち、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域に対応する方向クラスに分類する方向クラス分類処理を行う。
【０２３２】
方向クラス分類部６６は、方向クラス分類処理により得られた注目画素の方向クラスに対応する方向クラスコードを、係数ROM６７に供給する。
【０２３３】
なお、方向クラス分類部６６は、マッチング位置取得部６５から、定常性なし情報又はマッチング位置なし情報が供給された場合、予め設定された所定（デフォルト）の方向クラスコードを、係数ROM６７に供給する。
【０２３４】
ステップＳ３８において、係数ROM６７は、記憶している予測係数のセットのうち、波形クラス分類部６３からの波形クラスコードが表す注目画素の波形クラスと、方向クラス分類部６６からの方向クラスコードが表す注目画素の方向クラスとの組合せに対応するアドレスに記憶されている予測係数を、予測演算部６８に供給する。
【０２３５】
ステップＳ３９において、予測演算部６８は、係数ROM６７からの予測係数と、予測タップ抽出部６１からの予測タップを構成する複数の画素とを用いた予測演算（例えば、線形１次演算）により、第２の画像データの注目画素を予測（生成）する。
【０２３６】
ステップＳ４０において、予測タップ抽出部６１は、第１の画像データの変換結果となる第２の画像データを構成する複数の画素すべてに注目したか否かを判定する。
【０２３７】
ステップＳ４０において、第２の画像データを構成する複数の画素すべてに注目していないと判定された場合、処理は、ステップＳ３１に戻り、予測タップ抽出部６１は、第２の画像データを構成する複数の画素のうち、まだ注目されていない画素を、新たな注目画素として、処理は、ステップＳ３２に進められ、以下、同様の処理が繰り返される。
【０２３８】
一方、ステップＳ４０において、第２の画像データを構成する複数の画素すべてに注目したと判定された場合、処理は終了される。
【０２３９】
次に、図１９のフローチャートを参照して、図１８のステップＳ３５における定常方向判定処理を説明する。
【０２４０】
ステップＳ７１において、定常判定部６４の隣接差分算出部９１は、波形タップ抽出部６２からの波形タップを構成する複数の画素について、図７Ａに示されたように、水平方向に隣接する画素どうしの差分絶対値の総和（水平差分絶対値の総和Sh）を算出し、定常方向検出部９２に供給する。
【０２４１】
ステップＳ７２において、隣接差分算出部９１は、波形タップ抽出部６２からの波形タップを構成する複数の画素について、図７Ｂに示されたように、垂直方向に隣接する画素どうしの差分絶対値の総和（垂直差分絶対値の総和Sv）を算出し、定常方向検出部９２に供給する。
【０２４２】
ステップＳ７３において、定常方向検出部９２は、隣接差分算出部９１からの垂直差分絶対値の総和Shと、隣接差分算出部９１からの水平差分絶対値の総和Svとの大小関係を判定する。
【０２４３】
ステップＳ７３において、定常方向検出部９２は、水平差分絶対値の総和Shが、垂直差分絶対値の総和Svよりも小さいと判定した場合、処理は、ステップＳ７４に進められ、定常方向として水平方向を検出し、処理は、図１８のステップＳ３５にリターンされる。
【０２４４】
また、ステップＳ７３において、定常方向検出部９２は、垂直差分絶対値の総和Svが、水平差分絶対値の総和Shよりも小さいと判定した場合、処理は、ステップＳ７５に進められ、定常方向として垂直方向を検出し、処理は、図１８のステップＳ３５にリターンされる。
【０２４５】
さらに、ステップＳ７３において、定常方向検出部９２は、水平差分絶対値の総和Shが、垂直差分絶対値の総和Svと等しいと判定した場合、処理は、ステップＳ７６に進められ、定常方向は存在しないことを示す定常性なし情報を生成し、処理は、図１８のステップＳ３５にリターンされる。
【０２４６】
次に、図２０のフローチャートを参照して、図１８のステップＳ３６におけるマッチング位置取得処理の詳細を説明する。
【０２４７】
ステップＳ１０１において、LPF部１２１は、外部からの第１の画像データに対して、LPFによりローパスフィルタリング処理を行い、その処理後の第１の画像データを、ブロック差分算出部１２２に供給する。
【０２４８】
ステップＳ１０２において、ブロック差分算出部１２２は、対応画素を中心とする複数の画素により構成されるブロックであって、定常判定部６４からの定常方向に長い形状のブロックを表す基準ブロックを、LPF部１２１からの第１の画像データから抽出する。
【０２４９】
ステップＳ１０３において、ブロック差分算出部１２２は、定常方向に基づいて決定したマッチング範囲内に存在する画素をそれぞれ中心とする、基準ブロックと同一ブロックサイズの複数のブロックを、LPF部１２１からの第１の画像データから抽出する。
【０２５０】
また、ブロック差分算出部１２２は、第１の画像データから抽出した複数のブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの差分絶対値の総和（ブロック差分総和）を算出する。
【０２５１】
ブロック差分算出部１２２は、複数のブロック毎に算出されたブロック差分総和のグラフを生成し、検索方向決定部１２３及びマッチング位置検索部１２４に供給する。
【０２５２】
ステップＳ１０４において、検索方向決定部１２３は、ブロック差分算出部１２２からのブロック差分総和のグラフと、内蔵するメモリに記憶されている複数パターンのグラフ（図１１Ａないし図１１Ｄに示す）とを比較する。
【０２５３】
また、検索方向決定部１２３は、ブロック差分総和のグラフと、図１１Ａないし図１１Ｄそれぞれに示された複数パターンのグラフとの比較結果に基づいて、基準ブロックの中心に存在する画素の位置（基準ブロックの位置）から、マッチング位置を検索する方向を表す検索方向を決定して、マッチング位置検索部１２４に供給する。
【０２５４】
ステップＳ１０５において、マッチング位置検索部１２４は、検索方向決定部１２３からの検索方向に基づいて、マッチング位置を検索するマッチング位置検索処理を行う。
【０２５５】
以上のように、図２０のマッチング位置取得処理が行われた後、処理は、図１８のステップＳ３６にリターンされる。
【０２５６】
次に、図２１のフローチャートを参照して、図２０のステップＳ１０５におけるマッチング位置検索処理の詳細を説明する。
【０２５７】
ステップＳ１３１において、マッチング位置検索部１２４は、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、基準ブロックの位置から、検索方向決定部１２３からの検索方向に向かって、ブロック差分総和の最小値を検索する。
【０２５８】
ステップＳ１３２において、マッチング位置検索部１２４は、ブロック差分総和の最小値が、あらかじめ設定されている第１の閾値未満であるか否かを判定する。
【０２５９】
ステップＳ１３２において、マッチング位置検索部１２４は、ブロック差分総和の最小値が、第１の閾値以上であると判定した場合、処理は、ステップＳ１３３に進められ、マッチング位置は存在しないことを示すマッチング位置なし情報を生成し、処理は、図２０のステップＳ１０５にリターンされる。
【０２６０】
一方、ステップＳ１３２において、マッチング位置検索部１２４は、ブロック差分総和の最小値が、第１の閾値以上であると判定した場合、処理は、ステップＳ１３４に進められる。
【０２６１】
ステップＳ１３４において、マッチング位置検索部１２４は、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、基準ブロックの位置から最も近い位置に対応するブロック差分総和の極小値を検索する。
【０２６２】
ステップＳ１３５において、マッチング位置検索部１２４は、ステップＳ１３４での検索により、ブロック差分総和の極小値が得られなかった場合、処理は、ステップＳ１３９に進められ、マッチング位置検索部１２４は、ステップＳ１３１で得られたブロック差分総和の最小値に対応する最小位置（図１２）を、マッチング位置として検出し、処理は、図２０のステップＳ１０５にリターンされる。
【０２６３】
一方、ステップＳ１３５において、マッチング位置検索部１２４は、ステップＳ１３４での検索により、ブロック差分総和の極小値が得られた場合、処理は、ステップＳ１３６に進められ、マッチング位置検索部１２４は、ステップＳ１３１での検索により得られた最小値と、ステップＳ１３４での検索により得られた極小値との差分絶対値を算出する。
【０２６４】
ステップＳ１３７において、マッチング位置検索部１２４は、最小値と極小値との差分絶対値が、あらかじめ設定されている第２の閾値未満であるか否かを判定する。
【０２６５】
ステップＳ１３７において、最小値と極小値との差分絶対値が、第２の閾値未満であると判定された場合、処理は、ステップＳ１３８に進められる。
【０２６６】
ステップＳ１３８では、マッチング位置検索部１２４は、ステップＳ１３４で得られたブロック差分総和の極小値に対応する極小位置（図１２）を、マッチング位置として検出し、処理は、図２０のステップＳ１０５にリターンされる。
【０２６７】
一方、ステップＳ１３７において、最小値と極小値との差分絶対値が、第２の閾値以上であると判定された場合、処理は、ステップＳ１３９に進められる。
【０２６８】
ステップＳ１３９では、マッチング位置検索部１２４は、ステップＳ１３４で得られたブロック差分総和の極小値に対応する極小位置を、マッチング位置として検出し、処理は、図２０のステップＳ１０５にリターンされる。
【０２６９】
次に、図２２のフローチャートを参照して、図１８のステップＳ３７における方向クラス分類処理の詳細を説明する。
【０２７０】
ステップＳ１６１において、方向クラス分類部６６の傾きクラス決定部１５１は、マッチング位置取得部６５からのマッチング位置(x,y)に基づいて、傾きa（=y/x）を算出する。
【０２７１】
ステップＳ１６２において、傾きクラス決定部１５１は、傾きaの絶対値|a|が１以上であるか否かを判定する。
【０２７２】
ステップＳ１６２において、傾きaの絶対値|a|が１未満であると判定された場合、処理は、ステップＳ１６３に進められ、傾きクラス決定部１５１は、傾きaの逆数1/aを、新たな傾きaとして、処理は、ステップＳ１６４に進められる。
【０２７３】
一方、ステップＳ１６２において、傾きaの絶対値|a|が１以上であると判定された場合、処理は、ステップＳ１６３をスキップして、ステップＳ１６４に進められる。
【０２７４】
ステップＳ１６４において、傾きクラス決定部１５１は、ステップＳ１６２及びステップＳ１６３による処理後の傾きaの絶対値|a|が、７以上であるか否かを判定する。
【０２７５】
ステップＳ１６４において、傾きaの絶対値|a|が、７以上であると判定された場合、処理は、ステップＳ１６５に進められ、傾きaの絶対値|a|が７となるように、傾きaを符号が維持された形で変更する。すなわち、例えば、傾きaが-８である場合、傾きaは、-８から-７に変更され、傾きaが８である場合、傾きaは、８から７に変更される。
【０２７６】
一方、ステップＳ１６４において、傾きaの絶対値|a|が、７未満であると判定された場合、処理は、ステップＳ１６５をスキップして、ステップＳ１６６に進められる。
【０２７７】
ステップＳ１６６において、傾きクラス決定部１５１は、ステップＳ１６２ないしステップＳ１６５による処理後の傾きa（の値）を四捨五入し、その結果得られた値を、注目画素の傾きクラスに対応する傾きクラスコードとして、方向クラス決定部１５３に供給する。
【０２７８】
なお、傾きクラスコードは傾きaを四捨五入して得られた値であるため、傾きaが取り得る値が大きくなるほどに、傾きクラスコードとして取り得る組合せは多くなる。従って、ステップＳ１６４及びステップＳ１６５では、傾きクラスコードとして取り得る組合せを少なくするために、傾きaの値を制限している。
【０２７９】
ステップＳ１６７において、方向クラス分類部６６の位相クラス決定部１５２は、図１４及び図１５に示したように、波形タップ抽出部６２からの波形タップから、対応画素１３１と、対応画素１３１に上下左右に隣接する４画素それぞれとの差分値a，b，c、及びdを算出する。
【０２８０】
また、位相クラス決定部１５２は、波形タップから算出された差分値a，b，c、及びdについての正負の符号を取得（検出）する。
【０２８１】
ステップＳ１６８において、位相クラス決定部１５２は、図１５Ｃに示したように、ステップＳ１６７で取得した正負の符号について、正の符号を１に、負の符号を０に変換する。位相クラス決定部１５２は、その変換により得られる値を、注目画素の位相クラスに対応する位相クラスコードとして、方向クラス決定部１５３に供給する。
【０２８２】
ステップＳ１６９において、方向クラス決定部１５３は、傾きクラス決定部１５１からの傾きクラスコードと、位相クラス決定部１５２からの位相クラスコードとの組合せを、注目画素の方向クラスに対応する方向クラスコードに決定し、その方向クラスコードを係数ROM６７に供給する。
【０２８３】
以上のように、図２２の方向クラス分類処理が行われた後、処理は、図１８のステップＳ３７にリターンされる。
【０２８４】
以上のように、図１８の画像変換処理では、方向クラス分類部６６により、注目画素を、注目画素の位置に相当する第１の画像データの位置の周辺に存在するエッジ等を含む連続領域に対応する方向クラスに分類することにより、連続領域に関する情報を取得する。
【０２８５】
従って、図１８の画像変換処理では、連続領域に関する情報を取得しないために、予測後の画像データ内の連続領域に歪み等が生じてしまっていた従来のクラス分類適応処理と比較して、より高画質の画像を予測することができる。
【０２８６】
次に、図５の予測演算部６８における予測演算と、係数ROM６７に記憶されている予測係数の学習について説明する。
【０２８７】
上述したように、画像変換処理として、例えば、第１の画像データをSD画像データとし、第２の画像データを、HD画像データとして、SD画像データから予測タップを抽出し、その予測タップと予測係数を用いて、HD画像データの画素（以下、HD画素ともいう）の画素値を、所定の予測演算によって求めることを考える。
【０２８８】
所定の予測演算として、例えば、線形１次演算を採用することとすると、HD画素の画素値ｙは、次式（１）の線形１次式によって求められることになる。
【０２８９】
【数１】
2009268021.tif 000003
【０２９０】
但し、式（１）において、ｘnは、HD画素ｙについての予測タップを構成する、ｎ番目のSD画像データの画素（以下、適宜、SD画素という）の画素値を表し、ｗnは、ｎ番目のSD画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個のSD画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０２９１】
ここで、HD画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２９２】
いま、第ｋサンプルのHD画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式（２）で表される。
【０２９３】
【数２】
2009268021.tif 000004
【０２９４】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式（３）が得られる。
【０２９５】
【数３】
2009268021.tif 000005
【０２９６】
但し、式（３）において、ｘn,kは、第ｋサンプルのHD画素についての予測タップを構成するｎ番目のSD画素を表す。
【０２９７】
式（３）（又は式（２））の予測誤差ｅkを０とする予測係数ｗnが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０２９８】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２９９】
【数４】
2009268021.tif 000006
【０３００】
但し、式（４）において、Ｋは、HD画素ｙkと、そのHD画素ｙkについての予測タップを構成するSD画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０３０１】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、次式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０３０２】
【数５】
2009268021.tif 000007
【０３０３】
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式（６）が得られる。
【０３０４】
【数６】
2009268021.tif 000008
【０３０５】
式（５）と式（６）から、次式（７）が得られる。
【０３０６】
【数７】
2009268021.tif 000009
【０３０７】
式（７）のｅkに、式（３）を代入することにより、式（７）は、次式（８）に示す正規方程式で表すことができる。
【０３０８】
【数８】
2009268021.tif 000010
【０３０９】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０３１０】
式（８）の正規方程式を、波形クラス及び方向クラス（の組合せ）毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、波形クラス及び方向クラス毎（波形クラスと方向クラスとの複数の組合せ毎）に求めることができる。
【０３１１】
図５の画像処理装置３１では、以上のような波形クラス及び方向クラス毎の予測係数を用いて、式（１）の演算を行うことにより、第１の画像データとしてのSD画像データが、第２の画像データとしてのHD画像データに変換される。
【０３１２】
次に、図２３は、式（８）の正規方程式を波形クラス及び方向クラス毎にたてて解くことにより予測係数ｗnを求める学習を行う学習装置の構成例を示している。
【０３１３】
図２３の学習装置１８１は、サブサンプリング部２１１、予測タップ抽出部２１２、波形タップ抽出部２１３、波形クラス分類部２１４、定常判定部２１５、マッチング位置取得部２１６、方向クラス分類部２１７、足し込み部２１８、及び係数算出部２１９により構成される。
【０３１４】
サブサンプリング部２１１には、画像処理装置３１から出力される第２の画像データに相当する画像（学習用の第２の画像データ）が供給される。以下、学習用の第２の画像データを、教師画像ともいう。
【０３１５】
サブサンプリング部２１１は、学習用の第２の画像データをサブサンプリングし、その解像度を低下させることにより、画像処理装置３１に入力される第１の画像データに相当する画像（学習用の第１の画像データ）を生成する。以下、学習用の第１の画像データを、生徒画像ともいう。
【０３１６】
サブサンプリング部２１１は、教師画像をサブサンプリングすることにより得られた生徒画像を、予測タップ抽出部２１２、波形タップ抽出部２１３、及びマッチング位置取得部２１６に供給する。
【０３１７】
予測タップ抽出部２１２は、教師画像を構成する複数の画素を、例えば、ラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出部２１２は、サブサンプリング部２１１からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部６１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部６１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部２１８に供給する。
【０３１８】
波形タップ抽出部２１３は、サブサンプリング部２１１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形タップ抽出部６２が注目画素について得る波形タップと同一のタップ構造の波形タップ（図５の波形タップ抽出部６２が注目画素について得る波形タップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形タップ）を得て、波形クラス分類部２１４、定常判定部２１５及び方向クラス分類部２１７に供給する。
【０３１９】
波形クラス分類部２１４は、波形タップ抽出部２１３からの波形タップ基づいて、図５の波形クラス分類部６３と同一の波形クラス分類処理を行い、その結果得られた注目画素の波形クラスに対応する波形クラスコードを、足し込み部２１８に供給する。
【０３２０】
定常判定部２１５は、波形タップ抽出部２１３からの波形タップ基づいて、図５の定常判定部６４と同一の定常方向判定処理を行い、その結果得られた定常方向を、マッチング位置取得部２１６に供給する。
【０３２１】
また、定常判定部２１５は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部２１６を介して、方向クラス分類部２１７に供給する。
【０３２２】
マッチング位置取得部２１６は、サブサンプリング部２１１からの生徒画像、及び定常判定部２１５からの定常方向に基づいて、図５のマッチング位置取得部６５と同一のマッチング位置取得処理を行い、その結果得られたマッチング位置を、方向クラス分類部２１７に供給する。
【０３２３】
また、マッチング位置取得部２１６は、マッチング位置取得処理により、マッチング位置が得られなかった場合、マッチング位置なし情報を、方向クラス分類部２１７に供給する。
【０３２４】
方向クラス分類部２１７は、マッチング位置取得部２１６からのマッチング位置と、波形タップ抽出部２１３からの波形タップに基づいて、図５の方向クラス分類部６６と同一の方向クラス分類処理を行い、その結果得られた注目画素の方向クラスに対応する方向クラスコードを、足し込み部２１８に供給する。
【０３２５】
また、方向クラス分類部２１７は、マッチング位置取得部２１６から、定常性なし情報、又はマッチング位置なし情報が供給された場合、所定の方向クラスコードを、注目画素の方向クラスに対応する方向クラスコードとして、足し込み部２１８に供給する。
【０３２６】
足し込み部２１８には、サブサンプリング部２１１から出力される生徒画像に対応する教師画像が供給される。足し込み部２１８は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部２１２からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、波形クラス分類部２１４からの波形クラスコード及び方向クラス分類部２１７からの方向クラスコード毎に行う。
【０３２７】
すなわち、足し込み部２１８には、教師画像を構成する複数の画素のうちの注目画素の画素値ｙk、予測タップ抽出部２１２が出力する注目画素についての予測タップを構成する生徒画像の画素の画素値ｘn,k、波形クラス分類部２１４が出力する、注目画素の波形クラスを表す波形クラスコード、及び方向クラス分類部２１７が出力する、注目画素の方向クラスを表す方向クラスコードが供給される。
【０３２８】
そして、足し込み部２１８は、波形クラス分類部２１４からの波形クラスコードに対応する波形クラス、及び方向クラス分類部２１７からの方向クラスコードに対応する方向クラス毎に、予測タップ（生徒画像）ｘn,kを用い、式（８）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０３２９】
さらに、足し込み部２１８は、やはり、波形クラス分類部２１４からの波形クラスコードに対応する波形クラス、及び方向クラス分類部２１７からの方向クラスコードに対応する方向クラス毎に、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（８）の右辺のベクトルにおける生徒画像ｘn,k及び教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０３３０】
すなわち、足し込み部２１８は、前回、注目画素とされた教師画像について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）又はベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画像について、その教師画像ｙk+1及び生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1又はｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０３３１】
そして、足し込み部２１８は、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、波形クラスと方向クラスとの複数の組合せそれぞれについて、式（８）に示した正規方程式をたてると、その正規方程式を、係数算出部２１９に供給する。
【０３３２】
係数算出部２１９は、足し込み部２１８から供給された、波形クラスと方向クラスとの複数の組合せそれぞれについての正規方程式を解くことにより、波形クラスと方向クラスとの複数の組合せそれぞれについて、予測係数ｗnを求めて出力する。
【０３３３】
次に、図２４のフローチャートを参照して、図２３の学習装置１８１が行う学習処理の詳細を説明する。
【０３３４】
ステップＳ１９１において、サブサンプリング部２１１は、供給される教師画像（学習用の第２の画像データ）をサブサンプリングし、その解像度を低下させることにより、画像処理装置３１に入力される第１の画像データに相当する画像（生徒画像（学習用の第１の画像データ））を生成する。
【０３３５】
サブサンプリング部２１１は、教師画像をサブサンプリングすることにより得られた生徒画像を、予測タップ抽出部２１２、波形タップ抽出部２１３、及びマッチング位置取得部２１６に供給する。
【０３３６】
ステップＳ１９２において、予測タップ抽出部２１２は、教師画像を構成する複数の画素のうちの所定の画素に注目し、その所定の画素を注目画素とする。
【０３３７】
ステップＳ１９３において、予測タップ抽出部２１２は、サブサンプリング部２１１からの生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の予測タップ抽出部６１が注目画素について得る予測タップと同一のタップ構造の予測タップ（図５の予測タップ抽出部６１が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像の画素からなる予測タップ）を得て、足し込み部２１８に供給する。
【０３３８】
ステップＳ１９４において、波形タップ抽出部２１３は、サブサンプリング部２１１から供給された生徒画像を構成する画素のうちの所定のものを抽出することにより、図５の波形タップ抽出部６２が注目画素について得る波形タップと同一のタップ構造の波形タップ（図５の波形タップ抽出部６２が注目画素について得る波形タップを構成する画素と同一の位置関係にある生徒画像の画素からなる波形タップ）を得て、波形クラス分類部２１４、定常判定部２１５及び方向クラス分類部２１７に供給する。
【０３３９】
ステップＳ１９５において、波形クラス分類部２１４は、波形タップ抽出部２１３からの波形タップ基づいて、図５の波形クラス分類部６３と同一の波形クラス分類処理を行い、その結果得られた注目画素の波形クラスに対応する波形クラスコードを、足し込み部２１８に供給する。
【０３４０】
ステップＳ１９６において、定常判定部２１５は、波形タップ抽出部２１３からの波形タップ基づいて、図５の定常判定部６４と同一の定常方向判定処理を行い、その結果得られた定常方向を、マッチング位置取得部２１６に供給する。
【０３４１】
また、定常判定部２１５は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部２１６を介して、方向クラス分類部２１７に供給する。
【０３４２】
ステップＳ１９７において、マッチング位置取得部２１６は、サブサンプリング部２１１からの生徒画像、及び定常判定部２１５からの定常方向に基づいて、図５のマッチング位置取得部６５と同一のマッチング位置取得処理を行い、その結果得られたマッチング位置を、方向クラス分類部２１７に供給する。
【０３４３】
また、マッチング位置取得部２１６は、マッチング位置取得処理により、マッチング位置が得られなかった場合、マッチング位置なし情報を、方向クラス分類部２１７に供給する。
【０３４４】
ステップＳ１９８において、方向クラス分類部２１７は、マッチング位置取得部２１６からのマッチング位置と、波形タップ抽出部２１３からの波形タップに基づいて、図５の方向クラス分類部６６と同一の方向クラス分類処理を行い、その結果得られた注目画素の方向クラスに対応する方向クラスコードを、足し込み部２１８に供給する。
【０３４５】
また、方向クラス分類部２１７は、マッチング位置取得部２１６から、定常性なし情報、又はマッチング位置なし情報が供給された場合、所定の方向クラスコードを、注目画素の方向クラスに対応する方向クラスコードとして、足し込み部２１８に供給する。
【０３４６】
ステップＳ１９９において、足し込み部２１８は、そこに供給された教師画像の注目画素（の画素値）と、予測タップ抽出部２１２からの注目画素についての予測タップを構成する生徒画像の画素とを対象とした足し込みを、波形クラス分類部２１４からの波形クラスコード及び方向クラス分類部２１７からの方向クラスコード毎に行う。
【０３４７】
ステップＳ２００において、予測タップ抽出部２１２は、教師画像を構成する複数の画素すべてに注目したか否かを判定する。
【０３４８】
ステップＳ２００において、教師画像を構成する複数の画素すべてに注目していないと判定された場合、処理は、ステップＳ１９２に戻り、予測タップ抽出部２１２は、教師画像を構成する複数の画素のうち、まだ注目されていない画素を、新たな注目画素として、処理は、ステップＳ１９３に進められ、以下、同様の処理が繰り返される。
【０３４９】
一方、ステップＳ２００において、教師画像を構成する複数の画素すべてに注目したと判定された場合、すなわち、足し込み部２１８においては、教師画像の画素すべてを注目画素として、上述の足し込みを行うことにより、波形クラス及び方向クラスの複数の組合せについて、式（８）に示した正規方程式が得られた場合、処理は、ステップＳ２０１に進められる。
【０３５０】
ステップＳ２０１において、足し込み部２１８は、上述の足し込みにより得られた式（８）に示した正規方程式を、係数算出部２１９に供給する。
【０３５１】
ステップＳ２０２において、係数算出部２１９は、足し込み部２１８から供給された、波形クラスと方向クラスとの複数の組合せそれぞれについての正規方程式を解くことにより、波形クラスと方向クラスとの複数の組合せそれぞれについて、予測係数ｗnを求めて出力する。
【０３５２】
その後、図２４の学習処理は終了される。
【０３５３】
以上のように、図２４の学習処理では、方向クラス分類部２１７により、注目画素を、注目画素の位置に相当する第１の画像データの位置の周辺に存在するエッジ等を含む連続領域に対応する方向クラスに分類することにより、連続領域に関する情報を取得することとした。
【０３５４】
従って、図２４の学習処理では、連続領域に関する情報を取得しないために、予測後の画像データ内の連続領域に歪み等が生じてしまっていた従来のクラス分類適応処理と比較して、より高画質の画像を予測する予測係数を学習することができる。
【０３５５】
ところで、図８のマッチング位置取得部６５では、ブロック差分総和の最小値に対応する位置を表す最小位置、又は、基準ブロックの位置から最も近い位置であって、ブロック差分総和の極小値に対応する位置を表す極小位置のうちのいずれかを、マッチング位置として取得している。
【０３５６】
ここで、より適切なマッチング位置を取得する取得精度を高めるために、マッチング位置取得部６５は、取得したマッチング位置が信頼できるものであるか否か、すなわち、取得したマッチング位置に存在するマッチングブロックと、基準ブロックとが、確かに類似するブロックどうしであるか否かを判定することが望ましい。
【０３５７】
図２５は、取得したマッチング位置が信頼できるものであるか否かを判定する図５のマッチング位置取得部６５の第２の構成例を示している。
【０３５８】
なお、図中、図８の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３５９】
すなわち、図２５のマッチング位置取得部６５は、新たに、上下差分算出部２４１、及び信頼性判定部２４２が設けられている他は、図８の場合と同様に構成される。
【０３６０】
上下差分算出部２４１には、マッチング位置検索部１２４から、マッチング位置に存在するマッチングブロックのほか、基準ブロックが供給される。
【０３６１】
上下差分算出部２４１は、マッチング位置検索部１２４からの基準ブロックを構成する複数の画素のうち、所定の画素と、所定の画素とは異なる他の画素どうしの差分（以下、基準ブロック内の画素どうしの差分ともいう）を算出し、信頼性判定部２４２に供給する。
【０３６２】
また、上下差分算出部２４１は、マッチング位置検索部１２４からのマッチングブロックを構成する複数の画素のうち、基準ブロック内の所定の画素と同一の位置関係にある画素と、基準ブロック内の他の画素と同一の位置関係にある画素どうしの差分（以下、マッチングブロック内の画素どうしの差分ともいう）を算出し、信頼性判定部２４２に供給する。
【０３６３】
信頼性判定部２４２は、上下差分算出部２４１からの基準ブロック内の画素どうしの差分と、上下差分算出部２４１からのマッチングブロック内の画素どうしの差分とを比較し、その比較結果に基づいて、マッチング位置検索部１２４により検索されたマッチング位置の信頼性を判定する。
【０３６４】
ところで、基準ブロックとマッチングブロックとが同一である場合、すなわち、基準ブロックとマッチングブロックとの対応する位置に存在する画素どうしが一致している場合、基準ブロック内の画素どうしの差分と、マッチングブロック内の画素どうしの差分は一致する。
【０３６５】
従って、基準ブロックとマッチングブロックについて、基準ブロック内の画素どうしの差分と、マッチングブロック内の画素どうしの差分が近い値をとる場合には、基準ブロックとマッチングブロックとが類似していることが推定できる。
【０３６６】
よって、信頼性判定部２４２は、比較結果として、基準ブロック内の画素どうしの差分と、マッチングブロック内の画素どうしの差分とが近い値をとるとの結果を得た場合、マッチング位置検索部１２４により検索されたマッチング位置の信頼性は高いと判定し、そのマッチング位置を、そのまま、方向クラス分類部６６に供給する。
【０３６７】
また、信頼性判定部２４２は、比較結果として、基準ブロック内の画素どうしの差分と、マッチングブロック内の画素どうしの差分とが近くない値をとるとの結果を得た場合、マッチング位置検索部１２４により検索されたマッチング位置の信頼性は低いと判定し、マッチング位置は存在しないことを示すマッチング位置なし情報を生成し、方向クラス分類部６６に供給する。
【０３６８】
次に、図２６を参照して、上下差分算出部２４１及び信頼性判定部２４２が行う、マッチング位置の信頼性を判定する判定処理を説明する。
【０３６９】
なお、図２６では、例えば、上側マッチングブロックが存在する位置を表す上側マッチング位置の信頼性を判定する判定処理について説明する。
【０３７０】
図２６には、定常方向が水平方向である場合に得られる、横×縦が７×３画素の合計２１画素で構成される基準ブロックと、基準ブロックと同一ブロックサイズの上側マッチングブロックが示されている。
【０３７１】
上下差分算出部２４１は、マッチング位置検索部１２４からの基準ブロックに基づいて、対応画素１３１（の画素値）から、対応画素１３１の上に隣接する画素２５２を減算して得られる上側差分２５４、及び対応画素１３１から、対応画素１３１の下に隣接する画素２５３を減算して得られる下側差分２５５を算出し、信頼性判定部２４２に供給する。
【０３７２】
また、上下差分算出部２４１は、マッチング位置検索部１２４からの上側マッチングブロックに基づいて、中心画素２６１（の画素値）から、対応画素２６１の上に隣接する画素２６２の画素値を減算して得られる上側差分２６４、及び中心画素２６１から、中心画素２６１の下に隣接する画素２６３を減算して得られる下側差分２６５を算出し、信頼性判定部２４２に供給する。
【０３７３】
信頼性判定部２４２は、上下差分算出部２４１からの上側差分２５４と上側差分２６４との差分絶対値を表す上側差分絶対値を算出し、その上側差分絶対値が、信頼性が高いか否かを判定するための閾値を表す信頼性閾値未満であるか否かを判定する。
【０３７４】
また、信頼性判定部２４２は、同様に、上下差分算出部２４１からの下側差分２５５と下側差分２６５との差分絶対値を表す下側差分絶対値を算出し、その下側差分絶対値が、信頼性閾値未満であるか否かを判定する。
【０３７５】
信頼性判定部２４２は、上側差分２５４と上側差分２６４との上側差分絶対値と、下側差分２５５と下側差分２６５との下側差分絶対値とがいずれも、信頼性閾値未満であると判定した場合、すなわち、上側マッチングブロックの位置を表す上側マッチング位置（中心画素２６１の位置）の信頼性は高いと判定した場合、マッチング位置を、そのまま、方向クラス分類部６６に供給する。
【０３７６】
信頼性判定部２４２は、上側差分２５４と上側差分２６４との上側差分絶対値と、下側差分２５５と下側差分２６５との下側差分絶対値との少なくとも一方が、信頼性閾値以上であると判定した場合、すなわち、上側マッチングブロックの位置を表すマッチング位置の信頼性は低いと判定した場合、マッチング位置は存在しないことを示すマッチング位置なし情報を生成し、方向クラス分類部６６に供給する。
【０３７７】
次に、図２７のフローチャートを参照して、図２５のマッチング位置取得部６５が行うマッチング位置取得処理の詳細を説明する。
【０３７８】
ステップＳ２３１ないしステップＳ２３５では、図２０のステップＳ１０１ないしステップＳ１０５それぞれと同様の処理が行われる。
【０３７９】
また、ステップＳ２３５において、マッチング位置検索部１２４は、ステップＳ２３５のマッチング位置検索処理により、マッチング位置を検出したことに対応し、検出したマッチング位置に存在するマッチングブロックと、基準ブロックとを、上下差分算出部２４１に供給して、処理は、ステップＳ２３６に進められる。
【０３８０】
ステップＳ２３６において、例えば、上下差分算出部２４１は、図２６に示したように、マッチング位置検索部１２４からの基準ブロックを構成する複数の画素のうち、対応画素１３１と、対応画素１３１の上に隣接する上画素２５２どうしの上側差分２５４を算出し、信頼性判定部２４２に供給する。
【０３８１】
また、例えば、上下差分算出部２４１は、図２６に示したように、マッチング位置検索部１２４からの上側マッチングブロックを構成する複数の画素のうち、基準ブロック内の対応画素１３１と同一の位置関係にある中心画素２６１と、基準ブロック内の上画素２５２と同一の位置関係にある画素２６２どうしの上側差分２６４を算出し、信頼性判定部２４２に供給する。
【０３８２】
ステップＳ２３７において、信頼性判定部２４２は、上下差分算出部２４１からの上側差分２５４と上側差分２６４との差分絶対値を表す上側差分絶対値を算出する。
【０３８３】
ステップＳ２３８において、例えば、上下差分算出部２４１は、図２６に示したように、マッチング位置検索部１２４からの基準ブロックを構成する複数の画素のうち、対応画素１３１と、対応画素１３１の下に隣接する下画素２５３どうしの下側差分２５５を算出し、信頼性判定部２４２に供給する。
【０３８４】
また、例えば、上下差分算出部２４１は、図２６に示したように、マッチング位置検索部１２４からの上側マッチングブロックを構成する複数の画素のうち、基準ブロック内の対応画素１３１と同一の位置関係にある中心画素２６１と、基準ブロック内の下画素２５３と同一の位置関係にある画素２６３どうしの下側差分２６５を算出し、信頼性判定部２４２に供給する。
【０３８５】
ステップＳ２３９において、信頼性判定部２４２は、上下差分算出部２４１からの下側差分２５５と下側差分２６５との差分絶対値を表す下側差分絶対値を算出する。
【０３８６】
ステップＳ２４０において、信頼性判定部２４２は、ステップＳ２３７で算出した上側差分絶対値と、ステップＳ２３９で算出した下側差分絶対値との各値が、信頼性閾値未満であるか否かを判定する。
【０３８７】
ステップＳ２４０において、上側差分絶対値と下側差分絶対値とが、いずれも、信頼性閾値未満であると判定された場合、すなわち、ステップＳ２３５での検索により検出されたマッチング位置の信頼性は高いと判定された場合、処理は、ステップＳ２４１に進められる。
【０３８８】
ステップＳ２４１において、信頼性判定部２４２は、ステップＳ２３５での検索により検出されたマッチング位置を、最終的なマッチング位置に決定して、処理は、図１８のステップＳ３６にリターンされる。
【０３８９】
一方、ステップＳ２４０において、上側差分絶対値と下側差分絶対値との少なくとも一方が、信頼性閾値以上であると判定された場合、すなわち、ステップＳ２３５での検索により検出されたマッチング位置の信頼性は低いと判定された場合、処理は、ステップＳ２４２に進められる。
【０３９０】
ステップＳ２４２において、信頼性判定部２４２は、マッチング位置は存在しないことを表すマッチング位置なし情報を生成し、処理は、図１８のステップＳ３６にリターンされる。
【０３９１】
なお、ステップＳ２３５において、マッチング位置検索部１２４は、ステップＳ２３５のマッチング位置検索処理により、マッチング位置を検出しなかった場合、ステップＳ２３６ないしステップＳ２４２をスキップして、処理は、図１８のステップＳ３６にリターンされる。
【０３９２】
以上のように、図２７のマッチング位置取得処理では、ステップＳ２３５のマッチング位置検索処理により検出されたマッチング位置の信頼性が判定され、マッチング位置の信頼性が高いと判定された場合に、そのマッチング位置を、最終的なマッチング位置に決定することとした。
【０３９３】
従って、図２７のマッチング位置取得処理では、例えば、図２０のマッチング位置取得処理と比較して、より適切なマッチング位置を取得する取得精度が向上するため、マッチング位置に基づいて行われる方向クラス分類処理（図１８のステップＳ３７）において、注目画素をより適切な方向クラスに分類することが可能となる。
【０３９４】
よって、図２７のマッチング位置取得処理を含む画像変換処理において、より高画質な画像を予測することが可能となる。
【０３９５】
図２８は、図５のマッチング位置取得部６５の第３の構成例を示している。
【０３９６】
なお、図中、図８の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０３９７】
すなわち、図２８のマッチング位置取得部６５は、マッチング位置検索部１２４に代えて、マッチング位置検索部２７１、及び対称性判定部２７２が設けられている他は、図８の場合と同様に構成される。
【０３９８】
マッチング位置検索部２７１には、ブロック差分算出部１２２から、ブロック差分総和のグラフが供給されるとともに、検索方向決定部１２３から、検索方向が供給される。
【０３９９】
マッチング位置検索部２７１は、検索方向決定部１２３からの検索方向に基づいて、ブロック差分算出部１２２からのブロック差分総和のグラフを用いて、図８のマッチング位置検索部１２４と同様の処理を行う。
【０４００】
また、マッチング位置検索部２７１は、検索方向決定部１２３からの検索方向として、第１のマッチング位置及び第２のマッチング位置を検索した検索方向が、右方方向又は左方向の同方向ではない場合、図８のマッチング位置検索部１２４と同様の処理を行うことにより検出されたマッチング位置（第１のマッチング位置や、第２のマッチング位置）を、対称性判定部２７２を介して、方向クラス分類部６６に供給する。
【０４０１】
さらに、マッチング位置検索部２７１は、検索方向決定部１２３からの検索方向として、第１のマッチング位置及び第２のマッチング位置を検索した検索方向が、いずれも、右方方向又は左方向の同方向である場合に、検索方向とは逆の方向である逆検索方向に、他の第１のマッチング位置及び他の第２のマッチング位置を検索する。
【０４０２】
マッチング位置検索部２７１は、他の第１のマッチング位置及び他の第２のマッチング位置の検索により検出されたマッチング位置（他の第１のマッチング位置や、他の第２のマッチング位置）を、対称性判定部２７２に供給する。
【０４０３】
対称性判定部２７２は、マッチング位置検索部２７１からのマッチング位置のうち、基準ブロックの位置０を基準点として、基準点と対称な位置関係にある、第１のマッチング位置と他の第２のマッチング位置との組合せ、又は第２のマッチング位置と他の第１のマッチング位置との組合せを、最終的なマッチング位置として、方向クラス分類部６６に供給する。
【０４０４】
次に、図２９を参照して、図２８のマッチング位置検索部２７１及び対称性判定部２７２が行う処理の詳細を説明する。
【０４０５】
図２９には、定常方向が水平方向である場合に、ブロック差分算出部１２２により得られる上側ブロック差分総和、及び下側ブロック差分総和が示されている。
【０４０６】
また、図２９において、位置２８１及び位置２８２は、それぞれ、マッチング位置検索部２７１による検索で検出された上側マッチング位置、及び下側マッチング位置を示している。
【０４０７】
図２９に示すように、例えば、マッチング位置検索部２７１は、第１のマッチング位置としての上側マッチング位置を検索する検索方向として、左方向に、図８のマッチング位置検索部１２４と同様の処理を行うことにより、第１のマッチング範囲としての上側マッチング範囲から、第１のマッチング位置としての上側マッチング位置２８１を検出する。
【０４０８】
また同様に、マッチング位置検索部２７１は、第２のマッチング位置としての下側マッチング位置を検索する検索方向として、左方向に、図８のマッチング位置検索部１２４と同様の処理を行うことにより、第２のマッチング範囲としての下側マッチング範囲から、第２のマッチング位置としての下側マッチング位置２８２を検出する。
【０４０９】
マッチング位置検索部２７１は、検出した上側マッチング位置２８１と下側マッチング位置２８２とを、対称性判定部２７２に供給する。
【０４１０】
マッチング位置検索部２７１は、上側マッチング位置２８１を検索する検索方向と、下側マッチング位置２８２を検索する検索方向とが、いずれも同じ左方向である場合、さらに、左方向と逆の右方向に、図８のマッチング位置検索部１２４と同様の処理を行う。
【０４１１】
すなわち、例えば、マッチング位置検索部２７１は、他の第１のマッチング位置としての他の上側マッチング位置を検索する検索方向として、検索方向とは逆の逆検索方向である右方向に、図８のマッチング位置検索部１２４と同様の処理を行うことにより、他の上側マッチング位置を検索する。
【０４１２】
図２９において、マッチング位置検索部２７１は、他の上側マッチング位置を検索した結果として、他の上側マッチング位置は存在しないとの結果を得る。
【０４１３】
また、例えば、マッチング位置検索部２７１は、他の第２のマッチング位置としての他の下側マッチング位置を検索する検索方向として、検索方向とは逆の逆検索方向である右方向に、図８のマッチング位置検索部１２４と同様の処理を行うことにより、他の下側マッチング位置を検索する。
【０４１４】
図２９において、マッチング位置検索部２７１は、他の下側マッチング位置を検索した結果として、他の下側マッチング位置２８３を検出する。
【０４１５】
マッチング位置検索部２７１は、検出した他の下側マッチング位置２８３を、対称性判定部２７２に供給する。
【０４１６】
対称性判定部２７２は、マッチング位置検索部２７１からの上側マッチング位置及び下側マッチング位置のうち、横軸で表す位置０を基準点として、基準点と対称な位置関係にある、上側マッチング位置及び下側マッチング位置を、最終的なマッチング位置として、方向クラス分類部６６に供給する。
【０４１７】
図２９において、上側マッチング位置２８１及び他の下側マッチング位置２８３は、基準点と対称な位置関係にある、上側マッチング位置及び下側マッチング位置である。
【０４１８】
従って、対称性判定部２７２は、マッチング位置検索部２７１からの上側マッチング位置２８１、下側マッチング位置２８２、及び他の下側マッチング位置２８３のうち、上側マッチング位置２８１及び他の下側マッチング位置２８３を、最終的なマッチング位置として、方向クラス分類部６６に供給する。
【０４１９】
次に、図３０のフローチャートを参照して、図２８のマッチング位置取得部６５が行うマッチング位置取得処理の詳細を説明する。
【０４２０】
ステップＳ２６１ないしステップＳ２６４では、図２０のステップＳ１０１ないしステップＳ１０４それぞれと同様の処理が行われる。
【０４２１】
ステップＳ２６５において、マッチング位置検索部２７１は、マッチング位置検索処理により、マッチング位置を検出したことに対応し、検出したマッチング位置を、対称性判定部２７２に供給して、処理は、ステップＳ２６６に進められる。
【０４２２】
ここで、説明の便宜のため、ステップＳ２６５では、マッチング位置検索部２７１は、マッチング位置検索処理により、第１のマッチング範囲から第１のマッチング位置のみを検出し、検出した第１のマッチング位置を、対称性判定部２７２に供給したものとする。
【０４２３】
ステップＳ２６６において、マッチング位置検索部２７１は、検索方向決定部１２３からの第１のマッチング範囲を検索する第１の検索方向と、第２のマッチング範囲を検索する第２の検索方向とが、いずれも、右方向又は左方向の同方向であるか否かを判定する。
【０４２４】
ステップＳ２６６において、第１の検索方向と第２の検索方向とが同方向でないと判定された場合、処理は、ステップＳ２６７に進められる。
【０４２５】
ステップＳ２６７において、対称性判定部２７２は、ステップＳ２６５でのマッチング位置検索処理により検出された第１のマッチング位置を、最終的なマッチング位置として取得し、処理は、図１８のステップＳ３６にリターンされる。
【０４２６】
一方、ステップＳ２６６において、第１の検索方向と第２の検索方向とが、右方向又は左方向の同方向であると判定された場合、処理は、ステップＳ２６８に進められる。
【０４２７】
ステップＳ２６８において、マッチング位置検索部２７１は、第２のマッチング範囲から、第１及び第２の検索方向とは逆の逆検索方向に、他の第２のマッチング位置を検索するマッチング位置検索処理を行う。
【０４２８】
ステップＳ２６９において、マッチング位置検索部２７１は、ステップＳ２６８でのマッチング位置検索処理により、他の第２のマッチング位置を検出しなかった場合、その旨を示す未検出情報を、対称性判定部２７２に供給して、処理は、ステップＳ２７０に進められる。
【０４２９】
ステップＳ２７０において、対称性判定部２７２は、マッチング位置検索部２７１からの未検出情報に対応して、マッチング位置は存在しないことを表すマッチング位置なし情報を生成することにより取得し、処理は、図１８のステップＳ３６にリターンされる。
【０４３０】
一方、ステップＳ２６９において、マッチング位置検索部２７１は、ステップＳ２６８でのマッチング位置検索処理により、他の第２のマッチング位置を検出した場合、検出した他の第２のマッチング位置を、対称性判定部２７２に供給して、処理は、ステップＳ２７１に進められる。
【０４３１】
ステップＳ２７１において、対称性判定部２７２は、ステップＳ２６５で検出された第１のマッチング位置の絶対値と、ステップＳ２６８で検出された他の第２のマッチング位置の絶対値との差分を算出する。
【０４３２】
ステップＳ２７２において、対称性判定部２７２は、ステップＳ２７１で算出した差分が、あらかじめ設定されている対称性閾値未満であるか否かを判定する。ステップＳ２７２において、差分が対称性閾値未満でないと判定された場合、処理は、ステップＳ２７０に進められる。
【０４３３】
一方、ステップＳ２７２において、差分が対称性閾値未満であると判定された場合、処理は、ステップＳ２７３に進められ、対称性判定部２７２は、ステップＳ２６５で検出された第１のマッチング位置と、ステップＳ２６８で検出された他の第２のマッチング位置とを、最終的なマッチング位置として取得して、処理は、図１８のステップＳ３６にリターンされる。
【０４３４】
ところで、ステップＳ２６５では、マッチング位置検索部２７１は、マッチング位置検索処理により、第１のマッチング範囲から第１のマッチング位置のみを検出し、検出した第１のマッチング位置を、対称性判定部２７２に供給するものとした。
【０４３５】
次に、ステップＳ２６５において、マッチング位置検索部２７１は、マッチング位置検索処理により、第１のマッチング範囲から第１のマッチング位置を検出した他、第２のマッチング範囲から第２のマッチング位置を検出した場合に、以下、ステップＳ２６６ないしステップＳ２７３で行われる処理を説明する。
【０４３６】
すなわち、ステップＳ２６６において、マッチング位置検索部２７１は、検索方向決定部１２３からの第１のマッチング範囲を検索する第１の検索方向と、第２のマッチング範囲を検索する第２の検索方向とが、いずれも、右方向又は左方向の同方向であるか否かを判定する。
【０４３７】
ステップＳ２６６において、第１の検索方向と第２の検索方向とが同方向でないと判定された場合、処理は、ステップＳ２６７に進められる。
【０４３８】
ステップＳ２６７において、対称性判定部２７２は、ステップＳ２６５でのマッチング位置検索処理により検出された第１のマッチング位置と第２のマッチング位置を、最終的なマッチング位置として取得し、処理は、図１８のステップＳ３６にリターンされる。
【０４３９】
一方、ステップＳ２６６において、第１の検索方向と第２の検索方向とが、右方向又は左方向の同方向であると判定された場合、処理は、ステップＳ２６８に進められる。
【０４４０】
ステップＳ２６８において、マッチング位置検索部２７１は、第２のマッチング範囲から、第１及び第２の検索方向とは逆の逆検索方向に、他の第２のマッチング位置を検索するマッチング位置検索処理を行う他、第１のマッチング範囲から、逆検索方向に、他の第１のマッチング範囲を検索するマッチング位置検索処理を行う。
【０４４１】
ステップＳ２６９において、マッチング位置検索部２７１は、ステップＳ２６８でのマッチング位置検索処理により、他の第１のマッチング位置、及び他の第２のマッチング位置を検出しなかった場合、その旨を示す未検出情報を、対称性判定部２７２に供給して、処理は、ステップＳ２７０に進められる。
【０４４２】
ステップＳ２７０において、対称性判定部２７２は、マッチング位置検索部２７１からの未検出情報に対応して、マッチング位置は存在しないことを表すマッチング位置なし情報を生成することにより取得し、処理は、図１８のステップＳ３６にリターンされる。
【０４４３】
一方、ステップＳ２６９において、マッチング位置検索部２７１は、ステップＳ２６８でのマッチング位置検索処理により、他の第の１のマッチング位置及び他の第２のマッチング位置を検出した場合、検出した他の第の１のマッチング位置及び他の第２のマッチング位置を、対称性判定部２７２に供給して、処理は、ステップＳ２７１に進められる。
【０４４４】
ステップＳ２７１において、対称性判定部２７２は、ステップＳ２６５で検出された第１のマッチング位置の絶対値と、ステップＳ２６８で検出された他の第２のマッチング位置の絶対値との差分を表す第１の差分を算出する。
【０４４５】
また、対称性判定部２７２は、ステップＳ２６５で検出された第２のマッチング位置の絶対値と、ステップＳ２６８で検出された他の第１のマッチング位置の絶対値との差分を表す第２の差分を算出する。
【０４４６】
さらに、対称性判定部２７２は、第１の差分と第２の差分のうち、値が小さいほうを、最終的な差分とする。
【０４４７】
なお、ステップＳ２６９において、マッチング位置検索部２７１は、ステップＳ２６８でのマッチング位置検索処理により、他の第の１のマッチング位置、又は他の第２のマッチング位置のうちのいずれか一方を検出した場合、すなわち、例えば、他の第２のマッチング位置のみを検出した場合、検出した他の第２のマッチング位置を、対称性判定部２７２に供給して、処理は、ステップＳ２７１に進められる。
【０４４８】
そして、ステップＳ２７１では、対称性判定部２７２は、ステップＳ２６５で検出された第１のマッチング位置の絶対値と、ステップＳ２６８で検出された他の第２のマッチング位置の絶対値との差分を、最終的な差分として算出する。
【０４４９】
ステップＳ２７２において、対称性判定部２７２は、ステップＳ２７１で算出した最終的な差分が対称性閾値未満であるか否かを判定する。ステップＳ２７２において、差分が対称性閾値未満でないと判定された場合、処理は、ステップＳ２７０に進められる。
【０４５０】
一方、ステップＳ２７２において、最終的な差分が対称性閾値未満であると判定された場合、処理は、ステップＳ２７３に進められ、対称性判定部２７２は、ステップＳ２７１で算出された最終的な差分に対応するマッチング位置の組合せを、最終的なマッチング位置として取得して、処理は、図１８のステップＳ３６にリターンされる。
【０４５１】
ところで、第１の画像データ内の基準ブロックは、第１の画像データと比較して、非常に小さいものであり、第１の画像データとの比較において、基準ブロックは、いわば無限小のブロックとして考えることができる。
【０４５２】
従って、基準ブロック内に、エッジ等を含む連続領域が存在する場合、基準ブロック内、及びその近傍の連続領域は、対応画素である基準点でほぼ点対称な領域であって、かつ、まっすぐに伸びた領域になる。
【０４５３】
よって、基準ブロック内、及びその近傍において、連続領域は、対応画素である基準点でほぼ点対称な領域であって、かつ、まっすぐに伸びた領域となるため、基準ブロックに類似するマッチングブロックは、それぞれ、対応画素である基準点と点対称な位置に存在する。
【０４５４】
このため、第１のマッチング範囲内に存在する第１のマッチング位置と、第２のマッチング範囲内に存在する第２のマッチング位置とは、対応画素である基準点とほぼ点対称な位置に存在することになる。
【０４５５】
従って、図３０のマッチング位置取得処理では、第１のマッチング位置と第２のマッチング位置とが基準点を基準として点対称に存在する対称性を利用して、最終的なマッチング位置に決定する。
【０４５６】
従って、図３０のマッチング位置取得処理では、例えば、図２０のマッチング位置取得処理と比較して、より適切なマッチング位置を取得する取得精度が向上するため、マッチング位置に基づいて行われる方向クラス分類処理（図１８のステップＳ３７）において、注目画素をより適切な方向クラスに分類することが可能となる。
【０４５７】
よって、図３０のマッチング位置取得処理を含む画像変換処理において、より高画質な画像を予測することが可能となる。
【０４５８】
図３１は、図３の画像処理装置３１の第２の構成例を示している。
【０４５９】
なお、図中、図５の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０４６０】
すなわち、図３１の画像処理装置３１は、図５の方向クラス分類部６６に代えて、方向クラス分類部３０１が新たに設けられている他は、図５の場合と同様に構成される。
【０４６１】
方向クラス分類部３０１には、外部から第１の画像データとともに、マッチング位置取得部６５からマッチング位置が供給される。
【０４６２】
方向クラス分類部３０１は、外部からの第１の画像データ、及びマッチング位置取得部６５からのマッチング位置に基づいて、注目画素を、複数の方向クラスのうち、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域に対応する方向クラスに分類する方向クラス分類処理を行う。
【０４６３】
方向クラス分類部３０１は、方向クラス分類処理により得られた注目画素の方向クラスに対応する方向クラスコードを、係数ROM６７に供給する。
【０４６４】
また、方向クラス分類部３０１は、マッチング位置取得部６５から、定常性なし情報、又はマッチング位置なし情報が供給された場合、所定の方向クラスコードを、注目画素の方向クラスに対応する方向クラスコードとして、係数ROM６７に供給する。
【０４６５】
図３２は、図３１の方向クラス分類部３０１の詳細な構成例の一例を示している。
【０４６６】
方向クラス分類部３０１は、段階的エッジ画像生成部３３１、座標抽出部３３２、傾き位相算出部３３３、傾きクラス決定部３３４、位相クラス決定部３３５、及び方向クラス決定部３３６により構成される。
【０４６７】
段階的エッジ画像生成部３３１には、外部から、第１の画像データが供給される。段階的エッジ画像生成部３３１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０４６８】
また、段階的エッジ画像生成部３３１は、エッジ検出処理により得られた値を、段階的な複数の閾値を用いて、エッジ強度を表す値に変換することにより、第１の画像データから段階的エッジ画像を生成する。
【０４６９】
なお、段階的エッジ画像は、第１の画像データの所定の領域における位置の変化に対する画素値の変化の大きさの度合いを示すエッジ強度からなる。
【０４７０】
段階的エッジ画像生成部３３１は、第１の画像データから生成された段階的エッジ画像を、座標抽出部３３２に供給する。
【０４７１】
座標抽出部３３２は、段階的エッジ画像生成部３３１からの段階的エッジ画像内の基準ブロックを構成するエッジ強度zと、そのエッジ強度zの位置(x,y)を、サンプル(x,y,z)として、傾き位相算出部３３３に供給する。
【０４７２】
また、座標抽出部３３２は、段階的エッジ画像生成部３３１からの段階的エッジ画像内の、マッチング位置取得部６５からのマッチング位置に存在するマッチングブロックを構成するエッジ強度zと、そのエッジ強度zの位置(x,y)を、サンプル(x,y,z)として、傾き位相算出部３３３に供給する。
【０４７３】
傾き位相算出部３３３は、座標抽出部３３２からのサンプル(x,y,z)を用いた最小自乗法によって、直線式y=ax+bを算出し、直線式y=ax+bの傾きaを傾きクラス決定部３３４に、直線式y=ax+bの切片bを位相クラス決定部３３５に供給する。
【０４７４】
傾きクラス決定部３３４は、傾き位相算出部３３３からの傾きaに基づいて、注目画素の傾きクラスを決定し、決定された注目画素の傾きクラスに対応する傾きクラスコードを、方向クラス決定部３３６に供給する。
【０４７５】
すなわち、例えば、傾きクラス決定部３３４は、傾きaの絶対値|a|が１以上であるか否かを判定する。傾きクラス決定部３３４は、絶対値|a|が１以上であると判定した場合、傾きaを四捨五入して得られる値を、注目画素の傾きクラスに対応する傾きクラスコードとして算出し、方向クラス決定部３３６に供給する。
【０４７６】
また、傾きクラス決定部３３４は、傾きaの絶対値|a|が１未満であると判定した場合、傾きaの逆数1/aを四捨五入して得られる値を、注目画素の傾きクラスに対応する傾きクラスコードとして算出し、方向クラス決定部３３６に供給する。
【０４７７】
なお、本実施の形態においては、傾きaから算出される傾きクラスコードが膨大となることを防止するために、例えば、傾きaの絶対値|a|が７以上である場合には、傾きaの絶対値|a|を７にして、注目画素の傾きクラスに対応する傾きクラスコードを算出するようにしている。
【０４７８】
位相クラス決定部３３５は、傾き位相算出部３３３からの切片bに基づいて、注目画素の位相クラスを決定し、決定された注目画素の位相クラスに対応する位相クラスコードを、方向クラス決定部３３６に供給する。
【０４７９】
すなわち、例えば、位相クラス決定部３３５は、傾き位相算出部３３３からの切片bが、第１の画像データ内の垂直方向の位置を表すY軸を分割した複数の区間のうちのいずれかに含まれるかを判定し、切片bが含まれる区間に対応付けられた値を、注目画素の位相クラスに対応する位相クラスコードとして、方向クラス決定部３３６に供給する。
【０４８０】
方向クラス決定部３３６は、傾きクラス決定部３３４からの傾きクラスコードと、位相クラス決定部３３５からの位相クラスコードとの組み合わせを、注目画素の方向クラスに対応する方向クラスコードとして、係数ROM６７に供給する。
【０４８１】
なお、方向クラス決定部３３６には、適宜、マッチング位置取得部６５から座標抽出部３３２ないし傾きクラス決定部３３４を介して、マッチング位置なし情報が、定常判定部６４からマッチング位置取得部６５、座標抽出部３３２ないし傾きクラス決定部３３４を介して、定常性なし情報が供給される。
【０４８２】
方向クラス決定部１５３は、傾きクラス決定部３３４から、定常性なし情報、又はマッチング位置なし情報が供給された場合、予め設定された所定（デフォルト）の方向クラスコードを、係数ROM６７に供給する。
【０４８３】
次に、図３３を参照して、最小自乗法により直線式y=ax+bを算出する算出処理の詳細を説明する。
【０４８４】
図３３に示すブロック３４１は、横×縦が７×３画素の合計２１画素（丸により示す）により構成される基準ブロックを示している。
【０４８５】
また、図３３に示すブロック３４２は、横×縦が７×３画素の合計２１画素（丸により示す）により構成されるマッチングブロックを示している。
【０４８６】
さらに、図３３において、白丸は、エッジ強度が１の画素を示しており、灰色の丸は、エッジ強度が２の画素を示しているとともに、黒丸は、エッジ強度が３の画素を示している。
【０４８７】
段階的エッジ画像生成部３３１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０４８８】
また、段階的エッジ画像生成部３３１は、エッジ検出処理により得られた値を、段階的な複数の閾値を用いて、エッジ強度を表す値に変換することにより、第１の画像データから段階的エッジ画像を生成する。
【０４８９】
すなわち、例えば、段階的エッジ画像生成部３３１は、段階的な複数の閾値として、あらかじめ設定されている第１のエッジ閾値と、第１のエッジ閾値よりも大きい第２のエッジ閾値を用いて、エッジ検出処理により得られた値を、第１のエッジ閾値未満の値、第１のエッジ閾値以上であって第２のエッジ閾値未満の値、及び第２のエッジ閾値以上の値に分ける。
【０４９０】
段階的エッジ画像生成部３３１は、第１のエッジ閾値未満の値を、エッジ強度の値１に変換し、第１のエッジ閾値以上であって第２のエッジ閾値未満の値を、エッジ強度の値２に変換するとともに、第２のエッジ閾値以上の値を、エッジ強度の値３に変換することにより、段階的エッジ画像を生成する。
【０４９１】
段階的エッジ画像生成部３３１は、第１の画像データから生成された段階的エッジ画像を、座標抽出部３３２に供給する。
【０４９２】
座標抽出部３３２は、段階的エッジ画像生成部３３１からの段階的エッジ画像内の基準ブロックを構成するエッジ強度zと、そのエッジ強度zの位置(x,y)を、基準ブロック３４１のサンプル（x,y,z）として、傾き位相算出部３３３に供給する。
【０４９３】
なお、図３３において、基準ブロック３４１のサンプルとしては、(x,y,z)=(-3,1,1),(-3,0,2),(-3,-1,3),(-2,1,1),(-2,0,3),(-2,-1,3),(-1,1,2),(-1,0,3),(-1,-1,3),(0,1,3),(0,0,3),(0,-1,3),(1,1,3),(1,0,3),(1,-1,2),(2,1,2),(2,0,2),(2,-1,1),(3,1,1),(3,0,2),(3,-1,1)の合計２１サンプルが、座標抽出部３３２から傾き位相算出部３３３に供給される。
【０４９４】
また同様に、座標抽出部３３２は、段階的エッジ画像生成部３３１からの段階的エッジ画像内のマッチングブロック３４２のサンプル（x,y,z）として、傾き位相算出部３３３に供給する。
【０４９５】
なお、図３３において、マッチングブロック３４２のサンプルとしては、(x,y,z)=(7,2,1),(7,1,1),(7,0,3),(8,2,2),(8,1,1),(8,0,3),(9,2,2),(9,1,3),(9,0,2),(10,2,3),(10,1,3),(10,0,2),(11,2,3),(11,1,3),(11,0,2),(12,2,3),(12,1,3),(12,0,2),(13,2,1),(13,1,3),(13,0,1)の合計２１サンプルが、座標抽出部３３２から傾き位相算出部３３３に供給される。
【０４９６】
傾き位相算出部３３３は、座標抽出部３３２からの４２サンプル(x,y,z)、すなわち、基準ブロック３４１の２１サンプル(x,y,z)とマッチングブロック３４２の２１サンプル(x,y,z)を用いた最小自乗法によって、直線式y=ax+bを算出する。
【０４９７】
具体的には、傾き位相算出部３３３は、４２サンプルの各サンプル(x,y,z)について、位置(x,y)をエッジ強度zの個数だけ用意して、その結果得られた複数の位置(x,y)に対して最小自乗法を用いることにより、直線式y=ax+bを算出する。
【０４９８】
傾き位相算出部３３３は、最小自乗法により得られた直線式y=ax+bの傾きaを傾きクラス決定部３３４に、直線式y=ax+bの切片bを位相クラス決定部３３５に供給する。
【０４９９】
傾きクラス決定部３３４は、傾き位相算出部３３３からの傾きaに基づいて、注目画素の傾きクラスを決定し、決定された注目画素の傾きクラスに対応する傾きクラスコードを、方向クラス決定部３３６に供給する。
【０５００】
位相クラス決定部３３５は、傾き位相算出部３３３からの切片bに基づいて、注目画素の位相クラスを決定し、決定された注目画素の位相クラスに対応する位相クラスコードを、方向クラス決定部３３６に供給する。
【０５０１】
次に、図３４を参照して、位相クラス決定部３３５による位相クラスコードの生成処理を説明する。
【０５０２】
図３４に示すXY座標は、第１の画像データ内の対応画素１３１の位置を原点(0,0)として、互いに直交するX軸とY軸とで定義される直交座標を表している。また、X軸は第１の画像データ内の水平方向の位置を表しており、Y軸は第１の画像データ内の垂直方向の位置を表している。
【０５０３】
さらに、図３４に示すXY座標では、Y軸の負方向に対して、Y軸が区間０から区間６までの７つの区間に区分されており、区間０ないし区間６には、それぞれ対応する位相クラスコードが対応付けられている。
【０５０４】
なお、図３４に示すXY座標では、Y軸の正方向に対しても同様に、Y軸が複数の区間に区分されているが、図面が煩雑になるのを避けるために、図示は省略している。
【０５０５】
位相クラス決定部３３５は、傾き位相算出部３３３からの切片bが含まれる区間に対応する位相クラスコードを、注目画素の位相クラスに対応する位相クラスコードとして、方向クラス決定部３３６に供給する。
【０５０６】
なお、方向クラス決定部３３６は、傾きクラス決定部３３４からの傾きクラスコードと、位相クラス決定部３３５からの位相クラスコードとの組み合わせを、注目画素の方向クラスに対応する方向クラスコードとして、係数ROM６７に供給する。
【０５０７】
次に、図３５のフローチャートを参照して、図３１に示された画像処理装置３１（第２の構成例）が行う画像変換処理の詳細を説明する。
【０５０８】
ステップＳ３０１ないしステップＳ３０６では、図１８のステップＳ３１ないしステップＳ３６それぞれと同様の処理が行われる。
【０５０９】
ステップＳ３０７において、方向クラス分類部３０１は、外部からの第１の画像データ、及びマッチング位置取得部６５からのマッチング位置に基づいて、注目画素を、複数の方向クラスのうち、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域に対応する方向クラスに分類する方向クラス分類処理を行う。
【０５１０】
方向クラス分類部３０１は、方向クラス分類処理により得られた注目画素の方向クラスに対応する方向クラスコードを、係数ROM６７に供給する。
【０５１１】
なお、ステップＳ３０７において、方向クラス分類部３０１は、マッチング位置取得部６５から、定常性なし情報又はマッチング位置なし情報が供給された場合、予め設定された所定（デフォルト）の方向クラスコードを、係数ROM６７に供給する。
【０５１２】
ステップＳ３０７の終了後、処理は、ステップＳ３０８に進められる。ステップＳ３０８ないしステップＳ３１０では、図１８のステップＳ３８ないしステップＳ４０と同様の処理が行われる。
【０５１３】
次に、図３６のフローチャートを参照して、図３５のステップＳ３０７における方向クラス分類処理の詳細を説明する。
【０５１４】
ステップＳ３４１において、段階的エッジ画像生成部３３１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０５１５】
また、段階的エッジ画像生成部３３１は、エッジ検出処理により得られた値を、段階的な複数の閾値を用いて、エッジ強度を表す値に変換することにより、第１の画像データから段階的エッジ画像を生成する。
【０５１６】
段階的エッジ画像生成部３３１は、第１の画像データから生成された段階的エッジ画像を、座標抽出部３３２に供給する。
【０５１７】
ステップＳ３４２において、座標抽出部３３２は、図３３に示したように、段階的エッジ画像生成部３３１からの段階的エッジ画像内の基準ブロックを構成するエッジ強度zと、そのエッジ強度zの位置(x,y)を、基準ブロック３４１のサンプル(x,y,z)として、傾き位相算出部３３３に供給する。
【０５１８】
また、座標抽出部３３２は、図３３に示したように、段階的エッジ画像生成部３３１からの段階的エッジ画像内の、マッチング位置取得部６５からのマッチング位置に存在するマッチングブロックを構成するエッジ強度zと、そのエッジ強度zの位置(x,y)を、マッチングブロック３４２のサンプル(x,y,z)として、傾き位相算出部３３３に供給する。
【０５１９】
ステップＳ３４３において、傾き位相算出部３３３は、座標抽出部３３２からのサンプル(x,y,z)を用いた最小自乗法によって、直線式y=ax+bを算出し、直線式y=ax+bの傾きaを傾きクラス決定部３３４に、直線式y=ax+bの切片bを位相クラス決定部３３５に供給する。
【０５２０】
ステップＳ３４４ないしステップＳ３４８において、傾きクラス決定部３３４は、傾き位相算出部３３３からの傾きaに対して、図２２のステップＳ１６２ないしステップＳ１６６において傾きクラス決定部１５１が行う処理と同様の処理を行う。
【０５２１】
ステップＳ３４９において、位相クラス決定部３３５は、傾き位相算出部３３３からの切片bの絶対値|b|が１以上であるか否かを判定する。
【０５２２】
ステップＳ３４９において、切片bの絶対値|b|が１未満であると判定された場合、処理は、ステップＳ３５０に進められ、位相クラス決定部３３５は、切片bの絶対値|b|が１となるように、切片bを符号が維持された形で変更する。すなわち、例えば、切片bが-0.5である場合、切片bは、-0.5から-１に変更され、切片bが0.5である場合、切片bは、0.5から１に変更される。
【０５２３】
一方、ステップＳ３４９において、傾きbの絶対値|b|が１以上であると判定された場合、処理は、ステップＳ３５０をスキップして、ステップＳ３５１に進められる。
【０５２４】
ステップＳ３５１において、位相クラス決定部３３５は、図３４に示されたように、ステップＳ３４９及びステップＳ３５０による処理後の切片bが、Y軸を分割した複数の区間のうちのいずれかに含まれるかを判定し、切片bが含まれる区間に対応する値を、注目画素の位相クラスに対応する位相クラスコードとして、方向クラス決定部３３６に供給する。
【０５２５】
ステップＳ３５２において、方向クラス決定部３３６は、傾きクラス決定部３３４からの傾きクラスコードと、位相クラス決定部３３５からの位相クラスコードとの組み合わせを、注目画素の方向クラスに対応する方向クラスコードとして、係数ROM６７に供給する。
【０５２６】
以上のように、図３６の方向クラス分類処理が行われた後、処理は、図３５のステップＳ３０７にリターンされる。
【０５２７】
以上のように、図３５の画像変換処理では、方向クラス分類部３０１により、基準ブロックやマッチングブロックのサンプル(x,y,z)を用いた最小自乗法によって、直線式y=ax+bを算出し、直線式y=ax+bの傾きaに基づいて、注目画素の傾きクラスに対応する傾きクラスコードを決定する。
【０５２８】
従って、例えば、サンプル(x,y,z)の個数よりも少ない１又は２のマッチング位置から算出した傾きaに基づいて傾きクラスコードを決定する図１８の画像変換処理と比較して、より適切な傾きクラスコードを決定することができ、より高画質の画像を予測することができる。
【０５２９】
次に、図３７は、図３１の係数ROM６７に記憶される予測係数を求める学習を行う学習装置の構成例を示している。
【０５３０】
なお、図中、図２３の学習装置１８１に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０５３１】
すなわち、図３７の学習装置３５０は、方向クラス分類部２１７に代えて、方向クラス分類部３５１が設けられている他は、図２３の学習装置１８１と同様に構成される。
【０５３２】
方向クラス分類部３５１には、サブサンプリング部２１１から、生徒画像が供給されるとともに、マッチング位置取得部２１６から、マッチング位置が供給される。
【０５３３】
方向クラス分類部３５１は、サブサンプリング部２１１からの生徒画像、及びマッチング位置取得部２１６からのマッチング位置に基づいて、図３１の方向クラス分類部３０１と同一の方向クラス分類処理を行い、その結果得られた注目画素の方向クラスに対応する方向クラスコードを、足し込み部２１８に供給する。
【０５３４】
また、方向クラス分類部３５１は、マッチング位置取得部２１６から、定常性なし情報、又はマッチング位置なし情報が供給された場合、所定の方向クラスコードを、注目画素の方向クラスに対応する方向クラスコードとして、足し込み部２１８に供給する。
【０５３５】
次に、図３８のフローチャートを参照して、図３７の学習装置３５０が行う学習処理の詳細について説明する。
【０５３６】
ステップＳ３８１ないしステップＳ３８７では、図２４のステップＳ１９１ないしステップＳ１９７それぞれと同様の処理が行われる。
【０５３７】
ステップＳ３８８において、方向クラス分類部３５１は、サブサンプリング部２１１からの生徒画像、及びマッチング位置取得部２１６からのマッチング位置に基づいて、図３１の方向クラス分類部３０１と同一の方向クラス分類処理を行い、その結果得られた注目画素の波形クラスに対応する波形クラスコードを、足し込み部２１８に供給する。
【０５３８】
また、方向クラス分類部３５１は、マッチング位置取得部２１６から、定常性なし情報又はマッチング位置なし情報が供給された場合、予め設定された所定の方向クラスコードを、足し込み部２１８に供給する。
【０５３９】
ステップＳ３８９ないしステップＳ３９２では、図２４のステップＳ１９９ないしステップＳ２０２それぞれと同様の処理が行われる。
【０５４０】
以上のように、図３８の学習処理では、方向クラス分類部３５１により、基準ブロックやマッチングブロックのサンプル(x,y,z)を用いた最小自乗法によって、直線式y=ax+bを算出し、直線式y=ax+bの傾きaに基づいて、注目画素の傾きクラスに対応する傾きクラスコードを決定する。
【０５４１】
従って、例えば、サンプル(x,y,z)の個数よりも少ない１又は２のマッチング位置から算出した傾きaに基づいて傾きクラスコードを決定する図２４の学習処理と比較して、より適切な傾きクラスコードを決定することができ、より高画質の画像を予測する予測係数を学習することができる。
【０５４２】
図３９は、図３の画像処理装置３１の第３の構成例を示している。
【０５４３】
なお、図中、図３１の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０５４４】
すなわち、図３９の画像処理装置３１は、定常判定部６４及びマッチング位置取得部６５に代えて、定常判定部３６１及びマッチング位置取得部３６２が設けられている他は、図３１の場合と同様に構成される。
【０５４５】
定常判定部３６１には、外部から第１の画像データが供給される。定常判定部３６１は、外部からの第１の画像データに基づいて、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域が、定常的に連続して存在する方向を表す定常方向を判定する定常方向判定処理を行う。
【０５４６】
定常判定部３６１は、定常方向判定処理により得られた定常方向を、マッチング位置取得部３６２に供給する。
【０５４７】
また、定常判定部３６１は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部３６２を介して方向クラス分類部３０１に供給する。
【０５４８】
マッチング位置取得部３６２は、外部からの第１の画像データ、及び定常判定部３６１からの定常方向に基づいて、マッチング位置を取得するマッチング位置取得処理を行う。
【０５４９】
マッチング位置取得部３６２は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部３０１に供給する。
【０５５０】
また、マッチング位置取得部３６２は、マッチング位置取得処理により、マッチング位置が取得できなかった場合、マッチング位置なし情報を、方向クラス分類部３０１に供給する。
【０５５１】
図４０は、図３９の定常判定部３６１の構成例を示している。
【０５５２】
定常判定部３６１は、２値エッジ画像生成部３９１、及びエッジ距離検出部３９２により構成される。
【０５５３】
２値エッジ画像生成部３９１には、外部から第１の画像データが供給される。２値エッジ画像生成部３９１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０５５４】
また、２値エッジ画像生成部３９１は、エッジ検出処理により得られた値を、所定の閾値を用いて、エッジを含むエッジ領域と、それ以外の領域である非エッジ領域（を表す値）に変換することにより、第１の画像データから２値エッジ画像を生成する。
【０５５５】
なお、以下、エッジ領域に含まれる画素をエッジ画素というとともに、非エッジ領域に含まれる画素を非エッジ画素という。
【０５５６】
２値エッジ画像生成部３９１は、第１の画像データから生成した２値エッジ画像を、エッジ距離検出部３９２に供給する。
【０５５７】
エッジ距離検出部３９２は、２値エッジ画像生成部３９１からの２値エッジ画像に基づいて、水平方向、垂直方向、右斜め上方向、及び左斜め上方向の各方向について、対応画素の周辺で連続して並ぶ複数のエッジ画素の個数を表すエッジ距離を検出する。
【０５５８】
エッジ距離検出部３９２は、２値エッジ画像から検出したエッジ距離に基づいて、定常方向を検出した場合、その定常方向を、マッチング位置取得部３６２に供給する。
【０５５９】
なお、エッジ距離検出部３９２は、２値エッジ画像から検出したエッジ距離に基づいて、定常方向を検出しなかった場合、定常方向は存在しないことを表す定常性なし情報を生成し、マッチング位置取得部３６２を介して方向クラス分類部３０１に供給する。
【０５６０】
次に、図４１及び図４２は、エッジ距離検出部３９２が行う、定常方向を検出する検出処理を説明する図である。
【０５６１】
なお、図４１において、対応画素１３１がエッジ画素である場合に、エッジ距離検出部３９２が行う、定常方向を検出する検出処理を説明し、図４２において、対応画素がエッジ画素でない場合に、エッジ距離検出部３９２が行う、定常方向を検出する検出処理を説明する。
【０５６２】
図４１を参照して、対応画素１３１がエッジ画素である場合に、エッジ距離検出部３９２が行う、定常方向を検出する検出処理を説明する。
【０５６３】
図４１に示す横×縦が７×７個の合計４９個の丸は、第１の画像データのうち、対応画素１３１を中心とする横×縦が７×７画素の合計４９画素を示している。また、図４１において、黒丸はエッジ画素を示しており、白丸は、非エッジ画素を示している。このことは、図４２においても同様である。
【０５６４】
図４１において、エッジ画素である対応画素１３１を、エッジ距離を算出するための基準画素とした場合、基準画素を含むエッジ距離として、水平方向のエッジ距離は４であり、垂直方向のエッジ距離は６である。また、右斜め上方向のエッジ距離は０であり、左斜め上方向のエッジ距離は２である。
【０５６５】
エッジ距離検出部３９２は、対応画素１３１がエッジ画素である場合、対応画素１３１を基準画素とする。
【０５６６】
エッジ距離検出部３９２は、水平方向のエッジ距離と、垂直方向のエッジ距離とが等しくない場合に、大きいほうのエッジ距離に対応する方向を、定常方向として、マッチング位置取得部３６２に供給する。
【０５６７】
すなわち、例えば、エッジ距離検出部３９２は、図４１に示す場合、垂直方向のエッジ距離が６であり、水平方向のエッジ距離が４であるため、大きいほうのエッジ距離に対応する垂直方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５６８】
また、エッジ距離検出部３９２は、水平方向のエッジ距離と、垂直方向のエッジ距離とが等しい場合には、右斜め上方向のエッジ距離、及び左斜め上方向のエッジ距離のうち、大きいほうのエッジ距離に対応する方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５６９】
なお、エッジ距離検出部３９２は、右斜め上方向のエッジ距離と、左斜め上方向のエッジ距離とが等しいときには、定常方向は存在しないことを表す定常性なし情報を生成し、マッチング位置取得部３６２を介して方向クラス分類部３０１に供給する。
【０５７０】
次に、図４２を参照して、対応画素１３１がエッジ画素でない場合に、エッジ距離検出部３９２が行う、定常方向を検出する検出処理を説明する。
【０５７１】
エッジ距離検出部３９２は、対応画素１３１がエッジ画素でない場合、対応画素１３１に隣接する８画素のうちの所定のエッジ画素を、基準画素として、図４１で説明した検出処理を行う。
【０５７２】
すなわち、例えば、エッジ距離検出部３９２は、図４２に示す場合、対応画素１３１の左に隣接する画素４０１を、基準画素として、図４１で説明した検出処理を行う。
【０５７３】
画素４０１を基準画素としたとき、画素４０１である基準画素を含むエッジ距離として、水平方向のエッジ距離は１であり、垂直方向のエッジ距離は４である。また、右斜め上方向のエッジ距離は２であり、左斜め上方向のエッジ距離は２である。
【０５７４】
画素４０１を基準画素としたとき、垂直方向のエッジ距離が４であり、水平方向のエッジ距離が１であるため、エッジ距離検出部３９２は、大きいほうのエッジ距離に対応する垂直方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５７５】
また、対応画素１３１の左上に隣接する画素４０２を基準画素としたとき、画素４０２である基準画素を含むエッジ距離として、水平方向のエッジ距離は２であり、垂直方向のエッジ距離は４である。また、右斜め上方向のエッジ距離は２であり、左斜め上方向のエッジ距離は１である。
【０５７６】
画素４０２を基準画素としたとき、垂直方向のエッジ距離が４であり、水平方向のエッジ距離が２であるため、エッジ距離検出部３９２は、大きいほうのエッジ距離に対応する垂直方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５７７】
さらに、対応画素１３１の上に隣接する画素４０３を基準画素としたとき、画素４０３である基準画素を含むエッジ距離として、水平方向のエッジ距離は２であり、垂直方向のエッジ距離は３である。また、右斜め上方向のエッジ距離は２であり、左斜め上方向のエッジ距離は３である。
【０５７８】
画素４０３を基準画素としたとき、垂直方向のエッジ距離が３であり、水平方向のエッジ距離が２であるため、エッジ距離検出部３９２は、大きいほうのエッジ距離に対応する垂直方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５７９】
また、対応画素１３１の右に隣接する画素４０４を基準画素としたとき、画素４０４である基準画素を含むエッジ距離として、水平方向のエッジ距離は２であり、垂直方向のエッジ距離は１である。また、右斜め上方向のエッジ距離は３であり、左斜め上方向のエッジ距離は３である。
【０５８０】
画素４０４を基準画素としたとき、垂直方向のエッジ距離が１であり、水平方向のエッジ距離が２であるため、エッジ距離検出部３９２は、大きいほうのエッジ距離に対応する水平方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５８１】
また、対応画素１３１の下に隣接する画素４０５を基準画素としたとき、画素４０５である基準画素を含むエッジ距離として、水平方向のエッジ距離は１であり、垂直方向のエッジ距離は２である。また、右斜め上方向のエッジ距離は３であり、左斜め上方向のエッジ距離は２である。
【０５８２】
画素４０５を基準画素としたとき、垂直方向のエッジ距離が２であり、水平方向のエッジ距離が１であるため、エッジ距離検出部３９２は、大きいほうのエッジ距離に対応する垂直方向を定常方向として、マッチング位置取得部３６２に供給する。
【０５８３】
なお、エッジ距離検出部３９２は、対応画素１３１がエッジ画素でない場合であって、対応画素１３１に隣接する８画素のいずれもエッジ画素でない場合、定常方向は存在しないことを表す定常性なし情報を生成し、マッチング位置取得部３６２を介して方向クラス分類部３０１に供給する。
【０５８４】
ところで、エッジ距離検出部３９２は、対応画素１３１がエッジ画素でない場合、対応画素１３１に隣接する８画素のうちの所定のエッジ画素を、基準画素として、図４１で説明した検出処理を行うこととしたが、これに限定されない。
【０５８５】
すなわち、例えば、エッジ距離検出部３９２は、対応画素１３１がエッジ画素でない場合、対応画素１３１に隣接する８画素のうち、エッジ画素４０１ないし４０５それぞれを基準画素として定常方向を検出し、最も多く検出された定常方向を、マッチング位置取得部３６２に供給するようにしてもよい。
【０５８６】
また、例えば、エッジ距離検出部３９２は、対応画素１３１がエッジ画素でない場合、対応画素１３１に隣接する８画素のうち、エッジ画素４０１ないし４０５それぞれを基準画素として検出されたエッジ距離のうち、最大のエッジ距離に対応する方向を、定常方向として、マッチング位置取得部３６２に供給することが可能である。
【０５８７】
図４３は、図３９のマッチング位置取得部３６２の詳細な構成例を示している。
【０５８８】
図３９のマッチング位置取得部３６２は、段階的エッジ画像生成部４２１、ブロック差分算出部４２２、検索方向決定部４２３、２値エッジ画像生成部４２４、不一致数カウント部４２５、及びマッチング位置検索部４２６により構成される。
【０５８９】
段階的エッジ画像生成部４２１には、外部から、第１の画像データが供給される。段階的エッジ画像生成部４２１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０５９０】
また、段階的エッジ画像生成部４２１は、エッジ検出処理により得られた値を、段階的な複数の閾値を用いて、エッジ強度を表す値に変換することにより、第１の画像データから段階的エッジ画像を生成する。
【０５９１】
段階的エッジ画像生成部４２１は、第１の画像データから生成された段階的エッジ画像を、ブロック差分算出部４２２に供給する。
【０５９２】
ブロック差分算出部４２２は、定常判定部３６１からの定常方向が、右斜め方向、又は左斜め方向のうちのいずれか一方であるか否かを判定する。
【０５９３】
ブロック差分算出部４２２は、定常方向が、右斜め方向、又は左斜め方向のうちのいずれでもないと判定した場合、すなわち、定常方向が、水平方向、又は垂直方向のうちのいずれか一方であると判定した場合、図８のブロック差分算出部１２２と同様の処理を行う。これにより、ブロック差分算出部４２２は、ブロック差分総和のグラフを生成し、検索方向決定部４２３に供給する。
【０５９４】
また、ブロック差分算出部４２２は、定常方向が、右斜め方向、又は左斜め方向のうちのいずれか一方であると判定した場合、定常判定部３６１からの定常方向を、検索方向決定部４２３に供給する。
【０５９５】
検索方向決定部４２３は、ブロック差分算出部４２２から、ブロック差分総和のグラフが供給された場合、図８の検索方向決定部１２３と同様の処理を行う。これにより、検索方向決定部４２３は、ブロック差分総和のグラフから検索方向を決定し、マッチング位置検索部４２６に供給する。
【０５９６】
また、検索方向決定部４２３は、ブロック差分算出部４２２から、右斜め上方向、又は左斜め上方向の定常方向が供給された場合、その定常方向に基づいて、水平方向及び垂直方向を、検索方向に決定し、マッチング位置検索部４２６に供給する。
【０５９７】
なお、検索方向決定部４２３が、右斜め上方向、又は左斜め上方向の定常方向に基づいて、水平方向及び垂直方向を、検索方向に決定する決定処理の詳細は、図４４を参照して後述する。
【０５９８】
２値エッジ画像生成部４２４には、外部から、第１の画像データが供給される。２値エッジ画像生成部４２４は、図４０の２値エッジ画像生成部３９１と同様の処理を行うことにより、外部からの第１の画像データから２値エッジ画像を生成する。
【０５９９】
２値エッジ画像生成部４２４は、第１の画像データから生成した２値エッジ画像を、不一致数カウント部４２５に供給する。
【０６００】
不一致数カウント部４２５は、定常判定部３６１からの定常方向、及び２値エッジ画像生成部４２４からの２値エッジ画像に基づいて、図８のブロック差分算出部１２２がブロック差分総和を算出する処理と同様の処理を行う。
【０６０１】
すなわち、例えば、不一致数カウント部４２５は、定常判定部３６１からの定常方向が、水平方向又は垂直方向である場合、定常判定部３６１からの定常方向に長い形状のブロックを表す基準ブロックを、２値エッジ画像生成部４２４からの２値エッジ画像から抽出する。
【０６０２】
また、不一致数カウント部４２５は、定常判定部３６１からの定常方向に基づいて、その定常方向に長い所定の範囲であって、かつ、基準ブロックと最も類似するブロックが存在するマッチング位置を検索する範囲を表すマッチング範囲を決定する。
【０６０３】
さらに、不一致数カウント部４２５は、定常方向に基づいて決定したマッチング範囲内に存在する画素をそれぞれ中心とする、基準ブロックと同一ブロックサイズの複数のブロックを、２値エッジ画像生成部４２４からの２値エッジ画像から抽出する。
【０６０４】
また、不一致数カウント部４２５は、２値エッジ画像から抽出した複数のブロック毎に、基準ブロックとの対応する位置に存在する画素どうしが一致しない個数（以下、不一致数ともいう）を算出する。なお、不一致数カウント部４２５が不一致数を算出する算出処理の詳細は、図４５を参照して後述する。
【０６０５】
不一致数カウント部４２５は、複数のブロック毎に算出された不一致数のグラフを生成し、マッチング位置検索部４２６に供給する。
【０６０６】
なお、不一致数のグラフは、例えば、不一致数を縦軸とし、マッチング範囲内に存在する複数の画素それぞれの位置を横軸とする座標軸により表される。
【０６０７】
さらに、不一致数カウント部４２５は、定常判定部３６１からの定常方向が、右斜め上方向、又は左斜め上方向である場合、水平方向及び垂直方向の各方向について、不一致数のグラフを生成し、マッチング位置検索部４２６に供給する。
【０６０８】
マッチング位置検索部４２６は、図８のマッチング位置検索部１２４と同様にして、検索方向決定部４２３からの検索方向に基づいて、ブロック差分総和のグラフの代わりに、不一致数カウント部４２５からの不一致数のグラフを用いて、マッチング位置を検索するマッチング位置検索処理を行う。
【０６０９】
次に、図４４を参照して、検索方向決定部４２３が、右斜め上方向、又は左斜め上方向の定常方向に基づいて、水平方向及び垂直方向を、検索方向に決定する決定処理の詳細を説明する。
【０６１０】
図４４Ａには、定常方向が左斜め上方向である場合の第１の画像データを構成する、対応画素１３１を中心とする横×縦が５×５画素の合計２５画素が示されている。
【０６１１】
図４４Ｂには、図４４Ａに示すように、定常方向が左斜め上方向である場合の検索方向が示されている。
【０６１２】
例えば、検索方向決定部４２３は、定常判定部３６１からブロック差分算出部４２２を介して、図４４Ａに示すような左斜め上方向が供給された場合、その左斜め上方向に基づいて、検索方向を決定する。
【０６１３】
すなわち、図４４Ｂに示すように、検索方向決定部４２３は、上側ブロック差分総和のグラフに対する検索方向として、負方向を決定するとともに、下側ブロック差分総和のグラフに対する検索方向として、正方向を決定する。
【０６１４】
また、検索方向決定部４２３は、右側ブロック差分総和のグラフに対する検索方向として、負方向を決定するとともに、左側ブロック差分総和のグラフに対する検索方向として、正方向を決定する。
【０６１５】
次に、図４５を参照して、定常判定部３６１から不一致数カウント部４２５への定常方向が、垂直方向である場合に、不一致数カウント部４２５が不一致数を算出する算出処理の詳細を説明する。
【０６１６】
図４５左側には、２値エッジ画像生成部４２４から不一致数カウント部４２５に供給される２値エッジ画像を構成する画素の一部が示されている。なお、図４５左側において、黒色の正方形はエッジ画素を示しており、白色の正方形は非エッジ画素を示している。
【０６１７】
図４５右側において、黒色の正方形は、図４５左側に示す基準ブロックと左側ブロックとの対応する位置に存在する画素どうしを比較した場合に、画素どうしが一致する位置を示しており、複数の点を囲む正方形は、画素どうしが一致しない位置を示している。
【０６１８】
図４５左側に示す基準ブロックと左側ブロックにおいて、画素どうしが一致する個数を表す一致数は１２個であり、画素どうしが一致しない個数を表す不一致数は３個である。
【０６１９】
なお、図４５では、基準ブロックと左側ブロックとの不一致数を算出する算出処理を説明する。
【０６２０】
不一致数カウント部４２５は、２値エッジ画像から抽出した複数の左側ブロック毎に、基準ブロックとの対応する位置に存在する画素どうしの不一致数を算出する。
【０６２１】
すなわち、例えば、図４５に示すように、基準ブロックと、２値エッジ画像から抽出した左側ブロックとの対応する位置に存在する画素どうしの不一致数は３である。この場合、不一致数カウント部４２５は、不一致数として３を算出する。
【０６２２】
不一致数カウント部４２５は、複数の左側ブロック毎に算出された不一致数のグラフを生成し、マッチング位置検索部４２６に供給する。
【０６２３】
なお、不一致数のグラフは、例えば、不一致数を縦軸とし、左側マッチング範囲内に存在する複数の画素それぞれの位置(x,y)のうちのY方向の位置yを横軸とする座標軸により表される。
【０６２４】
次に、図４６のフローチャートを参照して、図３９に示された画像処理装置３１（第３の構成例）が行う画像変換処理の詳細を説明する。
【０６２５】
ステップＳ４２１ないしステップＳ４２４では、図３５のステップＳ３０１ないしステップＳ３０４それぞれと同様の処理が行われる。
【０６２６】
ステップＳ４２５において、定常判定部３６１は、外部からの第１の画像データに基づいて、注目画素の位置に相当する第１の画像データの位置の周辺に存在する連続領域が、定常的に連続して存在する方向を表す定常方向を判定し、マッチング位置取得部３６２に供給する。
【０６２７】
また、定常判定部３６１は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部３６２を介して方向クラス分類部３０１に供給する。
【０６２８】
ステップＳ４２６において、マッチング位置取得部３６２は、外部からの第１の画像データ、及び定常判定部３６１からの定常方向に基づいて、マッチング位置を取得する取得処理を行う。
【０６２９】
マッチング位置取得部３６２は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部３０１に供給する。
【０６３０】
また、マッチング位置取得部３６２は、マッチング位置取得処理により、マッチング位置が取得できなかった場合、マッチング位置なし情報を、方向クラス分類部３０１に供給する。
【０６３１】
ステップＳ４２６の処理の終了後、処理は、ステップＳ４２７に進められる。ステップＳ４２７ないしステップＳ４３０では、図３５のステップＳ３０７ないしステップＳ３１０それぞれと同様の処理が行われる。
【０６３２】
次に、図４７のフローチャートを参照して、図４６のステップＳ４２５における定常方向判定処理の詳細を説明する。
【０６３３】
ステップＳ４６１において、定常判定部３６１の２値エッジ画像生成部３９１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０６３４】
また、２値エッジ画像生成部３９１は、エッジ検出処理により得られた値を、所定の閾値を用いて、エッジを含むエッジ領域と、それ以外の領域である非エッジ領域（を表す値）に変換することにより、第１の画像データから２値エッジ画像を生成する。
【０６３５】
２値エッジ画像生成部３９１は、第１の画像データから生成した２値エッジ画像を、エッジ距離検出部３９２に供給する。
【０６３６】
ステップＳ４６２において、エッジ距離検出部３９２は、２値エッジ画像生成部３９１からの２値エッジ画像内の対応画素が、エッジ画素であるか否かを判定する。
【０６３７】
ステップＳ４６２において、２値エッジ画像内の対応画素が、エッジ画素であると判定された場合、処理は、ステップＳ４６３に進められ、エッジ距離検出部３９２は、エッジ画素である対応画素を基準画素として、基準画素を含んだ、水平方向に連続して並ぶ複数のエッジ画素の個数（水平方向のエッジ距離）を検出する。
【０６３８】
また、ステップＳ４６３において、エッジ距離検出部３９２は、基準画素を含んだ、垂直方向に連続して並ぶ複数のエッジ画素の個数（垂直方向のエッジ距離）を検出する。
【０６３９】
ステップＳ４６４において、エッジ距離検出部３９２は、ステップＳ４６３でそれぞれ検出した水平方向のエッジ距離と、垂直方向のエッジ距離とが等しいか否かを判定する。
【０６４０】
ステップＳ４６４において、水平方向のエッジ距離と、垂直方向のエッジ距離とが等しくないと判定された場合、すなわち、水平方向のエッジ距離が、垂直方向のエッジ距離よりも大きいか、又は小さいと判定された場合、処理は、ステップＳ４６５に進められる。
【０６４１】
ステップＳ４６５において、エッジ距離検出部３９２は、水平方向及び垂直方向のうち、エッジ距離が大きい方向を、定常方向として検出し、処理は、図４６のステップＳ４２５にリターンされる。
【０６４２】
一方、ステップＳ４６４において、水平方向のエッジ距離と、垂直方向のエッジ距離とが等しいと判定された場合、処理は、ステップＳ４６６に進められる。
【０６４３】
ステップＳ４６６において、エッジ距離検出部３９２は、基準画素を含んだ、右斜め上方向に連続して並ぶ複数のエッジ画素の個数（右斜め上方向のエッジ距離）を検出する。
【０６４４】
また、ステップＳ４６６において、エッジ距離検出部３９２は、基準画素として、基準画素を含んだ、左斜め上方向に連続して並ぶ複数のエッジ画素の個数（左斜め上方向のエッジ距離）を検出する。
【０６４５】
ステップＳ４６７において、エッジ距離検出部３９２は、ステップＳ４６６でそれぞれ検出した右斜め上方向のエッジ距離と、左斜め上方向のエッジ距離とが等しいか否かを判定する。
【０６４６】
ステップＳ４６７において、右斜め上方向のエッジ距離と、左斜め上方向のエッジ距離とが等しくないと判定された場合、すなわち、右斜め上方向のエッジ距離が、左斜め上方向のエッジ距離よりも大きいか、又は小さいと判定された場合、処理は、ステップＳ４６８に進められる。
【０６４７】
ステップＳ４６８において、エッジ距離検出部３９２は、右斜め上方向及び左斜め上方向のうち、エッジ距離が大きい方向を、定常方向として検出し、処理は、図４６のステップＳ４２５にリターンされる。
【０６４８】
一方、ステップＳ４６７において、右斜め上方向のエッジ距離と、左斜め上方向のエッジ距離とが等しいと判定された場合、処理は、ステップＳ４６９に進められる。
【０６４９】
ステップＳ４６９において、エッジ距離検出部３９２は、定常方向は存在しないことを表す定常性なし情報を生成し、処理は、図４６のステップＳ４２５にリターンされる。
【０６５０】
ところで、ステップＳ４６２において、２値エッジ画像内の対応画素が、エッジ画素でない（非エッジ画素である）と判定された場合、処理は、ステップＳ４７０に進められ、エッジ距離検出部３９２は、対応画素に隣接する８画素のうちの少なくとも１個の画素が、エッジ画素であるか否かを判定する。
【０６５１】
ステップＳ４７０において、対応画素に隣接する８画素のうちのいずれの画素も、エッジ画素でないと判定された場合、処理は、ステップＳ４６９に進められる。
【０６５２】
一方、ステップＳ４７０において、対応画素に隣接する８画素のうちの少なくとも１個の画素が、エッジ画素であると判定された場合、処理は、ステップＳ４６３に進められ、エッジ距離検出部３９２は、対応画素に隣接するエッジ画素のうちの所定のエッジ画素を基準画素として、ステップＳ４６３ないしステップＳ４６９による処理を行う。
【０６５３】
次に、図４８のフローチャートを参照して、図４６のステップＳ４２６におけるマッチング位置取得処理の詳細を説明する。
【０６５４】
ステップＳ５０１において、段階的エッジ画像生成部４２１は、外部からの第１の画像データに対して、エッジ検出フィルタによるフィルタリングを行うエッジ検出処理を行う。
【０６５５】
また、段階的エッジ画像生成部４２１は、エッジ検出処理により得られた値を、段階的な複数の閾値を用いて、エッジ強度を表す値に変換することにより、第１の画像データから段階的エッジ画像を生成する。
【０６５６】
段階的エッジ画像生成部４２１は、第１の画像データから生成された段階的エッジ画像を、ブロック差分算出部４２２に供給する。
【０６５７】
ステップＳ５０２において、ブロック差分算出部４２２は、定常判定部３６１からの定常方向が、右斜め方向、又は左斜め方向のうちのいずれか一方であるか否かを判定する。
【０６５８】
ステップＳ５０２において、定常方向が、右斜め方向、又は左斜め方向のうちのいずれでもないと判定された場合、すなわち、定常方向が、水平方向、又は垂直方向のうちのいずれか一方であると判定された場合、処理は、ステップＳ５０３に進められる。
【０６５９】
ステップＳ５０３及びステップＳ５０４において、ブロック差分算出部４２２は、図２０のステップＳ１０２及びステップＳ１０３と同様の処理を行い、ステップS５０５において、検索方向決定部４２３は、図２０のステップＳ１０４と同様の処理を行う。
【０６６０】
一方、ステップＳ５０２において、定常方向が、右斜め方向、又は左斜め方向のうちのいずれか一方であると判定された場合、ブロック差分算出部４２２は、定常判定部３６１からの定常方向を、検索方向決定部４２３に供給し、処理は、ステップＳ５０６に進められる。
【０６６１】
ステップＳ５０６において、検索方向決定部４２３は、ブロック差分算出部４２２からの定常方向に基づいて、図４４に示したように、水平方向及び垂直方向を、検索方向に決定し、マッチング位置検索部４２６に供給する。
【０６６２】
ステップＳ５０７において、２値エッジ画像生成部４２４は、図４０の２値エッジ画像生成部３９１と同様の処理を行うことにより、外部からの第１の画像データから２値エッジ画像を生成する。
【０６６３】
２値エッジ画像生成部４２４は、第１の画像データから生成した２値エッジ画像を、不一致数カウント部４２５に供給する。
【０６６４】
ステップＳ５０８において、不一致数カウント部４２５は、定常判定部３６１からの定常方向、及び２値エッジ画像生成部４２４からの２値エッジ画像に基づいて、図８のブロック差分算出部１２２がブロック差分総和を算出する処理と同様の処理を行う。
【０６６５】
すなわち、例えば、不一致数カウント部４２５は、定常判定部３６１からの定常方向が、水平方向又は垂直方向である場合、定常判定部３６１からの定常方向に長い形状のブロックを表す基準ブロックを、２値エッジ画像生成部４２４からの２値エッジ画像から抽出する。
【０６６６】
また、不一致数カウント部４２５は、定常判定部３６１からの定常方向に基づいて、その定常方向に長い所定の範囲であって、かつ、基準ブロックと最も類似するブロックが存在するマッチング位置を検索する範囲を表すマッチング範囲を決定する。
【０６６７】
さらに、不一致数カウント部４２５は、定常方向に基づいて決定したマッチング範囲内に存在する複数の画素をそれぞれ中心とする、基準ブロックと同一ブロックサイズの複数のブロックを、２値エッジ画像生成部４２４からの２値エッジ画像から抽出する。
【０６６８】
また、不一致数カウント部４２５は、２値エッジ画像から抽出した複数のブロック毎に、基準ブロックとの対応する位置に存在する画素どうしが一致しない個数（不一致数）を算出する。
【０６６９】
不一致数カウント部４２５は、複数のブロック毎に算出された不一致数のグラフを生成し、マッチング位置検索部４２６に供給する。
【０６７０】
さらに、不一致数カウント部４２５は、定常判定部３６１からの定常方向が、右斜め上方向、又は左斜め上方向である場合、水平方向及び垂直方向の各方向について、不一致数のグラフを生成し、マッチング位置検索部４２６に供給する。
【０６７１】
ステップＳ５０９では、マッチング位置検索部４２６は、検索方向決定部４２３からの検索方向に基づいて、ブロック差分総和のグラフの変わりに、不一致数カウント部４２５からの不一致数のグラフを用いて、マッチング位置を検索するマッチング位置検索処理を行う。
【０６７２】
以上のように、図４８のマッチング位置取得処理が行われた後、処理は、図４６のステップＳ４２６にリターンされる。
【０６７３】
図４６の画像変換処理では、定常判定部３６１により、水平方向及び垂直方向の他、右斜め上方向及び左斜め上方向についても定常方向として判定する。
【０６７４】
従って、水平方向又は垂直方向を定常方向として判定する図１８又は図３５の画像変換処理と比較して、より正確な定常方向を判定することができるため、定常方向に基づいて取得されるマッチング位置の取得精度を高くすることができる。よって、図４６の画像変換処理では、高い取得精度により取得されたマッチング位置に基づいて、注目画素の方向クラスに対応する方向クラスコードを決定することができ、より高画質の画像を予測することができる。
【０６７５】
次に、図４９は、図３９の係数ROM６７に記憶される予測係数を求める学習を行う学習装置の構成例を示している。
【０６７６】
なお、図中、図３７の学習装置３５０に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
【０６７７】
すなわち、図４９の学習装置４５１は、定常判定部２１５及びマッチング位置取得部２１６に代えて、定常判定部４８１及びマッチング位置取得部４８２が設けられている他は、図３７の学習装置３５０と同様に構成される。
【０６７８】
定常判定部４８１には、サブサンプリング部２１１から、生徒画像（学習用の第１の画像データ）が供給される。定常判定部４８１は、サブサンプリング部２１１からの生徒画像に基づいて、図３９の定常判定部３６１と同一の定常方向判定処理を行う。
【０６７９】
定常判定部４８１は、定常方向判定処理により得られた定常方向を、マッチング位置取得部４８２に供給する。
【０６８０】
また、定常判定部４８１は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部４８２を介して方向クラス分類部３５１に供給する。
【０６８１】
マッチング位置取得部４８２には、サブサンプリング部２１１から、生徒画像が供給される。マッチング位置取得部４８２は、サブサンプリング部２１１からの生徒画像、及び定常判定部４８１からの定常方向に基づいて、図３９のマッチング位置取得部３６２と同一のマッチング位置取得処理を行う。
【０６８２】
マッチング位置取得部４８２は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部３５１に供給する。
【０６８３】
また、マッチング位置取得部４８２は、マッチング位置取得処理により、マッチング位置が取得できなかった場合、マッチング位置なし情報を、方向クラス分類部３５１に供給する。
【０６８４】
次に、図５０のフローチャートを参照して、図４９の学習装置４５１が行う学習処理の詳細を説明する。
【０６８５】
ステップＳ５３１ないしステップＳ５３５では、図３８のステップＳ３８１ないしステップＳ３８５それぞれと同様の処理が行われる。
【０６８６】
ステップＳ５３６において、定常判定部４８１は、サブサンプリング部２１１からの生徒画像に基づいて、図３９の定常判定部３６１と同一の定常方向判定処理を行う。
【０６８７】
定常判定部４８１は、定常方向判定処理により得られた定常方向を、マッチング位置取得部４８２に供給する。
【０６８８】
また、定常判定部４８１は、定常方向判定処理により、定常方向が得られなかった場合、定常性なし情報を、マッチング位置取得部４８２を介して方向クラス分類部３５１に供給する。
【０６８９】
ステップＳ５３７において、マッチング位置取得部４８２は、サブサンプリング部２１１からの生徒画像、及び定常判定部４８１からの定常方向に基づいて、図３９のマッチング位置取得部３６２と同一のマッチング位置取得処理を行う。
【０６９０】
マッチング位置取得部４８２は、マッチング位置取得処理により取得されたマッチング位置を、方向クラス分類部３５１に供給する。
【０６９１】
また、マッチング位置取得部４８２は、マッチング位置取得処理により、マッチング位置が取得できなかった場合、マッチング位置なし情報を、方向クラス分類部３５１に供給する。
【０６９２】
ステップＳ５３８ないしステップＳ５４２では、図３８のステップＳ３８８ないしステップＳ３９２それぞれと同様の処理が行われる。
【０６９３】
図５０の学習処理では、定常判定部４８１により、水平方向及び垂直方向の他、右斜め上方向及び左斜め上方向についても定常方向として判定する。
【０６９４】
従って、水平方向又は垂直方向を定常方向として判定する図２４又は図３８の学習処理と比較して、より正確な定常方向を判定することができるため、定常方向に基づいて取得されるマッチング位置の取得精度を高くすることができる。よって、図５０の学習処理では、高い取得精度により取得されたマッチング位置に基づいて、注目画素の方向クラスに対応する方向クラスコードを決定することができ、より高画質の画像を予測する予測係数を学習することができる。
【０６９５】
次に、図５１は、従来のクラス分類適応処理と、本発明を適用した画像処理装置３１による画像変換処理において、予測タップを構成する複数の画素と乗算される予測係数の違いを示している。
【０６９６】
図５１左下側に示す横×縦が４×４個の合計１６個の丸は、予測タップを構成する複数の画素の一例を示している。また、丸の中に示す数字は、丸が示す画素の画素値を示している。なお、図５１左下側において、三角印（△）が付された画素は、エッジ画素を表している。
【０６９７】
図５１右下側に示す予測タップ番号１ないし１６は、予測タップ番号の位置と同一の位置関係にある、図５１左下側に示す予測タップを構成する画素それぞれに付された番号を示している。
【０６９８】
図５１上側に示すグラフの横軸は、図５１右下側に示す予測タップ番号を示しており、縦軸は、予測タップ番号が付された画素の画素値と乗算される予測係数を示している。なお、予測タップ番号１０の画素は、対応画素を示している。
【０６９９】
従来のクラス分類適応処理において、例えば、予測タップ番号１０の対応画素には、予測係数0.8が乗算されており、対応画素の下に隣接する、予測タップ番号６の画素には、予測係数0.5が乗算されている。
【０７００】
すなわち、従来のクラス分類適応処理では、対応画素や、対応画素に隣接する画素に、値が大きな予測係数が乗算される。従って、予測タップと予測係数との予測演算により予測される注目画素は、予測タップ番号１０の対応画素や、対応画素の下に隣接する、予測タップ番号６の画素に大きく影響される。
【０７０１】
よって、例えば、図５１左下側に示す予測タップにおいて、予測タップ番号１０の対応画素がエッジ画素であって、対応画素が、予測タップ番号６ないし９のエッジ画素と連続して並んでいる場合、予測演算により予測される予測画像において、予測タップ番号６ないし１０のエッジ画素が連続して並んでいる連続性を維持できないことが生じ得る。
【０７０２】
このため、従来のクラス分類適応処理では、例えば、予測演算により予測される予測画像において、リンギングが発生してしまうことがある。
【０７０３】
一方、本発明の画像変換処理において、例えば、予測タップ番号１０の対応画素には、予測係数0.4が乗算されており、対応画素と連続性がある、予測タップ番号６ないし９の画素には、それぞれ、予測係数0.35、0.32、0.55、0.28が乗算されている。
【０７０４】
すなわち、本発明の画像変換処理では、対応画素の他、対応画素と連続性がある画素に、値が大きな予測係数が乗算される。従って、予測演算により予測される予測画像は、予測タップ番号１０の対応画素や、対応画素と連続性がある、予測タップ番号６ないし９の画素に大きく影響される。
【０７０５】
よって、例えば、図５１に示す予測タップのように、予測タップ番号１０の対応画素がエッジ画素であって、対応画素が、予測タップ番号６ないし９のエッジ画素と連続して並んでいる場合、予測演算により予測される予測画像において、予測タップ番号６ないし９のエッジ画素と連続して並んでいる連続性を維持することが可能となる。
【０７０６】
このため、本発明の画像変換処理では、例えば、予測演算により予測される注目画素において、リンギングの発生を防止することが可能となる。
【０７０７】
次に、図５２は、従来のクラス分類適応処理により予測された予測画像と、本発明の画像変換処理により予測された予測画像（第２の画像データ）とを比較したものを示している。
【０７０８】
図５２Ａ上側には、本発明の画像変換処理により予測された予測画像が示されている。
【０７０９】
図５２Ａ下側に示すグラフの横軸は、図５２Ａ上側に示した予測画像内のYで示される画素を中心として、左右方向に連続して並ぶ各画素の位置を示している。また、図５２Ａ下側に示すグラフの縦軸は、図５２Ａ上側に示した第２の画像データ内のYで示される画素を中心として、左右方向に連続して並ぶ各画素の画素値を示している。
【０７１０】
なお、図５２Ａ上側に示した予測画像内のYで示される画素の位置、及び画素の画素値は、図５２Ａ下側に示すグラフ内の座標Yにより示される。
【０７１１】
図５２Ｂ上側には、従来のクラス分類適応処理により予測された予測画像が示されている。また、図５２Ａ下側と同様にして、図５２Ｂ下側には、従来のクラス分類適応処理により予測された予測画像のグラフが示されている。
【０７１２】
図５２Ａ下側に示すグラフと、図５２Ｂ下側に示すグラフとを比較すると、図５２Ｂ下側に示すグラフにおいて、エッジ部分を表す、座標Y付近の画素の画素値の変化が緩やかであるのに対して、図５２Ａ下側に示すグラフにおいては、エッジ部分を表す、座標Y付近の画素の画素値の変化が急峻になっている。
【０７１３】
従って、従来のクラス分類適応処理では、例えば、予測演算により予測される予測画像において、リンギングが発生してしまうことがあるのに対して、本発明の画像変換処理では、例えば、予測演算により予測される予測画像において、リンギングの発生が防止されており、より高画質な予測画像が予測されることがわかる。
【０７１４】
次に、図５３は、対応画素の周辺に連続性がある画素が存在しない場合、従来のクラス分類適応処理により予測タップに乗算される予測係数の重み付けと、本発明の画像変換処理により予測タップに乗算される予測係数の重み付けとの比較結果を示している。
【０７１５】
なお、図５３に示すグラフの横軸及び縦軸は、図５１上側に示すグラフの横軸及び縦軸と同様であるため、説明は省略する。
【０７１６】
図５１を参照して説明したように、本発明の画像変換処理では、対応画素の他、対応画素と連続性がある画素に、値が大きな予測係数が乗算される。
【０７１７】
対応画素の周辺に連続性がある画素が存在しない場合、本発明の画像変換処理では、図５１に示すように、従来のクラス分類適応処理と同様の処理が行われる。
【０７１８】
上記実施の形態では、より適切なマッチング位置を取得する取得精度を向上させるための方法として、図２７のマッチング位置取得処理において、マッチング位置検索処理により検索されたマッチング位置の信頼性を用いる方法、及び図３０のマッチング位置取得処理において、マッチング位置の対称性を用いる方法を説明したが、これに限定されない。
【０７１９】
すなわち、例えば、マッチング位置取得処理では、マッチング位置の対称性を用いて、マッチング位置を取得した後に、その取得したマッチング位置に対して、マッチング位置の信頼性を用いることにより、最終的なマッチング位置を取得することが可能である。
【０７２０】
この場合、図２７や図３０のマッチング位置取得処理と比較して、より適切なマッチング位置を取得する取得精度が向上するため、マッチング位置に基づいて行われる方向クラス分類処理において、注目画素をより適切な方向クラスに分類することができ、より高画質な画像を予測することが可能となる。
【０７２１】
なお、本発明の画像処理装置としては、例えば、テレビジョン受像機や、ハードディスクレコーダ等を適用することができる。
【０７２２】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０７２３】
図５４は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０７２４】
CPU（Central Processing Unit）５１１は、ROM（Read Only Memory）５１２、または記憶部５１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５１３には、CPU５１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５１１、ROM５１２、およびRAM５１３は、バス５１４により相互に接続されている。
【０７２５】
CPU５１１にはまた、バス５１４を介して入出力インタフェース５１５が接続されている。入出力インタフェース５１５には、キーボード、マウス、マイクロホンなどよりなる入力部５１６、ディスプレイ、スピーカなどよりなる出力部５１７が接続されている。CPU５１１は、入力部５１６から入力される指令に対応して各種の処理を実行する。そして、CPU５１１は、処理の結果を出力部５１７に出力する。
【０７２６】
入出力インタフェース５１５に接続されている記憶部５１８は、例えばハードディスクからなり、CPU５１１が実行するプログラムや各種のデータを記憶する。通信部５１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０７２７】
また、通信部５１９を介してプログラムを取得し、記憶部５１８に記憶してもよい。
【０７２８】
入出力インタフェース５１５に接続されているドライブ５２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５１８に転送され、記憶される。
【０７２９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図５４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５２１、または、プログラムが一時的もしくは永続的に格納されるROM５１２や、記憶部５１８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部５１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０７３０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０７３１】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０７３２】
【図１】クラスタップの波形パターンを示す図である。
【図２】連続してエッジが存在する可能性がある方向を示す図である。
【図３】本発明の一実施の形態である画像処理装置の構成例を示す図である。
【図４】画像処理装置が行う画像変換処理の概要を説明する図である。
【図５】画像処理装置の第１の構成例を示すブロック図である。
【図６】図５の定常判定部の詳細な構成例を示すブロック図である。
【図７】水平差分絶対値の総和と垂直差分絶対値の総和を算出する算出処理を説明する図である。
【図８】図５のマッチング位置取得部の第１の構成例を示すブロック図である。
【図９】定常方向が水平方向である場合に、ブロック差分総和のグラフを生成する生成処理を説明する図である。
【図１０】定常方向が垂直方向である場合に、ブロック差分総和のグラフを生成する生成処理を説明する図である。
【図１１】検索方向を決定する決定処理を説明する図である。
【図１２】マッチング位置検索処理を説明する図である。
【図１３】図５の方向クラス分類部の構成例を示すブロック図である。
【図１４】位相クラスを決定する決定処理を説明する第１の図である。
【図１５】位相クラスを決定する決定処理を説明する第２の図である。
【図１６】波形クラスコードと位相クラスコードとの関係を説明する第１の図である。
【図１７】波形クラスコードと位相クラスコードとの関係を説明する第２の図である。
【図１８】図５の画像処理装置が行う画像変換処理を説明するフローチャートである。
【図１９】図１８のステップＳ３５における定常方向判定処理を説明するフローチャートである。
【図２０】図１８のステップＳ３６におけるマッチング位置取得処理を説明するフローチャートである。
【図２１】図２０のステップＳ１０５におけるマッチング位置検索処理を説明するフローチャートである。
【図２２】図１８のステップＳ３７における方向クラス分類処理を説明するフローチャートである。
【図２３】学習装置の第１の構成例を示すブロック図である。
【図２４】図２３の学習装置が行う学習処理を説明するフローチャートである。
【図２５】図５のマッチング位置取得部の第２の構成例を示すブロック図である。
【図２６】マッチング位置の信頼性を判定する判定処理を説明する図である。
【図２７】図２５のマッチング位置取得部が行うマッチング位置取得処理を説明するフローチャートである。
【図２８】図５のマッチング位置取得部の第３の構成例を示すブロック図である。
【図２９】図２８の対称性判定部が行う処理を説明する図である。
【図３０】図２８のマッチング位置取得部が行うマッチング位置取得処理を説明するフローチャートである。
【図３１】画像処理装置の第２の構成例を示すブロック図である。
【図３２】図３１の方向クラス分類部の構成例を示すブロック図である。
【図３３】直線式y=ax+bを算出する算出処理を説明する図である。
【図３４】位相クラスコードの生成処理を説明する図である。
【図３５】図３１の画像処理装置３１が行う画像変換処理を説明するフローチャートである。
【図３６】図３１の方向クラス分類部が行う方向クラス分類処理を説明するフローチャートである。
【図３７】学習装置の第２の構成例を示すブロック図である。
【図３８】図３７の学習装置が行う学習処理を説明するフローチャートである。
【図３９】画像処理装置の第３の構成例を示すブロック図である。
【図４０】図３９の定常判定部の構成例を示すブロック図である。
【図４１】図４０のエッジ距離検出部が行う、定常方向を検出する検出処理を説明する第１の図である。
【図４２】図４０のエッジ距離検出部が行う、定常方向を検出する検出処理を説明する第２の図である。
【図４３】図３９のマッチング位置取得部の構成例を示すブロック図である。
【図４４】図４３の検索方向決定部が行う、水平方向及び垂直方向を検索方向に決定する決定処理を説明する図である。
【図４５】不一致数を算出する算出処理を説明する図である。
【図４６】図３９の画像処理装置が行う画像変換処理を説明するフローチャートである。
【図４７】図４６のステップＳ４２５における定常方向判定処理を説明するフローチャートである。
【図４８】図４６のステップＳ４２６におけるマッチング位置取得処理を説明するフローチャートである。
【図４９】学習装置の第３の構成例を示すブロック図である。
【図５０】図４９の学習装置が行う学習処理を説明するフローチャートである。
【図５１】予測係数の違いを示す図である。
【図５２】予測画像を比較したものを示す図である。
【図５３】対応画素の周辺に連続性がある画素が存在しない場合、予測係数の重み付けの比較結果を示す図である。
【図５４】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０７３３】
３１  画像処理装置，  ６１  予測タップ抽出部，  ６２  波形タップ抽出部，  ６３  波形クラス分類部，  ６４  定常判定部，  ６５  マッチング位置取得部，  ６６  方向クラス分類部，  ６７  係数ROM，  ６８  予測演算部，  ９１  隣接差分算出部，  ９２  定常方向検出部，  １２１  LPF部，  １２２  ブロック差分算出部，  １２３  検索方向決定部，  １２４  マッチング位置検索部，  １５１  傾きクラス決定部，  １５２  位相クラス決定部，  １５３  方向クラス決定部，  １８１  学習装置，  ２１１  サブサンプリング部，  ２１２  予測タップ抽出部，  ２１３  波形タップ抽出部，  ２１４  波形クラス分類部，  ２１５  定常判定部，  ２１６  マッチング位置取得部，  ２１７  方向クラス分類部，  ２１８  足し込み部，  ２１９  係数算出部，  ２４１  上下差分算出部，  ２４２  信頼性判定部，  ２７１  マッチング位置検索部，  ２７２  対称性判定部，  ３０１  方向クラス分類部，  ３３１  段階的エッジ画像生成部，  ３３２  座標抽出部，  ３３３  傾き位相算出部，  ３３４  傾きクラス決定部，  ３３５  位相クラス決定部，  ３３６  方向クラス決定部，  ３５０  学習装置，  ３５１  方向クラス分類部，  ３６１  定常判定部，  ３６２  マッチング位置取得部，  ３９１  ２値エッジ画像生成部，  ３９２  エッジ距離検出部，  ４２１  段階的エッジ画像生成部，  ４２２  ブロック差分算出部，  ４２３  検索方向決定部，  ４２４  ２値エッジ画像生成部，  ４２５  不一致数カウント部，  ４２６  マッチング位置検索部，  ４５１  学習装置，  ４８１  定常判定部，  ４８２  マッチング位置取得部
【図１】
2009268021.tif 000011
【図２】
2009268021.tif 000012
【図３】
2009268021.tif 000013
【図４】
2009268021.tif 000014
【図５】
2009268021.tif 000015
【図６】
2009268021.tif 000016
【図７】
2009268021.tif 000017
【図８】
2009268021.tif 000018
【図９】
2009268021.tif 000019
【図１０】
2009268021.tif 000020
【図１１】
2009268021.tif 000021
【図１２】
2009268021.tif 000022
【図１３】
2009268021.tif 000023
【図１４】
2009268021.tif 000024
【図１５】
2009268021.tif 000025
【図１６】
2009268021.tif 000026
【図１７】
2009268021.tif 000027
【図１８】
2009268021.tif 000028
【図１９】
2009268021.tif 000029
【図２０】
2009268021.tif 000030
【図２１】
2009268021.tif 000031
【図２２】
2009268021.tif 000032
【図２３】
2009268021.tif 000033
【図２４】
2009268021.tif 000034
【図２５】
2009268021.tif 000035
【図２６】
2009268021.tif 000036
【図２７】
2009268021.tif 000037
【図２８】
2009268021.tif 000038
【図２９】
2009268021.tif 000039
【図３０】
2009268021.tif 000040
【図３１】
2009268021.tif 000041
【図３２】
2009268021.tif 000042
【図３３】
2009268021.tif 000043
【図３４】
2009268021.tif 000044
【図３５】
2009268021.tif 000045
【図３６】
2009268021.tif 000046
【図３７】
2009268021.tif 000047
【図３８】
2009268021.tif 000048
【図３９】
2009268021.tif 000049
【図４０】
2009268021.tif 000050
【図４１】
2009268021.tif 000051
【図４２】
2009268021.tif 000052
【図４３】
2009268021.tif 000053
【図４４】
2009268021.tif 000054
【図４５】
2009268021.tif 000055
【図４６】
2009268021.tif 000056
【図４７】
2009268021.tif 000057
【図４８】
2009268021.tif 000058
【図４９】
2009268021.tif 000059
【図５０】
2009268021.tif 000060
【図５１】
2009268021.tif 000061
【図５２】
2009268021.tif 000062
【図５３】
2009268021.tif 000063
【図５４】
2009268021.tif 000064