(57)【特許請求の範囲】
【請求項１】
コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置において、
前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段と、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段と
を備える画像処理装置。
【請求項２】
前記第１の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段をさらに備え、
前記相関検出手段は、前記補間手段により補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出する
請求項１に記載の画像処理装置。
【請求項３】
前記相関検出手段は、補間された前記第１の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めて比較することにより相関の度合いを検出する
請求項２に記載の画像処理装置。
【請求項４】
前記相関検出手段は、補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めることにより相関の度合いを検出する
請求項２に記載の画像処理装置。
【請求項５】
前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表わす成分である
請求項１に記載の画像処理装置。
【請求項６】
前記第１の成分または前記第２の成分は、輝度または色差を表わす成分である
請求項１に記載の画像処理装置。
【請求項７】
コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法において、
前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する
ステップを含む画像処理方法。
【請求項８】
コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段と、
前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段と、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段と
を備える学習装置。
【請求項１０】
前記第２の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段をさらに備え、
前記相関検出手段は、前記補間手段により補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出する
請求項９に記載の学習装置。
【請求項１１】
前記相関検出手段は、補間された前記第２の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めて比較することにより相関の度合いを検出する
請求項１０に記載の学習装置。
【請求項１２】
前記相関検出手段は、補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めることにより相関の度合いを検出する
請求項１０に記載の学習装置。
【請求項１３】
前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表わす成分である
請求項９に記載の学習装置。
【請求項１４】
前記第１の成分または前記第２の成分は、輝度または色差を表わす成分である
請求項９に記載の学習装置。
【請求項１５】
コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、
前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、
前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める
ステップを含む学習方法。
【請求項１６】
コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、
前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、
前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、
前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、
前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、学習装置および方法、並びにプログラムに関し、特に、より高精細な画像を得ることができるようにした画像処理装置および方法、学習装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
CCD（Charge Coupled Devices）などの撮像素子を利用して画像を撮像する撮像装置においては、撮像装置の小型化を図るために、撮像素子として単板CCDが用いられることが多い。この単板CCDにおいては、各画素はＲ（赤）、Ｇ（緑）、およびＢ（青）の３原色のうちのいずれかの色のデータのみを出力し、各画素がどの色のデータを出力するかは単板CCDの前面に配置された色フィルタアレイによって定まる。
【０００３】
例えば、Ｇの色フィルタが配置された画素は、Ｇの成分のデータを出力するが、Ｒの成分およびＢの成分は出力しない。また、Ｒの色フィルタが配置された画素は、Ｒの成分のデータは出力するが、Ｇの成分およびＢの成分は出力しない。同様に、Ｂの色フィルタが配置された画素は、Ｂの成分は出力するが、Ｇの成分およびＲの成分は出力しない。
【０００４】
ところで、撮像により得られた画像データに対して各種の処理を行う場合、画素毎にRGBの各色成分が必要となる。そこで、従来の撮像装置には、クラス分類適応処理により単板CCDが出力する画像データから、３板CCD出力相当の画像データを求めるものもある（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００２−６４８３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術においては、３板CCD出力相当の画像の注目している画素の所定の色（の画素値）を予測するために用いる予測タップとして、単板CCDの画像の予測する色とは異なる色の画素を用いた場合、予測する色と、予測する色とは異なる色との相関が強い画像においては適切な画素値を予測することができるが、予測する色と、予測する色とは異なる色との相関が弱い画像、例えば、予測する色と、予測する色とは異なる色との相関が無い画像においては、注目している画素の画素値を適切に予測することができず、クラス分類適応処理により得られた３板CCD出力相当の画像に破綻が生じてしまう。
【０００７】
ここで、所定の色と、その色とは異なる色との相関とは、画像の所定の位置における所定の色の画素値の変化の度合いを示す傾きと、その色とは異なる色の画素値の変化の度合を示す傾きとの類似の度合いをいう。また、相関が無いとは、異なる色同士の相関が逆相関（負の相関）であることをいう。すなわち、画像の所定の位置における所定の色の画素値の変化の度合いを示す傾きと、その色とは異なる色の画素値の変化の度合いを示す傾きとが異なる符号であることをいう。
【０００８】
例えば、図１に示すように、所定の位置ＡにおけるＲ（赤）の画素値を予測するために、予測タップとしてＧ（緑）の画素を用いると、求められたＲの画素値は、周囲の位置のＲの画素値と比べて突出した不自然な値となってしまう。なお、図中、横軸は撮像された画像における位置を示し、縦軸は各位置における各色の画素値（レベル）を示している。
【０００９】
曲線１１は、現実世界の各位置におけるＧの値（波形）を示しており、Ｇの値は位置Ａの直前において急峻に増加している。また、曲線１２は、現実世界の各位置におけるＲの値（波形）を示しており、Ｒの値は位置Ａの直前において急峻に減少している。したがって、位置Ａの付近においてＲとＧとは相関が無い。すなわちＲとＧとの相関は逆相関となっている。
【００１０】
さらに、図中、丸および四角形は、それぞれ撮像により得られたＧの画素（の画素値）およびＲの画素（の画素値）を示している。ここで、図１の左側の図の丸により示される３つのＧの画素、および四角形により示される２つのＲの画素を予測タップとして用いて、クラス分類適応処理により位置ＡにおけるＲの画素値を予測する場合を考える。
【００１１】
この場合、位置Ａの付近におけるＧの画素値の急激な変化は、位置ＡのＲの画素値の予測にも影響を与え、位置ＡにおけるＲの波形の傾きが、位置ＡにおけるＧの波形の傾きと同じ傾きとなるように、位置ＡにおけるＲの画素値が予測される。
【００１２】
そのため、図１の右側の図の三角形に示すように、予測により得られた位置ＡのＲの画素値は、周囲のＲの画素値と比べて図中、上方向に突出した値となってしまう。したがって、現実世界のＲの波形は、曲線１２に示すように位置Ａの直前において急峻に減少しているのに対して、曲線１３に示すように、クラス分類適応処理により得られた画像のＲの画素値は、位置Ａの直前においてＧの曲線１１の傾きの大きさと同じ傾きの大きさで増加し、その後、位置Ａの直後において急激に減少している。
【００１３】
このように、互いに逆相関の色の画素を予測タップとして用いると、予測された画素値は不自然な値となり、画像に破綻が生じてしまう。
【００１４】
本発明は、このような状況に鑑みてなされたものであり、より精度よく高精細な画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面の画像処理装置は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段と、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段とを備える。
【００１６】
画像処理装置には、前記第１の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段をさらに設け、前記相関検出手段には、前記補間手段により補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出させることができる。
【００１７】
前記相関検出手段には、補間された前記第１の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めさせて比較させることにより相関の度合いを検出させることができる。
【００１８】
前記相関検出手段には、補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めさせることにより相関の度合いを検出させることができる。
【００１９】
前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表す成分とすることができる。
【００２０】
前記第１の成分または前記第２の成分は、輝度または色差を表す成分とすることができる。
【００２１】
本発明の第１の側面の画像処理方法は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算するステップを含む。
【００２２】
本発明の第１の側面のプログラムは、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理をコンピュータに実行させるプログラムであって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算するステップを含む。
【００２３】
本発明の第１の側面においては、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データが、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換される場合、前記第２の画像データの注目している画素である注目画素を予測するために用いられる複数の画素が、前記第１の画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いられる複数の画素が、前記第１の画像データからクラスタップとして抽出され、前記第１の成分と前記第２の成分との相関の度合いが検出され、その検出の結果に基づいて相関の度合いを示す相関コードが生成され、前記クラスタップおよび前記相関コードが用いられて、前記注目画素のクラス分類が行われ、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとが用いられて、前記注目画素の前記第１の成分の値、または前記第２の成分の値が予測演算される。
【００２４】
本発明の第２の側面の学習装置は、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段と、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段と、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段とを備える。
【００２５】
学習装置には、前記第２の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段をさらに設け、前記相関検出手段には、前記補間手段により補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出させることができる。
【００２６】
前記相関検出手段には、補間された前記第２の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めさせて比較させることにより相関の度合いを検出させることができる。
【００２７】
前記相関検出手段には、補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めさせることにより相関の度合いを検出させることができる。
【００２８】
前記第１の成分または前記第２の成分は、赤、青、または緑のいずれかの色を表す成分とすることができる。
【００２９】
前記第１の成分または前記第２の成分は、輝度または色差を表す成分とすることができる。
【００３０】
本発明の第２の側面の学習方法またはプログラムは、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い、前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求めるステップを含む。
【００３１】
本発明の第２の側面においては、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値が抽出され、前記注目画素を予測するために用いられる複数の画素が、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いられる複数の画素が、前記第２の画像データからクラスタップとして抽出され、前記第１の成分と前記第２の成分との相関の度合いが検出され、その検出の結果に基づいて相関の度合いを示す相関コードが生成され、前記クラスタップおよび前記相関コードが用いられて、前記注目画素のクラス分類が行われ、前記注目画素の前記第１の成分の値および前記予測タップが用いられて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数が求められる。
【発明の効果】
【００３２】
本発明の第１の側面によれば、高精細な画像を得ることができる。特に、本発明の第１の側面によれば、より精度よく高精細な画像を得ることができる。
【００３３】
また、本発明の第２の側面によれば、高精細な画像を得ることができる。特に、本発明の第２の側面によれば、より精度よく高精細な画像を得ることができる。
【発明を実施するための最良の形態】
【００３４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３５】
本発明の第１の側面の画像処理装置は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理装置（例えば、図３の撮像装置４１）であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図５の予測タップブロック化回路１１１）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図５のADRCブロック化回路１１２）と、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段（例えば、図５の相関検出回路１１５）と、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図５のクラス分類回路１１６）と、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する予測演算手段（例えば、図５の適応処理回路１１７）とを備える。
【００３６】
画像処理装置には、前記第１の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段（例えば、図５の相関検出ブロック化回路１１４）をさらに設け、前記相関検出手段には、前記補間手段により補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出させる（例えば、図６のステップＳ４９の処理乃至ステップＳ５１の処理）ことができる。
【００３７】
前記相関検出手段には、補間された前記第１の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めさせて比較させることにより相関の度合いを検出させる（例えば、図６のステップＳ４９の処理乃至ステップＳ５１の処理）ことができる。
【００３８】
前記相関検出手段には、補間された前記第１の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めさせることにより相関の度合いを検出させる（例えば、図１０のステップＳ８９の処理およびステップＳ９０の処理）ことができる。
【００３９】
本発明の第１の側面の画像処理方法は、コンポーネント映像信号の第１の成分の値を有する画素と、第２の成分の値を有する画素とから構成される第１の画像データを、前記第１の成分の値および前記第２の成分の値を有する画素から構成される第２の画像データに変換する画像処理方法であって、前記第２の画像データの注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像データから予測タップとして抽出し（例えば、図６のステップＳ４５）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像データからクラスタップとして抽出し（例えば、図６のステップＳ４６）、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し（例えば、図６のステップＳ４９乃至ステップＳ５１）、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い（例えば、図６のステップＳ５２）、前記注目画素のクラスについて予め求められているタップ係数と前記予測タップとを用いて、前記注目画素の前記第１の成分の値、または前記第２の成分の値を予測演算する（例えば、図６のステップＳ５３）ステップを含む。
【００４０】
なお、本発明の第１の側面のプログラムも、上述した本発明の第１の側面の画像処理方法と基本的に同様の処理であるため、繰り返しになるのでその説明は省略する。
【００４１】
本発明の第２の側面の学習装置（例えば、図１１の学習装置２０１）は、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出する注目画素抽出手段（例えば、図１１の教師画像ブロック化回路２１８）と、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図１１の予測タップブロック化回路２１７）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図１１のADRCブロック化回路２１２）と、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成する相関検出手段（例えば、図１１の相関検出回路２１５）と、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図１１のクラス分類回路２１６）と、前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める演算手段（例えば、図１１の演算回路２２１）とを備える。
【００４２】
学習装置には、前記第２の画像データの画素の前記第１の成分の値または前記第２の成分の値を線形補間処理により補間する補間手段（例えば、図１１の相関検出ブロック化回路２１４）をさらに設け、前記相関検出手段には、前記補間手段により補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを検出させる（例えば、図１２のステップＳ１２５の処理乃至ステップＳ１２７の処理）ことができる。
【００４３】
前記相関検出手段には、補間された前記第２の画像データを用いて前記注目画素の位置における前記第１の成分のエッジの方向および傾きと、前記第２の成分のエッジの方向および傾きとを求めさせて比較させることにより相関の度合いを検出させる（例えば、図１２のステップＳ１２５の処理乃至ステップＳ１２７の処理）ことができる。
【００４４】
前記相関検出手段には、補間された前記第２の画像データを用いて前記第１の成分と前記第２の成分との相関の度合いを示す相関係数を求めさせることにより相関の度合いを検出させる（例えば、図１３のステップＳ１６５の処理およびステップＳ１６６の処理）ことができる。
【００４５】
本発明の第２の側面の学習方法またはプログラムは、コンポーネント映像信号の第１の成分および第２の成分の値を有する画素から構成される第１の画像データから、注目している画素である注目画素の前記第１の成分の値を抽出し（例えば、図１２のステップＳ１３０）、前記注目画素を予測するために用いる複数の画素を、前記第１の成分の値を有する画素と、前記第２の成分の値を有する画素とから構成される第２の画像データから予測タップとして抽出し（例えば、図１２のステップＳ１２９）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第２の画像データからクラスタップとして抽出し（例えば、図１２のステップＳ１２２）、前記第１の成分と前記第２の成分との相関の度合いを検出し、その検出の結果に基づいて相関の度合いを示す相関コードを生成し（例えば、図１２のステップＳ１２５乃至ステップＳ１２７）、前記クラスタップおよび前記相関コードを用いて、前記注目画素のクラス分類を行い（例えば、図１２のステップＳ１２８）、前記注目画素の前記第１の成分の値および前記予測タップを用いて、前記予測タップから前記注目画素の前記第１の成分の値を予測するために用いられる、前記注目画素のクラスに対応するタップ係数を求める（例えば、図１２のステップＳ１３３）ステップを含む。
【００４６】
本発明は、動画像を撮影するデジタルビデオカメラ、静止画像を撮像するデジタルスチルカメラ、カメラ一体型VTR（Video Tape Recorder）等の映像機器、放送業務に用いられる画像処理装置、プリンタ、スキャナなどに適用することができる。
【００４７】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００４８】
図２は、本発明を適用した撮像装置が、単板CCDの出力からより高精細な画像データを生成する処理の原理を表している。
【００４９】
図２に示すように、撮像装置においては、ｎ×ｍ（図２では縦６×横８）の単板CCDが出力する画像データから、ｎ×ｍのＲ（赤）の画像データ、ｎ×ｍのＧ（緑）の画像データ、およびｎ×ｍのＢ（青）の画像データが、それぞれ直接演算により生成される。換言すれば、撮像装置は、単板CCDが出力する画像データを、Ｒの画像データ、Ｇの画像データ、およびＢの画像データからなる３板CCD出力相当の画像データに変換する。
【００５０】
撮像装置の単板CCDの前面には色フィルタアレイが配置されており、色フィルタアレイの色配列は、例えば図２の左側に示すように、ベイヤー配列と称される色配列とされる。図２では、Ｇの色のフィルタが市松状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配置されている。
【００５１】
このようにして撮像装置は、単板CCDから出力されたＲの画素値を有する画素、Ｇの画素値を有する画素、およびＢの画素値を有する画素から構成される画像データを、Ｒの画素値、Ｇの画素値、およびＢの画素値を有する画素から構成される３板CCD出力相当の画像データに変換する。
【００５２】
図３は、以上のような原理に従って、被写体を撮像して高精細な画像データを生成する撮像装置の構成例を示すブロック図である。
【００５３】
撮像装置４１のレンズ５１は被写体からの光を集光し、集光した光を、アイリス５２および色フィルタアレイ５３を介して単板のCCD５４に入射させる。すなわち、レンズ５１は入射した光をCCD５４上に結像させる。また、色フィルタアレイ５３は、１画素ごとに割り当てられた色フィルタから構成され、CCD５４の前面（図中、左側）に配置されている。
【００５４】
CCD５４は、入射された光を光電変換して、光電変換により得られた電荷を蓄積し、蓄積した電荷をアナログ信号である画像信号としてAGC（Automatic Gain Control）/CDS（Correlated Double Sampling）回路５５に供給する。
【００５５】
AGS/CDS回路５５は、供給された画像信号の大きさ（レベル）が一定になるようにゲインを調整して出力するとともに、CCD５４において発生する１／ｆノイズを除去する。さらに、AGC/CDS回路５５は、メインCPU（Central Processing Unit）５９の制御に基づいて、CCD５４における電荷の蓄積時間を電気的に変化させる電子シャッタ処理も行う。AGC/CDS回路５５から出力された画像信号は、Ａ／Ｄ（Analog/Digital）変換部５６に入力され、アナログ信号からデジタル信号である画像データに変換された後、画像信号処理回路５７に入力される。画像信号処理回路５７は、入力された画像データに対して、欠陥補正処理、デジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた補間処理などの所定の処理を行う。
【００５６】
タイミングジェネレータ５８は、メインCPU５９の制御に基づいて、各種のタイミング信号を発生し、CCD５４、AGC/CDS回路５５、Ａ／Ｄ変換部５６、メインCPU５９などに供給する。
【００５７】
モータ６０は、メインCPU５９の制御に基づいて、アイリス５２を駆動し、レンズ５１からCCD５４に入射される光の量を制御する。モータ６１は、メインCPU５９により制御され、レンズ５１を制御して、レンズ５１のCCD５４に対するフォーカス状態を制御する。発光部６２は、メインCPU５９により制御され、撮像時に被写体に対して所定の閃光を照射する。
【００５８】
記録媒体インターフェース６３は、画像信号処理回路５７から出力された画像データを、必要に応じてメモリ６４に記憶させ、所定のインターフェース処理を実行した後、記録媒体６５に供給して記録させる。記録媒体６５は、例えば、不揮発性のフラッシュメモリ、磁気ディスク、光ディスク、光磁気ディスクなどから構成され、撮像装置４１に着脱可能とされている。
【００５９】
コントローラ６６は、メインCPU５９の制御のもと、画像信号処理回路５７および記録媒体インターフェース６３を制御する。また、メインCPU５９には、シャッタボタンやスイッチなどから構成される操作部７０から、撮像者の操作に応じて各種の指令が入力される。電源部６７は、バッテリ６８およびDC/DCコンバータ６９を内蔵しており、DC/DCコンバータ６９は、バッテリ６８からの電力を所定の値の直流電圧に変換し、撮像装置４１の各部に供給する。充電可能なバッテリ６８は、撮像装置４１に着脱可能とされている。
【００６０】
次に、図４のフローチャートを参照して、撮像装置４１が所定の被写体を撮像し、撮像により得られた画像データを記録媒体６５に記録させる処理について説明する。
【００６１】
ステップＳ１１において、レンズ５１は被写体からの光を集光し、集光した光をアイリス５２および色フィルタアレイ５３を介してCCD５４に入射させる。また、メインCPU５９は、モータ６０を制御してアイリス５２を駆動し、CCD５４に入射するレンズ５１からの光量を所定の値に調整させるとともに、モータ６１を制御してレンズ５１の位置を調整させ、フォーカス制御を実行する。
【００６２】
ステップＳ１２において、メインCPU５９は、撮像者によりシャッタボタンが操作されたか否かを判定する。例えば、撮像者が撮像装置４１に設けられた、図示せぬモニタやファインダに表示された画像を見ることで画角を確認し、シャッタボタンとしての操作部７０を操作すると、操作部７０からメインCPU５９には、シャッタボタンが操作された旨の信号が供給される。メインCPU５９は、シャッタボタンが操作された旨の信号が供給された場合、シャッタボタンが操作されたと判定する。
【００６３】
ステップＳ１２において、シャッタボタンが操作されていないと判定された場合、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。
【００６４】
これに対して、ステップＳ１２において、シャッタボタンが操作されたと判定された場合、処理はステップＳ１３に進む。また、このとき、メインCPU５９は発光部６２を駆動して閃光を発生させ、被写体に照射させるとともに、タイミングジェネレータ５８を制御して各種のタイミング信号を発生させる。タイミングジェネレータ５８は、発生させたタイミング信号をCCD５４、AGC/CDS回路５５、Ａ／Ｄ変換部５６、およびメインCPU５９に供給する。
【００６５】
ステップＳ１３において、CCD５４は、タイミングジェネレータ５８からのタイミング信号に同期して、レンズ５１から入射した光を光電変換し（電荷に変換し）、これにより得られたアナログ信号を画像信号としてAGC/CDS回路５５に供給する。
【００６６】
ステップＳ１４において、AGC/CDS回路５５は、CCD５４から供給された画像信号の１／ｆノイズ成分を除去する処理を行った後、画像信号の大きさが一定になるようにゲインを調整して画像信号をＡ／Ｄ変換部５６に供給する。
【００６７】
ステップＳ１５において、Ａ／Ｄ変換部５６は、AGC/CDS回路５５から供給された画像信号をアナログ信号からデジタル信号である画像データに変換し、変換により得られた画像データを画像信号処理回路５７に供給する。
【００６８】
ステップＳ１６において、画像信号処理回路５７はＡ／Ｄ変換部５６から供給された画像データに対して、画像信号処理を施す。その詳細は図６のフローチャートを参照して後述するが、欠陥補正処理、デジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理などの画像信号処理が施される。画像信号処理回路５７は、画像信号処理を施した画像データを必要に応じてメモリ６４に一時的に記憶させ、記録媒体インターフェース６３を介して記録媒体６５に供給する。
【００６９】
ステップＳ１７において、記録媒体６５は、記録媒体インターフェース６３から供給された画像データを記録して、撮像処理は終了する。なお、撮像により得られた画像データを記録媒体６５に記録せずに、撮像装置４１に接続された他の装置に所定の信号フォーマットで出力するようにしてもよい。
【００７０】
このようにして、撮像装置４１は被写体を撮像し、撮像により得られた画像データを記録媒体６５に記録する。
【００７１】
ところで、画像データに対して画像信号処理を施す画像信号処理回路５７は、例えば、図５に示すように構成される。
【００７２】
画像信号処理回路５７は、欠陥補正回路１０１、クランプ回路１０２、ホワイトバランス回路１０３、ガンマ補正回路１０４、補間処理部１０５、補正回路１０６、およびRGBマトリクス回路１０７から構成される。
【００７３】
単板のCCD５４（図３）から出力された画像信号（画像データ）は、Ａ／Ｄ変換部５６（図３）を介して欠陥補正回路１０１に供給される。ここで、欠陥補正回路１０１に供給される画像データは、例えば、Ｒ（赤）、Ｇ（緑）、およびＢ（青）のそれぞれの色を成分とするコンポーネント映像信号とされる。欠陥補正回路１０１は、CCD５４のうち光に反応しない画素に対応する成分、あるいは、常に電荷を保持している画素に対応する成分などの欠陥成分を検出し、検出の結果に基づいてＡ／Ｄ変換部５６から供給された画像データを補正する欠陥補正処理を行う。
【００７４】
また、画像信号が読み出される場合、画像の各画素の画素値を示す信号が有する値よりも小さい値が検出されると、画像の１ライン分の画像信号の読み出しが終了したと判定される。画素値を示す信号が有する値の最小値は０であるので、負の値が検出されると画像の１ライン分の画像信号の読み出しが終了したと判定されることになる。そこで、Ａ／Ｄ変換部５６は、画像信号の負の値がカットされるのを防ぐため、信号値を若干正の方向へシフトさせた状態で、アナログ信号である画像信号をデジタル信号である画像データに変換する。クランプ回路１０２は、欠陥補正回路１０１から供給された画像データの正の方向へのシフト量を元に戻すクランプ処理を行う。
【００７５】
ホワイトバランス回路１０３は、クランプ回路１０２から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号のそれぞれのゲインの補正を行う。ガンマ補正回路１０４は、ホワイトバランス回路１０３から供給された各色信号の値をガンマ曲線に従って補正する。
【００７６】
補間処理部１０５は、クラス分類適応処理を行うことによって、ガンマ補正回路１０４から供給された画像データを３板CCD出力相当の画像データに変換する。また、補間処理部１０５は、変換により得られた画像データを補正回路１０６に供給する。
【００７７】
補間処理部１０５は、予測タップブロック化回路１１１、ADRC（Adaptive Dynamic Range Control）ブロック化回路１１２、ADRC処理回路１１３、相関検出ブロック化回路１１４、相関検出回路１１５、クラス分類回路１１６、適応処理回路１１７、および係数メモリ１１８から構成される。
【００７８】
予測タップブロック化回路１１１は、単板のCCD５４から出力された画像データを変換して得ようとする３板CCD出力相当の画像データ（この３板CCD出力相当の画像データはこれから求めようとする画像データであり、現段階では存在しないため仮想的に想定される）を構成する画素を、順次、注目画素とし、ガンマ補正回路１０４から供給された画像データを構成する画素のいくつかを、注目画素の画素値を予測するために用いられる予測タップとして抽出する。また、予測タップブロック化回路１１１は、抽出した予測タップを適応処理回路１１７に供給する。
【００７９】
ADRCブロック化回路１１２は、ガンマ補正回路１０４から供給された画像データを構成する画素のいくつかを、注目画素を複数のクラスのうちのいずれかにクラス分けするためのクラスタップとして抽出し、抽出したクラスタップをADRC処理回路１１３に供給する。
【００８０】
ADRC処理回路１１３は、ADRCブロック化回路１１２から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類回路１１６に供給する。
【００８１】
相関検出ブロック化回路１１４は、ガンマ補正回路１０４から供給された画像データに対して簡易的な補間処理を施し、簡易的な３板CCD出力相当の画像データを生成する。相関検出ブロック化回路１１４は、生成した画像データを相関検出回路１１５に供給する。
【００８２】
相関検出回路１１５は、相関検出ブロック化回路１１４から供給された画像データを基に、画像データの画素の各色の相関の度合いを検出し、各色の相関の度合いを示す相関コードをクラス分類回路１１６に供給する。
【００８３】
クラス分類回路１１６は、ADRC処理回路１１３からのクラスタップ、および相関検出回路１１５からの相関コードに基づいて（クラスタップおよび相関コードを用いて）注目画素をクラス分類し、分類されたクラスを示すクラスコード（クラス番号）を適応処理回路１１７に供給する。
【００８４】
適応処理回路１１７は、クラス分類回路１１６から供給されたクラスコードに対応するタップ係数を係数メモリ１１８から読み出し、タップ係数を予測タップブロック化回路１１１から供給された予測タップを構成する画素の画素値に乗算して、必要な画素値を予測演算する。
【００８５】
係数メモリ１１８は注目画素の画素値を予測するために用いられるクラスごとのタップ係数（各クラスについて予め求められているタップ係数）を記憶する。例えば、係数メモリ１１８には、各クラスに分類された注目画素のＲの画素値を予測するためのタップ係数、Ｇの画素値を予測するためのタップ係数、およびＢの画素値を予測するためのタップ係数が予め記憶されている。
【００８６】
補正回路１０６は、補間処理部１０５の適応処理回路１１７から供給された画像データに対し、エッジ強調などの画像を視覚的に良く見せるために必要な補正処理を行う。RGBマトリクス回路１０７は、補正回路１０６から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号をそのまま出力するか、または、各色信号に予め用意されている所定の変換マトリクスを乗算し、YUV方式（輝度Ｙ、色差Ｕ、および色差Ｖを成分とする信号方式）などの所定の信号フォーマットの画像データに変換して出力する。
【００８７】
次に、図６のフローチャートを参照して、図４のステップＳ１６の処理において、画像信号処理回路５７により行われる画像信号処理について説明する。
【００８８】
ステップＳ４１において、欠陥補正回路１０１は、Ａ／Ｄ変換部５６から供給された画像データに対して、欠陥画素があればこれを補正する欠陥補正処理を施し、欠陥補正処理が施された画像データをクランプ回路１０２に供給する。例えば、欠陥補正回路１０１は、光に反応しない画素、または常に電荷を有している画素に対しては、その画素の画素値を隣接する画素の画素値の平均値で置換することにより画像データを補正する。
【００８９】
ステップＳ４２において、クランプ回路１０２は、欠陥補正回路１０１から供給された画像データに対して、Ａ／Ｄ変換部５６におけるオフセット値を補正するためのクランプ処理を施し、クランプ処理が施された画像データをホワイトバランス回路１０３に供給する。
【００９０】
ステップＳ４３において、ホワイトバランス回路１０３は、クランプ回路１０２から供給された画像データに対してホワイトバランス調整処理を施し、画像データとしてのＲ、Ｇ、およびＢの各色信号のそれぞれのレベルを適正な白が表現できるレベルに調整する。そして、ホワイトバランス回路１０３は、ホワイトバランス調整処理が施された画像データをガンマ補正回路１０４に供給する。
【００９１】
ステップＳ４４において、ガンマ補正回路１０４は、ホワイトバランス回路１０３から供給された画像データに対してガンマ補正処理を施し、ガンマ補正処理が施された画像データを補間処理部１０５の予測タップブロック化回路１１１、ADRCブロック化回路１１２、および相関検出ブロック化回路１１４に供給する。
【００９２】
ステップＳ４５において、予測タップブロック化回路１１１は、ガンマ補正回路１０４から供給された画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックから予測タップを抽出する。予測タップブロック化回路１１１は、抽出した予測タップを適応処理回路１１７に供給する。
【００９３】
例えば、図７Ａに示すように、注目画素の位置が矢印Ｋ１１により示されるＧの画素に対応する位置である場合、予測タップブロック化回路１１１は矢印Ｋ１１により示されるＧの画素を含む、そのＧの画素の周囲の５×５個の画素を予測タップとして抽出する。
【００９４】
また、図７Ｂに示すように、注目画素の位置が矢印Ｋ１２により示されるＧの画素に対応する位置である場合、予測タップブロック化回路１１１は矢印Ｋ１２により示されるＧの画素を含む、そのＧの画素の周囲の５×５個の画素を予測タップとして抽出する。
【００９５】
図６のフローチャートの説明に戻り、予測タップが抽出されると、ステップＳ４６において、ADRCブロック化回路１１２は、ガンマ補正回路１０４から供給された画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックからクラスタップを抽出する。ADRCブロック化回路１１２は、抽出したクラスタップをADRC処理回路１１３に供給する。
【００９６】
例えば、図７Ａに示したように、注目画素の位置が矢印Ｋ１１により示されるＧの画素に対応する位置である場合、ADRCブロック化回路１１２は、図８Ａに示すように、矢印Ｋ１１により示されるＧの画素の左上、左下、右上、および右下に隣接する４個のＧの画素、矢印Ｋ１１により示されるＧの画素から上下方向にＲの画素を介して隣接する２個のＧの画素、および横方向にＢの画素を介して隣接する２個のＧの画素、並びに矢印Ｋ１１により示されるＧの画素からなる計９個のＧの画素をクラスタップとして抽出する。
【００９７】
また、例えば、図７Ｂに示したように、注目画素の位置が矢印Ｋ１２により示されるＧの画素に対応する位置である場合、ADRCブロック化回路１１２は、図８Ｂに示すように、矢印Ｋ１２により示されるＧの画素の左上、左下、右上、および右下に隣接する４個のＧの画素、矢印Ｋ１２により示されるＧの画素から上下方向にＢの画素を介して隣接する２個のＧの画素、および横方向にＲの画素を介して隣接する２個のＧの画素、並びに矢印Ｋ１２により示されるＧの画素からなる計９個のＧの画素をクラスタップとして抽出する。
【００９８】
図６のフローチャートの説明に戻り、クラスタップが抽出されると、ステップＳ４７において、ADRC処理回路１１３はADRCブロック化回路１１２から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類回路１１６に供給する。
【００９９】
例えば、ＫビットADRC処理においては、ADRC処理回路１１３は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。ADRC処理回路１１３はこのダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）をＫビットに再量子化する。即ち、ADRC処理回路１１３は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2Kで除算（量子化）する。
【０１００】
そして、ADRC処理回路１１３は、以上のようにして得られるクラスタップを構成するＫビットの各画素の画素値を所定の順番で並べたビット列を、ADRCコードとして出力する。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列がADRCコードとして出力される。
【０１０１】
ステップＳ４８において、相関検出ブロック化回路１１４は、ガンマ補正回路１０４から供給された画像データに対して簡易的な補間処理を施し、簡易的な３板CCD出力相当の画像データを生成する。相関検出ブロック化回路１１４は、生成した画像データを相関検出回路１１５に供給する。
【０１０２】
例えば、図９に示すように、簡易的な補間処理として線形補間処理により、画素Ｇ３３の位置における簡易的な３板CCD出力相当の画像データとしての画素のＲの画素値Ｒ３３’、Ｇの画素値Ｇ３３’、およびＢの画素値Ｂ３３’を求める（補間する）場合を考える。なお、図９の１つの四角形は、ガンマ補正回路１０４から相関検出ブロック化回路１１４に供給された画像データの１つの画素を示している。また、画素Ｇ１１乃至画素Ｇ５５のそれぞれは、Ｇの画素を表し、画素Ｂ１２乃至画素Ｂ５４のそれぞれは、Ｂの画素を表し、画素Ｒ２１乃至画素Ｒ４５のそれぞれは、Ｒの画素を表している。
【０１０３】
この場合、相関検出ブロック化回路１１４は、例えば、式（１）、式（２）、および式（３）を計算して、簡易的な３板CCD出力相当の画像データのＲの画素値Ｒ３３’、Ｇの画素値Ｇ３３’、およびＢの画素値Ｂ３３’を求める。
【０１０４】
Ｒ３３’＝（（Ｒ２３＋Ｒ４３）／２）                              ・・・（１）
【０１０５】
Ｇ３３’＝Ｇ３３                                                  ・・・（２）
【０１０６】
Ｂ３３’＝（（Ｂ３２＋Ｂ３４）／２）                              ・・・（３）
【０１０７】
ここで、式（１）におけるＲ２３およびＲ４３は、図９の画素Ｒ２３および画素Ｒ４３の画素値を表している。
【０１０８】
また、式（２）におけるＧ３３は、図９の画素Ｇ３３の画素値を表している。したがって、ここでは画素Ｇ３３の画素値がＧ３３’の値としてそのまま用いられている。
【０１０９】
さらに、式（３）におけるＢ３２およびＢ３４は、図９の画素Ｂ３２および画素Ｂ３４の画素値を表している。
【０１１０】
図６のフローチャートの説明に戻り、簡易的な３板CCD出力相当の画像データが生成されると、ステップＳ４９において、相関検出回路１１５は、相関検出ブロック化回路１１４から供給された画像データを基に、注目画素の位置における各色のエッジの方向を求める。ここで、エッジとは、画像上の所定の領域（例えば、所定のオブジェクトの領域）と、他の領域（例えば、背景の領域）との境界をいう。
【０１１１】
例えば、注目画素の位置が、図９に示した画素Ｇ３３の位置に対応する位置であり、相関検出回路１１５が、簡易的な３板CCD出力相当の画像データを基に注目画素のＲ、Ｇ、およびＢの各色のエッジの方向を求める場合を考える。
【０１１２】
まず、相関検出回路１１５は、式（４）および式（５）を計算することにより、図９中、縦方向のＲの画素値の差分和ＨＲ、および横方向のＲの画素値の差分和ＶＲを求める。
【０１１３】
ＨＲ＝｜Ｒ４３’−Ｒ３３’｜＋｜Ｒ３３’−Ｒ２３’｜              ・・・（４）
【０１１４】
ＶＲ＝｜Ｒ３４’−Ｒ３３’｜＋｜Ｒ３３’−Ｒ３２’｜              ・・・（５）
【０１１５】
ここで、式（４）におけるＲ４３’、Ｒ３３’、およびＲ２３’は、図９の画素Ｒ４３、画素Ｇ３３、および画素Ｒ２３のそれぞれの位置に対応する位置の簡易的な３板CCD出力相当の画像データの画素のＲの画素値を表している。
【０１１６】
また、式（５）におけるＲ３４’、Ｒ３３’、およびＲ３２’は、図９の画素Ｂ３４、画素Ｇ３３、および画素Ｂ３２のそれぞれの位置に対応する位置の簡易的な３板CCD出力相当の画像データの画素のＲの画素値を表している。
【０１１７】
相関検出回路１１５は、差分和ＨＲおよび差分和ＶＲを求めると、差分和ＨＲおよび差分和ＶＲが式（６）の関係を満たすか否かを判定する。
【０１１８】
ＨＲ＜ＶＲ                                                        ・・・（６）
【０１１９】
相関検出回路１１５は、求めた差分和ＨＲおよび差分和ＶＲが式（６）の関係を満たすと判定された場合、Ｒのエッジの方向は図９中、縦方向であるとしてＲのエッジの方向を示すＤＩ（Ｒ）の値を、エッジの方向が縦方向であることを示す値であるＤＩ（Ｒ）＝０とする。
【０１２０】
これに対して、求めた差分和ＨＲおよび差分和ＶＲが式（６）の関係を満たさないと判定された場合、相関検出回路１１５は、Ｒのエッジの方向は横方向であるとしてＲのエッジの方向を示すＤＩ（Ｒ）の値を、エッジの方向が横方向であることを示す値であるＤＩ（Ｒ）＝１とする。すなわち、相関検出回路１１５は、差分和ＨＲおよび差分和ＶＲのうち、差分和の小さい方向がエッジの方向であるとする。
【０１２１】
また、相関検出回路１１５は、縦方向のＧの画素値の差分和ＨＧ、および横方向のＧの画素値の差分和ＶＧを求め、差分和ＨＧよりも差分和ＶＧが大きい場合、Ｇのエッジの方向は図９中、縦方向であるとしてＧのエッジの方向を示すＤＩ（Ｇ）の値を、エッジの方向が縦方向であることを示す値であるＤＩ（Ｇ）＝０とし、差分和ＨＧよりも差分和ＶＧが大きくない場合、Ｇのエッジの方向は横方向であるとしてＧのエッジの方向を示すＤＩ（Ｇ）の値を、エッジの方向が横方向であることを示す値であるＤＩ（Ｇ）＝１とする。
【０１２２】
なお、差分和ＨＧは、式（４）におけるＲ４３’、Ｒ３３’、およびＲ２３’をそれぞれＧ４３’、Ｇ３３’、およびＧ２３’に置き換えた式を計算することにより求められ、差分和ＶＧは、式（５）におけるＲ３４’、Ｒ３３’、およびＲ３２’を、それぞれＧ３４’、Ｇ３３’、およびＧ３２’に置き換えた式を計算することにより求められる。
【０１２３】
同様に、相関検出回路１１５は、縦方向のＢの画素値の差分和ＨＢ、および横方向のＢの画素値の差分和ＶＢを求め、差分和ＨＢよりも差分和ＶＢが大きい場合、Ｂのエッジの方向は図９中、縦方向であるとしてＢのエッジの方向を示すＤＩ（Ｂ）の値を、エッジの方向が縦方向であることを示す値であるＤＩ（Ｂ）＝０とし、差分和ＨＢよりも差分和ＶＢが大きくない場合、Ｂのエッジの方向は横方向であるとしてＢのエッジの方向を示すＤＩ（Ｂ）の値を、エッジの方向が横方向であることを示す値であるＤＩ（Ｂ）＝１とする。
【０１２４】
なお、差分和ＨＢは、式（４）におけるＲ４３’、Ｒ３３’、およびＲ２３’をそれぞれＢ４３’、Ｂ３３’、およびＢ２３’に置き換えた式を計算することにより求められ、差分和ＶＢは、式（５）におけるＲ３４’、Ｒ３３’、およびＲ３２’を、それぞれＢ３４’、Ｂ３３’、およびＢ３２’に置き換えた式を計算することにより求められる。
【０１２５】
このようにして、相関検出回路１１５は、注目画素の位置における各色のエッジの方向ＤＩ（Ｒ）、ＤＩ（Ｇ）、およびＤＩ（Ｂ）を求める。
【０１２６】
各色のエッジの方向が求められると、ステップＳ５０において、相関検出回路１１５は、注目画素の位置における各色のエッジの傾きを求める。
【０１２７】
例えば、注目画素の位置が、図９に示した画素Ｇ３３の位置に対応する位置であり、相関検出回路１１５が、簡易的な３板CCD出力相当の画像データを基に注目画素のＲ、Ｇ、およびＢの各色のエッジの傾きを求める場合を考える。
【０１２８】
相関検出回路１１５は、Ｒのエッジの方向ＤＩ（Ｒ）がＤＩ（Ｒ）＝０である場合、すなわち、Ｒのエッジの方向が図９中、縦方向である場合、式（７）を計算することによって、Ｒのエッジの傾きＳＬ（Ｒ）を求める。
【０１２９】
ＳＬ（Ｒ）＝Ｒ３３’−Ｒ２３’                                    ・・・（７）
【０１３０】
ここで、式（７）におけるＲ３３’およびＲ２３’は、図９の画素Ｇ３３および画素Ｒ２３のそれぞれの位置に対応する位置の簡易的な３板CCD出力相当の画像データの画素のＲの画素値を表している。
【０１３１】
これに対して、Ｒのエッジの方向ＤＩ（Ｒ）がＤＩ（Ｒ）＝１である場合、すなわち、Ｒのエッジの方向が図９中、横方向である場合、相関検出回路１１５は式（８）を計算することによって、Ｒのエッジの傾きＳＬ（Ｒ）を求める。
【０１３２】
ＳＬ（Ｒ）＝Ｒ３３’−Ｒ３２’                                    ・・・（８）
【０１３３】
ここで、式（８）におけるＲ３３’およびＲ３２’は、図９の画素Ｇ３３および画素Ｂ３２のそれぞれの位置に対応する位置の簡易的な３板CCD出力相当の画像データの画素のＲの画素値を表している。
【０１３４】
同様にして相関検出回路１１５は、Ｇのエッジの傾きＳＬ（Ｇ）およびＢのエッジの傾きＳＬ（Ｂ）を求める。すなわち、相関検出回路１１５はＤＩ（Ｇ）＝０である場合、式（７）におけるＲ３３’およびＲ２３’をＧ３３’およびＧ２３’に置き換えた式を計算し、ＤＩ（Ｇ）＝１である場合、式（８）におけるＲ３３’およびＲ３２’をＧ３３’およびＧ３２’に置き換えた式を計算することによりＳＬ（Ｇ）を求める。
【０１３５】
また、相関検出回路１１５はＤＩ（Ｂ）＝０である場合、式（７）におけるＲ３３’およびＲ２３’をＢ３３’およびＢ２３’に置き換えた式を計算し、ＤＩ（Ｂ）＝１である場合、式（８）におけるＲ３３’およびＲ３２’をＢ３３’およびＢ３２’に置き換えた式を計算することによりＳＬ（Ｂ）を求める。
【０１３６】
各色のエッジの傾きが求められると、ステップＳ５１において、相関検出回路１１５は、各色のエッジの方向ＤＩ（Ｒ）、ＤＩ（Ｇ）、およびＤＩ（Ｂ）と、各色のエッジの傾きＳＬ（Ｒ）、ＳＬ（Ｇ）、およびＳＬ（Ｂ）とを基に、注目画素の位置における各色の相関の度合いを示す相関コードを生成し、クラス分類回路１１６に供給する。
【０１３７】
例えば、注目画素の位置が、図９に示した画素Ｇ３３の位置に対応する位置であり、注目画素のＲの画素値を求める場合を考える。
【０１３８】
この場合、まず、相関検出回路１１５は、ＤＩ（Ｒ）およびＳＬ（Ｒ）と、ＤＩ（Ｇ）およびＳＬ（Ｇ）とを比較することにより、ＲとＧとの相関を検出する。Ｒのエッジの方向ＤＩ（Ｒ）と、Ｇのエッジの方向ＤＩ（Ｇ）とが等しく、かつＲのエッジの傾きＳＬ（Ｒ）の符号（ＳＬ（Ｒ）の値が正であるか負であるかを示す符号）と、Ｇのエッジの傾きＳＬ（Ｇ）の符号とが等しい場合、相関検出回路１１５は、ＲとＧとは相関があるとする。そして、相関検出回路１１５はＲとＧとの相関を示す情報として、ＲとＧとは相関があることを示す１ビットの情報を生成する。
【０１３９】
これに対して、Ｒのエッジの方向ＤＩ（Ｒ）と、Ｇのエッジの方向ＤＩ（Ｇ）とが等しくないか、またはＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｇのエッジの傾きＳＬ（Ｇ）の符号とが等しくない場合、相関検出回路１１５は、ＲとＧとは相関がないとする。そして、相関検出回路１１５はＲとＧとの相関を示す情報として、ＲとＧとは相関がないことを示す１ビットの情報を生成する。
【０１４０】
次に、相関検出回路１１５はＲとＢとの相関を検出する。Ｒのエッジの方向ＤＩ（Ｒ）と、Ｂのエッジの方向ＤＩ（Ｂ）とが等しく、かつＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｂのエッジの傾きＳＬ（Ｂ）の符号とが等しい場合、相関検出回路１１５は、ＲとＢとは相関があるとする。そして、相関検出回路１１５はＲとＢとの相関を示す情報として、ＲとＢとは相関があることを示す１ビットの情報を生成する。
【０１４１】
これに対して、Ｒのエッジの方向ＤＩ（Ｒ）と、Ｂのエッジの方向ＤＩ（Ｂ）とが等しくないか、またはＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｂのエッジの傾きＳＬ（Ｂ）の符号とが等しくない場合、相関検出回路１１５は、ＲとＢとは相関がないとする。そして、相関検出回路１１５はＲとＢとの相関を示す情報として、ＲとＢとは相関がないことを示す１ビットの情報を生成する。
【０１４２】
ＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が生成されると、相関検出回路１１５は、それぞれ１ビットのＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が順番に並べられた２ビットのビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１４３】
なお、注目画素のＧの画素値を求める場合、相関検出回路１１５は、ＧとＲとの相関を示す１ビットの情報、およびＧとＢとの相関を示す１ビットの情報を生成して、ＧとＲとの相関を示す情報およびＧとＢとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１４４】
同様に、注目画素のＢの画素値を求める場合、相関検出回路１１５は、ＢとＲとの相関を示す１ビットの情報、およびＢとＧとの相関を示す１ビットの情報を生成して、ＢとＲとの相関を示す情報およびＢとＧとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１４５】
また、２ビットの相関コードが生成されると説明したが、例えば、１ビットの相関コードを生成するようにしてもよい。この場合、Ｒ、Ｇ、およびＢの各色のうち、予測する色と、その色とは異なる１つの色との相関を示す情報が相関コードとされる。例えば、注目画素のＲの画素値を求めるとき、ＲとＧとの相関を示す情報、またはＲとＢとの相関を示す情報が相関コードとされる。
【０１４６】
相関コードが生成されると、ステップＳ５２において、クラス分類回路１１６は、ADRC処理回路１１３から供給されたADRCコード、および相関検出回路１１５から供給された相関コードに基づいてクラス分類を行う。すなわち、クラス分類回路１１６は、ADRCコードおよび相関コードに基づいて注目画素のクラスを決定し、そのクラスを示すクラスコードを生成して適応処理回路１１７に供給する。
【０１４７】
例えば、クラス分類回路１１６は、ADRCコードおよび相関コードが順番に並べられたビット列をクラスコードとして適応処理回路１１７に供給する。
【０１４８】
ステップＳ５３において、適応処理回路１１７は、クラス分類回路１１６から供給されたクラスコードに対応するタップ係数を係数メモリ１１８から読み出し、そのタップ係数を予測タップブロック化回路１１１からの予測タップに乗算することで、注目画素の画素値（例えば、Ｒ、Ｇ、またはＢの画素値）を予測演算する。適応処理回路１１７は、予測演算により注目画素の画素値を求めて３板CCD出力相当の画像データを生成し、補正回路１０６に供給する。
【０１４９】
ステップＳ５４において、補間処理部１０５は、全てのブロックについてクラス分類適応処理が終了したか否かを判定する。
【０１５０】
ステップＳ５４において、全てのブロックについてクラス分類適応処理が終了していないと判定された場合、処理はステップＳ４５に戻り、それ以降の処理が繰り返される。
【０１５１】
これに対して、ステップＳ５４において、全てのブロックについてクラス分類適応処理が終了したと判定された場合、処理はステップＳ５５に進み、補正回路１０６は、適応処理回路１１７からの画像データに対して画像を視覚的に良く見せるための補正処理（いわゆる画像作り）を施し、補正処理が施された画像データをRGBマトリクス回路１０７に供給する。
【０１５２】
ステップＳ５６において、RGBマトリクス回路１０７は、必要に応じて、補正回路１０６から供給された画像データとしてのＲ、Ｇ、およびＢの各色信号をYUV方式の画像データに変換するなどの色空間の変換処理を行い、変換処理により得られた画像データを記録媒体インターフェース６３に供給し、画像信号処理は終了する。
【０１５３】
このようにして、画像信号処理回路５７は、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類して、注目画素の予測演算を行う。
【０１５４】
このように、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類することで、互いに相関の弱い色の画素を予測タップとして用いた場合においても、予測タップを構成する画素の各色同士の相関に基づくクラスに対応するタップ係数を用いて注目画素の画素値を予測することができ、画像の破綻を抑制することができる。これにより、単板のCCD５４から出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく生成することができる。
【０１５５】
しかも、クラス分類適応処理により、３板CCD出力相当の画像データとしてのＲの画像データ、Ｇの画像データ、およびＢの画像データを得ることができるので、エッジ部分や細部の鮮鋭度が増して、Ｓ／Ｎ評価値も向上させることができ、より鮮明な画像を得ることができる。なお、図７および図８に注目画素に対する予測タップおよびクラスタップの一例を示したが、予測タップまたはクラスタップを構成する画素の位置は任意であり、それぞれ最も効率のよいように定められる。
【０１５６】
また、以上においては、各色のエッジの方向および傾きに基づいて各色の相関の度合いを示す相関コードを生成すると説明したが、各色同士の相関の度合いを示す各色の相関係数を求めて、求められた相関係数に基づいて相関コードを生成するようにしてもよい。
【０１５７】
以下、図１０のフローチャートを参照して、相関係数に基づいて相関コードを生成する場合における画像信号処理について説明する。なお、ステップＳ８１の処理乃至ステップＳ８８の処理のそれぞれは、図６のステップＳ４１の処理乃至ステップＳ４８の処理のそれぞれと同様であるので、その説明は省略する。
【０１５８】
ステップＳ８９において、相関検出回路１１５は、相関検出ブロック化回路１１４から供給された画像データを基に、注目画素の位置における各色同士の相関の度合いを示す各色の相関係数を求める。
【０１５９】
例えば、注目画素の位置が、図９に示した画素Ｇ３３に対応する位置であり、注目画素のＲの画素値を予測する場合を考える。
【０１６０】
まず、相関検出回路１１５は、簡易的な３板CCD出力相当の画像データの注目画素の周囲のＮ個（但し、Ｎは整数）の画素のＲの画素値Ｒｉ’（１≦ｉ≦Ｎ）、Ｇの画素値Ｇｉ’（１≦ｉ≦Ｎ）、およびＢの画素値Ｂｉ’（１≦ｉ≦Ｎ）を基に、ＲとＧとの相関の度合いを示す相関係数ＣＲＧ、およびＲとＢとの相関の度合いを示す相関係数ＣＲＢを、それぞれ式（９）および式（１０）を計算することによって求める。
【０１６１】
【数１】
0004730106.tif 000002
・・・（９）
【０１６２】
【数２】
0004730106.tif 000003
・・・（１０）
【０１６３】
ここで、式（９）または式（１０）において、ＲＡ’、ＧＡ’、およびＢＡ’のそれぞれは、Ｎ個の画素値Ｒｉ’、Ｇｉ’、およびＢｉ’のそれぞれの平均値を表している。また、σＲ、σＧ、およびσＢのそれぞれは、Ｎ個の画素値Ｒｉ’、Ｇｉ’、およびＢｉ’のそれぞれの標準偏差を表しており、σＲ、σＧ、およびσＢは、それぞれ式（１１）、式（１２）、および式（１３）により表される。
【０１６４】
【数３】
0004730106.tif 000004
・・・（１１）
【０１６５】
【数４】
0004730106.tif 000005
・・・（１２）
【０１６６】
【数５】
0004730106.tif 000006
・・・（１３）
【０１６７】
また、式（９）および式（１０）における注目画素の周囲のＮ個の画素のＲの画素値Ｒｉ’、Ｇの画素値Ｇｉ’、およびＢの画素値Ｂｉ’のそれぞれは、例えば、図９における画素Ｇ１１乃至画素Ｇ５５の２５個の画素のそれぞれの位置に対応する位置の簡易的な３板CCD出力相当の画像データの画素のＲの画素値Ｒ１１’乃至画素値Ｒ５５’、Ｇの画素値Ｇ１１’乃至画素値Ｇ５５’、およびＢの画素値Ｂ１１’乃至画素値Ｂ５５’のそれぞれとすることができる。
【０１６８】
同様に、注目画素のＧの画素値を予測する場合、相関検出回路１１５は、簡易的な３板CCD出力相当の画像データの注目画素の周囲の画素の画素値を基に、ＲとＧとの相関の度合いを示す相関係数ＣＲＧ、およびＧとＢとの相関の度合いを示す相関係数ＣＧＢを求める。なお、相関係数ＣＧＢは、式（９）におけるＲｉ’、ＲＡ’、およびσＲのそれぞれを、Ｂｉ’、ＢＡ’、およびσＢのそれぞれに置き換えた式を計算することにより求めることができる。
【０１６９】
また、注目画素のＢの画素値を予測する場合、相関検出回路１１５は、簡易的な３板CCD出力相当の画像データの注目画素の周囲の画素の画素値を基に、ＲとＢとの相関の度合いを示す相関係数ＣＲＢ、およびＧとＢとの相関の度合いを示す相関係数ＣＧＢを求める。
【０１７０】
各色の相関係数が求められると、ステップＳ９０において、相関検出回路１１５は、各色の相関係数を基に、注目画素の位置における各色の相関の度合いを示す相関コードを生成し、クラス分類回路１１６に供給する。
【０１７１】
例えば、注目画素の位置が、図９に示した画素Ｇ３３の位置に対応する位置であり、注目画素のＲの画素値を求める場合を考える。
【０１７２】
この場合、まず、相関検出回路１１５はＲとＧとの相関を検出する。相関検出回路１１５は、ＲとＧとの相関の度合いを示す相関係数ＣＲＧの符号（相関係数ＣＲＧが正であるか負であるかを示す符号）が正である場合、ＲとＧとは相関があるとする。そして、相関検出回路１１５はＲとＧとの相関を示す情報として、ＲとＧとは相関があることを示す１ビットの情報を生成する。
【０１７３】
これに対して、相関係数ＣＲＧの符号が負である場合、相関検出回路１１５はＲとＧとは相関がないとする。そして、相関検出回路１１５はＲとＧとの相関を示す情報として、ＲとＧとは相関がないことを示す１ビットの情報を生成する。
【０１７４】
次に、相関検出回路１１５はＲとＢとの相関を検出する。相関検出回路１１５は、ＲとＢとの相関の度合いを示す相関係数ＣＲＢの符号が正である場合、ＲとＢとは相関があるとする。そして、相関検出回路１１５はＲとＢとの相関を示す情報として、ＲとＢとは相関があることを示す１ビットの情報を生成する。
【０１７５】
これに対して、相関係数ＣＲＢの符号が負である場合、相関検出回路１１５はＲとＢとは相関がないとする。そして、相関検出回路１１５はＲとＢとの相関を示す情報として、ＲとＢとは相関がないことを示す１ビットの情報を生成する。
【０１７６】
ＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が生成されると、相関検出回路１１５は、それぞれ１ビットのＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１７７】
なお、注目画素のＧの画素値を求める場合、相関検出回路１１５は、ＧとＲとの相関を示す１ビットの情報、およびＧとＢとの相関を示す１ビットの情報を生成して、ＧとＲとの相関を示す情報およびＧとＢとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１７８】
同様に、注目画素のＢの画素値を求める場合、相関検出回路１１５は、ＢとＲとの相関を示す１ビットの情報、およびＢとＧとの相関を示す１ビットの情報を生成して、ＢとＲとの相関を示す情報およびＢとＧとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路１１６に供給する。
【０１７９】
また、２ビットの相関コードが生成されると説明したが、例えば、１ビットの相関コードを生成するようにしてもよい。この場合、Ｒ、Ｇ、およびＢの各色のうち、予測する色と、その色とは異なる１つの色との相関を示す情報が相関コードとされる。例えば、注目画素のＲの画素値を求めるとき、ＲとＧとの相関を示す情報、またはＲとＢとの相関を示す情報が相関コードとされる。
【０１８０】
ステップＳ９０において、相関コードが生成されると、その後、ステップＳ９１の処理乃至ステップＳ９５の処理のそれぞれが行われるが、これらの処理は図６のステップＳ５２の処理乃至ステップＳ５６の処理のそれぞれと同様であるので、その説明は省略する。
【０１８１】
このようにして、画像信号処理回路５７は、各色同士の相関の度合いを示す相関係数を求め、相関係数に基づいて相関コードを生成する。そして、画像信号処理回路５７は、相関コードと、クラスタップとに基づいて注目画素をクラスに分類して、注目画素の予測演算を行う。
【０１８２】
このように、相関係数を求め、相関係数に基づいて相関コードを生成し、相関コードと、クラスタップとに基づいて注目画素をクラスに分類することで、互いに相関の弱い色の画素を予測タップとして用いた場合においても、予測タップを構成する画素の各色同士の相関に基づくクラスに対応するタップ係数を用いて注目画素の画素値を予測することができ、画像の破綻を抑制することができる。これにより、単板のCCD５４から出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく生成することができる。
【０１８３】
次に、図５の適応処理回路１１７における予測演算と、係数メモリ１１８に記憶されたタップ係数の学習について説明する。
【０１８４】
例えば、クラス分類適応処理として、単板のCCD５４から出力された画像データから予測タップを抽出し、その予測タップとタップ係数とを用いて、３板CCD出力相当の画像の画素（以下、適宜、高画質画素と称する）の画素値を所定の予測演算によって求める（予測する）ことを考える。
【０１８５】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、式（１４）に示す線形１次式によって求められることになる。
【０１８６】
【数６】
0004730106.tif 000007
・・・（１４）
【０１８７】
但し、式（１４）において、ｘiは、高画質画素の画素値ｙについての予測タップを構成する、ｉ番目の単板のCCD５４から出力された画像データの画素（以下、適宜、低画質画素と称する）の画素値を表し、ｗiは、ｉ番目の低画質画素（の画素値）と乗算されるｉ番目のタップ係数を表す。なお、式（１４）では、予測タップがＮ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１８８】
ここで、高画質画素の画素値ｙは、式（１４）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって高画質画素の画素値を求めるようにしてもよい。
【０１８９】
いま、第ｓサンプルの高画質画素の画素値の真値をｙsと表すとともに、式（１４）によって得られるその真値ｙsの予測値をｙs'と表すと、その予測誤差ｅsは、次式（１５）で表される。
【０１９０】
ｅs＝（ｙs−ｙs'）                                              ・・・（１５）
【０１９１】
いま、式（１５）の予測値ｙs'は、式（１４）にしたがって求められるため、式（１５）のｙs'を、式（１４）にしたがって置き換えると、次式（１６）が得られる。
【０１９２】
【数７】
0004730106.tif 000008
・・・（１６）
【０１９３】
但し、式（１６）において、ｘs,iは、第ｓサンプルの高画質画素についての予測タップを構成するi番目の低画質画素を表す。
【０１９４】
式（１６）（または式（１５））の予測誤差ｅsを０とするタップ係数ｗiが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗiを求めることは、一般には困難である。
【０１９５】
そこで、タップ係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗiは、次式（１７）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１９６】
【数８】
0004730106.tif 000009
・・・（１７）
【０１９７】
但し、式（１７）において、Ｓは、高画質画素ｙsと、その高画質画素ｙsについての予測タップを構成する低画質画素ｘs,1，ｘs,2，・・・，ｘs,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１９８】
式（１７）の自乗誤差の総和Ｅの最小値（極小値）は、式（１８）に示すように、総和Ｅをタップ係数ｗiで偏微分したものを０とするｗiによって与えられる。
【０１９９】
【数９】
0004730106.tif 000010
・・・（１８）
【０２００】
一方、上述の式（１６）をタップ係数ｗiで偏微分すると、次式（１９）が得られる。
【０２０１】
【数１０】
0004730106.tif 000011
・・・（１９）
【０２０２】
式（１８）および式（１９）から、次式（２０）が得られる。
【０２０３】
【数１１】
0004730106.tif 000012
・・・（２０）
【０２０４】
式（２０）のｅsに、式（１６）を代入することにより、式（２０）は、式（２１）に示す正規方程式で表すことができる。
【０２０５】
【数１２】
0004730106.tif 000013
・・・（２１）
【０２０６】
また、Ｘi,j，Ｙiをそれぞれ式（２２）および式（２３）により定義すると（但し、１≦ｉ≦Ｎ，１≦ｊ≦Ｎ）、式（２１）は、式（２４）により表すことができる。
【０２０７】
【数１３】
0004730106.tif 000014
・・・（２２）
【０２０８】
【数１４】
0004730106.tif 000015
・・・（２３）
【０２０９】
【数１５】
0004730106.tif 000016
・・・（２４）
【０２１０】
式（２４）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗiについて解くことができる。
【０２１１】
式（２４）の正規方程式を、クラスごとに立てて解くことにより、最適なタップ係数ｗi（ここでは、自乗誤差の総和Ｅを最小にするタップ係数ｗi）を、クラスごとに求めることができる。
【０２１２】
図５の補間処理部１０５では、以上のようなクラスごとのタップ係数ｗiを用いて、式（１４）の演算を行うことにより、単板のCCD５４から出力された画像データから、３板CCD出力相当の画像データを得ることができる。
【０２１３】
次に、図１１は、式（２４）の正規方程式をクラスごとに立てて解くことによりタップ係数ｗiを求める学習を行う学習装置の構成例を示している。
【０２１４】
学習装置２０１は、間引き回路２１１、ADRCブロック化回路２１２、ADRC処理回路２１３、相関検出ブロック化回路２１４、相関検出回路２１５、クラス分類回路２１６、予測タップブロック化回路２１７、教師画像ブロック化回路２１８、演算回路２１９、学習データメモリ２２０、演算回路２２１、および係数メモリ２２２から構成される。
【０２１５】
この学習装置２０１には、タップ係数ｗiの学習に用いられる３板CCD出力相当の画像データ（以下、教師画像データとも称する）が入力されるようになされている。学習装置２０１において、教師画像データは間引き回路２１１および教師画像ブロック化回路２１８に供給される。
【０２１６】
間引き回路２１１は、教師画像データから、色フィルタアレイの各色の配置にしたがって画素を間引く間引き処理を行う。この間引き処理は、撮像装置４１（図３）のCCD５４の前面に配置される色フィルタアレイ５３（光学ローパスフィルタ）を想定したフィルタをかけることによって行う。
【０２１７】
また、間引き回路２１１は、教師画像データに対して間引き処理を施すことによって得られた、単板CCD出力相当の画像データ（以下、生徒画像データとも称する）をADRCブロック化回路２１２、相関検出ブロック化回路２１４、および予測タップブロック化回路２１７に供給する。
【０２１８】
ADRCブロック化回路２１２は、教師画像データにおける注目画素との対応をとりながら、間引き回路２１１から供給された生徒画像データから、生徒画像データを構成する画素のうちの所定の画素をクラスタップとして抽出する。また、ADRCブロック化回路２１２は、抽出したクラスタップをADRC処理回路２１３に供給する。
【０２１９】
ADRC処理回路２１３は、ADRCブロック化回路２１２から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類回路２１６に供給する。
【０２２０】
相関検出ブロック化回路２１４は、間引き回路２１１から供給された生徒画像データに対して簡易的な補間処理を施し、簡易的な３板CCD出力相当の画像データを生成する。また、相関検出ブロック化回路２１４は、生成した画像データを相関検出回路２１５に供給する。
【０２２１】
相関検出回路２１５は、相関検出ブロック化回路２１４から供給された画像データを基に、画像データの画素の各色の相関の度合いを検出し、各色の相関の度合いを示す相関コードをクラス分類回路２１６に供給する。
【０２２２】
クラス分類回路２１６は、ADRC処理回路２１３からのクラスタップ、および相関検出回路２１５からの相関コードに基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコード（クラス番号）を演算回路２１９に供給する。
【０２２３】
予測タップブロック化回路２１７は、教師画像データにおける注目画素との対応をとりながら、間引き回路２１１から供給された生徒画像データから、生徒画像データを構成する画素のうちの所定の画素を予測タップとして抽出する。また、予測タップブロック化回路２１７は、抽出した予測タップを演算回路２１９に供給する。
【０２２４】
教師画像ブロック化回路２１８は、生徒画像データにおけるクラスタップとの対応を取りながら、教師画像データを構成する画素を順次、注目画素とし、教師画像データから注目画素（の画素値）を抽出して演算回路２１９に供給する。
【０２２５】
演算回路２１９は、教師画像ブロック化回路２１８から供給された注目画素と、予測タップブロック化回路２１７からの予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類回路２１６からのクラスコードにしたがって行う。
【０２２６】
すなわち、演算回路２１９には、教師画像データの注目画素の画素値ｙs、予測タップ（を構成する生徒画像データの画素の画素値）ｘs,i、注目画素のクラスを表すクラスコードが供給される。
【０２２７】
そして、演算回路２１９はクラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘs,iを用い、式（２１）の左辺の行列における生徒画像データどうしの乗算（ｘs,iｘs,i）、およびその乗算された値の総和の演算に相当する演算を行う。
【０２２８】
さらに、演算回路２１９は、クラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘs,iおよび教師画像データｙsを用い、式（２１）の右辺のベクトルにおける生徒画像データｘs,iおよび教師画像データｙsの乗算（ｘs,iｙs）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０２２９】
すなわち、演算回路２１９は、前回、注目画素とされた教師画像データについて求められた式（２１）における左辺の行列のコンポーネント（Σｘs,iｘs,i）と、右辺のベクトルのコンポーネント（Σｘs,iｙs）を記憶しており、その行列のコンポーネント（Σｘs,iｘs,i）またはベクトルのコンポーネント（Σｘs,iｙs）に対して、新たに注目画素とされた教師画像データについて、その教師画像データｙs+1および生徒データｘs+1,iを用いて計算される、対応するコンポーネントｘs+1,iｘs+1,iまたはｘs+1,iｙs+1を足し込む（式（２１）のΣで表される加算を行う）。
【０２３０】
そして、演算回路２１９は、教師画像データの全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２１）に示した正規方程式を立てる（生成する）と、その正規方程式を学習データメモリ２２０に供給する。
【０２３１】
学習データメモリ２２０は、演算回路２１９による足し込みによって得られた正規方程式（のマトリクス係数）を逐次読み込んで記憶する。また、学習データメモリ２２０は、記憶している正規方程式を演算回路２２１に供給する。
【０２３２】
演算回路２２１は、学習データメモリ２２０から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗiを求めて係数メモリ２２２に供給する。係数メモリ２２２は、演算回路２２１から供給された各クラスのタップ係数ｗiを記憶する。
【０２３３】
次に、図１２のフローチャートを参照して、学習装置２０１による学習処理について説明する。この学習処理は、学習装置２０１の間引き回路２１１および教師画像ブロック化回路２１８に、教師画像データとしての３板CCD出力相当の画像データが供給されると開始される。
【０２３４】
ステップＳ１２１において、間引き回路２１１は、教師画像データから画素を間引き、生徒画像データとしての単板CCD出力相当の画像データを生成し、ADRCブロック化回路２１２、相関検出ブロック化回路２１４、および予測タップブロック化回路２１７に供給する。
【０２３５】
ステップＳ１２２において、ADRCブロック化回路２１２は、間引き回路２１１から供給された生徒画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックからクラスタップを抽出する。ADRCブロック化回路２１２は、抽出したクラスタップをADRC処理回路２１３に供給する。
【０２３６】
ステップＳ１２３において、ADRC処理回路２１３は、ADRCブロック化回路２１２から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類回路２１６に供給する。
【０２３７】
ステップＳ１２４において、相関検出ブロック化回路２１４は、間引き回路２１１から供給された生徒画像データに対して簡易的な補間処理を施し、簡易的な３板CCD出力相当の画像データを生成する。相関検出ブロック化回路２１４は、生成した画像データを相関検出回路２１５に供給する。
【０２３８】
例えば、相関検出ブロック化回路２１４は、図９を参照して説明したように、線形補間処理により簡易的な３板CCD出力相当の画像データを生成する。
【０２３９】
ステップＳ１２５において、相関検出回路２１５は、相関検出ブロック化回路２１４から供給された画像データを基に、注目画素の位置における各色のエッジ（境界）の方向を求める。例えば、相関検出回路２１５は、上述したように、各色の画素値の差分和を求め、求めた差分和の大小関係に基づいて、Ｒのエッジの方向ＤＩ（Ｒ）、Ｇのエッジの方向ＤＩ（Ｇ）、およびＢのエッジの方向ＤＩ（Ｂ）のそれぞれを求める。
【０２４０】
ステップＳ１２６において、相関検出回路２１５は、注目画素の位置における各色のエッジの傾きを求める。例えば、相関検出回路２１５は、上述したように、Ｒのエッジの方向ＤＩ（Ｒ）、Ｇのエッジの方向ＤＩ（Ｇ）、およびＢのエッジの方向ＤＩ（Ｂ）のそれぞれの値に基づいて、Ｒのエッジの傾きＳＬ（Ｒ）、Ｇのエッジの傾きＳＬ（Ｇ）、およびＢのエッジの傾きＳＬ（Ｂ）のそれぞれを求める。
【０２４１】
ステップＳ１２７において、相関検出回路２１５は、各色のエッジの方向ＤＩ（Ｒ）、ＤＩ（Ｇ）、およびＤＩ（Ｂ）と、各色のエッジの傾きＳＬ（Ｒ）、ＳＬ（Ｇ）、およびＳＬ（Ｂ）とを基に、注目画素の位置における各色の相関の度合いを示す相関コードを生成し、クラス分類回路２１６に供給する。
【０２４２】
例えば、注目画素のＲの画素値を求める場合、まず、相関検出回路２１５はＲとＧとの相関を検出する。Ｒのエッジの方向ＤＩ（Ｒ）と、Ｇのエッジの方向ＤＩ（Ｇ）とが等しく、かつＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｇのエッジの傾きＳＬ（Ｇ）の符号とが等しい場合、相関検出回路２１５は、ＲとＧとは相関があるとする。そして、相関検出回路２１５はＲとＧとの相関を示す情報として、ＲとＧとは相関があることを示す１ビットの情報を生成する。
【０２４３】
これに対して、Ｒのエッジの方向ＤＩ（Ｒ）と、Ｇのエッジの方向ＤＩ（Ｇ）とが等しくないか、またはＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｇのエッジの傾きＳＬ（Ｇ）の符号とが等しくない場合、相関検出回路２１５は、ＲとＧとは相関がないとする。そして、相関検出回路２１５はＲとＧとの相関を示す情報として、ＲとＧとは相関がないことを示す１ビットの情報を生成する。
【０２４４】
次に、相関検出回路２１５はＲとＢとの相関を検出する。Ｒのエッジの方向ＤＩ（Ｒ）と、Ｂのエッジの方向ＤＩ（Ｂ）とが等しく、かつＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｂのエッジの傾きＳＬ（Ｂ）の符号とが等しい場合、相関検出回路２１５は、ＲとＢとは相関があるとする。そして、相関検出回路２１５はＲとＢとの相関を示す情報として、ＲとＢとは相関があることを示す１ビットの情報を生成する。
【０２４５】
これに対して、Ｒのエッジの方向ＤＩ（Ｒ）と、Ｂのエッジの方向ＤＩ（Ｂ）とが等しくないか、またはＲのエッジの傾きＳＬ（Ｒ）の符号と、Ｂのエッジの傾きＳＬ（Ｂ）の符号とが等しくない場合、相関検出回路２１５は、ＲとＢとは相関がないとする。そして、相関検出回路２１５はＲとＢとの相関を示す情報として、ＲとＢとは相関がないことを示す１ビットの情報を生成する。
【０２４６】
ＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が生成されると、相関検出回路２１５は、それぞれ１ビットのＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路２１６に供給する。
【０２４７】
ステップＳ１２８において、クラス分類回路２１６は、ADRC処理回路２１３からのクラスタップ、および相関検出回路２１５からの相関コードに基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコードを演算回路２１９に供給する。例えば、クラス分類回路２１６は、ADRCコードおよび相関コードが順番に並べられたビット列をクラスコードとして演算回路２１９に供給する。
【０２４８】
ステップＳ１２９において、予測タップブロック化回路２１７は、間引き回路２１１から供給された生徒画像データをｐ×ｑ個（但し、ｐおよびｑは正の整数）のブロックに分割し、分割された各ブロックから予測タップを抽出する。予測タップブロック化回路２１７は、抽出した予測タップを演算回路２１９に供給する。
【０２４９】
ステップＳ１３０において、教師画像ブロック化回路２１８は、生徒画像データにおけるクラスタップとの対応を取りながら、教師画像データを構成する画素を順次、注目画素とし、教師画像データから注目画素（のＲ、Ｇ、およびＢの画素値）を抽出して演算回路２１９に供給する。
【０２５０】
ステップＳ１３１において、演算回路２１９は、教師画像ブロック化回路２１８から供給された注目画素と、予測タップブロック化回路２１７からの予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス分類回路２１６からのクラスコードに対応するクラスについて立てられた式（２１）により示される正規方程式への足し込みを行う。
【０２５１】
ステップＳ１３２において、演算回路２１９は全てのブロックについて足し込みを行ったか否かを判定する。
【０２５２】
ステップＳ１３２において、全てのブロックについて足し込みを行っていないと判定された場合、処理はステップＳ１３１に戻り、まだ足し込みが行われていないブロックについて足し込みが行われる。
【０２５３】
これに対して、ステップＳ１３２において、全てのブロックについて足し込みを行ったと判定された場合、演算回路２１９は、各クラスについて立てた正規方程式を学習データメモリ２２０に供給して記憶させる。そして、学習データメモリ２２０は、記憶している正規方程式を演算回路２２１に供給し、処理はステップＳ１３３に進む。
【０２５４】
ステップＳ１３３において、演算回路２２１は、学習データメモリ２２０から供給されたクラスごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスのタップ係数ｗiを求めて係数メモリ２２２に供給する。これにより、各クラスのＲの画素値、Ｇの画素値、およびＢの画素値のそれぞれを予測するために用いられるタップ係数ｗiのそれぞれが求められる。
【０２５５】
ステップＳ１３４において、演算回路２２１は、全てのクラスについてタップ係数ｗiを求めたか否かを判定する。
【０２５６】
ステップＳ１３４において、全てのクラスについてタップ係数ｗiを求めていないと判定された場合、処理はステップＳ１３３に戻り、まだタップ係数ｗiが求められていないクラスの正規方程式が解かれてタップ係数ｗiが求められる。
【０２５７】
これに対して、ステップＳ１３４において、全てのクラスについてタップ係数ｗiを求めたと判定された場合、処理はステップＳ１３５に進み、係数メモリ２２２は、演算回路２２１から供給された各クラスのタップ係数ｗiを記憶し、学習処理は終了する。
【０２５８】
図５の係数メモリ１１８には、以上のようにして求められた複数セットのクラスごとのタップ係数ｗiが記憶されている。
【０２５９】
このようにして、学習装置２０１は、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類して、各クラスのタップ係数ｗiを求める。
【０２６０】
このように、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類して各クラスのタップ係数ｗiを求めることで、より精度よくクラス分類適応処理を行うためのタップ係数ｗiを求めることができる。これにより、求められたタップ係数ｗiを用いてクラス分類適応処理を行った場合、画像の破綻を抑制することができ、単板CCDから出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく得ることができる。
【０２６１】
また、以上においては、各色のエッジの方向および傾きに基づいて各色の相関の度合いを示す相関コードを生成すると説明したが、各色同士の相関の度合いを示す各色の相関係数を求めて、求められた相関係数に基づいて相関コードを生成するようにしてもよい。
【０２６２】
以下、図１３のフローチャートを参照して、相関係数に基づいて相関コードを生成する場合における学習処理について説明する。なお、ステップＳ１６１の処理乃至ステップＳ１６４の処理のそれぞれは、図１２のステップＳ１２１の処理乃至ステップＳ１２４の処理のそれぞれと同様であるので、その説明は省略する。
【０２６３】
ステップＳ１６５において、相関検出回路２１５は、相関検出ブロック化回路２１４から供給された画像データを基に、注目画素の位置における各色同士の相関の度合いを示す各色の相関係数を求める。例えば、注目画素のＲの画素値を予測するためのタップ係数ｗiを求める場合、相関検出回路２１５は、式（９）および式（１０）を計算して、ＲとＧとの相関の度合いを示す相関係数ＣＲＧ、およびＲとＢとの相関の度合いを示す相関係数ＣＲＢを求める。
【０２６４】
ステップＳ１６６において、相関検出回路２１５は、各色の相関係数を基に注目画素の位置における各色の相関の度合いを示す相関コードを生成し、クラス分類回路２１６に供給する。
【０２６５】
例えば、注目画素のＲの画素値を予測するためのタップ係数ｗiを求める場合、相関検出回路２１５は、ＲとＧとの相関の度合いを示す相関係数ＣＲＧの符号に基づいて、ＲとＧとの相関を示す１ビットの情報を生成する。そして、相関検出回路２１５は、ＲとＢとの相関の度合いを示す相関係数ＣＲＢの符号に基づいて、ＲとＢとの相関を示す１ビットの情報を生成する。
【０２６６】
そして、相関検出回路２１５は、それぞれ１ビットのＲとＧとの相関を示す情報、およびＲとＢとの相関を示す情報が順番に並べられたビット列を相関コードとして、クラス分類回路２１６に供給する。
【０２６７】
なお、２ビットの相関コードが生成されると説明したが、例えば、１ビットの相関コードを生成するようにしてもよい。この場合、Ｒ、Ｇ、およびＢの各色のうち、予測する色と、その色とは異なる１つの色との相関を示す情報が相関コードとされる。例えば、注目画素のＲの画素値を求めるとき、ＲとＧとの相関を示す情報、またはＲとＢとの相関を示す情報が相関コードとされる。
【０２６８】
ステップＳ１６６において、相関コードが生成されると、その後、ステップＳ１６７の処理乃至ステップＳ１７４の処理のそれぞれが行われるが、これらの処理は図１２のステップＳ１２８の処理乃至ステップＳ１３５の処理のそれぞれと同様であるので、その説明は省略する。
【０２６９】
このようにして、学習装置２０１は、各色同士の相関の度合いを示す相関係数を求め、相関係数に基づいて相関コードを生成する。そして、学習装置２０１は、相関コードと、クラスタップとに基づいて注目画素をクラスに分類して、各クラスのタップ係数ｗiを求める。
【０２７０】
このように、各色同士の相関の度合いを示す相関係数を求め、相関係数に基づいて相関コードを生成し、相関コードと、クラスタップとに基づいて注目画素をクラスに分類して、各クラスのタップ係数ｗiを求めることで、より精度よくクラス分類適応処理を行うためのタップ係数ｗiを求めることができる。これにより、求められたタップ係数ｗiを用いてクラス分類適応処理を行った場合、画像の破綻を抑制することができ、単板CCDから出力された画像データから、より高精細な３板CCD出力相当の画像データをより精度よく得ることができる。
【０２７１】
なお、以上においては、光の原色（Ｒ、Ｇ、Ｂ）成分を透過させる色フィルタアレイ５３の例として、図１４Ａに示すベイヤー配列を用いるようにしたが、この他、図１４Ｂに示すインタライン配列、図１４Ｃに示すＧストライプＲＢ市松配列、図１４Ｄに示すＧストライプＲＢ完全市松配列、または図１４Ｅに示す原色色差配列などとすることができる。
【０２７２】
図１４Ｂに示すインタライン配列では、Ｇの色のフィルタが市松状に配置され、各行の残りの部分にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。
【０２７３】
また、図１４Ｃに示すＧストライプＲＢ市松配列では、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタまたはＢの色のフィルタは、横方向にＧの色のフィルタを介して同じ色のフィルタと隣接するように配置されている。
【０２７４】
さらに、図１４Ｄに示すＧストライプＲＢ完全市松配列では、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタおよびＢの色のフィルタは、横方向にＧの色のフィルタを介して、Ｂの色のフィルタおよびＲの色のフィルタと隣接するように配置されている。
【０２７５】
さらに、また、図１４Ｅに示す原色色差配列では、１行目乃至３行目までは、Ｇの色のフィルタが一列おきに図中、縦方向に並べられて配置され、残りの列の縦方向にＲの色のフィルタおよびＢの色のフィルタが交互に配置されている。このとき、各列のＲの色のフィルタおよびＢの色のフィルタは、横方向にＧの色のフィルタを介して同じ色のフィルタと隣接するように配置されている。そして、４行目は、Ｒの色のフィルタおよびＧの色のフィルタが交互に配置されている。
【０２７６】
また、色フィルタアレイ５３を原色フィルタではなく、補色フィルタとすることもできる。この場合、撮像により得られた画像データの各画素は、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、および緑（Ｇ）のうちのいずれか１つの値を有することになる。
【０２７７】
さらに、以上においては、単板CCD出力相当の画像データから、同じ解像度の３板CCD出力相当の画像データを生成する例について説明したが、単板CCD出力相当の画像データから、ｎ倍の解像度の３板CCD出力相当の画像データを生成することも可能である。
【０２７８】
また、例えば、単板CCD出力相当の画像データから、４倍の解像度の３板CCD出力相当の画像データを生成するためのタップ係数を求める場合、学習装置２０１には、図１５Ａに示すような、Ｒの画像データ、Ｇの画像データ、およびＢの画像データからなる３板CCD出力相当の画像データが入力され、教師画像データとされる。
【０２７９】
そして、図１５Ａに示した３板CCD出力相当の画像データは、間引き回路２１１においてローパスフィルタにより間引かれて、図１５Ｂに示すように、１／４の解像度の画像データとされる。図１５Ｂに示すＲの画像データ、Ｇの画像データ、およびＢの画像データのそれぞれは、図１５Ａに示すＲの画像データ、Ｇの画像データ、およびＢの画像データのそれぞれの１／４の解像度の画像データとなっている。
【０２８０】
さらに、図１５Ｂに示した画像データは、間引き回路２１１においてさらに間引かれて、図１５Ｃに示すように単板CCD出力相当のベイヤー配列の画像データとされ、この単板CCD出力相当の画像データが生徒画像データとされる。
【０２８１】
さらに、図１６Ａに示すように、単板CCD出力相当の画像データの画素における面積の等しい４つの領域のそれぞれの位置に対応する画素のそれぞれが注目画素とされ、それぞれの注目画素の画素値を求めるためのタップ係数が求められる。
【０２８２】
図１６Ａでは、単板CCD出力相当の画像データの画素のうち、矢印Ｋ４１により示されるＧの画素における面積の等しい４つの領域の位置に対応する画素が、それぞれ注目画素２５１−１乃至注目画素２５１−４とされる。また、ここで、注目画素２５１−１乃至注目画素２５１−４のそれぞれに対する予測タップは、例えば、矢印Ｋ４１により示されるＧの画素を中心とする３×３個の画素とされている。
【０２８３】
そして、図１６Ｂに示すように、３板CCD出力相当の画像データの注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値、Ｇの画素値、およびＢの画素値と、予測タップとを基に、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値を予測するためのタップ係数のそれぞれ、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値を予測するためのタップ係数のそれぞれ、および注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値を予測するためのタップ係数のそれぞれの計１２個のタップ係数が求められる。
【０２８４】
この場合、演算回路２１９は、式（２４）に対応する各クラスのＲ、Ｇ、およびＢの色成分ごとに式（２５）、式（２６）、および式（２７）に示される正規方程式を立てて足しこみを行う。
【０２８５】
【数１６】
0004730106.tif 000017
・・・（２５）
【０２８６】
【数１７】
0004730106.tif 000018
・・・（２６）
【０２８７】
【数１８】
0004730106.tif 000019
・・・（２７）
【０２８８】
ここで、式（２５）におけるｗr1,i、ｗr2,i、ｗr3,i、およびｗr4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。
【０２８９】
また、式（２５）におけるＲ1,i、Ｒ2,i、Ｒ3,i、およびＲ4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（２３）に示したΣｘs,iｙsにおける画素値ｙsを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値としたものを表している。
【０２９０】
同様に、式（２６）におけるｗg1,i、ｗg2,i、ｗg3,i、およびｗg4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。
【０２９１】
また、式（２６）におけるＧ1,i、Ｇ2,i、Ｇ3,i、およびＧ4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（２３）に示したΣｘs,iｙsにおける画素値ｙsを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＧの画素値としたものを表している。
【０２９２】
さらに、式（２７）におけるｗb1,i、ｗb2,i、ｗb3,i、およびｗb4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値のそれぞれを予測するために用いられ、予測タップを構成するｉ番目の画素（の画素値）と乗算されるｉ番目のタップ係数のそれぞれを表している。
【０２９３】
また、式（２７）におけるＢ1,i、Ｂ2,i、Ｂ3,i、およびＢ4,iのそれぞれ（但し、１≦ｉ≦Ｎ）は、式（２３）に示したΣｘs,iｙsにおける画素値ｙsを、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＢの画素値としたものを表している。
【０２９４】
演算回路２２１は、このようにして立てられた式（２５）乃至式（２７）の正規方程式を解くことにより、注目画素２５１−１乃至注目画素２５１−４のそれぞれのＲの画素値、Ｇの画素値、およびＢの画素値のそれぞれを予測するための１２個のタップ係数を求める。
【０２９５】
また、これらのタップ係数を用いることにより、適応処理回路１１７は、単板CCD出力相当の画像データから、４倍の解像度の３板CCD出力相当の画像データ（４倍密の画像データ）を生成することができる。
【０２９６】
ところで、以上の実施の形態の効果を評価するため、発明者らは、シミュレーションを行った。３板CCD出力相当の画像から単板CCD出力相当の画像を作成し、上述した学習装置２０１が行う処理と同じ処理を行うアルゴリズムによりタップ係数を生成した。そして、単板CCD出力相当の画像を３板CCD出力相当の画像に変換する処理を、生成されたタップ係数を用いて、相関コードを用いたクラス分類を行うクラス分類適応処理により補間生成した。
【０２９７】
このようなシミュレーションの結果生成された３板CCD出力相当の画像と、従来のクラス分類適応処理を行って生成された３板CCD出力相当の画像とを比較して評価したところ、シミュレーションの結果生成された３板CCD出力相当の画像では、生成された全ての画像において、各色の相関の弱さにより生じる画像の破綻が改善されていることが確認された。このことから、相関コードを用いてクラス分類を行うクラス分類適応処理を行って３板CCD出力相当の画像を生成する方法は、従来のクラス分類適応処理を行って３板CCD出力相当の画像を生成する方法よりも優位性があるということができる。
【０２９８】
以上のように、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類することで、互いに相関の弱い色の画素を予測タップとして用いた場合においても、予測タップを構成する画素の各色同士の相関に基づくクラスに対応するタップ係数を用いて注目画素の画素値を予測することができ、画像の破綻を抑制することができる。これにより、より高精細な画像データをより精度よく生成することができる。
【０２９９】
また、各色の相関の度合いを示す相関コードと、クラスタップとに基づいて注目画素をクラスに分類して各クラスのタップ係数を求めることで、より精度よくクラス分類適応処理を行うためのタップ係数を求めることができる。これにより、求められたタップ係数を用いてクラス分類適応処理を行った場合、画像の破綻を抑制することができ、より高精細な画像データをより精度よく得ることができる。
【０３００】
なお、以上においては、抽出されたクラスタップにADRC処理を施すことにより、注目画素が分類されるクラスの数を削減したが、その他、DCT(Discrete Cosine Transform)、ＶＱ（Vector Quantization）（ベクトル量子化）、DPCM(Differential Pulse Code Modulation)、BTC(Block Trancation Coding)、非線形量子化などにより、注目画素が分類されるクラスの数を削減するようにしてもよい。
【０３０１】
また、画像データが、RGBのそれぞれを成分とするコンポーネント映像信号であるとして説明したが、その他、輝度Ｙ、色差Ｕ、および色差Ｖを成分とするコンポーネント映像信号とするようにしてもよい。さらに、画像データが、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、および緑（Ｇ）のうちの少なくともいずれか１つの値を各画素の画素値として有するようにしてもよい。
【０３０２】
さらに、画像データの画素の各色の相関の度合いを検出するために、簡易的な３板CCD出力相当の画像データを生成すると説明したが、簡易的な３板CCD出力相当の画像データを生成せずに、単板のCCDから出力された画像データを基に、各色の相関の度合いを検出するようにしてもよい。この場合、例えば、相関検出回路１１５がガンマ補正回路１０４から供給された画像データの画素の画素値を基に相関係数を求める。
【０３０３】
さらに、また、相関を示す情報としての各色同士の相関があるか否かを示す情報に基づいて相関コードを生成すると説明したが、相関があるか否かだけではなく、各色同士の相関の度合い（強さ）を示す情報を相関を示す情報として相関コードを生成するようにしてもよい。このように、各色同士の相関の度合いを示す情報（例えば、相関係数の値を示す情報）を相関を示す情報とすることによって、注目画素をより多くのクラスに分類することができ、より精度よくクラス分類適応処理を行うことができる。
【０３０４】
さらに、撮像素子としてCCDを用いて画像を撮像すると説明したが、画像を撮像する撮像素子として、その他、例えば、CMOS（Complementary Mental Oxide Semiconductor）などを用いることも可能である。
【０３０５】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３０６】
図１７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ３０１のCPU３１１は、ROM（Read Only Memory）３１２、または記録部３１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。
【０３０７】
CPU３１１にはまた、バス３１４を介して入出力インターフェース３１５が接続されている。入出力インターフェース３１５には、キーボード、マウス、マイクロホンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。
【０３０８】
入出力インターフェース３１５に接続されている記録部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記録する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３０９】
また、通信部３１９を介してプログラムを取得し、記録部３１８に記録してもよい。
【０３１０】
入出力インターフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３１８に転送され、記録される。
【０３１１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３３１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記録部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３１２】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３１３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３１４】
【図１】予測タップとして、異なる色の画素を用いた場合に生じる画像の破綻について説明するための図である。
【図２】単板CCDの出力から、３板CCD出力相当の画像データを得る原理を説明する図である。
【図３】撮像装置の構成例を示すブロック図である。
【図４】撮像処理を説明するフローチャートである。
【図５】画像信号処理回路の構成例を示すブロック図である。
【図６】画像信号処理を説明するフローチャートである。
【図７】予測タップの一例を示す図である。
【図８】クラスタップの一例を示す図である。
【図９】簡易的な３板CCD出力相当の画像データの生成について説明するための図である。
【図１０】相関係数に基づいて相関コードを生成する場合における画像信号処理を説明するフローチャートである。
【図１１】学習装置の構成例を示すブロック図である。
【図１２】学習処理を説明するフローチャートである。
【図１３】相関係数に基づいて相関コードを生成する場合における学習処理を説明するフローチャートである。
【図１４】色フィルタアレイの他の配列の例を示す図である。
【図１５】単板CCDの出力から、４倍の解像度の３板CCD出力相当の画像データを得るためのタップ係数を求める学習処理の原理を説明する図である。
【図１６】４倍の解像度の画像データを生成するタップ係数を求める場合における注目画素を説明するための図である。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３１５】
４１  撮像装置，  ５４  CCD，  ５７  画像信号処理回路，  ６５  記録媒体，  １１１  予測タップブロック化回路，  １１２  ADRCブロック化回路，  １１４  相関検出ブロック化回路，  １１５  相関検出回路，  １１６  クラス分類回路，  １１７  適応処理回路，  １１８  係数メモリ，  ２０１  学習装置，  ２１１  間引き回路，  ２１２  ADRCブロック化回路，  ２１４  相関検出ブロック化回路，  ２１５  相関検出回路，  ２１６  クラス分類回路，  ２１７  予測タップブロック化回路，  ２１９  演算回路，  ２２１  演算回路，  ３０１  パーソナルコンピュータ，  ３１１  CPU，  ３１２  ROM，  ３１３  RAM，  ３１８  記録部，  ３３１  リムーバブルメディア
【図１】
0004730106.tif 000020
【図２】
0004730106.tif 000021
【図３】
0004730106.tif 000022
【図４】
0004730106.tif 000023
【図５】
0004730106.tif 000024
【図６】
0004730106.tif 000025
【図７】
0004730106.tif 000026
【図８】
0004730106.tif 000027
【図９】
0004730106.tif 000028
【図１０】
0004730106.tif 000029
【図１１】
0004730106.tif 000030
【図１２】
0004730106.tif 000031
【図１３】
0004730106.tif 000032
【図１４】
0004730106.tif 000033
【図１５】
0004730106.tif 000034
【図１６】
0004730106.tif 000035
【図１７】
0004730106.tif 000036