複数の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に輝度成分の色情報を有する第2の画像に変換する画像処理方法であって、前記第1の画像の複数の色成分の色情報を用いて、零以上の可変な係数による加重加算することによって、前記第1の画像の表色系とは異なる色成分の第1の型の輝度成分の色情報を生成する第1の型の輝度情報生成手順と、前記第1の画像の1つの色成分の色情報を用いて、第1の画像の表色系と同じ色成分の第2の型の輝度成分の色情報を生成する第2の型の輝度情報生成手順と、前記第1の画像の色成分の色情報を用いて、色差成分の色情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、前記第1の型の輝度情報生成手順により生成された第1の型の輝度情報と前記第2の型の輝度情報生成手順により生成された第2の型の輝度情報とを、前記求めた色勾配に基づき、切り替えて用いるか、もしくは、加重合成することによって、輝度成分の色情報を合成する輝度情報合成手順とからなる。請求項1に記載の画像処理方法において、前記色差情報生成手順で生成された前記色差成分の色情報と前記輝度情報合成手順で合成された輝度成分の色情報を、前記第2の画像として出力する。請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の複数の色成分の色情報として、少なくとも対象画素位置の色成分の色情報を用いて、前記第1の型の輝度成分の色情報を生成する。請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の少なくとも3種類の色成分の色情報を加重加算することによって、前記第1の型の輝度成分の色情報を生成する。請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の複数の色成分の色情報を、一定の色成分比率で加重加算することによって、前記第1の型の輝度成分の色情報を生成する。しかしながら、国際公開第WO02/060186号による方法では、有彩色部における偽色に対して強力な対応ができないという問題があった。特に高ISO感度撮影画像の場合、偽色の振幅が増大することにより、色斑ノイズという形で有彩色部、無彩色部関係なく偽色が出現する。このような場合に、画像全体の偽色の除去が必ずしも十分になされないという問題が生じる可能性があった。本発明の第1の態様によると、複数の色成分からなる表色系で表され、1つの画素に1つの色成分の色情報を有する複数の画素からなる第1の画像を、複数の画素からなり各々の画素に輝度成分の色情報を有する第2の画像に変換する画像処理方法であって、前記第1の画像の複数の色成分の色情報を用いて、零以上の可変な係数による加重加算することによって、前記第1の画像の表色系とは異なる色成分の第1の型の輝度成分の色情報を生成する第1の型の輝度情報生成手順と、前記第1の画像の1つの色成分の色情報を用いて、第1の画像の表色系と同じ色成分の第2の型の輝度成分の色情報を生成する第2の型の輝度情報生成手順と、前記第1の画像の色成分の色情報を用いて、色差成分の色情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、前記第1の型の輝度情報生成手順により生成された第1の型の輝度情報と前記第2の型の輝度情報生成手順により生成された第2の型の輝度情報とを、前記求めた色勾配に基づき、切り替えて用いるか、もしくは、加重合成することによって、輝度成分の色情報を合成する輝度情報合成手順とからなる。本発明の第2の態様によると、請求項1に記載の画像処理方法において、前記色差情報生成手順で生成された前記色差成分の色情報と前記輝度情報合成手順で合成された輝度成分の色情報を、前記第2の画像として出力する。本発明の第3の態様によると、請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の複数の色成分の色情報として、少なくとも対象画素位置の色成分の色情報を用いて、前記第1の型の輝度成分の色情報を生成する。本発明の第4の態様によると、請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の少なくとも3種類の色成分の色情報を加重加算することによって、前記第1の型の輝度成分の色情報を生成する。本発明の第5の態様によると、請求項1に記載の画像処理方法において、前記第1の型の輝度情報生成手順は、前記第1の画像の複数の色成分の色情報を、一定の色成分比率で加重加算することによって、前記第1の型の輝度成分の色情報を生成する。-第1の実施の形態-電子カメラの構成図1は、第1の実施の形態における電子カメラの機能ブロック図である。電子カメラ1は、A/D変換部10、画像処理部11、制御部12、メモリ13、圧縮/伸長部14、表示画像生成部15を備える。また、メモリカードカード状のリムーバブルメモリ16とのインタフェースをとるメモリカード用インタフェース部17および所定のケーブルや無線伝送路を介してPCパーソナルコンピュータ18等の外部装置とのインタフェースをとる外部インタフェース部19を備える。これらの各ブロックはバス29を介して相互に接続される。画像処理部11は、例えば、画像処理専用の1チップマイクロプロセッサで構成される。電子カメラ1は、さらに、撮影光学系20、撮像素子21、アナログ信号処理部22、タイミング制御部23を備える。撮像素子21には撮影光学系20で取得された被写体の光学像が結像し、撮像素子21の出力はアナログ信号処理部22に接続される。アナログ信号処理部22の出力は、A/D変換部10に接続される。タイミング制御部23には制御部12の出力が接続され、タイミング制御部23の出力は、撮像素子21、アナログ信号処理部22、A/D変換部10、画像処理部11に接続される。撮像素子21は例えば単板式CCDなどで構成される。電子カメラ1は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部24およびモニタ25を備える。操作部24の出力は制御部12に接続され、モニタ25には表示画像生成部15の出力が接続される。なお、PC18には、モニタ26やプリンタ27等が接続されており、CD-ROM28に記録されたアプリケーションプログラムが予めインストールされている。また、PC18は、不図示のCPU、メモリ、ハードディスクの他に、メモリカード16とのインタフェースをとるメモリカード用インタフェース部不図示や所定のケーブルや無線伝送路を介して電子カメラ1等の外部装置とのインタフェースをとる外部インタフェース部不図示を備える。図1のような構成の電子カメラ1において、操作部24を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部12は、タイミング制御部23を介して、撮像素子21、アナログ信号処理部22、A/D変換部10に対するタイミング制御を行う。撮像素子21は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部22で所定の信号処理が行われ、A/D変換部10でディジタル化され、画像データとして、画像処理部11に供給される。本実施の形態の電子カメラ1では、撮像素子21において、R赤、G緑、B青のカラーフィルタがベイア配列されているので、画像処理部11に供給される画像データはRGB表色系で示される。画像データを構成する各々の画素には、RGBの何れか1つの色成分の色情報が存在することになる。画像処理部11は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮/伸長部14で所定の圧縮処理が施され、メモリカード用インタフェース部17を介してメモリカード16に記録される。なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード16に記録したり、PC18側のモニタ26やプリンタ27で採用されている表色系に変換して、外部インタフェース部19を介してPC18に供給しても良い。また、操作部24を介し、操作者によって再生モードが選択されると、メモリカード16に記録されている画像データは、メモリカード用インタフェース部17を介して読み出されて圧縮/伸長部12で伸長処理が施され、表示画像作成部15を介してモニタ25に表示される。なお、伸長処理が施された画像データは、モニタ25に表示せず、PC18側のモニタ26やプリンタ27で採用されている表色系に変換して、外部インタフェース部19を介してPC18に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ25、26やプリンタ27で採用されている表色系に変換する処理については、公知の技術によって実現できる。画像データの変換次に、撮像素子21を介して取得したRGB表色系の画像データを、高精細高画質な画像データに変換する処理を説明する。撮像素子21で撮像され、アナログ信号処理部22、A/D変換部10を介して画像処理部11に入力される画像データは、ベイア配列のRGB表色系で表され、前述した通り、1つの画素には1つの色成分しか含まれていない。すなわち、被写体のカラー像に関する情報がベイア配列に間引かれていると言える。以下、この画像データを変換前RGB画像データとも言う。この変換前RGB画像データを、各画素においてR成分、G成分、B成分を含む高精細高画質な画像データに変換する。すなわち、間引かれた画像データから、高精細高画質な画像データを生成、復元する。図2~図5は、変換前RGB画像データを説明する図である。図2~図5は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標をijで表す。図2は変換対象画素ijにR成分の色情報を有する場合を示し、図3は変換対象画素ijにB成分の色情報を有する場合を示す。図4は変換対象画素ijにG成分の色情報を有し、縦方向に隣接する画素にB成分の色情報を有し横方向に隣接する画素にR成分の色情報を有する場合を示し、図5は変換対象画素ijにG成分の色情報を有し、縦方向に隣接する画素にR成分の色情報を有し横方向に隣接する画素にB成分の色情報を有する場合を示している。変換前RGB画像データにおいて、R成分の色情報を有する画素をR画素、B成分の色情報を有する画素をB画素、G成分の色情報を有する画素をG画素と呼ぶことにする。図6は、画像処理部11が行う画像データ変換処理の概要を示すフローチャートである。図7は、処理の関係を説明するためのブロック図である。図6、図7を使用して、画像処理部11が行う第1の実施の形態の画像データ変換処理の概要を説明する。第1の実施の形態の画像データ変換処理は、統計的に被写体実在色の色変化率にくらべ、色モアレ、色斑ノイズ等の色変化率が非常に小さいという性質を利用して、色勾配を指標とした適応的偽色除去処理を行うものである。特に、ベイヤ補間内での適応的偽色除去をする。なお、各ステップの処理は、後にさらに詳細に説明する。ステップS11では、ベイア面図7の301、すなわち変換前RGB画像データを入力する。ステップS12において、類似度を算出して縦横方向判定を行う図7の302。ステップS13において、縦横方向判定に基づき、変換前RGB画像データの各色成分の色情報を使用して、Cr、Cb面、すなわち色差情報Cr、Cbをすべての画素において生成する図7の303。ステップS14では、色勾配を指標として区別するときに偽色の境界が色境界と誤認定されないように仮色差補正を行う図7の304。ステップS15では、色差情報Cr、Cbを使用して色勾配解析を行う図7の305。ステップS16では、色勾配の大きさに応じて、色差補正処理をするか否かを切り替える図7の306。ステップS16の色差補正を適応的色差補正と言う。ここで、適応的とは、必要に応じて適切にという意味である。適応的色差補正とは、条件によって補正をしたり、補正をしなかったり等することにより、適切に色差補正をするこという。ステップS17において、ステップS12の方向判定結果に基づき、G面生成を行う図7の307。すなわち、すべての画素において、G色成分の色情報を補間処理により生成する。ステップS18において、ステップS16のCr、Cb面とステップS17のG面とに基づき、RGB表色系に変換し図7の308、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。なお、変換前RGB画像データの画素数と変換後画像データの画素数は同じであり、2次元平面において各画素の位置は1:1で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。1方向判定11類似度の算出入力された変換前RGB画像データの各色成分の色情報を使用して、類似度の算出を行い、縦横方向判定を行う。まず、R画素およびB画素において、類似度を算出する。類似度とは、変換対象画素を含む局所領域内の色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の類似度と横方向の類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子21で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、1バイト256階調で表される。画素の座標をxyとし、変換対象画素の座標をijとする。G画素の色情報をGxy、R画素の色情報をRxy、B画素の色情報をBxy、R画素の色情報あるいはB画素の色情報を代表してZxyとする。縦方向の類似度Cvijは式により、横方向の類似度Chijは式により求めることができる。Cvij2Gij1Gij12Chij2Gi1jGi1j2なお、類似度の算出については、各種の方法が提案されており、適宜本実施の形態で使用することができる。12類似性判定次に、類似性判定を行う。上記で求めたCvij、Chijを使用して、変換対象画素の類似性の判定を行う。すなわち、第1の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件を満足するときは、縦横類似性が不明として方向指標HVij0をセットする。すなわち、縦横の類似度間の差分が閾値Th1以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。Th1は所定の閾値であり、256階調のときは10前後の値とする。画像のノイズが多いときは高めに設定する。CvijChij≦Th1条件が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件を満足するか否かを判定する。条件を満足するときは、縦方向に類似性が強いとして、方向指標HVij1をセットする。条件を満足しない場合は、横方向に類似性が強いとして方向指標HVij1をセットする。なお、類似度Cvij、Chijは、値が小さいほど類似性が強いことを示している。CvijChij2色差生成21Cr面生成次に、R画素における色差情報Cr面生成について説明する。変換前RGB画像データのR画素の色差情報Crを求める。このとき、上記で求めた類似性の方向指標HVijによって異なる式を使用する。HVij1のときは式、HVij1のときは式、HVij0のときは式を使用してCrijを求める。CrijRij2CrijRij2CrijRij422Cr面補間次に、Cr面の補間を行う。求めたR画素の色差情報Crを使用して、B画素、G画素の色差情報Crを補間処理によって求める。B画素に対応する画素の場合は式、G画素で横方向にR画素が隣接する画素に対応する画素の場合は式、G画素で縦方向にR画素が隣接する画素に対応する画素の場合は式を使用して色差情報Crを求める。Crij4Crij2Crij223.Cb面生成、補間色差情報Cbについても、上記色差情報Crと同様にして求める。このようにして、変換前RGB画像データのすべての画素について、色差情報Cr、Cbを求める。3仮色差補正2色差生成で求まった色差面には偽色がふんだんに乗っており、色モアレや高ISO感度における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、次節で述べる色勾配を指標として区別するとき、偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を2つを紹介するが、この方法に限らない。方法1ローパス処理次式および図8は、5x5サイズの分離型フィルタの例を示す。HorizontallowpassfilteringtmpCrij6Crij4Cri2jCri2j16VerticallowpassfilteringTCrij6tmpCrij4tmpCrij2tmpCrij216TCbijも同様にして求める。方法2メディアン処理次式および図9は、メディアン処理の例を示す。メディアン処理は、図9に示す5x5のサイズの範囲内ですべての画素値をソーティングし、中央にくる値中央値を採用する処理である。TCrijMedianCrimjnm0±1±2nm0±1±24色勾配解析41色指標の算出次に、色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色は、3の仮色差補正処理を加えても偽色に比べコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能である。そのときできるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて偽色間の色コントラストを下げるような色指標面を作る。一般に偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。すなわち、上述のようにして求まった色差信号CrijCbijから、次式を使用して画素単位の色を評価するための色指標Cdiffijに変換する。Cdiffij3上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると次のようになる。Cdiff342色勾配の評価次に、単一の色指標面に色コントラスト情報を押し込めた面内で、次式により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図10は、仮色差補正フィルタと同一サイズの5x5の範囲で、色勾配を調べている様子を説明する図である。ここで、mmax2、nmax2である。演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。5適応的色差補正次に、次の条件式により、色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配の大きい色境界部は元のCrijがそのまま使われる。色勾配は、輝度の勾配とは関係ない値である。ifCgradij≦ThGCrijTCrijこのように、色差補正は輝度情報とは独立して、すなわち輝度情報を使用しないで行われる。言い換えれば、色差補正は、輝度情報とは無関係に、色差情報と色勾配のみに基づいて行われる。閾値ThGは、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。256階調のときは5以下程度の値をとる。上記では、色勾配が閾値ThGより大きい場合は、元のCrijがそのまま使われるとしたが、仮色差補正フィルタより狭い範囲のフィルタをかける場合であってもよい。6G面補間次に、ステップS12で求めた方法判定に基づき、ベイヤ面上のRB位置におけるGの値を、次式により求める。ifHVij1Goutij24elseifHVij1Goutij24elseGoutij48ZはR位置ではZR、B位置ではZBを表す。ベイヤ面上のG位置では、Goutijベイヤ信号そのまま代入する。7表色系変換適切な偽色除去の加えられたCrCb面と、G面の3つの色情報から、次式によりRGB表色系への変換を行う。RoutijCrijGoutijBoutijCbijGoutijこのようにして、第1の実施の形態では、色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供する。とりわけ、画像構造を破壊しない適応的な偽色ノイズ対策を有彩色部、無彩色部関係なく加えることにより、高品質な補間画像を得ることができる。すなわち、色差成分に色勾配を指標として適応的補正処理を加えることにより、偽色の少ない高品質な補間画像を提供できる。一般に、Bayer配列のように色成分が空間的にサンプリングされたデータを補間して復元した画像は、ナイキスト周波数レベルの輝度成分の変化が激しいところで、上述したような色モアレや高ISO感度時の色斑ノイズが生じやすい。すなわち、ナイキスト周波数レベルの輝度変化を生じているところで、RGBの間で微妙な補間予測誤差が生じ、うなり現象となって現れるのが色モアレである。一方、ナイキスト周波数レベルの輝度変化が一様な平坦部であっても、ランダムノイズの振幅の激しさからナイキスト周波数パターンに近いレベルでの補間予測誤差を生じることによって発生する偽色が、高ISO感度における色斑ノイズの大きな要因となっている。したがって、第1の実施形態で示したように、輝度成分とは完全に切り離して、色差成分単独の情報のみに基づいて色勾配を調べて偽色除去することにより、これら色モアレや高ISO色斑ノイズを輝度信号の構造に左右されることなくうまく除去することが可能となる。さらに、高ISO感度時に生じている色斑ノイズを、平坦部のみならず、色勾配変化の少ない白黒文字等のエッジ部においてもきれいに除去することができる。-第2の実施の形態-第2の実施の形態は、第1の実施の形態の色差補正フィルタを更に強化した例を示す。第1の実施の形態と異なるのは、3.仮色差補正で使用するフィルタと、4.色勾配解析の微分フィルタのみである。仮色差補正のフィルタサイズを大きくするのに伴い、合わせて色勾配判定の微分フィルタも大きくして色構造の破壊を防ぐ。第2の実施の形態の電子カメラ1の構成、画像処理部11が行う画像データ変換処理の概要を示すフローチャート、処理の関係を説明するブロック図は、第1の実施の形態の図1、図6、図7と同様であるのでその説明を省略する。3仮色差補正第2の実施の形態の仮色差補正で使用する補正フィルタは、次の通りである。方法1ローパス処理次式は、9x9サイズの分離型フィルタの例を示す。HorizontallowpassfilteringtmpCrij70Crij56288256VerticallowpassfilteringTCrij70tmpCrij56288tmpCrij4tmpCrij4256TCbijも同様。方法2メディアン処理次式は、メディアン処理の例を示す。TCrijMedianCrimjnm0±1±2±3±4nm0±1±2±3±44色勾配解析41色指標の算出色指標は、第1の実施の形態と同様にして求める。42色勾配の評価次式により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図11は、仮色差補正フィルタと同一サイズの9x9の範囲で、色勾配を調べている様子を説明する図である。ここで、mmax4、nmax4である。この場合も実施の形態1と同様に、間引いたフィルタにしてもよい。このようにして、第2の実施の形態では、第1の実施の形態の色差補正フィルタを更に強化しながら、第1の実施の形態と同様な効果を奏する。特に、色差補正フィルタサイズを第1の実施の形態の5x5サイズよりも大きい9x9サイズとしているので、より長周期にわたって発生する偽色色モアレや色斑を除去できる効果を奏する。-第3の実施の形態-第1の実施の形態および第2の実施の形態では、色補間途中の信号処理として説明をした。第3の実施の形態は、補間済のデータに対して本発明を適用するものである。例えば、電子カメラ内で補間して出力されたJPEGデータなどがある。この場合の例について、以下3通りほど示す。第3の実施の形態の電子カメラ1の構成は、第1の実施の形態の図1と同様であるのでその説明を省略する。例11色空間変換補間済RGBデータを、以下の定義のGCbCrデータに変換する。CrRGCbBGG成分はそのまま。2色勾配判定法による適応的偽色除去第1の実施の形態あるいは第2の実施の形態の3仮色差補正~7表色系変換の処理をそのまま行う。例2補間済データは通常、絵作りのための色補正処理が加わっている。これらの影響を少なくして色勾配判定するため、例1の色空間変換ではなく、Lab空間に変換する。Luv空間等であってもよい。図12は、例2における処理の関係を説明するためのブロック図である。1色空間変換補間済RGBデータ図12の401をLabデータに変換する図12の402。2色勾配判定法による適応的偽色除去第1の実施の形態の図7と本実施の形態の図12において、仮色差補正304は仮ab面補正403に対応し、色勾配解析305は色勾配解析404に対応し、適応的色差補正306は適応的色差補正405に対応し、表色系変換308は色空間変換406に対応する。第1の実施の形態あるいは第2の実施の形態の3仮色差補正~7表色系変換の処理において、CbCrをabに置き換えて行う。単純に置き換えができないところだけ以下で定義する。4.色勾配解析図12の404色指標Cdiffを、次式あるいは次式により求める。例3例2のように色勾配を調べるために用いる色空間と色差補正処理する色空間が一致していなくてもよい。色差補正処理する色空間を例えば、Lab空間のab面やYIQ空間のIQ面とする。色勾配を見るため、ab面やIQ面で色差補正を行った後、色空間を例えばHSV空間やLCH空間に変換する。変換後、以下の式や式により、輝度成分以外の色度chromaticity成分の変化をみて色勾配を求める。HSV空間のHSやLCH空間のCHが色度成分情報である。色度chromaticityとは、簡単に言うと明るさを除いた色の性質を言う。色差chrominanceも色度chromaticityに含まれる概念である。HSV空間の場合CgradijgradgradLCH空間の場合Cgradijgradgradただし、gradは第1の実施の形態や第2の実施の形態で定義した演算子である。このように、第3の実施の形態では、色度成分を有する色空間において、該色度成分に基づき色勾配を求めている。そして、求めた色勾配に基づき、第1の実施の形態と同様に適応的に色差補正を行う。これにより、第1の実施の形態と同様な効果を奏する。-第4の実施の形態-第4の実施の形態は、色勾配判定による輝度成分生成法の切替えについて説明する。第4の実施の形態の電子カメラ1の構成は、第1の実施の形態の図1と同様であるのでその説明を省略する。従来、ベイヤ配列のカラーフィルタを備えた撮像素子で撮像されたカラー画像を補間する技術として、米国特許第5382976号が知られている。これは、ベイヤ面の方向性を調べながらG面を補間し、RB面の補間はG面になぞらえてG面の高周波成分をRB面に上乗せする方式である。RB面の補間は、一旦色差面RGBGの空間に移行し、色差面で補間してからG面を加算して元のRBに戻すのと等価である。しかしながら、G面の補間は補間対象画素近傍に存在するG成分の平均値だけで補間しているため、凹凸のある構造物をうまく予測することができず、斜め線に対してはいわゆる斜線ジャギーが発生してしまう問題がある。これに対処する1つの方法として、米国特許第5629734号に示されるように、G成分の補間においてもG面をRB面になぞらえる方法がある。これは色差RGBGが常に一定と仮定し、RGBが全て同様の振る舞いをするとの前提の下に組み立てられうるアルゴリズムである。一方、別の対処方法として、本願発明者が発明した国際公開第02071761号に開示された方法がある。この方法では、輝度成分をG面で補間するのではなく、RGBが加重合成された別の色空間の輝度成分に直接変換する段階で、中心画素の凹凸情報を取り込んで斜線ジャギー対策する。しかしながら、米国特許第5629734号のような対処を施した場合、色差一定の仮定が成り立たない色境界部では、復元画像に破綻を来す問題がある。すなわち、G補間時の近傍G平均値に対するRもしくはB成分による補正項が逆に悪さをし、過補正が生じて色境界部の至る所で黒や白のブツブツ状のものオーバーシュートが発生する。一方の国際公開第02071761号の方式では、米国特許第5629734号に比べ遥かに色境界部で問題を起こさせずに斜線ジャギー対策を可能とする。しかし、ごくまれにある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞色境界ジャギーが発生する場合がある。第4の実施の形態の画像処理方法は、このような色境界部の問題を解決しつつ、斜線ジャギー対策も施された高精細高画質なカラー画像を生成する画像処理方法を提供する。図13は、画像処理部11が行う画像データ変換処理の概要を示すフローチャートである。図14は、処理の関係を説明するためのブロック図である。図13、図14を使用して、画像処理部11が行う画像データ変換処理の概要を説明する。ステップS1では、ベイア面図14の101、すなわち変換前RGB画像データを入力する。ステップS2において、変換前RGB画像データの各色成分の色情報を使用して、Cr、Cb面、すなわち色差情報Cr、Cbをすべての画素において生成する図14の103。このとき類似度を算出して縦横方向判定を行い図14の102、縦横方向判定に基づき色差情報Cr、Cbを生成する。ステップS3では、色差情報Cr、Cbを使用して色勾配解析を行う図14の104。色勾配解析は、まず、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの色を評価する色指標を求める。すべての画素について色指標を求め、色指標面を生成する。各画素について、該当画素の色指標と周辺画素の色指標とに基づき、色勾配をもとめ色境界があるかどうか解析する。色勾配とは、色の変化の度合いである。ステップS4において、G面生成1を行う図14の105。すなわち、すべての画素において、G色成分の色情報を補間処理により生成する。G面生成1の補間方法は、斜線解像が可能な方法である。すなわち、斜線ジャギーを発生させない補間方法である。次に、ステップS5において、G面生成2を行う図14の106。G面生成1と同様に、すべての画素において、G色成分の色情報を補間処理により生成する。G面生成2の補間方法は、斜線ジャギーの発生の可能性はあるが色境界部での問題が発生しない補間方法である。ステップS6において、ステップS3の色勾配解析結果に基づき、ステップS4のG面生成1とステップS5のG面生成2の補間結果を合成する図14の107。例えば、色勾配が弱いとき、すなわち色の変化が平坦であるときは、G面生成1の補間結果を使用し、色勾配が強いとき、すなわち色境界部では、G面生成2の補間結果を使用する。あるいは、色勾配に応じた加重係数で、G面生成1の補間結果とG面生成2の補間結果を加算する。ステップS7において、ステップS2のCr、Cb面とステップS6のG面とに基づき、RGB表色系に変換し図14の108、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。なお、変換前RGB画像データの画素数と変換後画像データの画素数は同じであり、2次元平面において各画素の位置は1:1で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。以下123.Cb面生成、補間までの処理は、第1の実施の形態と同様であるので、説明を省略する。1CrCb色差面生成11方向判定111類似度の算出112類似性判定12色差生成121Cr面生成122Cr面補間123.Cb面生成、補間124色差補正色評価に先立ち色差情報Cr、Cbの補正を行う。色評価を正確に行うため、前述のようにして取得したCr、Cbの色差面に生じている偽色を除去するためである。色差メディアンフィルタを使用してもよいが、第4の実施の形態では、以下の式および図15で示されるローパスフィルタを使用する。この処理は、偽色を除去するという目的を高速に達成することができる。なお、他の方法によって偽色を除去するようにしてもよい。Crij4Crij2116Cbijも同様にして求める。2色勾配解析21色指標の算出上述のようにして求まった色差情報CrijCbijから、式を使用して画素単位の色を評価するための色指標Cdiffijを求める。Cdiffij3色指標は、その値により無彩色か有彩色か、有彩色の場合低彩色か高彩色かの彩度を評価することができる。上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、その精度を向上させている。色差を展開すると次の式のようになる。本実施の形態では、この色指標を使用することにより、あらゆる色境界がまんべんなく見つかる。Cdiff322色勾配の評価このようにベイヤ復元画像で予測される色が精度よく求まった段階で、従来技術の問題として浮上している色境界部を識別するため、色指標の面内で色の勾配を調べる。変換対象画素ijにおける色勾配をgradCdiffijで表すと、次式により求めることができる。gradCdiffij8式の色勾配の演算には、あらゆる方向の色境界部を同時に検知するため、隣接する全ての画素との差分を求める等方型の一次微分フィルタを用いた。このように複数の方向に等方的に微分をほどこすのは、すべての方向のエッジを検出するためである。なお、差分の差分を求める二次微分フィルタを用いてもよい。一次微分では立ち上がりあるいは立ち下がりのエッジを見つけ、二次微分では山あるいは谷を見つけることができる。3G面生成1前述した方向判定で求めた方向指標HVijに基づいて、変換前RGB画像データのR画素ijあるいはB画素ijにおける、G色成分の色情報Gijを求める。すなわち、R画素あるいはB画素における欠落するG成分の色情報を補間処理により求める。G面生成1で求める補間方法は、斜線解像が可能な、すなわち斜線ジャギーの発生をおさえることが可能な補間方法である。ただし、色境界部での問題は生じる可能性のある補間方法である。この補間方法で求まるG補間値をg1とする。方向指標HVij1のとき、すなわち縦方向に類似性が強いと判断されたとき、式を使用してg1ijを求める。方向指標HVij1のとき、すなわち横方向に類似性が強いと判断されたとき、式を使用してg1ijを求める。方向指標HVij0のとき、すなわち縦横類似性が不明と判断されたとき、式を使用してg1ijを求める。g1ij24g1ij24g1ij48なお、ZはR画素ではZR、B画素ではZBを表す。変換前RGB画像データのG画素ijにおけるg1ijは、G画素ijの値をそのまま使用する。4G面生成2G面生成1と同様に、前述した方向判定で求めた方向指標HVijに基づいて、変換前RGB画像データのR画素ijあるいはB画素ijにおける、G色成分の色情報Gijを求める。すなわち、R画素あるいはB画素における欠落するG成分の色情報を補間処理により求める。G面生成2で求める補間方法は、斜線ジャギー発生の問題はあるが、色境界部での問題は生じない補間方法である。この補間方法で求まったG補間値をg2とする。方向指標HVij1のとき、すなわち縦方向に類似性が強いと判断されたとき、式を使用してg2ijを求める。方向指標HVij1のとき、すなわち横方向に類似性が強いと判断されたとき、式を使用してg2ijを求める。方向指標HVij0のとき、すなわち縦横類似性が不明と判断されたとき、式を使用してg2ijを求める。g2ij2g2ij2g2ij4変換前RGB画像データのG画素ijにおけるg2ijは、G画素ijの値をそのまま使用する。ここで、式~式の別解として、斜線ジャギーの抑制がある程度可能な以下の式~式のような工夫を加えてもよい。G色成分の補間において凹凸情報をG色成分自身で予測するので、色境界部での問題は式~式と同様、全く起こらない。方向指標HVij1のとき、すなわち縦方向に類似性が強いと判断されたとき、式を使用してg2ijを求める。方向指標HVij1のとき、すなわち横方向に類似性が強いと判断されたとき、式を使用してg2ijを求める。方向指標HVij0のとき、すなわち縦横類似性が不明と判断されたとき、式を使用してg2ijを求める。g2ij288g2ij288g2ij4161616165G面合成51加重比率の決定前述の通り2通りのG面生成法を示したが、通常はG面生成1で求められた斜線ジャギー対策が可能なG補間値g1を用い、問題の生じる色境界部ではG面生成2で求められたG補間値g2を用いる。この切り替えの加重比率として前述の色勾配を用いる。画素ijにおけるg1の加重比率を1λ、g2の加重比率をλとすると、λの値は以下式~式により決定する。ifgradCdiffij≦th1λij0elseifgradCdiffij≦th2λijgradCdiffijth2elseλij1これを模式図で示すと図16のようになる。閾値th1、th2の値は、256階調で表されているとき、th10~4、th26~10のような値を採るとよい。すなわち、色勾配の小さいところではg1を用い、色勾配の大きいところではg2を用い、その中間的なところでは色勾配の大きさそのものを指標として加重合成している。場合によってはth1th2としてg1g2の切り替えのみで中間部分を省略しても良い。52加重合成処理上記加重比率λを用いて2通りのG補間値g1g2を、式により加重合成する。Gijg1ijλijg2ij6表色系変換式~式で求まったCrCb面、あるいは、式により適切な色差補正の加えられたCrCb面と、式で求まったG面の3つの色情報から式式によりRGB表色系への変換を行う。RijCrijGijBijCbijGijこのように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。特に、第4の実施の形態では、従来技術で問題となる色境界部での黒や白のブツブツ状のものオーバーシュートの発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。-第5の実施の形態-第4の実施の形態では、一般的な補間処理の考え方を採用してG面生成1を行った。しかし、第5の実施の形態では、第4の実施の形態とは異なる別方式でG面生成1を行う例を示す。第5の実施の形態で行うG面生成1は、基本的には、国際公開第02071761号に開示された方法に基づくものである。第5の実施の形態の電子カメラ1の構成は、第4の実施の形態の図1と同様であるのでその説明を省略する。また、画像処理部11が行う画像データ変換処理の概要を示すフローチャートは、第4の実施の形態の図13のステップS3の色勾配解析とステップS4のG面生成1の内容が異なるのみである。従って、第5の実施の形態のフローチャートは省略し、図13を参照することとする。図17は、第5の実施の形態における処理の関係を説明するためのブロック図である。第4の実施の形態の図14と異なるところは、斜め方向判定201が追加され、G面生成1202は縦横方向判定102と斜め方向判定201の結果に基づいて行うところである。また、色勾配解析203の内容が第4の実施の形態の色勾配解析104と異なる。以下、この色勾配解析203ステップS3とG面生成1202ステップS4を中心に第5の実施の形態を説明する。1CrCb色差面生成CrCb色差面生成は第4の実施の形態と同様である。CrCb色差面生成では、第4の実施の形態と同様に、類似性の判定は縦横方向判定を使用する。2色勾配解析21色指標の算出CrCb色差面生成で求まった色差情報CrijCbijから、画素単位の色を評価するための色指標Cdiffijを求める。ところで、第4の実施の形態では、オーバーシュートの生じるあらゆる色境界を検出する必要があったが、第5の実施の形態では、後述するY面生成時に起きる筋状の縦縞、横縞発生箇所を抽出し、その箇所には別方式で対処することを狙いとしている。これは、第5の実施の形態では、基本的に、国際公開第02071761号に開示された方法に基づきG面生成1を行うので、米国特許第5629734号に比べ遥かに色境界部の問題を起こさせずに斜線ジャギー対策を可能とするためである。しかし、第5の実施の形態のG面生成1であっても、ある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞色境界ジャギーが発生する場合がある。これは、赤と青の色境界、緑とオレンジの色境界、ピンクと水色の色境界、白と黄色の色境界等で、筋状の縦縞、横縞色境界ジャギーが発生する可能性がある。中でも反対色間の対で起こりやすいことが分かった。これは、方向性を考慮してRGB一定比率で合成することにより通常の色境界部や斜め線構造物では滑らかに連結しているはずの輝度面が、特定の色の組み合わせ領域では、RGB色の色情報が相互に干渉しあって、合成後の輝度成分に局所的なモアレ現象を生じさせているためであると推測される。従って、第5の実施の形態のG面生成1では、色境界ジャギーが、特に反対色間の色境界部で発生しやすく、通常の色境界では発生しない事実から、反対色色境界部の検出能力を上げるため、色指標として反対色間色差を利用して識別対象箇所のコントラストを上げる工夫をする。すなわち、式を使用して色指標Cdiffijを求める。Cdiffij3上記色指標の色差部分を展開すると、次式のようになる。R赤とCyシアン、G緑とMgマゼンタ、B青とYeイエローは反対色補色の関係にある。Cdiff2G2B23322色勾配の評価第4の実施の形態と同様に行う。3G面生成1第4の実施の形態とは異なり、斜線解像、すなわち斜線ジャギーの発生を抑えることが可能な別の方式によるG成分生成を行う。これは、G補間をするのではなく、一旦別の表色系で輝度成分と色差成分を生成した後にRGB成分に変換する方式である。国際公開第02071761号に開示された方法に基づくものである。31斜め方向判定311類似度の算出変換前RGB画像データのR画素あるいはB画素において、変換対象画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め45度、斜め135度の方向である。図18で示すと、斜め45度はHVDN01の方向で、斜め135度はHVDN01の方向である。図18については、さらに後述する。斜め45度方向の類似度C45ijは式により、斜め135度方向の類似度C135ijは式により求める。C45ij222C135ij222312類似性判定次に、類似性判定を行う。上記で求めたC45ij、C135ijを使用して、変換対象画素の類似性の判定を行う。ここでは、45度方向に類似性が強いか、135度方向に類似性が強いか、45度方向135度方向の判定は不能かの判定を行う。具体的には、条件を満足するときは、45度方向135度方向の判定は不能として方向指標DNij0をセットする。Th2は所定の閾値であり、縦横方向判定のTh1と同程度の値とする。例えば、256階調のときは10前後の値とする。45度方向135度方向の類似度間の差分が閾値Th2以下であれば、45度方向に類似性が強いのか、135度方向に類似性が強いのか判定できないことを意味する。C45ijC135ij≦Th2条件が満足しない場合、すなわち、45度方向135度方向どちらかの方向の類似性が判定できる場合は、条件を満足するか否かを判定する。満足するときは、45度方向に類似性が強いとして、方向指標DNij1をセットする。条件を満足しない場合は、135度方向に類似性が強いとして方向指標DNij1をセットする。なお、類似度C45ij、C135ijは、値が小さいほど類似性が強いことを示している。C45ijC135ij32輝度Y面生成321加重加算第5の実施の形態の輝度情報Yの計算は、第4の実施の形態のG面生成ではなく、ベイア面を直接加重加算して輝度Y面を生成する方式である。すなわち、補間処理がまだ行われていない変換前RGB画像データの各色の色情報を使用して、輝度情報Yを直接生成するものである。変換前RGB画像データベイア面のデータの任意の色情報をAxyで表すことにする。第4の実施の形態と同様に求めた縦横方向指標HVijおよび上記で求めた斜め方向指標DNijに基づいて、変換前RGB画像データのR画素あるいはB画素に対応する画素ijにおける輝度情報YすなわちYijを求める。この縦横方向指標HVijおよび斜め方向指標DNijの組み合わせにより、類似性の方向が図18に示すように9通りに分類できる。方向指標HVDN、すなわち類似性の方向に応じて、以下に示すように式~の1つを選択してYijを計算する。変換対象画素ijがG画素のときは式を使用し、変換対象画素ijがG画素以外のときは以下の方向指標に応じた式~のいずれかの式を使用する。なお、図19は、変換対象画素がG画素の場合において、使用する画素の位置およびその係数G位置の輝度生成係数パターンを図示する図である。図20は、変換対象画素がR画素あるいはB画素の場合において、方向指標に応じて使用する画素の位置およびその係数R、B位置の輝度生成係数パターンを図示する図である。方向指標00のとき式を使用する。方向指標01のとき式を使用する。方向指標01のとき式を使用する。方向指標10のとき式を使用する。方向指標11のとき式を使用する。方向指標11のとき式を使用する。方向指標10のとき式を使用する。方向指標11のとき式を使用する。方向指標11のとき式を使用する。YijYGYijYRBhvYijYRB45YijYRB135YijYRBvYijYRBv45YijYRBv135YijYRBhYijYRBh45YijYRBh135ここで、上記YG、YRBhv、YRB45、YRB135、YRBv、YRBv45、YRBv135、YRBh、YRBh45、YRBh135は、以下の式~で表される。YGαAijAi1jAi1jAij1Aij1YRBhvAijαAi1jAi1jAij1Aij1Ai1j1Ai1j1Ai1j1Ai1j1YRB45AijαAi1jAi1jAij1Aij1t1Ai1j1t2Ai1j1YRB135AijαAi1jAi1jAij1Aij1s1Ai1j1s2Ai1j1YRBvAijαu1Aij1u2Aij1Ai1j1Ai1j1Ai1j1Ai1j1YRBv45Aijαu1Aij1u2Aij1t1Ai1j1t2Ai1j1YRBv135Aijαu1Aij1u2Aij1s1Ai1j1s2Ai1j1YRBhAijαv1Ai1jv2Ai1jAi1j1Ai1j1Ai1j1Ai1j1YRBh45Aijαv1Ai1jv2Ai1jt1Ai1j1t2Ai1j1YRBh135Aijαv1Ai1jv2Ai1js1Ai1j1s2Ai1j1ただし、上記定数係数には以下の制約条件が付く。また、これらは全て正または零の値をとる。αβ1pq1u1u21v1v21s1s21t1t21一般的に好ましい定数の設定には以下のような例がある。u1≒u2v1≒v2s1≒s2t1≒t2定数αβは、輝度に占めるRGB比率を決めるパラメータで、YαGβ2の関係にある。322エッジ強調上述のようにして求まったY面は正の係数のみで構成されているので、エッジ強調処理を施して適正なレベルのコントラストに戻す。エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ抽出を行うためのバンドパスフィルターとして、例えば式および図21で示すラプラシアンを用いる。さらに、式の演算を行い最終的な輝度情報Yを求める。式における定数Kは正の値をとり、通常1以上に設定する。YHij8Yij16YijYijKYHij323表色系変換第4の実施の形態と同様に式~式で求まったCrCb面、あるいは、式により適切な色差補正の加えられたCrCb面と、式で求まったY面の3つの色情報から式によりG成分への変換を行う。これにより求まるG成分をg1とする。g1ijYijCrijCbij4G面生成2G面生成2は、第4の実施の形態と同様である。5G面合成G面合成は、第4の実施の形態と同様である。6表色系変換表色系変換は、第4の実施の形態と同様である。このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。第5の実施の形態では、特に従来技術で問題となる反対色間色境界に発生しやすい筋状の縦縞、横縞の色境界ジャギーの発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。上記第1の実施の形態から第5の実施の形態では、色差成分輝度成分ともに色勾配を指標として適応的処理を加えることにより偽色偽構造の少ない高品質な補間画像を提供できる。なかでも適応的偽色対策は、色モアレ除去や高ISO感度における色斑ノイズ対策に強力に威力を発揮する。なお、上記実施の形態では、ベイア配列のRGB表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、G面生成やY面生成の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。また、上記第4、5の実施の形態では、色差補正でローパスフィルタ図16、エッジ強調でバンドパスフィルタ図21の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。また、上記第4、5の実施の形態では、色勾配に基づき色境界部の輝度を担う色成分の適切な補間方法を選択あるいは加重加算する例を示したが、必ずしもこれらの内容に限定する必要はない。例えば、6表色系変換の手前に色差補正をするための色差補正ローパスフィルタ処理を挿入し、色勾配の解析結果に基づき、その色差補正ローパスフィルタのオンオフを行うようにしてもよい。これにより、色境界部以外の偽色が取れ、色境界部での色にじみの発生を防ぐことができる。また、色勾配の解析結果に基づき、色差補正ローパスフィルタの種類やサイズを選択するようにしてもよい。また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。また、上記実施の形態では、単板式撮像素子の例で示したが、必ずしもこの内容に限定する必要はない。本発明は、2板式の撮像素子で撮像した画像データにも適用することができる。RGBベイア配列の単板式撮像素子で撮像した場合は、1つの画素には1つの色成分の情報を有し、RGBベイア配列の2板式撮像素子で撮像した場合は、1つの画素には2つの色成分の情報を有する。パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、CD-ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図22はその様子を示す図である。パーソナルコンピュータ400は、CD-ROM404を介してプログラムの提供を受ける。また、パーソナルコンピュータ400は通信回線401との接続機能を有する。コンピュータ402は上記プログラムを提供するサーバーコンピュータであり、ハードディスク403などの記録媒体にプログラムを格納する。通信回線401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ402はハードディスク403を使用してプログラムを読み出し、通信回線401を介してプログラムをパーソナルコンピュータ400に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線401を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。日本国特許出願2003年第167923号2003年6月12日出願