(57)【特許請求の範囲】
【請求項１】
複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色成分の色情報を有する第２の画像に変換する画像処理方法であって、
前記第１の画像の色情報から色差情報を生成する色差情報生成手順と、
前記第１の画像の表色系を構成する色成分とその反対色の色成分との間の色差情報を利用して色指標を生成し、前記色指標の面内で色の変化の度合いを調べて色勾配を求める色勾配解析手順と、
前記第１の画像の色情報を用いて、前記求めた色勾配に基づき、輝度情報を生成する輝度情報生成手順と、
前記生成した色差情報と前記生成した輝度情報を合わせることによって第２の画像を生成する第２の画像生成手順とを有することを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記第２の画像生成手順は、前記第２の画像の色差情報と輝度情報に対して表色系変換を行って、第１の画像を構成する表色系の色情報に変換することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高精細高画質のデジタルカラー画像を生成する画像処理方法に関する。
【背景技術】
【０００２】
単板カラー撮像素子等で色成分が空間的にサンプリングされたカラー画像データに対し色補間処理を行った場合、必ず偽色が発生する。このカラー画像データの画像構造、中でも特に色構造を破壊せずにこの偽色を適応的に除去する方法が国際公開第ＷＯ０２／０６０１８６号に示されている（本願発明者と同一発明者）。この方法では、一旦色差信号を求めて色指標を算出し、色判定することによって無彩色部では強い偽色除去を行い、有彩色部では弱い偽色除去を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、国際公開第ＷＯ０２／０６０１８６号による方法では、有彩色部における偽色に対して強力な対応ができないという問題があった。特に高ＩＳＯ感度撮影画像の場合、偽色の振幅が増大することにより、色斑ノイズという形で有彩色部、無彩色部関係なく偽色が出現する。このような場合に、画像全体の偽色の除去が必ずしも十分になされないという問題が生じる可能性があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によると、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に少なくとも１つの共通する色成分の色情報を有する第２の画像に変換する画像処理方法であって、前記第１の画像の色情報から色差情報を生成する色差情報生成手順と、前記第１の画像の表色系を構成する色成分とその反対色の色成分との間の色差情報を利用して色指標を生成し、前記色指標の面内で色の変化の度合いを調べて色勾配を求める色勾配解析手順と、前記第１の画像の色情報を用いて、前記求めた色勾配に基づき、輝度情報を生成する輝度情報生成手順と、前記生成した色差情報と前記生成した輝度情報を合わせることによって第２の画像を生成する第２の画像生成手順とを有することを特徴とする。
本発明の第２の態様によると、請求項１に記載の画像処理方法において、前記第２の画像生成手順は、前記第２の画像の色差情報と輝度情報に対して表色系変換を行って、第１の画像を構成する表色系の色情報に変換することを特徴とする。
【図面の簡単な説明】
【０００５】
【図１】第１の実施の形態における電子カメラの機能ブロック図である。
【図２】変換対象画素[i,j]にＲ成分の色情報を有する画像データを示す図である。
【図３】変換対象画素[i,j]にＢ成分の色情報を有する画像データを示す図である。
【図４】変換対象画素[i,j]にＧ成分の色情報を有する画像データを示す図である。
【図５】変換対象画素[i,j]にＧ成分の色情報を有する画像データを示す図である。
【図６】画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
【図７】第１の実施の形態における処理の関係を説明するためのブロック図である。
【図８】5x5サイズの分離型フィルタの例を示す図である。
【図９】5x5サイズの範囲のメディアン処理の例を示す図である。
【図１０】仮色差補正フィルタと同一サイズの5x5の範囲で、色勾配を調べている様子を説明する図である。
【図１１】第２の実施の形態において、仮色差補正フィルタと同一サイズの9x9の範囲で、色勾配を調べている様子を説明する図である。
【図１２】第３の実施の形態の例２における処理の関係を説明するためのブロック図である。
【図１３】第４の実施の形態の画像処理部が行う画像データ変換処理の概要を示すフローチャートである。
【図１４】第４の実施の形態における処理の関係を説明するためのブロック図である。
【図１５】色差補正ローパスフィルタを示す図である。
【図１６】色勾配の大きさとＧ成分合成化率の関係を示す図である。
【図１７】第５の実施の形態の処理の関係を説明するためのブロック図である。
【図１８】方向指標による９通り分類を示す図である。
【図１９】変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。
【図２０】変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
【図２１】エッジ強調のフィルターを示す図である。
【図２２】プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
【発明を実施するための形態】
【０００６】
−第１の実施の形態−
（電子カメラの構成）
図１は、第１の実施の形態における電子カメラの機能ブロック図である。電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
【０００７】
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えば単板式ＣＣＤなどで構成される。
【０００８】
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
【０００９】
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
【００１０】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００１１】
本実施の形態の電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。
【００１２】
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【００１３】
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
【００１４】
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できる。
【００１５】
（画像データの変換）
次に、撮像素子２１を介して取得したＲＧＢ表色系の画像データを、高精細高画質な画像データに変換する処理を説明する。撮像素子２１で撮像され、アナログ信号処理部２２、Ａ／Ｄ変換部１０を介して画像処理部１１に入力される画像データは、ベイア配列のＲＧＢ表色系で表され、前述した通り、１つの画素には１つの色成分しか含まれていない。すなわち、被写体のカラー像に関する情報がベイア配列に間引かれていると言える。以下、この画像データを変換前ＲＧＢ画像データとも言う。この変換前ＲＧＢ画像データを、各画素においてＲ成分、Ｇ成分、Ｂ成分を含む高精細高画質な画像データに変換する。すなわち、間引かれた画像データから、高精細高画質な画像データを生成、復元する。
【００１６】
図２〜図５は、変換前ＲＧＢ画像データを説明する図である。図２〜図５は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標を[i,j]で表す。図２は変換対象画素[i,j]にＲ成分の色情報を有する場合を示し、図３は変換対象画素[i,j]にＢ成分の色情報を有する場合を示す。図４は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＢ成分の色情報を有し横方向に隣接する画素にＲ成分の色情報を有する場合を示し、図５は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＲ成分の色情報を有し横方向に隣接する画素にＢ成分の色情報を有する場合を示している。
【００１７】
変換前ＲＧＢ画像データにおいて、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼ぶことにする。
【００１８】
図６は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図７は、処理の関係を説明するためのブロック図である。図６、図７を使用して、画像処理部１１が行う第１の実施の形態の画像データ変換処理の概要を説明する。
【００１９】
第１の実施の形態の画像データ変換処理は、統計的に被写体実在色の色変化率にくらべ、色モアレ、色斑ノイズ等の色変化率が非常に小さいという性質を利用して、色勾配を指標とした適応的偽色除去処理を行うものである。特に、ベイヤ補間内での適応的偽色除去をする。なお、各ステップの処理は、後にさらに詳細に説明する。
【００２０】
ステップＳ１１では、ベイア面（図７の３０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ１２において、類似度を算出して縦横方向判定を行う（図７の３０２）。ステップＳ１３において、縦横方向判定に基づき、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図７の３０３）。
【００２１】
ステップＳ１４では、色勾配を指標として区別するときに偽色の境界が色境界と誤認定されないように仮色差補正を行う（図７の３０４）。ステップＳ１５では、色差情報Ｃｒ、Ｃｂを使用して色勾配解析を行う（図７の３０５）。ステップＳ１６では、色勾配の大きさに応じて、色差補正処理をするか否かを切り替える（図７の３０６）。ステップＳ１６の色差補正を適応的色差補正と言う。ここで、適応的とは、必要に応じて適切にという意味である。適応的色差補正とは、条件によって補正をしたり、補正をしなかったり等することにより、適切に色差補正をするこという。
【００２２】
ステップＳ１７において、ステップＳ１２の方向判定結果に基づき、Ｇ面生成を行う（図７の３０７）。すなわち、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。ステップＳ１８において、ステップＳ１６のＣｒ、Ｃｂ面とステップＳ１７のＧ面とに基づき、ＲＧＢ表色系に変換し（図７の３０８）、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。
【００２３】
なお、変換前ＲＧＢ画像データの画素数と変換後画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。
【００２４】
1. 方向判定
1-1. 類似度の算出
入力された変換前ＲＧＢ画像データの各色成分の色情報を使用して、類似度の算出を行い、縦横方向判定を行う。まず、Ｒ画素およびＢ画素において、類似度を算出する。類似度とは、変換対象画素を含む局所領域内の色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の類似度と横方向の類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子２１で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、１バイト２５６階調で表される。
【００２５】
画素の座標を[x,y]とし、変換対象画素の座標を[i,j]とする。Ｇ画素の色情報をG[x,y]、Ｒ画素の色情報をR[x,y]、Ｂ画素の色情報をB[x,y]、Ｒ画素の色情報あるいはＢ画素の色情報を代表してZ[x,y]とする。縦方向の類似度Cv[i,j]は式(1)により、横方向の類似度Ch[i,j]は式(2)により求めることができる。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2
+|G[i,j-1]-G[i,j+1]|}/2 ...(1)
Ch[i,j]={(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2
+||G[i-1,j]-G[i+1,j]|}/2 ...(2)
【００２６】
なお、類似度の算出については、各種の方法が提案されており、適宜本実施の形態で使用することができる。
【００２７】
1-2. 類似性判定
次に、類似性判定を行う。上記で求めたCv[i,j]、Ch[i,j]を使用して、変換対象画素の類似性の判定を行う。すなわち、第１の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件(3)を満足するときは、縦横類似性が不明として方向指標HV[i,j]=0をセットする。すなわち、縦横の類似度間の差分が閾値Th1以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。Th1は所定の閾値であり、２５６階調のときは１０前後の値とする。画像のノイズが多いときは高めに設定する。
|Cv[i,j]-Ch[i,j]|≦Th1 ...(3)
【００２８】
条件(3)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件(4)を満足するか否かを判定する。条件(4)を満足するときは、縦方向に類似性が強いとして、方向指標HV[i,j]=1をセットする。条件(4)を満足しない場合は、横方向に類似性が強いとして方向指標HV[i,j]=-1をセットする。なお、類似度Cv[i,j]、Ch[i,j]は、値が小さいほど類似性が強いことを示している。
Cv[i,j]<Ch[i,j] ...(4)
【００２９】
2. 色差生成
2-1. Cr面生成
次に、Ｒ画素における色差情報Ｃｒ面生成について説明する。変換前ＲＧＢ画像データのＲ画素の色差情報Ｃｒを求める。このとき、上記で求めた類似性の方向指標HV[i,j]によって異なる式を使用する。HV[i,j]=1のときは式(5)、HV[i,j]=-1のときは式(6)、HV[i,j]=0のときは式(7)を使用してCr[i,j]を求める。
Cr[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2 ...(5)
Cr[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2 ...(6)
Cr[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ...(7)
【００３０】
2-2. Cr面補間
次に、Ｃｒ面の補間を行う。求めたＲ画素の色差情報Ｃｒを使用して、Ｂ画素、Ｇ画素の色差情報Ｃｒを補間処理によって求める。Ｂ画素に対応する画素の場合は式(8)、Ｇ画素で横方向にＲ画素が隣接する画素に対応する画素の場合は式(9)、Ｇ画素で縦方向にＲ画素が隣接する画素に対応する画素の場合は式(10)を使用して色差情報Ｃｒを求める。
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]+Cr[i+1,j-1]+Cr[i+1,j+1])/4 ...(8)
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2 ...(9)
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2 ...(10)
【００３１】
2-3．Cb面生成、補間
色差情報Ｃｂについても、上記色差情報Ｃｒと同様にして求める。このようにして、変換前ＲＧＢ画像データのすべての画素について、色差情報Ｃｒ、Ｃｂを求める。
【００３２】
3. 仮色差補正
2.色差生成で求まった色差面には偽色がふんだんに乗っており、色モアレや高ＩＳＯ感度における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、次節で述べる色勾配を指標として区別するとき、偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を2つを紹介するが、この方法に限らない。
【００３３】
方法1（ローパス処理）
次式(101)(102)および図８は、5x5サイズの分離型フィルタの例を示す。
Horizontal lowpass filtering
tmp_Cr[i,j]={6*Cr[i,j]+4*(Cr[i-1,j]+ Cr[i+1,j])+ Cr[i-2,j]+ Cr[i+2,j]}/16
...(101)
Vertical lowpass filtering
TCr[i,j]={6* tmp_Cr[i,j]+4*(tmp_Cr[i,j-1]+tmp_Cr[i,j+1])
+tmp_Cr[i,j-2]+tmp_Cr[i,j+2]}/16 ...(102)
TCb[i,j]も同様にして求める。
【００３４】
方法2（メディアン処理）
次式(103)および図９は、メディアン処理の例を示す。メディアン処理は、図９に示す5x5のサイズの範囲内ですべての画素値をソーティングし、中央にくる値（中央値）を採用する処理である。
TCr[i,j]=Median{Cr[i+m,j+n]}  m=0,±1,±2  n=m=0,±1,±2  ...(103)
【００３５】
4. 色勾配解析
4-１. 色指標の算出
次に、色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色は、3.の仮色差補正処理を加えても偽色に比べコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能である。そのときできるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて偽色間の色コントラストを下げるような色指標面を作る。一般に偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。すなわち、上述のようにして求まった色差信号Cr[i,j],Cb[i,j]から、次式(104)を使用して画素単位の色を評価するための色指標Cdiff[i,j]に変換する。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(104)
【００３６】
上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると次のようになる。
Cdiff=(|R-G|+|G-B|+|B-R|)/3 ...(105)
【００３７】
4-2. 色勾配の評価
次に、単一の色指標面に色コントラスト情報を押し込めた面内で、次式(106)により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図１０は、仮色差補正フィルタと同一サイズの5x5の範囲で、色勾配を調べている様子を説明する図である。
【数１】
0005206851.tif 000002
ここで、mmax=2、nmax=2である。演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。
【００３８】
5. 適応的色差補正
次に、次の条件式(107)により、色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配の大きい色境界部は元のCr[i,j]がそのまま使われる。色勾配は、輝度の勾配とは関係ない値である。
if  Cgrad[i,j]≦ThG  Cr[i,j]=TCr[i,j] ...(107)
【００３９】
このように、色差補正は輝度情報とは独立して、すなわち輝度情報を使用しないで行われる。言い換えれば、色差補正は、輝度情報とは無関係に、色差情報と色勾配のみに基づいて行われる。閾値ThGは、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。256階調のときは5以下程度の値をとる。上記では、色勾配が閾値ThGより大きい場合は、元のCr[i,j]がそのまま使われるとしたが、仮色差補正フィルタより狭い範囲のフィルタをかける場合であってもよい。
【００４０】
6. G面補間
次に、ステップＳ１２で求めた方法判定に基づき、ベイヤ面上のR/B位置におけるGの値を、次式(108)(109)(110)により求める。
if      HV[i,j]=1    Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(108)
else if  HV[i,j]=-1  Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(109)
else                 Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]
-Z[i+2,j])/8 ...(110)
ZはR位置ではZ=R、B位置ではZ=Bを表す。ベイヤ面上のG位置では、Gout[i,j]=ベイヤ信号そのまま代入する。
【００４１】
7. 表色系変換
適切な偽色除去の加えられたCr,Cb面と、G面の3つの色情報から、次式(111)(112)によりRGB表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ...(111)
Bout[i,j]=Cb[i,j]+Gout[i,j] ...(112)
【００４２】
このようにして、第１の実施の形態では、色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供する。とりわけ、画像構造を破壊しない適応的な偽色ノイズ対策を有彩色部、無彩色部関係なく加えることにより、高品質な補間画像を得ることができる。すなわち、色差成分に色勾配を指標として適応的補正処理を加えることにより、偽色の少ない高品質な補間画像を提供できる。
【００４３】
一般に、Bayer配列のように色成分が空間的にサンプリングされたデータを補間して復元した画像は、ナイキスト周波数レベルの輝度成分の変化が激しいところで、上述したような色モアレや高ISO感度時の色斑ノイズが生じやすい。すなわち、ナイキスト周波数レベルの輝度変化を生じているところで、RGBの間で微妙な補間予測誤差が生じ、うなり現象となって現れるのが色モアレである。一方、ナイキスト周波数レベルの輝度変化が一様な平坦部であっても、ランダムノイズの振幅の激しさからナイキスト周波数パターンに近いレベルでの補間予測誤差を生じることによって発生する偽色が、高ISO感度における色斑ノイズの大きな要因となっている。
【００４４】
したがって、第１の実施形態で示したように、輝度成分とは完全に切り離して、色差成分単独の情報のみに基づいて色勾配を調べて偽色除去することにより、これら色モアレや高ISO色斑ノイズを輝度信号の構造に左右されることなくうまく除去することが可能となる。さらに、高ISO感度時に生じている色斑ノイズを、平坦部のみならず、色勾配変化の少ない白黒文字等のエッジ部においてもきれいに除去することができる。
【００４５】
−第２の実施の形態−
第２の実施の形態は、第１の実施の形態の色差補正フィルタを更に強化した例を示す。第１の実施の形態と異なるのは、３．仮色差補正で使用するフィルタと、４．色勾配解析の微分フィルタのみである。仮色差補正のフィルタサイズを大きくするのに伴い、合わせて色勾配判定の微分フィルタも大きくして色構造の破壊を防ぐ。
【００４６】
第２の実施の形態の電子カメラ１の構成、画像処理部１１が行う画像データ変換処理の概要を示すフローチャート、処理の関係を説明するブロック図は、第１の実施の形態の図１、図６、図７と同様であるのでその説明を省略する。
【００４７】
3. 仮色差補正
第２の実施の形態の仮色差補正で使用する補正フィルタは、次の通りである。
方法1（ローパス処理）
次式(113)(114)は、9x9サイズの分離型フィルタの例を示す。
Horizontal lowpass filtering
tmp_Cr[i,j]={70*Cr[i,j]+56*(Cr[i-1,j]+Cr[i+1,j])
+28*(Cr[i-2,j]+ Cr[i+2,j])+8*(Cr[i-3,j]+ Cr[i+3,j])
+(Cr[i-4,j]+ Cr[i+4,j])}/256 ...(113)
Vertical lowpass filtering
TCr[i,j]={70* tmp_Cr[i,j]+56*(tmp_Cr[i,j-1]+tmp_Cr[i,j+1])
+28*(tmp_Cr[i,j-2]+tmp_Cr[i,j+2])+8*(tmp_Cr[i,j-3]+tmp_Cr[i,j+3])
+tmp_Cr[i,j-4]+tmp_Cr[i,j+4]}/256 ...(114)
TCb[i,j]も同様。
【００４８】
方法2（メディアン処理）
次式(115)は、メディアン処理の例を示す。
TCr[i,j]=Median{Cr[i+m,j+n]}  m=0,±1,±2,±3,±4  n=m=0,±1,±2,±3,±4 ...(115)
【００４９】
4. 色勾配解析
4-１. 色指標の算出
色指標は、第１の実施の形態と同様にして求める。
【００５０】
4-2. 色勾配の評価
次式(116)により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図１１は、仮色差補正フィルタと同一サイズの9x9の範囲で、色勾配を調べている様子を説明する図である。
【数２】
0005206851.tif 000003
ここで、mmax=4、nmax=4である。この場合も実施の形態１と同様に、間引いたフィルタにしてもよい。
【００５１】
このようにして、第２の実施の形態では、第１の実施の形態の色差補正フィルタを更に強化しながら、第１の実施の形態と同様な効果を奏する。特に、色差補正フィルタサイズを第１の実施の形態の5x5サイズよりも大きい9x9サイズとしているので、より長周期にわたって発生する偽色（色モアレや色斑）を除去できる効果を奏する。
【００５２】
−第３の実施の形態−
第１の実施の形態および第２の実施の形態では、色補間途中の信号処理として説明をした。第３の実施の形態は、補間済のデータに対して本発明を適用するものである。例えば、電子カメラ内で補間して出力されたJPEGデータなどがある。この場合の例について、以下３通りほど示す。第３の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００５３】
（例１）
１）色空間変換
補間済RGBデータを、以下の定義のGCbCrデータに変換する。
Cr=R-G ...(117)
Cb=B-G ...(118)
G成分はそのまま。
２）色勾配判定法による適応的偽色除去
第１の実施の形態あるいは第２の実施の形態の「3. 仮色差補正」〜「7. 表色系変換」の処理をそのまま行う。
【００５４】
（例２）
補間済データは通常、絵作りのための色補正処理が加わっている。これらの影響を少なくして色勾配判定するため、例１の色空間変換ではなく、Lab空間に変換する。Luv空間等であってもよい。図１２は、例２における処理の関係を説明するためのブロック図である。
【００５５】
１）色空間変換
補間済RGBデータ（図１２の４０１）をLabデータに変換する（図１２の４０２）。
２）色勾配判定法による適応的偽色除去
第１の実施の形態の図７と本実施の形態の図１２において、仮色差補正３０４は仮ａｂ面補正４０３に対応し、色勾配解析３０５は色勾配解析４０４に対応し、適応的色差補正３０６は適応的色差補正４０５に対応し、表色系変換３０８は色空間変換４０６に対応する。第１の実施の形態あるいは第２の実施の形態の「3. 仮色差補正」〜「7. 表色系変換」の処理において、Cb,Crをa,bに置き換えて行う。単純に置き換えができないところだけ以下で定義する。
【００５６】
４．色勾配解析（図１２の４０４）
色指標Cdiffを、次式(119)あるいは次式(120)により求める。
【数３】
0005206851.tif 000004
【００５７】
（例３）
例２のように色勾配を調べるために用いる色空間と色差補正処理する色空間が一致していなくてもよい。色差補正処理する色空間を例えば、Lab 空間のab面やYIQ空間のIQ面とする。色勾配を見るため、ab面やIQ面で色差補正を行った後、色空間を例えばHSV空間やLCH空間に変換する。変換後、以下の式(121)や式(122)により、輝度成分以外の色度（chromaticity）成分の変化をみて色勾配を求める。HSV空間のH,SやLCH空間のC,Hが色度成分（情報）である。色度（chromaticity）とは、簡単に言うと明るさを除いた色の性質を言う。色差（chrominance）も色度（chromaticity）に含まれる概念である。
HSV空間の場合
Cgrad[i,j]=|grad(S[i,j])|+|grad(H[i,j])| ...(121)
LCH空間の場合
Cgrad[i,j]=|grad(C[i,j])|+|grad(H[i,j])| ...(122)
ただし、gradは第１の実施の形態や第２の実施の形態で定義した演算子である。
【００５８】
このように、第３の実施の形態では、色度成分を有する色空間において、該色度成分に基づき色勾配を求めている。そして、求めた色勾配に基づき、第１の実施の形態と同様に適応的に色差補正を行う。これにより、第１の実施の形態と同様な効果を奏する。
【００５９】
−第４の実施の形態−
第４の実施の形態は、色勾配判定による輝度成分生成法の切替えについて説明する。第４の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
【００６０】
従来、ベイヤ配列のカラーフィルタを備えた撮像素子で撮像されたカラー画像を補間する技術として、米国特許第5,382,976号が知られている。これは、ベイヤ面の方向性を調べながらG面を補間し、R,B面の補間はG面になぞらえてG面の高周波成分をR,B面に上乗せする方式である。R,B面の補間は、一旦色差面R-G,B-Gの空間に移行し、色差面で補間してからG面を加算して元のR,Bに戻すのと等価である。しかしながら、G面の補間は補間対象画素近傍に存在するG成分の平均値だけで補間しているため、凹凸のある構造物をうまく予測することができず、斜め線に対してはいわゆる斜線ジャギーが発生してしまう問題がある。
【００６１】
これに対処する１つの方法として、米国特許第5,629,734号に示されるように、G成分の補間においてもG面をR,B面になぞらえる方法がある。これは色差R-G,B-Gが常に一定と仮定し、R,G,Bが全て同様の振る舞いをするとの前提の下に組み立てられうるアルゴリズムである。
【００６２】
一方、別の対処方法として、本願発明者が発明した国際公開第02/071761号に開示された方法がある。この方法では、輝度成分をG面で補間するのではなく、RGBが加重合成された別の色空間の輝度成分に直接変換する段階で、中心画素の凹凸情報を取り込んで斜線ジャギー対策する。
【００６３】
しかしながら、米国特許第5,629,734号のような対処を施した場合、色差一定の仮定が成り立たない色境界部では、復元画像に破綻を来す問題がある。すなわち、G補間時の近傍G平均値に対するRもしくはB成分による補正項が逆に悪さをし、過補正が生じて色境界部の至る所で黒や白のブツブツ状のもの（オーバーシュート）が発生する。
【００６４】
一方の国際公開第02/071761号の方式では、米国特許第5,629,734号に比べ遥かに色境界部で問題を起こさせずに斜線ジャギー対策を可能とする。しかし、ごくまれにある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。
【００６５】
第４の実施の形態の画像処理方法は、このような色境界部の問題を解決しつつ、斜線ジャギー対策も施された高精細高画質なカラー画像を生成する画像処理方法を提供する。
【００６６】
図１３は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図１４は、処理の関係を説明するためのブロック図である。図１３、図１４を使用して、画像処理部１１が行う画像データ変換処理の概要を説明する。
【００６７】
ステップＳ１では、ベイア面（図１４の１０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ２において、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図１４の１０３）。このとき類似度を算出して縦横方向判定を行い（図１４の１０２）、縦横方向判定に基づき色差情報Ｃｒ、Ｃｂを生成する。
【００６８】
ステップＳ３では、色差情報Ｃｒ、Ｃｂを使用して色勾配解析を行う（図１４の１０４）。色勾配解析は、まず、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの色を評価する色指標を求める。すべての画素について色指標を求め、色指標面を生成する。各画素について、該当画素の色指標と周辺画素の色指標とに基づき、色勾配をもとめ色境界があるかどうか解析する。色勾配とは、色の変化の度合いである。
【００６９】
ステップＳ４において、Ｇ面生成１を行う（図１４の１０５）。すなわち、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。Ｇ面生成１の補間方法は、斜線解像が可能な方法である。すなわち、斜線ジャギーを発生させない補間方法である。次に、ステップＳ５において、Ｇ面生成２を行う（図１４の１０６）。Ｇ面生成１と同様に、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。Ｇ面生成２の補間方法は、斜線ジャギーの発生の可能性はあるが色境界部での問題が発生しない補間方法である。
【００７０】
ステップＳ６において、ステップＳ３の色勾配解析結果に基づき、ステップＳ４のＧ面生成１とステップＳ５のＧ面生成２の補間結果を合成する（図１４の１０７）。例えば、色勾配が弱いとき、すなわち色の変化が平坦であるときは、Ｇ面生成１の補間結果を使用し、色勾配が強いとき、すなわち色境界部では、Ｇ面生成２の補間結果を使用する。あるいは、色勾配に応じた加重係数で、Ｇ面生成１の補間結果とＧ面生成２の補間結果を加算する。
【００７１】
ステップＳ７において、ステップＳ２のＣｒ、Ｃｂ面とステップＳ６のＧ面とに基づき、ＲＧＢ表色系に変換し（図１４の１０８）、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。
【００７２】
なお、変換前ＲＧＢ画像データの画素数と変換後画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。
【００７３】
以下「1-2-3．Cb面生成、補間」までの処理は、第１の実施の形態と同様であるので、説明を省略する。
1. Cr,Cb色差面生成
1-1. 方向判定
1-1-1. 類似度の算出
1-1-2. 類似性判定
1-2. 色差生成
1-2-1. Cr面生成
1-2-2. Cr面補間
1-2-3．Cb面生成、補間
【００７４】
1-2-4. 色差補正
色評価に先立ち色差情報Ｃｒ、Ｃｂの補正を行う。色評価を正確に行うため、前述のようにして取得したＣｒ、Ｃｂの色差面に生じている偽色を除去するためである。色差メディアンフィルタを使用してもよいが、第４の実施の形態では、以下の式(11)および図１５で示されるローパスフィルタを使用する。この処理は、偽色を除去するという目的を高速に達成することができる。なお、他の方法によって偽色を除去するようにしてもよい。
Cr[i,j]={4* Cr[i,j]
+2*(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+1*(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])}/16 ...(11)
【００７５】
Cb[i,j]も同様にして求める。
【００７６】
2. 色勾配解析
2-１. 色指標の算出
上述のようにして求まった色差情報Cr[i,j],Cb[i,j]から、式(12)を使用して画素単位の色を評価するための色指標Cdiff[i,j]を求める。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(12)
【００７７】
色指標は、その値により無彩色か有彩色か、有彩色の場合低彩色か高彩色かの彩度を評価することができる。上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、その精度を向上させている。色差を展開すると次の式(13)のようになる。本実施の形態では、この色指標を使用することにより、あらゆる色境界がまんべんなく見つかる。
Cdiff=(|R-G|+|G-B|+|B-R|)/3 ...(13)
【００７８】
2-2. 色勾配の評価
このようにベイヤ復元画像で予測される色が精度よく求まった段階で、従来技術の問題として浮上している色境界部を識別するため、色指標の面内で色の勾配を調べる。変換対象画素[i,j]における色勾配をgrad_Cdiff[i,j]で表すと、次式(14)により求めることができる。
grad_Cdiff[i,j]=
(|Cdiff[i-1,j]-Cdiff[i,j]|+|Cdiff[i+1,j]-Cdiff[i,j]|
＋|Cdiff[i,j-1]-Cdiff[i,j]|＋|Cdiff[i,j+1]-Cdiff[i,j]|
＋|Cdiff[i-1,j-1]-Cdiff[i,j]|＋|Cdiff[i+1,j+1]-Cdiff[i,j]|
＋|Cdiff[i-1,j+1]-Cdiff[i,j]|＋|Cdiff[i+1,j-1]-Cdiff[i,j]|)/8 ...(14)
式(14)の色勾配の演算には、あらゆる方向の色境界部を同時に検知するため、隣接する全ての画素との差分を求める等方型の一次微分フィルタを用いた。このように複数の方向に等方的に微分をほどこすのは、すべての方向のエッジを検出するためである。なお、差分の差分を求める二次微分フィルタを用いてもよい。一次微分では立ち上がりあるいは立ち下がりのエッジを見つけ、二次微分では山あるいは谷を見つけることができる。
【００７９】
3. G面生成1
前述した方向判定で求めた方向指標HV[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素[i,j]あるいはＢ画素[i,j]における、Ｇ色成分の色情報G[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。Ｇ面生成１で求める補間方法は、斜線解像が可能な、すなわち斜線ジャギーの発生をおさえることが可能な補間方法である。ただし、色境界部での問題は生じる可能性のある補間方法である。この補間方法で求まるＧ補間値をg1とする。
【００８０】
方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(15)を使用してg1[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(16)を使用してg1[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(17)を使用してg1[i,j]を求める。
g1[i,j]=(G[i,j-1]+G[i,j+1])/2+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(15)
g1[i,j]=(G[i-1,j]+G[i+1,j])/2+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(16)
g1[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ...(17)
なお、ZはＲ画素ではZ=R、Ｂ画素ではZ=Bを表す。
【００８１】
変換前ＲＧＢ画像データのＧ画素[i,j]におけるg1[i,j]は、Ｇ画素[i,j]の値をそのまま使用する。
【００８２】
4. G面生成2
Ｇ面生成１と同様に、前述した方向判定で求めた方向指標HV[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素[i,j]あるいはＢ画素[i,j]における、Ｇ色成分の色情報G[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。Ｇ面生成２で求める補間方法は、斜線ジャギー発生の問題はあるが、色境界部での問題は生じない補間方法である。この補間方法で求まったＧ補間値をg2とする。
【００８３】
方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(18)を使用してg2[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(19)を使用してg2[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(20)を使用してg2[i,j]を求める。
g2[i,j]=(G[i,j-1]+G[i,j+1])/2 ...(18)
g2[i,j]=(G[i-1,j]+G[i+1,j])/2 ...(19)
g2[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ...(20)
【００８４】
変換前ＲＧＢ画像データのＧ画素[i,j]におけるg2[i,j]は、Ｇ画素[i,j]の値をそのまま使用する。
【００８５】
ここで、式(18)〜式(20)の別解として、斜線ジャギーの抑制がある程度可能な以下の式(21)〜式(23)のような工夫を加えてもよい。Ｇ色成分の補間において凹凸情報をＧ色成分自身で予測するので、色境界部での問題は式(18)〜式(20)と同様、全く起こらない。方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(21)を使用してg2[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(22)を使用してg2[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(23)を使用してg2[i,j]を求める。
g2[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2])/8
+(2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/8 ...(21)
g2[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1])/8
+(2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/8 ...(22)
g2[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2])/16
+(2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1])/16
+(2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16 ...(23)
【００８６】
5. G面合成
5-1. 加重比率の決定
前述の通り2通りのG面生成法を示したが、通常はG面生成1で求められた斜線ジャギー対策が可能なG補間値g1を用い、問題の生じる色境界部ではG面生成2で求められたG補間値g2を用いる。この切り替えの加重比率として前述の色勾配を用いる。画素[i,j]におけるg1の加重比率を1-λ、g2の加重比率をλとすると、λの値は以下式(24)〜式(26)により決定する。
if      grad_Cdiff[i,j]≦th1  λ[i,j]=0 ...(24)
else if grad_Cdiff[i,j]≦th2  λ[i,j]=grad_Cdiff[i,j]/th2 ...(25)
else                          λ[i,j]=1 ...(26)
【００８７】
これを模式図で示すと図１６のようになる。閾値th1、th2の値は、256階調で表されているとき、th1=0〜4、th2=6〜10のような値を採るとよい。すなわち、色勾配の小さいところではg1を用い、色勾配の大きいところではg2を用い、その中間的なところでは色勾配の大きさそのものを指標として加重合成している。場合によってはth1=th2としてg1,g2の切り替えのみで中間部分を省略しても良い。
【００８８】
5-2. 加重合成処理
上記加重比率λを用いて2通りのG補間値g1,g2を、式(27)により加重合成する。
G[i,j]=(1-λ[i,j])*g1[i,j]+λ[i,j]*g2[i,j] ...(27)
【００８９】
6. 表色系変換
式(8)〜式(10)で求まったCr,Cb面、あるいは、式(11)により適切な色差補正の加えられたCr,Cb面と、式(27)で求まったG面の3つの色情報から式(28) 式(29)によりRGB表色系への変換を行う。
R[i,j]=Cr[i,j]+G[i,j] ...(28)
B[i,j]=Cb[i,j]+G[i,j] ...(29)
【００９０】
このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。特に、第４の実施の形態では、従来技術で問題となる色境界部での黒や白のブツブツ状のもの（オーバーシュート）の発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。
【００９１】
−第５の実施の形態−
第４の実施の形態では、一般的な補間処理の考え方を採用してＧ面生成１を行った。しかし、第５の実施の形態では、第４の実施の形態とは異なる別方式でＧ面生成１を行う例を示す。第５の実施の形態で行うＧ面生成１は、基本的には、国際公開第02/071761号に開示された方法に基づくものである。
【００９２】
第５の実施の形態の電子カメラ１の構成は、第４の実施の形態の図１と同様であるのでその説明を省略する。また、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートは、第４の実施の形態の図１３のステップＳ３の色勾配解析とステップＳ４のＧ面生成１の内容が異なるのみである。従って、第５の実施の形態のフローチャートは省略し、図１３を参照することとする。
【００９３】
図１７は、第５の実施の形態における処理の関係を説明するためのブロック図である。第４の実施の形態の図１４と異なるところは、斜め方向判定２０１が追加され、Ｇ面生成１（２０２）は縦横方向判定１０２と斜め方向判定２０１の結果に基づいて行うところである。また、色勾配解析２０３の内容が第４の実施の形態の色勾配解析１０４と異なる。以下、この色勾配解析２０３（ステップＳ３）とＧ面生成１（２０２）（ステップＳ４）を中心に第５の実施の形態を説明する。
【００９４】
1. Cr,Cb色差面生成
Cr,Cb色差面生成は第４の実施の形態と同様である。Cr,Cb色差面生成では、第４の実施の形態と同様に、類似性の判定は縦横方向判定を使用する。
【００９５】
2. 色勾配解析
2-１. 色指標の算出
Cr,Cb色差面生成で求まった色差情報Cr[i,j],Cb[i,j]から、画素単位の色を評価するための色指標Cdiff[i,j]を求める。ところで、第４の実施の形態では、オーバーシュートの生じるあらゆる色境界を検出する必要があったが、第５の実施の形態では、後述するY面生成時に起きる筋状の縦縞、横縞発生箇所を抽出し、その箇所には別方式で対処することを狙いとしている。
【００９６】
これは、第５の実施の形態では、基本的に、国際公開第02/071761号に開示された方法に基づきＧ面生成１を行うので、米国特許第5,629,734号に比べ遥かに色境界部の問題を起こさせずに斜線ジャギー対策を可能とするためである。しかし、第５の実施の形態のＧ面生成１であっても、ある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。これは、赤と青の色境界、緑とオレンジの色境界、ピンクと水色の色境界、白と黄色の色境界等で、筋状の縦縞、横縞（色境界ジャギー）が発生する可能性がある。中でも反対色間の対で起こりやすいことが分かった。これは、方向性を考慮してRGB一定比率で合成することにより通常の色境界部や斜め線構造物では滑らかに連結しているはずの輝度面が、特定の色の組み合わせ領域では、RGB色の色情報が相互に干渉しあって、合成後の輝度成分に局所的なモアレ現象を生じさせているためであると推測される。
【００９７】
従って、第５の実施の形態のＧ面生成１では、色境界ジャギーが、特に反対色間の色境界部で発生しやすく、通常の色境界では発生しない事実から、反対色色境界部の検出能力を上げるため、色指標として反対色間色差を利用して識別対象箇所のコントラストを上げる工夫をする。すなわち、式(30)を使用して色指標Cdiff[i,j]を求める。
Cdiff[i,j]=(|Cr[i,j]-Cb[i,j]/2|+|Cb[i,j]-Cr[i,j]/2|
+|Cr[i,j]/2+Cb[i,j]/2|)/3 ...(30)
【００９８】
上記色指標の色差部分を展開すると、次式(31)のようになる。R（赤）とCy（シアン）、G（緑）とMg（マゼンタ）、B（青）とYe（イエロー）は反対色（補色）の関係にある。
Cdiff=(|R-(G+B)/2|+|G-(B+R)/2|+|B-(R+G)/2|)/3
=(|R-Cy|+|G-Mg|+|B-Ye|)/3 ...(31)
【００９９】
2-2. 色勾配の評価
第４の実施の形態と同様に行う。
【０１００】
3. G面生成1
第４の実施の形態とは異なり、斜線解像、すなわち斜線ジャギーの発生を抑えることが可能な別の方式によるG成分生成を行う。これは、G補間をするのではなく、一旦別の表色系で輝度成分と色差成分を生成した後にRGB成分に変換する方式である。国際公開第02/071761号に開示された方法に基づくものである。
【０１０１】
3-1. 斜め方向判定
3-1-1. 類似度の算出
変換前ＲＧＢ画像データのＲ画素あるいはＢ画素において、変換対象画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め４５度、斜め１３５度の方向である。図１８で示すと、斜め４５度は[HV,DN]=[0,1]の方向で、斜め１３５度は[HV,DN]=[0,-1]の方向である。図１８については、さらに後述する。斜め４５度方向の類似度C45[i,j]は式(32)により、斜め１３５度方向の類似度C135[i,j]は式(33)により求める。
C45[i,j]={(|G[i,j-1]-G[i-1,j]|+| G[i+1,j]-G[i,j+1]|)/2
+(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2}/2 ...(32)
C135[i,j]={(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2
+(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2}/2 ...(33)
【０１０２】
3-1-2. 類似性判定
次に、類似性判定を行う。上記で求めたC45[i,j]、C135[i,j]を使用して、変換対象画素の類似性の判定を行う。ここでは、４５度方向に類似性が強いか、１３５度方向に類似性が強いか、４５度方向１３５度方向の判定は不能かの判定を行う。具体的には、条件(34)を満足するときは、４５度方向１３５度方向の判定は不能として方向指標DN[i,j]=0をセットする。Th2は所定の閾値であり、縦横方向判定のTh1と同程度の値とする。例えば、２５６階調のときは１０前後の値とする。４５度方向１３５度方向の類似度間の差分が閾値Th2以下であれば、４５度方向に類似性が強いのか、１３５度方向に類似性が強いのか判定できないことを意味する。
|C45[i,j]-C135[i,j]|≦Th2 ...(34)
【０１０３】
条件(34)が満足しない場合、すなわち、４５度方向１３５度方向どちらかの方向の類似性が判定できる場合は、条件(35)を満足するか否かを判定する。満足するときは、４５度方向に類似性が強いとして、方向指標DN[i,j]=1をセットする。条件(35)を満足しない場合は、１３５度方向に類似性が強いとして方向指標DN[i,j]=-1をセットする。なお、類似度C45[i,j]、C135[i,j]は、値が小さいほど類似性が強いことを示している。
C45[i,j]<C135[i,j] ...(35)
【０１０４】
3-2. 輝度Y面生成
3-2-1. 加重加算
第５の実施の形態の輝度情報Ｙの計算は、第４の実施の形態のＧ面生成ではなく、ベイア面を直接加重加算して輝度Ｙ面を生成する方式である。すなわち、補間処理がまだ行われていない変換前ＲＧＢ画像データの各色の色情報を使用して、輝度情報Ｙを直接生成するものである。変換前ＲＧＢ画像データ（ベイア面のデータ）の任意の色情報をA[x,y]で表すことにする。
【０１０５】
第４の実施の形態と同様に求めた縦横方向指標HV[i,j]および上記で求めた斜め方向指標DN[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素[i,j]における輝度情報ＹすなわちY[i,j]を求める。この縦横方向指標HV[i,j]および斜め方向指標DN[i,j]の組み合わせにより、類似性の方向が図１８に示すように９通りに分類できる。
【０１０６】
方向指標[HV,DN]、すなわち類似性の方向に応じて、以下に示すように式(37)〜(45)の１つを選択してY[i,j]を計算する。変換対象画素[i,j]がＧ画素のときは式(36)を使用し、変換対象画素[i,j]がＧ画素以外のときは以下の方向指標に応じた式(37)〜(45)のいずれかの式を使用する。なお、図１９は、変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。図２０は、変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
【０１０７】
方向指標[ 0, 0]のとき式(37)を使用する。
方向指標[ 0, 1]のとき式(38)を使用する。
方向指標[ 0,-1]のとき式(39)を使用する。
方向指標[ 1, 0]のとき式(40)を使用する。
方向指標[ 1, 1]のとき式(41)を使用する。
方向指標[ 1,-1]のとき式(42)を使用する。
方向指標[-1, 0]のとき式(43)を使用する。
方向指標[-1, 1]のとき式(44)を使用する。
方向指標[-1,-1]のとき式(45)を使用する。
【０１０８】
Y[i,j]=YG...(36)
Y[i,j]=YRBhv ...(37)
Y[i,j]=YRB45 ...(38)
Y[i,j]=YRB135 ...(39)
Y[i,j]=YRBv ...(40)
Y[i,j]=YRBv45 ...(41)
Y[i,j]=YRBv135 ...(42)
Y[i,j]=YRBh ...(43)
Y[i,j]=YRBh45 ...(44)
Y[i,j]=YRBh135 ...(45)
【０１０９】
ここで、上記YG、YRBhv、YRB45、YRB135、YRBv、YRBv45、YRBv135、YRBh、YRBh45、YRBh135は、以下の式(46)〜(55)で表される。
YG=α*A[i,j]
+(β/4)*{A[i-1,j]+A[i+1,j]+A[i,j-1]+A[i,j+1]} ...(46)
YRBhv=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(47)
YRB45=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(48)
YRB135=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1] +s2*A[i+1,j+1]} ...(49)
YRBv=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(50)
YRBv45=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(51)
YRBv135=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(52)
YRBh=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(53)
YRBh45=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(54)
YRBh135=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(55)
【０１１０】
ただし、上記定数（係数）には以下の制約条件(56)が付く。また、これらは全て正または零の値をとる。
α+β=1,p+q=1,u1+u2=1,v1+v2=1,s1+s2=1,t1+t2=1 ...(56)
一般的に好ましい定数の設定には以下のような例がある。
u1≒u2,v1≒v2,s1≒s2,t1≒t2
(α,β)=(1/3,2/3),(4/9,5/9),(5/11,6/11),(1/2,1/2),(5/9,4/9),
(3/5,2/5),(2/3,1/3)
定数α,βは、輝度に占めるR,G,B比率を決めるパラメータで、Y=α*G+β*(R+B)/2の関係にある。
【０１１１】
3-2-2. エッジ強調
上述のようにして求まったY面は正の係数のみで構成されているので、エッジ強調処理を施して適正なレベルのコントラストに戻す。エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ抽出を行うためのバンドパスフィルターとして、例えば式(57)および図２１で示すラプラシアンを用いる。さらに、式(58)の演算を行い最終的な輝度情報Ｙを求める。式(58)における定数Kは正の値をとり、通常1以上に設定する。
YH[i,j]={8*Y[i,j]-(Y[i-1,j]+Y[i+1,j]+Y[i,j-1]+Y[i,j+1]
+Y[i-1,j-1]+Y[i+1,j-1]+Y[i-1,j+1]+Y[i+1,j+1])}/16 ...(57)
Y[i,j]=Y[i,j]+K*YH[i,j] ...(58)
【０１１２】
3-2-3. 表色系変換
第４の実施の形態と同様に式(8)〜式(10)で求まったCr,Cb面、あるいは、式(11)により適切な色差補正の加えられたCr,Cb面と、式(58)で求まったY面の3つの色情報から式(59)によりG成分への変換を行う。これにより求まるG成分をg1とする。
g1[i,j]=Y[i,j]-(β/2)*Cr[i,j]-(β/2)*Cb[i,j] ...(59)
【０１１３】
4. G面生成2
G面生成2は、第４の実施の形態と同様である。
【０１１４】
5. G面合成
G面合成は、第４の実施の形態と同様である。
【０１１５】
6. 表色系変換
表色系変換は、第４の実施の形態と同様である。
【０１１６】
このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。第５の実施の形態では、特に従来技術で問題となる反対色間色境界に発生しやすい筋状の縦縞、横縞の色境界ジャギーの発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。
【０１１７】
上記第１の実施の形態から第５の実施の形態では、色差成分・輝度成分ともに色勾配を指標として適応的処理を加えることにより偽色・偽構造の少ない高品質な補間画像を提供できる。なかでも適応的偽色対策は、色モアレ除去や高ISO感度における色斑ノイズ対策に強力に威力を発揮する。
【０１１８】
なお、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。
【０１１９】
また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、Ｇ面生成やＹ面生成の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
【０１２０】
また、上記第４、５の実施の形態では、色差補正でローパスフィルタ（図１６）、エッジ強調でバンドパスフィルタ（図２１）の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
【０１２１】
また、上記第４、５の実施の形態では、色勾配に基づき色境界部の輝度を担う色成分の適切な補間方法を選択あるいは加重加算する例を示したが、必ずしもこれらの内容に限定する必要はない。例えば、6.表色系変換の手前に色差補正をするための色差補正ローパスフィルタ処理を挿入し、色勾配の解析結果に基づき、その色差補正ローパスフィルタのオンオフを行うようにしてもよい。これにより、色境界部以外の偽色が取れ、色境界部での色にじみの発生を防ぐことができる。また、色勾配の解析結果に基づき、色差補正ローパスフィルタの種類やサイズを選択するようにしてもよい。
【０１２２】
また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
【０１２３】
また、上記実施の形態では、単板式撮像素子の例で示したが、必ずしもこの内容に限定する必要はない。本発明は、２板式の撮像素子で撮像した画像データにも適用することができる。ＲＧＢベイア配列の単板式撮像素子で撮像した場合は、１つの画素には１つの色成分の情報を有し、ＲＧＢベイア配列の２板式撮像素子で撮像した場合は、１つの画素には２つの色成分の情報を有する。
【０１２４】
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２２はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【０１２５】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第１６７９２３号（２００３年６月１２日出願）
【図１】
0005206851.tif 000005
【図２】
0005206851.tif 000006
【図３】
0005206851.tif 000007
【図４】
0005206851.tif 000008
【図５】
0005206851.tif 000009
【図６】
0005206851.tif 000010
【図７】
0005206851.tif 000011
【図８】
0005206851.tif 000012
【図９】
0005206851.tif 000013
【図１０】
0005206851.tif 000014
【図１１】
0005206851.tif 000015
【図１２】
0005206851.tif 000016
【図１３】
0005206851.tif 000017
【図１４】
0005206851.tif 000018
【図１５】
0005206851.tif 000019
【図１６】
0005206851.tif 000020
【図１７】
0005206851.tif 000021
【図１８】
0005206851.tif 000022
【図１９】
0005206851.tif 000023
【図２０】
0005206851.tif 000024
【図２１】
0005206851.tif 000025
【図２２】
0005206851.tif 000026