(57)【要約】【課題】カラー画像生成において、解像度を低下させることなく偽色を抑える。【解決手段】４色（Ｒ、Ｙ、Ｃ、Ｂ）の色要素をモザイク状に配列させたカラーフィルタ付きＣＣＤ１４を、デジタルカメラ１０に設ける。色変換部２０の色信号補間処理部２５において、色要素の欠落する色信号を単純補間処理によって画素ごとに求める。そして、色変換処理部２７では、Ｒ，Ｇ，Ｂの色信号に対して４×３マトリクスを用いた色変換処理を実行する。色補間処理部２４では、補間生成された色変換信号の代わりに、相関補間処理によって新たな色変換信号を生成する。【選択図】図１
2009290607.tif 000002
【特許請求の範囲】
【請求項１】
４色以上の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子と、
周辺画素の色信号で補間しながら、各画素の色変換信号を画素ごとに生成する色変換信号生成手段と、
各画素の自身の色要素に対応しない色変換信号を、周辺画素それぞれの色要素に応じた色変換信号から求める色補間処理手段とを備え、
前記カラーフィルタにおいて、分光透過特性に関し相関性のある少なくとも２つの色要素が、画素配列斜め方向に沿って交互に並んで配置されることを特徴とする撮像装置。
【請求項２】
少なくとも５色以上の色要素によってカラーフィルタが構成され、
少なくとも３の色要素が互いに相関性をもつことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色変換信号生成手段が、画素毎に、対応する色要素の分光透過特性に最も相関性のある色変換信号を少なくとも生成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
互いに相関性のある色要素が、Ｇもしくは視感度に応じた色要素であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記色変換信号生成手段が、対象画素の欠落する色信号を近傍画素の色信号によって補間し、３つの色信号に対し色変換処理を施すことによって３つの色変換信号を生成し、
前記色補間処理手段が、補間処理によって補間された色信号から生成される色変換信号を、周辺画素の色要素に応じた色変換信号に基づく補間処理によって生成される補間色変換信号に置き換えることを特徴とする撮像装置。
【請求項６】
前記色変換信号生成手段が、隣接画素の色信号に基づいて各画素の欠落する色信号を補間することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記色変換信号生成手段が、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成し、
前記色補間処理手段が、各画素の色要素に応じない色変換信号を、周辺画素の色変換信号によって補間することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記色変換信号生成手段が、隣接画素の色信号に基づいて各画素の欠落する色信号を補間することを生成することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記色補間処理手段が、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記色補間処理手段が、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号に基づいて算出し、対象画素の色変換信号および算出した色差信号Ｃｂ、Ｃｒから補間色変換信号を生成することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記色変換信号生成手段は、隣接画素の色信号に基づく補間処理によって色信号を補間することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から読み出される画素信号に基いてカラー画像を生成する撮像装置に関し、特に、単板式撮像素子を使用するときの色変換処理に関する。
【背景技術】
【０００２】
単板式撮像素子を備えたデジタルカメラなどでは、カラーフィルタが撮像素子の受光面に配置されている。例えば、ベイヤー型カラーフィルタの場合、Ｒ，Ｇ，Ｂの色要素がモザイク状に配列され、各画素（受光素子）は、Ｒ，Ｇ，Ｂいずれかの色要素を通過した光を受光する。各画素には単色の色情報しか存在しないため、デモゼイシング（demosaicing）、すなわち色補間処理を行い、色補間処理欠落した色情報を周辺画素から補う。
【０００３】
色補間方法としては、単純に隣接画素の色信号の平均値を算出する方法、隣接画素の中で相関関係の強い画素を使って補間処理する方法など、様々な色補間方法が提案されている（特許文献１〜３参照）。そこでは、偽色を低減するとともに、画像の鮮明度（解像度）を維持するように、色補間処理が行われる。
【特許文献１】特開２００６−１３５９１９号公報
【特許文献２】特開２００６−１９１６０７号公報
【特許文献３】特開２００２−２２３４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般に、偽色の発生と画像の鮮明度はトレードオフ関係にある。隣接画素の平均値算出といった色補間処理では、偽色が抑えられる反面、ローパスフィルタリングが作用することによって、コントラスト、解像度が低下する。一方、対象画素から離れた画素を利用する複雑な補間処理では、解像度が向上する反面、偽色が生じやすい。
【０００５】
また、ｓＲＧＢなどの色空間に基づくカラーバランスのとれた画像信号を得るため、補間処理によって得られた色信号は、カラーマトリクスによって色変換処理される。このとき、補間処理によって得られた色信号を色変換するため、色変換処理を行うときにローパスフィルタリングの機能が働き、解像度がさらに低下する。また、偽色の発生する画素が、マトリクス変換によって広がっていく。
【０００６】
さらに、４色以上使用するカラーフィルタの場合、３色のカラーフィルタのようにＲ，Ｂに比べて倍の情報量のあるＧ情報で解像度を上げる手法をそのまま採用することはできず、偽色を抑えた色変換処理が３色カラーフィルタの場合と比べて難しい。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、４色以上のカラーフィルタを使用しながら、偽色の抑制と解像度の向上を両方実現可能な撮像装置である。撮像装置は、４色以上の色要素をモザイク状（市松状）に配列させたカラーフィルタを有する撮像素子を備え、例えばＣＣＤ、ＣＭＯＳ撮像素子が使用される。例えば撮像素子のカラーフィルタは、４色、すなわち赤（Ｒ），青（Ｂ）、そして緑（Ｇ）に応じた２色の色要素（Ｙ、Ｃ）によって構成される。あるいは、５色、６色の色要素によってカラーフィルタを構成してもよい。例えば、少なくとも５色以上の色要素によってカラーフィルタが構成され、少なくとも３の色要素が互いに相関性をもつようにする。被写体像が撮像素子に形成されると、一連の画素信号が読み出される（以下、各色要素の種類に従う画素信号を色信号という）。
【０００８】
本発明の撮像装置は、周辺画素の色信号で補間しながら、色変換信号を画素ごとに生成する色変換信号生成手段と、各画素の自身の色要素に対応しない色変換信号を、周辺画素それぞれの色要素に応じた色変換信号から求める色補間処理手段とを備える。ここでの周辺画素は、近傍画素よりも範囲の広い領域にある画素を表す。また、近傍画素は、上下左右、あるいは斜め方向に隣接する画素、あるいはそれ以上の一定距離範囲内にある画素を表す。
【０００９】
色変換信号生成手段は、色空間に従ってカラーバランス調整された色変換信号を生成する。色空間としては、測色学的に規格化された色空間、例えばＸＹＺ系、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ｓＲＧＢ空間などが適用される。例えば色変換信号生成手段は、色変換処理によって、カラー画像生成に必要なＲ，Ｇ，Ｂなど３つの色変換信号を画素毎に生成する。
【００１０】
本発明では、対象画素の色要素に対応しない色変換信号を、周辺画素の色要素に応じて得られる色変換信号から求める。すなわち、対象画素および周辺画素の各色要素から得られる色信号情報を効果的に利用しながら補間処理（デモゼイシング）を行い、色変換信号を生成する。そのため、補間した色信号の色変換処理による偽色の広がりが防止される。
【００１１】
なお、色変換信号を生成するため、暫定的に色信号を補間生成するが、近傍画素による補間であるため、偽色の発生が抑えられる。そして、カラーバランス調整された色変換信号に対して周辺画素を用いた高度な補間処理を行うことによって、高解像度の画像が復元可能とされる。
【００１２】
色変換信号生成手段は、画素毎に、対応する色要素の分光透過特性に最も相関性のある色変換信号を少なくとも生成するのが望ましい。例えば、互いに相関性のある色要素を、Ｇもしくは視感度に応じた色要素にし、Ｒ，Ｂ以外の色要素をＧと相関性のある色要素として構成するのがよい。緑色の光、あるいは視感度に応じた色要素の種類を多くすることによって、解像度の劣化を抑えた精度ある画像を復元することができる。
【００１３】
色変換信号生成については、例えば、色信号を補間して３つの色変換信号を生成し、そのうちの本来欠落する色変換信号を、周辺画素それぞれの色要素に応じた色変換信号に置き換えてもよい。この場合、色変換信号生成手段が、対象画素の欠落する色信号を近傍画素の色信号によって補間し、３つの色信号に対し色変換処理を施すことによって３つの色変換信号を生成する。そして、色補間処理手段は、補間処理によって補間された色信号から生成される色変換信号を、周辺画素の色要素に応じた色変換信号（すなわち、周辺画素の色変換信号のうち自身の色要素に応じた色変換信号）に基づく補間処理によって生成される補間色変換信号に置き換える。
【００１４】
あるいは、メモリへ一時的に格納する色変換信号データを抑えるため、色信号を補間して単色の色変換信号を画素毎に算出してもよい。この場合、色変換信号生成手段は、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成する。ただし、ここでの色変換係数は、色空間に基づいて定められる。そして、色補間処理手段は、各画素の色要素に応じない色変換信号を、周辺画素の色変換信号によって補間する。
【００１５】
なお、補間する色信号に起因して偽色が顕著にならないようにするため、色変換信号生成手段は、隣接画素の色信号に基づく補間処理によって色信号を補間するのがよい。例えば色変換処理手段は、隣接画素の色信号平均を算出する。
【００１６】
一方、高解像度の画像を復元するため、色補間処理手段は、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理するのが望ましい。例えば、色補間処理手段は、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号および該隣接画素の近傍画素の色変換信号によって算出し、対象画素の色変換信号および算出した色差信号Ｃｂ、Ｃｒによって欠落する色変換信号を補間する。あるいは、色補間処理手段が、隣接画素の色変換信号平均を算出してもよい。
【発明の効果】
【００１７】
本発明によれば、カラー画像生成において、解像度を低下させることなく偽色を抑えることができる。
【発明を実施するための最良の形態】
【００１８】
以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。
【００１９】
図１は、第１の実施形態におけるデジタルカメラのブロック図である。図２は、カラーフィルタ配列を示した図である。図３は、カラーフィルタの分光透過特性を示した図である。
【００２０】
デジタルカメラ１０は、撮影光学系１２、ＣＣＤ１４、コントローラ１６、画像信号処理回路１９を備え、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコントローラ１６は、レリーズボタンに対する操作を検出し、ＣＣＤ１４、画像信号処理回路１９などの回路へ制御信号を出力する。レリーズボタン（図示せず）が操作されると、以下に示す撮影動作が実行される。
【００２１】
被写体からの光は、撮影光学系１２、シャッタ（図示せず）を通ってＣＣＤ１４に到達し、これにより被写体像がＣＣＤ１４の受光面に形成される。撮像方式として単板同時式が適用され、ＣＣＤ１４の受光面には、４つの色要素をモザイク状に配列させたカラーフィルタ１３が設けられている。
【００２２】
図２に示すように、カラーフィルタ１３は、４つの色要素Ｒ，Ｙ，Ｃ，Ｂをベイヤー配列させたフィルタであり、ＣＣＤ１４の各画素の上にＲ，Ｙ，Ｃ，Ｂいずれかの色要素が配置されている。また、カラーフィルタ１３は、互いに隣接する４つの色要素Ｒ，Ｙ，Ｃ，Ｂを単位ブロックＢとして構成される基本ベイヤー型であり、奇数ラインではＲ，Ｙ、偶数ラインではＢ，Ｃが交互に並び、ＲとＢ、およびＣとＹが対角線方向に沿って交互に並ぶ。
【００２３】
図３に示すように、各色要素のスペクトルは、ほぼ等間隔で分布する。色要素Ｃは、Ｒ，Ｇ、Ｂフィルタにおける緑色に応じた色要素Ｇと色要素Ｂとのほぼ中間をピークとするスペクトル分布をもつ。また、色要素Ｙは、色要素Ｒと色要素Ｇとのほぼ中間をピークとするスペクトル分布をもつ。
【００２４】
ＣＣＤ１４では、カラーフィルタ１３の各色要素に応じてアナログ画素信号が発生し、コントローラ１６からの駆動信号に従って１フレーム分の画素信号が読み出される（以下では、各画素において生成される画素信号を色信号という）。読み出された一連の色信号（ＲＡＷデータ）は、初期回路１８においてデジタル信号に変換され、ＤＳＰ（Digital Signal Processor）によって構成された画像信号処理回路１９の色変換部２０へ送られる。
【００２５】
色変換部２０は、色信号補間処理部２５および色変換処理部２７を備える。色信号補間処理部２５では、各画素において欠落している、すなわち色要素に対応していない色情報を補間する色信号補間処理が行われる。ここでは、上下左右および斜め方向に隣接する画素の色信号を用いて補間処理を行う。補間処理によってＲ０、Ｙ０、Ｃ０、Ｂ０色信号が画素ごとに生成されると、色信号Ｒ０、Ｙ０、Ｃ０、Ｂ０は色変換処理部２７へ送られる。
【００２６】
一連の色信号Ｒ０、Ｙ０、Ｃ０、Ｂ０は、色変換処理部２７において一時的にメモリ（図示せず）に格納された後、４×３のカラーマトリクスによって色変換（マトリクス変換）処理される。これにより、色空間に基づくカラーバランスの調整されたＲｃ、Ｇｃ、Ｂｃ色信号（以下では、色変換信号という）が生成される。そして後述するように、補間処理部２４では、一時的にメモリに格納されたＲｃ、Ｇｃ、Ｂｃ色変換信号に対し、色補間処理が実行される。これにより、Ｒｓ、Ｇｓ、Ｂｓ色変換信号が生成される。
後段信号処理回路２６では、Ｒｓ、Ｇｓ、Ｂｓ色変換信号に対し、ホワイトバランス（ゲイン）処理、γ補正、輪郭強調、階調変換などの処理が施される。その結果、カラー画像データが生成され、メモリカード２８へ記憶される。
【００２７】
図４は、色信号補間処理から色変換処理、そして色補間処理までのフローを示した図である。以下では、一連の処理フローを説明する。
【００２８】
色信号補間処理部２５では、対象画素に隣接する画素の色信号の平均値を算出し、色要素に対応していない欠落している色信号を生成する（Ｓ１０１）。以下、このような補間処理を単純補間処理とする。例えば、補間対象画素に対応する色要素がＲの場合、上下左右に隣接する２つの画素のＣ、Ｙ信号の平均値をそれぞれＣ、Ｙの色信号として生成し、対角線方向に隣接する４つの画素のＢ信号平均値をＢの色信号として生成する。
【００２９】
図５は、ＣＣＤ１４から読み出される色信号を５×５の画素配列に合わせて示した図である。図５には、画素Ｐ１〜Ｐ２５から得られる色要素Ｒ、Ｙ、Ｃ、もしくはＢに応じた色信号を、配列順の番号を付けて表している。例えば、画素Ｐ１３の色信号Ｒ１３、Ｙ１３、Ｃ１３、Ｂ１３は、以下の式によって求められる。
【００３０】
【数１】
2009290607.tif 000003
【００３１】
色信号Ｒ１３は、ＣＣＤ１４から読み出された画素Ｐ１３の色信号そのものを示す。上下に隣接する画素（Ｐ８、Ｐ１８）のＣ信号（Ｃ８、Ｃ１８）の平均値を画素Ｐ１３のＣ信号として定め、左右に隣接する画素（Ｐ１２、Ｐ１４）のＹ信号（Ｙ１２、Ｙ１４）の平均値を画素Ｐ１３のＹ信号と定め、そして、斜め方向に隣接する画素（Ｐ７、Ｐ９、Ｐ１７、Ｐ１９）のＢ信号（Ｂ７、Ｂ９、Ｂ１７、Ｂ１９）の平均値をＢ信号として定める。
【００３２】
一方、補間対象画素の色要素がＣ、Ｙの場合、上下又は左右に隣接する２つの画素のＲ信号平均値を補間信号とし、左右又は上下に隣接する２つの画素のＢ信号平均値をＢの補間信号とする。また、補間対象画素の色要素がＢの場合、左右に隣接する２つの画素のＣ信号平均値、および上下に隣接する２つの画素のＹ信号平均値を補間信号とし、対角線方向に隣接する４つの画素のＲ信号平均値を、補間するＲ信号とする。
【００３３】
色変換処理部２７では、各画素の色信号Ｒ０、Ｙ０、Ｃ０、Ｂ０はマトリクス変換される（図４のＳ１０２）。ここでは、以下の式に示すように、ｓＲＧＢ空間に基づく４×３カラーマトリックスを用いた色変換処理が施される。
【００３４】
【数２】
2009290607.tif 000004
【００３５】
色変換処理によってＲｃ、Ｇｃ、Ｂｃ色変換信号が生成されると、色補間処理が実行される。色補間処理では、元々の（補間ではない）色信号から生成された色変換信号をそのまま設定する一方（Ｓ１０３）、単純補間処理によって生成された色変換信号を使用せず、新たな補間処理によって生成する色変換信号（補間色変換信号）に置き換える（Ｓ１０４）。以下、色補間処理について説明する。
【００３６】
図６は、色変換信号を画素配列に合わせて示した図である。上述したように、色信号補間処理を行うことによって、色要素Ｒ，Ｙ，Ｃ，Ｂすべてに応じた色信号Ｒ０，Ｙ０，Ｃ０，Ｂ０が画素ごとに生成される。そして、（２）式のマトリクス演算によって、Ｒ０，Ｙ０，Ｃ０，Ｂ０色信号は、それぞれＲｃ、Ｇｃ、Ｂｃの色変換信号に変換される。図６では、５×５の画素配列に従ったＲｃ、Ｂｃ、Ｇｃ信号を表している。
【００３７】
色要素Ｒに応じた画素（例えばＰ１３など）を取り上げてみると、Ｒｃ，Ｇｃ，Ｂｃ色変換信号のうち、Ｒｃの色変換信号は、ＣＣＤ１４から読み出された色信号を色変換することによって生成されている。それ以外のＧｃ，Ｂｃの色変換信号は、色信号補間処理に基づいて生成されたものである。このことは、色要素Ｇ、Ｂの画素に対しても同じである。すなわち、各画素のＲｃ，Ｇｃ，Ｂｃ色変換信号のうち、２つの色要素に応じた色変換信号は、色信号補間処理によって得られた色信号を元にして生成されている。
【００３８】
本実施形態では、ＣＣＤ１４から読み出された色信号を色変換して得られる色変換信号を使用する。補間処理では、近傍画素の中で相関関係の相対的に大きい画素の色変換信号を利用して、色補間処理を行う（以下、このような補間処理を相関補間処理という）。
【００３９】
図７は、画素Ｐ１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図８は、画素Ｐ１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図７、８を用いて、画素Ｐ１３に対する相関補間処理について説明する。
【００４０】
画素Ｐ１３の場合、色変換信号Ｒｃ１３は、ＣＣＤ１４から読み出された色信号を主成分とする一方、色変換信号Ｇｃ１３、Ｂｃ１３は、補間された色信号から生成されている。そのため、色変換信号Ｒｃ１３はそのまま出力される色変換信号Ｒｓ１３として設定される。一方、色変換信号Ｇｃ１３、Ｂｃ１３は使用されず、画素Ｐ１３に隣接する画素の色変換信号によって補間される。色要素Ｒの画素Ｐ１３では、先にＧの色変換信号が補間生成される。そして、補間生成されたＧの色変換信号も利用してＢの色変換信号が補間生成される。
【００４１】
まず、上下左右方向に隣接する４つの画素（Ｐ８、Ｐ１２、Ｐ１４、Ｐ１８）の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８に基づいて、対象画素Ｐ１３に対する上下方向、左右方向（２方向）の相関関係を比較する。具体的には、上下方向に沿った色変換信号Ｇｃ８、Ｇｃ１８の差ΔＧｖ（＝｜Ｇｃ８−Ｇｃ１８｜）と、左右方向に沿った色変換信号Ｇｃ１２、Ｇｃ１４の差ΔＧｈ（＝｜Ｇｃ１２−Ｇｃ１４｜）とが比較される。
【００４２】
そして、相関関係に基づき、新たな色変換信号Ｇｓ１３が以下の式によって求められる。すなわち、ΔＧｖ＜ΔＧｈの場合、上下方向に沿って相関関係が強いと判断され、上下方向の色変換信号Ｇｃ８、Ｇｃ１８の平均を、新たな色変換信号Ｇｓ１３として定める。一方、左右方向に沿って相関関係が強い場合（ΔＧｖ≧ΔＧｈ）、色変換信号Ｇｃ１２、Ｇｃ１４の平均を色変換信号Ｇｓ１３とする。
【００４３】
【数３】
2009290607.tif 000005
【００４４】
色要素Ｇに応じた色変換信号Ｇｓ１３を算出すると、今度は、色要素Ｂに応じた色変換信号Ｂｓ１３を新たに算出する。色要素Ｂに応じた隣接画素Ｐ７、Ｐ９、Ｐ１７、Ｐ１９は、画素Ｐ１３に対して対角線方向にある。ここでは、画素Ｐ１３を中心とした上方向、下方向、左方向、右方向（４方向）の相関関係を、色情報が多いＧの色変換信号を使って比較する（図８参照）。その後、輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との色空間に基づく関係式によって、色変換信号Ｂｓ１３を算出する。
【００４５】
まず、（３）式によって算出された色変換信号Ｇｓ１３と、上下左右方向に沿った隣接画素の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８との差を、以下の式によってそれぞれ求める。ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒは、それぞれ上、下、左、右の隣接画素の色変換信号との差を表す。
【００４６】
【数４】
2009290607.tif 000006
【００４７】
算出された差ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒの大きさを比較することによって、相関関係の最も強い方向（隣接画素）を判断する。すなわち、差を最小にする隣接画素が、補間処理に用いる画素として選ばれる。
【００４８】
例えば、差ΔＧｈｌが最小、すなわち左隣の画素Ｐ１２の色変換信号Ｇｃ１２が最も相関関係の強い場合、以下の式によって新たな色変換信号Ｂｓ１３が求められる。
【００４９】
【数５】
2009290607.tif 000007
【００５０】
（５）式は、ｓＲＧＢ空間の色域によって求められる輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との関係式に基づく。そこでは、隣接画素Ｐ１２における色差信号Ｃｂ（＝(Ｂ−Ｙ)/1.772）、Ｃｒ（＝(Ｒ−Ｙ)/1.402）を求め、新たな色変換信号Ｂｓ１３を、色変換信号Ｒｓ１３（＝Ｒｃ１３）、および色差信号Ｃｂ、Ｃｒによって算出する。
【００５１】
（５）式に示すように、色変換処理によって求められたＲｃ１２、Ｂｃ１２は使用されず、隣接画素Ｐ７、Ｐ１７の色変換信号Ｂｃ７、Ｂｃ１７および隣接画素Ｐ１１、Ｐ１３の色変換信号Ｒｃ１１、Ｒｃ１３による補間処理によって算出される暫定の色変換信号Ｒ’ｃ１２、Ｂ’ｃ１２が用いられる。（５）式に示される色変換信号Ｒｃ１１、Ｒｃ１３、Ｂｃ７、Ｂｃ１７は、ＣＣＤ１４から読み出される色信号を主成分とする色変換信号である（図６参照）。
【００５２】
一方、右隣、上隣、下隣に関する差ΔＧｈｒ、ΔＧｖｕ、ΔＧｖｂが最小である場合、それぞれ以下の式によって色変換信号Ｒｓ１３が算出される。
【００５３】
【数６】
2009290607.tif 000008
【００５４】
【数７】
2009290607.tif 000009
【００５５】
【数８】
2009290607.tif 000010
【００５６】
図７、図８では、色要素Ｒの画素Ｐ１３に対する色補間処理を例示したが、色要素Ｂに応じた画素（Ｐ７など）についても、同様な補間処理が行われる。すなわち、初めに上下方向、もしくは左右方向に沿った相関関係の強い色要素Ｇの隣接画素によって、色変換信号Ｇｓを求めるための補間処理を行う。次に、色要素Ｇに関して相関関係の強い上、下、左、又は右隣の画素の暫定色変換信号Ｒ’ｃ、Ｂ’ｃと、輝度、色差信号Ｃｂ、Ｃｒに基づいて、色変換信号Ｒｓを算出する。一方、色要素Ｇに応じた画素を補間対象とする場合、上下、左右にＲ，Ｂに応じた画素が隣接することから、その平均値を色変換信号Ｒｓ、Ｂｓとして定める。
【００５７】
このような色補間処理が各画素に対して実行されることによって、画像全体の色変換信号Ｒｓ、Ｇｓ、Ｂｓが生成される。なお、補間処理部２４では、相関補間処理ではなく、単純補間処理を実行してもよい。例えば、画素Ｐ１３の場合、以下の式によって色変換信号Ｒｓ１３、Ｇｓ１３、Ｂｓ１３が求められる。
【００５８】
【数９】
2009290607.tif 000011
【００５９】
このように第１の実施形態によれば、４色Ｒ、Ｙ、Ｃ、Ｂの色要素をモザイク状に配列させたカラーフィルタ付きＣＣＤ１４が、デジタルカメラ１０に設けられる。色変換部２０の色信号補間処理部２５では、色要素の欠落する色信号が単純補間処理によって画素ごとに求められる。そして、色変換処理部２７では、Ｒ0，Ｃ0，Ｙ0，Ｂ0の色信号に対して４×３マトリクスを用いた色変換処理が実行される。色補間処理部２４では、補間生成された色変換信号の代わりに、相関補間処理によって新たな色変換信号が生成される。
【００６０】
色変換処理前では隣接画素を使った単純補間処理を行っているため、偽色が発生しにくい。そのため、色変換処理後に偽色の画素が広がるのを抑えることができる。一方、カラーバランス調整された色変換信号に対しては、補間処理ではなく、ＣＣＤ１４から読み出された色信号を主成分とする色変換信号を使って相関補間処理を行う。そのため、偽色を抑えながらジッパーノイズなど解像度を低下させる現象を抑えることができ、鮮明度の高い高解像度画像を得ることができる。
【００６１】
４つの色要素Ｒ，Ｙ，Ｃ，Ｂから成るカラーフィルタを使用しているため、視感度に対応する色要素Ｃ、Ｙの情報が多く、復元画像の精度が上がる。また、画素配列の斜め方向に沿って色要素Ｙ，Ｃを交互に配置することによって、色信号補間処理、色変換処理における解像度劣化を防ぐとともに、処理速度が上がる。
【００６２】
従来の補間処理と本実施形態による補間処理とを比較するため、偽色の発生および解像度性能を確かめた。以下、図９、図１０を用いて比較結果を説明する。
【００６３】
図９は、ＣＺＰチャートを使った偽色発生の程度を示したグラフである。ＣＺＰチャートを使って現れるイメージをＬ＊ａ＊ｂ＊空間の色に変換し、その像における色差ａ＊、ｂ＊のヒストグラム表示した後、色差ａ＊、ｂ＊の標準偏差ａｓ、ｂｓの平均値を算出している。
【００６４】
ここでは、比較のために３つの補間処理（Ａ）、（Ｂ）、（Ｃ）行っている。補間処理（Ａ）は、一度だけ単純補間処理を実行し、単純補間処理後に色変換処理を行う従来型の補間、色変換処理を示す。補間処理（Ｂ）は、本実施形態で示した色信号補間処理、色変換処理、色補間処理を表す。ただし、色補間処理では、単純補間処理が行われている。補間処理（Ｃ）も本実施形態における色変換処理、色補間処理であって、相関補間処理が行われている。
【００６５】
色差ａ＊、ｂ＊の標準偏差ａｓ、ｂｓは、チャートの像に出現する色のバラツキの程度を表す。赤〜緑色が多く出現する場合、標準偏差ａｓの値が大きくなり、青〜黄色が多く出現する場合、標準偏差ｂｓの値が大きくなる。ここでは、色のバラツキの程度を偽色の評価値と定め、標準偏差ａｓ、ｂｓの平均値が小さいほど、偽色が少ないとみなす。
【００６６】
図９に示すように、従来の補間処理および色変換・補間処理（Ａ）による標準偏差ａｓ、ｂｓの平均値に比べ、本実施形態による標準偏差ａｓ、ｂｓの平均値の方が小さい。このことは、本実施形態による色変換・補間処理の方が偽色の発生が抑えられることを示している。
【００６７】
図１０は、くさびチャートを用いた解像度性能のグラフを示した図である。くさびチャートは、ＩＳＯ１２２３３に基づいた解像度チャートであり、評価画像は、縦４８０画素、横６４０画素である。図１０では、解像度の限界本数（ライン数）が色変換・補間処理（Ａ）〜（Ｃ）ごとに表されている。本実施形態による色変換・補間処理（Ｃ）は、従来の色変換・補間処理（Ａ）に比べて解像度が高い。
【００６８】
このような比較から明らかなように、本実施形態による色変換・補間処理は、偽色の発生を抑制するとともに、解像度の高い画像を復元することができる。
【００６９】
図１１は、第１の実施形態における他のカラーフィルタ配列を示した図である。カラーフィルタの色要素Ｒ，Ｙ，Ｃ，Ｂの配列は、図２に示す配列以外であってもよく、図１１に示す配列はその一例である。カラーフィルタ１３’では、色要素Ｙ、Ｃが垂直方向に沿って同一列に配置され、水平方向に沿って１つ飛びに交互に並んでいる。
【００７０】
次に、図１２〜図１４を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、画素ごとに単色の色変換信号が生成される。それ以外の構成については、第１の実施形態と実質的に同じである。
【００７１】
図１２は、第２の実施形態であるデジタルカメラのブロック図である。
【００７２】
第１の実施形態と同様、１フレーム分の画素信号がＣＣＤ１４から読み出され、初期回路１８を介して色変換部２０’へ送られる。色変換部２０’では、後述するように、対象画素に隣接する画素の色信号によって欠落する色信号（暫定色信号）を補間した上で、単色の色変換信号Ｒｃ，ＧｃもしくはＢｃを画素ごとに生成する。画素毎に生成された単色の色変換信号（Ｒｃ、Ｇｃ、もしくはＢｃ）は、補間処理部２４へ送られる。
【００７３】
補間処理部２４では、一時的にメモリ（図示せず）に格納されたＲｃ、Ｇｃ、Ｂｃ色変換信号に対し、色補間処理が実行される。これにより、欠落していた色変換信号も含め、Ｒｓ、Ｇｓ、Ｂｓ、３つの色変換信号が画素ごとに出力される。
【００７４】
図１３は、色変換処理および色補間処理のフローを示した図である。以下では、色変換処理、補間処理のフローを説明する。
【００７５】
色変換部２０’では、各画素の色信号を、色空間に基づいてカラーバランス調整する（Ｓ２０１）。このとき、カラーバランス調整の演算を行うため、対象画素に欠落している色信号を隣接画素の色信号によって暫定的に補間し、色要素Ｒ，Ｇ，Ｂに応じた３つの色信号に対するカラーマトリクス演算を行うことによって、単色の色変換信号を算出する。その結果、Ｙ、Ｃ信号がＧ信号として算出され、色変換信号Ｒｃ、Ｇｃ、Ｂｃのいずれか１つが画素毎に求められる。
【００７６】
例えば、色変換対象画素に対応する色要素がＲの場合、上下左右に隣接する４つの画素のＹ、Ｃ信号の平均値をＹ、Ｃの色信号（暫定色信号）として補間し、対角線方向に隣接する４つの画素のＢ信号平均値をＢの色信号として補間する。そして、色空間に基づいたマトリクス係数（色変換係数）をＲ，Ｙ，Ｃ，Ｂ色信号に乗じる。
【００７７】
例えば、次式に示すように、画素Ｐ１３の色信号Ｒ１３に対する色変換処理によって、色変換信号Ｒｃ１３が求められる。次式に示す１×４マトリクスの各マトリクス係数の値は、ｓＲＧＢ空間に基づいて定められている。
【００７８】
【数１０】
2009290607.tif 000012
【００７９】
一方、色変換対象画素が色要素Ｃ、Ｙの画素である場合、上下および左右に隣接する色要素Ｒの画素、色要素Ｂの画素に基づいて単純補間処理を行い、Ｒ，Ｂの暫定色信号を定める。そして、自身の色信号、Ｙ、もしくはＣの暫定色信号、およびＲ，Ｂの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素Ｐ１４、Ｐ１８の場合、次式によって色変換信号Ｇｃ１４、Ｇｃ１８がそれぞれ算出される。
【００８０】
【数１１】
2009290607.tif 000013
【００８１】
【数１２】
2009290607.tif 000014
【００８２】
また、色変換対象画素が色要素Ｂの画素の場合、上下左右に隣接する４つの画素のＹ、Ｃ信号に基づいて単純補間処理を行い、対角線方向に隣接する４つの画素のＲ信号に対して単純補間処理を行う。そして、自身の色要素Ｂの色信号および色要素Ｒ，Ｃ、Ｙの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素Ｐ１９の場合、次式によって色変換信号Ｂｃ１９が算出される。
【００８３】
【数１３】
2009290607.tif 000015
【００８４】
図１４は、色変換信号を５×５の画素配列に合わせて示した図である。各画素には、色要素Ｒ，Ｇ，Ｂいずれか１つに応じた色変換信号だけが算出されている。例えば、画素Ｐ１３の場合、色変換信号Ｒｃ１３しか存在しない。
【００８５】
補間処理部２４では、各画素の色変換信号に対して補間処理が行われ、色要素Ｒ，Ｇ，Ｂに応じた３つの色変換信号が生成される。ここでは、第１の実施形態と同様、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいた相関補間処理を行う。
【００８６】
このように第２の実施形態によれば、ＣＣＤ１４から読み出される色信号は、色変換処理部２０’において色変換処理され、単色の色変換信号が画素ごとに生成される。そして、補間処理部２４では、相関補間処理によって、色要素Ｒ，Ｇ，Ｂに応じた色変換信号が画素ごとに生成される。色変換処理のとき、対象画素の欠落する色信号が隣接画素の色信号によって補間され、ｓＲＧＢ空間に基づいたマトリクス係数が、自身の色信号および補間された色信号にそれぞれ乗じられる。
【００８７】
次に、図１５〜図１９を用いて、第３の実施形態について説明する。第３の実施形態では、６色カラーフィルタが用いられる。それ以外の構成については、第２の実施形態と実質的に同じである。すなわち、単色の色変換信号を生成した後、欠落する色変換信号を補間する。
【００８８】
図１５は、第３の実施形態におけるデジタルカメラで使用されるカラーフィルタの配列を示した図である。
【００８９】
カラーフィルタ１３０は、色要素Ｒ，Ｂとともに、人間の視感度に応じた色要素Ｃ、Ｇａ、Ｇｂ、Ｙを加えた６つの色要素をモザイク状に配列させたカラーフィルタであって、色要素Ｃ、Ｇａ、Ｇｂ、Ｙは、画素配列の斜め方向に沿って互い違いに並んでいる。ここでは、色要素Ｙ、Ｇａ、および色要素Ｃ、Ｇｂがそれぞれ交互に並ぶ。したがって、色要素Ｒ、Ｂに対し、上下左右方向に４つの色要素Ｃ、Ｇａ、Ｇｂ、Ｙが隣接し、色要素Ｒ、Ｂは斜め方向に沿って交互に配置される。
【００９０】
図１６は、カラーフィルタ１３０の分光透過特性を示した図である。図１６に示すように、色要素Ｇａ、Ｇｂは、色要素Ｃ、Ｙの間にピーク波長をもつスペクトル分布をもち、色要素Ｃ、Ｇａ、Ｇｂ、Ｙのピーク波長が略等間隔となるように、色要素Ｃ、Ｇａ、Ｇｂ、Ｙのスペクトル分布が定められている。
【００９１】
図１７は、各画素の色信号を４×８の画素配列に合わせて示した図である。第２実施形態と同様、隣接画素による補間によって暫定色信号が画素ごとに生成される。そして、１×６のカラーマトリクスを用いたマトリクス演算が実行される。その結果、各画素の色要素に応じて単色の色変換信号Ｒｃ，Ｇｃ，もしくはＢｃが生成される。
【００９２】
図１８は、４×８の画素配列に合わせて各画素の色変換信号を示した図である。例えば、画素Ｐ１１における色変換信号Ｇｃ１１は、以下の式によって求められる。ただし、色要素Ｃ，Ｃｂに関しては、画素Ｐ１１に隣接する画素がそれぞれ１つずつしかないため（Ｐ２とＰ２０）、そのまま画素値を定める。
【００９３】
【数１４】
2009290607.tif 000016
【００９４】
同様に、画素Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１９、Ｐ２０、Ｐ２１、Ｐ２２の色変換信号Ｂｃ１２、Ｇｃ１３、Ｂｃ１４、Ｒｃ１９、Ｇｃ２０、Ｒｃ２１、Ｇｃ２２は、以下の式によって求められる。
【００９５】
【数１５】
2009290607.tif 000017
【００９６】
【数１６】
2009290607.tif 000018
【００９７】
【数１７】
2009290607.tif 000019
【００９８】
【数１８】
2009290607.tif 000020
【００９９】
【数１９】
2009290607.tif 000021
【０１００】
【数２０】
2009290607.tif 000022
【０１０１】
【数２１】
2009290607.tif 000023
【０１０２】
色変換信号が画素ごとに求められると、第２の実施形態と同様、相関補間処理、あるいた単純補間処理が実行される。これにより、色変換信号Ｒｓ、Ｇｓ、Ｂｓが生成される。
【０１０３】
視感度に応じた４つの色要素を斜め方向に交互に配置することによって、解像度が向上する。一方、各画素では、色要素に最も相関のある単色の色変換信号が生成される。（例えば、色要素Ｃ，Ｇａ，Ｇｂ，ＹについてはＧの色変換信号が生成）。そのため、６色のカラーフィルタを用いても偽色の発生を抑えることができる。
【０１０４】
なお、色変換処理については、第１実施形態のように、３つの色変換信号を画素ごとに算出してもよい。この場合、以下の式によるカラーマトリクス演算が行われる。
【０１０５】
【数２２】
2009290607.tif 000024
【０１０６】
図１９は、第３の実施形態における他のカラーフィルタ配列を示した図である。カラーフィルタ２３０では、色要素Ｃ、Ｇｂの斜め方向配列の順番が図１５のカラーフィルタ１３０と逆であり、２×４をブロック単位としてカラーフィルタ配列が構成される。
【０１０７】
次に、図２０〜図２２を用いて、第４の実施形態であるデジタルカメラについて説明する。第４の実施形態では、５色カラーフィルタが用いられる。それ以外の構成については、第２の実施形態と同じである。
【０１０８】
図２０は、第４の実施形態であるデジタルカメラのカラーフィルタ配列を示した図である。カラーフィルタ３３０は、色要素Ｒ，Ｇｂ，Ｇａ，Ｃ，Ｂをモザイク状に配列させたカラーフィルタであり、視感度に応じた色要素Ｇａ，Ｇｂ，Ｃが斜め方向に沿って互い違いに並んでいる。カラーフィルタ３３０は、２×３をブロック単位として構成される。
【０１０９】
図２１は、各画素の色信号および生成される色変換信号を４×６の画素配列に合わせて示した図である。第２実施形態と同様、暫定補間色信号を生成する。そして、１×５のカラーマトリクスを用いてマトリクス演算を実行する。これにより、単色の色変換信号Ｒｃ，Ｇｃ，もしくはＢｃが画素毎に求められる。そして、補間処理によってＲｓ，Ｇｓ，Ｂｓの色変換信号が生成される。
【０１１０】
例えば、画素Ｐ８、Ｐ９、Ｐ１０、Ｐ１４、Ｐ１５、Ｐ１６の色変換信号Ｂｃ８、Ｇｃ９、Ｂｃ１０、Ｇｃ１４、Ｒｃ１５、Ｇｃ１６は、以下の式によって求められる、
【０１１１】
【数２３】
2009290607.tif 000025
【０１１２】
【数２４】
2009290607.tif 000026
【０１１３】
【数２５】
2009290607.tif 000027
【０１１４】
【数２６】
2009290607.tif 000028
【０１１５】
【数２７】
2009290607.tif 000029
【０１１６】
【数２８】
2009290607.tif 000030
【０１１７】
なお、色変換処理については、第１実施形態のように、３つの色変換信号を画素ごとに算出してもよい。この場合、以下の式によるカラーマトリクス演算が行われる。
【０１１８】
【数２９】
2009290607.tif 000031
【０１１９】
図２２は、第４の実施形態における他のカラーフィルタ配列を示した図である。カラーフィルタ４３０では、色要素Ｃ、Ｇｂの斜め方向配列の順番が図２０のカラーフィルタ１３０と逆になっている。
【０１２０】
補間処理としては、上述した単純補間処理、相関補間処理以外の補間処理を適用してもよい。この場合、色変換部においてカラーマトリクス演算のため補間する（暫定の）色信号については、できるだけ偽色の発生を抑えるように隣接画素あるいは近傍画素を用いて補間処理を行うのがよい。一方、補間処理部では、高解像度の画像を復元するように、隣接画素だけでなく周辺画素を利用して補間処理を行うのがよい。
【０１２１】
色空間としては、ｓＲＧＢ空間の代わりに、ＹＵＶ空間など他の色空間を適用してもよい。カラーフィルタは、Ｒ，Ｇ，Ｂ原色フィルタに限定されず、補色フィルタを用いてもよい。
【０１２２】
補間処理については、プログラムによるソフトウェアによって実行するように構成してもよい。また、カメラ付き携帯電話や内視鏡など、デジタルカメラ以外の撮像装置に適用してもよい。
【図面の簡単な説明】
【０１２３】
【図１】第１の実施形態におけるデジタルカメラのブロック図である。
【図２】カラーフィルタ配列を示した図である。
【図３】カラーフィルタの分光透過特性を示した図である。
【図４】色信号補間処理から色変換処理、そして色補間処理までのフローを示した図である。
【図５】ＣＣＤから読み出される色信号を５×５の画素配列に合わせて示した図である。
【図６】色変換信号を画素配列に合わせて示した図である。
【図７】画素Ｐ１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。
【図８】画素Ｐ１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。
【図９】ＣＺＰチャートを使った偽色発生の程度を示したグラフである。
【図１０】くさびチャートを用いた解像度性能のグラフを示した図である。
【図１１】他のカラーフィルタ配列を示した図である。
【図１２】第２の実施形態であるデジタルカメラのブロック図である。
【図１３】色変換処理および色補間処理のフローを示した図である。
【図１４】色変換信号を５×５の画素配列に合わせて示した図である。
【図１５】第３の実施形態におけるデジタルカメラで使用されるカラーフィルタの配列を示した図である。
【図１６】カラーフィルタの分光透過特性を示した図である。
【図１７】各画素の色信号を４×８の画素配列に合わせて示した図である。
【図１８】４×８の画素配列に合わせて各画素の色変換信号を示した図である。
【図１９】第３の実施形態における他のカラーフィルタ配列を示した図である。
【図２０】第４の実施形態であるデジタルカメラのカラーフィルタ配列を示した図である。
【図２１】各画素の色信号および生成される色変換信号を４×６の画素配列に合わせて示した図である。
【図２２】第４の実施形態における他のカラーフィルタ配列を示した図である。
【符号の説明】
【０１２４】
１０  デジタルカメラ
１３  カラーフィルタ
１４  ＣＣＤ（撮像素子）
２０  色変換部
２４  補間処理部
【図１】
2009290607.tif 000032
【図２】
2009290607.tif 000033
【図３】
2009290607.tif 000034
【図４】
2009290607.tif 000035
【図５】
2009290607.tif 000036
【図６】
2009290607.tif 000037
【図７】
2009290607.tif 000038
【図８】
2009290607.tif 000039
【図９】
2009290607.tif 000040
【図１０】
2009290607.tif 000041
【図１１】
2009290607.tif 000042
【図１２】
2009290607.tif 000043
【図１３】
2009290607.tif 000044
【図１４】
2009290607.tif 000045
【図１５】
2009290607.tif 000046
【図１６】
2009290607.tif 000047
【図１７】
2009290607.tif 000048
【図１８】
2009290607.tif 000049
【図１９】
2009290607.tif 000050
【図２０】
2009290607.tif 000051
【図２１】
2009290607.tif 000052
【図２２】
2009290607.tif 000053