(57)【要約】【課題】色補間処理において、偽色を抑えながら高解像度の画像を得る。【解決手段】デジタルカメラ１０に、Ｒ，Ｇ，Ｂ原色フィルタを設けた単板式ＣＣＤ１４を備える。第１の補間処理部２０において、欠落する色信号を、単純補間処理によって算出する。色変換処理部２２では、Ｒ，Ｇ，Ｂの色信号に対して３×３マトリクスを用いた色変換処理を実行する。そして、第２の補間処理部２４では、補間生成された色変換信号の代わりに、相関補間処理によって新たな色変換信号を生成する。【選択図】図１
2009290568.tif 000002
【特許請求の範囲】
【請求項１】
３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子と、
各画素の欠落する色信号を近傍画素の色信号によって補間する第１の色補間処理手段と、
各画素の色信号に対して色変換処理を施し、色変換信号を生成する色変換処理手段と、
前記第１の色補間処理によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える第２の色補間処理手段とを備え、
前記第２の色補間処理手段が、周辺画素の色変換信号に基づく補間処理によって前記補間色変換信号を生成することを特徴とする撮像装置。
【請求項２】
前記第１の色補間処理手段が、隣接画素の色信号に基づいて補間処理することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の色補間処理手段が、隣接画素の色信号平均を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の色補間処理手段が、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第２の色補間処理手段が、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号に基づいて算出し、対象画素の色変換信号および算出した色差信号Ｃｂ、Ｃｒから補間色変換信号を生成することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２の色補間処理手段が、前記撮像素子から読み出される色信号を色変換して生成される色変換信号に基づいて、補間処理することを特徴とする請求項４乃至５のいずれかに記載の撮像装置。
【請求項７】
前記第２の色補間処理手段が、隣接画素の色信号平均を算出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記カラーフィルタが、赤（Ｒ），緑（Ｇ）,青（Ｂ）の色要素によって構成されることを特徴とする請求項１乃至７に記載の撮像装置。
【請求項９】
前記カラーフィルタが、赤（Ｒ），青（Ｂ）,そして緑（Ｇ）に応じた２色の色要素（Ｙ、Ｃ）によって構成されることを特徴とする請求項１乃至７に記載の撮像装置。
【請求項１０】
前記色変換処理手段が、画素毎に３つの色変換信号をマトリクス演算によって生成することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
【請求項１１】
３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色補間処理装置であって、
各画素の欠落する色信号を近傍画素の色信号によって補間する第１の色補間処理手段と、
色変換処理によって生成される色変換信号に関し、前記第１の色補間処理手段によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える第２の色補間処理手段とを備え、
前記第２の色補間処理手段が、周辺画素の色変換信号に基づく補間処理によって前記補間色変換信号を生成することを特徴とする色補間処理装置。
【請求項１２】
３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用するときの色補間処理方法であって、
各画素の欠落する色信号を近傍画素の色信号によって補間し、
色変換処理によって生成される色変換信号に関し、前記第１の色補間処理手段によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える方法であって、
周辺画素の色変換信号に基づく補間処理によって前記補間色変換信号を生成することを特徴とする色補間処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から読み出される画素信号に基いてカラー画像を生成する撮像装置に関し、特に、単板式撮像素子の使用時に行われる色の補間処理に関する。
【背景技術】
【０００２】
単板式撮像素子を備えたデジタルカメラなどでは、カラーフィルタが撮像素子の受光面に配置されている。例えば、ベイヤー型カラーフィルタの場合、Ｒ，Ｇ，Ｂの色要素がモザイク状に配列され、各画素（受光素子）は、Ｒ，Ｇ，Ｂいずれかの色要素を通過した光を受光する。各画素には単色の色情報しか存在しないため、デモゼイシング（demosaicing）と言われる色補間処理を行い、欠落した色情報を周辺画素から補う。
【０００３】
色補間方法としては、単純に隣接画素の信号平均値を算出する方法、隣接画素の中で相関関係の強い画素を使って補間処理する方法など、様々な色補間方法が提案されている（特許文献１〜３参照）。そこでは、偽色を低減するとともに、画像の鮮明度（解像度）を維持するように、色補間処理が行われる。
【特許文献１】特開２００６−１３５９１９号公報
【特許文献２】特開２００６−１９１６０７号公報
【特許文献３】特開２００２−２２３４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般に、偽色の発生と画像の鮮明度はトレードオフ関係にある。隣接画素の平均値算出といった色補間処理では、偽色が抑えられる反面、ローパスフィルタリングによってコントラスト、解像度が低下する。一方、対象画素から離れた画素を利用する複雑な補間処理では、解像度が向上する反面、偽色が生じやすい。
【０００５】
また、ｓＲＧＢなどの色空間に基づくカラーバランスのとれた画像信号を得るため、補間処理によって得られた色信号は、カラーマトリクスによって色変換処理される。このとき、補間処理によって得られた色信号を色変換するため、色変換処理を行うときにローパスフィルタリングの機能が働き、解像度がさらに低下する。また、偽色の発生する画素が、マトリクス変換によって広がっていく。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、偽色の抑制と解像度の向上を両方実現可能な撮像装置であり、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を備える。例えば撮像素子は、カラーフィルタが、赤（Ｒ），緑（Ｇ），青（Ｂ）の色要素によって構成され、あるいは、カラーフィルタが、赤（Ｒ），青（Ｂ），そして緑（Ｇ）に応じた２色の色要素（Ｙ、Ｃ）によって構成される。４色の場合、スペクトル分布がおよそ等間隔に並ぶような４つの色要素によって構成すればよい。被写体像が撮像素子に形成されると、一連の画素信号が読み出される（以下、各色要素の種類に従う画素信号を色信号という）。
【０００７】
本発明の撮像装置は、各画素において欠落する色信号、すなわち対応する色要素では得られない（色要素に応じない）色信号を、近傍画素の色信号によって補間する第１の色補間処理手段と、各画素の色信号に対して色変換処理を施し、色変換信号を生成する色変換処理手段と、第１の色補間処理によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える第２の色補間処理手段とを備える。色変換信号としては、Ｒ，Ｇ，Ｂ信号などカラー画像を構成するための色変換信号が生成される。そして、第２の色補間処理手段が、周辺画素の色変換信号に基づく補間処理によって補間色変換信号を生成する。
【０００８】
ここでの周辺画素は、近傍画素よりも範囲の広い領域にある画素を表す。また、近傍画素は、上下左右、あるいは斜め方向に隣接する画素、あるいはそれ以上の一定距離範囲内にある画素を表す。色変換処理手段は、色空間に従ってカラーバランス調整された色変換信号を生成する。色空間としては、測色学的に規格化された色空間、例えばＸＹＺ系、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ｓＲＧＢ空間などが適用される。例えば色変換処理手段は、画素毎にＲ，Ｇ，Ｂなど３色の色変換信号をマトリクス演算によって生成する。
【０００９】
本発明では、各画素の色要素に応じた色変換信号を利用する補間処理（デモゼイシング）を実行し、色変換処理の前後に２つの補間処理が行われる。第１の補間処理では、近傍画素の色信号を用いて補間処理が実行されることから、偽色を抑えやすい。一方、第２の補間処理では、補間によって生成された色変換信号は使用されず、周辺画素の色変換信号を使った第２の補間処理を行う。このとき、すでにカラーバランス調整された色変換信号に対して周辺画素を用いた高度な補間処理を行うことによって、高解像度の画像が復元される。
【００１０】
色変換処理前では、偽色の発生をできるだけ抑制するのが望ましい。そのため、第１の補間処理では、近傍画素の中で隣接する画素の色信号を用いた補間処理を行えばよい。例えば、第１の色補間処理手段が、隣接画素の色信号平均を算出する。
【００１１】
一方、第２の補間処理では、解像度の高い画像を復元するため、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理するのがよい。例えば、上下左右の隣接画素の中で最も相関関係のある画素に基づいた補間処理を行ってもよい。また、第２の色補間処理手段は、撮像素子から読み出される色信号を色変換することで得られる色変換信号に基づいて、補間処理を行うようにしてもよい。すなわち、撮像素子から読み出される色信号を主成分とする色変換信号を補間処理する。
【００１２】
輝度、色差信号Ｃｂ、Ｃｒを利用した補間処理を行う場合、第２の色補間処理手段は、隣接画素の中で相関関係の相対的に強い画素の色差信号Ｃｂ、Ｃｒを、その隣接画素の色変換信号に基づいて算出し、対象画素の色変換信号および色差信号Ｃｂ、Ｃｒから補間色変換信号を生成すればよい。このとき、撮像素子から読み出される色信号に基づいて色変換信号を生成するため、隣接画素の補間された色変換信号を使用せず、その隣接画素の近傍画素の色変換信号によって補間するようにしてもよい。あるいは、隣接する画素の色信号の平均値を算出するなど、隣接画素の色信号に基づいて補間処理してもよい。
【００１３】
本発明の色補間処理装置は、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色補間処理装置であって、各画素の欠落する色信号を近傍画素の色信号によって補間する第１の色補間処理手段と、色変換処理手段によって生成される色空間に基づいた色変換信号に関し、第１の色補間処理によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える第２の色補間処理手段とを備え、第２の色補間処理手段が、周辺画素の色変換信号に基づく補間処理によって補間色変換信号を生成することを特徴とする。
【００１４】
本発明の色補間処理方法は、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用するときの色補間処理方法であって、各画素の欠落する色信号を近傍画素の色信号によって補間し、色変換処理手段によって生成される色空間に基づいた色変換信号に関し、第１の色補間処理によって補間された色信号から生成される色変換信号を、補間色変換信号に置き換える方法であって、周辺画素の色変換信号に基づく補間処理によって補間色変換信号を生成することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、色補間処理において、偽色を抑えながら高解像度の画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。
【００１７】
図１は、第１の実施形態におけるデジタルカメラのブロック図である。図２は、カラーフィルタ配列を示した図である。
【００１８】
デジタルカメラ１０は、撮影光学系１２およびＣＣＤ１４を備え、コントローラ１６がカメラの動作を制御する。レリーズボタン（図示せず）が操作されると、以下に示す撮影動作が実行される。
【００１９】
被写体からの光は、撮影光学系１２、シャッタ（図示せず）を通ってＣＣＤ１４に到達し、これにより被写体像がＣＣＤ１４の受光面に形成される。撮像方式として単板同時式が適用され、ＣＣＤ１４の受光面には、Ｒ，Ｇ，Ｂの色要素をモザイク状に配列させたカラーフィルタ１３が設けられている。
【００２０】
図２に示すように、カラーフィルタ１３は、３つの色要素Ｒ，Ｇ，Ｂをベイヤー配列させたフィルタであり、ＣＣＤ１４の各画素の上にＲ，Ｇ，Ｂいずれかの色要素が配置されている。また、カラーフィルタ１３は、互いに隣接する４つの色要素Ｒ，Ｇ，Ｂ，ＧをブロックＢとして構成される基本ベイヤー型であり、奇数ラインではＲ，Ｇ、偶数ラインではＢ，Ｇが交互に並び、ＲとＢが対角線方向に沿って交互に並ぶ。例えば色要素Ｒに応じた画素Ｐｉｊの上下左右には、色要素Ｇに応じた画素が隣接し、対角線方向には色要素Ｂに応じた画素が隣接する。
【００２１】
ＣＣＤ１４では、カラーフィルタ１３の各色要素に応じてアナログ画素信号が発生し、コントローラ１６からの駆動信号に従って１フレーム分の画素信号が読み出される（以下では、各画素において生成される画素信号を色信号という）。読み出された一連の色信号（ＲＡＷデータ）は、初期回路１８においてデジタル信号に変換され、ＤＳＰ（Digital Signal Processor）によって構成された画像信号処理回路１９の第１の補間処理部２０へ送られる。
【００２２】
第１の補間処理部２０では、各画素において欠落している色情報を補間する第１の色補間処理が行われる。ここでは、上下左右および斜め方向に隣接する画素の色信号を用いて補間処理を行う。補間処理によってＲ０、Ｇ０、Ｂ０色信号が画素ごとに生成されると、色信号Ｒ０、Ｇ０、Ｂ０は色変換処理部２２へ送られる。
【００２３】
一連の色信号Ｒ０、Ｇ０、Ｂ０は、色変換処理部２２において一時的にメモリ（図示せず）に格納された後、色変換（マトリクス変換）処理される。これにより、色空間に基づくカラーバランスの調整されたＲｃ、Ｇｃ、Ｂｃ色信号（以下では、色変換信号という）が生成される。そして、後述するように、第２の補間処理部２４では、一時的にメモリに格納されたＲｃ、Ｇｃ、Ｂｃ色変換信号に対し、第２の色補間処理に基づく色補間処理が実行される。これにより、Ｒｓ、Ｇｓ、Ｂｓ色変換信号が生成される。
【００２４】
後段信号処理回路２６では、Ｒｓ、Ｇｓ、Ｂｓ色変換信号に対し、ホワイトバランス（ゲイン）処理、γ補正、輪郭強調、階調変換などの処理が施される。その結果、カラー画像データが生成され、メモリカード２８へ記憶される。ＣＰＵ、ＲＯＭ、ＲＡＭを含むコントローラ１６は、レリーズボタンに対する操作を検出し、ＣＣＤ１４、画像信号処理回路１９などの回路へ制御信号を出力する。
【００２５】
図３は、第１の補間処理から色変換処理、第２の補間処理までのフローを示した図である。以下では、第１の色補間処理、色変換処理、第２の色補間処理までの処理フローを説明する。
【００２６】
第１の補間処理部２０では、対象画素に隣接する画素の色信号の平均値を算出し、欠落している色信号を生成する（Ｓ１０１）。以下、このような補間処理を単純補間処理とする。例えば、補間対象画素に対応する色要素がＲの場合、上下左右に隣接する４つの画素のＧ信号の平均値をＧの色信号として生成し、対角線方向に隣接する４つの画素のＢ信号平均値をＢの色信号として生成する。補間処理によって得られたＧ、Ｂの色信号とＣＣＤ１４から読み出されたＲの色信号とを合わせて、色信号Ｒ０、Ｇ０、Ｂ０が出力される。
【００２７】
図４は、ＣＣＤ１４から読み出される色信号を５×５の画素配列に合わせて示した図である。図４には、画素Ｐ１〜Ｐ２５から得られる色要素Ｒ、Ｇ、もしくはＢに応じた色信号を、配列順の番号を付けて表している。例えば、画素Ｐ１３の色信号Ｒ１３、Ｇ１３、Ｂ１３は、以下の式によって求められる。ただし、色信号Ｒ１３は、ＣＣＤ１４から読み出された画素Ｐ１３の色信号そのものである。上下左右に隣接する画素（Ｐ８、Ｐ１２、Ｐ１４、Ｐ１８）のＧ信号（Ｇ８、Ｇ１２、Ｇ１４、Ｇ１８）の平均値を画素Ｐ１３のＧ信号と定め、斜め方向に隣接する画素（Ｐ７、Ｐ９、Ｐ１７、Ｐ１９）のＢ信号（Ｂ７、Ｂ９、Ｂ１７、Ｂ１９）の平均値をＢ信号と定める。補間処理によって生成された色信号Ｇ１３、Ｂ１３と色信号Ｒ１３とが合わせて出力される。
【００２８】
【数１】
2009290568.tif 000003
【００２９】
一方、補間対象画素の色要素が奇数ラインのＧの場合、左右に隣接する２つの画素のＲ信号平均値をＲの補間信号とし、上下に隣接する２つの画素のＢ信号平均値をＢの補間信号とする。また、補間対象画素の色要素が偶数ラインのＧの場合、左右に隣接する２つの画素のＢ信号平均値をＢの補間信号とし、上下に隣接する２つの画素のＲ信号平均値をＲの補間信号とする。さらに、補間対象画素の色要素がＢの場合、上下左右に隣接する４つの画素のＧ信号平均値をＧの補間信号とし、対角線方向に隣接する４つの画素のＲ信号平均値を補間するＲ信号とする。
【００３０】
第１の補間処理部２０から出力される各画素の色信号Ｒ０、Ｇ０、Ｂ０は、色変換処理部２２においてマトリクス変換される（図３のＳ１０２）。ここでは、以下の式に示すように、ｓＲＧＢ空間に基づく３×３マトリックスを用いた色変換処理が施される。
【００３１】
【数２】
2009290568.tif 000004
【００３２】
色変換処理によってＲｃ、Ｇｃ、Ｂｃ色変換信号が生成されると、第２の色補間処理が実行される。第２の色補間処理では、元々の（補間ではない）色信号から生成された色変換信号をそのまま設定する一方（Ｓ１０３）、第１の補間処理によって生成された色変換信号を使用せず、新たな補間処理によって生成する色変換信号に置き換える（Ｓ１０４）。以下、第２の補間処理について説明する。
【００３３】
図５は、色変換信号を画素配列に合わせて示した図である。第１の色補間処理を行うことによって、色要素Ｒ，Ｇ，Ｂすべてに応じた色信号Ｒ０，Ｇ０，Ｂ０が画素ごとに生成さる。そして、（２）式のマトリクス演算によって、Ｒ０，Ｇ０，Ｂ０色信号は、それぞれＲｃ、Ｇｃ、Ｂｃの色変換信号に変換される。図５では、５×５の画素配列に従ったＲｃ、Ｂｃ、Ｇｃ信号を表している。
【００３４】
色要素Ｒに応じた画素（例えばＰ１３など）を取り上げてみると、Ｒｃ，Ｇｃ，Ｂｃ色変換信号のうち、Ｒｃの色変換信号は、ＣＣＤ１４から読み出された色信号を色変換することによって生成されている。それ以外のＧｃ，Ｂｃの色変換信号は、第１の補間処理に基づいて生成された色信号を色変換したものである。このことは、色要素Ｇ、Ｂの画素に対しても同じである。すなわち、各画素のＲｃ，Ｇｃ，Ｂｃ色変換信号のうち、２つの色要素に応じた色変換信号は、第１の色補間処理によって得られた色信号を元にして生成されている。
【００３５】
本実施形態では、ＣＣＤ１４から読み出された信号を色変換して得られる色変換信号を使用する。第２の補間処理では、近傍画素の中で相関関係の相対的に大きい画素の色変換信号を利用して、色補間処理を行う（以下、このような補間処理を相関補間処理という）。
【００３６】
図６は、画素Ｐ１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図７は、画素Ｐ１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図６、７を用いて、画素Ｐ１３に対する相関補間処理について説明する。
【００３７】
画素Ｐ１３の場合、色変換信号Ｒｃ１３は、ＣＣＤ１４から読み出された色信号を主成分とする一方、色変換信号Ｇｃ１３、Ｂｃ１３は、補間された色信号から生成されている。そのため、色変換信号Ｒｃ１３はそのまま出力される色変換信号Ｒｓ１３として設定される。一方、色変換信号Ｇｃ１３、Ｂｃ１３は使用されず、画素Ｐ１３に隣接する画素の色変換信号によって補間される。色要素Ｒの画素Ｐ１３では、先にＧの色変換信号が補間生成される。そして、補間生成されたＧの色変換信号も利用してＢの色変換信号が補間生成される。
【００３８】
まず、上下左右方向に隣接する４つの画素（Ｐ８、Ｐ１２、Ｐ１４、Ｐ１８）の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８に基づいて、対象画素Ｐ１３に対する上下方向、左右方向（２方向）の相関関係を比較する。具体的には、上下方向に沿った色変換信号Ｇｃ８、Ｇｃ１８の差ΔＧｖ（＝｜Ｇｃ８−Ｇｃ１８｜）と、左右方向に沿った色変換信号Ｇｃ１２、Ｇｃ１４の差ΔＧｈ（＝｜Ｇｃ１２−Ｇｃ１４｜）とが比較される。
【００３９】
そして、相関関係に基づき、新たな色変換信号Ｇｓ１３が以下の式によって求められる。すなわち、ΔＧｖ＜ΔＧｈの場合、上下方向に沿って相関関係が強いと判断され、上下方向の色変換信号Ｇｃ８、Ｇｃ１８の平均を、新たな色変換信号Ｇｓ１３として定める。一方、左右方向に沿って相関関係が強い場合（ΔＧｖ≧ΔＧｈ）、色変換信号Ｇｃ１２、Ｇｃ１４の平均を色変換信号Ｇｓ１３とする。
【００４０】
【数３】
2009290568.tif 000005
【００４１】
色要素Ｇに応じた色変換信号Ｇｓ１３を算出すると、今度は、色要素Ｂに応じた色変換信号Ｂｃ１３を新たに算出する。色要素Ｂに応じた隣接画素Ｐ７、Ｐ９、Ｐ１７、Ｐ１９は、画素Ｐ１３に対して対角線方向にある。ここでは、画素Ｐ１３を中心とした上方向、下方向、左方向、右方向（４方向）の相関関係を、色情報が多いＧの色変換信号を使って比較する（図７参照）。その後、輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との色空間に基づく関係式によって、色変換信号Ｂｓ１３を算出する。
【００４２】
まず、（３）式によって算出された色変換信号Ｇｓ１３と、上下左右方向に沿った隣接画素の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８との差を、以下の式によってそれぞれ求める。ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒは、それぞれ上、下、左、右の隣接画素の色変換信号との差を表す。
【００４３】
【数４】
2009290568.tif 000006
【００４４】
算出された差ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒの大きさを比較することによって、相関関係の最も強い方向（隣接画素）を判断する。すなわち、差を最小にする隣接画素が、補間処理に用いる画素として選ばれる。
【００４５】
例えば、差ΔＧｈｌが最小、すなわち左隣の画素Ｐ１２の色変換信号Ｇｃ１２が最も相関関係の強い場合、以下の式によって新たな色変換信号Ｂｓ１３が求められる。
【００４６】
【数５】
2009290568.tif 000007
【００４７】
（５）式は、ｓＲＧＢ空間の色域によって求められる輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との関係式に基づく。そこでは、隣接画素Ｐ１２における色差信号Ｃｂ（＝(Ｂ−Ｙ)/1.772）、Ｃｒ（＝(Ｒ−Ｙ)/1.402）を求め、新たな色変換信号Ｂｓ１３を、色変換信号Ｒｓ１３（＝Ｒｃ１３）、および色差信号Ｃｂ、Ｃｒによって算出する。
【００４８】
（５）式に示すように、第１の補間処理、色補間処理によって求められたＲｃ１２、Ｂｃ１２は使用されず、隣接画素Ｐ７、Ｐ１７の色変換信号Ｂｃ７、Ｂｃ１７および隣接画素Ｐ１１、Ｐ１３の色変換信号Ｒｃ１１、Ｒｃ１３による補間処理によって算出される暫定の色変換信号Ｒ’ｃ１２、Ｂ’ｃ１２が用いられる。（５）に示される色変換信号Ｒｃ１１、Ｒｃ１３、Ｂｃ７、Ｂｃ１７は、ＣＣＤ１４から読み出される色信号を主成分とする色変換信号である（図６参照）。
【００４９】
一方、右隣、上隣、下隣に関する差ΔＧｈｒ、ΔＧｖｕ、ΔＧｖｂが最小である場合、それぞれ以下の式によって色変換信号Ｒｓ１３が算出される。
【００５０】
【数６】
2009290568.tif 000008
【００５１】
【数７】
2009290568.tif 000009
【００５２】
【数８】
2009290568.tif 000010
【００５３】
図６、図７では、色要素Ｒの画素Ｐ１３に対する第２の色補間処理を例示したが、色要素Ｂに応じた画素（Ｐ７など）についても、同様な補間処理が行われる。すなわち、初めに上下方向、もしくは左右方向に沿った相関関係の強い色要素Ｇの隣接画素によって、色変換信号Ｇｓを求めるための補間処理を行う。次に、色要素Ｇに関して相関関係の強い上、下、左、又は右隣の画素の暫定色変換信号Ｒ’ｃ、Ｂ’ｃと、輝度、色差信号Ｃｂ、Ｃｒに基づいて、色変換信号Ｒｓを算出する。一方、色要素Ｇに応じた画素を補間対象とする場合、上下、左右にＲ，Ｂに応じた画素が隣接することから、その平均値を色変換信号Ｒｓ、Ｂｓとして定める。
【００５４】
このような第２の色補間処理が各画素に対して実行されることによって、画像全体の色変換信号Ｒｓ、Ｇｓ、Ｂｓが生成される。
【００５５】
このように第１の実施形態によれば、第１の補間処理部２０において、欠落する色信号が単純補間処理によって求められる。また、色変換処理部２２では、Ｒ０，Ｇ０，Ｂ０の色信号に対して３×３マトリクスを用いた色変換処理が実行される。そして、第２の補間処理部２４では、補間生成された色変換信号の代わりに、相関補間処理によって新たな色変換信号が生成される。
【００５６】
色変換処理前では隣接画素を使った単純補間処理を行っているため、偽色が発生しにくい。そのため、色変換処理後に偽色の画素が広がるのを抑えることができる。一方、カラーバランス調整された色変換信号に対しては、補間処理ではなく、ＣＣＤ１４から読み出された色信号を主成分とする色変換信号を使って相関補間処理を行う。そのため、偽色を抑えながらジッパーノイズなど解像度を低下させる現象を抑えることができ、鮮明度の高い高解像度画像を得ることができる。
【００５７】
従来の補間処理と本実施形態による補間処理とを比較するため、偽色の発生および解像度性能を確かめた。以下、図８、図９を用いて比較結果を説明する。
【００５８】
図８は、ＣＺＰチャートを使った偽色発生の程度を示したグラフである。ＣＺＰチャートを使って現れるイメージをＬ＊ａ＊ｂ＊空間の色に変換し、その像における色差ａ＊、ｂ＊のヒストグラム表示した後、色差ａ＊、ｂ＊の標準偏差ａｓ、ｂｓの平均値を算出している。
【００５９】
ここでは、比較のために３つの補間処理（Ａ）、（Ｂ）、（Ｃ）行っている。補間処理（Ａ）、（Ｂ）は、一度だけ補間処理を実行し、補間処理の後に色変換処理を行う従来型の補間、色変換処理を示す。特に、補間処理（Ａ）では、（１）式で表される単純補間処理を実行し、補間処理（Ｂ）では、（５）〜（８）式によって表される相関補間処理を実行する。補間処理（Ｃ）では、上述したように、第１の色補間処理（単純補間処理）、色変換処理、そして第２の色補間処理（相関補間処理）を行う。
【００６０】
色差ａ＊、ｂ＊の標準偏差ａｓ、ｂｓは、チャートの像に出現する色のバラツキの程度を表す。赤〜緑色が多く出現する場合、標準偏差ａｓの値が大きくなり、青〜黄色が多く出現する場合、標準偏差ｂｓの値が大きくなる。ここでは、色のバラツキの程度を偽色の評価値と定め、標準偏差ａｓ、ｂｓの平均値が小さいほど、偽色が少ないとみなす。
【００６１】
図８に示すように、従来の補間処理（Ａ）、（Ｂ）による標準偏差ａｓ、ｂｓの平均値に比べ、本実施形態による標準偏差ａｓ、ｂｓの平均値の方が小さい。このことは、本実施形態による補間処理の方が偽色の発生が抑えられることを示している。
【００６２】
図９は、くさびチャートを用いた解像度性能のグラフを示した図である。くさびチャートは、ＩＳＯ１２２３３に基づいた解像度チャートであり、評価画像は、縦４８０画素、横６４０画素である。図９では、解像度の限界本数（ライン数）が補間処理（Ａ）〜（Ｃ）ごとに表されている。本実施形態による補間処理（Ｃ）は、従来の補間処理（Ａ）、（Ｂ）に比べて解像度が高い。
【００６３】
このような比較から明らかなように、本実施形態による補間処理は、偽色の発生を抑制するとともに、解像度の高い画像を復元することができる。
【００６４】
なお、第２の色補間処理では、相関補間処理ではなく、第１の補間処理と同様に単純補間処理を実行してもよい。例えば、画素Ｐ１３の場合、以下の式によって色変換信号Ｒｓ１３、Ｇｓ１３、Ｂｓ１３が求められる。
【数９】
2009290568.tif 000011
【００６５】
また、第２の色補間処理において、隣接画素の暫定の色変換信号Ｒ’ｃ、Ｇ’ｃ、Ｂ’ｃを算出せず、第１の補間処理部２０によって生成された色変換信号Ｒｃ、Ｇｃ、Ｂｃをそのまま使用してもよい。この場合、（５）〜（８）式の暫定色変換信号Ｒ’ｃ、Ｂ’ｃの代わりに、すでに生成されている色変換信号Ｒｃ、Ｂｃ（図５参照）が用いられる。
【００６６】
次に、図１０〜図１３を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、４色の色要素から成るカラーフィルタが用いられる。それ以外の構成については、第１の実施形態と実質的に同じである。
【００６７】
図１０は、第２の実施形態であるデジタルカメラのブロック図である。図１１は、カラーフィルタの配列を示した図である。図１２は、カラーフィルタの分光透過特性を示した図である。
【００６８】
デジタルカメラ１０’は、４色のカラーフィルタ１３’を配置させたＣＣＤ１４’を備える。図１１に示すように、カラーフィルタ１３’は、４種類の色要素Ｒ，Ｙ、Ｃ、Ｂをモザイク状に配列させたフィルタであり、各色要素のスペクトルは、ほぼ等間隔で分布する（図１２参照）。色要素Ｃは、色要素Ｇと色要素Ｂとのほぼ中間をピークとするスペクトル分布をもち、色要素Ｙは、色要素Ｒと色要素Ｇとのほぼ中間をピークとするスペクトル分布をもつ。
【００６９】
デジタルカメラ１０’は、第１の補間処理部２０’と、色変換処理部２２’とを備える。第１の補間処理部２０’では、単純補間処理によって欠落する色信号を補間する。すなわち、隣接画素の色信号の平均を算出する。これより、色信号Ｒ０、Ｙ０、Ｃ０、Ｂ０が画素ごとに生成される。
【００７０】
図１３は、ＣＣＤ１４’から読み出される色信号を５×５画素配列に合わせて示した図である。例えば、画素Ｐ１３の場合、欠落する色信号Ｙ１３、Ｃ１３、Ｂ１３は、以下の式によって求められる。
【００７１】
【数１０】
2009290568.tif 000012
【００７２】
色変換処理部２２’では、各画素の色信号Ｒ０、Ｙ０、Ｃ０、Ｂ０がマトリクス変換される。これにより、色要素Ｒ，Ｇ，Ｂに応じたＲｃ、Ｇｃ、Ｂｃ色変換信号が生成される。マトリクス変換は、次式に示すように、４×３カラーマトリクスを使って実行される。
【００７３】
【数１１】
2009290568.tif 000013
【００７４】
第２の補間処理部２４では、第１の実施形態と同様の補間処理が施される。すなわち、補間された色信号によって生成される色変換信号を、相関補間処理によって生成する補間色変換信号に置き換える。なお、単純補間処理を行ってもよい。
【００７５】
図１４は、ＣＺＰチャートによる偽色の発生程度を示すグラフである。図１５は、くさびチャートによる解像度を示したグラフである。
【００７６】
第１の実施形態と同様、３つの補間処理（Ｄ）〜（Ｆ）について、Ｌ＊ａ＊ｂ＊色空間の標準偏差ａｓ、ｂｓの平均と、限界解像度を比較した。補間処理（Ｄ）は、一度だけの単純補間処理のみを行うものである。補間処理（Ｅ）は、第２の実施形態における補間処理であって、第２の補間処理部２４において単純補間処理を行う。補間処理（Ｆ）も、第２の実施形態における補間処理であるが、第２の補間処理部２４では相関補間処理を行う。
【００７７】
図１４、図１５から明らかなように、補間処理（Ｅ）、（Ｆ）は、従来の一回のみの補間処理に比べて標準偏差の平均が小さく、限界解像度本数が多い。また、単純補間処理の補間処理（Ｅ）に比べて、相関補間処理を行う補間処理（Ｆ）の方が偽色の発生を抑え、高解像度を維持することができる。
【００７８】
補間処理としては、上述した単純補間処理、相関補間処理以外の補間処理を適用してもよい。この場合、第１の補間処理部２０では、できるだけ偽色の発生を抑えるように隣接画素あるいは近傍画素を用いて補間処理を行うのがよい。一方、第２の補間処理部２４では、高解像度の画像を復元するように、隣接画素だけでなく周辺画素を利用して補間処理を行うのがよい。
【００７９】
色空間としては、ｓＲＧＢ空間の代わりに、ＹＵＶ空間など他の色空間を適用してもよい。カラーフィルタは、Ｒ，Ｇ，Ｂ原色フィルタに限定されず、補色フィルタを用いてもよい。
【００８０】
補間処理については、プログラムによるソフトウェアによって実行するように構成してもよい。また、携帯電話や内視鏡など、デジタルカメラ以外の撮像装置に適用してもよい。
【図面の簡単な説明】
【００８１】
【図１】第１の実施形態におけるデジタルカメラのブロック図である。
【図２】カラーフィルタ配列を示した図である。
【図３】第１の補間処理から色変換処理、第２の補間処理までのフローを示した図である。
【図４】ＣＣＤから読み出される色信号を５×５の画素配列に合わせて示した図である。
【図５】色変換信号を画素配列に合わせて示した図である。
【図６】画素Ｐ１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。
【図７】画素Ｐ１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。
【図８】ＣＺＰチャートを使った偽色発生の程度を示したグラフである。
【図９】くさびチャートを用いた解像度性能のグラフを示した図である。
【図１０】第２の実施形態であるデジタルカメラのブロック図である。
【図１１】第２の実施形態におけるカラーフィルタの配列を示した図である。
【図１２】カラーフィルタの分光透過特性を示した図である。
【図１３】第２の実施形態におけるＣＣＤから読み出される色信号を５×５画素配列に合わせて示した図である。
【図１４】第２の実施形態におけるＣＺＰチャートによる偽色の発生程度を示すグラフである。
【図１５】第２の実施形態におけるくさびチャートによる解像度を示したグラフである。
【符号の説明】
【００８２】
１０  デジタルカメラ
１３  カラーフィルタ
１４  ＣＣＤ（撮像素子）
２０  第１の補間処理部
２２  色変換処理部
２４  第２の補間処理部
【図１】
2009290568.tif 000014
【図２】
2009290568.tif 000015
【図３】
2009290568.tif 000016
【図４】
2009290568.tif 000017
【図５】
2009290568.tif 000018
【図６】
2009290568.tif 000019
【図７】
2009290568.tif 000020
【図８】
2009290568.tif 000021
【図９】
2009290568.tif 000022
【図１０】
2009290568.tif 000023
【図１１】
2009290568.tif 000024
【図１２】
2009290568.tif 000025
【図１３】
2009290568.tif 000026
【図１４】
2009290568.tif 000027
【図１５】
2009290568.tif 000028