(57)【要約】【課題】色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能なデジタルカメラ及び固体撮像装置を提供すること。【解決手段】実施形態によれば、デジタルカメラは、画素アレイ及びデモザイク処理部２１を有する。画素アレイは、画素ブロックを単位として構成されている。画素ブロックは、赤色画素、青色画素、第１の緑色画素及び第２の緑色画素からなる。第１の緑色画素で検出される第１の緑色成分と、第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分である。デモザイク処理部２１は、４つの成分の画像信号を生成する。４つの成分は、赤色成分、青色成分、第１の緑色成分及び第２の緑色成分である。【選択図】図６
2015103972.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を備える複数の画素がアレイ状に配置され、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する画素アレイと、
前記画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成するデモザイク処理を実施するデモザイク処理部と、を有し、
前記画素アレイは、赤色光の信号レベルを検出する赤色画素と、青色光の信号レベルを検出する青色画素と、緑色光の信号レベルを検出する第１の緑色画素及び第２の緑色画素とからなる画素ブロックを単位として構成され、
前記第１の緑色画素で検出される第１の緑色成分と、前記第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分であって、
前記デモザイク処理部は、前記赤色画素で検出される赤色成分と、前記青色画素で検出される青色成分と、前記第１の緑色成分と、前記第２の緑色成分との、４つの成分の画像信号を生成することを特徴とするデジタルカメラ。
【請求項２】
前記４つの成分の画像信号から、新たに赤色成分、緑色成分及び青色成分の３つの成分の画像信号を生成するカラーマトリクス処理部を有することを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記デモザイク処理部は、前記画素ごとに検出された信号レベルを、変換テーブルに基づいて補間し、前記第１の緑色成分を得るための変換テーブルと前記第２の緑色成分を得るための変換テーブルは互いに異なることを特徴とする請求項１又は２に記載のデジタルカメラ。
【請求項４】
前記画素アレイの各画素の入射側に設けられているカラーフィルタを有し、
前記第１の緑色画素の入射側に設けられているカラーフィルタと、前記第２の緑色画素の入射側に設けられているカラーフィルタとは、前記同一の波長領域の緑色成分を透過させる波長特性を備えることを特徴とする請求項１から３のいずれか一項に記載のデジタルカメラ。
【請求項５】
光電変換素子を備える複数の画素がアレイ状に配置され、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する画素アレイと、
前記画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成するデモザイク処理を実施するデモザイク処理部と、を有し、
前記画素アレイは、赤色光の信号レベルを検出する赤色画素と、青色光の信号レベルを検出する青色画素と、緑色光の信号レベルを検出する第１の緑色画素及び第２の緑色画素とからなる画素ブロックを単位として構成され、
前記第１の緑色画素で検出される第１の緑色成分と、前記第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分であって、
前記デモザイク処理部は、前記赤色画素で検出される赤色成分と、前記青色画素で検出される青色成分と、前記第１の緑色成分と、前記第２の緑色成分との、４つの成分の画像信号を生成することを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、デジタルカメラ及び固体撮像装置に関する。
【背景技術】
【０００２】
従来、固体撮像装置が備えるイメージセンサの色配列として、ベイヤー配列が一般的に採用されている。ベイヤー配列は、２×２の画素ブロックを単位とする。この画素ブロックの対角に赤色（Ｒ）画素及び青色（Ｂ）画素が配置され、残りの対角に２つの緑色（Ｇ）画素が配置される。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＲ画素と隣り合うＧ画素を、Ｇｒ画素と称する。画素ブロックに含まれる２つのＧ画素のうち、行方向においてＢ画素と隣り合うＧ画素を、Ｇｂ画素と称する。
【０００３】
イメージセンサによる色再現性を低下させる原因として、例えば、隣接する画素間での光学的あるいは電気的なクロストーク（混色）がある。イメージセンサは、カメラモジュールの小型化、および画素数の増大に対応するため、画素の微細化が進められている。画素が小型になるほど、クロストークの影響が問題となる。
【０００４】
また、例えば、フォトダイオードの配線層からの反射光が原因となって、隣接する画素同士で光感度に差が生じることがある。フォトダイオードが備える構造の対称性などに起因して、配線層からの反射光の量に偏りがあるような場合、隣接する画素同士で感度差が生じることがある。例えば、裏面配線を備えるフォトダイオードでは、裏面配線の上のシリコン層が薄い場合ほど、裏面配線からの反射光の影響が問題となる。
【０００５】
これらの原因によって、Ｇｒ画素とＧｂ画素との間に感度差が生じると、被写体には存在しない色ムラが、例えば格子模様となって画像に現れることがある。Ｇｒ画素及びＧｂ画素の感度差が原因となって生じる色ムラを低減するために、従来、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施するイメージセンサが知られている。しかし、イメージセンサは、かかる平均化処理を実施することで、画像の解像感が大幅に劣化することが問題となる。
【０００６】
フォトダイオードの構造を見直すことで画素間の感度差の低減を図る場合、フォトダイオードのその他の性能との兼ね合いを考慮する必要があるため、開発に多大な困難が伴うこととなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の一つの実施形態は、色ムラが少なくかつ解像感の高い、高品質な画像を撮影可能なデジタルカメラ及び固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一つの実施形態によれば、デジタルカメラは、画素アレイ及びデモザイク処理部を有する。画素アレイは、複数の画素がアレイ状に配置されている。画素は、光電変換素子を備える。画素アレイは、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する。デモザイク処理部は、デモザイク処理を実施する。デモザイク処理は、画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号成分を生成する処理である。画素アレイは、画素ブロックを単位として構成されている。画素ブロックは、赤色画素、青色画素、第１の緑色画素及び第２の緑色画素からなる。赤色画素は、赤色光の信号レベルを検出する。青色画素は、青色光の信号レベルを検出する。第１の緑色画素及び第２の緑色画素は、緑色光の信号レベルを検出する。第１の緑色画素で検出される第１の緑色成分と、第２の緑色画素で検出される第２の緑色成分とは、同一の波長領域の緑色成分である。デモザイク処理部は、４つの成分の画像信号を生成する。４つの成分は、赤色成分、青色成分、第１の緑色成分及び第２の緑色成分である。赤色成分は、赤色画素で検出される。青色成分は、青色画素で検出される。
【図面の簡単な説明】
【００１０】
【図１】実施形態にかかる固体撮像装置の概略構成を示すブロック図。
【図２】固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。
【図３】デジタルカメラに設けられている光学系の概略構成を示す図。
【図４】カラーフィルタの配列を説明する図。
【図５】画素アレイのベイヤー配列を構成する画素ブロックを説明する図。
【図６】ＩＳＰの構成を示すブロック図。
【図７】Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。
【図８】Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。
【図９】Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。
【図１０】Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図。
【図１１】Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。
【図１２】Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。
【図１３】Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。
【図１４】Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、実施形態にかかるデジタルカメラ及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１２】
（実施形態）
図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。
【００１３】
デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。実施形態にかかるデジタルカメラ１の構成は、例えばカメラ付き携帯端末等の電子機器へ応用しても良い。
【００１４】
撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。ＩＳＰ６は、キズ補正、ノイズ低減処理、レンズシェーディング補正、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正等の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。
【００１５】
表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。デジタルカメラ１は、ＩＳＰ６での信号処理を経たデータに基づき、カメラモジュール２のフィードバック制御を実施する。
【００１６】
固体撮像装置５は、撮像素子であるイメージセンサ１０と、画像処理装置である信号処理回路１１とを備える。イメージセンサ１０は、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１０は、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。
【００１７】
イメージセンサ１０は、画素アレイ１２、垂直シフトレジスタ１３、タイミング制御部１４、相関二重サンプリング部（ＣＤＳ）１５、アナログデジタル変換部（ＡＤＣ）１６及びラインメモリ１７を有する。
【００１８】
画素アレイ１２は、イメージセンサ１０の撮像領域に設けられている。画素アレイ１２は、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。フォトダイオードは、入射光量に応じた信号電荷を生成する。画素アレイ１２は、色配列に従って、各色光の信号レベルを画素ごとに分担して検出する。
【００１９】
タイミング制御部１４は、画素アレイ１２の各画素からの信号を読み出すタイミングを指示する垂直同期信号を、垂直シフトレジスタ１３へ供給する。タイミング制御部１４は、ＣＤＳ１５、ＡＤＣ１６及びラインメモリ１７に対し、駆動タイミングを指示するタイミング信号をそれぞれ供給する。
【００２０】
垂直シフトレジスタ１３は、タイミング制御部１４からの垂直同期信号に応じて、画素アレイ１２内の画素を行ごとに選択する。垂直シフトレジスタ１３は、選択した行の各画素へ読み出し信号を出力する。垂直シフトレジスタ１３から読み出し信号が入力された画素は、入射光量に応じて蓄積した信号電荷を出力する。画素アレイ１２は、画素からの信号を、垂直信号線を介してＣＤＳ１５へ出力する。
【００２１】
ＣＤＳ１５は、画素アレイ１２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＤＣ１６は、アナログ方式の信号をデジタル方式の信号へ変換する。ラインメモリ１７は、ＡＤＣ１６からの信号を蓄積する。イメージセンサ１０は、ラインメモリ１７に蓄積された信号を出力する。
【００２２】
信号処理回路１１は、イメージセンサ１０からの画像信号に対し、各種の信号処理を実施する。固体撮像装置５は、信号処理回路１１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置５は、信号処理回路１１での信号処理を経たデータに基づき、イメージセンサ１０のフィードバック制御を実施する。
【００２３】
図３は、デジタルカメラに設けられている光学系の概略構成を示す図である。被写体からデジタルカメラ１の撮像光学系４へ入射した光は、メインミラー１０１、サブミラー１０２及びメカシャッタ１０６を経てイメージセンサ１０へ進行する。デジタルカメラ１は、イメージセンサ１０において被写体像を撮像する。
【００２４】
サブミラー１０２で反射した光は、オートフォーカス（ＡＦ）センサ１０３へ進行する。デジタルカメラ１は、ＡＦセンサ１０３での検出結果を使用するフォーカス調整を行う。メインミラー１０１で反射した光は、レンズ１０４及びプリズム１０５を経てファインダー１０７へ進行する。
【００２５】
図４は、カラーフィルタの配列を説明する図である。図５は、画素アレイのベイヤー配列を構成する画素ブロックを説明する図である。カラーフィルタ２０は、画素アレイ１２の各画素の入射側に設けられている。
【００２６】
画素アレイ１２の赤色（Ｒ）画素、青色（Ｂ）画素、緑色（Ｇ）画素は、ベイヤー配列に従って配置されている。Ｒ画素は、Ｒ光の信号レベルを検出する。Ｂ画素は、Ｂ光の信号レベルを検出する。Ｇ画素は、Ｇ光の信号レベルを検出する。
【００２７】
ベイヤー配列は、２×２の画素ブロックを単位とする。Ｒ画素及びＢ画素は、この画素ブロックの対角に配置されている。画素ブロックの残りの対角に、２つのＧ画素が配置されている。画素アレイ１２は、Ｒ画素と、Ｂ画素と、２つのＧ画素とからなるこの画素ブロックを単位として構成されている。
【００２８】
Ｇｒ画素は、画素ブロックに含まれる２つのＧ画素のうち、行方向においてＲ画素と隣り合うＧ画素である。Ｇｒ画素は、第１の緑色画素である。Ｇｂ画素は、画素ブロックに含まれる２つのＧ画素のうち、行方向においてＢ画素と隣り合うＧ画素である。Ｇｂ画素は、第２の緑色画素である。
【００２９】
Ｒ画素の入射側に設けられているカラーフィルタ２０は、Ｒ光を選択的に透過させる。Ｂ画素の入射側に設けられているカラーフィルタ２０は、Ｂ光を選択的に透過させる。Ｇｒ画素の入射側に設けられているカラーフィルタ２０は、Ｇ光を選択的に透過させる。Ｇｂ画素の入射側に設けられているカラーフィルタ２０は、Ｇ光を選択的に透過させる。
【００３０】
Ｇｒ画素の入射側に設けられているカラーフィルタ２０と、Ｇｂ画素の入射側に設けられているカラーフィルタ２０とは、同一の波長領域のＧ光を透過させる波長特性を備える。これにより、Ｇｒ画素及びＧｂ画素は、それぞれカラーフィルタ２０を透過した同一の波長領域のＧ光の信号レベルを検出する。
【００３１】
図６は、ＩＳＰの構成を示すブロック図である。図６には、ＩＳＰ６における各種信号処理のための構成のうち、デモザイク処理、ホワイトバランス調整、カラーマトリクス処理、ガンマ補正のための各構成を示している。ＩＳＰ６におけるこの他の信号処理のための構成については、図示を省略している。
【００３２】
ＩＳＰ６へ入力された画像信号は、例えば、デモザイク処理部２１、ホワイトバランス調整部２２、カラーマトリクス処理部２３及びガンマ補正部２４の順に入力される。デモザイク処理部２１は、画素ごとに検出された信号レベルを補間して、各画素の位置における各色光の信号レベルを生成するデモザイク処理を実施する。デモザイク処理部２１は、ＲＡＷデータへのデモザイク処理によって、カラーのビットマップ画像を合成する。
【００３３】
デモザイク処理部２１は、Ｒ画素で検出された信号レベル、Ｂ画素で検出された信号レベル、Ｇｒ画素で検出された信号レベル、Ｇｂ画素で検出された信号レベルの補間を実施する。補間のための演算において、デモザイク処理部２１は、Ｇｒ画素にて検出された信号レベルと、Ｇｂ画素にて検出された信号レベルとを、互いに異なる色光について検出された信号レベル同士である場合と同じように、区別をもって取り扱うものとする。
【００３４】
デモザイク処理部２１は、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号を生成する。Ｒ画像信号は、Ｒ画素で検出されたＲ成分についての信号と、Ｂ，Ｇｒ，Ｇｂの各画素の位置におけるＲ成分についての補間結果とからなる。Ｂ画像信号は、Ｂ画素で検出されたＢ成分についての信号と、Ｒ，Ｇｒ，Ｇｂの各画素の位置におけるＢ成分についての補間結果とからなる。
【００３５】
Ｇｒ画像信号は、Ｇｒ画素で検出されたＧｒ成分についての信号と、Ｒ，Ｂ，Ｇｂの各画素の位置におけるＧｒ成分についての補間結果とからなる。Ｇｂ画像信号は、Ｇｂ画素で検出されたＧｂ成分についての信号と、Ｒ，Ｂ，Ｇｒの各画素の位置におけるＧｂ成分についての補間結果とからなる。Ｇｒ画素で検出される第１の緑色成分であるＧｒ成分と、Ｇｂ画素で検出される第２の緑色成分であるＧｂ成分とは、同一の波長領域のＧ光成分である。
【００３６】
ホワイトバランス調整部２２は、デモザイク処理を経て生成された各色の画像信号に対するホワイトバランス処理を実施する。カラーマトリクス処理部２３は、各色の画像信号に対するカラーマトリクス処理を実施する。カラーマトリクス処理部２３は、カラーマトリクス処理を実施することで、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号から、Ｒ，Ｂ，Ｇの３成分の画像信号への変換を行う。カラーマトリクス処理部２３は、かかる画像信号の変換に併せて、色再現性を高めるための画像信号の調整を行う。
【００３７】
ガンマ補正部２４は、カラーマトリクス処理を経たＲ，Ｇ，Ｂの画像信号に対し、画像の階調を補正するためのガンマ補正を実施する。なお、デモザイク処理部２１、ホワイトバランス調整部２２、カラーマトリクス処理部２３及びガンマ補正部２４へ画像信号が入力される順序は、適宜変更しても良い。
【００３８】
デジタルカメラ１は、本実施形態においてＩＳＰ６が実施するものとした各種信号処理の少なくともいずれかを、固体撮像装置５の信号処理回路１１が実施することとしても良い。デジタルカメラ１は、各種信号処理の少なくともいずれかを、信号処理回路１１及びＩＳＰ６の双方が実施しても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理以外の信号処理を追加して実施することとしても良い。信号処理回路１１及びＩＳＰ６は、本実施形態で説明する信号処理のうち、省略可能な処理を省略しても良い。
【００３９】
デモザイク処理部２１は、例えば、５×５の変換テーブルに基づいて、信号レベルの補間を実施する。この変換テーブルは、５×５の画素ブロックに含まれる各画素の信号レベルに乗算される係数を要素としたマトリクスであるものとする。
【００４０】
変換テーブルは、例えば、デジタルカメラ１が備えるＯＴＰ（one  time  programmable  memory、図示省略）に予め格納されている。ＯＴＰは、画像信号の信号処理のためのパラメータを格納する。
【００４１】
デモザイク処理部２１は、Ｇｒ成分を得るための変換テーブルとＧｂ成分を得るための変換テーブルとして、互いに異なる変換テーブルを用意している。デモザイク処理部２１は、Ｒ，Ｂ，Ｇｒ，Ｇｂの各画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るために、１６個の変換テーブルを用意している。各変換テーブルは、Ｇｒ画素とＧｂ画素との感度差を低減させる調整を加味して、各係数が設定されている。
【００４２】
本実施形態においてＲ成分及びＢ成分を得るための各変換テーブルは、Ｇｒ画素にて検出された信号レベルと、Ｇｂ画素にて検出された信号レベルとを、互いに同じ色光の信号レベルとして区別せず取り扱う場合と比べて、設定される各係数は異なることとなる。
【００４３】
図７は、Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｒ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｒ画素におけるＲ成分の信号については、当該Ｒ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｒ画素の位置におけるＢ，Ｇｒ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。
【００４４】
図８は、Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｂ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｂ画素におけるＢ成分の信号については、当該Ｂ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｂ画素の位置におけるＲ，Ｇｒ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。
【００４５】
図９は、Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｇｒ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｇｒ画素におけるＧｒ成分の信号については、当該Ｇｒ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｂの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。
【００４６】
図１０は、Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの例を示す図である。Ｇｂ画素は、５×５の画素ブロックの中心に位置している。デモザイク処理部２１は、当該Ｇｂ画素におけるＧｂ成分の信号については、当該Ｇｂ画素で検出された信号レベルをそのまま出力しても良い。デモザイク処理部２１は、当該Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒの各成分については、それぞれに対して用意されている変換テーブルに基づく補間を実施する。
【００４７】
なお、本実施形態で例示する各変換テーブルの要素とされる係数は、適宜変更しても良い。変換テーブルは５×５のマトリクスである場合に限られない。変換テーブルは、各色成分についての補間において信号レベルが参照される画素ブロックの範囲などに応じて適宜変形可能であるものとする。
【００４８】
カラーマトリクス処理部２３は、例えば、以下の式（１）による演算を行うことで、Ｒ，Ｂ，Ｇｒ，Ｇｂの４成分の画像信号（Ｒ，Ｇｒ，Ｂ，Ｇｂ）から、新たにＲ，Ｇ，Ｂの３成分の画像信号（Ｒ’，Ｇ’，Ｂ’）を生成する。
【００４９】
【数１】
2015103972.tif 000003
【００５０】
なお、ａｉｊ（ｉ＝１，２，３、ｊ＝１，２，３，４）は補正係数とする。カラーマトリクス処理部２３は、４成分の画像信号（Ｒ，Ｇｒ，Ｂ，Ｇｂ）に３×４のカラーマトリクスを乗算することで、３成分の画像信号（Ｒ’，Ｇ’，Ｂ’）を生成する。
【００５１】
３×４のカラーマトリクスの補正係数は、式（２）から式（４）の条件を満たす。
ａ１１＋ａ１２＋ａ１３＋ａ１４＝１    ・・・（２）
ａ２１＋ａ２２＋ａ２３＋ａ２４＝１    ・・・（３）
ａ３１＋ａ３２＋ａ３３＋ａ３４＝１    ・・・（４）
【００５２】
ここで、本実施形態のデモザイク処理部２１における各変換テーブルの条件について説明する。図１１は、Ｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｒ１１」、「Ｇｒ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。各係数は、それぞれ５×５の画素ブロックの各画素に対応している。係数は、対応する画素で検出された信号レベルに乗算される。
【００５３】
Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（５）の条件を満たす。また、式（６）に示すように、Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ１１＋Ｒ１３＋Ｒ１５＋Ｒ３１＋Ｒ３３＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５＝１    ・・・（５）
Ｇｒ１２＋Ｇｒ１４＋Ｇｂ２１＋Ｂ２２＋Ｇｂ２３＋Ｂ２４＋Ｇｂ２５＋Ｇｒ３２＋Ｇｒ３４+Ｇｂ４１＋Ｂ４２＋Ｇｂ４３＋Ｂ４４＋Ｇｂ４５＋Ｇｒ５２＋Ｇｒ５４＝０    ・・・（６）
【００５４】
Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（７）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。なお、以降の説明において、各係数がゼロとなるときの式については記載を省略する。
Ｇｒ１２＋Ｇｒ１４＋Ｇｒ３２＋Ｇｒ３４＋Ｇｒ５２＋Ｇｒ５４＝１    ・・・（７）
【００５５】
Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（８）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ２２＋Ｂ２４＋Ｂ４２＋Ｂ４４＝１    ・・・（８）
【００５６】
Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（９）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ２１＋Ｇｂ２３＋Ｇｂ２５＋Ｇｂ４１＋Ｇｂ４３＋Ｇｂ４５＝１    ・・・（９）
【００５７】
図１２は、Ｇｒ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｇｒ１１」、「Ｒ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。
【００５８】
Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１０）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４＋Ｒ５２＋Ｒ５４＝１    ・・・（１０）
【００５９】
Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１１）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ１１＋Ｇｒ１３＋Ｇｒ１５＋Ｇｒ３１＋Ｇｒ３３＋Ｇｒ３５＋Ｇｒ５１＋Ｇｒ５３＋Ｇｒ５５＝１    ・・・（１１）
【００６０】
Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（１２）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ２１＋Ｂ２３＋Ｂ２５＋Ｂ４１＋Ｂ４３＋Ｂ４５＝１    ・・・（１２）
【００６１】
Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（１３）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ２２＋Ｇｂ２４＋Ｇｂ４２＋Ｇｂ４４＝１    ・・・（１３）
【００６２】
図１３は、Ｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｂ１１」、「Ｇｂ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。
【００６３】
Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１４）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ２２＋Ｒ２４＋Ｒ４２＋Ｒ４４＝１    ・・・（１４）
【００６４】
Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１５）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ２１＋Ｇｒ２３＋Ｇｒ２５＋Ｇｒ４１＋Ｇｒ４３＋Ｇｒ４５＝１    ・・・（１５）
【００６５】
Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（１６）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ１１＋Ｂ１３＋Ｂ１５＋Ｂ３１＋Ｂ３３＋Ｂ３５＋Ｂ５１＋Ｂ５３＋Ｂ５５＝１    ・・・（１６）
【００６６】
Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（１７）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ１２＋Ｇｂ１４＋Ｇｂ３２＋Ｇｂ３４＋Ｇｂ５２＋Ｇｂ５４＝１    ・・・（１７）
【００６７】
図１４は、Ｇｂ画素の位置におけるＲ，Ｂ，Ｇｒ，Ｇｂの各成分の信号を得るための変換テーブルの条件について説明する図である。「Ｇｂ１１」、「Ｂ１２」・・は、それぞれ５×５の変換テーブルの各係数を表すものとする。
【００６８】
Ｒ成分の信号を得るための変換テーブルは、Ｒ画素に対応する各係数について、以下の式（１８）の条件を満たす。Ｂ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｒ２１＋Ｒ２３＋Ｒ２５＋Ｒ４１＋Ｒ４３＋Ｒ４５＝１    ・・・（１８）
【００６９】
Ｇｒ成分の信号を得るための変換テーブルは、Ｇｒ画素に対応する各係数について、以下の式（１９）の条件を満たす。Ｒ，Ｂ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｇｒ２２＋Ｇｒ２４＋Ｇｒ４２＋Ｇｒ４４＝１    ・・・（１９）
【００７０】
Ｂ成分の信号を得るための変換テーブルは、Ｂ画素に対応する各係数について、以下の式（２０）の条件を満たす。Ｒ，Ｇｒ，Ｇｂの画素に対応する各係数の和はゼロとなる。
Ｂ１２＋Ｂ１４＋Ｂ３２＋Ｂ３４＋Ｂ５２＋Ｂ５４＝１    ・・・（２０）
【００７１】
Ｇｂ成分の信号を得るための変換テーブルは、Ｇｂ画素に対応する各係数について、以下の式（２１）の条件を満たす。Ｒ，Ｂ，Ｇｒの画素に対応する各係数の和はゼロとなる。
Ｇｂ１１＋Ｇｂ１３＋Ｇｂ１５＋Ｇｂ３１＋Ｇｂ３３＋Ｇｂ３５＋Ｇｂ５１＋Ｇｂ５３＋Ｇｂ５５＝１    ・・・（２１）
【００７２】
実施形態によると、イメージセンサ１０がＧｒ画素とＧｂ画素とで同一の波長領域のＧｒ成分とＧｂ成分とをそれぞれ検出する。その一方で、デモザイク処理部２１は、補間のための演算において、Ｇｒ成分とＧｂ成分とを、互いに異なる色成分同士である場合同じように区別して、Ｒ，Ｂ，Ｇｒ，Ｇｂの４つの成分の画像信号を生成する。
【００７３】
このようにデモザイク処理においてＧｒ成分とＧｂ成分を区別して扱うことで、Ｇｒ画素とＧｂ画素との感度差を低減させるように、補間のための変換テーブルの各係数を任意に調整可能とする。デモザイク処理部２１は、Ｇｒ画素とＧｂ画素との感度差の低減を加味して設定された変換テーブルを基に、補間を実施する。
【００７４】
このような補間によるデモザイク処理を実施することで、ＩＳＰ６は、Ｇｒ画素とＧｂ画素との間の感度差が原因となって生じる格子模様状の色ムラを効果的に低減することができる。デジタルカメラ１は、Ｇｒ画素から出力される信号とＧｂ画素から出力される信号との平均化処理を実施する場合に比べて、高い解像感を備える画像を得ることができる。
【００７５】
以上により、デジタルカメラ１は、色ムラが少なく解像感の高い、高品質な画像を撮影できるという効果を奏する。
【００７６】
本実施形態においてＩＳＰ６が備えるデモザイク処理部２１及びカラーマトリクス処理部２３は、ＩＳＰ６に代えて、固体撮像装置５の信号処理回路１１に設けられることとしても良い。これにより、固体撮像装置５及びカメラモジュール２は、色ムラが少なく解像感の高い、高品質な画像を撮影することができる。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１  デジタルカメラ、２  カメラモジュール、５  固体撮像装置、１２  画素アレイ、２０  カラーフィルタ、２１  デモザイク処理部、２３  カラーマトリクス処理部。
【図１】
2015103972.tif 000004
【図２】
2015103972.tif 000005
【図３】
2015103972.tif 000006
【図４】
2015103972.tif 000007
【図５】
2015103972.tif 000008
【図６】
2015103972.tif 000009
【図７】
2015103972.tif 000010
【図８】
2015103972.tif 000011
【図９】
2015103972.tif 000012
【図１０】
2015103972.tif 000013
【図１１】
2015103972.tif 000014
【図１２】
2015103972.tif 000015
【図１３】
2015103972.tif 000016
【図１４】
2015103972.tif 000017