(57)【要約】【課題】偽信号の発生を防いで高解像度且つ高画質の画像を取得する。【解決手段】ＣＣＤイメージセンサ４は、Ｇ画素受光部３１及びＲＢ画素受光部３２を備えている。受光部３１には、１つのＧフィルタ成分のみを設け、受光部３２には、１つの画素を２分割し、Ｒフィルタ成分及びＢフィルタ成分をそれぞれ設けている。Ｇ画素受光部３１は、水平方向及び垂直方向ともに等間隔で正方格子状に配列しており、ＲＢ画素受光部３２も水平方向及び垂直方向ともに等間隔で正方格子状に配列している。ＲＢ画素受光部３２は、Ｇ画素受光部３１に対してピッチＰの半分（１／２Ｐ）ずつ水平方向及び垂直方向へずらした位置にある。水平方向又は垂直方向に沿って隣り合うＧ画素受光部３１間及びＲＢ画素受光部３２間の位置に仮想画素を設定し、Ｇ画素、ＲＢ画素から出力される撮像信号から仮想画素の画像データを補間生成する。【選択図】        図２
2007088640.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの入射光を三原色に色分解する色分解手段と、この色分解手段により得られた三原色の入射光を光電変換する固体撮像素子と、前記固体撮像素子から取得される画像データを信号処理する画像信号処理手段とを備えた固体撮像装置において、
前記固体撮像素子は、Ｇ色撮像信号を出力するＧ画素受光部と、Ｒ色及びＢ色撮像信号を出力するＲＢ画素受光部とを備え、前記Ｇ画素受光部は、Ｇ色光を受光するＧ色受光素子から構成され、前記ＲＢ画素は、Ｒ色及びＢ色をそれぞれ受光するＲ色及びＢ色受光素子から構成されており、前記Ｇ画素を正方格子状に配列するとともに、このＧ画素の位置から水平方向及び垂直方向ともに前記Ｇ画素間の半ピッチ分ずらした位置に前記ＲＢ画素を正方格子状に配列しており、前記画像信号処理手段は、水平方向又は垂直方向に沿って隣り合う前記Ｇ画素間及び前記ＲＢ画素間の位置に新たな画素として仮想画素を設定し、前記Ｇ画素、前記ＲＢ画素及び前記仮想画素における画像データを前記撮像信号から生成することを特徴とする固体撮像装置。
【請求項２】
被写体からの入射光を分解し、得られた三原色の入射光を光電変換する固体撮像素子から取得される画像データに信号処理を施す画像信号処理方法であって、
前記固体撮像素子は、Ｇ色撮像信号を出力するＧ画素受光部と、Ｒ色及びＢ色撮像信号を出力するＲＢ画素受光部とを備え、前記Ｇ画素受光部は、Ｇ色光を受光するＧ色受光素子から構成され、前記ＲＢ画素は、Ｒ色及びＢ色をそれぞれ受光するＲ色及びＢ色受光素子から構成されており、前記Ｇ画素を正方格子状に配列するとともに、このＧ画素の位置から水平方向及び垂直方向ともに前記Ｇ画素間の半ピッチ分ずらした位置に前記ＲＢ画素を正方格子状に配列しており、水平方向又は垂直方向に沿って隣り合う前記Ｇ画素間及び前記ＲＢ画素間の位置に新たな画素として仮想画素を設定し、前記Ｇ画素、前記ＲＢ画素及び前記仮想画素における画像データを前記撮像信号から生成することを特徴とする画像信号処理方法。
【請求項３】
前記Ｇ画素位置に対応する輝度データは、前記Ｇ色撮像信号から取得し、前記ＲＢ画素位置に対応する輝度データは、前記Ｒ色撮像信号及び前記Ｂ色撮像信号の両信号から少なくとも加算する過程を含む演算により取得することを特徴とする請求項２記載の画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置及び固体撮像装置により取得した画像信号を信号処理する画像信号処理方法に関する。
【背景技術】
【０００２】
デジタルカメラに組み込まれるＣＣＤやＣＭＯＳなどの固体撮像素子では、画素毎にＲ（赤）、Ｇ（緑）又はＢ（青）の色成分を分離するための色フイルタが設けられているのが一般的である。この色フィルタとしては種々のものが知られているが、その１つとして特許文献１，２に記載されているようなＧストライプＲ／Ｂ完全市松の色フィルタがある。このＧストライプＲ／Ｂ完全市松の色フィルタは、Ｇ成分信号が解像度に大きな影響を与えることを考慮してＧ成分信号を数多く検出できるように複数のＲ，Ｇ，Ｂの各色フィルタ成分を配列しており、例えば、ＣＣＤの各水平走査方向に沿ってＧフィルタ成分、Ｒフィルタ成分、Ｇフィルタ成分、Ｂフィルタ成分をこの順番に繰り返し配列し、かつ各Ｇフィルタ成分が垂直方向にストライプ状になり、さらに各Ｒフィルタ成分及び各Ｂフィルタ成分が垂直方向に交互に位置するように配列している。このとき、各Ｒフィルタ成分及び各Ｂフィルタ成分が市松模様を形成する。なお、他の色フィルタとしては、Ｇ画素が市松状に配置され、それらの間にＲ画素及びＢ画素が交互に配置されたベイヤー配列、あるいはＧ画素が市松状に配置され、Ｒ画素及びＢ画素がストライプ状に配列されたインターライン配列の色フィルタが知られている。
【０００３】
さらに特許文献１には、上述のＧストライプＲ／Ｂ完全市松の色フィルタが設けられた固体撮像素子から出力されるＲ，Ｇ，Ｂ成分信号を用いて輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する画像信号処理装置が記載されている。この画像信号処理装置では、各画素の輝度信号ＹL、輝度信号ＹLの高域成分ＹH、色差信号Ｒ−Ｙ、Ｂ−Ｙを、たとえば、その画素を含む縦２画素×横２画素の各色成分信号から求めていた。
【０００４】
具体的には、輝度信号を求めようとする画素を含む縦２画素×横２画素の色成分信号がＲ、Ｇ1、Ｇ2、Ｂの４つの色信号成分からなるとき、輝度信号の高域成分ＹHを、輝度信号を求めようとする画素の色成分信号がＧ成分信号であるときは（Ｇ１＋Ｇ２）／２の演算式により、ＲまたはＢ成分信号であるときは（Ｒ＋Ｂ）／２の演算式により求めている。
【特許文献１】特開２００２−１９１０５３号公報
【特許文献２】特開２０００−１８４３８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
最近では、固体撮像素子及び画像信号処理装置に対してさらなる高解像度で高画質な画像を取得することが望まれている。しかしながら、上記特許文献１，２に記載されたているような固体撮像装置及びその画像信号処理方法では、偽信号の発生による画質の劣化が問題となる場合がある。すなわち、輝度信号の高域成分ＹHを、上述のように隣接する２つの走査線における垂直方向の２つの色成分信号から求める装置では、たとえば、Ｒフィルタ成分とＢフィルタ成分が交互に配列されるＲ／Ｂ列において、隣接する画素のＲ成分信号とＢ成分信号のレベル差が大きい場合、（Ｒ＋Ｂ）／２の演算式により求めた輝度信号の高域成分ＹHの値が本来の値と大きく異なり、偽信号となって表示される欠点があった。また、上記特許文献１，２記載に記載されているようなＧストライプＲ／Ｂ完全市松の色フィルタを設けた固体撮像素子では、さらなる高解像度を得るためには構造的に画素数すなわち受光素子の個数を増加させるしかなく、コスト増加の原因となる。
【０００６】
本発明は、上記事情を考慮してなされたものであり、偽信号の発生を防いで高解像度且つ高画質の画像を取得することが可能な固体撮像装置及び画像信号処理方法をローコストに提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に記載の固体撮像装置は、被写体からの入射光を三原色に色分解する色分解手段と、この色分解手段により得られた三原色の入射光を光電変換する固体撮像素子と、前記固体撮像素子から取得される画像データを信号処理する画像信号処理手段とを備えた固体撮像装置において、前記固体撮像素子は、Ｇ色撮像信号を出力するＧ画素受光部と、Ｒ色及びＢ色撮像信号を出力するＲＢ画素受光部とを備え、前記Ｇ画素受光部は、Ｇ色光を受光するＧ色受光素子から構成され、前記ＲＢ画素は、Ｒ色及びＢ色をそれぞれ受光するＲ色及びＢ色受光素子から構成されており、前記Ｇ画素を正方格子状に配列するとともに、このＧ画素の位置から水平方向及び垂直方向ともに前記Ｇ画素間の半ピッチ分ずらした位置に前記ＲＢ画素を正方格子状に配列しており、前記画像信号処理手段は、水平方向又は垂直方向に沿って隣り合う前記Ｇ画素間及び前記ＲＢ画素間の位置に新たな画素として仮想画素を設定し、前記Ｇ画素、前記ＲＢ画素及び前記仮想画素における画像データを前記撮像信号から生成することを特徴とする。
【０００８】
請求項２記載の画像信号処方法では、被写体からの入射光を分解し、得られた三原色の入射光を光電変換する固体撮像素子から取得される画像データに信号処理を施す画像信号処理方法であって、前記固体撮像素子は、Ｇ色撮像信号を出力するＧ画素受光部と、Ｒ色及びＢ色撮像信号を出力するＲＢ画素受光部とを備え、前記Ｇ画素受光部は、Ｇ色光を受光するＧ色受光素子から構成され、前記ＲＢ画素は、Ｒ色及びＢ色をそれぞれ受光するＲ色及びＢ色受光素子から構成されており、前記Ｇ画素を正方格子状に配列するとともに、このＧ画素の位置から水平方向及び垂直方向ともに前記Ｇ画素間の半ピッチ分ずらした位置に前記ＲＢ画素を正方格子状に配列しており、水平方向又は垂直方向に沿って隣り合う前記Ｇ画素間及び前記ＲＢ画素間の位置に新たな画素として仮想画素を設定し、前記Ｇ画素、前記ＲＢ画素及び前記仮想画素における画像データを前記撮像信号から生成することを特徴とする。なお、前記Ｇ画素位置に対応する輝度データは、前記Ｇ色撮像信号から取得し、前記ＲＢ画素位置に対応する輝度データは、前記Ｒ色撮像信号及び前記Ｂ色撮像信号の両信号から少なくとも加算する過程を含む演算により取得することが好ましい。
【発明の効果】
【０００９】
本発明の固体撮像素子及び画像信号処理方法は、Ｇ色撮像信号を出力するＧ画素受光部と、Ｒ色及びＢ色撮像信号を出力するＲＢ画素受光部とを備えた固体撮像素子を有し、前記Ｇ画素受光部は、Ｇ色光を受光するＧ色受光素子から構成され、前記ＲＢ画素は、Ｒ色及びＢ色をそれぞれ受光するＲ色及びＢ色受光素子から構成されており、前記Ｇ画素を正方格子状に配列するとともに、このＧ画素の位置から水平方向及び垂直方向ともに前記Ｇ画素間の半ピッチ分ずらした位置に前記ＲＢ画素を正方格子状に配列しており、水平方向又は垂直方向に沿って隣り合う前記Ｇ画素間及び前記ＲＢ画素間の位置に新たな画素として仮想画素を設定し、前記Ｇ画素、前記ＲＢ画素及び前記仮想画素における画像データを前記撮像信号から生成しているので、偽信号の発生を防いで高解像度且つ高画質の画像を取得することができる。
【発明を実施するための最良の形態】
【００１０】
図１に、本発明を適用したデジタルカメラ２の構成の概略を示す。デジタルカメラ２は、撮影レンズ３、ＣＣＤイメージセンサ（固体撮像素子）４、タイミングジェネレータ６、ＣＤＳ７、ＡＭＰ８、Ａ／Ｄ変換器９、ＣＰＵ１０、データバス１１、画像信号処理部（画像信号処理手段）１２、圧縮処理部１３、モータドライバ１６、ＡＦ検出部１７，ＡＥ／ＡＷＢ検出部１８，メディアコントローラ１９，システムメモリ２１、操作部２２を備えている。ＣＰＵ１０は、操作部２４，スイッチ部１６からの各種信号に基づいて各部を制御する。
【００１１】
撮影レンズ３には、ズーム機構２６，フォーカス機構２７，絞り装置２８が組み込まれている。ズーム機構２６は、操作部７のズーム操作に応答して、撮影レンズ３を構成するレンズを移動してズーミングを行う。フォーカス機構２７は、フォーカスレンズ２７ａを移動してピント合せを行う。このフォーカス機構２７によるピント合せは、撮影モード下でレリーズボタン４の押圧を解除しているときには被写体距離の変化に追従するように常に行われるが、レリーズボタン４が半押しされると、その半押し時点の被写体にピントが合致した位置で固定される、いわゆるフォーカスロック状態となる。絞り装置２３は、絞り（絞り開口径）を調節することで、ＣＣＤイメージセンサ４に入射する被写体光の光強度を調節する。上記ズーム機構２６，フォーカス機構２７，絞り装置２８は、モータドライバ１６を介してＣＰＵ１０によって駆動が制御される。
【００１２】
撮影レンズ３の背後にＣＣＤイメージセンサ４を配してあり、撮影レンズ３を透過した被写体光がＣＣＤイメージセンサ４の受光面に入射する。ＣＣＤイメージセンサ４は、その受光面に多数の受光部３１，３２（図２参照）が設けてあり、駆動手段としてのタイミングジェネレータ６からの各種の駆動信号により駆動され、各受光部３１，３２で露光した被写体像をアナログの撮影信号に変換して出力する。このＣＣＤイメージセンサ４は、タイミングジェネレータ６からの電子シャッタパルスの入力により、それまでに蓄積した電荷を掃き出して消去することで電荷蓄積時間を調節する電子シャッタ機能を有しており、電子シャッタパルスの入力期間を調節することで電子シャッタ速度を調節することができる。なお、固体撮像素子としては、被写体像を撮影信号に変換して出力するものであれば、ＣＣＤイメージセンサ４以外のものを用いることができる。
【００１３】
上記のＣＣＤイメージセンサ４は、Ｒ，Ｇ，Ｂの色成分を分離するための色フィルタ（色分解手段）が設けられており、本発明においては、受光部３１には、１つの画素に対して１つのＧフィルタ成分のみを設けており、受光部３２には、１つの画素を２分割し、Ｒフィルタ成分及びＢフィルタ成分をそれぞれ設けている。以下では、Ｇフィルタ成分が設けられた受光部３１をＧ画素受光部と称し、Ｒフィルタ成分及びＢフィルタ成分が設けられた受光部３２をＲＢ画素受光部と称する。
【００１４】
上述したＧ画素受光部３１は、水平方向及び垂直方向ともに同じピッチＰの等間隔で正方格子状に配列しており、ＲＢ画素受光部３２も水平方向及び垂直方向ともに同じピッチＰの等間隔で正方格子状に配列している。そして、ＲＢ画素受光部３２は、Ｇ画素受光部３１に対してピッチＰの半分（１／２Ｐ）ずつ水平方向及び垂直方向へずらした位置に配列している。
【００１５】
Ｇ画素受光部３１には、上述したように１つのＧフィルタ成分及びこれに対応するＧ色用受光素子３３が設けられており、ＲＢ画素受光部３２は、上述したようにＲフィルタ成分及びＢフィルタ成分が設けられており、さらにこれらのＲフィルタ成分及びＢフィルタ成分にそれぞれ対応するＲ色用受光素子３４及びＢ色用の受光素子３５が設けられている。本発明のＣＣＤイメージセンサ４では、Ｒ，Ｇ，Ｂ色用の受光素子３３〜３５に対応する垂直転送路３６〜３８がそれぞれ設けられており、撮影時には、Ｇ，Ｒ，Ｂ色用の受光素子３３〜３５から１フレーム分の撮像信号が出力される。Ｇ画素受光部３１の受光素子３３は、Ｇフィルタ成分を透過したＧ色の光線を受光してＧ光撮像信号を出力し、ＲＢ画素受光部３２の受光素子３４，３５は、Ｒフィルタ成分，Ｂフィルタ成分を透過したＲ，Ｂ色の光線をそれぞれ受光してＲ，Ｂ光撮像信号をそれぞれ出力する。上述したように、Ｇ，Ｒ，Ｂ用受光素子３３〜３５に対応する垂直転送路３６〜３８をそれぞれ別々に設けているので、Ｇ，Ｒ，Ｂ光の撮像信号が混合して読み出されることを防止することができる。垂直転送路３６〜３８から出力された撮像信号はさらに水平転送路３９へ経て後述するＣＤＳ回路７へと送られる。
【００１６】
ＣＣＤイメージセンサ４からの撮影信号は、ＣＤＳ回路７、ＡＭＰ回路８，及びＡ／Ｄ変換器９へと順に送られ、アナログ信号処理が行なわれる。ＣＤＳ回路７，ＡＭＰ回路８，Ａ／Ｄ変換器９は、タイミングジェネレータ６からのパルス信号が入力されることで、ＣＣＤイメージセンサ４の電荷読み出し動作と同期して作動する。
【００１７】
ＣＤＳ回路１２は、相関二重サンプリングを行うことによって撮影信号からノイズの除去を行なう。ＡＭＰ回路８は、ＣＰＵ１０によって設定される撮影感度に応じたゲインで撮影信号を増幅する。Ａ／Ｄ変換器９は、ＡＭＰ回路８からの撮影信号をデジタル変換して画像データｇ，ｒ，ｂとして出力する。なお、この画像データｇ，ｒ，ｂは、アナログ信号処理前のＧ，Ｒ，Ｂ各色光撮像信号にそれぞれ対応している。Ａ／Ｄ変換器９から出力された画像データｇ，ｒ，ｂは、システムメモリ２１に一時格納される。
【００１８】
また、ＣＰＵ１０には、データバス１１を介して圧縮処理部１３，ＡＦ検出部１７，ＡＥ／ＡＷＢ検出部１８，メディアコントローラ１９、ＬＣＤドライバ２２が接続されており、これら各部はＣＰＵ１５に制御されるとともに、相互間でデータの授受が可能になっている。
【００１９】
上述した画像データｇ，ｒ，ｂは、システムメモリ２１から読み出されて画像信号処理部１７に送られる。この画像信号処理部１７には、図３に示すように、補間処理部１７ａ、補正マトリクス演算部１７ｂ，色差マトリクス演算部１７ｃ、アパコン処理部１７ｄ、Ｃｒゲイン調整部１７ｅ、Ｃｂゲイン調整部１７ｆが含まれる。補間処理部１７ａは、各色画像データｇ，ｒ，ｂの画素数を各画素間の補間により水平方向及び垂直方向に２倍に拡大する補間処理を行い、例えばＣＣＤイメージセンサ４が出力する水平７２０×垂直４８０画素を水平１４４０×垂直９６０画素として４倍の画素数とする。このようにして画素数を４倍に拡大するために、補間処理部１７ａは、Ｇ画素及びＲＢ画素のそれぞれの位置で隣接する実在画素の中間に位置する仮想画素を補間生成する機能を有する。
【００２０】
この補間処理部１７ａが行う補間生成処理について以下に説明する。補間処理部１７ａには、図３に示すように、加算器４１、輝度データ補間生成部４２が含まれる。輝度データ補間生成部４２では、画像データｇ，ｒ，ｂから仮想画素及び実在画素の位置における輝度データＹを作成する。また、輝度データ補間生成部４２には、垂直ＬＰＦ（ローパスフィルタ）処理回路４３が含まれている。この輝度データ作成処理について図を参照しながら以下に説明する。図５は、画像データｇ，ｒ，ｂから実在画素の位置における輝度データを算出し、さらに仮想画素の位置における輝度データを補間生成するときの処理を概念的に示す説明図である。
【００２１】
本実施形態の補間処理部１７ａでは、先ず、実在画素の位置での輝度データを算出する。この輝度データの算出では、Ｇ画素については、画像データｇをＧ画素の輝度データとして輝度データ補間生成部４２へ入力し、ＲＢ画素については、画像データｒと画像データｂとを加算器４１によって加算して使用する。すなわち、ｒ＋ｂ＝Ｍｇ（マゼンタ）となり、Ｍｇ色はＧ色の補色であるから、この画像データＭｇをＲＢ画素の輝度データとして輝度データ補間生成部４２へ入力する。よって補間処理をする前の実在画素の位置における輝度データは、図４（Ａ）に示すような状態である（＊印は仮想画素）。なお、この図４においては、実在画素及び仮想画素からなる５×５＝２５画素のデータを図示しているが、これは本発明を実施するときの画像データの一部を抜き出して図示したものであり、画像データの画素数はこれに限るものではない。また、説明の都合上、各画素には、符号Ｇ（ｘ，ｙ），Ｍ（ｘ，ｙ）（ＧはＧ画素、ＭはＲＢ画素の輝度データ、添え字のｘ，ｙは行列の位置を示す数字）を付している。
【００２２】
上述のように実在画素の位置における輝度データを算出した後、輝度データ補間生成部４２は、仮想画素の位置における輝度データを補間生成する。この補間生成の手法としては、例えば、水平補間処理を行なう。この水平補間処理では、例えば、水平方向に沿って互いに隣り合う実在画素Ｇ（１，１）と実在画素Ｇ（１，３）との間の仮想画素Ｇ（１，２）の輝度データを作成するときには、実在画素Ｇ（１，１）の輝度データの低周波成分と、実在画素Ｇ（１，３）の高周波輝度成分とを加算して作成する。なお、これに限らず、実在画素Ｇ（１，１）の輝度データの高周波成分と、実在画素Ｇ（１，３）の低周波輝度成分とを加算して作成してもよい。そして、Ｇ（１，４）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（２，５）、Ｇ（３，２）、Ｇ（３，４）、Ｍ（４，１）、Ｍ（４，３）、Ｍ（４，５）、Ｇ（５，２）、Ｇ（５，４）についても同様に、水平方向に沿って隣り合う二つの実在画素の輝度データから低周波成分及び高周波成分を加算して作成する。このようにして、水平方向において隣り合う実在画素間の輝度データを補間すると、図４（Ｂ）に示すように仮想画素の輝度データが全て補間された状態となる。なお、仮想画素の輝度データを補間生成する手法としてはこれらに限るものではなく、例えば水平方向に沿って隣り合う二つの実在画素の輝度データから平均値を取るようにしてもよい。このようにして水平補間処理によって算出された仮想画素及び実在画素の位置における輝度データＹは、さらに垂直ＬＰＦ（ローパスフィルタ）回路４３で広帯域化処理される。
【００２３】
また、補間生成の手法としては、垂直補間処理の場合もある。図５はこの垂直補間処理を行なうときの概念的な説明図である。先ず上述の補間処理部１７ａと同様に実在画素の輝度データ（図５（Ａ）に示す状態）が入力され、この輝度データから垂直補間処理が行なわれる。垂直補間処理では、例えば、垂直方向に沿って隣り合う実在画素Ｇ（１，１）と実在画素Ｇ（３，１）との間の仮想画素Ｇ（２，１）の輝度データを作成するときには、実在画素Ｇ（１，１）の輝度データの低周波成分と、実在画素Ｇ（３，１）の高周波成分とを加算して作成する。そして、Ｇ（４，１）、Ｍ（１，２）、Ｍ（３，２）、Ｍ（５，２）、Ｇ（２，３）、Ｇ（４，３）、Ｍ（１，４）、Ｍ（３，４）、Ｍ（５，４）、Ｇ（２，５）、Ｇ（４，５）についても同様にして、垂直方向に沿って隣り合う二つの実在画素の輝度データから低周波成分及び高周波成分を加算して作成する。このようにして、水平方向において隣り合う実在画素間の輝度データを補間すると、図５（Ｂ）に示すように仮想画素の輝度データが全て補間された状態となる。また、このようにして垂直補間処理によって算出された仮想画素及び実在画素の位置における輝度データＹは、さらに水平ＬＰＦ回路で広帯域化処理される。
【００２４】
補正マトリクス演算部１７ｂでは、画像データｇ，ｒ，ｂに対してマトリクス演算を行ない、γ補正、ゲイン補正、ホワイトバランス補正、彩度補正などの各種補正処理を施す。補正マトリクス演算部によって補正処理が施された画像データＧ，Ｒ，Ｂは加算器４６〜４８で、輝度データＹが付加されて、色差マトリクス演算部１７ｃに出力される。
【００２５】
色差マトリクス演算部１７ｃでは、画像データＧ，Ｒ，Ｂ及び輝度データＹから色差データを作成するマトリクス演算を行なって色差データＣｒ，Ｃｂを作成する。色差マトリクス演算部１７ｃで作成された色差データＣｒ，Ｃｂは色差マトリクス演算部１７ｃから出力されると、Ｃｒゲイン調整部１７ｅ及びＣｂゲイン調整部１７ｆでそれぞれゲイン調整が行なわれ、所定のレベルに揃えられる。また輝度データＹは、アパコン処理部１７ｄでアパコン処理され出力される。なお、「アパコン」とは、アパーチャコントロールの略で、画像の高周波成分を強調することで輪郭を強調させる処理である。以下、本文中では「アパコン」と称す。このようにして、高解像度且つ広帯域化された画像データＹFINAL，ＣｒFINAL，ＣｂFINALの作成が完了し、圧縮／伸長処理部１３に送られる。
【００２６】
圧縮／伸長処理部１３は、画像データをＪＥＰＧなどの所定の画像形式に圧縮して出力し、メディアコントローラ１９へと送り出す。メディアコントローラ１９はメモリカード４９に圧縮した画像データを記憶する。また、メモリカード４９から画像データが読み出されたときには、圧縮状態からもとの画像データに伸長する。
【００２７】
以下では、図６に示すフローチャートを用いてデジタルカメラ２のシーケンスについて説明する。デジタルカメラ２では、撮影レンズ３及び各色フィルタを通過してＣＣＤイメージセンサ４のＧ画素受光部３１、及びＲＢ画素受光部３２に被写体光が入射する。Ｇ画素受光部３１の受光素子３３、ＲＢ画素受光部３２の受光素子３４，３５は入射光を光電変換した撮像信号を垂直転送路３６〜３８及び水平転送路３９を介して出力し、ＣＤＳ回路７、ＡＭＰ回路８，及びＡ／Ｄ変換器９によってデジタルの画像データｇ，ｒ，ｂに変換されて画像信号処理部１２へと送られる。
【００２８】
画像信号処理部１２では、先ず画像データｇ，ｒ，ｂから実在画素及び仮想画素を補間した輝度データを算出する。そして次に画像データｇ，ｒ，ｂをγ補正、ゲイン補正、ホワイトバランス補正、彩度補正する補正マトリクス演算を行ない、補間処理した輝度データＹとともに色差マトリクス演算する。これによって輝度データＹ及び色差データＣｒ，Ｃｂが作成され、さらにアパコン処理及びゲイン調整が行なわれて画像信号処理が終了し、高解像度且つ広帯域化された画像データＹFINAL，ＣｒFINAL，ＣｂFINALが圧縮／伸長処理部１３、メディアコントローラ１９を経てメモリカード４９に記憶される。
【００２９】
上述のように、正方格子状に配列したＧ画素に対してＲＢ画素を半ピッチ分斜めにずらした位置に設け、且つＲ受光素子３４及びＢ受光素子３５を１つのＲＢ画素受光部３２の位置に設けているので、偽信号の発生を防ぐことが可能であり、高解像度且つ広帯域化された画像データを取得することができる。
【００３０】
なお、上記実施形態においては、Ｇ画素及びＲＢ画素の輝度データ（図４、５のＧ（ｘ，ｙ）、Ｍ（ｘ，ｙ））を両方同時に使用して画素補間生成処理を行なっているが、本発明はこれに限るものではない。以下では、Ｇ画素の輝度データ及びＲＢ画素の輝度データからそれぞれ補間生成処理を行なって画像データを作成する例を説明する。この例では、図７に示すように、Ｇ画素の輝度データ及びＲＢ画素の輝度データからそれぞれ補間生成処理を行なう。図７（Ａ）は、実在画素のうち、Ｇ画素の輝度データＧ（ｘ，ｙ）のみを抽出したものであり、このＧ画素以外の画素を補間する補間処理を行なう。この補間処理では、例えば水平方向に隣り合う画素Ｇ（１，１）及び画素Ｇ（１，３）の間の画素Ｇ（１，２）については、上記実施形態と同様に水平補間処理によって補間する。また、垂直方向に隣り合う画素Ｇ（１，１）及び画素Ｇ（３，１）の間の画素Ｇ（２，１）については、垂直補間処理によって補間する。さらに、正方格子を形成する４つの画素Ｇ（１，１）、Ｇ（１，３）、Ｇ（３，１）、Ｇ（３，３）の中心に位置する画素Ｇ（２，２）については、例えば４つの画素の輝度データの平均値（Ｇ（１，１）＋Ｇ（１，３）＋Ｇ（３，１）＋Ｇ（３，３））／４を算出してＧ（２，２）の輝度データとする。その他の画素についても上述の手法で補間処理を行なう。このようにして、実在画素間の輝度データを補間すると、図７（Ｂ）に示すように輝度データが全て補間された状態となる。
【００３１】
また、図７（Ｃ）では、実在画素のうち、ＲＢ画素の輝度データＭ（ｘ，ｙ）のみを抽出したものであり、このＲＢ画素以外の画素を補間する補間処理を行なう。そしてＧ画素の場合と同様に補間処理を行なうと図７（Ｄ）に示すように輝度データが全て補間された状態となる。このようにしてＧ画素及びＲＢ画素の輝度データからそれぞれ補間処理を行なった後、これらの輝度データ（図７（Ｂ）、図７（Ｄ））を加算することで，上記実施形態と同様の効果を得ることが可能となり、高解像度且つ広帯域化された画像データを取得することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明を実施したデジタルカメラの電気的構成を示すブロック図である。
【図２】固体撮像素子の概略構成を示す平面図である。
【図３】画像信号処理装置の構成を示すブロック図である。
【図４】画素の水平補間処理を示す説明図である。
【図５】画素の垂直補間処理を示す説明図である。
【図６】固体撮像素子から出力された撮像信号から画素の補間処理を施した画像データを生成するまでのシーケンスを示すフローチャートである。
【図７】補間処理を行なった輝度データ同士を加算する処理を示す説明図である。
【符号の説明】
【００３３】
２  デジタルカメラ
３  撮影レンズ
４  ＣＣＤイメージセンサ（固体撮像素子）
１２  画像信号処理回路（画像信号処理手段）
３１  Ｇ画素受光部
３２  ＲＢ画素受光部
【図１】
2007088640.tif 000003
【図２】
2007088640.tif 000004
【図３】
2007088640.tif 000005
【図４】
2007088640.tif 000006
【図５】
2007088640.tif 000007
【図６】
2007088640.tif 000008
【図７】
2007088640.tif 000009