(57)【要約】【課題】輝度シェーディングおよび色ずれを低減する固体撮像装置の制御方法を提供。【解決手段】ステップＳ１００において撮像レンズ１４の撮像時におけるズーム位置Ｚを判定し、ズーム位置Ｚが位置Ｚ１〜Ｚ２の範囲内（Ｚ１＜Ｚ＜Ｚ２）である場合にステップＳ１０２の色差ゲイン処理”２”を選択し、ズーム位置Ｚが位置Ｚ１以下である場合ステップＳ１０４に進み、ズーム位置Ｚが位置Ｚ２以上である場合ステップＳ１０６に進む。ステップＳ１０４では分割測光ブロックＡにおける分割測光データＡ、ステップＳ１０６ではブロックＢにおける分割測光データＢがそれぞれ参照され、それぞれ、分割測光データＡおよびＢが所定の閾値ＴＨを超えているか否かが判定され、超えている場合には色差ゲイン処理”２”が選択され、所定の閾値ＴＨ以下である場合には色差ゲイン処理”１”が選択される。【選択図】        図１
2004222158.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理して出力する固体撮像装置の制御方法において、
前記固体撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して、入射光を集光するマイクロレンズと所定配列の色フィルタとが配設された固体撮像素子であり、該方法は、
前記被写界を測光する測光工程と、
前記撮像信号を信号処理する信号処理工程と、
前記測光工程の測光結果に応じて前記信号処理工程の信号処理を切り替える制御工程とを含み、
前記信号処理工程は、前記制御工程の制御に応動して、前記撮像信号に対する色差ゲイン処理を切り換えて、前記撮像信号の彩度を下げることを特徴とする固体撮像装置の制御方法。
【請求項２】
請求項１に記載の固体撮像装置の制御方法において、前記制御工程は、前記撮像信号に対する信号処理を前記撮像レンズの焦点距離に応じて可変に制御することを特徴とする固体撮像装置の制御方法。
【請求項３】
請求項２に記載の固体撮像装置の制御方法において、前記制御工程は、前記撮像信号に対する信号処理を前記撮像レンズのズーム位置に応じて可変に制御することを特徴とする固体撮像装置の制御方法。
【請求項４】
請求項１に記載の固体撮像装置の制御方法において、前記信号処理工程は、前記制御工程の制御に応動して、前記撮像信号に対する階調補正処理を切り換えることを特徴とする固体撮像装置の制御方法。
【請求項５】
請求項４に記載の固体撮像装置の制御方法において、前記信号処理工程は、前記制御工程の制御に応動してガンマテーブルを切り換えることを特徴とする固体撮像装置の制御方法。
【請求項６】
請求項１に記載の固体撮像装置の制御方法において、前記制御工程は、前記測光工程における測光結果に基づいてシェーディングを判断し、該判断結果に従って前記信号処理工程における処理を切り換えることを特徴とする固体撮像装置の制御方法。
【請求項７】
請求項６に記載の固体撮像装置の制御方法において、前記測光工程は、前記固体撮像素子から得られる撮像信号に基づいて被写界を分割測光し、
前記制御工程は、前記分割測光結果に基づいてシェーディングを判断することを特徴とする固体撮像装置の制御方法。
【請求項８】
撮像レンズを介して結像される被写界からの光学像を光電変換する撮像素子から出力される撮像信号を処理して出力する固体撮像装置において、
前記撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応して、入射光を集光するマイクロレンズと所定配列の色フィルタとが配設された撮像素子であり、該装置は、
前記撮像信号を信号処理する信号処理手段と、
測光結果に応じて前記信号処理手段の信号処理を切り換える制御手段とを含み、
前記制御手段は、前記被写界を測光する測光手段を含み、
前記信号処理手段は、前記制御手段の制御に応動して、前記撮像信号に対する色差ゲイン処理を切り換えて、前記撮像信号の彩度を下げることを特徴とする固体撮像装置。
【請求項９】
請求項８に記載の固体撮像装置において、前記制御手段は、前記撮像信号に対する信号処理を前記撮像レンズの焦点距離に応じて可変に制御することを特徴とする固体撮像装置。
【請求項１０】
請求項９に記載の固体撮像装置において、前記制御手段は、前記撮像信号に対する信号処理を前記撮像レンズのズーム位置に応じて可変に制御することを特徴とする固体撮像装置。
【請求項１１】
請求項８に記載の固体撮像装置において、前記信号処理手段は、前記制御手段の制御に応動して、前記撮像信号に対する階調補正処理を切り換えることを特徴とする固体撮像装置。
【請求項１２】
請求項１１に記載の固体撮像装置において、前記信号処理手段は、前記制御手段の制御に応動してガンマテーブルを切り換えることを特徴とする固体撮像装置。
【請求項１３】
請求項８に記載の固体撮像装置において、前記制御手段は、前記測光手段における測光結果に基づいてシェーディングを判断し、該判断結果に従って前記信号処理手段における処理を切り換えることを特徴とする固体撮像装置。
【請求項１４】
請求項１３に記載の固体撮像装置において、前記測光手段は、前記固体撮像素子から得られる撮像信号に基づいて被写界を分割測光し、前記制御手段は、前記分割測光結果に基づいてシェーディングを判断することを特徴とする固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像レンズを介して結像される被写界からの光学像を光電変換する固体撮像素子から出力される撮像信号を処理して出力する固体撮像装置の制御方法に係り、それぞれ感度の異なる主感光部による主画素と、従感光部による従画素とが一組の組画素として撮像面に複数配列され、該組画素上にそれぞれ対応してマイクロレンズが配設された固体撮像素子にて発生するシェーディングによる悪影響を低減する固体撮像装置の制御方法に関するものである。
【０００２】
【従来の技術】
固体撮像素子では、その撮像面に配置したフォトダイオードの受光素子へ入射する光束の入射光率を高めるためのマイクロレンズを各受光素子上にそれぞれ形成することにより、固体撮像素子の光電変換効率を向上させている。
【０００３】
さらに、本出願人等による特許出願、特願２００２−１６８３５号では、より高解像度の画像信号を得る構成として、主感光部および従感光部を半導体基板上の受光領域に行列状に形成した固体撮像素子を提案している。
【０００４】
【特許文献１】
特開平５−６４２１９号公報。
【０００５】
【発明が解決しようとする課題】
しかしながら、撮像レンズから固体撮像素子に入射する光束は、その撮像面に対し鉛直に入射する光の他に斜め方向から結像する光の成分が多くあり、このためマイクロレンズによって集光される光のたとえば錯乱円は、固体撮像素子の各画素の中心部分にのみ形成されるとは限らず、各画素の配置によっては、錯乱円が画素中心からずれる。
【０００６】
このため、固体撮像素子の撮像面の周辺部に配置された受光部では、均一照度の平面を撮影した場合でも、撮像レンズによる光軸付近の撮像面中心部分における受光部の受光量よりも少なく受光する。この結果、固体撮像素子から出力される撮像信号には、撮像面の位置によっては明るさが均一とはならない輝度シェーディングが発生し、画像品質が低下する。
【０００７】
さらに、それぞれ受光面積が異なって感度が異なる従感光部と主感光部とを組み合わせて形成した組画素を撮像面に配列した固体撮像素子では、とくに小面積および低感度の従感光部にて受光する光量が撮像面の各位置によって変化すると、その輝度シェーディングの影響を大きく受けてしまう。とくにカラー画像を得るための色フィルタが各画素に置されている固体撮像素子の場合、各色成分のレベルに相違が生じて、この結果、輝度シェーディングは色ずれ発生の元となってしまい、良好な画像を得るためにはこのシェーディングによる悪影響を低減する必要があった。
【０００８】
また、たとえば、撮像レンズの焦点距離に変化により射出瞳が変化したり、絞り値が変化すると、撮像面に入射する光の角度が変化するので、輝度シェーディングや色ずれの状態が変化するという問題があった。
【０００９】
特許文献１には、被写体の輝度レベルに対応して、各色の利得制御範囲を制限することで、ホワイトバランスの補正過多や、補正不足といった誤補正を少なくすることが開示されている。しかしながら、特許文献１に記載の従来技術のように、従来では、固体撮像素子へ入射する光束の入射角や、錯乱円などにより発生する各色のシェーディング量の変化については考慮されておらず、部分的に発生するシェーディングによる色ずれを低減および防止することができなかった。
【００１０】
とくに所定形状の感光部を、面積が大小の主画素および従画素に分割して形成した固体撮像素子の場合には、とくに、低感度の感光部として機能する従画素について発生するシェーディングは、撮像条件によって大きく変化して色ずれ等の問題が主画素における色ずれよりも発生しやすく、これらを低減することが必要であった。
【００１１】
本発明はこのような従来技術の欠点を解消し、輝度シェーディングおよび色ずれを低減することのできる固体撮像装置の制御方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像レンズを介して結像される被写界からの光学像を光電変換する撮像素子から出力される撮像信号を処理して出力する固体撮像装置の制御方法において、撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して、入射光を集光するマイクロレンズと所定配列の色フィルタとが配設された撮像素子であり、この方法は、被写界を測光する測光工程と、撮像信号を信号処理する信号処理工程と、測光工程の測光結果に応じて信号処理工程の信号処理を切り替える制御工程とを含み、信号処理工程は、制御工程の制御に応動して、撮像信号に対する色差ゲイン処理を切り換えて、撮像信号の彩度を下げることを特徴とする。
【００１３】
この場合、制御工程は、撮像信号に対する信号処理を撮像レンズの焦点距離に応じて可変に制御するとよく、さらに、制御工程は、撮像信号に対する信号処理を撮像レンズのズーム位置に応じて可変に制御するとよい。
【００１４】
また、信号処理工程は、制御工程の制御に応動して、撮像信号に対する階調補正処理を切り換えるとよく、さらに信号処理工程は、制御工程の制御に応動してガンマテーブルを切り換えるとよい。
【００１５】
また、制御工程は、測光工程における測光結果に基づいてシェーディングを判断し、判断結果に従って信号処理工程における処理を切り換えるとよく、さらに測光工程は、撮像素子から得られる撮像信号に基づいて被写界を分割測光し、制御工程は、分割測光結果に基づいてシェーディングを判断するとよい。
【００１６】
また、本発明は上述の課題を解決するために、撮像レンズを介して結像される被写界からの光学像を光電変換する撮像素子から出力される撮像信号を処理して出力する固体撮像装置において、撮像素子は、それぞれ感度の異なる主感光部による主画素と従感光部による従画素とが一組の組画素として撮像面に複数配列され、組画素上にそれぞれ対応して、入射光を集光するマイクロレンズと所定配列の色フィルタとが配設された撮像素子であり、この装置は、撮像信号を信号処理する信号処理手段と、測光結果に応じて信号処理手段の信号処理を切り換える制御手段とを含み、制御手段は、被写界を測光する測光手段を含み、信号処理手段は、制御手段の制御に応動して、撮像信号に対する色差ゲイン処理を切り換えて、撮像信号の彩度を下げることを特徴とする。
【００１７】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の制御方法の実施例を詳細に説明する。
【００１８】
図３を参照すると本発明が適応されたディジタルカメラのブロック図が示されている。本実施例におけるディジタルカメラ１０は、光学系１２に配設された撮像レンズ１４により結像される光学像に応じた撮像信号を生成する固体撮像素子１６を備えている。本実施例における撮像レンズは、その焦点距離が可変のズームレンズが採用されている。なお、撮像レンズは、本カメラ１０に着脱可能な交換レンズ形式の単体レンズであってもよく、この場合、焦点距離は固定に設計されているものでもよい。
【００１９】
光学系１２は、撮像レンズ１４の他に不図示の機械式シャッタおよび絞りを含み、さらに撮像レンズの焦点位置と焦点距離を調節する機構部を備えている。機械式シャッタ、絞りおよび機構部は、光学系駆動部１８から供給される駆動信号に応じて駆動される。
【００２０】
固体撮像素子１６の構成を図４に示すと、同図には固体撮像素子１６を撮像面４００側から見た場合の周辺画素を拡大示した概略部分図が示されている。本実施例における固体撮像素子１６は、水平走査方向（Ｈ）および垂直走査方向（Ｖ）にそれぞれ１／２ピッチずつずらして配列した複数の組画素４０２と、各組画素４０２間を垂直走査方向にジグザグ状に配設され、それぞれ左方側に隣接して配置された組画素４０２にて生成される信号電荷を垂直走査方向（Ｖ）に転送する不図示の垂直電荷転送路と、各垂直電荷転送路からの信号電荷を水平走査方向（Ｈ）に転送する水平電荷転送路（ＨＣＣＤ）  ４０４と、信号電荷の電荷検出および増幅を行って撮像信号を出力する出力アンプ４０６と、各組画素２０上にそれぞれ配設された凸型の複数のマイクロレンズ４０８と含むＣＣＤ型イメージセンサである。マイクロレンズ４０８と組画素４０２との間の層には所定配列パターンの原色または補色型色フィルタが配設されている。色フィルタの配列パターンとしては、原色フィルタの場合、たとえば、ＧストライプＲ／Ｂ完全市松パターン等が採用される。このように固体撮像素子１６は、ハニカム型の画素配列および垂直転送路構成である。
【００２１】
固体撮像素子１６は、図示するように、素子内の撮像面４００に配列した画素を水平走査方向（Ｈ）を基準として上下斜めにＬ字状の分割領域により分割し、相対的に面積の小さい小画素を右上に構成して低感度の光電変換特性を有する受光部の従感光部４１０と、相対的に面積の大きな大画素を構成して高感度の光電変換特性を有する受光部の主感光部４１２とを１つの組画素４０２にそれぞれ八角形にて形成している。
【００２２】
本ディジタルカメラ１０は、従感光部４１０および主感光部４１２から得られる撮像信号の一方または双方を使用して、動画像および静止画像の信号生成を行う固体撮像装置であり、動画像信号および静止画像信号に応じた映像の表示および記録保存等の信号出力を行う。入射光を集光するマイクロレンズ４０８は、各組画素２０およびカラーフィルタの上面に被着されている。なお、同図では固体撮像素子１６の撮像面４００に配設された組画素４０２、垂直電荷転送路およびマイクロレンズ４０８は、それらの一部を示している。たとえば組画素４０２は、撮像面４００内に有効画素数として数十万画素ないし数百万画素の多数が配置される。
【００２３】
これらマイクロレンズ４０８により集光される光束の結像錯乱円の例を図５および図６に示す。図５に示す例は、撮像レンズ１４が近射出瞳のズーム位置をとる場合で、撮像面４００の周辺部における画素では、それぞれの結像錯乱円５００が組画素中心からずれて、撮像面中央部よりも外側に大きくずれてしまう。図６に示す撮像レンズ１４が遠射出瞳をとる場合では、図４に示すよりも結像錯乱円６００のずれ量が小さい。この結果、特に近射出瞳時における従感光部４１０では、撮像面４００のとくに左下と右上とでは、従感光部４１０に結像錯乱円が重なる部分が大きく異なり、同一光量を受光した場合でも、輝度差が発生し、これが色ずれの元となってしまう。このため本実施例では、発生される色ずれを予測して、後述する信号処理において、色ずれを低減する処理を行う。
【００２４】
従感光部４１０による輝度シェーディングの発生状態例を図７に示す。この例では、やはり、撮像画像７００における左下部が露出アンダー傾向にあり、左下部から離れるにしたがって輝度レベルが上昇している。
【００２５】
なお、各組画素のうち従感光部４１０を主感光部４１２よりも左上に配置した固体撮像素子８００の構成例を図８に示す。この構成例の場合には、たとえば、図９に従感光部４１０による撮像画像を示すように、右下部が露出アンダー傾向となって、従感光部４１０と主感光部４１２との配置方向に応じてシェーディングの発生方向が変化する。また、このようなシェーディングの状態は、撮像レンズ１４の射出瞳の位置や絞りの形状などの撮像時の条件によって異なってくる。
【００２６】
本実施例における固体撮像素子１６は、従感光部４１０に対する信号電荷の読み出しと主感光部４１２に対する信号電荷の読み出しとをそれぞれ別フィールドのタイミングで行うことにより、従感光部４１０の従画素と主感光部４１２の主画素とのそれぞれの信号電荷を別々に独立して読み出して転送することができる。さらに、ディジタルカメラ１０における静止画撮影モードにおいて、第１フィールドでは、従感光部４１０の従画素を読み出し、第２フィールドでは主感光部４１２の従画素を読み出すことにより、１フレームの画像を形成することができる。
【００２７】
また、ディジタルカメラ１０におけるたとえば動画撮影モードでは、組画素４０２内の従感光部４１０の従画素と主感光部４１２の主画素とを混合して固体撮像素子１６から読み出すことができる。この読み出し駆動の際に、垂直走査方向に数組画素毎に間引きして読み出すことができ、たとえば、１／２画素間引きや１／４画素間引きを行って転送速度を高速化することができる。
【００２８】
図３に戻って、固体撮像素子１６を駆動する水平および垂直転送パルス等の駆動信号は駆動回路３０から固体撮像素子１６に供給される。駆動回路３０は、タイミングジェネレータ３２から供給されるタイミング信号に応動して固体撮像素子１６を駆動する駆動信号を生成する。駆動回路３０は、動画撮影モード時と静止画撮影モードとでは、異なる駆動信号を固体撮像素子１６に供給する。
【００２９】
タイミングジェネレータ３２は、垂直駆動タイミング信号、水平タイミング駆動信号、トランスファゲートパルスおよび画素クロックなどの各種タイミング信号を生成し、制御回路（ＣＰＵ）  ３４から供給される制御信号に応動して駆動回路３０、アナログ処理回路３６、アナログ／ディジタル（Ａ／Ｄ）変換回路３８およびディジタル信号処理回路４０に供給する。
【００３０】
動画撮影モード時の駆動回路３０は、たとえば、各垂直走査方向に配列された各組画素４０２において、１組画素おきに間引きして組画素単位で垂直転送路に信号電荷をシフトして読み出しラインとし、組画素内の従感光部４１０および主感光部４１２からの信号電荷を垂直転送路にて混合して、混合した信号電荷を垂直走査方向に転送する駆動信号を生成する。
【００３１】
駆動回路３０は、垂直同期期間（ＶＤ）中に転送電極Ｖ１，Ｖ２，Ｖ３，Ｖ４にシフトパルス（φＶ１〜φＶ４）を与えて、従感光部４１０および主感光部４１２にて生成された信号電荷を垂直転送路に読み出し、垂直同期期間（ＶＤ）以降に、垂直転送パルス（φＶ１〜φＶ８）をそれぞれ対応する転送電極（Ｖ１〜Ｖ８）に供給することにより、間欠的に設定された読み出しラインの各組画素を高速に読み出す。
【００３２】
静止画撮影モードにおける駆動回路３０は、たとえば、第１フィールドでは、従感光部４１０による従画素を読み出し、次の第２フィールドでは、主感光部４１２による主画素を読み出す駆動信号を生成する。第１および第２フィールドにてそれぞれ別々に読み出された従画素および主画素は、後の信号処理によってそれぞれ組画素を再形成するように加算処理されて、広ダイナミックレンジの１フレーム画像が形成される。
【００３３】
固体撮像素子１６の出力はアナログ処理回路３６に接続され、アナログ処理回路３６は、入力される撮像信号に含まれるリセットノイズを除去する不図示の相関二重サンプリング（ＣＤＳ）回路と撮像信号のレベルを利得可変に増幅する利得可変増幅回路（ＧＣＡ）とを含む。アナログ処理回路３６の出力は、アナログ／ディジタル（Ａ／Ｄ）変換回路３８に接続され、アナログ／ディジタル（Ａ／Ｄ）変換回路３８は、入力される撮像信号をディジタル値に変換して出力する。
【００３４】
アナログ／ディジタル変換回路３８の出力４２に接続されたディジタル信号処理回路４０は、ディジタル値に変換された画像データを制御回路３４からの制御に応じて記憶および演算処理して、表示用の画像データと記録用の画像データとを生成する処理回路である。ディジタル信号処理回路４０は、生成した記録用の画像データを記録回路４４に出力し、表示用の画像データを表示回路４６に出力する。ディジタル信号処理回路４０の詳細構成および動作については後述する。
【００３５】
制御回路（ＣＰＵ）  ３４は、後述する第１および第２の画像メモリ２０８，２２４（図２）に対するメモリ制御機能を有し、画像データの格納アドレスを指定するアドレス信号を生成するとともに、画像データの書込みおよび読出しを制御する書込信号および読出信号を生成し、第１および第２の画像バス２００，２１０（図２）を介してそれぞれ第１および第２の画像メモリ２０８，２２４に供給する。
【００３６】
制御回路３４は、操作部５０にて検出される操作情報に応動して本ディジタルカメラ１０を静止画撮影モードまたは動画撮影モードに設定するとともに撮像レンズ１４のズーム量を調節するとともに、そのズーム位置を判定して認識する機能を有している。本実施例では、操作部５０に収容されたレリーズスイッチへの第１ストロークが検出されると動画撮影モードを設定し、第２ストロークが検出されると静止画撮影モードを設定する。また、撮像レンズのズーム位置は、制御回路３４により制御のほかに手動にて調節することができ、この場合にも制御回路３４は、撮像レンズ１４のズーム位置を判定する。
【００３７】
制御回路３４は、動画撮影モードでは、とくにタイミングジェネレータ３２に対し、固体撮像素子１６にて間引き読み出しを行う間引駆動を指示する制御信号を出力することにより、指示に応じたタイミング信号を生成させる。制御回路３４は、さらに第２ストロークが検出された静止画撮影モードでは、２つのフィールドにて全画素を固体撮像素子１６から読み出す全画素読出し駆動を指示する制御信号をタイミングジェネレータ３２に出力する。
【００３８】
さらに本実施例における制御回路３４は、被写界の撮像条件によって発生するシェーディングの影響を低減するために、撮影被写体の色温度や被写体輝度に応じて撮像データの信号処理を制御する機能を有している。この場合、たとえば、固体撮像素子１６の従感光部４１０にて生成されて出力した画像信号について、その彩度を下げる処理を行うようにディジタル信号処理回路４０を制御する。
【００３９】
また、制御回路３４は、固体撮像素子１６の従感光部４１０にて生成されて出力した画像信号について、その画像信号を撮像した際のズーム位置や絞り形状等の撮像条件に応じてシェーディングの影響を予測し、従感光部４１０からの従画素についてその彩度を下げる処理を行うようにディジタル信号処理回路４０を制御する。
【００４０】
さらに制御回路３４は、撮像レンズ１４のズーム位置や絞り形状等の撮像条件に応じてシェーディングの影響を予測した際に、撮像信号の色成分ごとに飽和状態を予測して、飽和が発生しダイナミックレンジが不足する場合には、彩度を下げる処理を行うほか、階調補正を行う際のテーブルを切り換えて色つきを低減させる機能を有している。
【００４１】
制御回路３４は、ディジタル信号処理回路４０から従感光部４１０の画像データを入力して、その撮像画像に基づいて被写界を測光する機能を有している。詳しくは制御回路３４は、たとえば図１０に示すように、撮像画面を水平および垂直走査方向（Ｈ，Ｖ）に、それぞれ８分割し、合計６４分割された各ブロックごとの輝度レベルを測定し、本撮影の際に必要な測光データを算出する分割測光を行い、測光結果に基づいて動画および静止画撮影時の露出を自動調整する。この場合、制御回路３４は、画面中央部の４つのブロックにて得られた測光値Ｃに対し、画面端部のうちシェーディング変化が大きい画面右上のブロックの測光値Ａと画面左下のブロックの測光値Ｂとについて、これら測光値が所定の閾値ＴＨよりもたとえば主感光部の感度を１００％として従感光部の感度が４００％まで撮像可能な場合、プラス／マイナス２ＥＶの範囲を超えているか否かを色成分毎に判断する。この判断結果により、制御回路３４は各従感光部４１０の色成分の飽和状態を認識し、ディジタル信号処理回路４０に対して色ずれを低減させる制御を行う。
【００４２】
記録回路４４は、符号化された圧縮または非圧縮の画像データを情報記録媒体に読出し可能に記録する情報保持部である。記録回路４４は、画像データに各種撮影情報等を付加して作成した画像ファイルを、たとえば所定形式の階層構造にて編成されたディレクトリに各画像ファイル毎に異なるファイル名を付与して記録する。情報記録媒体としては、たとえば、半導体記憶素子を有するメモリカードや、記録可能な光ディスクおよび磁気ディスクなどの大容量の情報記録媒体が適用される。記録回路４４は作成した画像ファイルを、無線または有線により接続される他の情報処理装置に伝送する機能を有してもよい。
【００４３】
表示回路４６は、ディジタル信号処理回路４０にて生成される表示用の画像データの表す画像を表示する液晶表示パネルを有し、撮影または再生された画像データを表示する。また表示回路４６は、外部接続される表示装置５２に表示用の画像信号を生成して出力する機能を有している。
【００４４】
次に、ディジタル信号処理回路４０の詳細構成例を図２に示す。図示するように第１の画像バス２００には、第１のホワイトバランス（ＷＢ）ゲイン部２０２と第１のガンマ（γ）変換部２０４と画像加算部２０６と第１の画像メモリ２０８とが接続されている。また、第２の画像バス２１０には、第２のホワイトバランス（ＷＢ）ゲイン部２１２と第２のガンマ（γ）変換部２１４と画像加算部２０６と、同時化処理部２１６と、補正部２１８と圧縮伸張部２２０と画像縮小部２２２と第２の画像メモリ２２４とが接続されている。これら機能部は、さらに制御回路３４が接続されている制御バス２３０に接続されている。第１の画像バス２００および第２の画像バス２１０は、それぞれ制御回路３４に接続されており、第１および第２の画像メモリ２０８，２２４は、制御回路３４からのメモリ制御に従って画像データの書込みおよび読出しを行う。
【００４５】
第１および第２のホワイトバランス（ＷＢ）ゲイン部２０２，２１２は、入力４２に入力される撮像信号のホワイトバランスを制御部３４からの制御信号に応動して調整するレベル調整部である。
【００４６】
第１のホワイトバランスゲイン部２０２は、従感光部４１０からの従画素を処理して第１の画像バス２００に出力する。第２のホワイトバランスゲイン部２１２は、主感光部４１２からの主画素を処理して第２の画像バス２１０に出力する。
【００４７】
上記説明では、ホワイトバランス処理の後に画像メモリ２０８，２２４に画像データをそれぞれ格納するようにして説明したがこれに限らず、たとえば、従画素および主画素に対応する画像データを予め上述のようにして各画像メモリ２０８，２２４に対する書込み領域の切り換えを行って異なる領域に交互にそれぞれ蓄積し、その後にホワイトバランスのレベル調整を行うようにしてもよい。
【００４８】
各画像メモリ２０８，２２４に格納された画像データは、第１および第２のガンマ変換部２０４，２１４にてルックアップテーブルに応じた値に変換されて、それぞれガンマ補正される。この場合、第１および第２のガンマ変換部２０４，２１４は、制御回路３４からの制御を受けて、各色成分にて発生する飽和状態を低減するように、画像データを補正する特性が異なるルックアップテーブルに切り換えて、階調補正する機能を有している。
【００４９】
画像加算部２０６は、第１および第２のガンマ変換部２０４，２１４にて処理された画像データをそれぞれ画像バス２００，２１０を介して入力し、それぞれ同一の組画素を構成する従画素と主画素とのそれぞれの画素値を加算する演算処理部である。画像加算部２０６は、主画素と従画素とを組み合わせた組画素単位の画素値を加算演算により算出して画素値のダイナミックレンジを拡大する。画像加算部２０６は、たとえば、静止画撮影モードにおいて、広ダイナミックレンジの画像データを生成し、生成された画像データを第２の画像バス２１０に出力して画像メモリ２２に格納する。この場合、制御回路３４は、画像データを格納する記憶領域として第１の画像メモリ２０８の記録領域も利用してよい。
【００５０】
同時化処理部２１６は、たとえば静止画撮影モードにおいて画像加算部２０６にて画素加算処理された画像データに対し画素補間および色補間を行って、各組画素位置における各Ｒ，Ｇ，Ｂ色成分の画素値を算出する機能部である。同時化処理部２１６はさらに、それぞれの組画素の間に仮想配置される仮想画素を画素補間処理により生成する機能を含む。
【００５１】
動画撮影モード時では、これら従画素に対する処理に関連する第１のホワイトバランスゲイン部２０２、ガンマ変換部２０４および画素加算部２０６における処理を行わず、第２のホワイトバランスゲイン部２１２、ガンマ変換部２１４における処理を行った後に、同時化処理部２１６にて画素生成処理を行う。
【００５２】
この場合、第２のホワイトバランスゲイン部２１２は、動画撮影モード時に、固体撮像素子１６から混合読み出しされ処理された組画素の画像データのホワイトバランスを調整して第２の画像メモリ２２４に格納し、ガンマ変換部２１４は、調整された画像データをガンマテーブルにより階調変換し第２の画像メモリ２２４に蓄積する。次いで同時化処理部２１６は、この第２の画像メモリ２２４に蓄積された画像データに対する画素生成処理を行って、各組画素位置におけるＲＧＢ色成分の画素値をそれぞれ生成して画像メモリ２２４に蓄積する。また同時化処理部２１６は、制御回路３４の制御に応動して仮想画素の画素値を生成することができる。
【００５３】
補正部２１８は、画像メモリ２２４に蓄積された３原色成分の画像データに対し、ＲＧＢ画素データを演算して輝度データＹおよび色差データＣｒ，Ｃｂを生成する色差マトリクス処理と、色差データＣｒ，Ｃｂに対するゲイン調整処理等の補正処理と、輝度データに対する輪郭強調処理とを行う機能を有している。本実施例における補正部２１８は、制御回路３４の制御を受けて、色差データＣｒ，Ｃｂに対する色差ゲイン調整処理を、通常の強調処理と色ずれ低減を目的として色差レベルを下げる低減処理とのいずれかを選択して実行する。補正部２１８は、ＲＧＢ画素データと係数とを演算し、輝度データＹおよび色差データＣｒ，Ｃｂを生成する色差マトリクス処理を行う。
【００５４】
具体的には補正部２１８は、通常の強調処理では、たとえば図１１に示すように、輝度データＹに対応する色差データＣｒ，Ｃｂを、それぞれ輝度データのレベルによらずに一定のゲイン「１」を超えるレベル、たとえばゲイン「１．５」にて増幅する色差ゲイン調整処理”１”を行う。また、補正部２１８は、制御回路３４からの制御を受けて、色ずれ低減処理を行う場合には、たとえば図１２に示すように、輝度データが所定の輝度レベルＬまでは一定のゲインにて色差データを増幅し、輝度データが輝度レベルＬを超えるにつれて、色差データに対するゲインを下げる色差ゲイン処理”２”を行う。制御回路３４は、補正処理部２１８にていずれかの色差ゲイン処理を行うかを決定して補正処理部２１８に指示する。
【００５５】
図２に戻って圧縮伸張部２２０は、圧縮伸長部２２０は、静止画撮影モードや動画撮影モードにて供給される画像データにＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１，  ＭＰＥＧ−２等の規格に従って圧縮・符号化処理する機能部である。圧縮伸長部２２０は、制御回路６４の制御に応じて圧縮処理した画像データを記録回路８０（図３）に出力する。なお、圧縮伸張部２２０は、画像データを圧縮せずにＲＡＷデータとして記録回路８０に出力してもよい。圧縮伸長部２２０は、また、記録回路４４にて記録した画像データを制御回路３４の制御に応じて読み出して伸長処理を施す機能を有している。
【００５６】
画像縮小部２２２は、画像データを表示するサイズに応じて画像データを画素間引きし、表示回路４６（図３）に収容される液晶表示パネルや同回路４６に接続される表示装置５２に適合する画像サイズに画像データを調整する。画像縮小部２２２は処理した画像データを表示回路４６に出力する。
【００５７】
制御回路３４は、輝度シェーディングおよび色ずれの発生状態をズーム位置等の撮像条件等に応じて予測し、その信号処理方法を被写界から得られた輝度情報に応じて判断し切り換えるように制御し、ディジタル信号処理回路４０は、制御回路３４からの制御に応じて、発生される色ずれを低減する処理を行う。
【００５８】
次に、ディジタル信号処理回路４０における特に補正部２１８の色差ゲイン処理の切り換え動作について図１を参照して説明すると、制御回路３４は、撮像レンズ１４の撮像時におけるズーム位置Ｚを判定し（ステップＳ１００）、ズーム位置Ｚが、位置Ｚ１〜Ｚ２の範囲内（Ｚ１＜Ｚ＜Ｚ２）である場合に、ステップＳ１０２の色差ゲイン処理”２”を選択する。
【００５９】
ステップＳ１００におけるズーム位置判定処理ではさらに、撮像レンズ１４のズーム位置Ｚが、位置Ｚ１以下である場合（Ｚ＜＝Ｚ１）にステップＳ１０４に進み、ズーム位置Ｚが位置Ｚ２の以上である場合（Ｚ＝＞Ｚ２）に、ステップＳ１０６に進む。
【００６０】
ステップＳ１０４では、分割測光を行った際のブロックＡ（図１０）における分割測光データＡが参照され、ステップＳ１０８にて、分割測光データＡが所定の閾値ＴＨを超えているか否かが判定され、超えている場合にはステップＳ１１０における色差ゲイン処理”２”が選択され、分割測光データＡが所定の閾値ＴＨ以下である場合にはステップＳ１０２における色差ゲイン処理”１”が選択される。
【００６１】
ステップＳ１０６では、分割測光を行った際のブロックＢ（図１０）における分割測光データＢが参照され、ステップＳ１１２にて、分割測光データＢが所定の閾値ＴＨを超えているか否かが判定され、超えている場合にはステップＳ１１４における色差ゲイン処理”２”が選択され、分割測光データＢが所定の閾値ＴＨ以下である場合にはステップＳ１０２における色差ゲイン処理”１”が選択される。
【００６２】
このように補正部２１８は、色差ゲインを制御に応じて可変する補正処理を行ったが、上述したように、制御回路４６は、撮像レンズ１４のズーム位置と測光値とによりシェーディング発生を予測および判断し、判断結果に応じてガンマ変換部２０４，２１４における階調変換処理を切り換えるように制御してもよい。すなわち上述した図１における色差ゲイン処理”２”（ステップＳ１１０，１１４）が選択される判断状況時には、高輝度レベル部分をより圧縮するガンマカーブを示すルックアップテーブルを用いて変換処理を行うとよい。
【００６３】
以上は、図４に示す従感光部４１０と主感光部４１２との組画素配置によるシェーディングに対処するために分割測光ブロックＡおよびＢのデータを使用したが、使用する測光ブロックは、シェーディングの影響が大きく発生する分割ブロックを使用するのであればよい。たとえば、図８に示した組画素配置の固体撮像素子８００の場合には、図１０におけるブロックＤとブロックＥとの測光データＤおよびＥを用いて図１にて説明した判断処理（ステップＳ１０８，Ｓ１１２）を行うとよい。
【００６４】
【発明の効果】
このように本発明によれば、従感光部と主感光部とが１つの組画素として複数配列された固体撮像素子において、撮像レンズの射出瞳の変化による固体撮像素子への輝度シェーディング発生に伴う色ずれを予測し、その撮像出力信号を処理する信号処理にて目立たなくするように処理することができる。これはとくにズームレンズの焦点距離を可変するズーム位置によってシェーディングが変化する場合や交換式の撮像レンズを採用した場合などに特に有効である。
【図面の簡単な説明】
【図１】ディジタル信号処理回路内の補正部における色差ゲイン処理の判断動作を示すフローチャートである。
【図２】ディジタル信号処理回路の構成例を示すブロック図である。
【図３】本発明が適用されたディジタルカメラの構成例を示すブロック図である。
【図４】固体撮像素子の撮像面各周辺部の組画素を部分的に拡大して示す図である。
【図５】近射出瞳状態のズーム位置にて各組画素に集光される結像錯乱円の発生状態を固体撮像素子の各周辺画素位置について示す図である。
【図６】遠射出瞳状態のズーム位置にて各組画素に集光される結像錯乱円の発生状態を固体撮像素子の各周辺画素位置について示す図である。
【図７】従感光部による輝度シェーディングの発生状態を示す図である。
【図８】固体撮像素子の他の組画素配置構成例によって結像錯乱円が発生する状態を示す図である。
【図９】図８に示した固体撮像素子にて発生した輝度シェーディングの状態を従感光部について示す図である。
【図１０】撮像画面における分割測光時の各分割ブロックを示す図である。
【図１１】通常の色差ゲイン処理”１”による輝度データＹに対応する色差ゲイン設定を示すグラフである。
【図１２】色差ゲイン処理”２”による輝度データＹに対応する色差ゲイン設定を示すグラフである。
【符号の説明】
１０  ディジタルカメラ
１２  光学系
１４  撮像レンズ
１６  固体撮像素子
３４  制御回路（ＣＰＵ）
４０  ディジタル信号処理回路
Ｓ１０２  色差ゲイン処理”１”
Ｓ１１０，Ｓ１１４  色差ゲイン処理”２”
【図１】
2004222158.tif 000003
【図２】
2004222158.tif 000004
【図３】
2004222158.tif 000005
【図４】
2004222158.tif 000006
【図５】
2004222158.tif 000007
【図６】
2004222158.tif 000008
【図７】
2004222158.tif 000009
【図８】
2004222158.tif 000010
【図９】
2004222158.tif 000011
【図１０】
2004222158.tif 000012
【図１１】
2004222158.tif 000013
【図１２】
2004222158.tif 000014