(57)【要約】【課題】ユーザが画像処理方法を自由に選択できる撮像装置を提供。【解決手段】デジタルカメラ10の撮像部12は主画素・副画素を含み、高低２種類の出力信号を出力する。デジタルカメラ10の背面に操作部18およびモニタ30を設け、ユーザは、操作部18の十字キー28等を操作してモニタ30に表示された画質モードのいずれかを選択可能である。ダイナミックレンジ優先モードを選択した場合には、２種類の出力信号を滑らかに合成してダイナミックレンジを拡大した画像信号を作成する。解像度優先モードを選択した場合には、主画素・副画素の出力信号を合成せず、解像度を確保する。感度優先モードを選択した場合には、主画素の出力信号に従画素の出力信号を加算し、主画素の出力信号の飽和点を増加させて感度を上げる。色再現優先モードを選択した場合には、シーンの色温度に応じて、ホワイトバランス補正の方法を変更する。【選択図】図４
2007259344.tif 000002
【特許請求の範囲】
【請求項１】
第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスであって、第１の感光部から得られる第１の出力信号と第２の感光部から得られる第２の出力信号とを所定の規則で混合すれば第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を得ることが可能な固体撮像デバイスと、
解像度を優先するモードにおいて、前記１画面にわたって第１の出力信号と第２の出力信号とを混合せずすべて個別に用いた画像信号を生成する信号処理手段とを含むことを特徴とする撮像装置。
【請求項２】
第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスであって、第１の感光部から得られる第１の出力信号と第２の感光部から得られる第２の出力信号とを所定の規則で混合すれば第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を得ることが可能な固体撮像デバイスと、
感度を優先するモードにおいて、前記１画面にわたって、第１および第２の出力信号を加算して画像信号を生成する信号処理手段を含むことを特徴とする撮像装置。
【請求項３】
第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスであって、第１の感光部から得られる第１の出力信号と第２の感光部から得られる第２の出力信号とを所定の規則で混合すれば第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を得ることが可能な固体撮像デバイスと、
色再現を優先するモードにおいて、ＲＧＢの各色のうち所定の色に対応する第１の感光部を飽和させる露光量に対しては、第１の感光部の飽和出力信号と、前記所定の色に対応する第２の感光部の出力信号とを所定の比で合成し、該合成した出力信号と、その他の色に対応する第１の感光部の出力信号とのホワイトバランスをとって画像信号を生成する信号処理手段とを含むことを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、ＲＧＢの各色の分光感度比は１：１：１であることを特徴とする撮像装置。
【請求項５】
請求項１ないし４のいずれかに記載の撮像装置において、第１および第２の感光部の配列方式は、単板式または多板式であり、ハニカム方式またはベイヤ方式であることを特徴とする撮像装置。
【請求項６】
請求項１ないし５のいずれかに記載の撮像装置において、該撮像装置は、デジタルカメラであることを特徴とする撮像装置。
【請求項７】
請求項１ないし５のいずれかに記載の撮像装置において、該撮像装置は、携帯電話機であることを特徴とする撮像装置。
【請求項８】
第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスであって、第１の感光部から得られる第１の出力信号と第２の感光部から得られる第２の出力信号とを所定の規則で混合すれば第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を得ることが可能な固体撮像デバイスを用いる画像処理方法において、該方法は、
解像度を優先するモード、感度を優先するモードまたは色再現を優先するモードのいずれかを選択する工程と、
該選択した工程が解像度を優先するモードの場合に、前記１画面にわたって、第１の出力信号と第２の出力信号とを混合せずすべて個別に用いた画像信号を生成する工程と、
前記選択した工程が感度を優先するモードの場合に、前記１画面にわたって、第１および第２の感光部から得られる第１および第２の出力信号を加算して画像信号を生成する工程と、
前記選択した工程が色再現を優先するモードの場合に、ＲＧＢの各色のうち所定の色に対応する第１の感光部を飽和させる露光量に対しては、第１の感光部の飽和出力信号と、前記所定の色に対応する第２の感光部の出力信号とを所定の比で合成し、該合成した出力信号と、その他の色に対応する第１の感光部の出力信号とのホワイトバランスをとって画像信号を生成する工程とを含み、
これによって、ユーザの選択に応じた画像信号を提供することを特徴とする画像処理方法。
【請求項９】
第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスであって、第１の感光部から得られる第１の出力信号と第２の感光部から得られる第２の出力信号とを所定の規則で混合すれば第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を得ることが可能な固体撮像デバイスを用いる画像処理方法において、該方法は、
撮影環境に応じて解像度を優先するモード、感度を優先するモードまたは色再現を優先するモードのいずれかを選択する工程と、
該選択した工程が解像度を優先するモードの場合に、前記１画面にわたって、第１の出力信号と第２の出力信号とを混合せずすべて個別に用いた画像信号を生成する工程と、
前記選択した工程が感度を優先するモードの場合に、前記１画面にわたって、第１および第２の感光部から得られる第１および第２の出力信号を加算して画像信号を生成する工程と、
前記選択した工程が色再現を優先するモードの場合に、ＲＧＢの各色のうち所定の色に対応する第１の感光部を飽和させる露光量に対しては、第１の感光部の飽和出力信号と、前記所定の色に対応する第２の感光部の出力信号とを所定の比で合成し、該合成した出力信号と、その他の色に対応する第１の感光部の出力信号とのホワイトバランスをとって画像信号を生成する工程とを含み、
これによって、撮影環境に応じた画像信号を提供することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主画素・副画素に対応する２種類の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスを有する撮像装置および画像処理方法に関するものである。
【背景技術】
【０００２】
特許文献１に示すように、感度の高い光電変換素子を用いて得られる高出力信号と、それより感度の低い光電変換素子を用いて得られる低出力信号とを混合し、ダイナミックレンジを拡大した画像信号を得る撮像装置が提案されている。
【特許文献１】特開２００４−５６５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、すべてのシーンにおいてダイナミックレンジの拡大が必要であるとは限らず、ダイナミックレンジを拡大する必要のないシーンの場合には、低出力信号は使用されていない。
【０００４】
本発明はこのような従来技術に鑑み、シーンに応じて、高低２種類の出力信号をより合理的に合成し、良好な画像信号を生成することのできる撮像装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は上述の課題を解決するために、第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスと、１画面にわたって、第１の感光部から得られる第１の出力信号より第１の画像信号を生成し、第２の感光部から得られる第２の出力信号より第２の画像信号を生成する信号処理手段とを含む。
【０００６】
また、この信号処理手段は、１画面にわたって、第１および第２の感光部から得られる第１および第２の出力信号を加算して画像信号を生成するものでもよい。さらに、この信号処理手段は、ＲＧＢの各色のうち所定の色に対応する第１の感光部を飽和させる露光量に対しては、第１の感光部の飽和出力信号と、所定の色に対応する第２の感光部の出力信号とを所定の比で合成し、合成した出力信号と、その他の色に対応する第１の感光部の出力信号とのホワイトバランスをとって画像信号を生成するものでもよい。
【０００７】
また本発明は上述の課題を解決するために、第１の感光部および第１の感光部より感度の低い第２の感光部で構成される画素が２次元状に配列されて１画面を形成する固体撮像デバイスを用いる画像処理方法において、解像度を優先するモード、感度を優先するモードまたは色再現を優先するモードのいずれかを選択する工程と、選択した工程が解像度を優先するモードの場合に、１画面にわたって、第１の感光部から得られる第１の出力信号より第１の画像信号を生成し、第２の感光部から得られる第２の出力信号より第２の画像信号を生成する工程と、選択した工程が感度を優先するモードの場合に、１画面にわたって、第１および第２の感光部から得られる第１および第２の出力信号を加算して画像信号を生成する工程と、選択した工程が色再現を優先するモードの場合に、ＲＧＢの各色のうち所定の色に対応する第１の感光部を飽和させる露光量に対しては、第１の感光部の飽和出力信号と、所定の色に対応する第２の感光部の出力信号とを所定の比で合成し、合成した出力信号と、その他の色に対応する第１の感光部の出力信号とのホワイトバランスをとって画像信号を生成する工程とを含み、これによって、ユーザの選択または撮影環境に応じた画像信号を提供する。
【発明の効果】
【０００８】
本発明によれば、ユーザの選択、あるいは撮影環境に応じて、画像処理方法を使い分け、所望の画像信号を得ることができる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明による撮像装置および画像処理方法の実施例を詳細に説明する。
【実施例１】
【００１０】
本発明の第１の実施例について説明する。図１は本発明による撮像装置の実施例であるデジタルカメラのブロック図であり、これは第１ないし第６の実施例に共通の構成を示す図である。図１に示すデジタルカメラ10は撮像部12を有する。撮像部12はフォトダイオードが光電変換した電荷をCCD（Charge Coupled Device; 電荷結合素子）によって転送し、出力する方式としてよい。図２は図１に示す撮像部12の撮像面に配列されたフォトダイオードを表す図である。フォトダイオードには主画素および副画素の２種類があり、図２に示すように、主画素14にのみ注目すると、それらはベイヤ配列に従っていて、副画素16にのみ注目してもベイヤ配列に従っている。このような配列を本実施形態では一例として説明する。なお、本発明はこのような配列にのみ限定されるものではなく、目的や設計に応じて任意に好適な配列を適用することができるのは言うまでもない。原則として、主画素14および副画素16によって１画素を構成する。主画素14および副画素16は、それぞれ、受光面積に広狭の差があり、前者は感度が高く後者は感度が低い。また、各画素には図２に示すようにＲＧＢのカラーフィルタが設けられていて、各色に対応した信号電荷を出力する。
【００１１】
図３は図２に示す主画素14・副画素16の出力特性を示すグラフである。図３に示すように、副画素16は、主画素14と飽和点は同じレベルであるが、感度は1/4であるため、主画素14の４倍の露光量に対しても、有効に出力が可能である。したがって、主画素14・副画素16から出力される高出力信号および低出力信号を、シーンの輝度値に応じて滑らかに混合することにより、最大400%のダイナミックレンジを有する画像信号を作成することができる。しかしながら、すべての撮影シーンにおいてダイナミックレンジが400%必要であるとは限らず、むしろ高解像度が必要であるシーンも少なくない。
【００１２】
そこで、図１に示す本発明の実施例たるデジタルカメラ10は、操作部18を含み、ユーザはこれを用いて各種のモードを選択可能である。本実施例では、高い解像度を確保する解像度優先モードを選択した場合の画像処理方法を説明する。カメラ10は、図１に示す通り、信号処理部20を含み、これはユーザの選択したモードに応じて、撮像部12から到来する出力信号に所定の画像処理を施す部位である。
【００１３】
図４は図１に示すデジタルカメラ10の背面図を示す模式図である。カメラ10の背面には操作部18が配置されていて、操作部18には十字キー28その他のキーが含まれている。また、図４に示すように、カメラ10の背面にはモニタ30が設けられている。モニタ30は例えば液晶ディスプレイ（Liquid Crystal Display; LCD）としてよく、図４に示すように、画質モード選択画面を表示可能である。ユーザはモニタ30を参照しながら十字キー28を操作して、所望の画質モードを自由に選択可能である。
【００１４】
図５は図１に示す信号処理部20の一例を示す詳細な機能ブロック図である。なお機能ブロック図であるから、信号処理部20は、図５に示す各種処理を、本実施例で実行する順序に限らず、自由な順序で実行できる。本実施例における信号処理部20の特徴は、解像度優先モードが選択された場合に、以下の処理を行なうことである。すなわち、図５において、主画素信号および副画素信号がそれぞれブロック22Aおよび22Bにてプリガンマ補正された後、ＲＧＢ補間処理26を実行することである。これにより、図２に示すごとく、物理的位置の異なる主画素14および副画素16の出力を混合して１画素とするのでなく、主画素14も副画素16も１画素として扱い、それぞれから得られる信号をすべて使用して画素数を確保する。すると、例えば主画素・副画素の混合処理を行なってダイナミックレンジの拡大を行なう場合に比較して解像度の高い広帯域な輝度を有する画像を作成することが可能となる。その際に、副画素は主画素の1/4の信号しか出力できないため、信号を４倍にしてからＲＧＢ補間処理26を行なう。
【００１５】
図６は図５に示すＲＧＢ補間処理26にて行なわれる処理を説明する図である。ＲＧＢ補間処理26は、ある画素に対して、存在しない色について考慮しながら、補間して各画素にてＲＧＢ三原色すべてを求める処理である。例えば緑（Ｇ）の画素の位置には、他の色すなわち赤（Ｒ）および青（Ｂ）の信号を作成して画像信号を補間する。図５では、高周波信号はグレイであるというグレイ仮定を使用し、Ｇ位置にＲ信号を補間する例を示している。すなわち、Ｇ位置の周囲から作成したＲ、Ｇ信号の周波数成分をそれぞれLPF（Low-Pass Filter）に通し、得られた値RLPF、GLPFの差分値RLPF-GLPFを、元のＧ信号に加算する（RLPF-GLPF+Ｇ）ことで、高周波信号を保ったまま低周波色信号を補間する。これによれば、広帯域輝度信号を作成することが可能となる。
【００１６】
図７は、図１に示す撮像部12の他の画素配列方式を示す図である。撮像部12は、図７(a)に示す単板CCDによるハニカム方式でもよいし、図７(b)(c)に示す配列を積層して作った多板CCDによるハニカム方式でもよい。またベイヤ方式でもよい。本発明について、これらのいずれの画素配列方式を適用してもよいことは、本発明のすべての実施例について共通である。
【００１７】
以下、本発明の第１の実施例を構成する他の要素について説明する。図１の光学系32は、被写界からの光を撮像部12へ集光する部位であり、図示しないレンズ、絞り、AF（Auto Focus）機能および絞り調節機構を有する。撮像部12はこれに電荷転送用の駆動信号を供給するドライバ34に接続されている。ドライバ34はタイミング信号発生器36に接続されていて、タイミング信号発生器36は、ドライバ34が駆動信号を生成するのに必要なタイミングパルスをドライバ34に与える。タイミング信号発生器36は、システム制御部38に接続されていて、制御部38は、タイミング信号発生器36その他の要素を制御する。制御部38はその他、前処理部40も制御し、前処理部40は、相関二重サンプリング（Correlated Double Sampling: CDS）回路、ゲイン調整アンプ（GCA: Gain-Controlled Amplifier）およびA/D変換器（Analog-to-Digital Converter）等の前処理を行なう各種回路を含む。システム制御部38は操作部18にも接続されていて、操作部18からの操作信号に基づいて、各要素を制御する。システム制御部38は、ストロボ42に接続されていて、ストロボ42はその有する光源を発光させ、撮像時に被写体に光を当てる要素である。前処理部40で処理された画像信号は、揮発性または不揮発性の記録装置であるバッファメモリ44に送られ、ここに一時的に保存された後、システムバス46を介して信号処理部20に送られ、設定された画質モードに応じた処理を、信号処理部20にて受ける。
【００１８】
システムバス46には、バッファメモリ44および信号処理部20の他、システム制御部38、ストレージインターフェース回路48が接続されている。システム制御部38は、バス46に接続された各要素を制御可能である。ストレージインターフェース回路48には、ストレージ50が接続されていて、ストレージ50は、信号処理部20によって所定の処理を受けた画像信号を記録する外部記録装置である。
【００１９】
図５における処理について説明を補足する。図５に示すように、主画素14からの主画素信号と、副画素16からの副画素信号とは、それぞれ、プリガンマ補正22A、22Bまでは、同一の画像処理を個別に受ける。オフセット補正52A、52Bはオフセット誤差を補正する処理である。ホワイトバランス補正54A、54Bは、画像上で、白、グレー、黒のように本来無彩色の部分を無彩色に修正することにより、画像全体のカラーバランスを調整する処理であり、トーンカーブのＲ、Ｇ、Ｂのレベルを個別に明るさ調整することにより行なう。リニアマトリクス処理56A、56Bは、色マトリクス処理により、色相、色飽和特性を調整し、色再現性を向上させ、肉眼に近い自然な色調を得る処理である。プリガンマ補正22A、22Bは、事前にガンマ補正を行なう処理である。
【００２０】
色差マトリクス処理60は、ＲＧＢ信号を輝度信号および色差信号（Y/R-Y/B-Y）にマトリクス変換する処理である。トリミング・リサイズ処理62は、画像のトリミングおよび所定の拡大・縮小を行なう処理である。輪郭補正64は、映像の輪郭（シャープネス）を調整する処理である。画像圧縮処理66は、画像データをJPEG（Joint Photographic coding Experts Group）等の規格で圧縮処理を施す処理である。記録制御処理68は、画像信号を、ストレージ50に記録可能な所定の画像ファイルに変換する処理である。
【実施例２】
【００２１】
本発明の第２の実施例について説明する。第２の実施例であるデジタルカメラの構成、ならびに、撮像部の画素配列方式および出力特性は、図１ないし図３に示すものと同様であるため、説明を省略する。かかる構成によれば、高出力信号と低出力信号は、輝度値に応じて滑らかに混合することにより最大400％のダイナミックレンジを有する画像信号を作成することができる。しかしながら、すべての撮影シーンにおいてダイナミックレンジが400%必要であるとは限らず、S/N（Signal-Noise ratio）比を優先する場合には感度が必要となる。
【００２２】
そこで、第２の実施例では、図４に示す画質モードのうち、感度優先モード、言いかえればS/N比を重視し高感度な撮像を可能とするモードをユーザが選択した場合の画像処理方法を説明する。図８は図１に示す信号処理部20の他の一例を示す詳細な機能ブロック図である。本実施例における信号処理部20の特徴は、感度優先モードが選択された場合に、以下の処理を行なうことである。すなわち、図８において、主画素信号および副画素信号は、まず、合成処理70にて、従来のダイナミックレンジを拡大する混合処理とは異なる合成処理を受ける。
【００２３】
図９は、図８における合成処理70にて実行される合成処理を説明する図である。本実施例では、図９に示すように、主画素の出力信号72と、副画素の出力信号74とを加算して、１つの出力信号76を作成する。この主画素と副画素の出力を加算した信号は、主画素と副画素の合計の飽和点（図９に示す「主＋副飽和点」）を超えると、信号78のように推移するはずであるが、この「主＋副飽和点」を超える信号は、本実施例ではクリップし、切り捨てる。したがって、本実施例では、出力特性は、出力信号76から出力信号80へと推移する。これにより、ある露光量に対する出力信号は、主画素のみの出力信号72より高くなり、図９に示すように、感度は、主画素の感度の1.25倍となる。
【００２４】
このように図８に示す合成処理70にて感度を高めて出力された画像信号は、その後、オフセット補正その他の処理を受ける。オフセット補正以降の処理内容については、図５について説明したものと同様であるため、本実施例では説明を省略する。
【実施例３】
【００２５】
本発明の第３の実施例について説明する。第３の実施例であるデジタルカメラの構成、撮像部の画素配列方式および出力特性は、図１ないし図３に示すものと同様であるため、説明を省略する。かかる構成によれば、高出力信号と低出力信号は、輝度値に応じて滑らかに混合することにより最大400％のダイナミックレンジを有する画像信号を作成することができる。
【００２６】
そこで、第３の実施例では、図４に示す画質モードのうち、ダイナミックレンジ優先モードをユーザが選択した場合の画像処理方法を説明する。図10は図１に示す信号処理部20の他の一例を示す詳細な機能ブロック図である。本実施例における図10に示す信号処理部20の特徴は、ダイナミックレンジ優先モードが選択された場合に、以下の処理を行なうことである。すなわち、図10において、主画素信号および副画素信号がそれぞれブロック22Aおよび22Bにてプリガンマ補正された後、所定の規則で混合して、第１の出力信号のダイナミックレンジより広いダイナミックレンジを有する画像信号を生成する混合処理24を行なうことである。混合処理24は、本実施例のようにダイナミックレンジ優先モードをユーザが選択した場合に行なわれる処理である。同処理では、主画素信号、副画素信号を混合し、最大で400%までダイナミックレンジを拡大した画像を作成する。
【００２７】
これにより、図11(a)に示す主画素出力信号と副画素出力信号とは、図11(b)に示すように滑らかに混合され、最大400%のダイナミックレンジを有する画像信号を作成することができる。すなわち、主画素のダイナミックレンジは400％まで拡大される一方、副画素出力信号より感度の高い、輝度に対して滑らかな分布を有する画像信号が得られることとなる。
【実施例４】
【００２８】
本発明の第４の実施例について説明する。第４の実施例であるデジタルカメラの構成、ならびに、撮像部の画素配列方式および出力特性は、図１ないし図３に示すものと同様であるため、説明を省略する。かかる構成によれば、高出力信号と低出力信号は、輝度値に応じて滑らかに混合することにより最大400％のダイナミックレンジを有する画像信号を作成することができる。しかしながら、すべての撮影シーンにおいてダイナミックレンジが400%必要であるとは限らず、シーンの色温度に応じて好ましい色を再現したい場合がある。
【００２９】
そこで、第４の実施例では、図４に示す画質モードのうち、色再現優先モードをユーザが選択した場合の画像処理方法を説明する。図１に示す積算部90は、前処理部40の出力信号から、シーンの色温度を検出し、色温度が高低いずれかに偏っているかを判定して信号処理部20に判定結果を供給できるシーン判別機能を有する。図12は図１に示す信号処理部20の他の一例を示す詳細な機能ブロック図である。本実施例における信号処理部20の特徴は、色再現優先モードが選択された場合に、以下の処理を行なうことである。すなわち、図12において、主画素信号および副画素信号は、上述のシーン判別結果に応じた合成処理70を受けた後に、ホワイトバランス補正54を受けることである。ここで合成処理70にて行なわれる合成処理は、第２の実施例と同様の合成処理としてよい。
【００３０】
図13は、従来、上述のような合成処理を経ずに、撮像直後の各色データについて、ホワイトバランス補正を行なっていた場合の問題点を説明する図である。図13(a)に示すように、例えば2000Kなど、シーンの色温度が低い、すなわち赤味が強いシーンの場合、Ｒ画素の信号が最も高い出力を示し、逆に、Ｂ画素の信号は最も低い出力を示す。すなわち、Ｇ／Ｒの値が小さくなる。すると、主Ｒ画素は、同じ露光量であっても、主Ｇ画素や主Ｂ画素に比較して、早く飽和してしまう。かかる色信号に対してホワイトバランス補正を行なうと、Ｒ画素についてのホワイトバランスゲインは１を下回り、図13(d)に示すように、主Ｒ画素の信号をゲイン補正して主Ｇ画素に合わせても、「Ｒの張り付き」として示す部分以外のＲ画素信号は飽和によって得られていないため、所定の輝度以上の輝度を有するハイライト部では、赤味が失われた画像となってしまう。
【００３１】
これと同様に、図13(c)に示すように、例えば10000Kなど、シーンの色温度が高い、すなわち青味が強いシーンである場合、主Ｂ画素は、主Ｇ画素や主Ｒ画素に比較して、早く飽和してしまう。すなわち、Ｇ／Ｂの値が小さくなる。そのため、Ｂ画素についてのホワイトバランスゲインは１を下回り、ホワイトバランス補正を行なうと、図13(f)に示すように、「Ｂの張り付き」として示す部分以外のＢ画素信号は飽和によって得られていないため、所定の輝度以上の輝度を有するハイライト部では、青味が失われた画像となってしまう。
【００３２】
なお、色温度が図13(b)に示すように例えば5500K程度であれば、主Ｂ画素も主Ｒ画素も主Ｇ画素より早く飽和することがないため、図13(e)に示すようにゲインアップによってホワイトバランスを行なっても、いずれかの色味が失われることはない。しかし、上述のように、色温度が高低いずれかに偏っている場合、所定の輝度以上の輝度を有するハイライト部では、いずれかの色味が失われてしまうという問題があった。
【００３３】
一方、図14は、図12に示す本実施例のように、主画素信号および副画素信号に、先に、シーン判別結果に応じた合成処理70を受けさせた後に、ホワイトバランス補正54を受けさせた場合の出力信号を示す図である。すなわち、色温度が高いと積算部90が判定した場合、信号処理部20は、図14(a)に示すように、Ｒ画素の出力信号に、合成処理70にて副画素を加算し、飽和点を上昇させる。したがって、その後にホワイトバランス補正54を行なっても、図14(d)に示すように、赤色味が失われてしまうことがない。これと同様に、色温度が低いと積算部90が判定した場合も、信号処理部20は、図14(c)に示すように、Ｂ画素の出力信号の飽和点を上昇させるから、ホワイトバランス補正54を行なっても、図14(f)に示すように、青色味が失われてしまうことがない。また、図14(b)(e)に示すように、色温度が高低いずれかに偏っていない場合は、もとより問題が生じていないので、問題なくホワイトバランス補正ができる。
【００３４】
このように、本実施例では、ホワイトバランスゲイン値に応じて各色が飽和しないように主画素・副画素の出力を合成してからホワイトバランス補正をすることにより、より広い色温度に対して適切なホワイトバランス補正が実行できる。
【００３５】
図16は、図１に示す積算部90と、信号処理部20に含まれる図12に示す合成処理70およびホワイトバランス補正54とによって行なわれる、本実施例の画像処理を説明するフローチャートである。まず積算部90は、ステップS120に示すように、上述のシーン判別を行なう。その判別結果は信号処理部20に与えられる。信号処理部20は、入力された主画素信号・副画素信号がオフセット補正52A、52Bを受けた後、上述のシーン判別結果に基づき、ステップS122に示すように、Ｒ画素またはＢ画素についてのホワイトバランスゲインが１を下回るか否かを判定する。いずれのゲインも１以上であれば、ステップS126に進み、ホワイトバランス補正54を実行する。すなわち、この場合、主画素信号・副画素信号は図12の合成処理70を通過するだけで、同処理70にて何らかの合成処理を受けるわけではない。
【００３６】
一方、ステップS122においてＲ画素またはＢ画素についてのホワイトバランスゲインが１を下回る場合は、ステップS124に進み、図14にて説明した主画素・副画素の合成処理を行なう。この場合は、かかる合成処理の後、ステップS126に進み、ホワイトバランス補正54を実行する。
【００３７】
図12に示すホワイトバランス補正54にてホワイトバランス補正を施された画像信号が、その後受ける、リニアマトリクス処理等の処理内容については、図５について説明したものと同様であるため、本実施例では説明を省略する。
【００３８】
図15は、従来技術における分光感度比と、本実施例における分光感度比とを比較する図である。従来、図15(a)に示すように、色温度追従性を考慮してＲＧＢの感度比がＧ＞Ｒ，Ｇ＞Ｂとなっていたところ、本実施例によれば、図15(b)に示すように、感度比を１：１：１にすることができる。これにより、従来よりＲ画素出力信号およびＢ画素出力信号のS/N比を改善することが可能である。また、１：１：１にするのは分光感度自体であってもよいし、撮影頻度の多い晴れのポジションの場合であってもよい。
【実施例５】
【００３９】
本発明の第５の実施例について説明する。本実施例の特徴は、図４に示す複数の画質モードをユーザが自由に選択可能である点にある。言いかえれば、本実施例では、第１ないし第４の実施例で説明した画像処理方法を、ユーザの任意で選択可能である。
【００４０】
第５の実施例であるデジタルカメラの構成、ならびに、撮像部の画素配列方式および出力特性は、図１ないし図３に示すものと同様であるため、説明を省略する。また、図１の信号処理部20は、第１ないし第４の実施例で説明した図５、図８、図10または図12に示す機能ブロック図に示す順序で、画像処理を行なえばよい。
【００４１】
ユーザは、図４に示す操作部18を利用して、同図のモニタ30に表示される画質モード、すなわち、解像度優先モード（第１の実施例に対応）、感度優先モード（第２の実施例に対応）、ダイナミックレンジ優先モード（第３の実施例に対応）および色再現優先モード（第４の実施例に対応）のいずれかを選択可能である。これにより、図１の操作部18からシステム制御部38に供給される各モードに応じた操作信号に応じて、システム制御部は、信号処理部20に、画像処理方法の切り換えを指示する。
【実施例６】
【００４２】
本発明の第６の実施例について説明する。本実施例の特徴は、カメラが撮影環境を解析し、図４に示す複数の画質モードを自動的に選択する点にある。第６の実施例の構成は、第５の実施例のそれと同様である。
【００４３】
図17は、図１に示すシステム制御部38が行なう、自動撮影環境解析フローチャートである。まず、ステップS100にて、ダイナミックンレンジを拡大してより高い階調を確保するか否かを判断する。これは、Auto Tone Control（ATC）あるいはAuto Tone Mapping（ATM）の手法を用いる。拡大の必要ありと判断した場合は、ステップS102に移行し、ダイナミックレンジ優先モード、すなわち第３の実施例で説明した画像処理を行なう。
【００４４】
拡大の必要なしと判断した場合は、ステップS104に移行し、シーンの明るさ（輝度レベル）から、感度を上げる必要があるか否かを判断する。その結果、感度を上げる必要があると判断した場合には、ステップS106に進み、感度優先モード、すなわち第２の実施例で説明した画像処理を行なう。なお、本実施例ではダイナミックレンジ優先モードの実行の可否を先に判断しているが、感度優先モードの実行の可否を先に行なってもよい。
【００４５】
感度を上げる必要がないと判断した場合には、ステップS108に移行し、色温度が所定の範囲内にあるか、あるいは高低いずれかに偏っていないかを判定する。高低いずれかに偏っている場合には、ステップS110に移行し、色再現優先モード、すなわち第４の実施例で説明した画像処理を行なう。
【００４６】
色温度が偏っていない場合には、ステップS112に移行し、被写体が風景などの無生物であるか、人間や動物の顔を含む生物であるか、を判断する。画像認識の手法は、従来技術から知られている方法を用いてよい。その結果、無生物であれば、ステップS114に進み、ストレージ50の記録容量を確認し、記録容量に余裕があれば、ステップS116に進み、解像度優先モード、すなわち第１の実施例で説明した画像処理を行なう。一方、ステップS112にて被写体が生物と判断した場合、あるいはステップS114にてストレージの記録容量に余裕がないと判断した場合には、ステップS118に進み、主画素14からの出力信号のみを用いて画像信号を生成する。
【図面の簡単な説明】
【００４７】
【図１】本発明による撮像装置の実施例であるデジタルカメラに共通のブロック図である。
【図２】図１に示す撮像部の撮像面に配列されたフォトダイオードを表す図である。
【図３】図２に示す主画素・副画素の出力特性を示すグラフである。
【図４】図１に示すデジタルカメラの背面図を示す模式図である。
【図５】図１に示す信号処理部の一例を示す詳細な機能ブロック図である。
【図６】図５に示すＲＧＢ補間処理にて行なわれる処理を説明する図である。
【図７】図１に示す撮像部の他の画素配列方式を示す図である。
【図８】図１に示す信号処理部の他の一例を示す詳細な機能ブロック図である。
【図９】図８における合成処理にて実行される合成処理を説明する図である。
【図１０】図１に示す信号処理部の他の一例を示す詳細な機能ブロック図である。
【図１１】図５に示す混合処理にて行なわれるダイナミックレンジの拡大を説明する図である。
【図１２】図１に示す信号処理部の他の一例を示す詳細な機能ブロック図である。
【図１３】従来のホワイトバランス補正の問題点を説明する図である。
【図１４】図12に示す実施例にてホワイトバランス補正を行なった場合の出力信号を示す図である。
【図１５】従来技術における分光感度比と、本実施例における分光感度比とを比較する図である。
【図１６】図12に示す実施例の画像処理を説明するフローチャートである。
【図１７】図１に示すシステム制御部が行なう、自動撮影環境解析フローチャートである。
【符号の説明】
【００４８】
10  デジタルカメラ
12  撮像部
20  信号処理部
38  システム制御部
90  積算部
【図１】
2007259344.tif 000003
【図２】
2007259344.tif 000004
【図３】
2007259344.tif 000005
【図４】
2007259344.tif 000006
【図５】
2007259344.tif 000007
【図６】
2007259344.tif 000008
【図７】
2007259344.tif 000009
【図８】
2007259344.tif 000010
【図９】
2007259344.tif 000011
【図１０】
2007259344.tif 000012
【図１１】
2007259344.tif 000013
【図１２】
2007259344.tif 000014
【図１３】
2007259344.tif 000015
【図１４】
2007259344.tif 000016
【図１５】
2007259344.tif 000017
【図１６】
2007259344.tif 000018
【図１７】
2007259344.tif 000019
【手続補正書】
【提出日】平成18年3月30日(2006.3.30)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007259344.tif 000020
【図２】
2007259344.tif 000021
【図３】
2007259344.tif 000022
【図４】
2007259344.tif 000023
【図５】
2007259344.tif 000024
【図６】
2007259344.tif 000025
【図７】
2007259344.tif 000026
【図８】
2007259344.tif 000027
【図９】
2007259344.tif 000028
【図１０】
2007259344.tif 000029
【図１１】
2007259344.tif 000030
【図１２】
2007259344.tif 000031
【図１３】
2007259344.tif 000032
【図１４】
2007259344.tif 000033
【図１５】
2007259344.tif 000034
【図１６】
2007259344.tif 000035
【図１７】
2007259344.tif 000036