(57)【特許請求の範囲】
【請求項１】
撮影感度を設定する感度設定手段と、
前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段と、
前記感度設定手段で設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする撮像装置。
【請求項２】
前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記所定色の出力信号を、その出力レベルに因らずに前記色比補正係数を用いて補正し、前記所定色と異なる他色の出力信号を、その出力レベルに因らずに前記色比補正係数とは別に定められた所定の補正係数を用いて補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記所定色の出力信号の出力レベルを判定し、当該出力レベルが所定のレベルより低い場合は、前記色比補正係数を用いる補正を行わずに、他の補正方法により補正することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記他の補正方法は、前記色比補正係数とは別に定められた所定の補正係数を用いる補正であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記所定のレベルは、前記所定色の出力信号の画素に対して所定の位置関係にある周辺画素の出力信号から設定される値であり、前記他の補正方法は、前記対応する色の色比補正係数を用いて補正された所定色の出力信号のレベルに応じて異なる所定の信号のいずれかを補正された出力信号として出力する補正であることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記所定の位置関係にある周辺画素は、前記所定色の出力信号の画素に隣接し、前記他の色の出力信号を出力する画素であり、前記他の補正方法において出力される異なる所定の信号は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号および黒レベルに対応する出力信号であり、前記補正手段は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号のレベルが前記所定のレベルを超えたときに前記黒レベルに対応する出力信号を補正信号として出力することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記色比補正係数とは別に定められた補正係数は、ゲインが１でオフセットが０であることを特徴とする請求項２乃至６のいずれか一項に記載の撮像装置。
【請求項８】
前記所定色と異なる他色の出力信号は、前記撮像信号の輝度成分に最も寄与する色の出力信号であることを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
【請求項９】
撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理装置であり、
前記感度設定手段で設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって形成される値であることを特徴とする画像処理装置。
【請求項１０】
撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理方法であり、
前記感度設定手段で設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶手段に記憶する記憶ステップと、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正ステップと、を備え、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、
撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置の制御方法において、
前記感度設定手段で設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段、
前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段、として機能させ、
前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値である、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳイメージセンサー等の撮像素子を用いた撮像装置に関し、特に、当該撮像装置から出力される撮像信号を処理する画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
現在、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いて撮像した静止画像や動画像を、記録及び再生するデジタルカメラ等の撮像装置が、広く市販されている。
【０００３】
固体撮像素子は、基本的に、照射された光を、マトリクス状に配された各単位画素内の光電変換手段としてのフォトダイオード（ＰＤ）によって信号電荷に変換及び蓄積し、後段の回路へ転送する構成になっている。
【０００４】
撮像装置において、被写体の像を高輝度から低輝度まで精度よく取り込むためには、固体撮像素子によって入射光を電気信号に変換し出力する際、入射光量に応じて出力される信号量が、入射光量に正確に比例している（リニアリティが良い）ことが望ましい。また、そのためには、ＰＤに蓄積された信号電荷が、後段の回路へと完全に転送される必要がある。
【０００５】
転送効率を高め、完全電荷転送を実現するためには、固体撮像素子の電荷転送路を、理想的に均一な構造にする必要がある。しかし、実際には、結晶の欠陥や汚染、製造時に生じる各部のサイズ及び濃度等の僅かな誤差によって、転送路上にポテンシャルポケット等が発生するため、数個レベルの電子が捕獲されることによって電荷の転送残りが生じ、転送効率が悪化してしまう。
【０００６】
尚、捕獲される電荷の量は有限であるため、ＰＤから転送される電荷が少ない場合ほど、電荷の捕獲によって転送効率が悪化する度合いは大きいと言える。
【０００７】
すなわち、ある一定レベルの電荷が捕獲されるとき、十分な量の光が入射した場合には、捕獲される電荷量に対し十分な量の電荷が転送されるため、入射光と出力信号との比例関係が概ね保たれ、所望のレベルの信号が出力される。しかし、入射光量が少ない時には、捕獲される電荷量に対する転送される電荷量の割合が小さくなるため、出力される信号は所望のレベルに比べて低いものになってしまう。そのため、入射光量が多い時と少ない時とでは、入射光と出力信号との比例関係が崩れてしまうことになる（リニアリティが悪い）。
【０００８】
ある一定量の光が入射したときに出力される信号が、所定の信号レベルとなるようなゲインを設定できる感度ごとに求め、感度に応じたゲインを、撮像信号に対し一律にかけることで、出力信号のレベルを補正する補正方法が一般的に行われている。しかし、この方法では、入射光量よってその度合いが変化する、不完全転送によるリニアリティの悪化を補正することはできない。
【０００９】
上記のような不完全転送に対し、信号処理によってその影響を低減するための手段として、画像信号に対し、一律のオフセット信号を加算することで、不完全転送による信号レベルの不足を補償する補正手段が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第０４６７８８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
近年、デジタルカメラ等の撮像装置に使用する固体撮像素子は高画素化が進んでいる。したがって、撮像面の面積は変わらないにもかかわらず、画素数が増加する分、一画素あたりの面積は小さくなってきており、それに伴い、一画素あたりで取り込める電荷量は必然的に少なくなっている。
【００１２】
これに対応して、低輝度環境での撮影で、露光量が少ない状態でも適正な露出の画像を撮影できる撮像装置の高感度化が進んでいる。即ち、画素部の後段に増幅部を設け、少ない電荷量であっても増幅により画像信号を適正レベルにしている。低感度から高感度までの感度設定が可能な撮像装置の場合、高感度設定時には、低感度設定時の同等の露出撮影時に比べ、撮像素子の露光量が感度比分少なくなる。例えば、同等の露出で撮影を行う場合、ＩＳＯ５１２００相当の感度設定では、ＩＳＯ１００相当の感度設定に比べ、露光量は１／５１２少なくなり、その分、各ＰＤに蓄積される電荷量も少なくなってしまう。
【００１３】
さらに、撮像素子には、単位画素ごとに、色分離のためのカラーフィルタが配設されている。カラーフィルタの色(波長)によって、入射光量に対する透過光量の割合は異なるため、露光量が同一の画素同士であっても、被写体光源色および各々の画素に割り当てられたカラーフィルタの色に応じて、ＰＤに到達する光の量は異なってしまう。
また、カラーフィルタを透過して画素面に入射する光の光量が同一の場合であっても、ＰＤに入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色（ＲＧＢ等）を透過する光の波長に応じて、ＰＤに蓄積される電荷の量に差が出る。
【００１４】
前述したとおり、ＰＤから転送する電荷が少ない場合ほど、不完全電荷転送による影響度は大きくなる。特に、画素数の多い固体撮像素子を用いた撮像装置を高感度設定で低輝度被写体を撮影した場合、電荷転送残りの影響が顕著に表れ、各色の色比が、十分な露光量が得られた場合に比べて大きく異なってしまう。
【００１５】
このような色比の悪化によって撮像装置の色再現が悪くなり、撮像装置で取得した画像の画質を低下させてしまう。
【００１６】
特許文献１に記載の従来技術では、すべての画素から得た光信号に対して一律のオフセット信号を加算するといった手段が提案されている。しかし、このような補正を行ったとしても、露光量に依存して生じる色比の変化を好適に補正することはできず、撮影した画像の色再現が悪い画像となってしまう。また、一律のオフセット信号を加算するため、低輝度部分、特に、光信号がなく画像信号が完全に黒レベルとなる部分においてもオフセット分の浮きが生じてしまい、黒レベルが再現できない問題がある。
【００１７】
本発明は上記問題点を鑑みてなされたものであり、不完全転送による色再現性の悪化、特に高感度設定での撮影でも色再現性の悪化の低減を可能とする補正手段を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明によれば、撮影感度を設定する感度設定手段と感度設定手段で設定された撮影感度で光電変換を行って被写体の撮像信号を出力する撮像手段とを備える撮像装置は、感度設定手段が設定する各撮影感度について、異なる露光量に対応して撮像手段から出力された撮像信号に含まれる異なる色の出力信号を用いて生成された色ごとの色比補正係数を記憶手段に記憶し、記憶手段に記憶された色比補正係数を用いて撮像手段から出力された撮像信号を補正する補正手段と、被写体の撮影において感度設定手段によって設定された撮影感度に対応した色比補正係数を記憶手段から取得し、補正手段を制御して、撮像手段から出力された被写体の撮像信号に含まれる異なる色の出力信号を、取得された色比補正係数のうち、対応する色の色比補正係数を用いて補正する制御手段とを備える。
【００１９】
波長の異なる光信号を、色ごとに電気信号に変換し、出力する、光電変換手段を備えた固体撮像素子と、
複数の感度設定を切り替える感度設定手段と、
前記固体撮像素子から出力された出力信号を補正する補正手段と、
を備えた撮像システムにおいて、
前記感度設定手段によって設定可能である前記複数の感度ごとに、前記固体撮像素子からの出力信号を、複数の露出で取得し、
前記複数の露出で取得した出力信号から得た、色ごとの出力信号に基づいて、前記色ごとの出力信号の比を補正するための、色別の補正係数を、感度ごとに求めて記憶しておき、
前記感度設定手段によって設定された感度に応じて、前記色別の補正係数を使用して、前記固体撮像素子から出力された出力信号を補正する
ことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、不完全転送などによる色再現性の悪化、特に高感度撮影での色再現性の悪化を低減することを可能とする画像処理装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係わる撮像装置の構成例を示すブロック図
【図２】本発明の実施形態に係わる固体撮像素子の構成例を示す等価回路図
【図３】図２に示す固体撮像素子の制御パルスの一例を示すタイミングチャートを示す図
【図４】図２に示す固体撮像素子の電荷転送路の断面を表す模式図
【図５】本発明の実施形態に係わる固体撮像素子の入力−出力特性の一例を示す図
【図６（Ａ）】図５に示した各感度の出力について、緑（Ｇ）画素の出力に対する赤（Ｒ）画素、青（Ｂ）画素の出力の関係を示す図
【図６（Ｂ）】図５に示した各感度の出力について、緑（Ｇ）画素の出力に対する赤（Ｒ）画素、青（Ｂ）画素の出力の関係を示す図
【図６（Ｃ）】図５に示した各感度の出力について、緑（Ｇ）画素の出力に対する赤（Ｒ）画素、青（Ｂ）画素の出力の関係を示す図
【図７（Ａ）】本発明の第１の実施例に係わる撮像信号の補正を図６Ａ、６Ｂに示す信号に適用したときの信号出力を示す図
【図７（Ｂ）】本発明の第１の実施例に係わる撮像信号の補正を図６Ａ、６Ｂに示す信号に適用したときの信号出力を示す図
【図７（Ｃ）】本発明の第１の実施例に係わる撮像信号の補正を図６Ａ、６Ｂに示す信号に適用したときの信号出力を示す図
【図８】本発明の第１の実施例に係わる撮像信号の補正を詳細に説明するための信号出力の模式図
【図９】本発明の第１の実施例に係わる色比補正処理のフローチャートを示す図
【図１０】本発明の第２の実施例に係わる信号補正による出力信号を示す図
【図１１（Ａ）】本発明の第２の実施例に係わる色比補正処理の変形例のフローチャートを示す図
【図１１（Ｂ）】本発明の第２の実施例に係わる色比補正処理の変形例のフローチャートを示す図
【図１２】本発明の第３の実施例に係わる信号補正による出力信号を示す図
【図１３】本発明の第３の実施例に係わる色比補正処理のフローチャートを示す図
【図１４】本発明の実施形態に係わる固体撮像素子のカラーフィルタの配置例を示す模式図
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。本実施形態は、本発明を、固体撮像素子を用いて撮像信号を取得することが可能な撮像装置に適用した例である。
【００２３】
まず、本実施形態に係わる撮像装置及び固体撮像素子の構成例について説明する。次いで、本撮像装置に本件発明を適用したときの各実施例について設説明する。
【００２４】
＜撮像装置の概略構成＞
図１は、本発明の実施形態における、撮像システムとしての撮像装置の構成例を示すブロック図である。
【００２５】
１は、レンズや絞りなどの光学部材からなる、固体撮像素子３に被写体からの光束を導くための光学系である。
２は、後述の固体撮像素子の露光時間を制御するために、固体撮像素子の遮光を行う、メカニカルシャッタである。
３は、照射された光を電気信号に変換して出力する、固体撮像素子である。本発明の実施の形態における、固体撮像素子については、詳細は後述する。
４は、固体撮像素子３から出力された電気信号（アナログ信号である撮像信号）をデジタル画像信号に変換する、Ａ／Ｄ変換器である。
５は、固体撮像素子３を動作させるために、駆動回路6に対して必要な信号を発生するタイミング信号発生回路である。
【００２６】
６は、光学系1、メカニカルシャッタ２及び固体撮像素子３の駆動回路である。
７は、固体撮像素子３から出力された撮像信号に必要な各種補正等の信号処理を行う、信号処理回路である。本実施例では、本発明に係わる信号補正を行なう補正手段として機能する。
８は、信号処理された画像データを記憶する画像メモリである。
９は、撮像装置から取り外し可能であり、画像データを記憶する、画像記録媒体である。
１０は、信号処理された画像データを画像記録媒体９に記録する記録回路である。
【００２７】
１１は、信号処理された画像データなどを表示する表示装置である。
１２は、表示装置１１に画像などを表示する表示回路である。
１３は、撮像装置全体を制御するシステム制御部である。
１４は、記憶手段としての不揮発性メモリ（ＲＯＭ）である。不揮発性メモリ１４には、システム制御部１３で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、画像信号の各種補正に用いるデータを記憶しておく。
１５は、揮発性メモリ（ＲＡＭ）である。揮発性メモリ１５には、不揮発性メモリ１４に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１３が撮像装置を制御する際にロードして使用する。
【００２８】
１６は、撮像装置の電源オン／オフ状態を制御するスイッチＳｗ０である。
１７は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチＳｗ１である。
１８は、撮像装置の撮影動作開始を指示するスイッチＳｗ２である。
１９は、撮像装置の撮影感度の設定を指示する、感度設定手段としての感度設定部である。
【００２９】
尚、前述の撮像装置の構成は、あくまでも本発明を実施するために必要な構成の一例である。本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００３０】
＜撮像装置の撮像動作の一例＞
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１３の動作開始時には、不揮発性メモリ１４から、感度設定部１９の設定に応じて、必要なプログラム、制御データ及び補正データが、揮発性メモリ１５に転送され、記憶される。これらのプログラムやデータは、システム制御部１３が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ１４から揮発性メモリ１５に転送され、或いは、システム制御部１３が直接に不揮発性メモリ１４内のデータを読み出して使用する。
【００３１】
先ず、システム制御部１３からの制御信号により、光学系１の絞りやレンズが駆動され、適切な明るさに設定された被写体像が撮像面に結像する。
【００３２】
続いて、固体撮像素子３が駆動され、撮影動作が行われる。固体撮像素子３は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換して、蓄積された電荷量に応じた電気信号を出力する。この間に、メカニカルシャッタ２が開閉することによって、固体撮像素子３の露光時間が制御される。固体撮像素子３は、所望の蓄積時間の間、発生した電荷の蓄積を行い、蓄積された電荷量に応じた電気信号をアナログ信号として出力するよう制御される。
【００３３】
固体撮像素子３から出力されたアナログ信号は、システム制御部１３により制御されたタイミング信号発生回路５が発生する動作パルスにより、Ａ／Ｄ変換器４でデジタル信号に変換される。
【００３４】
次に、信号処理回路７において、デジタル信号に対して、後述の感度補正や色比補正を含む各種の補正、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。信号処理回路７内の画像メモリ８は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
【００３５】
信号処理回路７で信号処理された画像データや画像メモリ８に記憶されている画像データは、記憶回路１０により画像記憶媒体９に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて画像記憶媒体９に記憶される。また、Ａ／Ｄ変換器４でデジタル画像信号に変換された画像データは、信号処理回路７で解像度変換処理を施された後、表示回路１２において画像表示装置１１に適した信号に変換され、画像表示装置１１に表示される。記憶回路１０は、システム制御部１３からの要求に応じて、画像記憶媒体９の種類や空き容量等の情報をシステム制御部１３に出力する。
【００３６】
≪固体撮像素子の構成≫
図２は、図１の固体撮像素子３の一例としてのＣＭＯＳイメージセンサの等価回路図である。
【００３７】
単位画素２００は、入射光を電荷に変換し、発生した信号電荷を蓄積する光電変換手段としてのフォトダイオード（ＰＤ）、蓄積された信号電荷量に応じて増幅信号出力を出力する増幅手段としての増幅ＭＯＳトランジスタ（ＭＡｍｐ）を含む。また、信号電荷を受け増幅用ＭＯＳトランジスタのゲート電極に接続するフローティングディフュージョン部（ＦＤ）、ＰＤに蓄積した信号電荷をＦＤ部に転送する転送手段としての転送ＭＯＳトランジスタ（ＭＴｘ）を含む。さらに、ＦＤ部をリセットするリセット手段としてのリセットＭＯＳトランジスタ（ＭＲｅｓ）、信号を出力する画素を選択する選択手段としての選択ＭＯＳトランジスタ（ＭＳｅｌ）を含。以上のように単位画素は構成されている。増幅ＭＯＳ ＭＡＭＰのドレインおよびリセットＭＯＳ ＭＲｅｓのドレインには金属配線を介して電源が接続され、電源電位が供給される。
【００３８】
マトリクス状に配された複数の画素のうち、同一列に配された画素群に対し、選択された画素の増幅信号を出力するための共通の出力線Ｖが設けられている。また、同一行に配された複数の画素に対し、ＭＴｘ、ＭＲｅｓ、ＭＳｅｌの各々のゲート電極に制御パルスＰＴｘ、ＰＲｅｓ、ＰＳｅｌを印加するための、制御線ΦＴｘ、ΦＲｅｓ、ΦＳｅｌが設けられている。制御線ΦＴｘ、ΦＲｅｓ、ΦＳｅｌは、垂直走査回路VSRに接続されている。
【００３９】
出力線Ｖは、定電流源Ｉに接続されると共に、クランプ容量Ｃ０を介して演算増幅器ＶＡｍｐの反転入力端子に接続される。
【００４０】
演算増幅器ＶＡｍｐの非反転入力端子はクランプ電圧ＶＣ０Ｒ（ＶＲＥＦ）に接続される。演算増幅器ＶＡｍｐの反転入力端子と出力端子の間にはコンデンサＣｈ、Ｃｌが接続されており、感度設定部１９において設定された感度に対応して、ＭＧａｉｎのゲートに信号電圧が供給されることで、演算増幅器におけるゲインが制御される。例えば、感度設定部１９において低感度に設定された時にはＭＧａｉｎをオン状態に制御して、コンデンサＣｌを接続することで、第１のゲインで信号の読み出しを行う。また、高感度に設定された時にはＭＧａｉｎをオフ状態に制御して、コンデンサＣｈのみを使用することで、第１のゲインより高い、第２のゲインで信号の読み出しを行う。尚、図２には２つのコンデンサを記載しているが、少なくとも２つ以上の複数のコンデンサを設け、それぞれを制御パルスで制御することで、より細かにゲイン設定を行えるようにしてもよい。
【００４１】
演算増幅器ＶＡｍｐの出力端子は、ノイズ信号転送スイッチＭＴｎを介してノイズ信号（撮像信号の基準信号）を一時保持するための容量ＣＴｎに、また、光信号転送スイッチＭＴｓを介して光信号（撮像信号）を一時保持するための容量ＣＴｓに、接続される。ノイズ信号保持容量ＣＴｎと光信号保持容量ＣＴｓの逆側の端子は接地されている。ノイズ信号転送スイッチＭＴｎとノイズ信号保持容量ＣＴｎとの接続点は、水平転送スイッチＭＨｎを介して、光信号とノイズ信号の差分信号を出力する差動回路ＤＡｍｐに接続される。また、光信号転送スイッチＭＴｓと光信号保持容量ＣＴｓとの接続点は、水平転送スイッチＭＨｓを介して、差動回路ＤＡｍｐに接続される。
【００４２】
各列のノイズ信号転送スイッチＭＴｎのゲートは、ノイズ信号転送パルスＰＴｎを印加するための制御線φＴｎに、それぞれ共通に接続される。また、各列の光信号転送スイッチＭＴｓのゲートは、光信号転送パルスＰＴｓを印加するための制御線φＴｓに、それぞれ共通に接続される。
【００４３】
水平転送スイッチＭＨｎ、ＭＨｓは、水平走査回路ＨＳＲから供給される列選択パルスＰＨによって制御される。
【００４４】
次に、図２に示した固体撮像素子の動作を、図１０を用いて簡単に説明する。
【００４５】
図３には、図２に示した固体撮像素子を動作させる各制御パルスのタイミングチャートを示す。
【００４６】
信号の読み出しは、０行目から開始し、１行目、２行目、３行目…と順に行う。該当行の信号の読み出し動作が終了した後に次の行の読み出し動作に移る。
【００４７】
以下、図２に示した撮像素子のｎ行目の読み出し動作を説明する。
【００４８】
時刻Ｔ０でＰＳｅｌがローレベルになると、直前に読出しを行った行、ここで言うｎ-1行目の選択ＭＯＳ  ＭＳｅｌがオフとなり、ｎ−１行目の画素の選択が解除される。
【００４９】
同時に、ＰＣ０Ｒがハイレベルとなり、各列のクランプ容量Ｃ０のリセットが開始される。また、ＰＴｓとＰＴｎがハイレベルとなり、各列のノイズ信号保持容量ＣＴｎと、光信号保持容量ＣＴｓとのリセットが開始される。
【００５０】
時刻Ｔ１で不図示の行送りパルスＰＶが垂直走査回路に入力されると、読出しを行う選択行の行送りが行われる。ここでは、選択行がｎ−１行目からｎ行目の画素行へ送られる。
時刻Ｔ２でＰＲｅｓがローレベルとなると、ＦＤのリセットが解除され、ＦＤの基準電位が決定される。
時刻Ｔ３で、行送りパルスＰＶがハイレベルとなり、また、ＰＳｅ１がハイレベルとなり、選択ＭＯＳ  ＭＳｅ１がオンとなってｎ行目の画素が選択される。
時刻Ｔ４でＰＴｓとＰＴｎがローレベルとなり、光信号保持容量ＣＴｓと、ノイズ信号保持容量ＣＴｎとのリセットが終了し、ＣＴｓ、及びＣＴｎの基準電位が決定される。
時刻Ｔ５でＰＣ０Ｒがローレベルとなり、Ｃ０容量に基準電位ＶＣ０Ｒが保持される。
【００５１】
時刻Ｔ６でＰＴｎがハイレベルとなり、ＦＤの電位が、ノイズ信号保持容量ＣＴｎに出力される。
時刻Ｔ７でＰＴｎがローレベルとなり、この時点でのＦＤの電位が、ノイズ信号（撮像信号の基準信号）としてノイズ信号保持容量ＣＴｎに保持される。
時刻Ｔ８でＰＴｓがハイレベルとなり、ＦＤの電位が、ノイズ信号保持容量ＣＴｓに出力される。
時刻Ｔ９でＰＴｓがハイレベルの間に、ＰＴｘがハイレベルとなり、転送ＭＯＳ  Ｍ１がオンとなって、ＰＤに蓄積されていた電荷がＦＤへと転送される。
時刻Ｔ１０でＰＴｘがローレベルとなり、転送ＭＯＳ  Ｍ１がオフされて、電荷のＦＤへの転送が終了する。
【００５２】
時刻Ｔ１１でＰＴｓがローレベルとなり、この時点でのＦＤの電位が、光信号（撮像信号）として光信号保持容量ＣＴｓに保持される。
時刻Ｔ１２でＰＲｅｓがハイレベルとなって、ＦＤのリセットが開始される。
【００５３】
時刻Ｔ１３で不図示の列送りパルスＰＨの入力が開始されると、読出し領域の先頭列から末尾の列まで、列転送パルスが順にΦＨに入力される。したがって、光信号保持容量ＣＴｓと、ノイズ信号保持容量ＣＴｎとに保持された信号は、１列ごとに順番に差動回路ＤＡｍｐに送られ、光信号とノイズ信号の差分増幅信号が、画像信号として撮像素子の出力端子から出力される。撮像素子に例えば図１４に示すカラーフィルタが配設されているときは、Ｒ，Ｇ，Ｂの各色成分信号がカラーフィルタの色配列に応じて順次出力される。
【００５４】
以上が、ｎ行目の画素行の信号読み出し動作であり、ｎ行目の画素信号の読み出しが終了した後は、ｎ＋１行目の読み出し動作に移る。ｎ行目以外の画素行の読み出しについても、ｎ行目と同様の読み出し動作を繰り返し、各行の信号読み出しが終了したら、次の行の読み出しに移る。
【００５５】
≪画素構造≫
次に、単位画素あたりのＰＤ、ＭＴｘ、ＦＤ部の部分の断面構造を、図４に示す。同図において４０１はＮ型の半導体基板、４０２はＰ型のウェル、４０３はウェル４０２中に形成されたＮ型の半導体領域であり、ウェル４０２と領域４０３とでフォトダイオードＰＤが形成され、領域１１０３に信号電荷が蓄積される。
【００５６】
４０４はウェル４０２中に形成され、ＦＤ部となるＮ型の半導体領域、４０５はＭＴｘのゲート電極であり、領域４０３、領域４０４はそれぞれＭＴｘのソース領域、ドレイン領域である。４０６は領域４０４と接続する配線であり、ＭＡｍｐのゲートと接続している。領域４０３に蓄積される信号電荷は転送動作時にはＦＤ部であるＮ型の半導体領域４０４にすべて転送され、転送直後の領域４０３が完全に空乏化するよう、領域４０３におけるＮ型の不純物濃度は設定されている。よって、ＰＤにおける信号電荷の蓄積開始は信号電荷転送直後となり、また、信号電荷の蓄積終了時は、再びその画素が属する行が選択されてＰＤの領域４０３に蓄積された信号電荷が領域４０４に転送される時となる。
【００５７】
≪不完全転送≫
転送効率を高め、完全電荷転送を実現するためには、固体撮像素子の電荷転送路を、理想的に均一な構造にする必要がある。しかし、実際には、結晶の欠陥や汚染、製造時に生じる各部のサイズ及び不純物濃度等の僅かな誤差によって、転送路上にポテンシャルポケット等が発生し、これに数個レベルの電子が捕獲されて電荷の転送残りが生じ、転送効率が悪化してしまう。
【００５８】
捕獲される電荷の量は有限であるため、ＰＤから転送される電荷が少ない場合ほど、不完全電荷転送による影響度は大きくなる。
【００５９】
すなわち、ある一定レベルの電荷が転送路において捕獲されるとき、十分な量の光が入射した場合には、捕獲される電荷量に対し十分な量の電荷が転送されるため、入射光と出力信号との比例関係が概ね保たれ、所望のレベルの信号が出力される。即ち、転送路における電荷捕獲による信号レベルの割合が小さい。しかし、入射光量が少ない時には、捕獲される電荷量に対して、転送される電荷量の割合が小さくなるため、出力される信号は所望のレベルに比べて低いものになってしまう。そのため、入射光量が多い時と少ない時とでは、入射光と出力信号との同じ比例関係が保たれないことになる。（リニアリティが悪い。）
【００６０】
したがって、少ない露光量で撮影し、蓄積される電荷が少ない分を回路ゲイン等の後段のゲインで補う高感度設定時は、十分な露光量が得られる低感度設定時に比べて、電荷転送残りによる画像信号への影響が大きい。
【００６１】
さらに、前述の通り、撮像素子には、単位画素ごとに色分離のためのカラーフィルタが配設されており、カラーフィルタの色によって、入射光量に対する透過光量の割合は異なる。このため、露光量が同一の画素同士であっても、被写体光源色および各々の画素に割り当てられたカラーフィルタに応じて、ＰＤに到達する光の量は異なってしまう。
また、ＰＤは、入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色（ＲＧＢ等）を透過する光の波長に応じて、ＰＤに蓄積される電荷の量に差が出る。
【００６２】
したがって、各画素に設けられたカラーフィルタの色ごとに、電荷転送残りによる画像信号への影響度が異なることになる。また、色ごとに電荷転送残りによる画像信号への影響度が異なることで、露光量に応じて、得られる画像信号の各色成分信号の色比が異なってしまい、画像の色再現性が低下してしまう。この問題についても、少ない露光量で撮影し、蓄積される電荷が少ない分を回路ゲイン等の後段のゲインで補う高感度設定時の方が、十分な露光量が得られる低感度設定時に比べて、電荷転送残りによる画像信号への影響が大きいと言える。
【００６３】
上記問題について図５、図６Ａ−６Ｂを参照して具体的に説明する。
【００６４】
図５は固体撮像素子における入力−出力特性の一例を表した対数グラフである。
【００６５】
図５（Ａ）は、低感度設定（例えば、ＩＳＯ１００）時の入力−出力特性を表し、図５（Ｂ）は、高感度設定（例えば、ＩＳＯ５１２００）時の入力−出力特性を表す。また、理想的な入力−出力特性を、各々のグラフに、理論値として示した。
【００６６】
尚、ここでは、適正露光時には、Ｇ出力がＩＳＯによらず一律の値となるようなゲインを、全色の信号に乗じてある。具体的には、例えば、適露光時のＧ出力が一律の値付近（ここでは１０００カウント付近）となるよう、感度設定に応じて、固体撮像素子内部のコンデンサＣｈ、Ｃｌを制御している。
【００６７】
それに加えて、各設定感度で、適露光時のＧ出力が一律の値（ここでは１０００カウント）となるよう、Ｇ信号に対する感度補正を行っている。この補正では、感度ごとにあらかじめ調整されたゲインのうち、設定された感度に応じてゲインを固体撮像素子外部の信号処理回路でＧ信号にかけている。
【００６８】
また、高感度設定時の適正露光時におけるＲ、Ｂ出力が、それぞれ低感度設定時の適正露光時におけるＲ、Ｂ出力と等しくなるようなゲインを、Ｒ、Ｂ各色の信号に乗じることで、Ｒ、Ｂ信号に対する感度補正を行っている。具体的には、ＩＳＯ５１２００時の、適正露出におけるＲ出力、Ｂ出力が、ＩＳＯ１００時の適正露出におけるＲ出力、Ｂ出力と等しくなる様、色（Ｒ、Ｂ）ごとにあらかじめ調整されたゲインを、固体撮像素子外部の信号処理回路でかけるようにしている。
【００６９】
したがって、高感度設定時における入力−出力の関係（図５（Ｂ）参照）は、感度補正によって合わせこまれた適正露光付近の露光条件において理論値の直線に交差している。
【００７０】
図５においては、入力に対する出力のプロットが理論値の直線に近いほどリニアリティ特性が良く、理論値の直線から離れるほどリニアリティ特性が悪いことを示している。また、理論値の直線より下がるほど、出力低下が大きいことを示している。
【００７１】
十分な露光量が得られる低感度設定においては、図５（Ａ）に示すように、出力の低下は見られず、ほぼ理論値通りの直線を描いている。ところが、露光量が少ない高感度設定においては、図５（Ｂ）に示すように、低輝度（低露出）側ほど出力が下がっていく様子が見られる。
【００７２】
図５の例では、Ｇ画素の電荷量が最も多く、Ｒ、Ｂ画素の電荷量はそれより少ない。
【００７３】
先に説明したとおり、電荷量の少ない部分では電荷の不完全転送分の影響がより大きくなるため、電荷が少ない色の画素ほど、入力に対する出力の低下が大きくなってしまう。
【００７４】
したがって、Ｇ画素に比べ、電荷量の少ないＲ、Ｂ画素の出力の低下が大きくなっている。
【００７５】
図６（Ａ）、６（Ｂ）、６（Ｃ）は、図５（Ａ）、図５（Ｂ）に示した各感度の出力について、緑（Ｇ）画素の出力に対する赤（Ｒ）画素、青（Ｂ）画素の出力の関係を対数目盛りでプロットしたものである。図６（Ａ）には適正露光−２段から＋１段にわたるプロットを示し、図６（Ｂ）には適正露光−２段から適正露光、図６（Ｃ）には適正露光から＋１段を拡大して示した。ここでも、Ｇ出力に対する理想的なＲ、Ｂ出力を、各々のグラフに、理論値として示した。ここでは、Ｇ出力に対するＲ、Ｂ出力のプロットが理論値の直線より下がるほど、Ｒ、Ｂ画素のＧ画素に対する出力比（すなわち、色比Ｒ／Ｇ、Ｂ／Ｇ）が低下していることを示している。
【００７６】
低感度設定時においては、図５（Ａ）に示した通り、入力―出力の関係が各色とも保たれていることから、図６（Ａ）−６（Ｃ）に示すように、Ｇ出力に対するＲ、Ｂ出力は、ほぼ理論値通りの関係となっている。一方、高感度設定時においては、図５（Ｂ）に示した通り、露出が下がるにつれ、電荷量の少ないＲ、Ｂ画素の出力がＧ出力に比べ大きく低下していく。このことから、図６（Ａ）−６（Ｃ）に示すように、露出が下がることによりＧ出力が適正露光時の出力レベル（Ｇ＝１０００カウント）から低下するほど、Ｇ画素に対するＲ、Ｂ画素の出力比（Ｒ／Ｇ、Ｂ／Ｇ）が減少することとなる。
【実施例１】
【００７７】
本実施例では、図６（Ａ）−６（Ｃ）に示した高感度設定時のＧ画素出力に対する他色の画素の出力の関係を例に、各画素の出力の色毎の補正方法と、その補正に用いる補正値の導出方法について述べる。
【００７８】
本実施例では、各画素出力の簡易な補正方法として、ゲイン及びオフセットの補正係数を用いて色比Ｒ／Ｇ、Ｂ／Ｇを目標値に合わせこむ、色比補正を行うこととする。
具体的には、撮像装置が使用されるシチュエーションに近い代表的な光源下（例えば自然光に近い分光分布を持つ白色光源下、等）で取得した画像から、感度設定部１９で設定される感度ごとに、画素の色ごとにゲイン及びオフセットからなる色比補正係数を求める。この色比補正係数を、撮像装置の不揮発性メモリ（ＲＯＭ）１４にあらかじめ記憶させておき、感度設定部１９で撮像装置に設定された感度に応じた補正係数を、信号処理回路７における画像信号の補正に用いるものとする。
【００７９】
ここで、画像を生成する際に、輝度成分に最も大きく寄与する色が割り当てられた画素については、色比補正は行わない（つまり、ゲインを１倍、オフセットを０に固定する）ものとする。例に挙げた、ＲＧＢフィルタで構成された固体撮像素子においては、Ｇ画素である。また、他の例として、ＲＧＢＷの４色フィルタを用いた固体撮像素子ではＷ画素がこれにあたる。これは、輝度成分に大きく寄与する色の出力信号にオフセット成分を上乗せしてしまうと、
黒レベル＝基準レベル
とならずに、
黒レベル＝基準レベル＋オフセット
となってしまい、黒レベル付近の輝度の再現性が低下してしまう、すなわち、黒い部分が黒く写らず、暗部が浮いた画像となってしまう問題があるためである。したがって、本輝度成分に最も大きく寄与する色である、本実施例におけるＧ出力については、色比補正は行わずに、その他の色（Ｒ、Ｂ出力）についてのみ色比補正を行うこととする。
【００８０】
詳細な補正の手順については、補正係数の導出方法を述べたのちに説明する。
【００８１】
以下に、Ｂ出力を例に、信号の補正に用いる、補正係数の導出方法について述べる。
【００８２】
図７（Ａ）−７（Ｃ）のグラフでは、横軸にＧ画素出力(対数)、縦軸にＢ画素出力(対数)をとり、高感度設定時のＧ画素出力に対する、補正前のＢ画素出力（白点）、及び、本実施例に記載の補正を行った後のＢ画素出力（黒点）をプロットした。また、理想的なＧ出力−Ｂ出力の関係を、理論値として示した。図７（Ａ）には適正露光−２段から＋１段にわたるプロットを示し、図７（Ｂ）には適正露光−２段から適正露光、図７（Ｃ）には適正露光から＋１段を拡大して示した。また、図４を、模式的に強調した様子を、図１に示した。
【００８３】
図７（Ａ）−７（Ｃ）及び図８からは、補正前のＧ出力−Ｂ出力の関係が、適正露光時の出力レベル（Ｇ＝１０００カウント）から離れるに従い、理論値から乖離していくことが読み取れる。
【００８４】
ここで、ｘは該当ＩＳＯにおける露出とし、適をｘ＝０[段]とする。露出ｘの時のＧ出力をＧ（ｘ）、Ｂ出力をＢ（ｘ）と表すこととする。
【００８５】
例えば、図８では、補正前（細実線（１））の適正露光時のＧ（０）に対するＢ（０）は理論値の直線（２）上にあるのに対し、適＋１段時のＧ（＋１）に対するＢ（＋１）は理論値より大きい方向に乖離している。また、適−１段時のＧ（−１）に対するＢ（−１）は理論値より小さい方向に乖離し、適−２段時のＧ（−２）に対するＢ（−２）は更に小さい方向に乖離している。
【００８６】
言い換えれば、適正露光時にはＧとＢの色比が適正に保たれているのに対し、露光量が多い時にはＢ信号の割合が高くなることで色ずれを起こし、露光量が少ない時にはＢ信号の割合が低くなることで色ずれを起こしている。
【００８７】
本実施例に示す補正の目的は、Ｇ出力がある値Ｇ(ｘ)をとった時のＢ出力Ｂ(ｘ)を、簡易な補正処理で、理論値Ｂ´(ｘ)に近づけることである。
【００８８】
ここで、Ｇ出力がＧ(ｘ)の時のＢ(ｘ)に対し、所定のゲインｐをかけ、更にオフセットｑを加算することで、理論値Ｂ´(ｘ)となるような色比補正係数ｐ、ｑを求める。
【００８９】
まず、所定の複数露出における画像を取得する。例として、ここでは、画像の見た目として目立ちやすい領域である、適正露出−２段から+１段までを１段刻みで取得している。
【００９０】
次に、取得したｘ[段]の画像から、所定の画素領域（例えば、固体撮像素子の撮像領域の中央部付近に配置された、複数の画素）のＢ画素の出力の平均値Ｂ（ｘ）を求める。
【００９１】
以上のように求めた補正前のＢ出力の平均値（Ｂ（−２）~Ｂ（＋１））を、Ｇ出力の一次関数として近似する。
Ｂ(ｘ)＝ａ*Ｇ(ｘ)＋ｃ  ・・・  （１）
このときの近似式（１）を、図７（Ａ）−７（Ｃ）に細実線で示した。
理論値のプロットの傾き、すなわち、目標とする色比Ｂ／Ｇ＝ｄとしたとき、理論値は
Ｂ´(ｘ)＝ｄ*Ｇ(ｘ)        ・・・  （２）
で表すことができる。
【００９２】
式（１）、（２）から、
Ｂ´(ｘ)＝ｐＢ(ｘ)＋ｑ      ・・・  （３）
が成り立つようなゲインｐ、オフセットｑを求めると、
ｄ*Ｇ(ｘ) =ｐ*（ａ*Ｇ(ｘ) +ｃ）+ｑ
ｄ*Ｇ(ｘ) =ｐ*ａ*Ｇ(ｘ) +ｐ*ｃ+ｑ
ここで、ｐ*ｃ+ｑ=0  としたとき
ｄ=ｐ*ａ  より、ｐ=ｄ/ａ
ｑ= -ｃ*ｄ/ａ
となって、目標とする色比ｄ（＝Ｂ／Ｇ）、近似式（１）の傾きａと切片ｃから、近似線が理論値に近づくように補正するための補正係数である、ゲインｐ＝ｄ/ａ及びオフセットｑ＝ -ｃ*ｄ/ａの値を求めることができる。
【００９３】
以上、Ｂ信号の補正に用いる補正係数の導出方法を述べた。その他の色（ここではＲ信号）についても同様の方法で補正係数を導出すればよい。
【００９４】
以上のようにして求めた各感度に対応した色比補正係数であるゲインｐ、オフセットｑを用いて、次のような手順でＢ、Ｒ画素の撮像信号を補正する。
【００９５】
図９は、本実施例に係わる補正処理のフローチャートを示す図である。以下、本フローチャートを用いて本実施例に係わる補正処理を説明する。
【００９６】
ステップＳ９０１で、Ｎ番目の画素を選択し、当該画素の信号レベルＳ（ｎ）を取得し、ステップＳ９０２へ進む。
【００９７】
ステップＳ９０２で、画素アドレス等に基づいて、選択した画素がＧ画素であるかどうかを判定する。Ｇ画素であると判定されたらステップＳ９０３に進み、それ以外（Ｒ画素またはＢ画素）と判定されたらステップＳ９０４に進む。
【００９８】
Ｇ画素に対しては色比補正を行わないので、ステップＳ９０３で、色比補正係数として、所定の補正係数ｐ＝１、ｑ＝０を代入し、ステップＳ９０７へ進む。
【００９９】
ステップＳ９０４で、画素アドレス等に基づいて、選択した画素がＲ画素であるか、Ｂ画素であるかを判定する。Ｒ画素と判定されたらステップＳ９０５に進み、Ｂ画素と判定されたらステップＳ９０６に進む。
【０１００】
ステップＳ９０５では、Ｒ信号の色比補正係数として、ｐ＝ｐｒ、ｑ＝ｑｒを代入し、ステップＳ９０７へ進む。ここで用いられる補正係数は、感度設定部１９で撮像装置に設定されている感度に応じて不揮発性メモリ１４から読み出される。Ｂ信号についても同様である。
【０１０１】
ステップＳ９０６では、Ｂ信号の色比補正係数として、ｐ＝ｐｂ、ｑ＝ｑｂを代入し、ステップＳ９０７へ進む。
【０１０２】
ステップＳ９０７で、先のステップで代入された色比補正係数ｐ、ｑを用いて、選択した画素の信号Ｓ（ｎ）を補正し、補正結果Ｓ’（ｎ）を得る。その後ステップＳ９０８へ進む。
【０１０３】
ステップＳ９０８では、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップＳ９０９へと進む。
【０１０４】
ステップＳ９０９で、Ｎ＝Ｎ+1とし、ステップＳ９０１へ戻って上記の処理を続行する。
【０１０５】
色比補正係数ｐ、ｑは、Ｇ出力がＧ(ｘ)の時のＢ(ｘ)に対してゲインｐをかけ、更にオフセットｑを加算することで理論値Ｂ´(ｘ)となるように求めた係数である。
【０１０６】
したがって、補正処理では、実際のＢ出力に対して、上記の式（３）に示すように、ゲインｐをかけた上でオフセットｑを加算するという手順で行う。
【０１０７】
このような手順で補正した、高感度設定時のＢ信号を、図７（Ａ）−７（Ｃ）に黒点でプロットした。また、簡易的に強調して、図１に太実線（３）で示した。
【０１０８】
例えば、補正前（図７（Ａ）−（Ｃ）の白点、図８の細実線（１））には理論値より大きい方向に乖離していた、適＋１段時のＧ（＋１）に対するＢ（＋１）は、ほぼ理論値の近似線に乗るまでに補正されている。また、理論値より小さい方向に乖離していた適−１段時のＧ（−１）に対するＢ（−１）、及び、適−２段時のＧ（−２）に対するＢ（−２）についても、ほぼ理論値の近似線に乗るまでに補正されている。
【０１０９】
以上、図８、図７（Ａ）−７（Ｃ）に示したように、補正前のＢ信号と比較して、補正後のＢ信号が、理論値に近い値となっていることがわかる。したがって、Ｂ信号に対する補正が好適に行われ、適正露出時のみでなく、適正付近の露出において、所望の色比Ｂ／Ｇが得られたことがわかる。
【０１１０】
以上、Ｂ信号の補正手順を述べた。その他の色（ここではＲ信号）についても、同様の方法で補正を行えばよい。
【０１１１】
以上の通り、本実施例に示した補正係数の演算方法によって感度設定ごとに求めた補正係数を使用し、本実施例に示した補正方法で固体撮像素子から読み出した信号を補正することで画像信号の色比を好適に補正し、画像の色再現性を向上させることができる。
【０１１２】
すなわち、不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を低減することができる補正手段を提供することが可能となる。
【実施例２】
【０１１３】
実施例１では、撮像装置に設定される感度毎にもとめた色別の補正係数を、信号レベルに因らずに一律に使用した。このとき、高感度設定時においても、適露光付近の色再現性を向上させることができた。
【０１１４】
ここで、固体撮像素子に殆ど光が入射せず、極端に暗い画像を撮影する場合について考える。
【０１１５】
実施例１に記載の方法で求めたＲ信号についての補正係数を、ゲインｐ_ｒおよびオフセットｑ_ｒとし、Ｂ信号についての補正係数をゲインｐ_ｂおよびオフセットｑ_ｂとする。
【０１１６】
例えば、光がまったく入射せず、固体撮像素子が黒レベル相当の信号（０カウント）を出力するとき、本来であれば、Ｒ、Ｇ、Ｂのすべてが黒レベル相当の信号（０カウント）となるはずである。しかし、実施例１に述べた色比補正によって、Ｒの信号には一律のオフセットｑ_ｒ、またＢの信号にも一律のオフセットｑ_ｂが加算される。このため、色比補正後の撮像信号は、黒レベル相当の信号よりも、Ｒ成分がオフセットｑ_ｒだけ、またＢ成分がオフセットｑ_ｂだけ増加した信号となってしまう。
【０１１７】
すなわち、適正付近の露光量において色比を好適に補正できる色比補正係数をそのまま露光量が少ない場合に用いると、補正過剰となって、かえって色比のバランスを崩してしまう。その結果、画像の暗部の色比が、明部に対して異なってしまう。
【０１１８】
実施例１に記載の補正方法では、Ｇ信号に補正をかけず、オフセット成分を持たないようにしたことで、暗部ほど輝度成分が少なくなるようにした。その結果、Ｇ信号にも他色と共通のオフセットを乗せていた従来の補正に比べて暗部の信号の浮きがなくなるため、暗部の色比が明部と異なっていたとしても、画像が極端に色づいて見えるほどの影響はない。とはいえ、暗部の色再現性についても劣化させない様な色比補正を行えれば、より色再現性の良い画像を得ることができ、好ましい。
【０１１９】
本実施例では、上記暗部での色再現性を補償するための処理を第１の実施例の色比補正処理に追加し、適正露光量付近において色比を好適に補正しながら、暗部の色再現性の劣化を避けることを可能とする。
【０１２０】
具体的には、実施例１の色比補正処理に加えて、暗部を識別するためにＲ、Ｂ画素各々の出力信号のレベルを判定する出力信号判定手段備え、暗部と判定したときに第１の実施例の色比補正方法を他の方法に切り替えて暗部の色再現性を補償している。
【０１２１】
従って、本実施例において実行される第１の実施例の色比補正処理で用いる補正係数ｐ、ｑの求め方は、実施例１に述べたものと変わらないので、説明を省略する。
【０１２２】
以下、図１０、図１１（Ａ）、１１（Ｂ）を参照して、本発明の第２の実施例による、色比補正判定を用いた補正方法を説明する。
【０１２３】
図１０は、実施例１において例示した固体撮像素子の高感度設定時の入出力特性を、更に低い露出領域までプロットしたものである。
【０１２４】
ここでは、同一露出のＲとＧ、ＢとＧのプロットの間隔（出力差）が、適正露光時のＲとＧのプロットの間隔Ｄ２、ＢとＧのプロットの間隔Ｄ１とそれぞれ等しければ、適露光時と同じ色比の信号が得られることを示している。
【０１２５】
色比補正前のＲ信号、Ｂ信号を図１０に細実線で結んだ白点で示した。また、実施例１に述べた色比補正を適用した結果を、図１０に太破線で結んだ黒点で示した。
【０１２６】
色比補正前のＲ信号、Ｂ信号に対し、実施例１に述べた色比補正を適用することによって、所定以上の露出、特に、色比補正係数の導出に用いた条件以上の露出（ここでは適−２段以上）では、色比が好適に補正される。
【０１２７】
しかしながら、所定未満の露出、特に、色比補正係数の導出に用いた条件に満たない露出（ここでは適−２段未満）においては、色比補正が過剰となり、露出が低くなるに従い、色比のバランスが崩れていっている。
【０１２８】
そこでこの崩れを補償するために第１の実施例の色比補正処理を変形して、次のような補正処理を追加する。即ち、色比補正前のＲ信号、Ｂ信号が所定レベルよりも高い時には、実施例１に述べた補正方法で色比補正を行い、色比補正前のＲ信号、Ｂ信号が所定レベルよりも低い時には、色比補正自体を行わないか、あるいは、色比補正係数を変更する。この点は、図９と図１１（Ａ）、１１（Ｂ）とを比べることでも容易に理解できる。なお、色比補正を行わないことと、色比補正係数をｐ＝１、ｑ＝０に変更することとは、等価である。
【０１２９】
具体的には、実施例１にて述べた色比補正係数の導出時に取得した、各感度における最も露出の低い画像のＲ信号レベル、Ｂ信号レベルの平均値を、それぞれその感度における補正判定値Ｒｊ、Ｂｊとする。この補正判定値を、撮像装置の不揮発性メモリ（ＲＯＭ）１４にあらかじめ記憶させておき、撮像装置の感度設定に応じた補正判定値と色比補正前の各画素信号とを比較して補正判定を行い、判定結果に基づいて、該当画素の補正をどのように行うかを決定する。なお、補正判定値の設定は上記の方法に限らず、他の方法で設定して不揮発性メモリ１４に記憶させてもよい。
【０１３０】
例えば、図１１（Ａ）、１１（Ｂ）に例示したようなフローチャートに従って、補正判定、及び、色比補正の処理を行えばよい。
【０１３１】
図１１（Ａ）は、色比補正前のＲ信号、Ｂ信号がそれぞれ補正判定値Ｒｊ、Ｂｊより低い場合に色比補正係数を変更する補正処理のフローチャートを示す。図１１（Ｂ）は、色比補正前のＲ信号、Ｂ信号がそれぞれ補正判定値Ｒｊ、Ｂｊより低い場合に色比補正を行なわない補正処理のフローチャートを示す。なお、同図において、図９と同じステップは同じ符号を付して示す。
【０１３２】
まず、図１１（Ａ）に示す色比補正処理について説明する。
【０１３３】
ステップＳ９０１で、Ｎ番目の画素を選択し、当該画素の信号レベルＳ（ｎ）を取得し、ステップＳ９０２へ進む。
【０１３４】
ステップＳ９０２で、画素アドレス等に基づいて、選択した画素がＧ画素であるかどうかを判定する。Ｇ画素であると判定されたらステップＳ９０３に進み、それ以外（Ｒ画素またはＢ画素）と判定されたらステップＳ９０４に進む。
【０１３５】
Ｇ画素に対しては色比補正を行わないので、ステップＳ９０３で、色比補正係数として、ｐ＝１、ｑ＝０を代入し、ステップＳ９０７へ進む。
【０１３６】
ステップＳ９０４では、画素アドレス等に基づいて、選択した画素がＲ画素であるかＢ画素であるかを判定する。Ｒ画素と判定されたらステップＳ１１０１に進み、Ｂ画素と判定されたらステップＳ１１０２に進む。
【０１３７】
ステップＳ１１０１で、選択したＲ画素の信号レベルＳ（ｎ）が、補正判定値Ｒｊ以上かどうかを判定する。Ｒｊ以上であると判定されたら、ステップＳ９０５へ進み、Ｒｊ未満であると判定されたら、ステップＳ１１０３へ進む。
【０１３８】
ステップＳ９０５で、色比補正係数として、ｐ＝ｐ_ｒ、ｑ＝ｑ_ｒを代入し、ステップＳ９０７へ進む。
【０１３９】
Ｒ信号がＲｊ未満の時は色比補正を行わないので、ステップＳ１１０３で、色比補正係数として、ｐ＝１、ｑ＝０を代入し、ステップＳ９０７へ進む。即ち、色比補正係数を変更する。
【０１４０】
ステップＳ１１０２で、選択したＢ画素の信号レベルＳ（ｎ）が、補正判定値Ｂｊ以上かどうかを判定する。Ｂｊ以上であると判定されたら、ステップＳ９０６へ進み、Ｂｊ未満であると判定されたら、ステップＳ１１０４へ進む。
【０１４１】
ステップＳ９０６で、色比補正係数として、ｐ＝ｐ_ｂ、ｑ＝ｑ_ｂを代入し、ステップＳ９０７へ進む。
【０１４２】
Ｂ信号がＢｊ未満の時は色比補正を行わないので、ステップＳ１１０４で、色比補正係数として、ｐ＝１、ｑ＝０を代入し、ステップＳ０１１へ進む。
【０１４３】
ステップＳ９０７で、先のステップで代入された色比補正係数ｐ、ｑを用いて、選択した画素の信号Ｓ（ｎ）を補正し、補正結果Ｓ’（ｎ）を得る。その後ステップＳ９０８へ進む。
【０１４４】
ステップＳ９０８で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップＳ９０９へと進む。
【０１４５】
ステップＳ９０９で、Ｎ＝Ｎ+1とし、ステップＳ９０１へ戻って上記処理を続行する。
【０１４６】
次に、図１１（Ｂ）の色比補正処理を説明する。
【０１４７】
ステップＳ９０１で、Ｎ番目の画素を選択して該当画素の信号レベルＳ（ｎ）を取得し、ステップＳ９０２へ進む。
【０１４８】
ステップＳ９０２で、画素アドレス等に基づいて、選択した画素がＧ画素であるかどうかを判定する。Ｇ画素であると判定されたらステップＳ１１０３に進み、それ以外（Ｒ画素またはＢ画素）と判定されたらステップＳ９０４に進む。
【０１４９】
ステップＳ９０４で、画素アドレス等に基づいて、選択した画素がＲ画素であるかＢ画素であるかを判定する。Ｒ画素と判定されたらステップＳ１１０１に進み、Ｂ画素と判定されたらステップＳ１１０２に進む。
【０１５０】
ステップＳ１１０１で、選択したＲ画素の信号レベルＳ（ｎ）が補正判定値Ｒｊ以上かどうかを判定する。Ｒｊ以上であると判定されたらステップＳ９０５へ進み、Ｒｊ未満であると判定されたらステップＳ１１０３へ進む。
【０１５１】
ステップＳ９０５で、色比補正係数として、ｐ＝ｐ_ｒ、ｑ＝ｑ_ｒを代入し、ステップＳ１１０５へ進む。
【０１５２】
ステップＳ１１０２では、選択したＢ画素の信号レベルＳ（ｎ）が、補正判定値Ｂｊ以上かどうかを判定する。Ｂｊ以上であると判定されたらステップＳ９０６へ進み、Ｂｊ未満であると判定されたらステップＳ１１０３へ進む。
【０１５３】
ステップＳ９０６で、色比補正係数として、ｐ＝ｐ_ｂ、ｑ＝ｑ_ｂを代入し、ステップＳ１１０５へ進む。
【０１５４】
Ｇ信号、Ｒｊ未満のＲ信号、及びＢｊ未満のＢ信号に対しては、色比補正を行わないので、ステップＳ９０４では、取得した信号レベルＳ（ｎ）に対して演算処理を加えずに補正後の信号Ｓ’（ｎ）とし、ステップＳ９０８へ進む。
【０１５５】
ステップＳ１１０５で、先のステップで代入された色比補正係数ｐ、ｑを用いて、選択した画素の信号Ｓ（ｎ）を補正して補正結果Ｓ’（ｎ）を得る。その後ステップＳ９０８へ進む。
【０１５６】
ステップＳ９０８で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップＳ９０９へと進む。
【０１５７】
ステップＳ９０９で、Ｎ＝Ｎ+1とし、ステップＳ９０１へ戻って上記処理を続行する。
【０１５８】
以上のように、補正判定値との比較の結果、信号レベルがＲｊよりも高いと判定されたＲ画素及び信号レベルがＢｊよりも高いと判定されたＢ画素については、信号処理回路７において、実施例１で求めた色比補正係数を使用して色比補正を行う。他方、比較の結果、信号レベルがＲｊよりも低いと判定されたＲ画素及び信号レベルがＢｊよりも低いと判定されたＢ画素については、色比補正係数としてｐ＝１、ｑ＝０を代入した上で補正処理の演算を行うか、あるいは色比補正を行わないようにする。
【０１５９】
以上のフローチャートに従って補正の切り替えを行った結果を、図１０の色比補正（判定有）後の結果として、太実線で結んだ黒点で示した。実施例１の色比補正（判定無）後の結果と比較すると、Ｒ、Ｂ信号がオフセットを持たないように変化している。したがって、例えば露出が適−４段のとき、本実施例による補正後のＧとＲとの間隔Ｄ６は、実施例１による補正後のＧとＲとの間隔Ｄ４のように大きく変化することなく、より適正露出時のＧとＲとの間隔Ｄ２に近い結果となっている。また、本実施例による補正後のＧとＢとの間隔Ｄ５は、実施例１による補正後のＧとＢとの間隔Ｄ３のように大きく変化することなく、より適正露出時のＧとＢとの間隔Ｄ１に近い結果となっている。
【０１６０】
尚、適正露光量−２段以上では、色比補正（判定無）後の結果と等しい補正結果が得られている。
【０１６１】
以上、本実施例に示した色比補正判定を用いた補正方法で固体撮像素子から読み出した信号を補正することで、暗部の画像信号の色比を過剰補正によって悪化させることなく、所定の露光量以上の色比を好適に補正し、画像の色再現性を向上させることが可能となる。
【実施例３】
【０１６２】
実施例１では、撮像装置に設定する感度毎に求めた色別の色比補正係数を、信号レベルに因らずに一律に使用した。このとき、高感度設定時においても、適露光付近の色再現性を向上させることができた。
【０１６３】
また、実施例２は、極端に暗い画像を撮影する場合、実施例１の方法で求めた色比補正係数をそのまま用いると、補正過剰となってかえって色比のバランスを崩してしまうことを補償する処理を追加した。これにより、画像の暗部の色比が、明部に対して異なってしまうことを是正した。
【０１６４】
ところで、人間の視細胞の特性として、暗部の色味は明部に対して視認しにくい。したがって、画像についても、暗部では色成分を減衰させ輝度成分の情報は残すといったような処理を行えば、見た目に近い画像を生成することができる。したがって、本実施例では、適正露光量付近において色比を好適に補正しながら（第１の実施例）、暗部では実施例２で追加された処理を変形して、輝度成分を残しつつ色成分を減衰させるための補正を行なう。
【０１６５】
本実施例においも、適正露光量付近の補正で用いる補正係数ｐ、ｑの求め方は、実施例１に述べたものと変わらないので、説明を省略する。
【０１６６】
本実施例は、実施例２と同様に、暗部を識別するためのＲ、Ｂ画素各々の出力信号のレベルを判定する出力信号判定手段を備え、その判定結果に応じて実施例２の補正方法の切り替えを変形した補正方法の切り替え処理を行う。
【０１６７】
即ち、本実施例での補正方法の切り替え処理は、次の２点に特徴がある。一つは、出力の判定には、選択画素の周辺に配された別色の画素の信号を用いることである。他の一つは、判定の結果、色比補正を行わないと判定された画素については、さらに、判定の内容に応じて該当画素の信号をそのまま用いるか、該当画素の信号を所定レベルの信号に置き換えるかを選択することである。
【０１６８】
以下、図１２、図１３を参照して、本発明の第３の実施例に係わる色比補正処理について説明する。
【０１６９】
図１２は、図１０と同様に、実施例１において例示した固体撮像素子の高感度設定時の入出力特性を、更に低い露出範囲までプロットしたグラフである。
【０１７０】
色比補正前のＲ信号、Ｂ信号を図１２に細実線で結んだ白点で示した。また、実施例１に述べた色比補正を適用した結果を、太破線で結んだ黒点で示した。
【０１７１】
色比補正前のＲ信号、Ｂ信号に対し、実施例１に述べた色比補正を適用することによって、所定以上の露出、特に、色比補正係数の導出に用いた条件以上の露出（ここでは適−２段以上）では色比が好適に補正される。
【０１７２】
しかしながら、所定未満の露出、特に、色比補正係数の導出に用いた条件に満たない露出（ここでは適−２段未満）においては、色比補正の結果補正過剰となり、露出が低くなるに従い色比のバランスが崩れていっている。
【０１７３】
このような信号に対し、適正付近の露光量において色比を好適に補正しながら、暗部では輝度成分を残しつつ色成分を減衰させるために、図１３に示すフローチャートに従った色比補正処理を行えばよい。
【０１７４】
以下、図１３に示すフローチャートに従って、本実施例に係わる色比補正処理を説明する。なお、同図において、図９および図１０（Ａ），１０（Ｂ）と同じステップには同じ符号を付して示す。
【０１７５】
ステップＳ９０１では、Ｎ番目の画素を選択して該当画素の信号レベルＳ（ｎ）を取得し、ステップＳ１３０１へ進む。
【０１７６】
ステップＳ１３０１で、Ｎ番目の画素の周辺に配された、第１の周辺画素群の信号レベルＳ（ｎ）_１を取得し、ステップＳ１３０２へ進む。第１の周辺画素群とは、着目画素とは異なる、単一色の画素からなる画素群である。例えば、図１４に示すように、Ｒ、Ｇ、Ｂの各色の画素がベイヤ配列された固体撮像素子においては、着目画素に対して、上下左右方向に隣接した位置関係にある４つの画素を選択するものとする。また、選択した複数の画素の信号を加算平均し、第１の周辺画素群の信号レベルＳ（ｎ）_１とする。
【０１７７】
ステップＳ１３０２で、Ｎ番目の画素の周辺に配された第２の周辺画素群の信号レベルＳ（ｎ）_２を取得し、ステップＳ２０４へ進む。第２の周辺画素群とは、着目画素及び第１の画素群とは異なる単一色の画素からなる画素群である。例えば、図１４に示すように、Ｒ、Ｇ、Ｂの各色の画素がベイヤ配列された固体撮像素子においては、着目画素に対して、ななめ方向に隣接した４つの画素を選択するものとする。また、選択した複数の画素の信号を加算平均し、第２の周辺画素群の信号レベルＳ（ｎ）_２とする。
【０１７８】
ステップＳ９０２で、画素アドレス等に基づいて、選択した画素がＧ画素であるかどうかを判定する。Ｇ画素であると判定されたら色比補正は不要であると判断し、ステップＳ１１０３に進む。それ以外（Ｒ画素またはＢ画素）と判定されたらステップＳ１３０３に進む。
【０１７９】
ステップＳ１３０３で、Ｎ番目の画素の信号レベルＳ（ｎ）が第１の周辺画素群の信号レベルＳ（ｎ）_１以上であるかどうかを判定する。ここで、ステップＳ９０２の判定により、Ｓ（ｎ）はＲまたはＢの信号であることがわかっているので、図１４に示すように第１の周辺画素群は必ずＧ画素となって、Ｓ（ｎ）_１はＮ番目の画素近傍のＧ信号レベルを表すこととなる。Ｓ（ｎ）がＳ（ｎ）_１以上である、すなわち、着目画素の信号が近傍のＧ信号以上であると判定されたら、着目画素は近傍のＧ信号に対して十分な割合の出力を持っているものとし、色比補正は不要であると判断してステップＳ１１０３へ進む。Ｓ（ｎ）がＳ（ｎ）_１未満であると判定されたら、ステップＳ９０４へ進む。
【０１８０】
ステップＳ９０４で、画素アドレス等に基づいて、Ｎ番目の画素がＲ画素であるかＢ画素であるかを判定する。Ｒ画素と判定されたらステップＳ１３０４に進み、Ｂ画素と判定されたらステップＳ１３０５に進む。
【０１８１】
ステップＳ１３０４では、Ｎ番目の画素がＲ画素であるとの判定に従い、Ｎ番目の画素に対する色比補正係数として、ｐ＝ｐ_ｒ、ｑ＝ｑ_ｒを代入する。また、第２の周辺画素群はＢ画素であるから、第２の周辺画素群に対する色比補正係数として、ｐ２＝ｐ_ｂ、ｑ２＝ｑ_ｂを代入する。その後、ステップＳ９０７へ進む。
【０１８２】
ステップＳ１３０５では、Ｎ番目の画素がＢ画素との判定に従い、Ｎ番目の画素に対する色比補正係数として、ｐ＝ｐ_ｂ、ｑ＝ｑ_ｂを代入する。また、残る第２の周辺画素群はＲ画素であるから、第２の周辺画素群に対する色比補正係数として、ｐ２＝ｐ_ｒ、ｑ２＝ｑ_ｒを代入する。その後、ステップＳ９０７へ進む。
【０１８３】
ステップＳ９０７で、先のステップで代入された色比補正係数ｐ、ｑを用いて、Ｎ番目の画素の信号Ｓ（ｎ）を補正して補正結果Ｓ′（ｎ）を得る。その後ステップＳ１３０６へ進む。
【０１８４】
ステップＳ１３０６で、Ｎ番目の画素信号の補正結果Ｓ′（ｎ）が、近傍のＧ画素信号であるＳ（ｎ）_１以上かどうかを判定する。Ｓ（ｎ）_１以上であると判定されたら、ステップＳ１３１０へ進み、Ｓ（ｎ）_１未満であると判定されたら、ステップＳ１３０７へ進む。
【０１８５】
ステップＳ１３０７で、第２の周辺画素群の信号Ｓ（ｎ）_２が、第１の周辺画素群の信号レベルＳ（ｎ）_１以上であるかどうかを判定する。Ｓ（ｎ）_１は、Ｎ番目の画素近傍のＧ信号レベルである。Ｓ（ｎ）_２がＳ（ｎ）_１以上である、すなわち、第２の周辺画素群の信号が、近傍のＧ信号以上であると判定されたら、色比補正が補正過剰であると判定し、ステップＳ１３１０へ進む。Ｓ（ｎ）がＳ（ｎ）_１未満であると判定されたら、ステップＳ１３０８へ進む。
【０１８６】
ステップＳ１３０８で、先のステップで代入された色比補正係数ｐ_２、ｑ_２を用いて第２の周辺画素群の信号Ｓ（ｎ）_２を補正し、補正結果Ｓ′（ｎ）_２を得る。その後ステップＳ１３０９へ進む。
【０１８７】
ステップＳ１３０９で、第２の周辺画素群の画素信号の補正結果Ｓ′（ｎ）_２が、近傍のＧ画素信号であるＳ（ｎ）_１以上かどうかを判定する。Ｓ（ｎ）_１以上であると判定されたら色比補正が補正過剰であると判定し、ステップＳ１３１０へ進む。Ｓ（ｎ）_１未満であると判定されたら色比補正が適切であると判定し、ステップＳ１３１１へ進む。
【０１８８】
ステップＳ１３１１では、Ｎ番目の画素の信号を色比補正した信号Ｓ′（ｎ）を補正後の信号として出力し、ステップＳ９０８へ進む。
【０１８９】
ステップＳ１３１０では、Ｎ番目の画素の信号を色比補正した信号Ｓ′（ｎ）を、所定レベル、ここでは黒レベルに相当する０カウントに置き換える。置き換えられた信号を補正後の信号として出力し、ステップＳ９０８へ進む。
【０１９０】
ステップＳ１３１０では、色比補正していないＮ番目の画素の信号Ｓ（ｎ）をそのまま出力し、ステップＳ９０８へ進む。
【０１９１】
ステップＳ９０８で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップＳ９０９へと進む。
【０１９２】
ステップＳ９０９で、Ｎ＝Ｎ+1とし、ステップＳ９０１へ戻って上記の処理を続行する。
【０１９３】
以上のように、近傍のＧ信号との比較の結果、色比補正前の信号レベルがＧ信号よりも高いと判定されたＲ画素及びＢ画素については、Ｇ画素と同等以上の信号レベルを持っているため色比補正を不要と判定し、色比補正を行わない。
【０１９４】
また、Ｇ画素を除く着目画素及び着目画素近傍の別色の画素が色比補正前の双方の信号が近傍のＧ信号未満であって、かつ、双方を色比補正すると一方でも近傍のＧ信号を超えるときには、色比補正が過剰であると判定する。そして、この時は、着目画素の出力を所定レベル（例えば、黒レベル相当の信号レベル）に置き換えるようにする。それ以外の場合は、実施例１で求めた色比補正係数を使用して、色比補正を行うようにする。
【０１９５】
以上のフローチャートに従って補正の切り替えを行った結果を、図１３の色比補正（判定有）後の結果として、図１２に太実線で結んだ黒点で示した。実施例１の色比補正（判定無）後の結果と比較すると、Ｂ信号がＧ信号を超えようとするところで、Ｂ信号とＲ信号が黒レベルを表す０カウントに置き換わっている。一方、露出が低い場合でもＧ信号はそのまま保持されている。即ち、明部では実施例１相当の色比補正が適用され、一方、暗部では色成分を減衰させ、輝度成分の情報は残す、といった処理となっている。これにより、明部の色比が好適に補正され、かつ、暗部は色付きがなく輝度成分のみ感じられる、人間の見た目に近い画像を生成することが可能となる。
【０１９６】
また、上述した実施形態において図９、１１Ａ、１１Ｂおよび１３示した各処理は、各処理の機能を実現する為のプログラムをメモリ１４から読み出してシステム制御部１３もＣＰＵが実行することによりその機能を実現させるものである。
【０１９７】
尚、上述した構成に限定されるものではなく、図９、１１Ａ、１１Ｂおよび１３に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述のメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性メモリ、またはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。
【０１９８】
また、図９、１１Ａ、１１Ｂおよび１３に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【０１９９】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」には、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のような記録媒体も含むものとする。
【０２００】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０２０１】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０２０２】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【０２０３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0005917160.tif 000002
【図２】
0005917160.tif 000003
【図３】
0005917160.tif 000004
【図４】
0005917160.tif 000005
【図５】
0005917160.tif 000006
【図６（Ａ）】
0005917160.tif 000007
【図６（Ｂ）】
0005917160.tif 000008
【図６（Ｃ）】
0005917160.tif 000009
【図７（Ａ）】
0005917160.tif 000010
【図７（Ｂ）】
0005917160.tif 000011
【図７（Ｃ）】
0005917160.tif 000012
【図８】
0005917160.tif 000013
【図９】
0005917160.tif 000014
【図１０】
0005917160.tif 000015
【図１１（Ａ）】
0005917160.tif 000016
【図１１（Ｂ）】
0005917160.tif 000017
【図１２】
0005917160.tif 000018
【図１３】
0005917160.tif 000019
【図１４】
0005917160.tif 000020