(57)【要約】【課題】信号レベルの低い色のＳ／Ｎ劣化の少ないホワイトバランス調整を実現できる撮像装置を得る。【解決手段】電荷蓄積期間設定部３２ａは、時点Ｔ２を電荷蓄積期間として設定し、補正量算出部３２ｂは、時点Ｔ２における、Ｇ色の平均出力信号レベルｇ２とＲ色の平均出力信号レベルｒ２とに基づいて、Ｒ色の信号レベルの補正量を算出する。従って、ＡＷＢ部８における電気的なゲイン調整としては、Ｒ色の信号レベルに対してｇ２／ｒ２倍のゲイン調整を行えば足りる。時点Ｔ１においてＲ色の信号レベルを補正しようとする場合は、Ｒ色の信号レベルに対してｇ１／ｒ１倍のゲイン調整を行う必要がある。ｇ２−ｒ２の差分はｇ１−ｒ１の差分よりも小さいため、ｇ２／ｒ２はｇ１／ｒ１よりも小さくなる。従って、ＡＷＢ部８における電気的なゲイン調整量を少なくすることができる。【選択図】図７
2006060462.tif 000002
【特許請求の範囲】
【請求項１】
感度特性及び飽和特性が互いに異なる複数の受光素子を有する撮像素子と、
前記撮像素子の出力信号レベルを各色ごとに積算する積算手段と、
前記積算手段による積算結果に基づいて、前記撮像素子の電荷蓄積期間を設定する電荷蓄積期間設定手段と、
前記電荷蓄積期間内に得られた前記撮像素子の出力信号レベルの各色ごとの積算値に基づいて、ホワイトバランス調整を実施するホワイトバランス調整手段と
を備える撮像装置。
【請求項２】
前記複数の受光素子は、
高感度かつ飽和光量が小さい第１の受光素子と、
低感度かつ飽和光量が大きい第２の受光素子と
を含む、請求項１に記載の撮像装置。
【請求項３】
前記撮像素子の出力に関する入射光量対出力信号レベルの非線形特性を線形特性に補正する補正手段をさらに備える、請求項１又は２に記載の撮像装置。
【請求項４】
前記電荷蓄積期間設定手段は、前記積算手段によって積算された前記出力信号レベルが最も低い色信号に基づいて前記電荷蓄積期間を設定する、請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
前記電荷蓄積期間設定手段は、各色ごとに異なる前記電荷蓄積期間を設定する、請求項１〜３のいずれか一つに記載の撮像装置。
【請求項６】
前記電荷蓄積期間設定手段は、第１の色に対して第１の電荷蓄積期間を設定し、第２の色に対して第２の電荷蓄積期間を設定し、
前記第１の電荷蓄積期間による撮像によって取得された第１の画像と、前記第２の電荷蓄積期間による撮像によって取得された第２の画像とを記憶する画像記憶部と、
前記画像記憶部に記憶されている前記第１及び第２の画像の中から、前記第１の色に対応する第１の画像データ及び前記第２の色に対応する第２の画像データをそれぞれ抽出する画像データ抽出部と、
前記画像データ抽出部によって抽出された前記第１及び第２の画像データを合成する画像データ合成部と
をさらに備える、請求項１〜３のいずれか一つに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、ホワイトバランスを調整する際に信号レベルが低い色のＳ／Ｎが劣化する問題を解決して、画質の品位を向上し得る撮像装置に関するものである。
【背景技術】
【０００２】
露光時間等が異なる複数の画像を和が１の複数の係数で重み付け加算することにより、ダイナミックレンジの拡大と、低輝度側でのＳ／Ｎの劣化の防止とを行う従来の撮像装置が、下記特許文献１に開示されている。
【０００３】
また、電荷読み出しパルスの印加タイミングを各色ごとに異ならせることにより、光電変換素子の電荷蓄積期間を各色ごとに個別に制御し、それによってホワイトバランスを調整する従来の撮像装置が、下記特許文献２に開示されている。
【０００４】
【特許文献１】特開平１１−１９１８６０号公報（図７）
【特許文献２】特開２０００−３５０２２２号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示された従来の撮像装置は、電荷蓄積期間をフィールドごとに異ならせ、各色ごとに画像に重み付けをした後に加算（フレーム加算）するため、特に動きのある画像の場合に画像がぼけるという問題がある。
【０００６】
また、上記特許文献２に開示された従来の撮像装置は、電荷読み出しパルスの印加タイミングを異ならせることによって電荷蓄積期間を制御しているため、電荷読み出しパルスの印加タイミングを各色ごとに個別に制御しなければならないという問題がある。
【０００７】
しかも、上記特許文献２に開示された従来の撮像装置では、電荷蓄積期間の終了時点を各色ごとに精密に制御する必要があるため、電荷読み出しパルスの印加タイミングを制御するための処理が複雑になるという問題もある。
【０００８】
本発明はかかる問題を解決するために成されたものであり、電荷蓄積期間を各色ごとに調整することなく、信号レベルの低い色のＳ／Ｎ劣化の少ないホワイトバランス調整を実現できる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、感度特性及び飽和特性が互いに異なる複数の受光素子を有する撮像素子と、前記撮像素子の出力信号レベルを各色ごとに積算する積算手段と、前記積算手段による積算結果に基づいて、前記撮像素子の電荷蓄積期間を設定する電荷蓄積期間設定手段と、前記電荷蓄積期間内に得られた前記撮像素子の出力信号レベルの各色ごとの積算値に基づいて、ホワイトバランス調整を実施するホワイトバランス調整手段とを備える。
【発明の効果】
【００１０】
本発明に係る撮像装置によれば、電荷蓄積期間を各色ごとに調整することなく、信号レベルの低い色のＳ／Ｎ劣化の少ないホワイトバランス調整を実現できる撮像装置を得ることができる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、本発明の実施の形態１に係る単板式撮像装置の全体構成を示すブロック図である。図１に示すように本実施の形態１に係る撮像装置は、レンズ１、絞り２、撮像素子３、ＣＤＳ（Co-related Double Sampling：相関二重サンプリング）部４、Ａ／Ｄ変換部５、リニア補正部６、ＡＷＢ（Auto White Balance）部８、補間部９、画質処理部１０、積算部１３、及びＣＰＵ１５を備えて構成されている。ＣＰＵ１５は、積算値判定部３２、電荷蓄積期間制御部３４、ＡＷＢ制御部３３、及び制御信号生成部１００を有している。図１では、積算値判定部３２、電荷蓄積期間制御部３４、及びＡＷＢ制御部３３が、いずれもＣＰＵ１５内においてソフトウェアにて実現されている場合の例を示したが、別途ハードウェアとして構成することも可能である。
【００１２】
レンズ１は、被写体から送られてくる光信号を集光する。絞り２は、レンズ１から入射される光信号の量（以下「入射光量」と称す）を制御する。撮像素子３は、絞り２を通して入射された光信号を光電変換し、光信号に応じた電気信号を出力する。ＣＤＳ部４は、撮像素子３から入力された信号に対して相関二重サンプリング法によるノイズ低減処理を実施し、その処理後の信号を出力する。Ａ／Ｄ変換部５は、ＣＤＳ部４から入力されたアナログ信号をディジタル信号に変換する。リニア補正部６は、撮像素子３の非直線特性を補正するものであり、Ａ／Ｄ変換部５の出力を補正し、入射光量に比例したＲＡＷデータ信号１２として出力する。ＡＷＢ部８は、ＣＰＵ１５から入力された制御信号２４に基づき、リニア補正部６から入力されたＲＡＷデータ信号１２に対して、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のバランスを調整（以下「ホワイトバランス調整」と称す）して、その調整後の信号を出力する。
【００１３】
補間部９は、ＡＷＢ部８から入力された信号に対して同時化処理を実施し、その処理後の信号を出力する。画質処理部１０は、補間部９から入力された信号に対して、ノイズ低減、輪郭強調、及びガンマ調整等の画質処理を実施し、その処理後の信号を出力する。
【００１４】
積算部１３は、制御信号生成部１００から送られてくる積算エリア情報２３に基づいて積算エリアごとに積算を行い、積算結果１４を出力する。
【００１５】
制御信号生成部１００は、本実施の形態１に係る単板式撮像装置のタイミング制御を司る。例えば、撮像素子３の電荷を読み出すタイミングと同期をとりながら、電荷蓄積期間制御部３４、積算値判定部３２、及びＡＷＢ制御部３３のタイミング制御を行う。
【００１６】
図１に示した例ではＣＰＵ１５内に制御信号生成部１００が構成されているが、ＣＰＵ１５とは別個のハードウェアにて構成することも可能である。これにより、ＣＰＵ１５においてタスク管理の軽減や処理の高速化等の利点が得られる。後述の実施の形態２，３についても同様である。
【００１７】
図２は、撮像素子３の構成の一例を示す平面図である。ベイヤー配列された複数の色フィルタ４０のそれぞれに、受光部４１が配設されている。色フィルタ４０の配列は、ベイヤー配列のほかにハニカム配列等であってもよい。色フィルタ４０が規則的に配設されているため、撮像素子３から時系列的にＲ，Ｇ，Ｂの各色の色信号が一定の規則に従って出力される。そのため、図１に示したＲＡＷデータ信号１２からＲ，Ｇ，Ｂの各色の色信号を取り出すことができる。
【００１８】
図３は、撮像素子３が有する受光部４１の構成例を示す平面図である。受光部４１は、感度特性及び飽和特性が互いに異なる２種類の受光素子５０，５１が一組として配置された構成を有している。受光素子５０は高感度であるが飽和光量が小さい受光素子であり、受光素子５１は低感度であるが飽和光量が大きい受光素子である。ここで、２種類の受光素子５０，５１を１画素内に並べて配置する構成のほかに、受光素子５０が配置された画素と受光素子５１が配置された画素とを別画素として、同一ライン、同一行、千鳥パターン等、規則的に配設する構成とすることも可能である。
【００１９】
図４は、受光素子５０，５１の感度特性を示すグラフである。グラフの横軸は入射光量Ｌであり、縦軸は出力信号レベルである。高感度の受光素子５０は、入射光量がＬ１までは入射光量に比例して出力信号レベルが増加し、入射光量がＬ１以上になると出力信号レベルがＳ１（Ｌ１）でクリップする感度特性Ｓ１（Ｌ）を有している。
【００２０】
また、低感度の受光素子５１は、入射光量がＬ２（＞Ｌ１）になるまでは入射光量に比例して出力信号レベルが増加し、入射光量がＬ２以上になると出力信号レベルがＳ２（Ｌ２）でクリップする感度特性Ｓ２（Ｌ）を有している。受光素子５１の感度特性Ｓ２（Ｌ）の傾きは、受光素子５０の感度特性Ｓ１（Ｌ）の傾きよりも小さい。また、受光素子５１の感度特性Ｓ２（Ｌ）に関して、入射光量がＬ１の時の出力信号レベルは、Ｓ２（Ｌ１）（＜Ｓ１（Ｌ１））である。
【００２１】
感度特性Ｍ（Ｌ）は、受光素子５０の感度特性Ｓ１（Ｌ）と受光素子５１の感度特性Ｓ２（Ｌ）とを加算したものである。つまり、
Ｍ（Ｌ）＝Ｓ１（Ｌ）＋Ｓ２（Ｌ）
である。
【００２２】
出力信号レベルＭ（Ｌ１）は、入射光量がＬ１の時の受光素子５０，５１の各出力信号レベルの加算結果である。入射光量がＬ１の時には受光素子５０のみが飽和レベルに至っており、
Ｍ（Ｌ１）＝Ｓ１（Ｌ１）＋Ｓ２（Ｌ１）
となる。
【００２３】
出力信号レベルＭ（Ｌ２）は、入射光量がＬ２の時の受光素子５０，５１の各出力信号レベルの加算結果である。入射光量がＬ２の時には受光素子５０，５１がともに飽和レベルに至っており、
Ｍ（Ｌ２）＝Ｓ１（Ｌ２）＋Ｓ２（Ｌ２）＝Ｓ１（Ｌ１）＋Ｓ２（Ｌ２）
となる。
【００２４】
図１に示したリニア補正部６は、感度特性Ｍ（Ｌ）の折れ線状の特性（非線形特性）が、図４に一点鎖線で示した直線状の特性（線形特性）となるように、補正係数ｋを用いて補正（以下「リニア補正」と称する）を行う。つまり、リニア補正後の感度特性Ｈ（Ｌ）は、
Ｈ（Ｌ）＝ＳＩ（Ｌ）＋ｋＳ２（Ｌ）
である。
【００２５】
補正係数ｋの値は、入射光量がＬ１の時の出力信号レベルＳ１（Ｌ１），Ｓ２（Ｌ１）によって算出することができる。図４に示した直線状の特性Ｈ（Ｌ）を得る場合は、ｋ＝Ｓ１（Ｌ１）／Ｓ２（Ｌ１）となる。この場合、図４に示した出力信号レベルＨ（Ｌ２）は、
Ｈ（Ｌ２）＝Ｓ１（Ｌ１）＋｛Ｓ１（Ｌ１）／Ｓ２（Ｌ１）｝×Ｓ２（Ｌ２）
となる。
【００２６】
また、リニア補正を行わず、感度特性Ｓ１（Ｌ）と感度特性Ｓ２（Ｌ）とを単純に加算する場合には、ｋ＝１となる。補正係数ｋの値は、入射光量、撮像状態、又は被写体の状態等に応じて変動するため、撮像条件に応じて最適に、出力信号レベルのダイナミックレンジを改善（拡大）することが可能となる。
【００２７】
図５は、図１に示した積算部１３、積算値判定部３２、ＡＷＢ制御部３３、及び電荷蓄積期間制御部３４の構成を具体的に示すブロック図である。図１，５を参照して、積算部１３は、積算部１３ａ，１３ｂを有している。また、積算値判定部３２は、電荷蓄積期間設定部３２ａと補正量算出部３２ｂとを有している。
【００２８】
図５を参照して、積算部１３ａは、色抽出部３０ａと、Ｒ，Ｇ，Ｂの各色ごとに設けられた合計３個の信号レベル積算部３１ａとを有している。色抽出部３０ａは、図１に示したリニア補正部６から入力したＲＡＷデータ信号１２を、Ｒ，Ｇ，Ｂの各色ごとに分離する。各色ごとに分離されたＲＡＷデータ信号１２は各色の信号レベル積算部３１ａにそれぞれ入力され、各信号レベル積算部３１ａは、一定期間（例えば１フレーム期間）の間、対応する色の信号レベルをそれぞれ積算する。
【００２９】
ここで、各信号レベル積算部３１ａには、図１に示したＣＰＵ１５から、積算エリア情報２３ａがそれぞれ入力されている。積算エリア情報２３ａは、画面全体の中で信号レベルの積算処理を実施する対象となる一部のエリアを指定するための情報である。一例として、１画面を縦横にそれぞれ４分割した場合に得られる合計１６個のエリアの中の中央部４個のエリアが、積算エリアとして指定される。各信号レベル積算部３１ａは、積算エリア情報２３ａによって指定された積算エリアを対象として、上記の信号レベルの積算処理をそれぞれ実施する。
【００３０】
各色ごとの信号レベルの積算値に関するデータ１４ａは、電荷蓄積期間設定部３２ａに入力される。電荷蓄積期間設定部３２ａは、データ１４ａに基づいて、各色の信号レベルの積算値を比較することにより、撮像状態の被写体の信号レベルのダイナミックレンジを確保できるように、図１に示した撮像素子３の電荷蓄積期間（後述する図７に示す時点Ｔ２）を設定する。電荷蓄積期間設定部３２ａによる電荷蓄積期間の設定手法については、後に詳述する。
【００３１】
電荷蓄積期間設定部３２ａによって設定された電荷蓄積期間に関するデータ１６ａは、電荷蓄積期間制御部３４に入力される。電荷蓄積期間制御部３４は、撮像素子３の電荷蓄積期間を制御すべく、データ１６ａに基づいて、撮像素子３の電子シャッター（図示しない）を制御するための制御信号２１を生成して出力する。図１に示したように、制御信号２１は撮像素子３に入力される。
【００３２】
なお、図１，５を参照して、電荷蓄積期間制御部３４は、データ１６ａに基づいて、例えば絞り２の開閉量を制御するための制御信号２０を併せて生成してもよい。
【００３３】
図５を参照して、積算部１３ｂは、色抽出部３０ｂと、Ｒ，Ｇ，Ｂの各色ごとに設けられた合計３個の信号レベル積算部３１ｂとを有している。色抽出部３０ｂは、電荷蓄積期間制御部３４によって電荷蓄積期間が制御されたＲＡＷデータ信号１２を、Ｒ，Ｇ，Ｂの各色ごとに分離する。各色ごとに分離されたＲＡＷデータ信号１２は、対応する色の信号レベル積算部３１ｂにそれぞれ入力され、各信号レベル積算部３１ｂは、後述する図７に示すＴ２の電荷蓄積期間で得られたＲＡＷデータ信号１２を、ＣＰＵ１５から出力される積算エリア情報２３ｂに基づいて積算し、そのエリアにおける平均出力信号、すなわち入射光量を算出する。
【００３４】
各色ごとの信号レベルの積算値に関するデータ１４ｂは、補正量算出部３２ｂに入力される。補正量算出部３２ｂは、データ１４ｂに基づいて、各色の信号レベルの積算値を比較することにより、ホワイトバランスを適切に調整するための信号レベルの補正量を算出する。補正量算出部３２ｂによる信号レベルの補正量の算出手法については、後に詳述する。
【００３５】
補正量算出部３２ｂによって算出された信号レベルの補正量に関するデータ１６ｂは、ＡＷＢ制御部３３に入力される。ＡＷＢ制御部３３は、データ１６ｂに基づいて、図１に示したＡＷＢ部８を制御するための制御信号２４を生成して出力する。図１に示したように、制御信号２４はＡＷＢ部８に入力される。
【００３６】
図６は、図１に示した積算部１３の他の構成例を示すブロック図である。図５，６を参照して、積算部１３ｃは、互いに同じ機能を有する積算部１３ａと積算部１３ｂとを共通化（１個に統一）したものである。積算部１３ｃは、色抽出部３０ｃと、Ｒ，Ｇ，Ｂの各色ごとに設けられた合計３個の信号レベル積算部３１ｃとを有している。色抽出部３０ｃは、色抽出部３０ａと色抽出部３０ｂとを共通化したものであり、信号レベル積算部３１ｃは、信号レベル積算部３１ａと信号レベル積算部３１ｂとを共通化したものである。各信号レベル積算部３１ｃには、図１に示したＣＰＵ１５から積算エリア情報２３ｃがそれぞれ入力される。積算エリア情報２３ｃは、電荷蓄積期間の設定処理においては積算エリア情報２３ａに相当し、信号レベルの補正量の算出処理においては積算エリア情報２３ｂに相当する。
【００３７】
図６に示すように互いに同じ機能を有する積算部１３ａと積算部１３ｂとを共通化することにより、図５に示したように積算部１３ａと積算部１３ｂとを個別に設ける場合と比較すると、装置構成の簡略化及びコストの低減を図ることができる。
【００３８】
次に、図５に示した電荷蓄積期間設定部３２ａによる電荷蓄積期間の設定手法、及び補正量算出部３２ｂによる信号レベルの補正量の算出手法について説明する。以下では、色温度が高い状態、即ち、Ｇ，Ｂの各色に対応する撮像素子４０の出力信号レベルに比べて、Ｒ色に対応する撮像素子４０の出力信号レベルが低い状態を仮定して説明する。但し、この仮定は一例であり、被写体の撮像状態によっては各色の撮像素子４０の出力信号レベルの大小関係がこの仮定と異なる場合もあるが、その場合であっても本発明を適用することは可能である。
【００３９】
図７は、感度特性が図４のグラフで与えられる２個の受光素子５０，５１を有する撮像素子４１（図３参照）を用いた場合の、電荷蓄積期間と出力信号レベルとの関係を示すグラフである。グラフの横軸は電荷蓄積期間であり、縦軸は、撮像素子４１からの出力信号レベルの積算値である。電荷蓄積期間Ｔ１における各色の平均出力信号レベルを、Ｒ色：ｒ１、Ｇ色：ｇ１、Ｂ色：ｂ１とした場合、平均出力信号レベルは、色温度が高い状態（青空、曇天、蛍光灯等）ではｇ１，ｂ１＞＞ｒ１となり、色温度が低い状態（白熱灯、ハロゲン、夕暮れ等）ではｒ１＞＞ｂ１となる。このように、色温度に応じて各色の平均出力信号レベルは異なる。
【００４０】
従来のシステムにおいては、平均出力信号レベルが高いＧ色信号に基づいて電荷蓄積期間を設定することにより、入射光量をＬ１に調整していた（図７のｇ１）。このため、平均出力信号レベルが低いＲ色については入射光量が少ないため（図７のｒ１）、ホワイトバランス調整がなされる場合に、平均出力信号レベルが高い信号ｇ１，ｂ１に比べて量子化誤差が大きくなり、低階調における色Ｓ／Ｎの劣化や粒状性悪化等の弊害が発生する。
【００４１】
そこで、平均出力信号レベルの低いＲ色信号の入射光量がＬ１を満たすように、電荷蓄積期間をＴ２に調整する。この場合、平均出力信号レベルが高い色信号ｇ２，ｂ２については、受光素子５１の感度特性によってダイナミックレンジの改善が行われており、飽和することなく出力信号を取り出すことができる。そこで、リニア補正部６において、受光素子５０と受光素子５１との感度特性の違いを考慮して出力信号レベルの補正を行うことにより、低階調における色Ｓ／Ｎの劣化や粒状性悪化等の弊害の発生を回避できる。
【００４２】
また、高感度の受光素子５０の電荷蓄積期間と低感度の受光素子５１の電荷蓄積期間とが同一に設定されるため、撮像画面の同時性が保たれる特徴がある。同時性の効果として、高感度の受光素子５０と低感度の受光素子５１との撮像データをぶれ補正して合成する必要がなく、撮像装置のシステムの低コスト化を図ることができる。
【００４３】
これまで、平均出力信号レベルを用いる構成について説明したが、出力信号レベルの最大値をＣＰＵ１５にて検出することにより、図４に示した入射光量Ｌ２の出力信号レベルＭ（Ｌ２）の受光素子５１の飽和レベルを検出することができ、受光素子５１が飽和レベルでクリップしない状態の電荷蓄積期間に微調整（電荷蓄積期間Ｔ２をＴ１の方向へ短縮）することが可能となる。これにより、ダイナミックレンジを確保した上で、単色の飽和に伴うホワイトバランスのずれ抑制や飽和領域の色づきを補正することが可能となる。
【００４４】
図８は、電子シャッターの動作と電荷蓄積期間との関係を示したタイミングチャートである。図１，８を参照して、電荷排出期間Ｔ１ｓｈにおいては、電子シャッター駆動パルスがＣＰＵ１５から撮像素子３に一定間隔で間欠的に印加される。その結果、電子シャッターが間欠的に駆動して、撮像素子３が有する受光素子５０，５１の蓄積電荷が基板に排出される。つまり、電荷排出期間Ｔ１ｓｈにおいては、受光素子５０，５１による電荷蓄積動作は行われない。
【００４５】
一方、電荷蓄積期間Ｔ１ｅｘｐにおいては、撮像素子３には電子シャッター駆動パルスは印加されず、電子シャッターは駆動されない。その結果、受光素子５０，５１は電荷蓄積動作を行う。
【００４６】
フレーム期間ＦＲ１は一定であるため、電荷蓄積期間設定部３２ａによって設定された電荷蓄積期間を確保するためには、電荷排出期間Ｔ１ｓｈの長さを調整する必要がある。そのため、設定された電荷蓄積期間の長さに応じて、ＣＰＵ１５から撮像素子３に印加する電子シャッター駆動パルスの個数を増減する。
【００４７】
図７を参照して、次に、補正量算出部３２ｂは、電荷蓄積動作を開始（時点ゼロ）した後、電荷蓄積期間が経過した時点（時点Ｔ２）における、Ｇ色の平均出力信号レベルｇ２とＲ色の平均出力信号レベルｒ２とに基づいて、Ｒ色の信号レベルの補正量を算出する。具体的には、ｇ２−ｒ２の差分を補正すべく、ｇ２／ｒ２なる補正量を算出する。その結果、図１に示したＡＷＢ部８において、Ｒ色の信号レベルに対してｇ２／ｒ２倍のゲイン調整がなされ、ホワイトバランスが適切に調整される。
【００４８】
なお、図７に示した例では、時点Ｔ２におけるＧ色の平均出力信号レベルｇ２とＢ色の平均出力信号レベルｂ２とがほぼ等しいため、Ｂ色についての補正は不要である。しかしながら、平均出力信号レベルｂ２が平均出力信号レベルｇ２よりも無視できない程度に小さい場合には、上記のＲ色に対する補正と同様の手法によって、Ｂ色の出力信号レベルを補正することも可能である。
【００４９】
このように本実施の形態１に係る撮像装置によれば、電荷蓄積期間設定部３２ａは、図７に示した時点Ｔ２を電荷蓄積期間として設定し、補正量算出部３２ｂは、時点Ｔ２における、Ｇ色の平均出力信号レベルｇ２とＲ色の平均出力信号レベルｒ２とに基づいて、Ｒ色の信号レベルの補正量を算出する。従って、図１に示したＡＷＢ部８における電気的なゲイン調整としては、Ｒ色の信号レベルに対してｇ２／ｒ２倍のゲイン調整を行えば足りる。ところで、図７を参照して、従来の撮像装置のように時点Ｔ１においてＲ色の信号レベルを補正しようとする場合は、Ｒ色の信号レベルに対してｇ１／ｒ１倍のゲイン調整を行う必要がある。図７から明らかなように、ｇ２−ｒ２の差分はｇ１−ｒ１の差分よりも小さいため、ｇ２／ｒ２はｇ１／ｒ１よりも小さくなる。従って、本実施の形態１に係る撮像装置によれば、時点Ｔ１においてＲ色の信号レベルを補正する場合と比較すると、ＡＷＢ部８における電気的なゲイン調整量を少なくすることができ、その結果、ゲイン調整に起因するＲ色のＳ／Ｎの劣化を抑制することができる。
【００５０】
実施の形態２．
図９は、本発明の実施の形態２に係る３板式撮像装置が備える撮像素子３の構成を示す模式図である。撮像素子３は、Ｒ色の色フィルタ４３Ｒが配設されたＲ色の撮像素子４３と、Ｇ色の色フィルタ４４Ｇが配設されたＧ色の撮像素子４４と、Ｂ色の色フィルタ４５Ｂが配設されたＢ色の撮像素子４５とを備えている。撮像素子４３からはＲ色に対応する出力信号ＳＲが出力され、撮像素子４４からはＧ色に対応する出力信号ＳＧが出力され、撮像素子４５からはＢ色に対応する出力信号ＳＢが出力される。各撮像素子４３〜４５は、図３に示した高感度の受光素子５０と低感度の受光素子５１とを有している。
【００５１】
図１０は、本発明の実施の形態２に係る３板式撮像装置の全体構成を示すブロック図である。図１０に示すように本実施の形態２に係る撮像装置は、レンズ１、絞り２、Ｒ，Ｇ，Ｂ３枚の撮像素子３ａ〜３ｃ、ＣＤＳ部４ａ、Ａ／Ｄ変換部５ａ、リニア補正部６、ＡＷＢ部８、画質処理部１０、積算部１３、及びＣＰＵ１５を備えて構成されている。ＣＰＵ１５は、積算値判定部３２、電荷蓄積期間制御部３４、ＡＷＢ制御部３３、及び制御信号生成部１００を有している。図１０では、積算値判定部３２、電荷蓄積期間制御部３４、及びＡＷＢ制御部３３が、いずれもＣＰＵ１５内においてソフトウェアにて実現されている場合の例を示したが、別途ハードウェアとして構成することも可能である。
【００５２】
レンズ１は、被写体から送られてくる光信号を集光する。絞り２は、レンズ１から入射される光信号の入射光量を制御する。撮像素子３ａ〜３ｃは、絞り２を通して入射されたＲ，Ｇ，Ｂの各色の光信号を光電変換し、光信号に応じた電気信号を出力する。ＣＤＳ部４ａは、撮像素子３ａ〜３ｃから入力された信号に対して相関二重サンプリング法によるノイズ低減処理を実施し、その処理後の信号を出力する。Ａ／Ｄ変換部５ａは、ＣＤＳ部４ａから入力されたアナログ信号をディジタル信号に変換する。リニア補正部６は、撮像素子３ａ〜３ｃの非直線特性を補正するものであり、Ａ／Ｄ変換部５ａの出力を補正し、入射光量に比例したＲＡＷデータ信号１２として出力する。ＡＷＢ部８は、ＣＰＵ１５から入力された制御信号２４に基づき、リニア補正部６から入力されたＲＡＷデータ信号１２に対してホワイトバランス調整を行い、その調整後の信号を出力する。
【００５３】
画質処理部１０は、ＡＷＢ部８から入力された信号に対して、ノイズ低減、輪郭強調、及びガンマ調整等の画質処理を実施し、その処理後の信号を出力する。
【００５４】
図７を参照し、Ｇ色の出力信号レベルに着目して、電荷蓄積期間がゼロからＴ１まではＧ色の平均出力信号レベルは急速に上昇し、電荷蓄積期間がＴ１の時点で、Ｇ色に対応する受光素子５０の電荷蓄積量が飽和する。時点Ｔ１以降は、Ｇ色の平均出力信号レベルは緩やかに上昇する。
【００５５】
Ｒ色の出力信号レベルに着目して、Ｒ色は出力信号レベルが低いため、時点Ｔ１においても、Ｒ色に対応する受光素子５０の電荷蓄積量は飽和しない。時点Ｔ１でのＲ色の平均出力信号レベルはｒ１（＜ｇ１）である。Ｒ色に対応する受光素子５０の電荷蓄積量は、時点Ｔ２において飽和する。時点Ｔ２でのＲ色の平均出力信号レベルはｒ２（＝ｇ１）である。
【００５６】
図１１は、図５に対応して、本実施の形態２に係る積算部１３、積算値判定部３２、ＡＷＢ制御部３３、及び電荷蓄積期間制御部３４の構成を具体的に示すブロック図である。図９に示した撮像素子４３，４４，４５からそれぞれ出力された出力信号ＳＲ，ＳＧ，ＳＢは、図１０に示したＣＤＳ部４ａ、Ａ／Ｄ変換部５ａ、及びリニア補正部６によって処理された後、図１１に示す対応する色の信号レベル積算部３１ａにそれぞれ入力される。
【００５７】
各信号レベル積算部３１ａは、積算エリア情報２３ａによって指定された積算エリアを対象として、一定期間（例えば１フレーム期間）の間、出力信号ＳＲ，ＳＧ，ＳＢの各信号レベルをそれぞれ積算する。色温度が高い状態での撮像であることと、Ｒ色の色フィルタ４３Ｒに対する分光感度特性の影響とにより、Ｒ色に関する信号レベルの積算値は、Ｇ色に関する信号レベルの積算値よりも大幅に小さくなる。各色ごとの信号レベルの積算値に関するデータ１４ａは、電荷蓄積期間設定部３２ｃに入力される。
【００５８】
電荷蓄積期間設定部３２ｃは、データ１４ａに基づいて、各色の信号レベルの積算値を比較することにより、撮像素子３の電荷蓄積期間を各色ごとに個別に設定する。具体的には、図７を参照して、時点ゼロから時点Ｔ１までの期間を、Ｇ，Ｂの各色の電荷蓄積期間の長さとして設定し、時点ゼロから時点Ｔ２までの期間を、Ｒ色の電荷蓄積期間の長さとして設定する。時点Ｔ２は、時点Ｔ１と、その時点Ｔ１での平均出力信号レベルｒ１，ｇ１とに基づいて求めることができる。式で表すと、Ｔ２＝（ｇ１／ｒ１）×Ｔ１となる。ここで、電荷蓄積期間設定部３２ｃは、電荷蓄積期間の終了時点を、Ｒ，Ｇ，Ｂの全色に関して同時点に設定する。従って、Ｒ色の電荷蓄積期間の開始時点が、Ｇ，Ｂの各色の電荷蓄積期間の開始時点よりも、Ｔ２−Ｔ１に相当する時間だけ早い時点に設定されることとなる。換言すれば、電荷蓄積期間設定部３２ｃは、時点Ｔ１におけるＧ色の平均出力信号レベルｇ１とＲ色の平均出力信号レベルｒ１との差に応じて、Ｒ色の電荷蓄積期間の開始時点を、Ｇ，Ｂの各色の電荷蓄積期間の開始時点よりも早い時点に設定する。
【００５９】
図１２は、Ｒ，Ｇ，Ｂの各色の電子シャッターの動作と、Ｒ，Ｇ，Ｂの各色の電荷蓄積期間との関係を示したタイミングチャートである。例えばフレーム期間ＦＲ３（Ｎ）に着目して、Ｒ色の電荷蓄積期間Ｔ３ｅｘｐＲは、Ｇ，Ｂの各色の電荷蓄積期間Ｔ３ｅｘｐＧ，Ｔ３ｅｘｐＢよりも早く開始されている。また、電荷蓄積期間Ｔ３ｅｘｐＲ，Ｔ３ｅｘｐＧ，Ｔ３ｅｘｐＢの終了時点は全て同一であり、フレーム期間ＦＲ３（Ｎ）の最後に印加される１個の電荷読出クロックによって、全ての色の蓄積電荷量が読み出される。
【００６０】
図１１を参照して、各信号レベル積算部３１ｂは、積算エリア情報２３ｂによって指定された積算エリアを対象として、電荷蓄積期間制御部３４によって電荷蓄積期間が制御された出力信号ＳＲ，ＳＧ，ＳＢを入力し、対応する色の信号レベルをそれぞれ積算する。各色ごとの信号レベルの積算値に関するデータ１４ｂは、補正量算出部３２ｄに入力される。補正量算出部３２ｄは、データ１４ｂに基づいて、各色の信号レベルの積算値を比較することにより、ホワイトバランスを適切に調整するための信号レベルの補正量を算出する。
【００６１】
このように本実施の形態２に係る撮像装置によれば、電荷蓄積期間設定部３２ｃは、図７に示した時点Ｔ１におけるＧ色の平均出力信号レベルｇ１とＲ色の平均出力信号レベルｒ１との差に応じて、図１２に示すようにＲ色の電荷蓄積期間Ｔ３ｅｘｐＲをＧ色の電荷蓄積期間Ｔ３ｅｘｐＧよりも長く設定し、Ｔ３ｅｘｐＲ＝Ｔ２とする。従って、延長された電荷蓄積期間Ｔ３ｅｘｐＲによる撮像においては、電荷蓄積期間Ｔ３ｅｘｐＲが延長されない場合と比較して、Ｒ色の平均出力信号レベルが増加する。その結果、補正量算出部３２ｄにおけるＲ色の平均出力信号レベルのゲイン補正量を、ｒ１／ｇ１＝１とすることができる。あるいは、電荷蓄積期間Ｔ３ｅｘｐＲの延長制御を行わない場合と比較して、ゲイン補正量算出部３２ｄにおけるＲ色の平均出力信号レベルのゲイン補正量を少なくすることができる。
【００６２】
そのため、本実施の形態２に係る撮像装置によれば、ＡＷＢ部８における電気的なゲイン調整量を少なくすることができ、その結果、ゲイン調整に起因するＲ色のＳ／Ｎの劣化を抑制することができる。また、３板方式とすることによって補間処理を行うことが不要となり、図１０に示した構成でシステムを構築することが可能で、色純度の向上、補間処理による偽色の発生を防止することが可能となる。
【００６３】
なお、以上の説明では、説明の簡単化のため、Ｒ色の電荷蓄積期間Ｔ３ｅｘｐＲのみを延長する例について述べたが、図７に示した時点Ｔ１と、その時点Ｔ１での平均出力信号レベルｂ１，ｇ１とに基づいて、Ｂ色の電荷蓄積期間Ｔ３ｅｘｐＲを延長することも可能である。
【００６４】
実施の形態３．
図１３は、本発明の実施の形態３に係る単板式撮像装置の全体構成を示すブロック図である。図１３に示すように本実施の形態３に係る撮像装置は、レンズ１、絞り２、撮像素子３、ＣＤＳ部４、Ａ／Ｄ変換部５、リニア補正部６、色抽出合成処理部７０、補間部９、画質処理部１０、積算部１３、及びＣＰＵ１５を備えて構成されている。撮像素子３の構成は、図２に示した構成と同様である。本実施の形態３において、撮像素子３が備える各撮像素子４１は、図３に示した高感度の受光素子５０と低感度の受光素子５１とを有している。色抽出合成処理部７０は、ＣＰＵ１５からの制御信号８２によって制御される。
【００６５】
ＣＰＵ１５は、電荷蓄積期間制御部３４、積算値判定部３２、色抽出合成制御部１０１、及び制御信号生成部１００を有している。図１３では、電荷蓄積期間制御部３４、積算値判定部３２、及び色抽出合成制御部１０１が、いずれもＣＰＵ１５内においてソフトウェアにて実現されている場合の例を示したが、別途ハードウェアとして構成することも可能である。色抽出合成制御部１０１は、積算値判定部３２の判定結果に基づき、制御信号８２によって色抽出合成処理部７０を制御する。
【００６６】
図１４は、図１３に示した色抽出合成処理部７０の構成を具体的に示すブロック図である。色抽出合成処理部７０は、数フレーム分の画像データを記憶可能な画像メモリ（フィールドメモリ）７１と、画像データ抽出部７２と、画像データ合成部７３とを有している。Ｇ色及びＢ色の平均出力信号レベルがほぼ同じで、Ｒ色の平均出力信号レベルが低い場合、画像データ抽出部７２は、画像メモリ７１に記憶されているＧ色及びＢ色の画像データを抽出する。続くフレームにおいて、画像データ抽出部７２は、Ｒ色の平均出力信号レベルが、前フレームで抽出したＧ色及びＢ色の平均出力信号レベルと同じになるように調整して、画像メモリ７１に記憶されているＲ色の画像データを抽出する。画像データ合成部７３は、抽出したＲ，Ｇ，Ｂの各色の画像データを合成する。
【００６７】
図７，１３を参照して、時点ゼロから時点Ｔ１までの期間が第１の電荷蓄積期間Ｔ２ｅｘｐ１として設定され、時点ゼロから時点Ｔ２までの期間が第２の電荷蓄積期間Ｔ２ｅｘｐ２として設定される。設定された電荷蓄積期間Ｔ２ｅｘｐ１，Ｔ２ｅｘｐ２に関するデータ１６ａは、電荷蓄積期間制御部３４に入力される。電荷蓄積期間制御部３４は、撮像素子３の電荷蓄積期間を制御すべく、データ１６ａに基づいて、撮像素子３の電子シャッターを制御するための制御信号２１を生成して出力する。制御信号２１は撮像素子３に入力される。
【００６８】
図１５は、電子シャッターの動作と電荷蓄積期間との関係を示したタイミングチャートである。図１４，１５を参照して、まず、フレーム期間ＦＲ２（Ｎ）においては、第１の電荷蓄積期間Ｔ２ｅｘｐ１による撮像が行われる。この撮像によって取得された画像（以下「第１の画像」と称する）は、画像メモリ７１に記憶される。続くフレーム期間ＦＲ２（Ｎ＋１）においては、第２の電荷蓄積期間Ｔ２ｅｘｐ２による撮像が行われる。この撮像によって取得された画像（以下「第２の画像」と称する）も、第１の画像と同様に画像メモリ７１に記憶される。
【００６９】
なお、フレーム期間ＦＲ２（Ｎ）における第１の電荷蓄積期間Ｔ２ｅｘｐ１と、フレーム期間ＦＲ２（Ｎ＋１）における第２の電荷蓄積期間Ｔ２ｅｘｐ２とは、フレーム期間ＦＲ２（Ｎ−１）以前のフレーム期間において検出された結果に基づいて設定される。
【００７０】
画像データ抽出部７２は、画像メモリ７１に記憶されている第１の画像の中から、Ｇ，Ｂの各色に対応する画像データ（以下「第１の画像データ」と称する）を抽出し、抽出した第１の画像データを画像データ合成部７３に送る。また、画像データ抽出部７２は、画像メモリ７１に記憶されている第２の画像の中から、Ｒ色に対応する画像データ（以下「第２の画像データ」と称する）を抽出し、抽出した第２の画像データを画像データ合成部７３に送る。画像データ合成部７３は、第１の画像データと第２の画像データとを合成することにより、１枚の画像に相当する画像データを生成する。
【００７１】
このように本実施の形態３に係る撮像装置によれば、電荷蓄積期間設定部８０は、互いに長さが異なる第１の電荷蓄積期間Ｔ２ｅｘｐ１（＝Ｔ１）と第２の電荷蓄積期間Ｔ２ｅｘｐ２（＝Ｔ２）とを設定する。そして、第１の電荷蓄積期間Ｔ２ｅｘｐ１による撮像によって第１の画像が取得され、第２の電荷蓄積期間Ｔ２ｅｘｐ２による撮像によって第２の画像が取得され、画像データ合成部７３は、第１の画像の中から抽出されたＧ，Ｂの各色に対応する第１の画像データと、第２の画像の中から抽出されたＲ色に対応する第２の画像データとを合成することにより、１枚の画像に相当する画像データを生成する。従って、画像データ合成部７３によって得られた画像データは、Ｒ，Ｇ，Ｂの各色の信号レベルがほぼ一致しているため、図１に示したＡＷＢ部８を省略することができる。その結果、ＡＷＢ調整に伴ったゲイン調整に起因するＲ色のＳ／Ｎの劣化を回避することができる。
【００７２】
なお、以上の説明では、説明の簡単化のため、Ｇ，Ｂの各色の電荷蓄積期間Ｔ２ｅｘｐ１を同一にする例について述べたが、図７に示した時点Ｔ１と、その時点Ｔ１での平均出力信号レベルｂ１，ｇ１とに基づいて、Ｂ色の電荷蓄積期間を設定してもよい。この場合は、Ｒ，Ｇ，Ｂの各色ごとに個別の電荷蓄積期間が設定されるため、連続する３フレーム期間を用いて各色ごとに画像を取得し、画像メモリ７１に記憶されている３枚の画像から抽出された画像データを、画像データ合成部７３によって合成することとなる。
【図面の簡単な説明】
【００７３】
【図１】本発明の実施の形態１に係る単板式撮像装置の全体構成を示すブロック図である。
【図２】撮像素子の構成の一例を示す平面図である。
【図３】撮像素子が有する受光部の構成例を示す平面図である。
【図４】受光素子の感度特性を示すグラフである。
【図５】図１に示した積算部、積算値判定部、ＡＷＢ制御部、及び電荷蓄積期間制御部の構成を具体的に示すブロック図である。
【図６】図１に示した積算部の他の構成例を示すブロック図である。
【図７】感度特性が図４のグラフで与えられる２個の受光素子を有する撮像素子を用いた場合の、電荷蓄積期間と出力信号レベルとの関係を示すグラフである。
【図８】電子シャッターの動作と電荷蓄積期間との関係を示したタイミングチャートである。
【図９】本発明の実施の形態２に係る３板式撮像装置が備える撮像素子の構成を示す模式図である。
【図１０】本発明の実施の形態２に係る３板式撮像装置の全体構成を示すブロック図である。
【図１１】図５に対応して、本発明の実施の形態２に係る積算部、積算値判定部、ＡＷＢ制御部、及び電荷蓄積期間制御部の構成を具体的に示すブロック図である。
【図１２】Ｒ，Ｇ，Ｂの各色の電子シャッターの動作と、Ｒ，Ｇ，Ｂの各色の電荷蓄積期間との関係を示したタイミングチャートである。
【図１３】本発明の実施の形態３に係る単板式撮像装置の全体構成を示すブロック図である。
【図１４】図１３に示した色抽出合成処理部の構成を具体的に示すブロック図である。
【図１５】電子シャッターの動作と電荷蓄積期間との関係を示したタイミングチャートである。
【符号の説明】
【００７４】
３，４１，４３〜４５  撮像素子、８  ＡＷＢ部、１３  積算部、３１ａ〜３１ｃ  信号レベル積算部、３２  積算値判定部、３２ａ，３２ｃ  電荷蓄積期間設定部、３２ｂ  補正量算出部、３３  ＡＷＢ制御部、３４  電荷蓄積期間制御部、５０，５１  受光素子、７０  色抽出合成処理部、７１  画像メモリ、７２  画像データ抽出部、７３  画像データ合成部。
【図１】
2006060462.tif 000003
【図２】
2006060462.tif 000004
【図３】
2006060462.tif 000005
【図４】
2006060462.tif 000006
【図５】
2006060462.tif 000007
【図６】
2006060462.tif 000008
【図７】
2006060462.tif 000009
【図８】
2006060462.tif 000010
【図９】
2006060462.tif 000011
【図１０】
2006060462.tif 000012
【図１１】
2006060462.tif 000013
【図１２】
2006060462.tif 000014
【図１３】
2006060462.tif 000015
【図１４】
2006060462.tif 000016
【図１５】
2006060462.tif 000017