(57)【要約】 【課題】  消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができる撮像装置を提供する。【解決手段】  駆動回路２は撮像素子１を駆動し、異なる露光時間で蓄積された電荷に基づいた２つの画像信号を同時に読み出す。２つの信号は、アナログ回路３Ａ、３ＢおよびＡ／Ｄ変換器４Ａ、４Ｂによって処理され、合成回路５に入力される。合成回路５は、露光量の多い方の信号が飽和した場合に、その信号が読み出された画素に隣接した画素から読み出された、露光量の少ない方の信号を増幅する。合成回路５は、信号が飽和しなかった画素については、露光量の多い方の信号を用い、信号が飽和した画素については、増幅した信号を用いて、画素毎の信号を合成し、一枚の画像を構成する画像信号を生成する。【選択図】    図１
2006311240.tif 000002
【特許請求の範囲】
【請求項１】
第１の色の色フィルタと、第２の色の色フィルタと、第３の色の色フィルタと、第４の色の色フィルタと、
前記第１の色の色フィルタに隣接して配置された複数の第１の画素と、
前記第２の色の色フィルタに隣接して配置された複数の第２の画素と、
前記第３の色の色フィルタに隣接して配置された複数の第３の画素と、
前記第４の色の色フィルタに隣接して配置された複数の第４の画素と、
前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の各々において、第１の露光量および第２の露光量で露光が行われるように画素毎に露光量を設定する露光量設定手段と、
前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素の各々において、前記第１の露光量で露光された画素から第１の画像信号を読み出すと同時に、前記第２の露光量で露光された画素から第２の画像信号を読み出す読出手段と、
前記読出手段によって読み出された画素毎の前記第１の画像信号および前記第２の画像信号を合成して、一枚の画像を構成する画像信号として出力する合成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記露光量設定手段は、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の各々において、画素単位で異なる電荷蓄積時間を設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は、
前記第１の露光量で露光された画素の出力の飽和を検出する飽和検出手段と、
前記飽和検出手段によって画素の出力の飽和が検出された場合に、飽和が検出された画素に対応した、前記第２の露光量で露光された画素から読み出された前記第２の画像信号を、前記第１の露光量と前記第２の露光量の比に基づいて増幅する信号増幅手段と、
前記飽和検出手段によって出力の飽和が検出されなかった画素については、前記第１の画像信号を用いて、前記飽和検出手段によって出力の飽和が検出された画素については、前記信号増幅手段によって増幅された前記第２の画像信号を用いて、各画素の画像信号を合成して、一枚の画像を構成する画像信号を生成する信号合成手段と、
を有することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、それぞれ前記第１の露光量で露光される複数の画素と、前記第２の露光量で露光される複数の画素を備えており、
前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素のそれぞれにおいて、前記第１の露光量で露光された複数の画素から読み出された複数の画像信号を加算平均して前記第１の画像信号を生成すると共に、前記第２の露光量で露光された複数の画素から読み出された複数の画像信号を加算平均して前記第２の画像信号を生成する加算平均手段を有する
ことを特徴とする請求項１〜請求項３のいずれかの項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広ダイナミックレンジの画像を生成する撮像装置に関する。
【背景技術】
【０００２】
広ダイナミックレンジの画像を生成する従来の撮像装置として、被写体に対して露光条件を変化させて別々に２回撮像することで、露光量の異なる２つの画像を取得し、それらの画像を合成することで、広ダイナミックレンジの画像を生成するものが提案されている（特許文献１）。また、非破壊読み出し可能な撮像素子にマイクロレンズを市松状に配置し、隣接する画素毎に異なる露光量の画素の信号を１露光期間中に撮像し、それらの画像出力を合成することで、動きのある被写体に対しても適正な広ダイナミックレンジの画像を生成するものも提案されている（特許文献２）。
【特許文献１】特開平１１−２３４５５０号公報
【特許文献２】特開平５−１４５８５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載された撮像装置では、露光量の異なる２つの画像を取得するために、露光条件を変化させて２回の撮像を行わなければならず、２回の撮像タイミングには時間差が生じてしまう。そのため、動いている被写体を撮像した場合、得られた２つの画像においては、相対的に被写体の変動があり、それらを合成した画像にはブレが生じてしまう。ブレの課題を解決するため、２回の撮像タイミングの時間差を改善した撮像装置が特許文献２で提案されている。しかし、特許文献２では、カラー化処理に関して詳細に言及されていない。また、この撮像装置は、１露光期間中に撮像素子の出力を複数回読み出し、順次読み出された複数の画像をフィールドメモリに蓄積する構成となっているため、撮像素子の画素数が増加していくと、画像の読み出し回路の高速化やメモリの大容量化が必要となり、消費電力や回路規模の増大に繋がる。
【０００４】
本発明は、上述した問題点に鑑みてなされたものであって、消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、第１の色の色フィルタと、第２の色の色フィルタと、第３の色の色フィルタと、第４の色の色フィルタと、前記第１の色の色フィルタに隣接して配置された複数の第１の画素と、前記第２の色の色フィルタに隣接して配置された複数の第２の画素と、前記第３の色の色フィルタに隣接して配置された複数の第３の画素と、前記第４の色の色フィルタに隣接して配置された複数の第４の画素と、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の各々において、第１の露光量および第２の露光量で露光が行われるように画素毎に露光量を設定する露光量設定手段と、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素の各々において、前記第１の露光量で露光された画素から第１の画像信号を読み出すと同時に、前記第２の露光量で露光された画素から第２の画像信号を読み出す読出手段と、前記読出手段によって読み出された画素毎の前記第１の画像信号および前記第２の画像信号を合成して、一枚の画像を構成する画像信号として出力する合成手段とを有することを特徴とする撮像装置である。
【０００６】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記露光量設定手段は、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の各々において、画素単位で異なる電荷蓄積時間を設定することを特徴とする。
【０００７】
請求項３に記載の発明は、請求項１または請求項２に記載の撮像装置において、前記合成手段は、前記第１の露光量で露光された画素の出力の飽和を検出する飽和検出手段と、前記飽和検出手段によって画素の出力の飽和が検出された場合に、飽和が検出された画素に対応した、前記第２の露光量で露光された画素から読み出された前記第２の画像信号を、前記第１の露光量と前記第２の露光量の比に基づいて増幅する信号増幅手段と、前記飽和検出手段によって出力の飽和が検出されなかった画素については、前記第１の画像信号を用いて、前記飽和検出手段によって出力の飽和が検出された画素については、前記信号増幅手段によって増幅された前記第２の画像信号を用いて、各画素の画像信号を合成して、一枚の画像を構成する画像信号を生成する信号合成手段とを有することを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１〜請求項３のいずれかの項に記載の撮像装置において、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素は、それぞれ前記第１の露光量で露光される複数の画素と、前記第２の露光量で露光される複数の画素を備えており、前記第１の画素、前記第２の画素、前記第３の画素、および前記第４の画素のそれぞれにおいて、前記第１の露光量で露光された複数の画素から読み出された複数の画像信号を加算平均して前記第１の画像信号を生成すると共に、前記第２の露光量で露光された複数の画素から読み出された複数の画像信号を加算平均して前記第２の画像信号を生成する加算平均手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態による撮像装置の構成を示している。以下、図中の各構成を説明する。撮像素子１は、図示せぬ光学系によって集光された被写体からの光を受光し、受光した被写体像の受光量に基づいた電荷を生成する複数の画素を有する、例えばＣＣＤ（Charge Coupled Device）センサを備え、各々の画素から電荷を読み出して画像信号を生成し、出力する。
【００１１】
撮像素子１は、ＲＧＢの色フィルタと、各色フィルタに隣接して配置された複数の画素を備えている。色フィルタと画素の配列を図２に示す。図２において、太線は各色フィルタの境界を示し、細線は各画素の境界を示している。図１５に示される従来のベイヤ配列と比較すると、図２に示される配列は、各色フィルタにおいて、水平方向に２つずつの画素を配置した配列となっている。図２の画素の表記を説明する。例えば画素Ｒ１１_aの「Ｒ」は、赤フィルタが配置されたことを示し、「１１」は撮像素子１の水平垂直方向の画素の並び順を示し、サブサフィックスの「a」は、同じ色フィルタに配置された異なる２つの画素の識別符号を示している。
【００１２】
図１に戻り、駆動回路２は、撮像素子１を駆動する回路である。駆動回路２は、図２に示される撮像素子１の画素において、サブサフィックスaで示された画素とサブサフィックスｂで示された画素を各々異なる電子シャッタースピードで制御する。異なる電子シャッタースピードが設定された画素間では電荷蓄積時間が異なる。この電荷蓄積時間は露光時間（露光量）に相当する。駆動回路２は、異なる露光時間で蓄積された電荷に基づいた２つの画像信号（第１の画像信号および第２の画像信号）を同時に２つの出力回路から読み出す。
【００１３】
アナログ回路３Ａ、３Ｂは、撮像素子１から出力された２つの信号を適正に増幅し、Ａ／Ｄ変換器４Ａ、４Ｂへ出力する。Ａ／Ｄ変換器４Ａ、４Ｂは２つの信号をデジタル信号に変換し、合成回路５へ出力する。合成回路５は、各画素から読み出された２つの信号を用いて、画素毎の信号を合成し、一枚の画像を構成する画像信号を生成する。詳細は後述するが、合成回路５は、露光量の多い方の信号が飽和した場合に、その信号が読み出された画素に隣接した画素から読み出された、露光量の少ない方の信号を増幅する。合成回路５は、信号が飽和しなかった画素については、露光量の多い方の信号を用い、信号が飽和した画素については、増幅した信号を用いて合成を行う。合成回路５は合成後の信号を色補間回路６へ出力する。
【００１４】
合成された信号に対応した画像はベイヤ配列の画像であり、各画素において、ＲＧＢの３つの色信号のうちのいずれかの色信号が存在する。色補間回路６は、各画素においてＲＧＢの３つの色信号を得るために、各画素の持っている色信号以外の不足した色信号を周辺画素の色信号から補間によって生成する。階調変換回路７は、色補間回路６から出力された画像を適正な階調に変換する。階調変換回路７によって階調変換が行われた画像は、半導体メモリやハードディスク等の記録装置８に記録され、あるいはモニタ等の表示装置９に表示される。
【００１５】
次に、撮像素子１および駆動回路２の内部構成を、図３を参照して説明する。図３においては、図２に示される画素のうち、一部の画素のみが図示されており、残りの画素の図示は省略されている。図３に示される画素は、第１の露光量で露光されたサブサフィックスａの画素の組１００ａと、第２の露光量で露光されたサブサフィックスｂの画素の組１００ｂとからなる。撮像素子１において、垂直走査回路１１は画素Ｒ１１_ａおよびＧ２１_ａからの電荷の読み出しを制御する。垂直走査回路１２は画素Ｒ１２_ｂおよびＧ２２_ｂからの電荷の読み出しを制御する。垂直走査回路１３は画素Ｇ１３_ａおよびＢ２３_ａからの電荷の読み出しを制御する。垂直走査回路１４は画素Ｇ１４_ｂおよびＢ２４_ｂからの電荷の読み出しを制御する。水平走査回路１５および１６は、各画素から出力された信号を順次後段へ出力する。読み出し回路１７は、水平走査回路１５を介して信号を読み出し、出力Ａとして出力する。読み出し回路１８は、水平走査回路１６を介して信号を読み出し、出力Ｂとして出力する。
【００１６】
駆動回路２において、露光量決定回路２１は、サブサフィックスaで示された画素と、サブサフィックスｂで示された画素を各々異なる電子シャッタースピードで制御することによって、画素単位で露光量を設定する。これによって、同一の色フィルタに隣接して配置された複数の画素において、複数の露光量で露光が行われる。画素選択回路２２は、垂直走査回路１１〜１４および水平走査回路１５〜１６を制御することによって、各画素からの電荷の読み出しを制御する。以下、一例として、撮像素子１の画素Ｒ１１_ａ〜Ｂ２４_ｂの８個の画素から電荷を読み出す際の制御内容を説明する。駆動回路２の露光量決定回路２１は、サブサフィックスａで示された画素に対して、第１の露光量に対応した電子シャッタースピードを設定すると共に、サブサフィックスｂで示された画素に対して、第２の露光量に対応した電子シャッタースピードを設定する。これによって、各画素の電荷蓄積時間が設定される。
【００１７】
駆動回路２の画素選択回路２２は、垂直走査回路１１〜１４および水平走査回路１５〜１６を制御し、各画素で蓄積された電荷に基づいた信号を画素毎に読み出す。画素Ｒ１１_ａおよびＧ２１_ａからの信号は、垂直走査回路１１および水平走査回路１５を経由して、読み出し回路１７によって、出力Ａとして読み出される。画素Ｒ１２_ｂおよびＧ２２_ｂからの信号は、垂直走査回路１２および水平走査回路１６を経由して、読み出し回路１８によって、出力Ｂとして読み出される。同様に、画素Ｇ１３_ａおよびＢ２３_ａからの信号は、垂直走査回路１３および水平走査回路１５経由して、読み出し回路１７によって、出力Ａとして読み出される。また、画素Ｇ１４_ｂおよびＢ２４_ｂからの信号は、垂直走査回路１４および水平走査回路１６を経由して、読み出し回路１８によって、出力Ａとして読み出される。このように２つの異なる電子シャッタースピードで露光が制御された各画素からの信号は、同一の色フィルタに対応した画素毎に各々同じタイミングで読み出される。例えば、画素Ｒ１１_ａとＲ１２_ｂから同時に信号が読み出される。
【００１８】
次に、合成回路５の内部構成を、図４を参照して説明する。第１の露光量で露光された画素からの信号は飽和検出回路５１に入力される。飽和検出回路５１は、入力された信号に基づいて、第１の露光量で露光された画素の出力の飽和を検出する。すなわち、飽和検出回路５１は、入力された信号の輝度値と、予め設定されたしきい値とを比較し、比較結果に基づいて、入力された信号が飽和に達しているか否かを判定する。入力された信号の輝度値がしきい値以上であった場合に、飽和検出回路５１は、飽和の検出を示す信号を信号増幅回路５２および信号合成回路５３へ出力する。また、飽和検出回路５１は、入力された信号をそのまま信号合成回路５３へ出力する。
【００１９】
第２の露光量で露光された画素からの信号は信号増幅回路５２に入力される。信号増幅回路５２は、飽和検出回路５１によって画素の出力の飽和が検出された場合に、飽和が検出された画素に対応した（すなわちその画素と同じ色フィルタに配置された）、第２の露光量で露光された画素から読み出された信号を、第１の露光量と第２の露光量の比で増幅する。例えば、画素Ｒ１１_ａの出力の飽和が検出されたとする。信号増幅回路５２は、飽和検出回路５１から出力された信号に基づいて、画素Ｒ１２_ｂから読み出された信号を増幅する。これによって、後述するように、広ダイナミックレンジの画像を得ることができる。信号増幅回路５２は、増幅した信号を信号合成回路５３へ出力する。
【００２０】
信号合成回路５３は、各画素から出力された画素毎の信号を合成し、複数の画素からなる一枚の画像に対応した画像信号を生成し、出力する。この合成の際に、信号合成回路５３は、飽和検出回路５１から出力された信号に基づいて各画素の出力の飽和の有無を検出する。続いて、信号合成回路５３は、出力の飽和が検出されなかった画素については、飽和検出回路５１から出力された信号を用い、出力の飽和が検出された画素については、信号増幅回路５２によって増幅された信号を用いて、各画素の信号を合成し、一枚の画像を構成する画像信号を生成する。
【００２１】
次に、本実施形態における主要な信号処理の詳細を説明する。駆動回路２は、画素毎に異なる電子シャッタースピードを撮像素子１に設定し、露光時間が異なる２つの画像を生成するように撮像素子１を駆動する。露光時間が異なる２つの画像とは、図２において、サブサフィックスaで示される画素で構成される画像と、サブサフィックスｂで示される画素で構成される画像である。
【００２２】
図２のサブサフィックスaで示される画素で構成される画像は、電子シャッタースピードが例えば１／６０秒に設定された場合に生成される画像であり、図５（ａ）に示される長時間露光画像Ｌとなる。図２のサブサフィックスｂで示される画素で構成される画像は、電子シャッタースピードが例えば１／１０００秒に設定された場合に生成される画像であり、図３（ｂ）に示される短時間露光画像Ｓとなる。この場合、長時間露光画像Ｌの露光時間１／６０秒は撮像素子１の１露光時間に相当する。
【００２３】
図６は、露光時間と画素の出力の関係の一例を示している。図６には、露光時間に比例して画素の出力が増加する様子が示されている。２つの画像の露光は同時に開始され、露光開始から１／１０００秒後までに画素に蓄積された電荷に基づいて短時間露光画像Ｓが構成され、露光開始から１／６０秒後までに画素に蓄積された電荷に基づいて長時間露光画像Ｌが構成される。図６では短時間露光画像Ｓと長時間露光画像Ｌの露光開始タイミングが等しい状態が図示されているが、短時間露光画像Ｓの露光開始タイミングは、長時間露光画像Ｌの露光期間中であればどこであってもよい。
【００２４】
短時間露光画像Ｓと長時間露光画像Ｌは、撮像素子１の１露光時間後に別々の出力として同時に読み出され、各々アナログ回路３Ａ、３ＢおよびＡ／Ｄ変換器４Ａ、４Ｂによって処理される。合成回路５は、図５（ｂ）に示される長時間露光画像Ｌの画素Ｒ１１_ａの信号と、図５（ｂ）に示される短時間露光画像Ｓの画素Ｒ１２_ｂの信号とを処理し、続いて、図５（ａ）に示される画素Ｇ１３_ａの信号と、図５（ｂ）に示される画素Ｇ１４_ｂの信号とを処理し、両者の処理結果を合成するというように、撮像素子１から読み出された順にリアルタイムに信号を合成する。この合成では、長時間露光画像Ｌが飽和したときに、短時間露光画像Ｓを、１／６０秒と１／１０００秒の比、すなわち約１６倍に増幅して用いることにより、約１６倍のダイナミックレンジの画像を得ることができる。
【００２５】
図７は、ある画素における光量（撮像素子１の入射光量）と出力の関係の一例を示している。電子シャッタースピードが１／６０秒の場合には、光量がｌ１以下では被写体像を再現することができるが、光量がｌ１を超えると、出力が飽和する。一方、電子シャッタースピードが１／１０００秒の場合には、電子シャッタースピードが１／６０秒の場合よりも電荷蓄積時間が短いことから、光量がｌ２に達するまで、出力は飽和しない。この画素においては、光量がｌ１に達するまでは、長時間露光画像Ｌの画像信号が用いられ、光量がｌ１を超えた場合には、短時間露光画像Ｓの画像信号が用いられて、他の画素の画像信号と合成される。
【００２６】
合成回路５によって合成された画像は、ベイヤ配列の色フィルタに対応した画像であり、Ｒフィルタに配置された画素からはＲ信号は出力されるが、Ｇ信号とＢ信号は出力されない。同様にＧフィルタの画素からはＲ信号およびＢ信号は出力されず、Ｂフィルタの画素からはＲ信号およびＧ信号は出力されない。そこで、色補間回路６は、各画素が持っている色信号以外の色信号を生成して補間を行う。例えば、Ｒ画素にＧ信号を生成する場合には、Ｒ画素の周囲に位置するＧ画素の出力信号から推測して得られた値を、そのＲ画素のＧ信号とする。各画素でＲＧＢ信号が得られるように、全画素において上記の処理が行われる。
【００２７】
上述した２つの異なる露光時間は、電子シャッタースピードの制御により設定されるものである。電子シャッタースピードによる露光時間を変更することによって、合成後の画像のダイナミックレンジを変更することができる。例えば、電子シャッタースピードを１／２０００秒と１／６０秒に設定し、それらに対応した短時間露光画像Ｓと長時間露光画像Ｌの合成を行うことによって、ダイナミックレンジを約３２倍まで拡大することができる。また、動きの速い被写体を撮像する場合には、撮像素子１の１露光時間を短く設定することによって、短時間露光画像Ｓと長時間露光画像Ｌの画像間の誤差を減らし、ブレの少ない画像を生成することができる。例えば、撮像素子１の１露光時間に相当する長時間露光画像Ｌの露光時間を１／１２０秒に、短時間露光画像Ｓの露光時間を１／２０００秒に設定し、両画像を合成することによって、動きの速い被写体に対してもブレが少なくなると共に、約１６倍のダイナミックレンジの画像を得ることができる。
【００２８】
上述したように、本実施形態の撮像装置は、ベイヤ方式で配列された色フィルタにおいて、同じ色フィルタに隣接して配置された複数の画素の電子シャッタースピードを画素単位で設定することによって、露光時間の異なる複数の画像を生成する。これらの複数の画像の各々は、ベイヤ配列の色フィルタに対応した画像であり、色補間処理等を施すことによって、カラー画像を生成することができる。
【００２９】
また、これらの複数の画像は撮像素子の１露光期間中に同時に撮像されているため、動きのある被写体が撮像された場合でも、撮像された像の複数の画像間での変移の差は小さい。したがって、動きのある被写体を撮像した場合でも、ブレのない画像を生成することができる。複数の画像の露光の開始は同時であってもよいし、撮像素子の１露光期間内に露光が行われるのであれば、各画像の露光の開始は同時でなくてもよい。
【００３０】
また、露光時間の長い画像の信号が飽和した場合に、露光時間の短い画像の信号を［２つの露光時間の比］倍に増幅し、露光時間の長い画像の信号の代わりに用いることによって、広ダイナミックレンジの画像を生成することができる。さらに、複数の画像は撮像素子１から同時に読み出されるため、読み出された画素毎に順次合成処理を行うことが可能となり、合成前にフィールドメモリ等を用いる必要がないので、消費電力や回路規模は増大しない。以上のことから、本実施形態によれば、消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができる。
【００３１】
次に、本発明の第２の実施形態を説明する。図８は、本実施形態による撮像装置の構成を示している。本実施形態の撮像素子１は、図９に示される色フィルタと画素の配列を備えている。太線は各色フィルタの境界を示し、細線は各画素の境界を示している。図１５に示される従来のベイヤ配列と比較すると、図９に示される配列は、各色フィルタにおいて、水平および垂直方向に２つずつの合計４つの画素を配置した配列となっている。図９の画素の表記を説明する。例えばＲ１１_ａの「Ｒ」は赤フィルタが配置されたことを、「１１」は撮像素子１の水平垂直方向の画素の並び順を、そしてサブサフィックスの「a」は同じ色フィルタに配置された異なる４つの画素の識別符号を示している。詳述しないが、撮像素子１の内部構成は第１の実施形態の撮像素子１と同様である。
【００３２】
駆動回路２は撮像素子１を駆動する回路である。駆動回路２は、図９に示される撮像素子１の画素において、サブサフィックスａで示された画素と、この画素と斜め方向に隣接した、サブサフィックスｄで示された画素との２つの画素を第１の電子シャッタースピードで制御する。また、駆動回路２は、サブサフィックスｂで示された画素と、斜め方向に隣接した、サブサフィックスｃで示された画素との２つの画素を第２の電子シャッタースピードで制御する。これによって、駆動回路２は、異なる２つの露光時間で撮像された異なる４つの信号を同時に４つの出力回路から読み出す。
【００３３】
アナログ回路３Ａ、３Ｂ、３Ｃ、３Ｄは、撮像素子１から出力された４つの信号を適正に増幅し、Ａ／Ｄ変換器４Ａ、４Ｂ、４Ｃ、４Ｄへ出力する。Ａ／Ｄ変換器４Ａおよび４Ｂは、入力された信号をデジタル信号に変換し、加算平均回路１０Ａへ出力する。Ａ／Ｄ変換器４Ｃおよび４Ｄは、入力された信号をデジタル信号に変換し、加算平均回路１０Ｂへ出力する。加算平均回路１０Ａは、入力された２つの信号の加算平均処理を行い、生成した信号を合成回路５へ出力する。加算平均回路１０Ｂは、入力された２つの信号の加算平均処理を行い、生成した信号を合成回路５へ出力する。合成回路５は、加算平均回路１０Ａ、１０Ｂによって処理された各々の信号を用いて、画素毎の信号を合成し、一枚の画像を構成する画像信号を生成し、色補間回路６へ出力する。合成回路５によって、ダイナミックレンジの広い画像が生成される。色補間回路６、階調変換回路７、記録装置８、および表示装置９は第１の実施形態と同様なので、説明を省略する。
【００３４】
次に、本実施形態における主要な信号処理の詳細を説明する。駆動回路２は、画素毎に、第１の電子シャッタースピードに基づいた第１の露光時間で２つの画像を生成すると共に、第２の電子シャッタースピードに基づいた第２の露光時間で２つの画像を生成するように撮像素子１を駆動する。第１の露光時間の撮像によって生成された２つの画像は、図９のサブサフィックスaで示される画素で構成された、図１０（ａ）に示される長時間露光画像Ｌ１と、図９のサブサフィックスｄで示される画素で構成された、図１０（ｄ）に示される長時間露光画像Ｌ２である。第２の露光時間の撮像によって生成された２つの画像は、図９のサブサフィックスｂで示される画素で構成された、図１０（ｂ）に示される短時間露光画像Ｓ１と、図９のサブサフィックスｃで示される画素で構成された、図１０（ｃ）に示される短時間露光画像Ｓ２である。
【００３５】
長時間露光画像Ｌ１、Ｌ２は、電子シャッタースピードが、第１の露光時間である例えば１／６０秒に設定された場合に生成される画像である。短時間露光画像Ｓ１、Ｓ２は、電子シャッタースピードが、第２の露光時間である例えば１／１０００秒に設定された場合に生成される画像である。図１１は、露光時間と各画素の出力特性を示している。図１１には、露光時間に比例して画素の出力が増加する様子が示されている。４つの画像の露光は同時に開始され、露光開始から１／１０００秒後までに画素に蓄積された電荷に基づいて短時間露光画像Ｓ１、Ｓ２が構成され、露光開始から１／６０秒後までに画素に蓄積された電荷に基づいて長時間露光画像Ｌ１、Ｌ２が構成される。
【００３６】
長時間露光画像Ｌ１、Ｌ２および短時間露光画像Ｓ１、Ｓ２は撮像素子１の１露光時間後に別々の出力として同時に読み出される。長時間露光画像Ｌ１は、アナログ回路３ＡおよびＡ／Ｄ変換器４Ａによって処理される。長時間露光画像Ｌ２は、アナログ回路３ＢおよびＡ／Ｄ変換器４Ｂによって処理される。短時間露光画像Ｓ１は、アナログ回路３ＣおよびＡ／Ｄ変換器４Ｃによって処理される。短時間露光画像Ｓ２は、アナログ回路３ＤおよびＡ／Ｄ変換器４Ｄによって処理される。
【００３７】
加算平均回路１０Ａは、撮像素子１から読み出された順に、長時間露光画像Ｌ１および長時間露光画像Ｌ２の輝度レベルを加算平均処理する。具体的には、長時間露光画像Ｌ１の画素Ｒ１１_ａの輝度レベルをα、長時間露光画像Ｌ２の画素Ｒ２２_ｄの輝度レベルをβとすると、(α＋β)／２の処理で輝度レベルが生成される。この処理を長時間露光画像の全ての画素に対して行った結果、図１２（ａ）に示される長時間露光画像Ｌ３が生成される。図１２（ａ）において、「Ｒ１１２２_ａｄ」は、図１０（ａ）の長時間露光画像Ｌ１の画素Ｒ１１_ａと図１０（Ｄ）の長時間露光画像Ｌ２の画素Ｒ２２_ｄの加算平均処理によって生成された画素を示している。
【００３８】
同様に、加算平均回路１０Ｂは短時間露光画像Ｓ１と短時間露光画像Ｓ２の輝度レベルを画素毎に加算平均処理し、図１２（ｂ）に示される短時間露光画像Ｓ３を生成する。図１２（ｂ）において、「Ｒ１２２１_ｂｃ」は、図１０（ｂ）の短時間露光画像Ｓ１の画素Ｒ１２_ｂと図１０（Ｃ）の短時間露光画像Ｓ２の画素Ｒ２１_ｃの加算平均処理によって生成された画素を示している。上記の長時間露光画像Ｌ３および短時間露光画像Ｓ３は、加算平均処理が施された結果、撮像素子１のノイズを低減した画像となる。
【００３９】
合成回路５は、短時間露光画像Ｓ３および長時間露光画像Ｌ３を用いて画像を合成する。合成回路５は、図１２（ａ）に示される画素Ｒ１１２２_ａｄの信号と、図１２（ｂ）に示される画素Ｒ１２２１_ｂｃの信号とを処理し、続いて、図１２（ａ）に示される画素Ｇ１３２４_ａｄの信号と、図１２（ｂ）に示される画素Ｒ１４２３_ｂｃの信号とを処理し、両者の処理結果を合成するというように、撮像素子１から読み出された順にリアルタイムに信号を合成する。この合成では、長時間露光画像Ｌ３が飽和したときに、短時間露光画像Ｓ３を、１／６０秒と１／１０００秒の比、すなわち約１６倍に増幅して用いることにより、約１６倍のダイナミックレンジの画像を得ることができる。
【００４０】
図１３は、ある画素における光量と出力の関係の一例を示している。電子シャッタースピードが１／６０秒の場合には、光量がｌ３以下では被写体像を再現することができるが、光量がｌ４を超えると、出力が飽和する。一方、電子シャッタースピードが１／１０００秒の場合には、電子シャッタースピードが１／６０秒の場合よりも電荷蓄積時間が短いことから、光量がｌ４に達するまで、出力は飽和しない。この画素においては、光量がｌ３に達するまでは、長時間露光画像Ｌ３の画像信号が用いられ、光量がｌ３を超えた場合には、短時間露光画像Ｓ３の画像信号が用いられて、他の画素の画像信号と合成される。
【００４１】
本実施形態によれば、第１の実施形態と同様に、消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができる。また、１つの色フィルタについて、異なる露光時間が設定される複数の画素（例えば図９の画素Ｒ１１_ａ、Ｒ１２_ｂ、Ｒ２１_ｃ、Ｒ２２_ｄ）を設け、それらの画素のうち、複数の画素の組（例えば図９の画素Ｒ１１_ａ、Ｒ２２_ｄの組や画素Ｒ１２_ｂ、Ｒ２１_ｃの組）に対して同じ露光時間を設定し、同じ露光時間の画像信号を加算平均処理することによって、画像信号中のノイズの影響を低減することができる。
【００４２】
次に、本発明の第３の実施形態を説明する。本実施形態による撮像装置の構成は、図１に示される構成と同様である。ただし、撮像素子１は、図１４に示される色フィルタと画素の配列を備えている。太線は各色フィルタの境界を示し、細線は各画素の境界を示している。図１６に示される従来の一般的な補色系の色フィルタの配列と比較すると、図１４に示される配列は、各色フィルタにおいて、水平方向に２つずつの画素を配置した配列となっている。図１４の画素の表記を説明する。例えば画素Ｙｅ１１_ａの「Ｙｅ」は、黄フィルタが配置されたことを示し、「１１」は撮像素子１の水平垂直方向の画素の並び順を示し、サブサフィックスの「a」は、同じ色フィルタに配置された異なる２つの画素の識別符号を示している。
【００４３】
駆動回路２は、図１４に示される撮像素子１の画素において、サブサフィックスaで示された画素とサブサフィックスｂで示された画素を各々異なる電子シャッタースピードで制御する。異なる露光時間で蓄積された電荷に基づいた２つの画像信号は同時に２つの出力回路から読み出される。撮像素子１から出力された２つの信号は、アナログ回路３Ａ、３Ｂによって適正に増幅され、Ａ／Ｄ変換器４Ａ、４Ｂによってデジタル信号に変換される。第１の実施形態と同様に、合成回路５によって、２つの信号から、一枚の画像を構成する画像信号が生成される。
【００４４】
合成された画像は、補色系の色フィルタを使用した色フィルタ配列の画像であり、各画素にはＲＧＢの３つの色信号がない。色補間回路６は、各画素においてＲＧＢの３つの色信号を得るために、各画素の持っている色信号以外の不足した色信号を周辺画素の色信号から補間によって生成する。色補間回路６から出力された画像は、階調変換回路７によって適正な階調に変換される。階調変換回路７によって階調変換が行われた画像は、半導体メモリやハードディスク等の記録装置８に記録され、あるいはモニタ等の表示装置９に表示される。本実施形態においても、第１の実施形態と同様に、消費電力や回路規模の増大を抑えて、ブレのない広ダイナミックレンジのカラー画像を生成することができる。
【００４５】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、第１または第２の実施形態において、ベイヤ方式に配列した原色系の色フィルタの各々の色フィルタに２つまたは４つずつ画素を備えた撮像素子を説明しているが、これら以外の個数の画素を各々の色フィルタに配置させてもよい。さらに、色フィルタの配列に関しても、ベイヤ配列には限定されず、その他の色フィルタ配列にも本発明を適用することができる。また、第３の実施形態において、補色系の色フィルタを使用した色フィルタ配列の各々の色フィルタに２つずつ画素を備えた撮像素子を説明しているが、これら以外の個数の画素を各々の色フィルタに配置させてもよい。さらに、色フィルタの配列に関しても、この配列には限定されず、その他の色フィルタ配列にも本発明を適用することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の第１の実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態による撮像素子の色フィルタと画素の配列の関係を示す参考図である。
【図３】本発明の第１の実施形態による撮像素子および駆動回路の内部構成を示すブロック図である。
【図４】本発明の第１の実施形態による合成回路の内部構成を示すブロック図である。
【図５】本発明の第１の実施形態による撮像素子から同時に読み出された露光量の異なる２つの画像を示す参考図である。
【図６】本発明の第１の実施形態において、異なる露光量に対する画素の出力特性を示す参考図である。
【図７】本発明の第１の実施形態において、光量と出力の関係を示す参考図である。
【図８】本発明の第２の実施形態による撮像装置の構成を示すブロック図である。
【図９】本発明の第２の実施形態による撮像素子の色フィルタと画素の配列の関係を示す参考図である。
【図１０】本発明の第２の実施形態による撮像素子から同時に読み出された露光量の異なる４つの画像を示す参考図である。
【図１１】本発明の第２の実施形態において、異なる露光量に対する画素の出力特性を示す参考図である。
【図１２】本発明の第２の実施形態において、加算平均処理後の画像を示す参考図である。
【図１３】本発明の第２の実施形態において、光量と出力の関係を示す参考図である。
【図１４】本発明の第３の実施形態による撮像素子の色フィルタと画素の配列の関係を示す参考図である。
【図１５】従来のベイヤ配列の撮像素子の色フィルタと画素の関係を示す参考図である。
【図１６】従来の一般的な補色系色フィルタを用いた色フィルタ配列の撮像素子の色フィルタと画素の関係を示す参考図である。
【符号の説明】
【００４７】
１・・・撮像素子、２・・・駆動回路、３Ａ，３Ｂ，３Ｃ，３Ｄ・・・アナログ回路、４Ａ，４Ｂ，４Ｃ，４Ｄ・・・Ａ／Ｄ変換器、５・・・合成回路、６・・・色補間回路、７・・・階調変換回路、８・・・記録装置、９・・・表示装置、１０Ａ，１０Ｂ・・・加算平均回路、１１，１２，１３，１４・・・垂直走査回路、１５，１６・・・水平走査回路、１７，１８・・・読み出し回路、２１・・・露光量決定回路、２２・・・画素選択回路、５１・・・飽和検出回路、５２・・・信号増幅回路、５３・・・信号合成回路
【図１】
2006311240.tif 000003
【図２】
2006311240.tif 000004
【図３】
2006311240.tif 000005
【図４】
2006311240.tif 000006
【図５】
2006311240.tif 000007
【図６】
2006311240.tif 000008
【図７】
2006311240.tif 000009
【図８】
2006311240.tif 000010
【図９】
2006311240.tif 000011
【図１０】
2006311240.tif 000012
【図１１】
2006311240.tif 000013
【図１２】
2006311240.tif 000014
【図１３】
2006311240.tif 000015
【図１４】
2006311240.tif 000016
【図１５】
2006311240.tif 000017
【図１６】
2006311240.tif 000018