(57)【要約】【課題】補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置を提供する。【解決手段】それぞれ独立に電荷を読み出し可能な主画素と副画素を備える固体撮像素子５と、光源４２及び光源４２の前方に出し入れ可能に設けられ光源４２から発光される光の発光量を減少させるフィルタ４１により構成され、光源４２から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部４と、主画素露光期間のうち副画素露光期間と重複しない期間と副画素露光期間においてそれぞれ同一光量の光を光源４２から発光させる光源駆動部４２ａと、主画素露光期間中に発光される補助光の発光量と副画素露光期間中に発光される補助光の発光量との比が、主画素露光期間と副画素露光期間との比と略一致するように、上記光の発光期間中のフィルタ４１の位置を制御するフィルタ駆動部４１ａとを備える。【選択図】図１
2011114559.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、
１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、
光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部と、
前記光源を駆動する光源駆動部と、
前記フィルタの位置を制御するフィルタ駆動部とを備え、
前記光源駆動部は、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、
前記フィルタ駆動部は、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記光源駆動部は、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記第一の露光期間中に発光させるべき前記補助光の発光量のうち｛（ｎ−１）／ｎ｝の光を、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ発光させ、
前記フィルタ駆動部は、前記第一の露光期間のうち前記第二の露光期間と重複しない期間中には、前記光源から発光される光のうちの全てが補助光として発光され、前記第二の露光期間中には、前記光源から発光される光のうちの｛１／（ｎ−１）｝の光が補助光として発光されるように、前記フィルタの位置を制御する撮像装置。
【請求項３】
請求項１又は２記載の撮像装置であって、
前記フィルタが複数枚設けられている撮像装置。
【請求項４】
請求項１〜３のいずれか１項記載の撮像装置であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する撮像装置。
【請求項５】
請求項４記載の撮像装置であって、
前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、
前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている撮像装置。
【請求項６】
それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、
１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、
光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部の前記光源を駆動する光源駆動ステップと、
前記フィルタの位置を制御するフィルタ駆動ステップとを備え、
前記光源駆動ステップで、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、
前記フィルタ駆動ステップでは、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する撮像方法。
【請求項７】
請求項６記載の撮像方法であって、
前記光源駆動ステップでは、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記第一の露光期間中に発光させるべき前記補助光の発光量のうち｛（ｎ−１）／ｎ｝の光を、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ発光させ、
前記フィルタ駆動ステップでは、前記第一の露光期間のうち前記第二の露光期間と重複しない期間中には、前記光源から発光される光のうちの全てが補助光として発光され、前記第二の露光期間中には、前記光源から発光される光のうちの｛１／（ｎ−１）｝の光が補助光として発光されるように、前記フィルタの位置を制御する撮像方法。
【請求項８】
請求項６又は７記載の撮像方法であって、
前記フィルタが複数枚設けられている撮像方法。
【請求項９】
請求項６〜８のいずれか１項記載の撮像方法であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する撮像方法。
【請求項１０】
請求項９記載の撮像方法であって、
前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、
前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
単一の撮像素子を用いて広ダイナミックレンジ撮像を行うことのできる撮像装置が特許文献１，２に記載されている。また、２つの撮像素子を用いて広ダイナミックレンジ撮像を行うことのできる撮像装置が特許文献３に記載されている。これらの撮像装置では、フラッシュ光を発光させて撮影を行うときのことについて考慮されていない。
【０００３】
一方、フラッシュ撮影を行いながらも広ダイナミックレンジ撮像を実現することのできる撮像装置が特許文献４に記載されている。この撮像装置では、１つの撮像素子で第１フィールドと第２フィールドで露光量を変化させると共に、各フィールドでフラッシュ光の発光量を変化させることで、フラッシュ撮影を行っても、広ダイナミックレンジの画像データを得ることを可能にしている。
【０００４】
しかし、この撮像装置では、長時間露光と短時間露光とを別々の撮影フィールドで行っているため、長時間露光により得られた被写体画像と、短時間露光により得られた被写体画像との同時刻性が保証されておらず、若干の時間ずれが生じている。この結果、動く被写体を撮影したときには、フィールド毎に被写体のぶれ方が異なり、良好な合成画像を得ることができない。また、フィールド毎にスミアの影響が異なり、このことからも良好な合成画像を得ることができない。
【０００５】
特許文献５には、長時間露光により得られた被写体画像と、短時間露光により得られた被写体画像との同時刻性を保証した撮像装置が開示されている。この撮像装置は、正方格子状に配列された主画素と、主画素と同一配列で配列された副画素であって、各画素の配列ピッチの１／２だけ主画素の位置から水平及び垂直方向にずらして配列された副画素とを備える固体撮像素子を搭載している。そして、この撮像装置では、主画素の露光時間と副画素の露光時間を異ならせる駆動を行うことで、主画素と副画素の感度を変え、主画素から得られる信号と副画素から得られる信号を合成することにより、ダイナミックレンジを拡大している。
【０００６】
特許文献５に記載の撮像装置では、主画素の露光期間中に、副画素に蓄積された電荷を先に読み出すことで副画素の露光期間を終了している。つまり、副画素の露光期間が主画素の露光期間と重複するような制御を行っているため、動く被写体であっても、良好な合成画像を得ることができる。また、信号の読み出しを主画素と副画素で同時に行うことができるため、主画素と副画素でスミアの影響を同程度にすることができる。
【０００７】
しかし、特許文献５には、フラッシュ光を発光させて撮影を行うときのことについての記載がない。特許文献５に記載の撮像装置のように、副画素の露光期間と主画素の露光期間とを重複させるような制御を行う撮像装置において、フラッシュ光の発光を行っても良好な画像を得られるようにするには、どのようにフラッシュ光を発光させるかが課題となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１２３１５号公報
【特許文献２】特開２００１−２７５０４４号公報
【特許文献３】特開２０００−７８４６３号公報
【特許文献４】特開平９−３２６９６３号公報
【特許文献５】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記事情に鑑みてなされたものであり、補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部と、前記光源を駆動する光源駆動部と、前記フィルタの位置を制御するフィルタ駆動部とを備え、前記光源駆動部は、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、前記フィルタ駆動部は、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する。
【００１１】
本発明の撮像方法は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部の前記光源を駆動する光源駆動ステップと、前記フィルタの位置を制御するフィルタ駆動ステップとを備え、前記光源駆動ステップで、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、前記フィルタ駆動ステップでは、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する。
【発明の効果】
【００１２】
本発明によれば、補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図
【図３】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図４】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図５】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図６】図１に示したデジタルカメラにおいてダイナミックレンジ拡大倍率を４倍にするときの固体撮像素子の駆動タイミングチャート
【図７】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【図８】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１６】
図１に示すデジタルカメラは、撮影レンズ１と、絞り２と、メカニカルシャッタ３と、補助光発光部４と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子５と、アナログ信号処理部６と、ＡＤ変換部７と、レンズ駆動部１ａと、絞り駆動部２ａと、シャッタ駆動部３ａと、撮像素子駆動部５ａと、フィルタ駆動部４１ａと、光源駆動部４２ａと、システム制御部１１と、操作部１２と、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、デジタル信号処理部１７と、画像合成処理部１８と、圧縮伸張処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
【００１７】
絞り２及びメカニカルシャッタ３は、撮影レンズ１と固体撮像素子５との間に、この順番で設けられている。
【００１８】
補助光発光部４は、撮影時に明るさを補うための補助光を被写体に向けて発光するものであり、光源４２とフィルタ４１を備える。
【００１９】
光源４２は、キセノン管、ＬＥＤ等によって所定量の光を発光する。
【００２０】
フィルタ４１は、光源４２の前方に出し入れ可能に設けられ光源４２から発光される光の発光量を減少させるものである。フィルタ４１としては、例えばＮＤフィルタが挙げられる。本実施形態では、一例として、光量を１／３に減衰させることのできるフィルタ４１を２つ設けているが、フィルタ４１は少なくとも１つあればよい。これら２つのフィルタ４１は、それぞれ、図示しない機構により、光源４２の前方から退避させた状態と光源４２の前方に挿入した状態とを取ることが可能になっている。
【００２１】
２つのフィルタ４１のうち、いずれも光源４２前方から退避させたときには、光源４２からの光がそのまま補助光として被写体に発光される。２つのフィルタ４１のうち、一方を光源４２前方から退避させ、他方を光源４２前方に挿入したときには、光源４２からの光の１／３が補助光として被写体に発光される。２つのフィルタ４１のうち、いずれも光源４２前方に挿入したときには、光源４２からの光の１／９が補助光として被写体に発光される。
【００２２】
光源駆動部４２ａは、システム制御部１１から供給される発光制御信号がハイレベルの間、光源４２から光を発光させる駆動を行う。発光制御信号がハイレベルになっている期間の長さにより、光源４２から発光される光の発光量が変化する。
【００２３】
フィルタ駆動部４１ａは、フィルタ４１の位置を制御して、光源４２前方からフィルタ４１を退避させた状態と光源４２前方にフィルタ４１を挿入した状態とを切り替える。フィルタ駆動部４１ａは、システム制御部１１の制御によってフィルタ４１の位置を制御する。
【００２４】
レンズ駆動部１ａは、システム制御部１１によって制御され、撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。
【００２５】
絞り駆動部２ａは、システム制御部１１によって制御され、絞り２の開口量を制御して露光量調整を行う。
【００２６】
シャッタ駆動部３ａは、システム制御部１１によって制御され、メカニカルシャッタ３の開閉制御を行う。
【００２７】
撮像素子駆動部５ａは、システム制御部１１によって制御され、固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。
【００２８】
システム制御部１１は、デジタルカメラ全体を統括制御するものであり、中央演算処理装置（ＣＰＵ）を主体に構成されている。システム制御部１１には、操作部１２を通してユーザからの指示信号が入力される。
【００２９】
アナログ信号処理部６は、固体撮像素子５から出力される撮像信号に相関二重サンプリング処理及び信号増幅処理を施す。
【００３０】
ＡＤ変換部７は、アナログ信号処理部６で処理後の撮像信号をデジタル信号に変換する。  
【００３１】
デジタル信号処理部１７は、ＡＤ変換部７から出力された撮像信号にホワイトバランス補正、同時化処理やガンマ補正演算、ＲＧＢ／ＹＣ変換処理等を行って画像データを生成する。
【００３２】
画像合成処理部１８は、デジタル信号処理部１７で生成された感度の異なる２つの画像データを合成してダイナミックレンジを拡大した広ＤＲ画像データを生成する。
【００３３】
圧縮伸張処理部１９は、デジタル信号処理部１７で生成された画像データ、画像合成処理部１８で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする。ここで処理された画像データは、外部メモリ制御部２０の制御により、記録媒体２１に記録される。
【００３４】
メモリ制御部１５、デジタル信号処理部１７、画像合成処理部１８、圧縮伸張処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００３５】
図２は、図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図である。シリコン等の半導体基板には、受光部５１と、水平電荷転送路５２と、出力部５３とが形成されている。
【００３６】
受光部５１には、フォトダイオード等の光電変換素子を水平方向Ｘに複数並べたラインが、水平方向Ｘに直交する垂直方向Ｙに複数配列されている。
【００３７】
受光部５１の各光電変換素子で発生した電荷は、受光部５１内の図示しない垂直電荷転送路に読み出され、ここで垂直方向Ｙに転送される。垂直電荷転送路を転送されてきた１ライン分の電荷は、水平電荷転送路５２によって水平方向Ｘに転送される。水平電荷転送路５２の終端にはフローティングディフュージョアンプ（ＦＤＡ）等の、電荷をその電荷量に比例した電圧信号（以下、撮像信号ともいう）に変換して出力する出力部５３が設けられ、水平方向Ｘに転送されてきた電荷がこの出力部５３で電圧信号に変換されて外部に出力される。
【００３８】
図３、図４、図５は、図２に示す固体撮像素子の受光部５１に含まれる光電変換素子の配列例を示した図である。図３〜図５に示す“Ｒ１”，“Ｒ２”を付したブロックは、赤色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｇ１”，“Ｇ２”を付したブロックは、緑色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｂ１”，“Ｂ２”を付したブロックは、青色のカラーフィルタを受光面上方に持つ光電変換素子を示している。
【００３９】
図３に示した例は、水平方向と垂直方向に正方格子状に配列された光電変換素子５ａと、光電変換素子５ａと同一のピッチ及び同一数で正方格子状に配列された光電変換素子５ｂとを、各光電変換素子の配列ピッチの１／２だけ水平及び垂直方向にずらして配置した構成となっている。図３中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ａであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｂである。
【００４０】
図３に示したように、光電変換素子５ａ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｂ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ａの斜め隣には、その光電変換素子５ａの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｂが存在するようになっている。
【００４１】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には垂直電荷転送路５４が対応して設けられている。垂直電荷転送路５４は、対応する光電変換素子列の右側部に配置され、対応する光電変換素子列の各光電変換素子から読み出された電荷を垂直方向に転送する。垂直電荷転送路５４と、これに対応する光電変換素子列の各光電変換素子との間には、光電変換素子から垂直電荷転送路５４に電荷を読み出すための電荷読み出し領域５６（図中では模式的に矢印で示してある）が形成されている。
【００４２】
水平方向に並ぶ光電変換素子からなる光電変換素子行をラインというと、各ラインの間には、撮像素子駆動部５ａから駆動パルスが供給される転送電極Ｖ１〜Ｖ８が水平方向に蛇行して形成されている。
【００４３】
光電変換素子５ａの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ２が形成され、下側部には転送電極Ｖ３が形成されている。光電変換素子５ａの偶数番目のラインの上側部には、転送電極Ｖ６が形成され、下側部には転送電極Ｖ７が形成されている。
【００４４】
光電変換素子５ｂの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ４が形成され、下側部には転送電極Ｖ５が形成されている。光電変換素子５ｂの偶数番目のラインの上側部には、転送電極Ｖ８が形成され、下側部には転送電極Ｖ１が形成されている。
【００４５】
転送電極Ｖ３と転送電極Ｖ７は、光電変換素子５ａに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ３と転送電極Ｖ７に読み出しパルスを印加することで、光電変換素子５ａから垂直電荷転送路５４に電荷を読み出すことができる。
【００４６】
転送電極Ｖ１と転送電極Ｖ５は、光電変換素子５ｂに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ１と転送電極Ｖ５に読み出しパルスを印加することで、光電変換素子５ｂから垂直電荷転送路５４に電荷を読み出すことができる。
【００４７】
このように、光電変換素子５ａの読み出し電極と光電変換素子５ｂの読み出し電極は独立して駆動することができるため、光電変換素子５ａと光電変換素子５ｂのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ａと光電変換素子５ｂを同一構造としながらも、光電変換素子５ａと光電変換素子５ｂからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００４８】
図４に示した例は、水平方向と垂直方向に格子状に配列された光電変換素子５ｃと、光電変換素子５ｃと同一ピッチ及び同一数で格子状に配置された光電変換素子５ｄとを、光電変換素子５ｃの垂直方向の配列ピッチの１／２だけ垂直方向にずらして配置した構成となっている。図４中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｃであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｄである。
【００４９】
図４に示したように、光電変換素子５ｃ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｄ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ｃの垂直方向の隣には、その光電変換素子５ｃの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｄが存在するようになっている。
【００５０】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｃと光電変換素子５ｄから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｃと光電変換素子５ｄからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｃと光電変換素子５ｄのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｃと光電変換素子５ｄを同一構造としながらも、光電変換素子５ｃと光電変換素子５ｄからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００５１】
図５に示した例は、複数の光電変換素子（光電変換素子５ｅ，５ｆ）を水平方向と垂直方向に正方格子状に配列した構成となっている。光電変換素子５ｅと光電変換素子５ｆとは、全体として市松模様を形成するように、互いに市松状に配置されている。図５中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｅであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｆである。
【００５２】
光電変換素子５ｅは、赤色のカラーフィルタを受光面上方に持つＲ素子と青色のカラーフィルタを受光面上方に持つＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、緑色のカラーフィルタを受光面上方に持つＧ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００５３】
光電変換素子５ｆは、Ｒ素子とＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、Ｇ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００５４】
このような配置により、光電変換素子５ｅの右隣又は左隣には、その光電変換素子５ｅの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｆが存在するようになっている。
【００５５】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｅと光電変換素子５ｆから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｅと光電変換素子５ｆからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｅと光電変換素子５ｆのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｅと光電変換素子５ｆを同一構造としながらも、光電変換素子５ｅと光電変換素子５ｆからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００５６】
以下では、図３〜図５に示した光電変換素子５ａ，５ｃ，５ｅを主画素といい、光電変換素子５ｂ，５ｄ，５ｆを副画素という。また、隣接する主画素と副画素であって、同一色のカラーフィルタを受光面上方に持つ主画素と副画素の組み合わせをペアという。図３〜図５に示した配列は、このペアを複数個規則的に配置したものとも言うことができる。
【００５７】
このデジタルカメラは、高解像度撮影モードと、高感度撮影モードと、ダイナミックレンジを拡大した撮影を行う広ＤＲ撮影モードとを設定可能になっている。
【００５８】
高解像度撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、主画素及び副画素から得られた全ての信号を用いて高解像度の画像データを生成する。この画像データは圧縮後、記録媒体２１に記録される。
【００５９】
高感度撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、ペアのうち主画素から得られた信号と副画素から得られた信号を合成し、合成後の信号を用いて高感度の画像データを生成する。この画像データは圧縮後、記録媒体２１に記録される。
【００６０】
広ＤＲ撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を異ならせて撮像を実施する。デジタル信号処理部１７では、主画素から得られた信号から主画素画像データを生成し、副画素から得られた信号から副画素画像データを生成する。画像合成処理部１８では、これら主画素画像データと副画素画像データを合成することで、ダイナミックレンジを拡大した広ＤＲ画像データを生成する。この広ＤＲ画像データは圧縮後、記録媒体２１に記録される。
【００６１】
システム制御部１１は、広ＤＲ撮影モードでは、主画素を露光する主画素露光期間、及び、副画素を露光する副画素露光期間であって主画素露光期間と重複しかつ主画素露光期間よりも短い副画素露光期間の２つの露光期間で固体撮像素子５により撮像を実施する制御を行う。
【００６２】
広ＤＲ撮影モードにおいて補助光を発光した撮影を行い、かつ、ダイナミックレンジを正確に拡大させるには、主画素露光期間と副画素露光期間の比をｎ：１とすると、補助光の発光量を主画素露光期間と副画素露光期間とでｎ：１に正確に制御する必要がある。そこで、このデジタルカメラでは、広ＤＲ撮影モードにおいて補助光発光部４から補助光を発光させて撮影を行う場合、システム制御部１１が、主画素露光期間中に発光させるべき補助光の発光量のうち｛（ｎ−１）／ｎ｝の光を、主画素露光期間のうち副画素露光期間と重複しない期間と副画素露光期間においてそれぞれ光源４２から発光させるよう、光源駆動部４２ａを制御する。
【００６３】
また、システム制御部１１は、主画素露光期間のうち副画素露光期間と重複しない期間中には、光源４２から発光される光のうちの全てが補助光として被写体に発光され、副画素露光期間中には、光源４２から発光される光のうちの｛１／（ｎ−１）｝の光が補助光として被写体に発光されるように、フィルタ駆動部４１ａを制御してフィルタ４１の位置を制御する。
【００６４】
このような制御により、主画素露光期間で発光される補助光の発光量と副画素露光期間で発光される補助光の発光量の比を、[｛（ｎ−１）／ｎ｝＋｛１／ｎ｝]：（１／ｎ）＝ｎ：１にすることができ、ダイナミックレンジを正確に拡大させることができる。
【００６５】
以下では、広ＤＲ撮影モードにおいて補助光を発光させて撮影を行う場合のデジタルカメラの動作例を説明する。
【００６６】
図６は、図１に示したデジタルカメラにおいてダイナミックレンジ拡大倍率を４倍にするときの固体撮像素子の駆動タイミングチャートである。図６において、“メカニカルシャッタ”はメカニカルシャッタ３の状態を示している。“副画素Ｖ電極”は、副画素に対応する読み出し電極に印加されるパルスの状態を示している。“主画素Ｖ電極”は、主画素に対応する読み出し電極に印加されるパルスの状態を示している。“電子シャッタ”は、固体撮像素５の半導体基板に印加される電子シャッタパルスの状態を示している。“補助光”は、補助光発光部４から被写体に発光される補助光の状態を示している。
【００６７】
なお、図６は、ダイナミックレンジ拡大倍率を４倍にする際の駆動例であるため、上述したｎの値が“４”であり、主画素露光期間で発光させる補助光の発光量と、副画素露光期間で発光させる補助光の発光量との比を４：１に制御するようにしている。なお、撮影中に発光させる補助光の発光量は、ＴＴＬ（Through The Lens）調光制御方式によってシステム制御部１１が算出する。つまり、補助光発光部４によって撮影前に任意の発光量で補助光の発光を行い、この発光時に固体撮像素子５で撮像して得られる撮像信号に基づいて発光量の算出を行う。
【００６８】
ユーザから撮影指示がなされると、システム制御部１１は、電子シャッタパルスａをオフにして、電子シャッタを“開”の状態にし、主画素露光期間ｂを開始する。主画素露光期間ｂの３／４が経過した時点で、システム制御部１１は、副画素読み出し制御信号を撮像素子駆動部５ａに供給する。これにより、副画素に対応する読み出し電極に読み出しパルスｃが印加され、主画素露光期間ｂの開始から該時点までに副画素に蓄積されていた不要電荷が垂直電荷転送路に読み出されて、副画素露光期間ｄが開始される。
【００６９】
システム制御部１１は、主画素露光期間ｂのうち副画素露光期間ｄと重複しない期間において、ＴＴＬ調光制御方式によって算出した所定の発光量のうちの３／４の光を光源４２から発光させる。この光の発光期間中、システム制御部１１は、光源４２の前方から２つのフィルタ４１を退避させておく。即ち、光源４２から発光させる光のうちの全てが補助光として被写体に発光されるようにフィルタ駆動部４１ａを制御する。図６に示したように、発光制御信号がハイレベルになった時点で、光源４２からの光がそのまま補助光ｅとして発光され、発光制御信号がローレベルになった時点で補助光ｅの発光が停止される。
【００７０】
また、システム制御部１１は、副画素露光期間ｄにおいても、ＴＴＬ調光制御方式によって算出した所定の発光量のうちの３／４の光を光源４２から発光させる。この発光期間中、システム制御部１１は、光源４２の前方に２つのフィルタ４１のうちの一方を挿入させておく。即ち、光源４２から発光させる光のうちの１／３が補助光として被写体に発光されるようにフィルタ駆動部４１ａを制御する。図６に示したように、発光制御信号がハイレベルになった時点で、光源４２からの光の１／３が補助光ｆとして発光され、発光制御信号がローレベルになった時点で補助光ｆの発光が停止される。
【００７１】
システム制御部１１は、発光制御信号をローレベルにして補助光ｆの発光を停止させた後、主画素露光期間ｂ及び副画素露光期間ｄの終了タイミングにおいてメカニカルシャッタ３を閉じる制御を行い、主画素露光期間ｂ及び副画素露光期間ｄを終了する。主画素露光期間ｂ及び副画素露光期間ｄの終了後、システム制御部１１は、垂直電荷転送路上に存在する不要電荷の掃き出しを行った後、主画素と副画素に対応する読み出し電極に読み出しパルスｇを印加して、主画素及び副画素に蓄積された電荷を垂直電荷転送路に読み出し、読み出した電荷を転送して、該電荷に応じた信号を固体撮像素子５から出力させる。
【００７２】
このように固体撮像素子５を駆動することで、主画素露光期間ｂにおいて発光される補助光の発光量と、副画素露光期間ｄにおいて発光される補助光の発光量との比を、主画素露光期間ｂと副画素露光期間ｄの比とほぼ同じにすることができる。この結果、主画素露光期間ｂと副画素露光期間ｄの比に基づいた倍率でダイナミックレンジを正確に拡大させることができる。
【００７３】
次に、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の全体的な動作を図７及び図８のフローチャートを用いて説明する。
【００７４】
広ＤＲ撮影モードに設定されると、システム制御部１１は、ダイナミックレンジ拡大倍率を設定する（ステップＳ１）。ダイナミックレンジ拡大倍率は、固体撮像素子５から取り込んだ撮影画像データに基づいて自動的に設定してもよいし、ユーザから予め指定された値を設定してもよい。
【００７５】
次に、操作部１２に含まれるレリーズボタンがユーザによって半押しされ、ＡＥ（自動露出）・ＡＦ（自動焦点調節）の指示がなされると、システム制御部１１は、固体撮像素子５によりプレ撮像を実施すると共に、このプレ撮像中に補助光発光部４から所定量の補助光を発光させる（ステップＳ２）。このプレ撮像は、例えば、高解像度撮影モード時と同じように全ての画素を同一時間で露光し、全ての画素から信号を読み出すことで行ってもよいし、固体撮像素子５の主画素又は副画素のみを露光し、主画素又は副画素から信号を読み出すことで行ってもよい。
【００７６】
プレ撮像の終了後、システム制御部１１は、プレ撮像によって固体撮像素子５から出力された撮像信号に基づいて、主画素露光期間中に発光させるべき補助光の発光量の算出、ＡＥ・ＡＦ処理を実施する。なお、補助光をプレ発光して撮像を実施し、この撮像によって得られたデータから補助光の発光量を算出する方法が、上述したＴＴＬ調光制御方式である。
【００７７】
次に、システム制御部１１は、設定されているダイナミックレンジ拡大倍率を判別し（ステップＳ３）、判別した拡大倍率に応じて、光源４２から発光させる光の光量と、フィルタ４１の状態とを設定する。
【００７８】
ダイナミックレンジ拡大倍率が１０倍であった場合、この場合は上述したｎの値が１０になる。このため、システム制御部１１は、主画素露光期間のうちの副画素露光期間と重複しない期間と副画素露光期間のそれぞれで光源４２から発光させる光の発光量を、ＴＴＬ調光制御方式で算出した発光量の９／１０に設定する。また、主画素露光期間において光源４２から光を発光させる期間には２つのフィルタ４１を光源４２の前方から退避させ、副画素露光期間において光源４２から光を発光させる期間には２つのフィルタ４１を光源４２の前方に挿入する設定を行う（ステップＳ４）。
【００７９】
ダイナミックレンジ拡大倍率が４倍であった場合、この場合は上述したｎの値が４になる。このため、システム制御部１１は、主画素露光期間のうちの副画素露光期間と重複しない期間と副画素露光期間のそれぞれで光源４２から発光させる光の発光量を、ＴＴＬ調光制御方式で算出した発光量の３／４に設定する。また、主画素露光期間において光源４２から光を発光させる期間には２つのフィルタ４１を光源４２の前方から退避させ、副画素露光期間において光源４２から光を発光させる期間には２つのフィルタ４１のいずれかを光源４２の前方に挿入する設定を行う（ステップＳ５）。
【００８０】
ダイナミックレンジ拡大倍率が２倍であった場合、この場合は上述したｎの値が２になる。このため、システム制御部１１は、主画素露光期間のうちの副画素露光期間と重複しない期間と副画素露光期間のそれぞれで光源４２から発光させる光の発光量を、ＴＴＬ調光制御方式で算出した発光量の１／２に設定する。また、主画素露光期間において光源４２から光を発光させる期間と、副画素露光期間において光源４２から光を発光させる期間のいずれにおいても、２つのフィルタ４１を光源４２の前方から退避させる設定を行う（ステップＳ６）。
【００８１】
次に、システム制御部１１は、ステップＳ４、ステップＳ５、ステップＳ６で設定した発光量に基づいて光源４２から光を発光させるタイミングを設定する（ステップＳ７）。具体的には、発光制御信号をハイレベルにするタイミングを設定する（ステップＳ７）。
【００８２】
発光タイミング設定後、操作部１２に含まれるレリーズボタンがユーザによって全押しされ、記録のための撮影指示がなされると、システム制御部１１は、電子シャッタを“開”にして主画素露光期間を開始する（ステップＳ８）。
【００８３】
主画素露光期間において、ステップＳ７で設定した発光タイミングになると、システム制御部１１は、光源４２から光を発光させる（ステップＳ９）。光源４２からの発光終了後、主画素露光期間の｛（ｎ−１）／ｎ｝の時間が経過した時点で、システム制御部１１は、副画素から不要電荷を読み出して副画素露光期間を開始する。副画素露光期間の開始後、ステップＳ４〜ステップＳ６で設定した内容となるように、２つのフィルタ４１の位置を制御する（ステップＳ１０）。
【００８４】
ステップＳ１０の後、副画素露光期間において、ステップＳ７で設定した発光タイミングになると、システム制御部１１は、光源４２から光を発光させる（ステップＳ１１）。
【００８５】
次に、システム制御部１１は、メカニカルシャッタ３を閉じて、主画素露光期間と副画素露光期間を同時に終了する（ステップＳ１２）。ステップＳ１２の後、システム制御部１１は、垂直電荷転送路内の不要電荷を高速で掃き出し（ステップＳ１３）、その後、主画素と副画素から垂直電荷転送路に電荷を読み出す（ステップＳ１４）。
【００８６】
ステップＳ１４の後は、システム制御部１１が、垂直電荷転送路に読み出されている主画素からの電荷と副画素からの電荷を転送して該電荷に応じた信号を固体撮像素子５から出力させる（ステップＳ１５）。この後は、デジタル信号処理部１７が、主画素から得られた信号から主画素画像データを生成し、副画素から得られた信号から副画素画像データを生成し、これらをメインメモリ１６に記憶する（ステップＳ１６）。次に、画像合成処理部１８が、主画素画像データと副画素画像データを合成して広ＤＲ画像データを生成する（ステップＳ１７）。次に、外部メモリ制御部２０がこの広ＤＲ画像データを記録媒体２１に記録して（ステップＳ１８）、撮像動作が終了する。
【００８７】
以上のように、このデジタルカメラによれば、主画素露光期間に発光される補助光の発光量と、副画素露光期間に発光される補助光の発光量の比を、主画素露光期間と副画素露光期間の比とほぼ同じにすることができる。このため、主画素露光期間で得られる撮像データと副画素露光期間で得られる撮像データを合成することで、正確にダイナミックレンジを拡大した画像データを得ることができる。また、このような効果を、フィルタ４１の出し入れだけで実現することができ、その制御が容易になる。
【００８８】
また、図６に示した駆動によれば、主画素露光期間と副画素露光期間とが重複しているため、動く被写体であっても、高画質の画像を得ることができる。また、主画素露光期間と副画素露光期間におけるスミアの影響をほぼ同じにすることができるため、ダイナミックレンジを正確に拡大させることができる。
【００８９】
なお、以上の説明では、主画素露光期間を開始し、その途中で副画素露光期間を開始し、主画素露光期間と副画素露光期間を同時に終了させるものとしたが、これに限らない。主画素露光期間と副画素露光期間を同時に開始し、途中で副画素露光期間を終了させるようにしてもよい。この場合でも、主画素露光期間のうち副画素露光期間と重複しない期間と、副画素露光期間とにおいてそれぞれ同一光量の光を光源４２から発光させ、副画素露光期間の発光期間中は、フィルタ４１の位置を制御して、補助光の発光量を調整すればよい。
【００９０】
また、以上の説明では、主画素露光期間のうち副画素露光期間と重複しない期間で光を発光させるときに、光源４２の前方にフィルタ４１を挿入しないようにしているが、これは光源４２からの光を効率的に利用するためであり、ダイナミックレンジを正確に拡大する目的からすれば、フィルタ４１を挿入してしまってもよい。その場合には、主画素露光期間に発光される補助光の発光量と、副画素露光期間に発光される補助光の発光量の比が、主画素露光期間と副画素露光期間の比とほぼ同じになるように、副画素露光期間におけるフィルタ４１の位置やフィルタ４１の光量減少率等を決めておけばよい。
【００９１】
以上説明したように、本明細書には以下の事項が開示されている。
【００９２】
開示された撮像装置は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部と、前記光源を駆動する光源駆動部と、前記フィルタの位置を制御するフィルタ駆動部とを備え、前記光源駆動部は、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、前記フィルタ駆動部は、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する。
【００９３】
この構成により、フィルタの位置を制御することで、第一の露光期間に発光される補助光の発光量と、第二の露光期間に発光される補助光の発光量の比を、第一の露光期間と第二の露光期間の比とほぼ同じにすることができる。このため、第一の露光期間で得られる撮像データと第二の露光期間で得られる撮像データを合成することで、正確にダイナミックレンジを拡大した画像データを得ることができる。
【００９４】
開示された撮像装置は、前記光源駆動部は、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記第一の露光期間中に発光させるべき前記補助光の発光量のうち｛（ｎ−１）／ｎ｝の光を、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ発光させ、前記フィルタ駆動部は、前記第一の露光期間のうち前記第二の露光期間と重複しない期間中には、前記光源から発光される光のうちの全てが補助光として発光され、前記第二の露光期間中には、前記光源から発光される光のうちの｛１／（ｎ−１）｝の光が補助光として発光されるように、前記フィルタの位置を制御する。
【００９５】
この構成により、光源からの光を効率的に利用することができる。
【００９６】
開示された撮像装置は、前記フィルタが複数枚設けられている。
【００９７】
この構成により、ダイナミックレンジ拡大倍率の設定数を増やすことができ、シーンに応じた最適な撮影が可能となる。
【００９８】
開示された撮像装置は、前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する。
【００９９】
開示された撮像装置は、前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている。
【０１００】
開示された撮像方法は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、光源、及び、前記光源の前方に出し入れ可能に設けられ前記光源から発光される光の発光量を減少させるフィルタにより構成され、前記光源から発光される光の少なくとも一部を補助光として被写体に向けて発光する補助光発光部の前記光源を駆動する光源駆動ステップと、前記フィルタの位置を制御するフィルタ駆動ステップとを備え、前記光源駆動ステップで、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ同一光量の光を前記光源から発光させ、前記フィルタ駆動ステップでは、前記第一の露光期間中に発光される補助光の発光量と前記第二の露光期間中に発光される補助光の発光量との比が、前記第一の露光期間と前記第二の露光期間との比と略一致するように、前記光の発光期間中の前記フィルタの位置を制御する。
【０１０１】
開示された撮像方法は、前記光源駆動ステップでは、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記第一の露光期間中に発光させるべき前記補助光の発光量のうち｛（ｎ−１）／ｎ｝の光を、前記第一の露光期間のうち前記第二の露光期間と重複しない期間と前記第二の露光期間においてそれぞれ発光させ、前記フィルタ駆動ステップでは、前記第一の露光期間のうち前記第二の露光期間と重複しない期間中には、前記光源から発光される光のうちの全てが補助光として発光され、前記第二の露光期間中には、前記光源から発光される光のうちの｛１／（ｎ−１）｝の光が補助光として発光されるように、前記フィルタの位置を制御する。
【０１０２】
開示された撮像方法は、前記フィルタが複数枚設けられている。
【０１０３】
開示された撮像方法は、前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する。
【０１０４】
開示された撮像方法は、前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている。
【符号の説明】
【０１０５】
５  固体撮像素子
４  補助光発光部
４１  フィルタ
４２  光源
４１ａ  フィルタ駆動部
４２ａ  光源駆動部
【図１】
2011114559.tif 000003
【図２】
2011114559.tif 000004
【図３】
2011114559.tif 000005
【図４】
2011114559.tif 000006
【図５】
2011114559.tif 000007
【図６】
2011114559.tif 000008
【図７】
2011114559.tif 000009
【図８】
2011114559.tif 000010