(57)【要約】【課題】補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置を提供する。【解決手段】それぞれ独立に電荷を読み出し可能な主画素と副画素を備える固体撮像素子５と、補助光を発光する補助光発光部１０と、ＴＴＬ調光制御方式により補助光の発光量を算出し、算出した発光量に応じて、主画素露光期間の途中で副画素露光期間を開始し主画素露光期間と副画素露光期間を同時に終了させる第一の制御（図６）と、主画素露光期間と副画素露光期間を同時に開始し主画素露光期間の途中で副画素露光期間を終了させる第二の制御（図７）とのいずれかを選択して実施するシステム制御部１１とを備え、補助光発光部１０は、第一の制御時には、副画素露光期間の開始直前のタイミングで補助光の発光を開始し、第二の制御時には、副画素露光期間の終了直前のタイミングで補助光の発光を開始する。【選択図】図６
2011114558.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、
１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、
補助光を発光する補助光発光部と、
前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出部とを備え、
前記撮像制御部は、前記発光量算出部によって算出された発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、
前記補助光発光部は、前記第一の制御が実施されるときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、前記第二の制御が実施されるときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、
前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出部によって算出された発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記撮像制御部が、前記発光量算出部によって算出された発光量が閾値よりも大きいときには前記第一の制御を実施し、前記発光量算出部によって算出された発光量が前記閾値以下のときには前記第二の制御を実施する撮像装置。
【請求項３】
請求項１又は２記載の撮像装置であって、
前記撮像制御部が、前記第一の露光期間の開始を電子シャッタパルス印加停止で行い、前記第一の露光期間の終了をメカニカルシャッタ“閉”で行う撮像装置。
【請求項４】
請求項３記載の撮像装置であって、
前記第一の制御時には、前記撮像制御部が、前記メカニカルシャッタを閉じた後、前記固体撮像素子の電荷転送路上にある不要電荷を掃き出してから、前記第一の光電変換素子及び前記第二の光電変換素子から前記電荷転送路に電荷を読み出す撮像装置。
【請求項５】
請求項１〜４のいずれか１項記載の撮像装置であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する撮像装置。
【請求項６】
請求項５記載の撮像装置であって、
前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、
前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている撮像装置。
【請求項７】
請求項１〜６のいずれか１項記載の撮像装置であって、
前記発光量算出部が、ＴＴＬ調光制御方式により発光量を算出する撮像装置。
【請求項８】
それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、
１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、
補助光を発光する補助光発光ステップと、
前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出ステップとを備え、
前記撮像制御ステップでは、前記発光量算出ステップで算出した発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、
前記補助光発光ステップでは、前記第一の制御を実施するときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、前記第二の制御を実施するときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、
前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出ステップで算出した発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである撮像方法。
【請求項９】
請求項８記載の撮像方法であって、
前記撮像制御ステップでは、前記発光量算出ステップで算出した発光量が閾値よりも大きいときには前記第一の制御を実施し、前記発光量算出ステップで算出した発光量が前記閾値以下のときには前記第二の制御を実施する撮像方法。
【請求項１０】
請求項８又は９記載の撮像方法であって、
前記撮像制御ステップでは、前記第一の露光期間の開始を電子シャッタパルス印加停止で行い、前記第一の露光期間の終了をメカニカルシャッタ“閉”で行う撮像方法。
【請求項１１】
請求項１０記載の撮像方法であって、
前記第一の制御時に、前記撮像制御ステップでは、前記メカニカルシャッタを閉じた後、前記固体撮像素子の電荷転送路上にある不要電荷を掃き出してから、前記第一の光電変換素子及び前記第二の光電変換素子から前記電荷転送路に電荷を読み出す撮像方法。
【請求項１２】
請求項８〜１１のいずれか１項記載の撮像方法であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する撮像方法。
【請求項１３】
請求項１２記載の撮像方法であって、
前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、
前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている撮像方法。
【請求項１４】
請求項８〜１３のいずれか１項記載の撮像方法であって、
前記発光量算出ステップでは、ＴＴＬ調光制御方式により発光量を算出する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
単一の撮像素子を用いて広ダイナミックレンジ撮像を行うことのできる撮像装置が特許文献１，２に記載されている。また、２つの撮像素子を用いて広ダイナミックレンジ撮像を行うことのできる撮像装置が特許文献３に記載されている。これらの撮像装置では、フラッシュ光を発光させて撮影を行うときのことについて考慮されていない。
【０００３】
一方、フラッシュ撮影を行いながらも広ダイナミックレンジ撮像を実現することのできる撮像装置が特許文献４に記載されている。この撮像装置では、１つの撮像素子で第１フィールドと第２フィールドで露光量を変化させると共に、各フィールドでフラッシュ光の発光量を変化させることで、フラッシュ撮影を行っても、広ダイナミックレンジの画像データを得ることを可能にしている。
【０００４】
しかし、この撮像装置では、長時間露光と短時間露光とを別々の撮影フィールドで行っているため、長時間露光により得られた被写体画像と、短時間露光により得られた被写体画像との同時刻性が保証されておらず、若干の時間ずれが生じている。この結果、動く被写体を撮影したときには、フィールド毎に被写体のぶれ方が異なり、良好な合成画像を得ることができない。また、フィールド毎にスミアの影響が異なり、このことからも良好な合成画像を得ることができない。
【０００５】
特許文献５には、長時間露光により得られた被写体画像と、短時間露光により得られた被写体画像との同時刻性を保証した撮像装置が開示されている。この撮像装置は、正方格子状に配列された主画素と、主画素と同一配列で配列された副画素であって、各画素の配列ピッチの１／２だけ主画素の位置から水平及び垂直方向にずらして配列された副画素とを備える固体撮像素子を搭載している。そして、この撮像装置では、主画素の露光時間と副画素の露光時間を異ならせる駆動を行うことで、主画素と副画素の感度を変え、主画素から得られる信号と副画素から得られる信号を合成することにより、ダイナミックレンジを拡大している。
【０００６】
特許文献５に記載の撮像装置では、主画素の露光期間中に、副画素に蓄積された電荷を先に読み出すことで副画素の露光期間を終了している。つまり、副画素の露光期間が主画素の露光期間と重複するような制御を行っているため、動く被写体であっても、良好な合成画像を得ることができる。また、信号の読み出しを主画素と副画素で同時に行うことができるため、主画素と副画素でスミアの影響を同程度にすることができる。
【０００７】
しかし、特許文献５には、フラッシュ光を発光させて撮影を行うときのことについての記載がない。特許文献５に記載の撮像装置のように、副画素の露光期間と主画素の露光期間とを重複させるような制御を行う撮像装置において、フラッシュ光の発光を行っても良好な画像を得られるようにするには、どのようにフラッシュ光を発光させるかが課題となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１２３１５号公報
【特許文献２】特開２００１−２７５０４４号公報
【特許文献３】特開２０００−７８４６３号公報
【特許文献４】特開平９−３２６９６３号公報
【特許文献５】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記事情に鑑みてなされたものであり、補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、補助光を発光する補助光発光部と、前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出部とを備え、前記撮像制御部は、前記発光量算出部によって算出された発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、前記補助光発光部は、前記第一の制御が実施されるときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、前記第二の制御が実施されるときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出部によって算出された発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである。
【００１１】
本発明の撮像方法は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、補助光を発光する補助光発光ステップと、前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出ステップとを備え、前記撮像制御ステップでは、前記発光量算出ステップで算出した発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、前記補助光発光ステップでは、前記第一の制御を実施するときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、前記第二の制御を実施するときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出ステップで算出した発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである。
【発明の効果】
【００１２】
本発明によれば、補助光を発光させた撮影を行っても良好なダイナミックレンジ拡大画像を得ることが可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図
【図３】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図４】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図５】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図６】図１に示したデジタルカメラのシステム制御部が第一の撮像制御で撮像を行うときのデジタルカメラの動作を説明するタイミングチャート
【図７】図１に示したデジタルカメラのシステム制御部が第二の撮像制御で撮像を行うときのデジタルカメラの動作を説明するタイミングチャート
【図８】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【図９】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１６】
図１に示すデジタルカメラは、撮影レンズ１と、絞り２と、メカニカルシャッタ３と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子５と、アナログ信号処理部６と、ＡＤ変換部７と、レンズ駆動部１ａと、絞り駆動部２ａと、シャッタ駆動部３ａと、撮像素子駆動部５ａと、システム制御部１１と、補助光発光部１０と、発光駆動部１０ａと、操作部１２と、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、デジタル信号処理部１７と、画像合成処理部１８と、圧縮伸張処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
【００１７】
絞り２及びメカニカルシャッタ３は、撮影レンズ１と固体撮像素子５との間に、この順番で設けられている。
【００１８】
補助光発光部１０は、撮影時に被写体を照明するための補助光を発光するものであり、キセノン管、ＬＥＤ等によって補助光（フラッシュ光）を発光する。
【００１９】
システム制御部１１は、レンズ駆動部１ａを制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。システム制御部１１は、絞り駆動部２ａを介し絞り２の開口量を制御して露光量調整を行ったり、シャッタ駆動部３ａを介しメカニカルシャッタ３の開閉制御をしたりする。システム制御部１１は、撮像素子駆動部５ａを介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１は、発光駆動部１０ａを介し補助光発光部１０から補助光を発光させる。システム制御部１１には、操作部１２を通してユーザからの指示信号が入力される。
【００２０】
アナログ信号処理部６は、固体撮像素子５から出力される撮像信号に相関二重サンプリング処理及び信号増幅処理を施す。ＡＤ変換部７は、アナログ信号処理部６で処理後の撮像信号をデジタル信号に変換する。デジタル信号処理部１７は、ＡＤ変換部７から出力された撮像信号にホワイトバランス補正、同時化処理やガンマ補正演算、ＲＧＢ／ＹＣ変換処理等を行って画像データを生成する。
【００２１】
画像合成処理部１８は、デジタル信号処理部１７で生成された感度の異なる２つの画像データを合成してダイナミックレンジを拡大した広ＤＲ画像データを生成する。
【００２２】
圧縮伸張処理部１９は、デジタル信号処理部１７で生成された画像データ、画像合成処理部１８で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする。ここで処理された画像データは、外部メモリ制御部２０の制御により、記録媒体２１に記録される。
【００２３】
メモリ制御部１５、デジタル信号処理部１７、画像合成処理部１８、圧縮伸張処理部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００２４】
図２は、図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図である。シリコン等の半導体基板には、受光部５１と、水平電荷転送路５２と、出力部５３とが形成されている。
【００２５】
受光部５１には、フォトダイオード等の光電変換素子を水平方向Ｘに複数並べたラインが、水平方向Ｘに直交する垂直方向Ｙに複数配列されている。
【００２６】
受光部５１の各光電変換素子で発生した電荷は、受光部５１内の図示しない垂直電荷転送路に読み出され、ここで垂直方向Ｙに転送される。垂直電荷転送路を転送されてきた１ライン分の電荷は、水平電荷転送路５２によって水平方向Ｘに転送される。水平電荷転送路５２の終端にはフローティングディフュージョアンプ（ＦＤＡ）等の、電荷をその電荷量に比例した電圧信号（以下、撮像信号ともいう）に変換して出力する出力部５３が設けられ、水平方向Ｘに転送されてきた電荷がこの出力部５３で電圧信号に変換されて外部に出力される。
【００２７】
図３、図４、図５は、図２に示す固体撮像素子の受光部５１に含まれる光電変換素子の配列例を示した図である。図３〜図５に示す“Ｒ１”，“Ｒ２”を付したブロックは、赤色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｇ１”，“Ｇ２”を付したブロックは、緑色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｂ１”，“Ｂ２”を付したブロックは、青色のカラーフィルタを受光面上方に持つ光電変換素子を示している。
【００２８】
図３に示した例は、水平方向と垂直方向に正方格子状に配列された光電変換素子５ａと、光電変換素子５ａと同一のピッチ及び同一数で正方格子状に配列された光電変換素子５ｂとを、各光電変換素子の配列ピッチの１／２だけ水平及び垂直方向にずらして配置した構成となっている。図３中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ａであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｂである。
【００２９】
図３に示したように、光電変換素子５ａ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｂ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ａの斜め隣には、その光電変換素子５ａの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｂが存在するようになっている。
【００３０】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には垂直電荷転送路５４が対応して設けられている。垂直電荷転送路５４は、対応する光電変換素子列の右側部に配置され、対応する光電変換素子列の各光電変換素子から読み出された電荷を垂直方向に転送する。垂直電荷転送路５４と、これに対応する光電変換素子列の各光電変換素子との間には、光電変換素子から垂直電荷転送路５４に電荷を読み出すための電荷読み出し領域５６（図中では模式的に矢印で示してある）が形成されている。
【００３１】
水平方向に並ぶ光電変換素子からなる光電変換素子行をラインというと、各ラインの間には、撮像素子駆動部５ａから駆動パルスが供給される転送電極Ｖ１〜Ｖ８が水平方向に蛇行して形成されている。
【００３２】
光電変換素子５ａの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ２が形成され、下側部には転送電極Ｖ３が形成されている。光電変換素子５ａの偶数番目のラインの上側部には、転送電極Ｖ６が形成され、下側部には転送電極Ｖ７が形成されている。
【００３３】
光電変換素子５ｂの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ４が形成され、下側部には転送電極Ｖ５が形成されている。光電変換素子５ｂの偶数番目のラインの上側部には、転送電極Ｖ８が形成され、下側部には転送電極Ｖ１が形成されている。
【００３４】
転送電極Ｖ３と転送電極Ｖ７は、光電変換素子５ａに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ３と転送電極Ｖ７に読み出しパルスを印加することで、光電変換素子５ａから垂直電荷転送路５４に電荷を読み出すことができる。
【００３５】
転送電極Ｖ１と転送電極Ｖ５は、光電変換素子５ｂに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ１と転送電極Ｖ５に読み出しパルスを印加することで、光電変換素子５ｂから垂直電荷転送路５４に電荷を読み出すことができる。
【００３６】
このように、光電変換素子５ａの読み出し電極と光電変換素子５ｂの読み出し電極は独立して駆動することができるため、光電変換素子５ａと光電変換素子５ｂのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ａと光電変換素子５ｂを同一構造としながらも、光電変換素子５ａと光電変換素子５ｂからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００３７】
図４に示した例は、水平方向と垂直方向に格子状に配列された光電変換素子５ｃと、光電変換素子５ｃと同一ピッチ及び同一数で格子状に配置された光電変換素子５ｄとを、光電変換素子５ｃの垂直方向の配列ピッチの１／２だけ垂直方向にずらして配置した構成となっている。図４中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｃであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｄである。
【００３８】
図４に示したように、光電変換素子５ｃ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｄ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ｃの垂直方向の隣には、その光電変換素子５ｃの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｄが存在するようになっている。
【００３９】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｃと光電変換素子５ｄから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｃと光電変換素子５ｄからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｃと光電変換素子５ｄのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｃと光電変換素子５ｄを同一構造としながらも、光電変換素子５ｃと光電変換素子５ｄからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００４０】
図５に示した例は、複数の光電変換素子（光電変換素子５ｅ，５ｆ）を水平方向と垂直方向に正方格子状に配列した構成となっている。光電変換素子５ｅと光電変換素子５ｆとは、全体として市松模様を形成するように、互いに市松状に配置されている。図５中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｅであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｆである。
【００４１】
光電変換素子５ｅは、赤色のカラーフィルタを受光面上方に持つＲ素子と青色のカラーフィルタを受光面上方に持つＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、緑色のカラーフィルタを受光面上方に持つＧ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００４２】
光電変換素子５ｆは、Ｒ素子とＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、Ｇ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００４３】
このような配置により、光電変換素子５ｅの右隣又は左隣には、その光電変換素子５ｅの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｆが存在するようになっている。
【００４４】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｅと光電変換素子５ｆから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｅと光電変換素子５ｆからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｅと光電変換素子５ｆのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｅと光電変換素子５ｆを同一構造としながらも、光電変換素子５ｅと光電変換素子５ｆからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００４５】
以下では、図３〜図５に示した光電変換素子５ａ，５ｃ，５ｅを主画素といい、光電変換素子５ｂ，５ｄ，５ｆを副画素という。また、隣接する主画素と副画素であって、同一色のカラーフィルタを受光面上方に持つ主画素と副画素の組み合わせをペアという。図３〜図５に示した配列は、このペアを複数個規則的に配置したものとも言うことができる。
【００４６】
このデジタルカメラは、高解像度撮影モードと、高感度撮影モードと、ダイナミックレンジを拡大した撮影を行う広ＤＲ撮影モードとを設定可能になっている。
【００４７】
高解像度撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、主画素及び副画素から得られた全ての信号を用いて高解像度の画像データを生成する。この画像データは圧縮後、記録媒体２１に記録される。
【００４８】
高感度撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、ペアのうち主画素から得られた信号と副画素から得られた信号を合成し、合成後の信号を用いて高感度の画像データを生成する。この画像データは圧縮後、記録媒体２１に記録される。
【００４９】
広ＤＲ撮影モードでは、システム制御部１１が、主画素と副画素の各々の露光時間を異ならせて撮像を実施する。デジタル信号処理部１７では、主画素から得られた信号から主画素画像データを生成し、副画素から得られた信号から副画素画像データを生成する。画像合成処理部１８では、これら主画素画像データと副画素画像データを合成することで、ダイナミックレンジを拡大した広ＤＲ画像データを生成する。この広ＤＲ画像データは圧縮後、記録媒体２１に記録される。
【００５０】
システム制御部１１は、広ＤＲ撮影モードでは、主画素を露光する主画素露光期間、及び、副画素を露光する副画素露光期間であって主画素露光期間と重複しかつ主画素露光期間よりも短い副画素露光期間の２つの露光期間で固体撮像素子５により撮像を実施する制御を行う。
【００５１】
広ＤＲ撮影モードにおいて更に補助光発光部１０から補助光を発光させて撮影を行う場合、システム制御部１１は、発光すべき補助光の発光量に応じて、第一の撮像制御と第二の撮像制御のいずれかを実施して、固体撮像素子５により撮像を行う。発光量に応じて第一の撮像制御と第二の撮像制御のいずれかを選択する理由は後述する。具体的には、システム制御部１１は、発光量が閾値よりも大きいときは、第一の撮像制御を実施し、発光量が閾値以下のときには第二の撮像制御を実施する。
【００５２】
第一の撮像制御は、主画素露光期間の途中で副画素露光期間を開始し、主画素露光期間と副画素露光期間を同時に終了させる制御である。第二の撮像制御は、主画素露光期間と副画素露光期間を同時に開始し、主画素露光期間の途中で副画素露光期間を終了させる制御である。
【００５３】
広ＤＲ撮影モードにおいて補助光を発光した撮影を行い、かつ、ダイナミックレンジを正確に拡大させるには、主画素露光期間と副画素露光期間の比をｎ：ｍとすると、補助光の発光量を主画素露光期間と副画素露光期間とでｎ：ｍに正確に制御する必要がある。そこで、このデジタルカメラでは、発光駆動部１０ａが、第一の撮像制御が実施されるときには、副画素露光期間の開始直前の第一のタイミングで補助光の発光を開始し、第二の撮像制御が実施されるときには、副画素露光期間の終了直前の第二のタイミングで補助光の発光を開始するようにしている。この第一のタイミング及び第二のタイミングは、副画素露光期間に対して主画素露光期間がｎ倍のとき、発光すべき補助光の発光量のうちの１／ｎの光量が副画素露光期間中に発光されるタイミングにする必要がある。
【００５４】
このデジタルカメラでは、第一の撮像制御と第二の撮像制御を補助光の発光量に応じて切り替えることにより、補助光を発光して撮影を行った場合でも、ダイナミックレンジを正確に拡大させることを可能にしている。
【００５５】
以下では、広ＤＲ撮影モードにおいて補助光を発光させて撮影を行う場合のデジタルカメラの動作例を説明する。まず、上述した第一の撮像制御を実施するときのデジタルカメラの動作と、上述した第二の撮像制御を実施するときのデジタルカメラの動作を説明する。
【００５６】
図６は、図１に示したデジタルカメラのシステム制御部が第一の撮像制御で撮像を行うときのデジタルカメラの動作を説明するタイミングチャートである。図６において、“メカニカルシャッタ”はメカニカルシャッタ３の状態を示している。“副画素Ｖ電極”は、副画素に対応する読み出し電極に印加されるパルスの状態を示している。“主画素Ｖ電極”は、主画素に対応する読み出し電極に印加されるパルスの状態を示している。“電子シャッタ”は、固体撮像素子５の半導体基板に印加される電子シャッタパルスの状態を示している。“発光制御信号”は、システム制御部１１から発光駆動部１０ａに供給される補助光発光の開始及び終了を指示する信号である。“副画素読み出し制御信号”は、システム制御部１１から撮像素子駆動部５ａに供給される副画素からの電荷読み出しを指示する信号である。“補助光”は、補助光発光部１０から発光される補助光の状態を示している。
【００５７】
なお、図６の例では、主画素露光期間が副画素露光期間の４倍であり、主画素露光期間で発光させる補助光の発光量と、副画素露光期間で発光させる補助光の発光量との比を４：１に制御するものとしている。撮影中に発光させる補助光の発光量は、ＴＴＬ（Through The Lens）調光制御方式によってシステム制御部１１が算出する。つまり、補助光発光部１０によって撮影前に任意の発光量で補助光の発光を行い、この発光時に固体撮像素子５で撮像して得られる撮像信号に基づいて発光量の算出を行う。
【００５８】
第一の撮像制御を行う場合、ユーザから撮影指示がなされると、システム制御部１１は、電子シャッタパルスａをオフにして、電子シャッタを“開”の状態にし、主画素露光期間ｂを開始する。主画素露光期間ｂの３／４が経過した時点で、システム制御部１１は、副画素読み出し制御信号を撮像素子駆動部５ａに供給する。これにより、副画素に対応する読み出し電極に読み出しパルスｃが印加され、主画素露光期間ｂの開始から該時点までに副画素に蓄積されていた不要電荷が垂直電荷転送路に読み出されて、副画素露光期間ｄが開始される。
【００５９】
システム制御部１１は、副画素露光期間ｄの開始直前の第一のタイミングで発光制御信号をハイレベルにして、ＴＴＬ調光制御方式によって算出した所定の発光量の補助光を発光させる。図６に示したように、発光制御信号がハイレベルになった時点で、補助光ｅの発光が開始され、発光制御信号がローレベルになった時点で補助光ｅの発光が停止される。補助光の発光量は、補助光発光部１０による補助光の発光開始から発光停止までの時間によって制御することができる。つまり、発光制御信号をハイレベルにする時間を制御することで、上記所定の発光量の補助光を発光させることが可能である。
【００６０】
システム制御部１１は、発光制御信号をハイレベルにする期間において発光される補助光の総発光量のうちの３／４の発光が完了するタイミングと、読み出しパルスｃを印加するタイミングとが一致するように、上記第一のタイミングを決定し、この第一のタイミングで補助光発光部１０から補助光の発光を開始させている。そして、発光制御信号をローレベルにして補助光の発光を停止させた後、主画素露光期間ｂ及び副画素露光期間ｄの終了タイミングにおいてメカニカルシャッタ３を閉じる制御を行い、主画素露光期間ｂ及び副画素露光期間ｄを終了する。主画素露光期間ｂ及び副画素露光期間ｄの終了後、システム制御部１１は、垂直電荷転送路上に存在する不要電荷の掃き出しを行った後、主画素と副画素に対応する読み出し電極に読み出しパルスｆを印加して、主画素及び副画素に蓄積された電荷を垂直電荷転送路に読み出し、読み出した電荷を転送して、該電荷に応じた信号を固体撮像素子５から出力させる。
【００６１】
このように固体撮像素子５を駆動することで、主画素露光期間ｂにおいて発光される補助光の発光量と、副画素露光期間ｄにおいて発光される補助光の発光量との比を、主画素露光期間ｂと副画素露光期間ｄの比とほぼ同じにすることができる。この結果、主画素露光期間ｂにおける露光量と副画素露光期間ｄにおける露光量の比を、主画素露光期間ｂと副画素露光期間ｄの比とほぼ一致させることができ、主画素露光期間ｂと副画素露光期間ｄの比に基づいた倍率でダイナミックレンジを拡大させることができる。
【００６２】
図７は、図１に示したデジタルカメラのシステム制御部が第二の撮像制御で撮像を行うときのデジタルカメラの動作を説明するタイミングチャートである。図７に示した各表記は図６に示したものと同様である。図７の例においても、主画素露光期間が副画素露光期間の４倍であり、主画素露光期間で発光させる補助光の発光量と、副画素露光期間で発光させる補助光の発光量との比を４：１に制御するものとしている。
【００６３】
第二の撮像制御を行う場合、ユーザから撮影指示がなされると、システム制御部１１は、電子シャッタパルスａ’をオフにして、電子シャッタを“開”の状態にし、主画素露光期間ｂ’と副画素露光期間ｄ’を同時に開始する。主画素露光期間ｂ’の１／４が経過した時点で、システム制御部１１は、副画素読み出し制御信号を撮像素子駆動部５ａに供給する。これにより、副画素に対応する読み出し電極に読み出しパルスｃ’が印加され、副画素露光期間ｄ’に副画素に蓄積された電荷が垂直電荷転送路に読み出されて、副画素露光期間ｄ’が終了する。
【００６４】
システム制御部１１は、副画素露光期間ｄ’の開始直前の第二のタイミングで発光制御信号をハイレベルにして、ＴＴＬ調光制御方式で算出した所定の発光量の補助光を発光させる。図７に示したように、発光制御信号がハイレベルになった時点で、補助光ｅ’の発光が開始され、発光制御信号がローレベルになった時点で補助光ｅ’の発光が停止される。補助光の発光量は、補助光発光部１０による補助光の発光開始から発光停止までの時間によって制御することができる。つまり、発光制御信号をハイレベルにする時間を制御することで、上記所定の発光量の補助光を発光させることが可能である。
【００６５】
システム制御部１１は、発光制御信号をハイレベルにする期間において発光される補助光の総発光量のうちの１／４の発光が完了するタイミングと、読み出しパルスｃ’を印加するタイミングとが一致するように、上記第二のタイミングを決定し、この第二のタイミングで補助光発光部１０から補助光の発光を開始させている。そして、発光制御信号をローレベルにして補助光の発光を停止させた後、主画素露光期間ｂ’の終了タイミングにおいてメカニカルシャッタ３を閉じる制御を行い、主画素露光期間ｂ’を終了する。主画素露光期間ｂ’の終了後、システム制御部１１は、主画素に対応する読み出し電極に読み出しパルスｆ’を印加して、主画素に蓄積された電荷を垂直電荷転送路に読み出す。そして、読み出しパルスｃ’及び読み出しパルスｆ’で読み出した電荷を転送して、該電荷に応じた信号を固体撮像素子５から出力させる。
【００６６】
このように固体撮像素子５を駆動することで、主画素露光期間ｂ’において発光される補助光の発光量と、副画素露光期間ｄ’において発光される補助光の発光量との比を、主画素露光期間ｂ’と副画素露光期間ｄ’の比とほぼ同じにすることができる。この結果、主画素露光期間ｂ’における露光量と副画素露光期間ｄ’における露光量の比を、主画素露光期間ｂ’と副画素露光期間ｄ’の比とほぼ一致させることができるため、主画素露光期間ｂ’と副画素露光期間ｄ’の比に基づいた倍率でダイナミックレンジを拡大させることができる。
【００６７】
なお、図６及び図７に示したように、補助光は、発光制御信号がローレベルになった時点ですぐには発光量がゼロにならず、徐々に減衰して発光量がゼロになる。この補助光の発光停止から実際に補助光の発光量がゼロになるまでに補助光発光部１０から発光されてしまう補助光の発光量をオーバーラン光量という。このオーバーラン光量は、補助光の発光量が大きいほど小さくなる。このオーバーラン光量は発行制御信号をローレベルにした後に発生するものであるため、第一の撮像制御の場合には、副画素露光期間ｄにおいて発光される補助光の発光量にオーバーラン光量が含まれることになり、第二の撮像制御の場合には、主画素露光期間ｂ’において発光される補助光の発光量にオーバーラン光量が含まれることになる。したがって、このオーバーラン光量により、主画素露光期間における露光量と副画素露光期間における露光量の比が所望の値からずれてしまい、画質に影響を与えてしまう可能性がある。
【００６８】
このデジタルカメラでは、このオーバーラン光量に起因する画質への影響を最小限に抑えるために、オーバーラン光量が小さくなるようなとき、つまり、補助光の発光量が大きいときには、副画素露光期間においてオーバーラン光量が含まれるような制御である第一の撮像制御を実施するようにしている。また、オーバーラン光量が大きくなるようなとき、つまり、補助光の発光量が小さいときには、主画素露光期間のみにおいてオーバーラン光量が含まれるような制御である第二の撮像制御を実施するようにしている。
【００６９】
副画素露光期間は、主画素露光期間よりも短い期間であるため、この期間に大量のオーバーラン光量の補助光が発光されてしまうと、画質への影響が無視できなくなる。このため、オーバーラン光量が大きいときには、第二の撮像制御を実施することで、画質への影響を最小限に抑えることができる。
【００７０】
なお、オーバーラン光量の大小に関わらず、第二の撮像制御を常に実施することも考えられる。しかし、第二の撮像制御は、主画素露光期間中に副画素の電荷を垂直電荷転送路に保持しておく必要があるため、この保持期間に暗電流やスミア等のノイズが混入する可能性がある。また、主画素から電荷を読み出す前に、垂直電荷転送路にある不要電荷を掃き出す駆動を実施することができないため、この点からもノイズが増えてしまう。これに対し、第一の撮像制御では、主画素及び副画素から電荷を読み出す前に転送路上の不要電荷を掃き出すことができるため、ノイズを少なくすることができる。したがって、オーバーラン光量が大きく、画質への影響が大きくなるようなときにだけ、第二の撮像制御を実施するようにすることで、画質の劣化を極力抑えることができる。
【００７１】
次に、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作を図８及び図９のフローチャートを用いて説明する。
【００７２】
広ＤＲ撮影モードに設定されると、システム制御部１１は、ダイナミックレンジ拡大倍率を設定する（ステップＳ１）。ダイナミックレンジ拡大倍率は、固体撮像素子５から取り込んだ撮影画像データに基づいて自動的に設定してもよいし、ユーザから予め指定された値を設定してもよい。
【００７３】
次に、操作部１２に含まれるレリーズボタンがユーザによって半押しされ、ＡＥ（自動露出）・ＡＦ（自動焦点調節）の指示がなされると、システム制御部１１は、固体撮像素子５によりプレ撮像を実施すると共に、このプレ撮像中に補助光発光部１０から所定量の補助光を発光させる（ステップＳ２）。このプレ撮像は、例えば、高解像度撮影モード時と同じように全ての画素を同一時間で露光し、全ての画素から信号を読み出すことで行ってもよいし、固体撮像素子５の主画素又は副画素のみを露光し、主画素又は副画素から信号を読み出すことで行ってもよい。
【００７４】
プレ撮像の終了後、システム制御部１１は、プレ撮像によって固体撮像素子５から出力された撮像信号に基づいて、主要被写体までの距離を判別する（ステップＳ３）。なお、主要被写体までの距離は、他の公知の手法によって判別してもよい。例えば、デジタルカメラから被写体に向けて光を照射して、被写体からの反射光を検出し、検出した光量によって主要被写体までの距離を判別してもよい。デジタルカメラは、主要被写体までの距離を判別できる手段を搭載していればよく、この手段は公知のものを利用すればよい。
【００７５】
システム制御部１１は、主要被写体までの距離に応じて補助光の発光量を算出し、これを設定する。主要被写体までの距離が所定値を越えていた場合（ステップＳ３：遠い）、システム制御部１１は、相対的に大きな発光量を算出し、これを設定する（ステップＳ４）。一方、主要被写体までの距離が所定値以下であった場合（ステップＳ３：近い）、システム制御部１１は、補助光の発光量として“ステップＳ３：遠い”のときよりも相対的に小さな発光量を算出し、これを設定する（ステップＳ５）。システム制御部１１は、ステップＳ４又はステップＳ５における発光量の算出及び設定と共に、プレ撮像によって固体撮像素子５から出力された撮像信号に基づいて、ＡＥ・ＡＦ処理を実施して露出条件を設定する。なお、補助光をプレ発光して撮像を実施し、この撮像によって得られたデータから補助光の発光量を算出する方法が、上述したＴＴＬ調光制御方式である。
【００７６】
次に、システム制御部１１は、ステップＳ４又はステップＳ５で設定した発光量の大きさにしたがって、補助光の発光タイミング（図６、図７に示した発光制御信号をハイレベルにするタイミング）を設定する（ステップＳ６）。例えば、設定した発光量が閾値より大きいときには、図６に示したタイミングを設定し、発光量が閾値以下のときには図７に示したタイミングを設定する。
【００７７】
補助光の発光タイミング設定後、操作部１２に含まれるレリーズボタンがユーザによって全押しされ、記録のための撮影指示がなされると、システム制御部１１は、電子シャッタを“開”にして主画素露光期間を開始する（ステップＳ７）。
【００７８】
ステップＳ６で設定した補助光の発光タイミングが図６に示した発光タイミングであった場合（ステップＳ８：図６）、システム制御部１１は、主画素露光期間の３／４が経過した時点の直前において補助光の発光を開始し、主画素露光期間の３／４が経過した時点で副画素から不要電荷を読み出して副画素露光期間を開始する（ステップＳ９）。
【００７９】
次に、システム制御部１１は、メカニカルシャッタ３を閉じて、主画素露光期間と副画素露光期間を同時に終了する（ステップＳ１０）。ステップＳ１０の後、システム制御部１１は、垂直電荷転送路内の不要電荷を高速で掃き出し（ステップＳ１１）、その後、主画素と副画素から垂直電荷転送路に電荷を読み出す（ステップＳ１２）。
【００８０】
ステップＳ６で設定した補助光の発光タイミングが図７に示した発光タイミングであった場合（ステップＳ８：図７）、システム制御部１１は、主画素露光期間の１／４が経過した時点の直前において補助光の発光を開始し（ステップＳ１３）、主画素露光期間の１／４が経過した時点で副画素から電荷を読み出して副画素露光期間を終了する（ステップＳ１４）。ステップＳ１４の後、システム制御部１１は、メカニカルシャッタ３を閉じて主画素露光期間を終了し（ステップＳ１５）、その後、主画素の電荷を垂直電荷転送路に読み出す（ステップＳ１６）。
【００８１】
ステップＳ１２及びステップＳ１６の後は、システム制御部１１が、垂直電荷転送路に読み出されている主画素からの電荷と副画素からの電荷を転送して該電荷に応じた信号を固体撮像素子５から出力させる（ステップＳ１７）。この後は、デジタル信号処理部１７が、主画素から得られた信号から主画素画像データを生成し、副画素から得られた信号から副画素画像データを生成し、これらをメインメモリ１６に記憶する（ステップＳ１８）。次に、画像合成処理部１８が、主画素画像データと副画素画像データを合成して広ＤＲ画像データを生成する（ステップＳ１９）。次に、外部メモリ制御部２０がこの広ＤＲ画像データを記録媒体２１に記録して（ステップＳ２０）、撮像動作が終了する。
【００８２】
以上のように、このデジタルカメラによれば、撮影時に発光させる補助光の発光量の大きさ（言い換えるとオーバーラン光量の大きさ）に応じて図６に示した制御と図７に示した制御とを選択的に実施しているため、ダイナミックレンジ拡大後の画質への影響を最小限に抑えることができる。
【００８３】
また、図６及び図７に示した制御によれば、主画素露光期間と副画素露光期間とが重複しているため、動く被写体であっても、高画質の画像を得ることができる。また、主画素露光期間と副画素露光期間におけるスミアの影響をほぼ同じにすることができるため、ダイナミックレンジを正確に拡大させることができる。
【００８４】
以上説明したように、本明細書には以下の事項が開示されている。
【００８５】
開示された撮像装置は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子と、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、補助光を発光する補助光発光部と、前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出部とを備え、前記撮像制御部は、前記発光量算出部によって算出された発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、前記補助光発光部は、前記第一の制御が実施されるときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、前記第二の制御が実施されるときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出部によって算出された発光量の補助光の発光を開始し、前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出部によって算出された発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである。
【００８６】
この構成により、撮影指示に応じて発光させる補助光の発光量に応じて第一の制御と第二の制御のいずれかが実施され、いずれの制御時においても、第一の露光期間と第二の露光期間の双方において補助光を発光させることができる。補助光の発光量に応じて第一の制御と第二の制御のいずれかを実施することで、補助光が発光量算出部によって算出された発光量に達してから該補助光の発光量がゼロになるまでに補助光発光部から発光されてしまうオーバーラン光量による画質への影響を最小限に抑えることが可能となり、正確なダイナミックレンジの拡大が可能になる。
【００８７】
開示された撮像装置は、前記撮像制御部が、前記発光量算出部によって算出された発光量が閾値よりも大きいときには前記第一の制御を実施し、前記発光量算出部によって算出された発光量が前記閾値以下のときには前記第二の制御を実施する。
【００８８】
発光量が閾値以下のときはオーバーラン光量が多くなるため、上記構成のように、第二の制御を実施して第一の露光期間中にオーバーラン光量が発光されるようにすることで、このオーバーラン光量による画質への影響を最小限に抑えることができる。
【００８９】
開示された撮像装置は、前記撮像制御部が、前記第一の露光期間の開始を電子シャッタパルス印加停止で行い、前記第一の露光期間の終了をメカニカルシャッタ「閉」で行う。
【００９０】
この構成により、スミア等の影響を排除して高画質化を図ることができる。
【００９１】
開示された撮像装置は、前記第一の制御時には、前記撮像制御部が、前記メカニカルシャッタを閉じた後、前記固体撮像素子の電荷転送路上にある不要電荷を掃き出してから、前記第一の光電変換素子及び前記第二の光電変換素子から前記電荷転送路に電荷を読み出す。
【００９２】
開示された撮像装置は、前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する。
【００９３】
開示された撮像装置は、前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている。
【００９４】
開示された撮像装置は、前記発光量算出部が、ＴＴＬ調光制御方式により発光量を算出する。
【００９５】
開示された撮像方法は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子及びこれに隣接する第二の光電変換素子を備えたＣＣＤ型の固体撮像素子を用いた撮像方法であって、１回の撮影指示に応じて、前記第一の光電変換素子を露光する第一の露光期間及び前記第二の光電変換素子を露光する第二の露光期間であって前記第一の露光期間と重複しかつ前記第一の露光期間よりも短い第二の露光期間の２つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、補助光を発光する補助光発光ステップと、前記２つの露光期間の開始前に、前記第一の露光期間及び前記第二の露光期間中に発光させる補助光の発光量を算出する発光量算出ステップとを備え、前記撮像制御ステップでは、前記発光量算出ステップで算出した発光量に応じて、前記第一の露光期間の途中で前記第二の露光期間を開始し前記第一の露光期間と前記第二の露光期間を同時に終了させる第一の制御と、前記第一の露光期間と前記第二の露光期間を同時に開始し前記第一の露光期間の途中で前記第二の露光期間を終了させる第二の制御とのいずれかを選択して実施し、前記補助光発光ステップでは、前記第一の制御を実施するときには、前記第二の露光期間の開始直前の第一のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、前記第二の制御を実施するときには、前記第二の露光期間の終了直前の第二のタイミングで前記発光量算出ステップで算出した発光量の補助光の発光を開始し、前記第一のタイミング及び前記第二のタイミングが、前記第二の露光期間に対して前記第一の露光期間がｎ倍のとき、前記発光量算出ステップで算出した発光量のうち１／ｎの光量が前記第二の露光期間中に発光されるタイミングである。
【００９６】
開示された撮像方法は、前記撮像制御ステップでは、前記発光量算出ステップで算出した発光量が閾値よりも大きいときには前記第一の制御を実施し、前記発光量算出ステップで算出した発光量が前記閾値以下のときには前記第二の制御を実施する。
【００９７】
開示された撮像方法は、前記撮像制御ステップでは、前記第一の露光期間の開始を電子シャッタパルス印加停止で行い、前記第一の露光期間の終了をメカニカルシャッタ「閉」で行う。
【００９８】
開示された撮像方法は、前記第一の制御時に、前記撮像制御ステップでは、前記メカニカルシャッタを閉じた後、前記固体撮像素子の電荷転送路上にある不要電荷を掃き出してから、前記第一の光電変換素子及び前記第二の光電変換素子から前記電荷転送路に電荷を読み出す。
【００９９】
開示された撮像方法は、前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有する。
【０１００】
開示された撮像方法は、前記第一の光電変換素子と前記第二の光電変換素子が、それぞれ同一のピッチで水平方向とこれに直交する垂直方向に正方格子状に配列されており、前記第一の光電変換素子を前記ピッチの１／２だけ前記水平方向及び前記垂直方向にそれぞれずらした位置に前記第二の光電変換素子が配置されている。
【０１０１】
開示された撮像方法は、前記発光量算出ステップでは、ＴＴＬ調光制御方式により発光量を算出する。
【符号の説明】
【０１０２】
５  固体撮像素子
５ａ  撮像素子駆動部
１０  補助光発光部
１１  システム制御部
１７  デジタル信号処理部
【図１】
2011114558.tif 000003
【図２】
2011114558.tif 000004
【図３】
2011114558.tif 000005
【図４】
2011114558.tif 000006
【図５】
2011114558.tif 000007
【図６】
2011114558.tif 000008
【図７】
2011114558.tif 000009
【図８】
2011114558.tif 000010
【図９】
2011114558.tif 000011