(57)【要約】【課題】補助光を発光させた撮影を行っても正確にダイナミックレンジを拡大することが可能な撮像装置を提供する。【解決手段】固体撮像素子５と、１回の撮影指示に応じて、第一の露光期間Ｔ１と、第二の露光期間Ｔ２と、第三の露光期間Ｔ３とを設定して固体撮像素子５により撮像を実施する制御を行う撮像素子駆動部１０と、Ｔ３中に補助光を発光する補助光発光部１３とを備え、Ｔ３は、Ｔ１よりも長い長さでかつＴ１及びＴ２とは重複しない期間であり、Ｔ２は、Ｔ３と同じ長さの期間である。更に、Ｔ１で得られる第一のデータ、Ｔ２で得られる第二のデータ、及びＴ３で得られる第三のデータを取得し、第二のデータと第三のデータとに基づいて補助光の発光量に相当する発光量データを算出し、この発光量データに基づいて第一のデータを補正し、補正後の第一のデータと第三のデータとを合成する処理を実施するデジタル信号処理部１７を備える。【選択図】図６
2011066795.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ独立に電荷を読み出し可能な第一の光電変換素子と、これに隣接する第二の光電変換素子とを備えた固体撮像素子と、
１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、
前記第三の露光期間中に補助光を発光する補助光発光部とを備え、
前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、
前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間であり、
前記第一の露光期間と前記第二の露光期間は少なくとも一部が重複する期間であり、
前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得部と、
前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に相当する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理部とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有し、
前記撮像制御部が、前記第一の露光期間では前記第一の光電変換素子を露光し、前記第二の露光期間及び前記第三の露光期間では前記第二の光電変換素子を露光する撮像装置。
【請求項３】
請求項２記載の撮像装置であって、
前記撮像制御部が、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第二の露光期間の終了後に前記第三の露光期間を開始する撮像装置。
【請求項４】
請求項２記載の撮像装置であって、
前記撮像制御部が、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第三の露光期間の終了後に前記第二の露光期間を開始する撮像装置。
【請求項５】
請求項２記載の撮像装置であって、
前記撮像制御部が、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第一の露光期間の終了後に前記第三の露光期間を開始する撮像装置。
【請求項６】
請求項３又は５記載の撮像装置であって、
メカニカルシャッタを備え、
前記撮像制御部が、前記第三の露光期間の終了を前記メカニカルシャッタによって制御する撮像装置。
【請求項７】
請求項２記載の撮像装置であって、
前記撮像制御部が、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第三の露光期間の終了後に前記第一の露光期間を開始する撮像装置。
【請求項８】
請求項７記載の撮像装置であって、
メカニカルシャッタを備え、
前記撮像制御部が、前記第一の露光期間及び前記第二の露光期間の終了を前記メカニカルシャッタによって制御する撮像装置。
【請求項９】
請求項１〜８のいずれか１項記載の撮像装置であって、
前記撮像制御部が、前記第二の露光期間を前記第三の露光期間と同じ長さに設定する撮像装置。
【請求項１０】
請求項１〜８のいずれか１項記載の撮像装置であって、
前記撮像制御部が、前記第三の露光期間を前記第二の露光期間よりも短く設定する撮像装置。
【請求項１１】
１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で、それぞれ独立に電荷を読み出し可能な第一の光電変換素子と、これに隣接する第二の光電変換素子とを備えた固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、
前記第三の露光期間中に補助光を発光する補助光発光ステップとを備え、
前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、
前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間であり、
前記第一の露光期間と前記第二の露光期間は少なくとも一部が重複する期間であり、
前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得ステップと、
前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に対応する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理ステップとを備える撮像制御方法。
【請求項１２】
請求項１１記載の撮像制御方法であって、
前記固体撮像素子が、前記第一の光電変換素子と、これに隣接する前記第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有し、
前記撮像制御ステップでは、前記第一の露光期間では前記第一の光電変換素子を露光し、前記第二の露光期間及び前記第三の露光期間では前記第二の光電変換素子を露光する撮像制御方法。
【請求項１３】
請求項１２記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第二の露光期間の終了後に前記第三の露光期間を開始する撮像制御方法。
【請求項１４】
請求項１２記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第三の露光期間の終了後に前記第二の露光期間を開始する撮像制御方法。
【請求項１５】
請求項１２記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第一の露光期間の終了後に前記第三の露光期間を開始する撮像制御方法。
【請求項１６】
請求項１３又は１５記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第三の露光期間の終了をメカニカルシャッタによって制御する撮像制御方法。
【請求項１７】
請求項１２記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第三の露光期間の終了後に前記第一の露光期間を開始する撮像制御方法。
【請求項１８】
請求項１７記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第一の露光期間及び前記第二の露光期間の終了をメカニカルシャッタによって制御する撮像制御方法。
【請求項１９】
請求項１０〜１８のいずれか１項記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第二の露光期間を前記第三の露光期間と同じ長さに設定する撮像制御方法。
【請求項２０】
請求項１０〜１８のいずれか１項記載の撮像制御方法であって、
前記撮像制御ステップでは、前記第三の露光期間を前記第二の露光期間よりも短く設定する撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像制御方法に関する。
【背景技術】
【０００２】
ダイナミックレンジを拡大することのできる固体撮像装置が特許文献１に開示されている。特許文献１に記載の固体撮像装置は、正方格子状に配列された主画素と、主画素と同一配列で配列された副画素であって、各画素の配列ピッチの１／２だけ主画素の位置から水平及び垂直方向にずらして配列された副画素とを備える固体撮像素子を搭載している。そして、この固体撮像装置では、主画素の露光時間と副画素の露光時間を異ならせる駆動を行うことで、主画素と副画素の感度を変え、主画素から得られる信号と副画素から得られる信号を合成することにより、ダイナミックレンジを拡大している。
【０００３】
上記固体撮像装置では、主画素の露光期間中に、副画素に蓄積された電荷を先に読み出すことで副画素の露光期間を終了している。つまり、副画素の露光期間が主画素の露光期間と重複するような制御を行っている。このような固体撮像装置において補助光の発光を行った撮影を行う場合、正確なダイナミックレンジ拡大を図るためには、副画素の露光量と主画素の露光量の比を補助光の発光量も含めて制御する必要があり、この制御が複雑になる。
【０００４】
また、主画素の露光期間と副画素の露光期間を重複させない場合でも、補助光の発光を行って正確なダイナミックレンジ拡大を図るためには、補助光を２回発光する必要があり、かつ、ダイナミックレンジ拡大倍率に応じてその発光量を主画素の露光期間と副画素の露光期間とで正確に分配する必要があり、この場合も制御が複雑になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたものであり、補助光を発光させた撮影を行っても簡単な制御で正確にダイナミックレンジを拡大することが可能な撮像装置及び撮像制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、それぞれ独立に電荷を読み出し可能な第一の光電変換素子と、これに隣接する第二の光電変換素子とを備えた固体撮像素子と、１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、前記第三の露光期間中に補助光を発光する補助光発光部とを備え、前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間であり、前記第一の露光期間と前記第二の露光期間は少なくとも一部が重複する期間であり、前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得部と、前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に相当する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理部とを備える。
【０００８】
本発明の撮像制御方法は、１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で、それぞれ独立に電荷を読み出し可能な第一の光電変換素子と、これに隣接する第二の光電変換素子とを備えた固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、前記第三の露光期間中に補助光を発光する補助光発光ステップとを備え、前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間であり、前記第一の露光期間と前記第二の露光期間は少なくとも一部が重複する期間であり、前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得ステップと、前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に対応する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理ステップとを備える。
【発明の効果】
【０００９】
本発明によれば、補助光を発光させた撮影を行っても簡単な制御で正確にダイナミックレンジを拡大することが可能な撮像装置及び撮像制御方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図
【図２】図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図
【図３】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図４】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図５】図２に示す固体撮像素子の受光部に含まれる光電変換素子の配列例を示した図
【図６】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第一の駆動例を説明するためのタイミングチャート
【図７】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第二の駆動例を説明するためのタイミングチャート
【図８】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第三の駆動例を説明するためのタイミングチャート
【図９】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第四の駆動例を説明するためのタイミングチャート
【図１０】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第五の駆動例を説明するためのタイミングチャート
【図１１】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【図１２】図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の動作例を説明するためのフローチャート
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。
【００１３】
図１に示すデジタルカメラは、撮影レンズ１と、絞り及びメカニカルシャッタ２と、赤外線カットフィルタ３と、光学ローパスフィルタ４と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子５と、アナログ信号処理部６と、ＡＤ変換部７と、レンズ駆動部８と、絞り・シャッタ駆動部９と、撮像素子駆動部１０と、システム制御部１１と、補助光発光部１２と、操作部１４と、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、デジタル信号処理部１７と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。
【００１４】
絞り及びメカニカルシャッタ２、赤外線カットフィルタ３、及び光学ローパスフィルタ４は、撮影レンズ１と固体撮像素子５との間に、この順番で設けられている。
【００１５】
補助光発光部１２は、撮影時に被写体を照明するための補助光を発光するものであり、キセノン管、ＬＥＤ等によって補助光を発光する。
【００１６】
システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。システム制御部１１は、絞り・シャッタ駆動部９を介し絞りの開口量を制御して露光量調整を行ったり、メカニカルシャッタの開閉制御をしたりする。システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１は、補助光発光部１２に補助光発光パルスを供給することで、補助光を発光させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
【００１７】
アナログ信号処理部６は、固体撮像素子５から出力される撮像信号に相関二重サンプリング処理及び信号増幅処理を施す。ＡＤ変換部７は、アナログ信号処理部６で処理後の撮像信号をデジタル信号に変換する。デジタル信号処理部１７は、ＡＤ変換部７から出力された撮像信号に補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成する。
【００１８】
メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
【００１９】
図２は、図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図である。シリコン等の半導体基板には、受光部５１と、水平電荷転送路５２と、出力部５３とが形成されている。
【００２０】
受光部５１には、フォトダイオード等の光電変換素子を水平方向Ｘに複数並べたラインが、水平方向Ｘに直交する垂直方向Ｙに複数配列されている。
【００２１】
受光部５１の各光電変換素子で発生した電荷は、受光部５１内の図示しない垂直電荷転送路に読み出され、ここで垂直方向Ｙに転送される。垂直電荷転送路を転送されてきた１ライン分の電荷は、水平電荷転送路５２によって水平方向Ｘに転送される。水平電荷転送路５２の終端にはフローティングディフュージョアンプ（ＦＤＡ）等の、電荷をその電荷量に比例した電圧信号（以下、撮像信号ともいう）に変換して出力する出力部５３が設けられ、水平方向Ｘに転送されてきた電荷がこの出力部５３で電圧信号に変換されて外部に出力される。
【００２２】
図３、図４、図５は、図２に示す固体撮像素子の受光部５１に含まれる光電変換素子の配列例を示した図である。図３〜図５に示す“Ｒ１”，“Ｒ２”を付したブロックは、赤色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｇ１”，“Ｇ２”を付したブロックは、緑色のカラーフィルタを受光面上方に持つ光電変換素子を示している。“Ｂ１”，“Ｂ２”を付したブロックは、青色のカラーフィルタを受光面上方に持つ光電変換素子を示している。
【００２３】
図３に示した例は、水平方向と垂直方向に正方格子状に配列された光電変換素子５ａと、光電変換素子５ａと同一ピッチ及び同一数で正方格子状に配列された光電変換素子５ｂとを、各光電変換素子の配列ピッチの１／２だけ水平及び垂直方向にずらして配置した構成となっている。図３中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ａであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｂである。
【００２４】
図３に示したように、光電変換素子５ａ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｂ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ａの斜め隣には、その光電変換素子５ａの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｂが存在するようになっている。
【００２５】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には垂直電荷転送路５４が対応して設けられている。垂直電荷転送路５４は、対応する光電変換素子列の右側部に配置され、対応する光電変換素子列の各光電変換素子から読み出された電荷を垂直方向に転送する。垂直電荷転送路５４と、これに対応する光電変換素子列の各光電変換素子との間には、光電変換素子から垂直電荷転送路５４に電荷を読み出すための電荷読み出し領域５６（図中では模式的に矢印で示してある）が形成されている。
【００２６】
水平方向に並ぶ光電変換素子からなる光電変換素子行をラインというと、各ラインの間には、撮像素子駆動部１０から駆動パルスが供給される転送電極Ｖ１〜Ｖ８が水平方向に蛇行して形成されている。
【００２７】
光電変換素子５ａの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ２が形成され、下側部には転送電極Ｖ３が形成されている。光電変換素子５ａの偶数番目のラインの上側部には、転送電極Ｖ６が形成され、下側部には転送電極Ｖ７が形成されている。
【００２８】
光電変換素子５ｂの水平電荷転送路５２とは反対側から数えて奇数番目のラインの上側部には、転送電極Ｖ４が形成され、下側部には転送電極Ｖ５が形成されている。光電変換素子５ｂの偶数番目のラインの上側部には、転送電極Ｖ８が形成され、下側部には転送電極Ｖ１が形成されている。
【００２９】
転送電極Ｖ３と転送電極Ｖ７は、光電変換素子５ａに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ３と転送電極Ｖ７に読み出しパルスを印加することで、光電変換素子５ａから垂直電荷転送路５４に電荷を読み出すことができる。
【００３０】
転送電極Ｖ１と転送電極Ｖ５は、光電変換素子５ｂに隣接する電荷読み出し領域５６上方も覆っており、読み出し電極を兼ねている。転送電極Ｖ１と転送電極Ｖ５に読み出しパルスを印加することで、光電変換素子５ｂから垂直電荷転送路５４に電荷を読み出すことができる。
【００３１】
このように、光電変換素子５ａの読み出し電極と光電変換素子５ｂの読み出し電極は独立して設けられているため、光電変換素子５ａと光電変換素子５ｂのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ａと光電変換素子５ｂを同一構造としながらも、光電変換素子５ａと光電変換素子５ｂからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００３２】
図４に示した例は、水平方向と垂直方向に格子状に配列された光電変換素子５ｃと、光電変換素子５ｃと同一ピッチ及び同一数で格子状に配置された光電変換素子５ｄとを、光電変換素子５ｃの垂直方向の配列ピッチの１／２だけ垂直方向にずらして配置した構成となっている。図４中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｃであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｄである。
【００３３】
図４に示したように、光電変換素子５ｃ上方のカラーフィルタ配列はベイヤー配列となっており、光電変換素子５ｄ上方のカラーフィルタ配列もベイヤー配列となっている。このような配置により、光電変換素子５ｃの垂直方向の隣には、その光電変換素子５ｃの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｄが存在するようになっている。
【００３４】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｃと光電変換素子５ｄから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｃと光電変換素子５ｄからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｃと光電変換素子５ｄのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｃと光電変換素子５ｄを同一構造としながらも、光電変換素子５ｃと光電変換素子５ｄからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００３５】
図５に示した例は、複数の光電変換素子（光電変換素子５ｅ，５ｆ）を水平方向と垂直方向に正方格子状に配列した構成となっている。光電変換素子５ｅと光電変換素子５ｆとは、全体として市松模様を形成するように、互いに市松状に配置されている。図５中、Ｒ１，Ｇ１，Ｂ１を付したブロックが光電変換素子５ｅであり、Ｒ２，Ｇ２，Ｂ２を付したブロックが光電変換素子５ｆである。
【００３６】
光電変換素子５ｅは、赤色のカラーフィルタを受光面上方に持つＲ素子と青色のカラーフィルタを受光面上方に持つＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、緑色のカラーフィルタを受光面上方に持つＧ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００３７】
光電変換素子５ｆは、Ｒ素子とＢ素子とをＲ素子を先頭にして水平方向に交互に並べたラインと、Ｒ素子とＢ素子とをＢ素子を先頭にして水平方向に交互に並べたラインとを、Ｇ素子を水平方向に並べたラインを挟んで、垂直方向に交互に並べた配置となっている。
【００３８】
このような配置により、光電変換素子５ｅの右隣又は左隣には、その光電変換素子５ｅの上方にあるカラーフィルタと同色のカラーフィルタを上方に持つ光電変換素子５ｆが存在するようになっている。
【００３９】
垂直方向に並ぶ光電変換素子からなる光電変換素子列には、垂直電荷転送路が対応して設けられ、この光電変換素子列と垂直電荷転送路との間に、電荷読み出し領域が形成されている。そして、光電変換素子５ｅと光電変換素子５ｆから垂直電荷転送路に電荷を読み出すための読み出し電極は、光電変換素子５ｅと光電変換素子５ｆからそれぞれ独立に電荷を読み出すことができるような配置となっている。このため、光電変換素子５ｅと光電変換素子５ｆのそれぞれの露光時間を異ならせる制御が可能になっている。このような構成により、光電変換素子５ｅと光電変換素子５ｆを同一構造としながらも、光電変換素子５ｅと光電変換素子５ｆからは、それぞれ感度の異なる信号を出力させることが可能になっている。
【００４０】
以下では、図３〜図５に示した光電変換素子５ａ，５ｃ，５ｅを主画素といい、光電変換素子５ｂ，５ｄ，５ｆを副画素という。また、隣接する主画素と副画素であって、同一色のカラーフィルタを受光面上方に持つ主画素と副画素の組み合わせをペアという。図３〜図５に示した配列は、このペアを複数個規則的に配置したものとも言うことができる。
【００４１】
このデジタルカメラは、高解像度撮影モードと、高感度撮影モードと、ダイナミックレンジを拡大した撮影を行う広ＤＲ撮影モードとを有する。
【００４２】
高解像度撮影モードでは、システム制御部１１が、主画素と副画素の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、全ての信号を用いて画像データを生成する。
【００４３】
高感度撮影モードでは、システム制御部１１が、主画素と副画素の露光時間を同一とした撮像を実施する。そして、デジタル信号処理部１７が、ペアのうち主画素から得られた信号と副画素から得られた信号を合成し、合成後の信号を用いて高感度の画像データを生成する。
【００４４】
広ＤＲ撮影モードでは、システム制御部１１が、主画素と副画素との露光時間を異ならせて撮像を実施する。デジタル信号処理部１７では、ペアのうちの主画素から得られた信号と副画素から得られた信号とを合成することで、ダイナミックレンジを拡大した画像データを生成する。
【００４５】
広ＤＲ撮影モードにおいて更に補助光発光部１２から補助光を発光させて撮影を行う場合、システム制御部１１は、ユーザからの撮影指示に応じて第一の露光期間Ｔ１と、第二の露光期間Ｔ２と、第三の露光期間Ｔ３との３つの露光期間により撮像を実施し、３つの撮像信号を固体撮像素子５から出力させる。
【００４６】
露光期間Ｔ１と露光期間Ｔ３は、ダイナミックレンジを拡大するために必要な感度の異なる２つの撮像信号を得るための期間であり、それぞれの期間の長さは異なり、露光期間Ｔ１＞露光期間Ｔ３となっている。なお、露光期間Ｔ１と露光期間Ｔ３の長さの比は、ユーザから操作部１４を介して設定されたダイナミックレンジ拡大倍率Ｄによって決まる。ダイナミックレンジ拡大倍率Ｄは、撮影シーンに応じてシステム制御部１１が自動的に設定してもよい。
【００４７】
露光期間Ｔ３は、露光期間Ｔ１及び露光期間Ｔ２とは重複しない期間で、かつ、補助光を発光して撮像を行う期間であり、補助光発光部１２は、この期間において補助光を発光する。
【００４８】
露光期間Ｔ２は、露光期間Ｔ３で発光された補助光の発光量に相当するデータを取得するための撮像を行う期間であり、露光期間Ｔ３と同じ長さ又は露光期間Ｔ３よりも長い長さの期間である。また、露光期間Ｔ２は、露光期間Ｔ１と少なくとも一部が重複する期間となっている。
【００４９】
このような３つの露光期間で撮像を行うことにより、露光期間Ｔ１からは補助光データを含まない第一のデータを、露光期間Ｔ２からは補助光データを含まない第二のデータを、露光期間Ｔ３からは補助光データを含む第三のデータを得ることができる。また、第一のデータを構成する各撮像信号と第三のデータを構成する各撮像信号にはダイナミックレンジ拡大倍率Ｄを実現することのできる感度差を持たせることができる。
【００５０】
デジタル信号処理部１７はデータ取得部と合成処理部として機能する。データ取得部は、固体撮像素子５から出力された第一のデータ、第二のデータ、及び第三のデータを取得する。合成処理部は、第二のデータと第三のデータとに基づいて撮影時に発光された補助光の発光量に相当する発光量データを算出し、この発光量データに基づいて第一のデータを補正する。そして、補正後の第一のデータと第三のデータとを合成してダイナミックレンジを拡大する処理を実施する。
【００５１】
広ＤＲ撮影モードにおいて補助光を発光した撮影を行い、かつ、ダイナミックレンジを正確に拡大させるには、露光期間Ｔ１と露光期間Ｔ３の比を２：１とすると、補助光の発光量を露光期間Ｔ１と露光期間Ｔ３とで２：１に正確に制御する必要がある。しかし、このような発光量制御は困難であるため、このデジタルカメラでは、露光期間Ｔ２と露光期間Ｔ３を設定してこれらにより得られるデータから補助光の発光量データを算出する。そして、この発光量データを用いて、第一のデータを、露光期間Ｔ１においてもダイナミックレンジ拡大倍率Ｄに応じた発光量で補助光を発光したときに得られるデータと同等のものに補正するようにしている。つまり、露光期間Ｔ１と露光期間Ｔ３の比を２：１とすると、露光期間Ｔ３に発光された発光量に相当する発光量データを２倍にした値を第一のデータに加算することで、第一のデータを補正する。
【００５２】
このデジタルカメラでは、このような処理により、補助光を発光して撮影を行った場合でも、ダイナミックレンジを正確に拡大させることを可能にしている。
【００５３】
以下では、広ＤＲ撮影モードにおいて補助光を発光させて撮影を行う場合のデジタルカメラの動作例を説明する。例としては第一の動作例〜第五の動作例があり、以下個別に説明する。
【００５４】
（第一の動作例）
図６は、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第一の駆動例を説明するためのタイミングチャートである。この駆動例では、露光期間Ｔ１：露光期間Ｔ３を２：１（ダイナミックレンジ拡大倍率Ｄ＝２）としている。また、露光期間Ｔ２と露光期間Ｔ３を同じ時間としている。また、露光期間Ｔ１と露光期間Ｔ２は一部が重複するようにしている。図６に示したφＶ１は、主画素の読み出し電極に印加する読み出しパルスを示し、φＶ２は、副画素の読み出し電極に印加する読み出しパルスを示している。この表記は図７〜図１０においても同様である。
【００５５】
撮像素子駆動部１０は、時刻ｔ１で撮影指示がなされると、固体撮像素子５に供給していた電子シャッタパルスを停止し、露光期間Ｔ１を開始する。露光期間Ｔ１開始から所定時間経過した時刻ｔ２において、撮像素子駆動部１０は、副画素の読み出し電極に読み出しパルスを供給して、副画素に蓄積されていた不要電荷を垂直電荷転送路に読み出す。撮像素子駆動部１０は、この読み出しパルスの供給の停止を以って、露光期間Ｔ２を開始する。露光期間Ｔ２開始後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、副画素から読み出した不要電荷を転送路から掃き出す（図中の“掃き出し１”）。
【００５６】
時刻ｔ２から所定時間経過後の時刻ｔ３になると、撮像素子駆動部１０は、主画素の読み出し電極と副画素の読み出し電極にそれぞれ読み出しパルスを供給し、主画素に蓄積されていた電荷（露光期間Ｔ１において主画素に蓄積された電荷）と、副画素に蓄積されていた電荷（露光期間Ｔ２において副画素に蓄積された電荷）を垂直電荷転送路に読み出す。撮像素子駆動部１０は、主画素の読み出し電極と副画素の読み出し電極への読み出しパルスの供給の停止を以って、露光期間Ｔ１と露光期間Ｔ２を終了すると共に、露光期間Ｔ３を開始する。
【００５７】
露光期間Ｔ１及び露光期間Ｔ２の終了後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、主画素及び副画素から読み出した電荷を転送し、第一のデータと第二のデータを固体撮像素子５から読み出す（図中の“読み出し１”、“読み出し２”）。
【００５８】
システム制御部１１は、露光期間Ｔ３中に補助光発光パルスを補助光発光部１２に供給し、露光期間Ｔ３中に補助光を発光させる。時刻ｔ３から所定時間経過後の時刻ｔ４になると、撮像素子駆動部１０は、副画素の読み出し電極に読み出しパルスを供給し、副画素に蓄積されていた電荷（露光期間Ｔ３において副画素に蓄積された電荷）を垂直電荷転送路に読み出す。撮像素子駆動部１０は、この読み出しパルスの供給の停止を以って、露光期間Ｔ３を終了する。
【００５９】
露光期間Ｔ３の終了後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、副画素から読み出した電荷を転送し、第三のデータを固体撮像素子５から読み出す（図中の“読み出し３”）。
【００６０】
固体撮像素子５から出力された第一のデータ、第二のデータ、及び第三のデータは、メインメモリ１６に一時記憶される。そして、デジタル信号処理部１７は、メインメモリ１６から第一のデータ、第二のデータ、及び第三のデータを取得し、以下に説明する処理を実施して、ダイナミックレンジを拡大する。
【００６１】
まず、デジタル信号処理部１７は、第三のデータから第二のデータを減算し、露光期間Ｔ３中に発光された補助光の発光量に相当する発光量データを算出する。第三のデータから第二のデータを減算する処理は、同一の副画素から得られた撮像信号同士の差分をとることで行う。
【００６２】
なお、ここでは露光期間Ｔ２と露光期間Ｔ３が同じ時間であるため、単なる減算のみで発光量データを算出することが可能であるが、露光期間Ｔ２が露光期間Ｔ３より長い場合でも、発光量データを算出することは可能である。例えば、露光期間Ｔ２を露光期間Ｔ３の１．５倍の長さにした場合を例にする。この場合、（第三のデータ）−（１／１．５）×（第二のデータ）の演算を行うことで、露光期間Ｔ３における補助光の発光量に相当する発光量データを算出することができる。
【００６３】
次に、デジタル信号処理部１７は、算出した発光量データをダイナミックレンジ拡大倍率であるＤ倍（図６の例ではＤ＝２）したデータを、第一のデータに加算する。第一のデータに発光量データを加算する処理は、第一のデータに含まれる主画素から得られた撮像信号に、発光量データに含まれる該主画素とペアを形成する副画素から得られた撮像信号を加算することで行う。
【００６４】
この加算処理により、第一のデータを、露光期間Ｔ１において露光期間Ｔ３のときのＤ（＝２）倍の発光量で補助光を発光したときに得られるデータと同等のレベルにすることができる。
【００６５】
最後に、デジタル信号処理部１７は、補正後の第一のデータと第三のデータとを合成して、ダイナミックレンジを拡大した合成データを得る。この合成処理は、同じペアの主画素から得られた撮像信号と副画素から得られた撮像信号とを合成することで行う。合成データを得た後は、その合成データに同時化処理、γ補正処理、ＲＧＢ／ＹＣ変換処理等を行って画像データを生成し、これを記録媒体２１に記録する。
【００６６】
なお、以上の説明では、発光量データとして、露光期間Ｔ３に発光された補助光の総発光量に相当するデータを求めたが、発光量データとして単位時間当たりのデータを求め、このデータに露光期間Ｔ１の時間を乗じた値を第一のデータに加算することで、第一のデータを補正してもよい。例えば、露光期間Ｔ２が露光期間Ｔ３の１．５倍の長さだとすると、｛１．５×（第三のデータ）−（第二のデータ）｝／（露光期間Ｔ２の時間）の演算を行うことで、単位時間当たりの発光量データを求めることができる。
【００６７】
なお、露光期間Ｔ３を露光期間Ｔ１及び露光期間Ｔ２と重複しない期間とするのは、露光期間Ｔ１及び露光期間Ｔ２と露光期間Ｔ３とが重複してしまうと、露光期間Ｔ１及び露光期間Ｔ２においても補助光が発光されることになり、発光量データを算出できなくなってしまうためである。
【００６８】
また、露光期間Ｔ２を露光期間Ｔ３よりも短くしない理由は、露光期間Ｔ２＜露光期間Ｔ３にすると、第二のデータの方が第三のデータよりも先に飽和してしまい、発光量データを算出できなくなる可能性があるためである。露光期間Ｔ２＞露光期間Ｔ３とした場合には、撮影開始から終了までの時間を短縮することができるという利点があり、露光期間Ｔ２＝露光期間Ｔ３とした場合には、第二のデータと第三のデータの相関性が高くなり、発光量データの算出精度を向上させることができるという利点がある。
【００６９】
図６に示した駆動例によれば、露光期間Ｔ２と露光期間Ｔ３とが連続して実施されるため、第二のデータと第三のデータの相関性が高くなり、この点からも、発光量データの算出精度を向上させることができる。また、動く被写体であっても、発光量データを精度良く算出することができる。
【００７０】
（第二の動作例）
図７は、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第二の駆動例を説明するためのタイミングチャートである。図７は、図６に示したタイミングチャートよりも露光期間Ｔ２及び露光期間Ｔ３が短くなっており、第一のデータと第二のデータの読み出し期間内に露光期間Ｔ３の終了タイミングがきてしまう場合のタイミングチャートである。図７に示すように、露光期間Ｔ３の終了時刻である時刻ｔ４の時点で、第一のデータと第二のデータの読み出しが完了していない場合には、システム制御部１１が時刻ｔ４でメカニカルシャッタを閉じる制御を行う。メカニカルシャッタが閉じた時点で、露光期間Ｔ３が終了する。
【００７１】
そして、第一のデータと第二のデータの読み出しが完了した後、時刻ｔ５において、撮像素子駆動部１０は、副画素の読み出し電極に読み出しパルスを供給して、副画素に蓄積された電荷を垂直電荷転送路に読み出す。その後、垂直電荷転送路及び水平電荷転送路を駆動して、第三のデータを固体撮像素子５から読み出す（図中の“読み出し３”）。
【００７２】
このように、メカニカルシャッタを用いて露光期間Ｔ３の終了タイミングを制御することで、露光期間Ｔ３が短い場合（ダイナミックレンジ拡大倍率をより大きくした場合）でも、露光期間Ｔ３を設定とおりに終了させることができる。
【００７３】
（第三の動作例）
図８は、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第三の駆動例を説明するためのタイミングチャートである。図８は、図７に示したタイミングチャートにおいて、露光期間Ｔ２が、露光期間Ｔ２開始後の不要電荷の掃き出し期間（“掃き出し１”）よりも短い場合に有効な駆動例である。
【００７４】
図７において、露光期間Ｔ２が“掃き出し１”の期間よりも短いと、露光期間Ｔ２の終了時には転送路の不要電荷の掃き出しが継続されているため、この時点で副画素から転送路に電荷を読み出すことができず、露光期間Ｔ２を終了させることができない。メカニカルシャッタを用いて露光期間Ｔ２を終了させるにしても、露光期間Ｔ２の終了後には露光期間Ｔ３を開始させる必要があるため、メカニカルシャッタを閉じることもできない。
【００７５】
そこで、撮像素子駆動部１０は、図８に示すように、時刻ｔ１において露光期間Ｔ１と同時に露光期間Ｔ２を開始し、露光期間Ｔ１の途中の時刻ｔ２で副画素から電荷を読み出して露光期間Ｔ２を終了する。露光期間Ｔ２の終了後、撮像素子駆動部１０は、副画素から読み出した電荷を転送し、第二のデータを固体撮像素子５から読み出す（図中の“読み出し１”）。
【００７６】
時刻ｔ２から所定時間経過後の時刻ｔ３において、撮像素子駆動部１０は、主画素及び副画素から電荷を読み出して露光期間Ｔ１を終了すると共に、露光期間Ｔ３を開始する。
【００７７】
露光期間Ｔ１の終了後、撮像素子駆動部１０は、時刻ｔ３において主画素から読み出した電荷を転送して第一のデータを固体撮像素子５から読み出し（図中の“読み出し２”）、時刻ｔ３において副画素から読み出した不要電荷を転送して外部に掃き出す（図中の“掃き出し１”）。
【００７８】
露光期間Ｔ３の終了時刻である時刻ｔ４の時点で、“読み出し２”と“掃き出し１”が完了していない場合には、システム制御部１１がメカニカルシャッタを閉じる制御を行う。メカニカルシャッタが閉じた時点で、露光期間Ｔ３が終了する。
【００７９】
そして、“読み出し２”と“掃き出し１”が完了した後、撮像素子駆動部１０は、副画素の読み出し電極に読み出しパルスを供給して、副画素に蓄積された電荷を垂直電荷転送路に読み出す。その後、垂直電荷転送路及び水平電荷転送路を駆動して、第三のデータを固体撮像素子５から読み出す（図中の“読み出し３”）。
【００８０】
このように、露光期間Ｔ１と露光期間Ｔ２の開始タイミングを一致させ、露光期間Ｔ１の終了と同時に露光期間Ｔ３を開始させることで、露光期間Ｔ２を短くした場合（ダイナミックレンジ拡大倍率をより大きくした場合）でも、露光期間Ｔ１、露光期間Ｔ２、露光期間Ｔ３を設定とおりに実施することができる。
【００８１】
（第四の動作例）
図９は、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第四の駆動例を説明するためのタイミングチャートである。図９に示した例は、露光期間Ｔ３を先に実施し、その後、露光期間Ｔ１，Ｔ２を実施するようにしたものである。
【００８２】
撮像素子駆動部１０は、時刻ｔ１で撮影指示がなされると、固体撮像素子５に供給していた電子シャッタパルスを停止し、露光期間Ｔ３を開始する。システム制御部１１は、露光期間Ｔ３中に補助光発光パルスを補助光発光部１２に供給して、露光期間Ｔ３中に補助光を発光させる。
【００８３】
露光期間Ｔ３開始から所定時間経過した時刻ｔ２において、撮像素子駆動部１０は、主画素及び副画素の読み出し電極に読み出しパルスを供給して、主画素及び副画素に蓄積されていた電荷を垂直電荷転送路に読み出す。撮像素子駆動部１０は、この読み出しパルスの供給の停止を以って、露光期間Ｔ３を終了すると共に、露光期間Ｔ１及び露光期間Ｔ２を開始する。
【００８４】
露光期間Ｔ１及び露光期間Ｔ２の開始後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、主画素から読み出した不要電荷を掃き出す（図中の“掃き出し１”）と共に、副画素から読み出した電荷を転送して、第三のデータを固体撮像素子５から読み出す（図中の“読み出し１”）。
【００８５】
時刻ｔ２から所定時間経過後の時刻ｔ３になると、撮像素子駆動部１０は、副画素の読み出し電極に読み出しパルスを供給し、副画素に蓄積されていた電荷（露光期間Ｔ２において副画素に蓄積された電荷）を垂直電荷転送路に読み出す。撮像素子駆動部１０は、副画素の読み出し電極への読み出しパルスの供給の停止を以って、露光期間Ｔ２を終了する。
【００８６】
露光期間Ｔ２の終了後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、副画素から読み出した電荷を転送し、第二のデータを固体撮像素子５から読み出す（図中の“読み出し２”）。
【００８７】
時刻ｔ３から所定時間経過後の時刻ｔ４になると、撮像素子駆動部１０は、主画素の読み出し電極に読み出しパルスを供給し、主画素に蓄積されていた電荷（露光期間Ｔ１において主画素に蓄積された電荷）を垂直電荷転送路に読み出す。撮像素子駆動部１０は、主画素の読み出し電極への読み出しパルスの供給の停止を以って、露光期間Ｔ１を終了する。
【００８８】
露光期間Ｔ１の終了後、撮像素子駆動部１０は、垂直電荷転送路及び水平電荷転送路に転送パルスを供給して、主画素から読み出した電荷を転送し、第一のデータを固体撮像素子５から読み出す（図中の“読み出し３”）。
【００８９】
撮像により固体撮像素子５から出力された第一のデータ、第二のデータ、及び第三のデータは、メインメモリ１６に一時記憶される。そして、デジタル信号処理部１７は、メインメモリ１６から第一のデータ、第二のデータ、及び第三のデータを取得し、上述した処理を実施して、ダイナミックレンジを拡大した画像データを得る。
【００９０】
このように、露光期間Ｔ３を露光期間Ｔ１，Ｔ２より先に実施しても、補助光により明るさを補いながら、ダイナミックレンジを拡大することができる。
【００９１】
（第五の動作例）
図１０は、図１に示すデジタルカメラの広ＤＲ撮影モードにおける補助光発光撮影時の固体撮像素子の第五の駆動例を説明するためのタイミングチャートである。図１０は、図９に示したタイミングチャートにおいて、露光期間Ｔ２が、露光期間Ｔ２開始後の電荷の転送期間（“読み出し１，掃き出し１”）よりも短い場合に有効な駆動例である。
【００９２】
図９において、露光期間Ｔ２が“読み出し１”，“掃き出し１”の期間よりも短いと、露光期間Ｔ２の終了時には転送路で電荷転送が継続されているため、この時点で副画素から転送路に電荷を読み出すことができず、露光期間Ｔ２を終了させることができない。メカニカルシャッタを用いて露光期間Ｔ２を終了させるにしても、露光期間Ｔ２の終了時に露光期間Ｔ１が継続されているため、メカニカルシャッタを閉じることもできない。
【００９３】
そこで、撮像素子駆動部１０は、図１０に示すように、時刻ｔ４において露光期間Ｔ１と同時に露光期間Ｔ２が終了するように、露光期間Ｔ１の途中の時刻ｔ３で副画素から不要電荷を読み出して露光期間Ｔ２を開始する。露光期間Ｔ２の開始後、撮像素子駆動部１０は、副画素から読み出した不要電荷を掃き出す駆動を行う（図中の“掃き出し２”）。
【００９４】
露光期間Ｔ２の終了時刻である時刻ｔ４の時点で、不要電荷の掃き出しが完了していない場合には、システム制御部１１がメカニカルシャッタを閉じる制御を行う。メカニカルシャッタが閉じた時点で、露光期間Ｔ１と露光期間Ｔ２が終了する。
【００９５】
その後、“掃き出し２”が完了した後の時刻ｔ５において、撮像素子駆動部１０は、主画素及び副画素の読み出し電極に読み出しパルスを供給して、主画素と副画素に蓄積された電荷を垂直電荷転送路に読み出す。その後、垂直電荷転送路及び水平電荷転送路を駆動して、第一のデータ及び第二のデータを固体撮像素子５から読み出す（図中の“読み出し２”、“読み出し３”）。
【００９６】
このように、露光期間Ｔ３の終了と同時に露光期間Ｔ１を開始させ、露光期間Ｔ１の途中で露光期間Ｔ２を開始し、露光期間Ｔ２と露光期間Ｔ１の終了タイミングを一致させることで、露光期間Ｔ２が不要電荷の掃き出し期間より短くなった場合でも、露光期間Ｔ２を設定とおりに終了させることができる。
【００９７】
次に、図１に示したデジタルカメラが、図６〜８に示した３つの駆動モードを持つ場合の動作例を説明する。
【００９８】
図１１及び図１２は、図１に示したデジタルカメラの広ＤＲ撮影モード時において補助光発光撮影を行ったときの動作を説明するためのフローチャートである。操作部１４に含まれるシャッターボタンが半押しされると、システム制御部１１がＡＥ（自動露出制御）、ＡＦ（自動焦点調節制御）を実施し、ＡＥの結果と、ユーザによって設定されたダイナミックレンジ拡大倍率Ｄとから、露光期間Ｔ１、露光期間Ｔ２、露光期間Ｔ３のそれぞれの時間を決定する（ステップＳ１）。
【００９９】
次に、システム制御部１１は、露光期間Ｔ２の時間が、固体撮像素子５の各光電変換素子から読み出した不要電荷の掃き出しに要する時間（掃き出し時間）よりも長いかどうかを判定する（ステップＳ２）。
【０１００】
露光期間Ｔ２の時間が掃き出し時間よりも長い場合（ステップＳ２：ＹＥＳ）、この場合、システム制御部１１は、図６に示した駆動モードで固体撮像素子５の駆動を開始する。
【０１０１】
まず、撮像素子駆動部１０が、時刻ｔ１で電子シャッタパルスをオフにして露光期間Ｔ１を開始する（ステップＳ３）。露光期間Ｔ１の露光が所定時間行われた後（ステップＳ４）、撮像素子駆動部１０は、副画素から不要電荷を読み出して露光期間Ｔ２を開始する（ステップＳ５）。次に、撮像素子駆動部１０は、副画素から読み出した不要電荷を掃き出す駆動を行う（ステップＳ６）。
【０１０２】
露光期間Ｔ２開始から露光が継続され（ステップＳ７）、時刻ｔ３になると、撮像素子駆動部１０は、主画素及び副画素から電荷を読み出して露光期間Ｔ１と露光期間Ｔ２を終了すると共に、露光期間Ｔ３を開始する（ステップＳ８）。撮像素子駆動部１０は、露光期間Ｔ１、露光期間Ｔ２の終了後、主画素及び副画素から読み出した電荷を転送し、第一のデータ及び第二のデータを固体撮像素子５から読み出す。
【０１０３】
露光期間Ｔ３が開始すると、この期間中に、補助光発光部１２が補助光を発光する（ステップＳ９）。露光期間Ｔ３の終了タイミングである時刻ｔ４において、第一のデータ及び第二のデータの読み出しが完了していた場合（ステップＳ１０：ＹＥＳ）、撮像素子駆動部１０は、副画素から電荷を読み出して、露光期間Ｔ３を終了する（ステップＳ１１）。露光期間Ｔ３の終了後、撮像素子駆動部１０は、副画素から読み出した電荷を転送して第三のデータを固体撮像素子５から読み出す。その後は、デジタル信号処理部１７が、第一のデータ、第二のデータ、第三のデータに基づいてダイナミックレンジ拡大処理を実施する。
【０１０４】
露光期間Ｔ３の終了タイミングである時刻ｔ４において、第一のデータ及び第二のデータの読み出しが完了していない場合（ステップＳ１０：ＮＯ）、この場合は、図７に示す駆動モードの時刻ｔ４以降の駆動が実施される。すなわち、システム制御部１１が、メカニカルシャッタを閉じる制御を行って露光期間Ｔ３を終了する（ステップＳ１３）。そして、第一のデータ及び第二のデータの読み出し完了を待って、撮像素子駆動部１０が、副画素から電荷を読み出し（ステップＳ１４）、これを転送して第三のデータを固体撮像素子５から読み出す（ステップＳ１５）。その後は、デジタル信号処理部１７が、第一のデータ、第二のデータ、第三のデータに基づいてダイナミックレンジ拡大処理を実施する。
【０１０５】
ステップＳ２に戻り、露光期間Ｔ２の時間が掃き出し時間よりも短い場合（ステップＳ２：ＮＯ）、この場合、システム制御部１１は、図８に示した駆動モードで固体撮像素子５の駆動を開始する。
【０１０６】
まず、撮像素子駆動部１０が、時刻ｔ１で電子シャッタパルスをオフにして露光期間Ｔ１と露光期間Ｔ２を同時に開始する（ステップＳ２１）。露光期間Ｔ１と露光期間Ｔ２開始から露光が継続され（ステップＳ２２）、時刻ｔ２になると、撮像素子駆動部１０が、副画素から電荷を読み出して露光期間Ｔ２を終了する（ステップＳ２３）。露光期間Ｔ２の終了後、撮像素子駆動部１０は、副画素から読み出した電荷を転送して、第二のデータを固体撮像素子５から読み出す（ステップＳ２４）。
【０１０７】
その後、露光が継続され（ステップＳ２５）、時刻ｔ３になると、撮像素子駆動部１０が、主画素及び副画素から電荷を読み出して、露光期間Ｔ１を終了すると共に、露光期間Ｔ３を開始する（ステップＳ２６）。露光期間Ｔ１の終了後、撮像素子駆動部１０は、主画素から読み出した電荷を転送して第一のデータを固体撮像素子５から読み出すと共に、副画素から読み出した不要電荷を掃き出す（ステップＳ２７）。
【０１０８】
露光期間Ｔ３が開始すると、この期間中に、補助光発光部１２が補助光を発光する（ステップＳ２８）。露光期間Ｔ３の終了タイミングである時刻ｔ４になると、システム制御部１１がメカニカルシャッタを閉じて露光期間Ｔ３を終了する（ステップＳ２９）。そして、第一のデータの読み出しが完了した後、撮像素子駆動部１０が、副画素から電荷を読み出し（ステップＳ３０）、読み出した電荷を転送して第三のデータを固体撮像素子５から読み出す（ステップＳ３１）。その後は、デジタル信号処理部１７が、第一のデータ、第二のデータ、第三のデータに基づいてダイナミックレンジ拡大処理を実施する。
【０１０９】
このように、露光期間Ｔ２の長さと、露光期間Ｔ３の長さによって図６〜図８のいずれかの駆動モードを選択することで、常に、設定とおりの露光期間で撮像を実施することができる。
【０１１０】
なお、第一の動作例から第五の動作例では、露光期間Ｔ１と露光期間Ｔ２が一部重複するものとしたが、全て重複（露光期間Ｔ１＝Ｔ２）していてもよい。露光期間Ｔ１と露光期間Ｔ２を重複させることで、撮影時間を短縮できるというメリットがある。
【０１１１】
また、以上の説明では、固体撮像素子５が、図３〜図５に示した光電変換素子配列を持つものを前提としたが、正方格子配列された光電変換素子上にベイヤー配列のカラーフィルタを搭載した一般的な固体撮像素子であっても、本発明を適用することができる。この場合は、撮影指示に応じて露光期間Ｔ１、露光期間Ｔ２、露光期間Ｔ３の３つの露光期間で３回の撮像を連続して実施する。そして、その３回の撮像で得られたデータを用いて、ダイナミックレンジ拡大処理を実施すればよい。
【０１１２】
以上説明したように、本明細書には以下の事項が開示されている。
【０１１３】
開示された撮像装置は、固体撮像素子と、１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で前記固体撮像素子により撮像を実施する制御を行う撮像制御部と、前記第三の露光期間中に補助光を発光する補助光発光部とを備え、前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間である。
【０１１４】
この構成により、第三の露光期間とは重複せず、かつ、第三の露光期間と同じ長さ又は第三の露光期間よりも長い長さの第二の露光期間のデータを得ることができるため、このデータと第三の露光期間のデータとから、補助光の発光量に相当するデータを得ることができる。また、第一の露光期間と第三の露光期間は異なる長さとなっているため、第一の露光期間と第三の露光期間の長さの比と、この補助光の発光量に相当するデータと、第一の露光期間のデータと、第三の露光期間のデータとを用いることで、補助光により明るさがアップしかつダイナミックレンジが正確に拡大されたデータを得ることができる。この構成によれば、補助光は第三の露光期間にのみ発光すればよいため、発光制御が容易となる。
【０１１５】
開示された撮像装置は、前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得部と、前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に相当する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理部とを備える。
【０１１６】
この構成により、補助光により明るさがアップしかつダイナミックレンジが正確に拡大されたデータを得ることができる。
【０１１７】
開示された撮像装置は、前記固体撮像素子が、第一の光電変換素子と、これに隣接する第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有し、前記第一の光電変換素子と前記第二の光電変換素子からは独立に電荷を読み出し可能になっており、前記撮像制御部が、前記第一の露光期間では前記第一の光電変換素子を露光し、前記第二の露光期間では前記第二の光電変換素子を露光すると共に、前記第一の露光期間と前記第二の露光期間が重複するように、前記第一の露光期間と前記第二の露光期間を設定する。
【０１１８】
この構成により、撮影終了までの時間を短縮することができる。
【０１１９】
開示された撮像装置は、前記撮像制御部が、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第二の露光期間の終了後に前記第三の露光期間を開始する。
【０１２０】
この構成により、第二の露光期間と第三の露光期間とが連続して実施されるため、補助光の発光量に相当するデータを精度良く求めることが可能となる。
【０１２１】
開示された撮像装置は、前記撮像制御部が、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第三の露光期間の終了後に前記第二の露光期間を開始する。
【０１２２】
この構成により、第二の露光期間と第三の露光期間とが連続して実施されるため、補助光の発光量に対応するデータを精度良く求めることが可能となる。
【０１２３】
開示された撮像装置は、前記撮像制御部が、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第一の露光期間の終了後に前記第三の露光期間を開始する。
【０１２４】
この構成により、第二の露光期間が極端に短い場合でも、データの読み出しを正確に行うことができる。
【０１２５】
開示された撮像装置は、メカニカルシャッタを備え、前記撮像制御部が、前記第三の露光期間の終了を前記メカニカルシャッタによって制御する。
【０１２６】
この構成により、第三の露光期間が短い場合でも、第三の露光期間を正確に実施することができる。
【０１２７】
開示された撮像装置は、前記撮像制御部が、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第三の露光期間の終了後に前記第一の露光期間を開始する。
【０１２８】
この構成により、第二の露光期間が極端に短い場合でも、データの読み出しを正確に行うことができる。
【０１２９】
開示された撮像装置は、メカニカルシャッタを備え、前記撮像制御部が、前記第一の露光期間及び前記第二の露光期間の終了を前記メカニカルシャッタによって制御する。
【０１３０】
この構成により、第二の露光期間が短い場合でも、第二の露光期間を正確に実施することができる。
【０１３１】
開示された撮像装置は、前記撮像制御部が、前記第二の露光期間を前記第三の露光期間と同じ長さに設定する。
【０１３２】
この構成により、第三の露光期間で得られるデータから第二の露光期間で得られるデータを減算するだけで、補助光の発光量に対応するデータを容易に得ることが可能となる。また、第三の露光期間で得られるデータと第二の露光期間で得られるデータの相関性を高めることができる。
【０１３３】
開示された撮像装置は、前記撮像制御部が、前記第三の露光期間を前記第二の露光期間よりも短く設定する。
【０１３４】
この構成により、撮影時間を短縮することができる。
【０１３５】
開示された撮像制御方法は、１回の撮影指示に応じて、第一の露光期間と、第二の露光期間と、第三の露光期間との３つの露光期間で固体撮像素子により撮像を実施する制御を行う撮像制御ステップと、前記第三の露光期間中に補助光を発光する補助光発光ステップとを備え、前記第三の露光期間は、前記第一の露光期間より短い期間でかつ前記第一の露光期間及び前記第二の露光期間とは重複しない期間であり、前記第二の露光期間は、前記第三の露光期間と同じ長さ又は前記第三の露光期間よりも長い長さの期間である。
【０１３６】
開示された撮像制御方法は、前記第一の露光期間での撮像により前記固体撮像素子から得られる第一のデータ、前記第二の露光期間での撮像により前記固体撮像素子から得られる第二のデータ、及び前記第三の露光期間での撮像により前記固体撮像素子から得られる第三のデータを取得するデータ取得ステップと、前記第二のデータと前記第三のデータとに基づいて前記補助光の発光量に対応する発光量データを算出し、前記発光量データに基づいて前記第一のデータを補正し、補正後の前記第一のデータと前記第三のデータとを合成する処理を実施する合成処理ステップとを備える。
【０１３７】
開示された撮像制御方法は、前記固体撮像素子が、第一の光電変換素子と、これに隣接する第二の光電変換素子とからなるペアであって、基板上に規則的に配置された複数のペアを有し、前記第一の光電変換素子と前記第二の光電変換素子からは独立に電荷を読み出し可能になっており、前記撮像制御ステップでは、前記第一の露光期間では前記第一の光電変換素子を露光し、前記第二の露光期間では前記第二の光電変換素子を露光すると共に、前記第一の露光期間と前記第二の露光期間が重複するように、前記第一の露光期間と前記第二の露光期間を設定する。
【０１３８】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第二の露光期間の終了後に前記第三の露光期間を開始する。
【０１３９】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第三の露光期間の終了後に前記第二の露光期間を開始する。
【０１４０】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の開始タイミングを同一とし、前記第一の露光期間の終了後に前記第三の露光期間を開始する。
【０１４１】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第三の露光期間の終了を前記メカニカルシャッタによって制御する。
【０１４２】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第二の露光期間を前記第一の露光期間よりも短く設定し、前記第一の露光期間と前記第二の露光期間の終了タイミングを同一とし、前記第三の露光期間の終了後に前記第一の露光期間を開始する。
【０１４３】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第一の露光期間及び前記第二の露光期間の終了を前記メカニカルシャッタによって制御する。
【０１４４】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第二の露光期間を前記第三の露光期間と同じ長さに設定する。
【０１４５】
開示された撮像制御方法は、前記撮像制御ステップでは、前記第三の露光期間を前記第二の露光期間よりも短く設定する。
【符号の説明】
【０１４６】
５  固体撮像素子
１０  撮像素子駆動部
１２  補助光発光部
１７  デジタル信号処理部
【図１】
2011066795.tif 000003
【図２】
2011066795.tif 000004
【図３】
2011066795.tif 000005
【図４】
2011066795.tif 000006
【図５】
2011066795.tif 000007
【図６】
2011066795.tif 000008
【図７】
2011066795.tif 000009
【図８】
2011066795.tif 000010
【図９】
2011066795.tif 000011
【図１０】
2011066795.tif 000012
【図１１】
2011066795.tif 000013
【図１２】
2011066795.tif 000014