(57)【要約】【課題】  撮像素子の回路構成を変更しなくともダイナミックレンジの拡張を容易に行う。【解決手段】  光電変換部と、電荷蓄積部と、出力部と、リセット部と、を備えた画素が複数配列される撮像素子と、有効露光期間が開始されてから予め設定された時間が経過するまでの第１期間に光電変換部の光電変換により得られた信号電荷を電荷蓄積部に蓄積させ、有効露光期間が終了したときに、出力部を介して電荷蓄積部に蓄積された信号電荷を画素毎に第１画素信号として出力させる第１の制御手段と、リセット部を介して第１画素信号が出力された後の電荷蓄積部をリセットさせるとともに、第１期間が経過してから有効露光期間が終了するまでの第２期間に光電変換部の光電変換により得られた信号電荷を電荷蓄積部に蓄積させた後、出力部を介して電荷蓄積部に蓄積された信号電荷を画素毎に第２画素信号として出力させる第２の制御手段と、撮像素子から出力される第１画素信号及び第２画素信号を画素毎に合成する合成手段と、を備えたことを特徴とする。【選択図】    図３
2011097164.tif 000002
【特許請求の範囲】
【請求項１】
露光が有効とされる有効露光期間に入射される光を光電変換する光電変換部と、前記光電変換部の光電変換により得られた信号電荷を蓄積する電荷蓄積部と、前記電荷蓄積部により蓄積された信号電荷を画素信号として出力する出力部と、前記信号電荷を画素信号として出力した後の前記電荷蓄積部をリセットするリセット部と、を備えた画素が複数配列される撮像素子と、
前記有効露光期間が開始されてから予め設定された時間が経過するまでの第１期間に前記光電変換部の光電変換により得られた信号電荷を前記電荷蓄積部に蓄積させ、前記有効露光期間が終了したときに、前記出力部を介して前記電荷蓄積部に蓄積された信号電荷を画素毎に第１画素信号として出力させる第１の制御手段と、
前記リセット部を介して前記第１画素信号が出力された後の前記電荷蓄積部をリセットさせるとともに、前記第１期間が経過してから前記有効露光期間が終了するまでの第２期間に前記光電変換部の光電変換により得られた信号電荷を前記電荷蓄積部に蓄積させた後、前記出力部を介して前記電荷蓄積部に蓄積された信号電荷を画素毎に第２画素信号として出力させる第２の制御手段と、
前記撮像素子から出力される前記第１画素信号及び前記第２画素信号を画素毎に合成する合成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記有効露光期間における前記第１期間及び前記第２期間を設定する設定手段を備えていることを特徴とする撮像装置。
【請求項３】
請求項１又は請求項２に記載の撮像装置において、
前記入射光の光路を遮断する遮断状態と、前記入射光の光路を開放する開放状態との間で切り替わる機械式シャッタ機構を、さらに備え、
前記有効露光期間は、前記シャッタ機構が前記遮断状態から前記開放状態に切り替わってから、前記遮断状態に再度切り替わるまでの期間からなることを特徴とする撮像装置。
【請求項４】
請求項１又は請求項２に記載の撮像装置において、
前記光電変換部における電荷蓄積時間を設定する時間設定手段をさらに備え、
前記有効露光期間は、前記リセット部による前記電荷蓄積部のリセットが行われることで開始され、前記時間設定手段により設定された前記電荷蓄積時間が経過したときに終了することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いた撮像装置に関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサなどの撮像素子におけるダイナミックレンジを拡張する手法として、露光期間の異なる撮像を複数回行い、これら複数回の撮像により得られた画像を合成することが一般的である。また、露光期間が終了した後、予め設定されたリード電圧を各画素に印加することでフォトダイオードにより光電変換された信号電荷を読み出す他に、露光期間中に該露光期間が終了した後に印加されるリード電圧よりも低いリード電圧を各画素に印加することでフォトダイオードにより光電変換された信号電荷の一部を読み出し、これら読み出された信号電荷に基づく画像信号を合成することも考案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８７６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、異なるリード電圧をそれぞれ印加することで読み出された信号電荷に基づく画像信号を用いてダイナミックレンジを拡張する場合、露光期間中にリード電圧を印加する回路構成を新たに設ける必要があり、また、その制御方法が複雑になるという問題がある。
【０００５】
本発明は、撮像素子の回路構成を変更しなくとも、ダイナミックレンジの拡張を容易に行うことができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の撮像装置は、露光が有効とされる有効露光期間に入射される光を光電変換する光電変換部と、前記光電変換部の光電変換により得られた信号電荷を蓄積する電荷蓄積部と、前記電荷蓄積部により蓄積された信号電荷を画素信号として出力する出力部と、前記信号電荷を画素信号として出力した後の前記電荷蓄積部をリセットするリセット部と、を備えた画素が複数配列される撮像素子と、前記有効露光期間が開始されてから予め設定された時間が経過するまでの第１期間に前記光電変換部の光電変換により得られた信号電荷を前記電荷蓄積部に蓄積させ、前記有効露光期間が終了したときに、前記出力部を介して前記電荷蓄積部に蓄積された信号電荷を画素毎に第１画素信号として出力させる第１の制御手段と、前記リセット部を介して前記第１画素信号が出力された後の前記電荷蓄積部をリセットさせるとともに、前記第１期間が経過してから前記有効露光期間が終了するまでの第２期間に前記光電変換部の光電変換により得られた信号電荷を前記電荷蓄積部に蓄積させた後、前記出力部を介して前記電荷蓄積部に蓄積された信号電荷を画素毎に第２画素信号として出力させる第２の制御手段と、前記撮像素子から出力される前記第１画素信号及び前記第２画素信号を画素毎に合成する合成手段と、を備えたことを特徴とする。
【０００７】
また、前記有効露光期間における前記第１期間及び前記第２期間を設定する設定手段を備えていることが好ましい。
【０００８】
また、前記入射光の光路を遮断する遮断状態と、前記入射光の光路を開放する開放状態との間で切り替わる機械式シャッタ機構を、さらに備え、前記有効露光期間は、前記シャッタ機構が前記遮断状態から前記開放状態に切り替わってから、前記遮断状態に再度切り替わるまでの期間からなることが好ましい。
【０００９】
また、前記光電変換部における電荷蓄積時間を設定する時間設定手段をさらに備え、前記有効露光期間は、前記リセット部による前記電荷蓄積部のリセットが行われることで開始され、前記時間設定手段により設定された前記電荷蓄積時間が経過したときに終了することが好ましい。
【発明の効果】
【００１０】
本発明によれば、撮像素子の回路構成を変更しなくとも、ダイナミックレンジを容易に拡張することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明を実施したデジタルカメラの構成の概略を示す図である。
【図２】撮像素子の構成の概略を示す図である。
【図３】撮像素子の動作の流れを示すタイミングチャートである。
【図４】撮影時のデジタルカメラ内部の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、撮像装置の一例としたデジタルカメラ１０の構成を示している。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後に出力される画素毎の電気信号（以下、画素信号）から画像信号（画像データ）を取得する。なお、このデジタルカメラ１０においては、１回の撮影を行ったときに露光時間が異なる２種類の画像信号が撮像素子１６から出力される。そして、これら画像信号を合成することで、ダイナミックレンジを拡張した画像データが取得される。
【００１３】
撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。撮像素子１６は、ＣＭＯＳイメージセンサが用いられる。この撮像素子１６は、後述するドライバ１８によって駆動される。
【００１４】
ドライバ１８は、撮像素子１６を駆動する。撮像素子１６の駆動（動作）としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された信号電荷の出力を制御することが挙げられる。なお、このドライバ１８は、後述するＣＰＵ４１から出力される各種信号に基づいて撮像素子１６を駆動させる。なお、撮像素子１６における駆動の詳細については後述する。
【００１５】
撮像光学系１５と撮像素子１６との間には、シャッタ１９が設けられる。このシャッタ１９は、機械式シャッタから構成される。このシャッタ１９は、ＣＰＵ４１により、撮像光学系１５を介して取り込まれた被写体光の光路を遮断する遮断状態と、該被写体光の光路を開放する開放状態とで切り替えられる。なお、シャッタ１９が開放状態となると、撮像光学系１５により取り込まれた被写体光が撮像素子１６の受光面に照射され、撮像素子１６の各画素において光電変換が実行される。そして、例えば設定された時間が経過すると、シャッタ１９が開放状態から遮断状態に切り替わり、撮像素子１６の各画素における光電変換が終了する。このシャッタ１９が開放状態となる期間が有効露光期間Ｔとなる。上述したように、１回の撮影を行ったときには、露光時間が異なる２種類の画像信号が撮像素子１６から出力される。つまり、この有効露光期間Ｔは、異なる２つの期間（以下、第１露光期間Ｔ１及び第２露光期間Ｔ２）から構成される。
【００１６】
ＡＦＥ回路２１は、入力された画像信号に対してゲインコントロールなどのアナログ処理を施した後、図示しないＡ／Ｄ変換回路により、アナログの画像信号をデジタルの画像信号に変換する。デジタルの画像信号は、ＤＦＥ回路２２に出力される。
【００１７】
ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）回路２２は、入力される画像信号に対して欠陥補正処理やノイズ補正処理を行う。なお、欠陥補正処理やノイズ補正処理については、周知であることから、ここでは、その詳細を省略する。このＤＦＥ回路２２によって欠陥補正処理やノイズ補正処理が施された画像信号は、画像データとしてバッファメモリ３０に書き込まれる。
【００１８】
上述したように、有効露光期間Ｔは、第１露光期間Ｔ１及び第２露光期間Ｔ２から構成されることから、バッファメモリ３０には、第１露光期間Ｔ１における光電変換で取得される画像信号（以下、第１画像データ）と、第２露光期間Ｔ２における光電変換で取得される画像信号（以下、第２画像データ）とが書き込まれる。なお、符号２３はタイミングジェネレータ（ＴＧ）であり、ＴＧ２３は、ＡＦＥ回路２１、ＤＦＥ回路２２及びドライバ１８の駆動タイミングを制御するために設けられる。
【００１９】
画像処理回路３１は、バッファメモリ３０に記憶される第１画像データ及び第２画像データを合成する処理を行う。第１及び第２画像データは、それぞれ異なる露光時間に基づいて生成された画像データからなる。このため、画像処理回路３１は、これら画像データのうち、露光時間が長い画像データに対して露光時間が短い画像データの信号レベルを一致させるゲイン処理を実行する。例えば、第１画像データを取得する際の露光時間となる第１露光期間Ｔ１が、第２画像データを取得する際の露光時間となる第２露光期間Ｔ２よりも長く設定されている場合には、第２画像データの信号レベルを、第１画像データの信号レベルに一致させればよい。このゲイン処理の後、これら画像データを合成する。この合成処理済みの画像データは、バッファメモリ３０に書き込まれる。
【００２０】
また、この他に、画像処理回路３１は、バッファメモリ３０に書き込まれた合成処理済みの画像データに対して、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理の後、画像処理回路３１は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の圧縮画像データが生成される。
【００２１】
メディアスロット３３は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体３４が着脱自在となっている。この記憶媒体３４は、画像ファイルが記録される。なお、静止画撮影を行っている場合には、この画像ファイルは、画像処理回路３１にて生成された圧縮画像データ、サムネイル画像データの他に、撮影時の撮影条件を示す情報やデジタルカメラ１０の情報が一つにまとめられたＥｘｉｆ形式の画像ファイルとなる。
【００２２】
ＬＣＤ３５は、表示装置の一形態であって、スルー画像、撮影時に得られた画像やデジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３６は、ＬＣＤ３５の駆動制御を行う表示制御回路である。
【００２３】
ＣＰＵ４１は、バス４２を介して、バッファメモリ３０、画像処理回路３１、メディアスロット３３、表示制御回路３６、内蔵メモリ４３などと電気的に接続される。このＣＰＵ４１には、レリーズボタン４５、設定操作部４６などが接続されており、ＣＰＵ４１は、これら操作部材における操作要求や内蔵メモリ４３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。なお、レリーズボタン４５には、２つのスイッチＳＷ１，ＳＷ２が設けられている。スイッチＳＷ１は、レリーズボタン４５が半押し操作された場合にオンになるスイッチであり、スイッチＳＷ２は、レリーズボタン４５が全押し操作された場合にオンになるスイッチである。
【００２４】
次に、上述した撮像素子１６について説明する。図２は、撮像素子１６としてＣＭＯＳイメージセンサを用いた場合の撮像素子の構成の概略を示す。なお、図の煩雑さを解消するために、図２においては、１つの画素について図示している。撮像素子１６は、複数配列される画素Ａij、垂直シフトレジスタ５１、水平シフトレジスタ５２、サンプルホールド（ＳＨ）回路５３j及び出力アンプ５４を備えている。なお、垂直シフトレジスタ５１、水平シフトレジスタ５２、サンプルホールド（ＳＨ）回路５３j及び出力アンプ５４は、上述したドライバ１８に基づき駆動される。
【００２５】
複数の画素Ａijのそれぞれは、垂直シフトレジスタ５１から水平方向に伸びる複数の信号線５５i，５６i，５７i，５８iによって電気的に接続される。なお、複数の信号線において、信号線５５iは転送用の信号線、信号線５６iはリセット用の信号線、信号線５７iは選択用の信号線、信号線５８iは電源用の信号線である。なお、複数の画素Ａijのうち、同一列方向（図中垂直方向）に配置された画素から出力される画素信号は垂直信号線６１jによりカラムアンプ６２jを介してＳＨ回路５３jに入力される。
【００２６】
複数の画素Ａijは、赤（Ｒ）色、緑（Ｇ）色、青（Ｂ）色の単一色成分のいずれかの画素からなり、これら複数の画素Ａijが例えばベイヤー配列によって二次元状に配置される。これら複数の画素Ａijは、光電変換によって信号電荷を生成するフォトダイオード（ＰＤ）６５、フォトダイオード６５により生成された信号電荷を蓄積するフローティングディフュージョン（以下、ＦＤ）６６、フォトダイオード６５に蓄積された信号電荷をＦＤ６６に転送する転送トランジスタ６７、ゲートがＦＤ６６と接続されてＦＤ６６の電位変動を電気信号に変換する増幅トランジスタ６８、信号電荷を読み出す画素を行単位で選択するための選択トランジスタ６９、ＦＤ６６の電位を電源電位（Ｖｄｄ）にリセットするためのリセットトランジスタ７０を有している。
【００２７】
ＳＨ回路５３jは、画素Ａijに蓄積された画素信号を標本化（サンプリング）し、一定時間保持する。なお、このＳＨ回路５３jにより保持された画素信号は、水平信号線７１、出力アンプ５４を介して出力される。
【００２８】
次に、撮影処理が実行されたときの撮像素子１６の動作について、図３のタイミングチャートに基づき説明する。なお、図３のタイミングチャートにおいては、ｔ＝ｔ０にてシャッタ１９が遮光状態から開放状態に切り替えられ、有効露光期間Ｔが開始される場合を示す。以下、有効露光時間Ｔを１／１２８秒とした場合の撮影について説明する。なお、本実施形態では、シャッタ１９を用いていることから、この有効露光時間Ｔはシャッタ速度となる。なお、このシャッタ速度は、ＡＥ処理で決定された値、又はユーザにより設定された値に基づくものである。この有効露光期間Ｔが開始される直前においては、シャッタ１９が遮光状態に保持されている。
【００２９】
有効露光期間Ｔが開始されると、撮像光学系１５を介して入射される被写体光が撮像素子１６の受光面に照射される。これを受けて、撮像素子１６の各画素Ａijに設けられたフォトダイオード６５における光電変換が開始される。このとき、転送トランジスタ６７はオフとなることから、光電変換された信号電荷は、フォトダイオード６５に蓄積されていく。
【００３０】
有効露光期間Ｔが開始され、例えば１／１６０秒など予め設定された時間が経過すると（ｔ＝ｔ１となると）、垂直シフトレジスタ５１から転送電圧が各画素Ａijに印加される。これを受けて、各画素Ａijの転送トランジスタ６７がオンとなり、フォトダイオード６５に蓄積されている信号電荷が、転送トランジスタ６７を介してＦＤ６６に転送される。この有効露光期間Ｔが開始されたｔ＝ｔ０から予め設定された時間が経過するｔ＝ｔ１までの期間が第１露光期間Ｔ１となる。
【００３１】
有効露光期間Ｔにおいては、シャッタ１９は開放状態であることから、撮像素子１６の受光面に被写体光が照射されている。しかしながら、フォトダイオード６５からＦＤ６６に向けて信号電荷が転送されている間は、フォトダイオード６５における光電変換は実行されない。その後、垂直シフトレジスタ５１から転送電圧の印加が停止されることを受けて、再度フォトダイオード６５における光電変換が開始される。垂直シフトレジスタ５１による転送電圧の印加開始から、その印加停止されるまでの時間は、印加する電圧などを加味した上で適宜設定されるものである。なお、図３においては、便宜上、信号電荷が転送されている時間を省略している。
【００３２】
フォトダイオード６５における光電変換が再度開始されるｔ＝ｔ１から１／６４０秒経過すると（ｔ＝ｔ２となると）、有効露光期間Ｔが終了する。この有効露光期間Ｔが終了すると、ＣＰＵ４１はシャッタ１９を開放状態から遮断状態に切り替える。なお、フォトダイオード６５における光電変換が再度開始されるｔ＝ｔ１から有効露光期間Ｔが終了するｔ＝ｔ２までの期間（１／６４０秒）が第２露光期間Ｔ２となる。
【００３３】
有効露光期間Ｔが終了したときには、第１露光期間Ｔ１においてフォトダイオード６５により光電変換された信号電荷がＦＤ６６に蓄積されている。このため、垂直シフトレジスタ５１は、信号電荷を読み出す画素Ａijを行単位で選択するためのリード電圧を各画素Ａijの選択トランジスタ６９に印加する。これを受けて、各画素ＡijのＦＤ６６に蓄積された信号電荷が画素信号として各行毎に出力される。なお、各画素Ａijから出力される画素信号は、カラムアンプ６２jを介してＳＨ回路５３jに入力される。ＳＨ回路５３jに入力された画素信号はアンプ５４にて増幅された後、撮像素子１６の外部に出力される。なお、各画素Ａijから出力される画素信号（以下、第１画素信号）は、ＡＦＥ回路２１、ＤＦＥ回路２２の順に入力され、最終的に画像データとしてバッファメモリ３０に書き込まれる。なお、第１露光期間Ｔ１にて得られる画像データを第１画像データと称する。
【００３４】
一方、画素信号の読み出しが終了した後、垂直シフトレジスタ５１は、各画素Ａijに対してリセット電圧を印加する。これにより、各画素ＡijのＦＤ６６がリセットされる。垂直シフトレジスタ５１は、各画素Ａijに対するリセット電圧の印加を停止した後、各画素Ａijに対して転送電圧を印加する。このとき、第２露光期間Ｔ２においてフォトダイオード６５により光電変換された信号電荷が、ＦＤ６６に転送される。この信号電荷をＦＤ６６に転送した後、各画素Ａijの画素信号の読み出し処理、及びＦＤ６６のリセット処理が実行される。これら処理は、第１露光期間Ｔ１によって得られた画素信号の読み出し処理とリセット処理と同様であることから、ここでは省略する。なお、第２露光期間Ｔ２における各画素Ａijの画素信号（第２画素信号）もまた、ＡＦＥ回路２１、ＤＦＥ回路２２の順で入力された後、最終的に画像データとしてバッファメモリ３０に書き込まれる。なお、第２露光期間Ｔ２にて得られる画像データを第２画像データと称する。これにより、有効露光期間Ｔの間に、異なる２つの露光期間に基づく画像データ（第１画像データ及び第２画像データ）を取得することが可能となる。なお、この
次に、撮影時のデジタルカメラ内部の処理の流れを図４のフローチャートに基づき説明する。なお、このフローチャートは、撮影が行えるが、レリーズボタン４５の操作が実行されていない、いわゆる撮影待機状態であることを契機にして実行される。また、このフローチャートにおいては、撮影以外の処理は省略して記載している。
【００３５】
ステップＳ１０１は、レリーズボタン４５の半押し操作が実行されたか否かを判定する処理である。レリーズボタン４５が半押し操作されると、スイッチＳＷ１がオンとなり、その信号がＣＰＵ４１に入力される。スイッチＳＷ１からのオン信号がＣＰＵ４１に入力されると、ＣＰＵ４１はレリーズボタン４５が半押し操作されたと判定する。この場合、ステップＳ１０１の判定処理がＹｅｓとなり、ステップＳ１０２に進む。一方、スイッチＳＷ１からのオン信号がＣＰＵ４１に入力されない場合には、ＣＰＵ４１はレリーズボタン４５が半押しされていないと判定する。この場合ステップＳ１０１の判定処理がＮｏとなり、繰り返しステップＳ１０１の処理が実行される。
【００３６】
ステップＳ１０２は、ＡＥ処理である。このＡＥ処理としては、周知であることから、ここでは、その詳細を省略するが、例えばレリーズボタン４５の半押し操作時に取得されるスルー画像から被写体の輝度を検出し、検出された輝度に基づいてシャッタ速度、絞り値、或いはＩＳＯ感度などの露出条件が求められる。なお、測光センサを備えている場合には、測光センサから出力される検出信号から輝度値を算出し、算出された輝度値に基づいて露出条件を求めてもよい。
【００３７】
ステップＳ１０３は、ＡＦ処理である。このＡＦ処理についても、周知であることから、その詳細を省略するが、例えば被写体が含まれる領域や撮影範囲の中央の領域など、特定の領域における焦点評価値が最大となるように、フォーカス調整が実行される。なお、複数の領域を対象とする場合には、これら領域における焦点評価値の合計値や平均値などの値が最大となるようにフォーカス調整を実行すればよい。
【００３８】
ステップＳ１０４は、レリーズボタン４５の全押し操作が実行されたか否かを判定する処理である。レリーズボタン４５が全押し操作されると、スイッチＳＷ２がオンとなり、その信号がＣＰＵ４１に入力される。スイッチＳＷ２からのオン信号がＣＰＵ４１に入力されると、ＣＰＵ４１はレリーズボタン４５が全押し操作されたと判定する。この場合、ステップＳ１０４の判定処理がＹｅｓとなり、ステップＳ１０５に進む。一方、スイッチＳＷ２からのオン信号がＣＰＵ４１に入力されない場合には、ＣＰＵ４１はレリーズボタン４５が全押しされていないと判定する。この場合ステップＳ１０４の判定処理がＮｏとなり、このステップＳ１０４の判定処理が実行される。
【００３９】
ステップＳ１０５は、撮像処理である。この撮像処理は、ステップＳ１０２により求められた露出条件に基づいて実行される。なお、この撮像処理が開始されると、ＣＰＵ４１は、シャッタ１９を遮断状態から開放状態に切り替える。これにより、有効露光期間Ｔが開始され、撮像光学系１５を介して取り込まれる被写体光が撮像素子１６の受光面に照射される。
【００４０】
有効露光期間Ｔが開始されると、各画素Ａijのフォトダイオード６５により光電変換が行われ、光電変換による信号電荷が蓄積される。有効露光期間Ｔが開始されてから例えば１／１６０秒経過するｔ＝ｔ１になると、第１露光期間Ｔ１が終了し、フォトダイオード６５からＦＤ６６に蓄積された信号電荷が転送される。この信号電荷の転送の後、彩度フォトダイオードによる光電変換が実行される。第１露光期間Ｔ１が終了してから、例えば１／６４０秒経過するｔ＝ｔ２になると、第２露光期間Ｔ２が終了する。この第２露光期間Ｔ２が終了することで、有効露光期間Ｔが終了する。これを受けて、シャッタ１９が開放状態から遮光状態に切り替わる。これにより、撮像素子１５を介して取り込まれる被写体光がシャッタ１９により遮光される。
【００４１】
有効露光期間Ｔが終了すると、各画素ＡijのＦＤ６６に蓄積された信号電荷が各行毎に画素信号として順次出力される。この出力の後、各画素ＡijのＦＤ６６がリセットされる。このとき、フォトダイオード６５には、第２露光期間Ｔ２において光電変換された信号電荷が蓄積されている。つまり、各画素ＡijのＦＤ６６のリセットが行われた後、第２露光期間Ｔ２において光電変換された信号電荷の読み出しが実行される。つまり、各画素Ａijにおいてフォトダイオード６５からＦＤ６６への信号電荷の転送する処理や、各画素ＡijのＦＤ６６に蓄積される信号電荷を画素信号として出力する処理が実行される。そして、これら処理が終了した後、各画素ＡijのＦＤ６６に対するリセットが実行される。
【００４２】
このような撮像処理が実行されることで、第１露光期間Ｔ１に基づく第１画像データと、第２露光期間Ｔ２に基づく第２画像データとが、第１画像データ、第２画像データの順でバッファメモリ３０に書き込まれる。
【００４３】
ステップＳ１０６は、合成処理である。画像処理回路３１は、バッファメモリ３０に記憶された第１画像データ及び第２画像データを読み出す。画像処理回路３１は、これら画像データのうち、露光期間が長い第１画像データに対して露光期間が短い第２画像データの信号レベルを一致させるゲイン処理を実行する。この場合、第１露光期間Ｔ１と第２露光期間Ｔ２との比に基づき第２画像データのゲイン補償を実行すればよい。このゲイン処理を行った後、これら画像データを合成する。これにより、ダイナミックレンジが拡張された画像データが生成される。
【００４４】
ステップＳ１０７は、画像処理である。画像処理回路３１は、合成処理済みの画像データに対して、ホワイトバランス（ＷＢ）処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。また、画像処理部は、画像処理済みの画像データに対して、圧縮符号化処理を行い、例えばＪｐｅｇ形式の圧縮画像データを生成する。また、この他に、画像処理回路３１は、合成処理済みの画像データを用いた解像度変更処理を行った後、圧縮符号化処理を行うことでサムネイル画像データを生成する。
【００４５】
ステップＳ１０８は、画像を記録する処理である。ＣＰＵ４１は、ステップＳ１０７にて生成された圧縮画像データやサムネイル画像データをバッファメモリ３０から読み出す。また、撮影条件やカメラの機種、撮影日時などの情報を読み出し、これら読み出した情報及び画像データを１つの画像ファイルとしてまとめ、記憶媒体に書き込む。この処理が実行されることで、撮影時の処理が終了する。
【００４６】
これによれば、有効露光期間Ｔの間に異なる２つの露光期間に基づいた画像データを取得することができ、これら画像データを合成することで、ダイナミックレンジを拡張した、所謂広ダイナミックレンジの画像データを取得することが可能となる。
【００４７】
また、本実施形態においては、有効露光期間Ｔが開始されてから所定時間が経過する第１露光期間が終了したときに、垂直シフトレジスタ５１から各画素に転送電圧を印加して第１露光期間Ｔ１における光電変換にて得られた信号電荷を該フォトダイオード６５からＦＤ６６に転送した後、再度フォトダイオード６５による光電変換を第２露光期間Ｔ２の間実行することで、２つの露光期間Ｔ１，Ｔ２における信号電荷を取得し、それぞれの露光期間における信号電荷を順に画素信号として出力する。つまり、撮像素子１６の駆動制御において、垂直シフトレジスタ５１から各画素に出力される各電圧を印加するタイミングのみを変更するだけで済み、垂直シフトレジスタから各画素に出力される電圧値の変更や、新たな回路構成となる撮像素子を設けるなどの対応を行う必要もない。また、有効露光期間を２つの期間から構成することで、各露光期間にて得られる画像信号に応じて、ノイズリダクション処理などの処理内容を変更することも可能となる。
【００４８】
本実施形態では、有効露光期間Ｔを第１露光期間Ｔ１と第２露光期間Ｔ２との２つの露光期間から構成された場合について説明しているが、第１露光期間Ｔ１と第２露光期間Ｔ２との２つの露光期間から構成された有効露光期間Ｔを用いて撮影を行う第１モードと、有効露光期間Ｔを１つの露光期間として撮影を行う第２モードとから構成することも可能である。また、撮影時に設定される露出条件に基づいて、上述した第１モードと第２モードとを自動的に選択できるようにすることも可能である。
【００４９】
本実施形態では、第１露光期間Ｔ１を第２露光期間Ｔ２よりも長い期間としているが、これに限定される必要はなく、第１露光期間Ｔ１を第２露光期間Ｔ２よりも短くすることも可能である。しかしながら、第１露光期間Ｔ１中に光電変換された信号電荷をＦＤ６６に転送する際に発生するノイズが重畳することを考えると、第１露光期間Ｔ１を第２露光期間Ｔ２よりも長い期間とすることが好ましい。
【００５０】
本実施形態では、第１露光期間Ｔ１及び第２露光期間Ｔ２の設定については、詳細を述べていないが、これら露光期間は、予め固定の比率となるように設定されていてもよいし、シャッタ速度など撮影時の露出条件に基づいて、ＣＰＵ４１により自動的に設定されるようにしてもよい。さらには、ユーザによる設定操作部４５の操作がされたことを受けて、該設定操作部４５の操作に基づいてＣＰＵ４１が設定してもよい。
【００５１】
本実施形態では、第１露光期間Ｔ１に基づく画像信号を読み出した後、各画素ＡijのＦＤ６６をリセット処理している。このリセット処理が実行されたときには、第２露光期間Ｔ２の間に光電変換された信号電荷がフォトダイオード６５に蓄積されていることから、リセット処理時に発生するノイズが、フォトダイオード６５に蓄積される信号電荷に重畳されてしまう原因となりやすく、また、各画素ＡijのＦＤ６６に対するリセットレベルが変動しやすい状態となる。このため、第１露光期間Ｔ１に基づく画像信号を読み出した後に実行されるリセット処理時のリセット電圧は、撮影条件等を考慮して変動させてもよい。
【００５２】
本実施形態では、撮像素子１６としてＣＭＯＳイメージセンサを例に取り上げているが、この他に、ＰＭＯＳイメージセンサ、ＮＭＯＳイメージセンサなど、ＭＯＳ型のイメージセンサであれば、本発明を適用することが可能である。
【００５３】
本実施形態では、機械式シャッタを備えたデジタルカメラを例に取り上げているが、デジタルカメラの中には、機械式シャッタを備えていないデジタルカメラも提供されている。このような機械式シャッタを備えていないデジタルカメラの場合には、周知のローリングシャッタなどの電子式シャッタが用いられる。このような電子式シャッタを用いたデジタルカメラの場合には、各画素のＦＤ６６をリセットすることで露光が開始され、予め設定されたシャッタ速度に対応する電荷蓄積時間が経過すると、各画素のＦＤに蓄積された信号電荷が画素信号として出力されることから、リセット処理されてから蓄積された信号電荷の出力までの期間、言い換えれば電荷蓄積時間を有効露光期間Ｔとし、この各画素における有効露光期間Ｔを第１露光期間Ｔ１と第２露光期間Ｔ２とで構成されるように、各露光期間を設定すればよい。
【符号の説明】
【００５４】
１０…デジタルカメラ、１６…撮像素子、１９…シャッタ、３０…バッファメモリ、３１…画像処理回路、４１…ＣＰＵ、４５…レリーズボタン、５１…垂直シフトレジスタ、５２…水平シフトレジスタ、６５…フォトダイオード、６６…フローティングディフュージョン（ＦＤ）、６７…転送トランジスタ、６８…増幅トランジスタ、６９…選択トランジスタ、７０…リセットトランジスタ
【図１】
2011097164.tif 000003
【図２】
2011097164.tif 000004
【図３】
2011097164.tif 000005
【図４】
2011097164.tif 000006