(57)【要約】【課題】画質を劣化させることなくフレームレートの低下を抑制するのに適した撮像装置を提供すること。【解決手段】一実施の形態によれば、センサ１２は、マイクロレンズを介して入射される光を受光するフォトダイオードＰＤ１，ＰＤ２と、転送制御信号Ｔｘ１がアクティブになった場合に、フォトダイオードＰＤ１の出力電荷を転送する転送トランジスタＴｒ１１と、転送制御信号Ｔｘ２がアクティブになった場合に、フォトダイオードＰＤ２の出力電荷を転送する転送トランジスタＴｒ２１と、転送トランジスタＴｒ１１により転送された電荷に応じた画素信号ＰＳ１を伝送する出力信号線ＯＵＴ１と、転送トランジスタＴｒ２１により転送された電荷に応じた画素信号ＰＳ２を伝送する出力信号線ＯＵＴ２と、を備える。【選択図】図３
2017183786.tif 000002
【特許請求の範囲】
【請求項１】
マイクロレンズを介して入射される光を受光する第１光電変換素子と、
前記第１光電変換素子と共通の前記マイクロレンズを介して入射される光を受光する第２光電変換素子と、
第１転送制御信号がアクティブになった場合に、前記第１光電変換素子から出力された電荷を転送する第１転送トランジスタと、
前記第１転送制御信号とは異なる第２転送制御信号がアクティブになった場合に、前記第２光電変換素子から出力された電荷を転送する第２転送トランジスタと、
前記第１転送トランジスタにより転送された電荷に応じた第１出力電圧を伝送する第１出力信号線と、
前記第２転送トランジスタにより転送された電荷に応じた第２出力電圧を伝送する第２出力信号線と、
を備えた、撮像装置。
【請求項２】
前記第１転送制御信号を伝送する第１転送制御信号線と、
前記第２転送制御信号を伝送する第２転送制御信号線と、
をさらに備えた、請求項１に記載の撮像装置。
【請求項３】
前記第１転送トランジスタにより転送される電荷によって生じる第１電圧を増幅して前記第１出力電圧として前記第１出力信号線に出力する第１増幅トランジスタと、
前記第２転送トランジスタにより転送される電荷によって生じる第２電圧を増幅して前記第２出力電圧として前記第２出力信号線に出力する第２増幅トランジスタと、
をさらに備えた、請求項１に記載の撮像装置。
【請求項４】
第１リセット制御信号がアクティブになった場合に、前記第１電圧を初期化するためのリセット信号を前記第１増幅トランジスタの入力端子に供給する第１リセットトランジスタと、
前記第１リセット制御信号とは異なる第２リセット制御信号がアクティブになった場合に、前記第２電圧を初期化するためのリセット信号を前記第２増幅トランジスタの入力端子に供給する第２リセットトランジスタと、
をさらに備えた、請求項３に記載の撮像装置。
【請求項５】
前記第１リセット制御信号を伝送する第１リセット制御信号線と、
前記第２リセット制御信号を伝送する第２リセット制御信号線と、
をさらに備えた、請求項４に記載の撮像装置。
【請求項６】
前記第１増幅トランジスタとともに前記第１出力信号線上に設けられた第１選択トランジスタと、
前記第１選択トランジスタと共通の選択信号によりオンオフが制御され、前記第２増幅トランジスタとともに前記第２出力信号線上に設けられた第２選択トランジスタと、
をさらに備えた、請求項３に記載の撮像装置。
【請求項７】
前記第１及び前記第２出力電圧を合成して画像データとして出力する合成回路をさらに備えた、
請求項１に記載の撮像装置。
【請求項８】
フォーカスレンズと、
前記フォーカスレンズを介して入射された光を画像データとして出力する、請求項１に記載の撮像装置と、
を備えた、カメラシステム。
【請求項９】
フォーカスレンズと、
前記フォーカスレンズを介して入射された光を前記第１及び前記第２出力電圧に変換して出力する、請求項１に記載の撮像装置と、
前記撮像装置から出力された前記第１及び前記第２出力電圧を合成して画像データとして出力する合成回路と、
を備えた、カメラシステム。
【請求項１０】
マイクロレンズを介して入射される光を第１及び第２光電変換素子によって受光し、
第１転送制御信号がアクティブになった場合に、前記第１光電変換素子から出力された電荷を転送し、
前記第１転送制御信号とは異なる第２転送制御信号がアクティブになった場合に、前記第２光電変換素子から出力された電荷を転送し、
転送された前記第１光電変換素子の出力電荷に応じた第１出力電圧と、転送された前記第２光電変換素子の出力電荷に応じた第２出力電圧と、を並行して出力する、
撮像方法。
【請求項１１】
前記第１転送制御信号を一時的にアクティブにすることにより、前記第１光電変換素子の電荷をリセットして、前記第１光電変換素子の受光による長秒露光を開始し、
前記第２転送制御信号を一時的にアクティブにすることにより、前記第２光電変換素子の電荷をリセットして、前記第２光電変換素子の受光による短秒露光を、当該短秒露光の終了時刻が前記長秒露光の終了時刻と同じになるような開始時刻にて開始し、
前記第１及び前記第２転送制御信号を再び一時的にアクティブにすることにより、前記第１及び前記第２光電変換素子のそれぞれの出力電荷を転送して、前記長秒露光及び前記短秒露光を終了させ、
転送された前記第１光電変換素子の出力電荷に応じた前記第１出力電圧と、転送された前記第２光電変換素子の出力電荷に応じた前記第２出力電圧と、を並行して出力する、
請求項１０に記載の撮像方法。
【請求項１２】
前記第１転送制御信号を一時的にアクティブにすることにより、前記第１光電変換素子の電荷をリセットして、前記第１光電変換素子の受光による長秒露光を開始し、
前記第２転送制御信号を一時的にアクティブにすることにより、前記第２光電変換素子の電荷をリセットして、前記第２光電変換素子の受光による短秒露光を、当該短秒露光の中心時刻が前記長秒露光の中心時刻と同じになるような開始時刻にて開始し、
前記第２転送制御信号を再び一時的にアクティブにすることにより、前記第２光電変換素子から出力された電荷を転送して、前記短秒露光を終了させ、
前記第１転送制御信号を再び一時的にアクティブにすることにより、前記第１光電変換素子から出力された電荷を転送して、前記長秒露光を終了させ、
転送された前記第１光電変換素子の出力電荷に応じた前記第１出力電圧と、転送された前記第２光電変換素子の出力電荷に応じた前記第２出力電圧と、を並行して出力する、
請求項１０に記載の撮像方法。
【請求項１３】
前記第１及び前記第２転送制御信号を一時的にアクティブにすることにより、前記第１光電変換素子の受光による第１所定露光を開始するとともに、前記第２光電変換素子の受光による第２所定露光を開始し、
前記第１及び前記第２転送制御信号を再び一時的にアクティブにすることにより、前記第１及び前記第２光電変換素子のそれぞれの出力電荷を転送して、前記第１及び前記第２所定露光を終了させ、かつ、前記第２光電変換素子の受光による短秒露光を新たに開始し、
前記第２転送制御信号を再び一時的にアクティブにすることにより、前記第２光電変換素子から出力された電荷を転送して、前記短秒露光を終了させ、
前記第１及び前記第２所定露光による前記第１及び前記第２光電変換素子のそれぞれの出力電荷に応じた前記第１及び前記第２出力電圧を出力し、
前記短秒露光による前記第２光電変換素子の出力電荷に応じた前記第２出力電圧をさらいに出力する、
請求項１０に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、カメラシステム及び撮像方法に関し、例えば画質を劣化させることなくフレームレートの低下を抑制するのに適した撮像装置、カメラシステム及び撮像方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等に搭載される撮像装置には、露光時間の異なる受光素子の出力電荷に応じて生成された複数の画素信号を合成することにより、ダイナミックレンジの広い画像データを生成する技術、即ち、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成の技術が採用されている。ＨＤＲ合成に関する記載は、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１４１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された構成では、電荷蓄積期間の短い信号（露光時間の短い信号）を生成してメモリに記憶しておき、その後、電荷蓄積期間の長い信号（露光時間の長い信号）を生成して読み出すときに、メモリに記憶された電荷蓄積期間の短い信号も読み出して、これらを合成している。
【０００５】
そのため、特許文献１に開示された構成では、ＨＤＲ合成を行わない場合と比較して、フレームレートが半分程度に低下してしまうという問題があった。その結果、例えば高速動体を高精度に撮影することができないという問題があった。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００６】
一実施の形態によれば、撮像装置は、マイクロレンズを介して入射される光を受光する第１光電変換素子と、前記第１光電変換素子と共通の前記マイクロレンズを介して入射される光を受光する第２光電変換素子と、第１転送制御信号がアクティブになった場合に、前記第１光電変換素子から出力された電荷を転送する第１転送トランジスタと、前記第１転送制御信号とは異なる第２転送制御信号がアクティブになった場合に、前記第２光電変換素子から出力された電荷を転送する第２転送トランジスタと、前記第１転送トランジスタにより転送された電荷に応じた第１出力電圧を伝送する第１出力信号線と、前記第２転送トランジスタにより転送された電荷に応じた第２出力電圧を伝送する第２出力信号線と、を備える。
【０００７】
また、他の実施の形態によれば、撮像方法は、マイクロレンズを介して入射される光を第１及び第２光電変換素子によって受光し、第１転送制御信号がアクティブになった場合に、前記第１光電変換素子から出力された電荷を転送し、前記第１転送制御信号とは異なる第２転送制御信号がアクティブになった場合に、前記第２光電変換素子から出力された電荷を転送し、転送された前記第１光電変換素子の出力電荷に応じた第１出力電圧と、転送された前記第２光電変換素子の出力電荷に応じた第２出力電圧と、を並行して出力する。
【発明の効果】
【０００８】
前記一実施の形態によれば、画質を劣化させることなくフレームレートの低下を抑制することが可能な撮像装置、カメラシステム及び撮像方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１にかかるセンサを搭載したカメラシステムの構成例を示すブロック図である。
【図２】図１に示すセンサのレイアウト構成の一例を示す概略図である。
【図３】図１に示すセンサに設けられた画素ユニットの構成例を示す回路図である。
【図４】図１に示すセンサの通常露光時における動作を示すタイミングチャートである。
【図５】図１に示すセンサのＨＤＲ露光時における動作を示すタイミングチャートである。
【図６】図１に示すカメラシステムの動作の一例を説明するための図である。
【図７】図１に示すカメラシステムの変形例を示すブロック図である。
【図８】実施の形態２にかかるセンサに設けられた画素ユニットの構成例を示す回路図である。
【図９】実施の形態２にかかるセンサのＨＤＲ露光時における動作を示すタイミングチャートである。
【図１０】実施の形態３にかかるセンサの動作を示すタイミングチャートである。
【図１１】実施の形態に至る前の構想にかかるセンサのレイアウト構成の一例を示す概略図である。
【図１２】実施の形態に至る前の構想にかかる画素ユニットの構成例を示す回路図である。
【図１３】実施の形態に至る前の構想にかかるセンサのＨＤＲ露光時における動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、実施の形態について説明する。なお、図面は簡略的なものであるから、この図面の記載を根拠として実施の形態の技術的範囲を狭く解釈してはならない。また、同一の要素には、同一の符号を付し、重複する説明は省略する。
【００１１】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、応用例、詳細説明、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００１２】
さらに、以下の実施の形態において、その構成要素（動作ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数等（個数、数値、量、範囲等を含む）についても同様である。
【００１３】
＜実施の形態１＞
図１は、実施の形態１にかかるセンサ（撮像装置）を搭載したカメラシステム１の構成例を示すブロック図である。本実施の形態にかかるセンサは、各画素ユニットが一つのマイクロレンズに対して２つの光電変換素子を有し、一方の光電変換素子を用いて長秒露光を、他方の光電変換素子を用いて短秒露光を、それぞれ並行して行う。それにより、本実施の形態にかかるセンサ及びそれを備えたカメラシステムは、画質を劣化させることなくフレームレートの低下を抑制することができる。以下、具体的に説明する。
【００１４】
図１に示すように、カメラシステム１は、レンズ１１と、センサ１２と、信号処理回路１３と、を少なくとも備える。なお、カメラシステム１は、露光時間の異なる受光素子の出力電荷に応じて生成された複数の画素信号を合成することにより、ダイナミックレンジの広い画像データを生成する技術、即ち、ＨＤＲ合成の技術を採用している。
【００１５】
レンズ１１は、例えばフォーカスレンズであって、フォーカスを調整するためにアクチュエータ（不図示）により位置の変更が可能となっている。なお、カメラシステム１には、フォーカスレンズ以外にもズームレンズや固定レンズ等が設けられているが、ここでは省略している。
【００１６】
センサ１２は、レンズ１１を介して入射された光を受光して、デジタル信号に変換した後、画像データＤｏ１，Ｄｏ２として出力する装置である。なお、画像データＤｏ１は、例えばフォトダイオード等からなる受光素子を長秒露光することによって得られた画像データであり、画像データＤｏ２は、例えばフォトダイオード等からなる受光素子を短秒露光することによって得られた画像データである。
【００１７】
具体的には、センサ１２は、格子状に配置された複数の画素ユニット１４を有する。これら複数の画素ユニット１４のそれぞれの表面には、複数の画素ユニット１４に対応する複数のマイクロレンズが設けられている。詳しくは後述するが、各画素ユニット１４は、フォトダイオード等からなる受光素子を有し、マイクロレンズを介して入射された光を用いて当該受光素子を長秒露光することで得られた画素信号ＰＳ１、及び、当該受光素子を短秒露光することで得られた画素信号ＰＳ２をそれぞれ出力する。そして、複数の画素ユニット１４のそれぞれの画素信号ＰＳ１は、画像データＤｏ１として出力される。複数の画素ユニット１４のそれぞれの画素信号ＰＳ２は、画像データＤｏ２として出力される。
【００１８】
信号処理回路１３は、センサ１２から出力された画像データＤｏ１，Ｄｏ２を合成することにより、ＨＤＲ合成された画像データＤｏｕｔを出力する回路である。
【００１９】
具体的には、信号処理回路１３は、合成回路１５と、マイコン（マイクロコンピュータ）１６と、を有する。合成回路１５は、センサ１２から出力された画像データＤｏ１，Ｄｏ２を合成することにより、ＨＤＲ合成された画像データＤｏｕｔを出力する。この画像データＤｏｕｔは、例えばモニタ（不図示）に表示されたり、記憶装置（不図示）に記憶されたりする。マイコン１６は、合成回路１５の合成結果から、長秒露光及び短秒露光のそれぞれの露光時間に関する情報、及び、長秒露光及び短秒露光によって得られた画像データのそれぞれのゲインに関する情報を出力する。
【００２０】
例えば、マイコン１６は、合成回路１５の合成結果により、長秒露光の露光時間が長すぎると判断した場合には、長秒露光の露光時間を短くするように指示する情報を出力したり、長秒露光することで得られた画素信号ＰＳ１のゲインを調整するように指示する情報を出力したりする。あるいは、マイコン１６は、合成回路１５の合成結果により、長秒露光の露光時間が短すぎると判断した場合には、長秒露光の露光時間を長くするように指示する情報を出力したり、長秒露光することで得られた画素信号ＰＳ１のゲインを調整するように指示する情報を出力したりする。これは短秒露光についても同様である。これらの情報はセンサ１２にフィードバックされ、センサ１２はフィードバックされた情報に基づいて露光時間及びゲインを調整する。
【００２１】
さらに、マイコン１６は、合成回路１５の合成結果により、レンズ１１の位置を調整するための情報（オートフォーカス情報；以下、ＡＦ情報とも称す）を出力する。
【００２２】
例えば、マイコン１６は、合成回路１５の合成結果（即ち、画像データＤｏｕｔ）により、焦点が合っていないと判断した場合には、焦点が合うような位置にレンズ１１を移動させるためのＡＦ情報を生成する。このＡＦ情報はレンズ１１の位置を移動させるアクチュエータ（不図示）にフィードバックされ、そのアクチュエータはフィードバックされたＡＦ情報に従ってレンズ１１の位置を移動させる。
【００２３】
（発明者らによる事前検討）
上述したカメラシステム１に搭載されたセンサ（撮像装置）１２の詳細について説明する前に、まず、本発明者らが検討したセンサ５２について説明する。
【００２４】
図１１は、実施の形態１に至る前の構想にかかるセンサ５２のレイアウト構成の一例を示す概略図である。なお、図１１には、センサ５２のレイアウト構成のうち、ロウコントローラ５２１、カラムコントローラ５２２、画素アレイ５２３のレイアウト構成のみが示されている。
【００２５】
図１１に示すように、画素アレイ５２３は、格子状に配置された複数の画素ユニット５４によって構成されている。ロウコントローラ５２１は、格子状に配置された複数の画素ユニット５４の活性化状態を行毎に制御する。カラムコントローラ５２２は、ロウコントローラ５２１により活性化状態となっている行に配置された複数の画素ユニット５４からそれぞれ読み出された複数の画素信号を列毎に読み出す。なお、カラムコントローラ５２２には、複数の画素信号のうちの何れかを選択する選択回路、及び、選択回路により選択された画素信号を駆動する出力バッファが設けられている。
【００２６】
格子状に配置された複数の画素ユニット５４の表面には、複数の画素ユニット５４に対応する複数のマイクロレンズ（不図示）が設けられている。各画素ユニット５４は、受光素子を構成するフォトダイオードＰＤ５０を有し、フォトダイオードＰＤ５０を長秒露光することによって得られた画素信号ＰＳ１、及び、フォトダイオードＰＤ５０を短秒露光することによって得られた画素信号ＰＳ２を生成した後、それらを合成して出力する。複数の画素ユニット５４のそれぞれの画素信号は、画像データＤｏｕｔとして外部に出力される。なお、センサ５２には合成回路１５の機能が含まれている。
【００２７】
図１２は、画素ユニット５４の構成例を示す回路図である。
図１２に示すように、画素ユニット５４は、光電変換素子であるフォトダイオードＰＤ５０と、転送トランジスタＴｒ５１と、増幅トランジスタＴｒ５２と、リセットトランジスタＴｒ５３と、選択トランジスタＴｒ５４と、スイッチＳＷ５０と、容量素子Ｃ５０と、を備える。なお、フォトダイオードＰＤ５０により受光素子が構成される。
【００２８】
フォトダイオードＰＤ５０のアノードは、接地電圧端子ＧＮＤに接続されている。転送トランジスタＴｒ５１は、フォトダイオードＰＤ５０のカソードと、増幅トランジスタＴｒ５２のゲート（入力端子）と、の間に設けられ、ゲートに転送制御信号線Ｔｘからの転送制御信号（以下、転送制御信号Ｔｘと称す）が供給される。なお、増幅トランジスタＴｒ５２のゲート側にはフローティングディフュージョン容量Ｃｆｄが形成されている。リセットトランジスタＴｒ５３は、電源電圧端子ＶＤＤと増幅トランジスタＴｒ５２のゲートとの間に設けられ、ゲートにリセット制御信号線ＲＳＴからのリセット制御信号（以下、リセット制御信号ＲＳＴと称す）が供給される。増幅トランジスタＴｒ５２は、電源電圧端子ＶＤＤと出力信号線ＯＵＴ５０との間に設けられている。選択トランジスタＴｒ５４は、増幅トランジスタＴｒ５２に直列に設けられ、ゲートに行選択信号ＳＥＬが供給される。
【００２９】
容量素子Ｃ５０は、出力信号線ＯＵＴ５０と接地電圧端子ＧＮＤとの間に設けられている。スイッチＳＷ５０は、出力信号線ＯＵＴ５０と容量素子Ｃ５０との間に設けられ、制御端子に制御信号ＣＴＬが供給される。なお、容量素子Ｃ５０とスイッチＳＷ５０とによりラインメモリＬＭ５０が構成される。
【００３０】
図１３は、センサ５２のＨＤＲ露光時における動作を示すタイミングチャートである。
図１３に示すように、まず、行選択信号ＳＥＬ及び制御信号ＣＴＬをアクティブにすることにより選択トランジスタＴｒ５４及びスイッチＳＷ５０をオン状態にする。そして、リセット制御信号ＲＳＴのアクティブパルス（一時的なアクティブ状態）により、リセットトランジスタＴｒ５３を一時的にオンにする（時刻ｔ５０）。それにより、フローティングディフュージョン容量Ｃｆｄは、蓄積された電荷が放出されて初期化される。
【００３１】
このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ５０の長秒露光が開始される（時刻ｔ５０）。
【００３２】
その後、長秒露光の露光時間が経過すると、転送制御信号Ｔｘのアクティブパルスにより転送トランジスタＴｒ５１を一時的にオンにする（時刻ｔ５１）。それにより、露光によってフォトダイオードＰＤ５０に蓄えられた電荷は、転送トランジスタＴｒ５１を介して、増幅トランジスタＴｒ５２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄに蓄積される。増幅トランジスタＴｒ５２は、フローティングディフュージョン容量Ｃｆｄの電圧を増幅して、画素信号ＰＳ１として出力信号線ＯＵＴ５０に出力する（時刻ｔ５１）。換言すると、長秒露光により得られた画素信号ＰＳ１が読み出される。
【００３３】
ここで、長秒露光により得られた画素信号ＰＳ１は、ラインメモリＬＭ５０に記憶される（時刻ｔ５２）。
【００３４】
その後、行選択信号ＳＥＬをアクティブ、制御信号ＣＴＬをインアクティブにすることにより選択トランジスタＴｒ５４をオン状態にし、スイッチＳＷ５０をオフ状態にする（時刻ｔ５３）。そして、リセット制御信号ＲＳＴのアクティブパルスにより、リセットトランジスタＴｒ５３を再び一時的にオンする（時刻ｔ５３）。それにより、フローティングディフュージョン容量Ｃｆｄは、蓄積された電荷が放出されて初期化される。
【００３５】
このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ５０の短秒露光が開始される（時刻ｔ５３）。
【００３６】
そして、短秒露光の露光時間が経過すると、転送制御信号Ｔｘのアクティブパルスにより転送トランジスタＴｒ５１を一時的にオンにする（時刻ｔ５４）。それにより、露光によってフォトダイオードＰＤ５０に蓄えられた電荷は、転送トランジスタＴｒ５１を介して、増幅トランジスタＴｒ５２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄに蓄積される。増幅トランジスタＴｒ５２は、フローティングディフュージョン容量Ｃｆｄの電圧を増幅して、画素信号ＰＳ２として出力信号線ＯＵＴ５０に出力する（時刻ｔ５４）。換言すると、短秒露光により得られた画素信号ＰＳ２が読み出される。
【００３７】
ここで、画素信号ＰＳ２の読み出しを行っているときに（時刻ｔ５４以降）、ラインメモリＬＭ５０に記憶された画素信号ＰＳ１の読み出しも行うことにより（時刻ｔ５５以降）、画素信号ＰＳ１，ＰＳ２を合成した画素信号が出力信号線ＯＵＴ５０から読み出される。そして、画素アレイ５２３を構成する複数の画素ユニット５４から読み出された複数の画素信号は、画像データＤｏｕｔとして外部に出力される。このようにして、ＨＤＲ合成が実施される。
【００３８】
しかしながら、センサ５２の構成では、各画素ユニット５４が、長秒露光により得られる画素信号ＰＳ１を生成した後に、短秒露光により得られる画素信号ＰＳ２を生成しているため、ＨＤＲ合成を行わない場合と比較して、フレームレートが半分程度に低下してしまうという問題があった。その結果、例えば高速動体を高精度に撮影することができなくなるという問題があった。
【００３９】
そこで、各画素ユニットに対し、一つのマイクロレンズに対して２つの光電変換素子を設け、一方の光電変換素子を用いて長秒露光を、他方の光電変換素子を用いて短秒露光を、それぞれ並行して行うことにより、画質を劣化させることなくフレームレートの低下を抑制した、実施の形態１に係るセンサ１２が見出された。
【００４０】
（実施の形態１に係るセンサ１２）
図２は、センサ１２のレイアウト構成の一例を示す概略図である。なお、図２には、センサ１２のレイアウト構成のうち、ロウコントローラ１２１、カラムコントローラ１２２、画素アレイ１２３のレイアウト構成のみが示されている。
【００４１】
図２に示すように、画素アレイ１２３は、格子状に配置された複数の画素ユニット１４によって構成されている。ロウコントローラ１２１は、格子状に配置された複数の画素ユニット１４の活性化状態を行毎に制御する。カラムコントローラ１２２は、ロウコントローラ１２１により活性化状態となっている行に配置された複数の画素ユニット１４からそれぞれ読み出された複数の画素信号を列毎に読み出す。なお、カラムコントローラ１２２には、複数の画素信号のうちの何れかを選択する選択回路、及び、選択回路により選択された画素信号を駆動する出力バッファが設けられている。
【００４２】
格子状に配置された複数の画素ユニット１４の表面には、複数の画素ユニット１４に対応する複数のマイクロレンズ（不図示）が設けられている。詳しくは後述するが、各画素ユニット１４は、受光素子を構成する２つのフォトダイオードＰＤ１，ＰＤ２を有し、フォトダイオードＰＤ１を長秒露光することによって得られた画素信号ＰＳ１、及び、フォトダイオードＰＤ２を短秒露光することによって得られた画素信号ＰＳ２を出力する。画素アレイ１２３を構成する複数の画素ユニット１４のそれぞれの画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力され、複数の画素ユニット１４のそれぞれの画素信号ＰＳ２は、画像データＤｏ２としてセンサ外部に出力される。
【００４３】
（画素ユニット１４の構成例）
図３は、画素ユニット１４の構成例を示す回路図である。
図３に示すように、画素ユニット１４は、光電変換素子であるフォトダイオードＰＤ１，ＰＤ２と、転送トランジスタＴｒ１１，Ｔｒ２１と、増幅トランジスタＴｒ１２，Ｔｒ２２と、リセットトランジスタＴｒ１３，Ｔｒ２３と、選択トランジスタＴｒ１４，Ｔｒ２４と、を備える。なお、２つのフォトダイオードＰＤ１，ＰＤ２により受光素子が構成される。また、フォトダイオードＰＤ１，ＰＤ２は、隣接配置され、好ましくは共通のマイクロレンズから見て左右対称に配置されている。
【００４４】
フォトダイオードＰＤ１のアノードは、接地電圧端子ＧＮＤに接続されている。転送トランジスタＴｒ１１は、フォトダイオードＰＤ１のカソードと、増幅トランジスタＴｒ１２のゲート（入力端子）と、の間に設けられ、ゲートに転送制御信号線Ｔｘ１からの転送制御信号（以下、転送制御信号Ｔｘ１と称す）が供給される。なお、増幅トランジスタＴｒ１２のゲート側にはフローティングディフュージョン容量Ｃｆｄ１が形成されている。リセットトランジスタＴｒ１３は、電源電圧端子ＶＤＤと増幅トランジスタＴｒ１２のゲートとの間に設けられ、ゲートにリセット制御信号線ＲＳＴからのリセット制御信号（以下、リセット制御信号ＲＳＴと称す）が供給される。増幅トランジスタＴｒ１２は、電源電圧端子ＶＤＤと出力信号線ＯＵＴ１との間に設けられている。選択トランジスタＴｒ１４は、増幅トランジスタＴｒ１２に直列に設けられ、ゲートに行選択信号ＳＥＬが供給される。
【００４５】
フォトダイオードＰＤ２のアノードは、接地電圧端子ＧＮＤに接続されている。転送トランジスタＴｒ２１は、フォトダイオードＰＤ２のカソードと、増幅トランジスタＴｒ２２のゲート（入力端子）と、の間に設けられ、ゲートに転送制御信号線Ｔｘ２からの転送制御信号（以下、転送制御信号Ｔｘ２と称す）が供給される。なお、増幅トランジスタＴｒ２２のゲート側にはフローティングディフュージョン容量Ｃｆｄ２が形成されている。リセットトランジスタＴｒ２３は、電源電圧端子ＶＤＤと増幅トランジスタＴｒ２２のゲートとの間に設けられ、ゲートにリセット制御信号ＲＳＴが供給される。増幅トランジスタＴｒ２２は、電源電圧端子ＶＤＤと出力信号線ＯＵＴ２との間に設けられている。選択トランジスタＴｒ２４は、増幅トランジスタＴｒ２２に直列に設けられ、ゲートに行選択信号ＳＥＬが供給される。
【００４６】
ここで、画素ユニット１４では、リセットトランジスタＴｒ１３，Ｔｒ２３が共通のリセット制御信号ＲＳＴにより制御され、選択トランジスタＴｒ１４，Ｔｒ２４が共通の行選択信号ＳＥＬにより制御されるのに対し、転送トランジスタＴｒ１１，Ｔｒ２１がそれぞれ異なる転送制御信号Ｔｘ１，Ｔｘ２により制御される。また、画素ユニット１４では、フォトダイオードＰＤ１，ＰＤ２のそれぞれに対して、出力信号線ＯＵＴ１，ＯＵＴ２が個別に設けられている。
【００４７】
（センサ１２の動作例）
図４は、センサ１２の通常露光時における動作を示すタイミングチャートである。
図５は、センサ１２のＨＤＲ露光時における動作を示すタイミングチャートである。
【００４８】
まず、オートフォーカスのための露光（以下、通常露光とも称す）が行われる。
通常露光では、まず、リセット制御信号ＲＳＴのアクティブパルス（一時的なアクティブ状態）により、リセットトランジスタＴｒ１３，Ｔｒ２３を一時的にオンする（時刻ｔ１０）。それにより、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００４９】
その後、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより、転送トランジスタＴｒ１１，Ｔｒ２１を一時的にオンする（時刻ｔ１１）。それにより、フォトダイオードＰＤ１，ＰＤ２は、電荷が転送されて初期化される。このとき、共通のマイクロレンズを介して入射された光によるフォトダイオードＰＤ１，ＰＤ２の露光（通常露光）が開始される（時刻ｔ１１）。
【００５０】
その後、通常露光に要する所定の露光時間が経過する直前に、リセット制御信号ＲＳＴのアクティブパルスによりリセットトランジスタＴｒ１３，Ｔｒ２３を再び一時的にオンする（時刻ｔ１２）。それにより、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００５１】
その後、通常露光に要する所定の露光時間が経過すると、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより転送トランジスタＴｒ１１，Ｔｒ２１を再び一時的にオンする（時刻ｔ１３）。それにより、露光によってフォトダイオードＰＤ１，ＰＤ２に蓄えられた電荷は、それぞれ、転送トランジスタＴｒ１１，Ｔｒ２１を介して、増幅トランジスタＴｒ１２，Ｔｒ２２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２に蓄積される。増幅トランジスタＴｒ１２は、フローティングディフュージョン容量Ｃｆｄ１の電圧を増幅して、画素信号ＰＳ１として出力信号線ＯＵＴ１に出力する。また、増幅トランジスタＴｒ２２は、フローティングディフュージョン容量Ｃｆｄ２の電圧を増幅して、画素信号ＰＳ２として出力信号線ＯＵＴ２に出力する。
【００５２】
その後、行選択信号ＳＥＬをアクティブにすることにより選択トランジスタＴｒ１４，Ｔｒ２４をオンする（時刻ｔ１４）。それにより、所定の露光時間の通常露光により得られた画素信号ＰＳ１，ＰＳ２が、それぞれ出力信号線ＯＵＴ１，ＯＵＴ２から一斉に読み出される。
【００５３】
画素アレイ１２３を構成する複数の画素ユニット１４から読み出された複数の画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力される。また、複数の画素ユニット１４から読み出された複数の画素信号ＰＳ２は、画像データＤｏ２としてセンサ外部に出力される。
【００５４】
これらの画像データＤｏ１，Ｄｏ２は、例えば信号処理回路１３に設けられた合成回路１５において比較される。マイコン１６は、その比較結果からフォトダイオードＰＤ１，ＰＤ２に入射される光の量（光量）に差分がある場合には、光量が同じになるようにレンズ１１の位置を調整するためのＡＦ情報を出力する。このＡＦ情報はレンズ１１の位置を移動させるアクチュエータ（不図示）にフィードバックされ、アクチュエータはフィードバックされたＡＦ情報に従ってレンズ１１の位置を移動させる。
【００５５】
このようにして、カメラシステム１のオートフォーカスが実施される。なお、手動でフォーカスが行われる場合等では、オートフォーカスが省略されてもよい。
【００５６】
続いて、ＨＤＲ合成のための露光（以下、ＨＤＲ露光とも称す）が行われる。
ＨＤＲ露光では、まず、リセット制御信号ＲＳＴのアクティブパルスにより、リセットトランジスタＴｒ１３（及びＴｒ２３）を一時的にオンする（時刻ｔ２０）。それにより、フローティングディフュージョン容量Ｃｆｄ１は、蓄積された電荷が放出されて初期化される。
【００５７】
その後、転送制御信号Ｔｘ１のアクティブパルスにより、転送トランジスタＴｒ１１を一時的にオンする（時刻ｔ２１）。それにより、フォトダイオードＰＤ１は、電荷が転送されて初期化される。このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ１の長秒露光が開始される（時刻ｔ２１）。
【００５８】
その後、転送制御信号Ｔｘ２のアクティブパルスの前に、リセット制御信号ＲＳＴのアクティブパルスにより、リセットトランジスタＴｒ２３（及びＴｒ１３）を一時的にオンする（時刻ｔ２２）。それにより、フローティングディフュージョン容量Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００５９】
その後、転送制御信号Ｔｘ２のアクティブパルスにより、転送トランジスタＴｒ２１を一時的にオンする（時刻ｔ２３）。それにより、フォトダイオードＰＤ２は、電荷が転送されて初期化される。このとき、マイクロレンズを介して入射される光によるフォトダイオードＰＤ２の短秒露光が開始される（時刻ｔ２３）。
【００６０】
ここで、フォトダイオードＰＤ１の長秒露光及びフォトダイオードＰＤ２の短秒露光が並行して行われる。なお、短秒露光の開始時刻は、終了時刻が長秒露光の終了時刻と同じになるような時刻に設定される。
【００６１】
その後、並行して行われる長秒露光及び短秒露光のそれぞれの露光時間が経過する直前に、リセット制御信号ＲＳＴのアクティブパルスによりリセットトランジスタＴｒ１３，Ｔｒ２３を再び一時的にオンする（時刻ｔ２４）。それにより、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００６２】
その後、並行して行われる長秒露光及び短秒露光のそれぞれの露光時間が経過すると、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより転送トランジスタＴｒ１１，Ｔｒ２１を再び一時的にオンする（時刻ｔ２５）。それにより、露光によってフォトダイオードＰＤ１，ＰＤ２に蓄えられた電荷は、それぞれ、転送トランジスタＴｒ１１，Ｔｒ２１を介して、増幅トランジスタＴｒ１２，Ｔｒ２２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２に蓄積される。
【００６３】
このとき、増幅トランジスタＴｒ１２は、フローティングディフュージョン容量Ｃｆｄ１の電圧を増幅して、画素信号ＰＳ１として出力信号線ＯＵＴ１に出力する。また、増幅トランジスタＴｒ２２は、フローティングディフュージョン容量Ｃｆｄ２の電圧を増幅して、画素信号ＰＳ２として出力信号線ＯＵＴ２に出力する。
【００６４】
その後、行選択信号ＳＥＬをアクティブにすることにより選択トランジスタＴｒ１４，Ｔｒ２４をオンする（時刻ｔ２６）。それにより、長秒露光により得られた画素信号ＰＳ１及び短秒露光により得られた画素信号ＰＳ２が、それぞれ出力信号線ＯＵＴ１，ＯＵＴ２から一斉に読み出される。
【００６５】
画素アレイ１２３を構成する複数の画素ユニット１４から読み出された複数の画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力される。また、複数の画素ユニット１４から読み出された複数の画素信号ＰＳ２は、画像データＤｏ２としてセンサ外部に出力される。そして、これら画像データＤｏ１，Ｄｏ２は、信号処理回路１３内の合成回路１５によって合成され、画像データＤｏｕｔとなる。
【００６６】
このようにして、カメラシステム１によるＨＤＲ合成が実施される。なお、ＨＤＲ合成により得られた画像データＤｏｕｔは、モニタに表示されたり、記憶装置に記憶されたりする。
【００６７】
このように、本実施の形態にかかるセンサ１２及びそれを備えたカメラシステム１では、各画素ユニット１４が、一つのマイクロレンズに対して２つのフォトダイオードＰＤ１，ＰＤ２を有し、ＨＤＲ合成時に、一方のフォトダイオードＰＤ１を用いて長秒露光を、他方のフォトダイオードＰＤ２を用いて短秒露光を、それぞれ並行して行っている。それにより、本実施の形態にかかるセンサ１２及びそれを備えたカメラシステム１は、画質を劣化させることなくフレームレートの低下を抑制することができる。また、長秒露光を行う期間と短秒露光を行う期間とを揃えることができるため、高精度の画像データＤｏｕｔを生成することができる。
【００６８】
さらに、本実施の形態にかかるセンサ１２及びそれを備えたカメラシステム１では、各画素ユニット１４から、長秒露光及び短秒露光によって得られた画素信号Ｐ１，Ｐ２が同時に読み出されるため、長秒露光又は短秒露光によって先に得られた画素信号を一時的に保存するためのラインメモリを備える必要が無い。そのため、本実施の形態にかかるセンサ１２及びそれを備えたカメラシステム１は、回路規模の増大を抑制することができる。
【００６９】
本実施の形態では、１フレーム目に焦点合わせ（オートフォーカス）処理が行われ、２フレーム目以降の各フレームにおいて、短秒露光及び長秒露光の並行処理が行われている場合を例に説明したが、これに限られない。例えば、図６に示すように、１フレーム毎に、焦点合わせ処理と、短秒露光及び長秒露光の並行処理と、が交互に行われてもよい。あるいは、基本的には短秒露光及び長秒露光の並行処理が繰り返され、所定の周期で焦点合わせ処理が組み込まれてもよい。
【００７０】
（カメラシステム１の変形例）
図７は、カメラシステム１の変形例をカメラシステム１ａとして示すブロック図である。カメラシステム１ａでは、カメラシステム１と比較して、合成回路１５の配置位置が異なる。
【００７１】
具体的には、カメラシステム１では、合成回路１５が信号処理回路１３に設けられているのに対し、カメラシステム１ａでは、合成回路１５が、信号処理回路１３に代えてセンサ１２に設けられている。以下、カメラシステム１ａのセンサ１２及び信号処理回路１３をそれぞれセンサ１２ａ及び信号処理回路１３ａと称す。カメラシステム１ａのその他の構成及び動作については、カメラシステム１の場合と同様であるため、その説明を省略する。
【００７２】
カメラシステム１ａは、センサ１２ａ内部でＨＤＲ合成処理を実施しているため、信号処理回路１３ａ内に、ＨＤＲ合成用に特別な回路を追加する必要が無い。つまり、信号処理回路１３ａには、汎用的な信号処理回路を用いることができる。
【００７３】
＜実施の形態２＞
図８は、実施の形態２にかかるセンサ２２に設けられた画素ユニット２４の構成例を示す回路図である。本実施の形態にかかるセンサは、一方の光電変換素子を用いて行われる長秒露光の中心時刻と、他方の光電変換素子を用いて行われる短秒露光の中心時刻と、を限りなく同じになるように近づけている。それにより、本実施の形態にかかるセンサ及びそれを備えたカメラシステムは、実施の形態１の場合よりも、さらに高精度の画像データを生成することができる。以下、具体的に説明する。
【００７４】
図３に示す画素ユニット１４では、リセットトランジスタＴｒ１３，Ｔｒ２３が共通のリセット制御信号ＲＳＴにより制御されているのに対し、図８に示す画素ユニット２４では、リセットトランジスタＴｒ１３，Ｔｒ２３がそれぞれ異なるリセット制御信号線からのリセット制御信号ＲＳＴ１，ＲＳＴ２により制御されている。画素ユニット２４及びそれを備えたセンサ２２の構成については、それぞれ画素ユニット１４及びそれを備えたセンサ１２の構成と同様であるため、その説明を省略する。
【００７５】
（センサ２２の動作例）
図９は、ＨＤＲ露光時におけるセンサ２２の動作を示すタイミングチャートである。
【００７６】
ＨＤＲ露光を行う前に、必要に応じてオートフォーカスのための通常露光が行われる。通常露光については、リセット制御信号ＲＳＴ１，ＲＳＴ２がリセット制御信号ＲＳＴと同様に動作する以外、画素ユニット１４の場合と同様であるため、その説明を省略する。
【００７７】
続いて、ＨＤＲ露光が行われる。ＨＤＲ露光では、まず、リセット制御信号ＲＳＴ１のアクティブパルス（一時的なアクティブ状態）により、リセットトランジスタＴｒ１３を一時的にオンする（時刻ｔ３０）。それにより、フローティングディフュージョン容量Ｃｆｄ１は、蓄積された電荷が放出されて初期化される。
【００７８】
その後、転送制御信号Ｔｘ１のアクティブパルスにより、転送トランジスタＴｒ１１を一時的にオンする（時刻ｔ３１）。それにより、フォトダイオードＰＤ１は、電荷が転送されて初期化される。このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ１の長秒露光が開始される（時刻ｔ３１）。
【００７９】
その後、リセット制御信号ＲＳＴ２のアクティブパルスにより、リセットトランジスタＴｒ２３を一時的にオンする（時刻ｔ３２）。それにより、フローティングディフュージョン容量Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００８０】
その後、転送制御信号Ｔｘ２のアクティブパルスにより、転送トランジスタＴｒ２１を一時的にオンする（時刻ｔ３３）。それにより、フォトダイオードＰＤ２は、電荷が転送されて初期化される。このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ２の短秒露光が開始される（時刻ｔ３３）。
【００８１】
ここで、フォトダイオードＰＤ１の長秒露光及びフォトダイオードＰＤ２の短秒露光が並行して行われる。なお、短秒露光の開始時刻は、当該短秒露光の中心時刻が長秒露光の中心時刻（時刻ｔ３４）と同じになるような時刻に設定される。それにより、短秒露光及び長秒露光の中心時刻を同程度にすることができる。
【００８２】
その後、短秒露光の露光時間が経過する直前に、リセット制御信号ＲＳＴ２のアクティブパルスによりリセットトランジスタＴｒ２３を再び一時的にオンする（時刻ｔ３５）。それにより、フローティングディフュージョン容量Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００８３】
そして、短秒露光の露光時間が経過すると、転送制御信号Ｔｘ２のアクティブパルスにより転送トランジスタＴｒ２１を再び一時的にオンする（時刻ｔ３６）。それにより、露光によってフォトダイオードＰＤ２に蓄えられた電荷は、転送トランジスタＴｒ２１を介して、増幅トランジスタＴｒ２２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ２に蓄積される。このとき、増幅トランジスタＴｒ２２は、フローティングディフュージョン容量Ｃｆｄ２の電圧を増幅して、画素信号ＰＳ２として出力信号線ＯＵＴ２に出力する。
【００８４】
その後、長秒露光の露光時間が経過する直前に、リセット制御信号ＲＳＴ１のアクティブパルスによりリセットトランジスタＴｒ１３を再び一時的にオンする（時刻ｔ３７）。それにより、フローティングディフュージョン容量Ｃｆｄ１は、蓄積された電荷が放出されて初期化される。
【００８５】
そして、長秒露光の露光時間が経過すると、転送制御信号Ｔｘ１のアクティブパルスにより転送トランジスタＴｒ１１を再び一時的にオンする（時刻ｔ３８）。それにより、露光によってフォトダイオードＰＤ１に蓄えられた電荷は、転送トランジスタＴｒ１１を介して、増幅トランジスタＴｒ１２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ１に蓄積される。このとき、増幅トランジスタＴｒ１２は、フローティングディフュージョン容量Ｃｆｄ１の電圧を増幅して、画素信号ＰＳ１として出力信号線ＯＵＴ１に出力する。
【００８６】
その後、行選択信号ＳＥＬをアクティブにすることにより選択トランジスタＴｒ１４，Ｔｒ２４をオンする（時刻ｔ３９）。それにより、長秒露光により得られた画素信号ＰＳ１及び短秒露光により得られた画素信号ＰＳ２が、それぞれ出力信号線ＯＵＴ１，ＯＵＴ２から一斉に読み出される。
【００８７】
画素アレイを構成する複数の画素ユニット２４から読み出された複数の画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力される。また、複数の画素ユニット２４から読み出された複数の画素信号ＰＳ２は、画像データＤｏ２としてセンサ外部に出力される。そして、これら画像データＤｏ１，Ｄｏ２は、合成回路１５によって合成され、画像データＤｏｕｔとなる。このようにしてＨＤＲ合成が実施される。なお、ＨＤＲ合成により得られた画像データＤｏｕｔは、モニタに表示されたり、記憶装置に記憶されたりする。
【００８８】
このように、本実施の形態にかかるセンサ２２及びそれを備えたカメラシステムでは、実施の形態１にかかるセンサ１２及びそれを備えたカメラシステム１の場合と同等程度の効果を奏することができる。さらに、本実施の形態にかかるセンサ２２及びそれを備えたカメラシステムは、長秒露光の中心時刻と短秒露光の中心時刻とを合わせることにより、画素信号ＰＳ１，ＰＳ２の位相のずれを抑制することができるため、より高精度な画像データＤｏｕｔを生成することができる。
【００８９】
ただし、実施の形態２では、長秒露光側の相関二重サンプリングのみ実施可能であるのに対し、実施の形態１では、短秒露光側及び長秒露光側の何れの相関二重サンプリングの実施も可能である点で有効である。
【００９０】
＜実施の形態３＞
本実施の形態では、実施の形態１で説明したセンサ１２の他の動作例について説明する。本実施の形態では、オートフォーカスのための通常露光と、ＨＤＲ合成のための長秒露光と、が一度に実施される。以下、具体的に説明する。
【００９１】
（センサ１２の動作例）
図１０は、実施の形態３にかかるセンサ１２の動作を示すタイミングチャートである。
図１０の例では、オートフォーカスのための通常露光と、ＨＤＲ合成のための長秒露光と、が一度に実施される。
【００９２】
まず、リセット制御信号ＲＳＴのアクティブパルス（一時的なアクティブ状態）により、リセットトランジスタＴｒ１３，Ｔｒ２３を一時的にオンする（時刻ｔ４０）。それにより、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００９３】
その後、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより、転送トランジスタＴｒ１１を一時的にオンする（時刻ｔ４１）。それにより、フォトダイオードＰＤ１，ＰＤ２は、電荷が転送されて初期化される。このとき、マイクロレンズを介して入射された光によるフォトダイオードＰＤ１，ＰＤ２の露光が開始される（時刻ｔ４１）。
【００９４】
その後、所定の露光時間が経過する直前に、リセット制御信号ＲＳＴのアクティブパルスによりリセットトランジスタＴｒ１３，Ｔｒ２３を再び一時的にオンする（時刻ｔ４２）。それにより、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２は、蓄積された電荷が放出されて初期化される。
【００９５】
そして、所定の露光時間が経過すると、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより転送トランジスタＴｒ１１，Ｔｒ２１を再び一時的にオンする（時刻ｔ４３）。ここで、所定の露光時間とは、１つのフォトダイオードのみを用いて長秒露光した場合における露光時間の半分の露光時間のことである。
【００９６】
換言すると、２つのフォトダイオードＰＤ１，ＰＤ２のそれぞれの露光時間の合計が、１つのフォトダイオードＰＤ１を用いて長秒露光した場合の露光時間に達すると、転送制御信号Ｔｘ１，Ｔｘ２のアクティブパルスにより転送トランジスタＴｒ１１，Ｔｒ２１を再び一時的にオンする（時刻ｔ４３）。
【００９７】
それにより、露光によってフォトダイオードＰＤ１，ＰＤ２に蓄えられた電荷は、それぞれ、転送トランジスタＴｒ１１，Ｔｒ２１を介して、増幅トランジスタＴｒ１２，Ｔｒ２２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２に蓄積される。このとき、増幅トランジスタＴｒ１２，Ｔｒ２２は、それぞれ、フローティングディフュージョン容量Ｃｆｄ１，Ｃｆｄ２の電圧を増幅して、画素信号ＰＳ１，ＰＳ２として出力信号線ＯＵＴ１，ＯＵＴ２に出力する。
【００９８】
その後、行選択信号ＳＥＬをアクティブにすることにより選択トランジスタＴｒ１４，Ｔｒ２４をオンする（時刻ｔ４４）。それにより、画素信号ＰＳ１，ＰＳ２が、それぞれ出力信号線ＯＵＴ１，ＯＵＴ２から一斉に読み出される。
【００９９】
画素アレイ１２３を構成する複数の画素ユニット１４から読み出された複数の画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力される。また、複数の画素ユニット１４から読み出された複数の画素信号ＰＳ２は、画像データＤｏ２としてセンサ外部に出力される。
【０１００】
そして、実施の形態１にて既に説明したオートフォーカスの処理に従い、これら画像データＤｏ１，Ｄｏ２の比較結果に基づいてオートフォーカスが実施される。さらに、画像データＤｏ１，Ｄｏ２を合成することで、長秒露光により得られる画像データも生成される。このようにして、オートフォーカスのための通常露光と、ＨＤＲ合成のための長秒露光と、が一度に実施される。
【０１０１】
なお、時刻ｔ４３の転送制御信号Ｔｘ１のアクティブパルスにより、フォトダイオードＰＤ２の短秒露光が新たに開始されている（時刻ｔ４３）。
【０１０２】
その後、短秒露光の露光時間が経過する直前に、リセット制御信号ＲＳＴのアクティブパルスによりリセットトランジスタＴｒ１３を一時的にオンする（時刻ｔ４５）。それにより、フローティングディフュージョン容量Ｃｆｄ１は、蓄積された電荷が放出されて初期化される。
【０１０３】
そして、短秒露光の露光時間が経過すると、転送制御信号Ｔｘ１のアクティブパルスにより転送トランジスタＴｒ１１を再び一時的にオンする（時刻ｔ４６）。それにより、露光によってフォトダイオードＰＤ１に蓄えられた電荷は、転送トランジスタＴｒ１１を介して、増幅トランジスタＴｒ１２のゲートに向けて転送され、フローティングディフュージョン容量Ｃｆｄ１に蓄積される。このとき、増幅トランジスタＴｒ１２は、フローティングディフュージョン容量Ｃｆｄ１の電圧を増幅して、画素信号ＰＳ１として出力信号線ＯＵＴ１に出力する。
【０１０４】
その後、行選択信号ＳＥＬをアクティブにすることにより選択トランジスタＴｒ１４，Ｔｒ２４をオンする（時刻ｔ４７）。それにより、短秒露光により得られた画素信号ＰＳ１が出力信号線ＯＵＴ１から読み出される。
【０１０５】
画素アレイ１２３を構成する複数の画素ユニット１４から読み出された複数の画素信号ＰＳ１は、画像データＤｏ１としてセンサ外部に出力される。そして、短秒露光によって得られたこの画像データＤｏ１と、長秒露光によって得られた先に出力された画像データとが、合成回路１５によって合成され、画像データＤｏｕｔとなる。このようにしてＨＤＲ合成が実施される。
【０１０６】
このように、本実施の形態にかかるセンサ１２及びそれを備えたカメラシステム１の動作では、オートフォーカスのための通常露光と、ＨＤＲ合成のための長秒露光と、が一度に実施される。そのため、オートフォーカスと、ＨＤＲ合成と、を一つのフレーム内で実現することができる。あるいは、ＨＤＲ合成のための露光の繰り返しを崩すことなく、焦点合わせ処理を組み込むことができる。また、長秒露光においては、フォトダイオードＰＤ１、ＰＤ２に蓄えられた電荷を足し合わせて出力できるため、被写体の暗部を鮮明に撮像することが可能となる。
【０１０７】
以上のように、上記実施の形態１〜３に係るセンサ及びそれを備えたカメラシステムでは、各画素ユニットが、一つのマイクロレンズに対して２つのフォトダイオードＰＤ１，ＰＤ２を有し、フォトダイオードＰＤ１，ＰＤ２のそれぞれにおいて並行して露光を行っている。それにより、上記実施の形態１〜３にかかるセンサ及びそれを備えたカメラシステムは、画質を劣化させることなくフレームレートの低下を抑制することができる。また、長秒露光を行う期間（時間帯）と短秒露光を行う期間（時間帯）とを揃えることができるため、高精度の画像データＤｏｕｔを生成することができる。
【０１０８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
【０１０９】
例えば、上記の実施の形態に係る半導体装置では、半導体基板、半導体層、拡散層（拡散領域）などの導電型（ｐ型もしくはｎ型）を反転させた構成としてもよい。そのため、ｎ型、及びｐ型の一方の導電型を第１の導電型とし、他方の導電型を第２の導電型とした場合、第１の導電型をｐ型、第２の導電型をｎ型とすることもできるし、反対に第１の導電型をｎ型、第２の導電型をｐ型とすることもできる。
【符号の説明】
【０１１０】
１  カメラシステム
２  カメラシステム
１１  レンズ
１２  センサ
１２ａ  センサ
２２  センサ
１３  信号処理回路
１３ａ  信号処理回路
１４  画素ユニット
２４  画素ユニット
１５  合成回路
１６  マイコン
１２１  ロウコントローラ
１２２  カラムコントローラ
１２３  画素アレイ
Ｃｆｄ１，Ｃｆｄ２  フローティングディフュージョン容量
Ｔｒ１１，Ｔｒ２１  転送トランジスタ
Ｔｒ１２，Ｔｒ２２  増幅トランジスタ
Ｔｒ１３，Ｔｒ２３  リセットトランジスタ
Ｔｒ１４，Ｔｒ２４  選択トランジスタ
ＰＤ１，ＰＤ２  フォトダイオード
【図１】
2017183786.tif 000003
【図２】
2017183786.tif 000004
【図３】
2017183786.tif 000005
【図４】
2017183786.tif 000006
【図５】
2017183786.tif 000007
【図６】
2017183786.tif 000008
【図７】
2017183786.tif 000009
【図８】
2017183786.tif 000010
【図９】
2017183786.tif 000011
【図１０】
2017183786.tif 000012
【図１１】
2017183786.tif 000013
【図１２】
2017183786.tif 000014
【図１３】
2017183786.tif 000015