(57)【要約】  ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制する。  測定部は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する。選択部は、複数の領域のそれぞれにおいて測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する。画像データ生成部は、複数の領域のそれぞれにおいて選択された露光期間に亘って露光して画素データを生成する。画像処理部は、複数の領域のそれぞれについて生成された画素データの値を測定結果に基づいて調整する。
2017208638.tif 000002
【特許請求の範囲】
【請求項１】
複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。
【請求項２】
前記複数の領域のそれぞれは、１つの画素からなる
請求項１記載の撮像装置。
【請求項３】
前記複数の領域のそれぞれは、複数の画素からなる
請求項１記載の撮像装置。
【請求項４】
前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
請求項１記載の撮像装置。
【請求項５】
所定のクロック信号に同期して計数値を計数する計数部と、
前記受光量に応じた電荷を生成するフォトダイオードと、
所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
前記測定部は、
前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える請求項４記載の撮像装置。
【請求項６】
前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
請求項５記載の撮像装置。
【請求項７】
前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
請求項５記載の撮像装置。
【請求項８】
前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
請求項１記載の撮像装置。
【請求項９】
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
請求項１記載の撮像装置。
【請求項１０】
前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
請求項１記載の撮像装置。
【請求項１１】
複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。
【請求項１２】
複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。詳しくは、ダイナミックレンジを拡大した画像データを生成する撮像装置、固体撮像素子、および、撮像装置の制御方法に関する。
【背景技術】
【０００２】
従来より、撮像装置では、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子が一度の露光で光電変換することのできる光量の最大値と最小値との比であるダイナミックレンジは、一般に自然光の光量の最大値と最小値の比に比べて狭い。このようにダイナミックレンジが狭いと、露光オーバーや露光アンダーが生じ、画像データに白飛びや黒つぶれが現れて画質が低下することがある。このような画質の低下を抑制するため、異なる露光期間により複数回の露光を行って複数の画像データを生成し、それらを合成して、合成前よりも広いダイナミックレンジの画像データを生成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−８８９２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、ダイナミックレンジを拡大したため、露光オーバーや露光アンダーによる画質の低下を抑制することができる。しかしながら、この構成では、合成のたびに露光期間の異なる複数の画像データ（フレーム）を撮像しなければならないため、合成しない場合と比較して、合成したフレームのフレームレートが低下してしまうという問題がある。例えば、６０ヘルツ（Ｈｚ）のフレームレートでフレームを撮像し、２枚のフレームを合成して、ダイナミックレンジの広い合成フレームを生成する場合、合成フレームのフレームレートは３０ヘルツ（Ｈｚ）に低下する。【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、上記複数の領域のそれぞれについて上記生成されたデジタル信号の値を上記測定結果に基づいて調整する画像処理部とを具備する撮像装置、および、撮像装置の制御方法である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択され、その測定結果に基づいてデジタル信号の値が調整されるという作用をもたらす。【０００７】
また、この第１の側面において、上記複数の領域のそれぞれは、１つの画素からなるものであってもよい。これにより、複数の画素のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。【０００８】
また、この第１の側面において、上記複数の領域のそれぞれは、複数の画素からなるものであってもよい。これにより、複数の画素からなる領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。【０００９】
また、この第１の側面において、上記測定部は、上記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを上記測定結果として生成して保持してもよい。これにより、受光量が所定値より高いか否かが判定されるという作用をもたらす。【００１０】
また、この第１の側面において、所定のクロック信号に同期して計数値を計数する計数部と、前記受光量に応じた電荷を生成するフォトダイオードと、所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータとをさらに具備し、前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、前記測定部は、前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部としてもよい。これにより、コンパレータ出力信号が反転した場合に計数値がデジタル信号として保持されるという作用をもたらす。【００１１】
また、この第１の側面において、上記計数部は、上記計数値の増分処理および減分処理の一方を行った後に他方を行ってもよい。これにより、計数値の増分および減分の一方の後に他方が行われるという作用をもたらす。【００１２】
また、この第１の側面において、上記画像処理部は、上記複数の領域のうち上記受光量が上記所定値より高い領域の上記デジタル信号を増幅する処理と上記複数の領域のうち上記受光量が上記所定値を超えない領域の上記デジタル信号を減衰する処理との少なくとも一方を実行してもよい。これにより、デジタル信号が増幅または減衰されるという作用をもたらす。【００１３】
また、この第１の側面において、上記測定部は、所定の撮像周期が経過するたびに上記測定結果を保持し、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて露光期間が選択されるという作用をもたらす。【００１４】
また、この第１の側面において、上記選択部は、上記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された上記測定結果に基づいて上記複数の露光期間のいずれかを選択してもよい。これにより、撮像周期のそれぞれにおいて当該撮像周期内に生成された測定結果に基づいて露光期間が選択されるという作用をもたらす。【００１５】
また、この第１の側面において、上記測定部、上記選択部および上記デジタル信号生成部は固体撮像素子に設けられ、上記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置されてもよい。これにより、積層された複数の半導体基板に設けられた固体撮像素子内の回路によりデジタル信号が生成されるという作用をもたらす。【００１６】
また、本技術の第２の側面は、複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、上記複数の領域のそれぞれにおいて上記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、上記複数の領域のそれぞれにおいて上記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部とを具備する固体撮像素子である。これにより、複数の領域のそれぞれにおいて受光量の測定結果に応じて露光期間が選択されるという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、ダイナミックレンジを拡大したフレームを生成する固体撮像素子において、フレームレートの低下を抑制するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画素アレイ部の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における画素回路および計数部の一構成例を示す回路図である。
【図５】本技術の第１の実施の形態における判定フラグ保持部の動作の一例を示す図である。
【図６】本技術の第１の実施の形態における判定フラグ生成部の動作の一例を示す図である。
【図７】本技術の第１の実施の形態における固体撮像素子の動作の一例を示すタイミングチャートである。
【図８】比較例における固体撮像素子の動作の一例を示すタイミングチャートである。
【図９】本技術の第１の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。
【図１０】本技術の第１の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。
【図１１】本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。
【図１２】本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１３】本技術の第１の実施の形態における撮像処理の一例を示すフローチャートである。
【図１４】本技術の第１の実施の形態におけるＨＤＲ（High Dynamic Range）画像生成処理の一例を示すフローチャートである。
【図１５】本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図１６】本技術の第２の実施の形態における画素回路の一構成例を示す回路図である。
【図１７】本技術の第２の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。
【図１８】本技術の第２の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。
【図１９】本技術の第２の実施の形態における画像処理部の一構成例を示すブロック図である。
【図２０】本技術の第３の実施の形態における画素アレイ部の一構成例を示すブロック図である。
【図２１】本技術の第３の実施の形態における画素回路の一構成例を示す回路図である。
【図２２】本技術の第４の実施の形態における固体撮像素子の一構成例を示す斜視図である。
【図２３】本技術の第４の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図２４】本技術の第５の実施の形態における画素回路の一構成例を示す回路図である。
【図２５】本技術の第５の実施の形態における画素回路の中間電位転送までのポテンシャル図の一例である。
【図２６】本技術の第５の実施の形態における画素回路の完全転送時のポテンシャル図の一例である。
【図２７】本技術の第５の実施の形態における撮像装置の動作の一例を示すタイミングチャートである。
【図２８】本技術の第５の実施の形態における受光量が多い画素回路の中間電位転送までの動作の一例を示すタイミングチャートである。
【図２９】本技術の第５の実施の形態における受光量が多い画素回路の完全転送までの動作の一例を示すタイミングチャートである。
【図３０】本技術の第５の実施の形態における受光量が少ない画素回路の中間電位転送までの動作の一例を示すタイミングチャートである。
【図３１】本技術の第５の実施の形態における受光量が少ない画素回路の完全転送までの動作の一例を示すタイミングチャートである。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（受光量に応じて画素毎に露光期間を選択する例）
２．第２の実施の形態（受光量に応じて画素毎に露光期間を選択してアップダウンカウンタによりデジタル信号を生成する例）
３．第３の実施の形態（受光量に応じて受光領域毎に露光期間を選択する例）
４．第４の実施の形態（積層型の固体撮像素子において受光量に応じて画素毎に露光期間を選択する例）
５．第５の実施の形態（撮像周期内で測定した受光量に応じて画素毎に露光期間を選択する例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、画像データを撮像する装置であり、撮像レンズ１１０、固体撮像素子２００、画像処理部１２０、撮像制御部１３０および記録部１４０を備える。撮像装置１００としては、例えば、デジタルカメラ、撮像機能を持つスマートフォンや情報処理装置などが想定される。
【００２１】
撮像レンズ１１０は、光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、撮像制御部１３０の制御に従って画像データを生成するものである。この固体撮像素子２００は、生成した画像データを画像処理部１２０に信号線２０９を介して供給する。
【００２２】
画像処理部１２０は、撮像制御部１３０の制御に従って画像データに対して各種の画像処理を実行するものである。この画像処理は、画像データのダイナミックレンジを処理前よりも拡大するハイダイナミックレンジ合成処理を含む。画像処理部１２０は、画像処理後の画像データを記録部１４０に信号線１２９を介して供給する。記録部１４０は、画像データを記録するものである。
【００２３】
撮像制御部１３０は、撮像装置１００全体を制御するものである。この撮像制御部１３０は、撮像タイミングを示す垂直同期信号などを信号線１３８を介して固体撮像素子２００に供給する。また、撮像制御部１３０は、画像処理を行うタイミングを示す信号を画像処理部１２０に信号線１３９を介して供給する。
【００２４】
なお、撮像レンズ１１０、固体撮像素子２００、画像処理部１２０、撮像制御部１３０および記録部１４０を同一の装置に配置しているが、これらを複数の装置に分散して配置することもできる。例えば、撮像レンズ１１０をレンズユニットに配置し、固体撮像素子２００などを撮像装置１００に配置し、画像処理部１２０などを情報処理装置に配置してもよい。
【００２５】
また、画像処理部１２０を固体撮像素子２００の外部に設けているが、この構成に限定されず、画像処理部１２０を固体撮像素子２００の内部に設けてもよい。
【００２６】
［固体撮像素子の構成例］
図２は、第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、インターフェース２１０、ドライバ２２０、画素アレイ部２３０、ランプ信号生成部２５０、計数部２６０およびタイミング生成部２７０を備える。固体撮像素子２００内の回路のそれぞれは、例えば、単一の半導体基板に設けられる。
【００２７】
タイミング生成部２７０は、インターフェース２１０、ドライバ２２０、ランプ信号生成部２５０および計数部２６０のそれぞれについて、動作させるタイミングを指示するタイミング信号を生成するものである。タイミング生成部２７０は、生成したタイミング信号を、その信号に対応するブロックに供給する。
【００２８】
計数部２６０は、所定のクロック信号に同期して計数値を計数するものである。ランプ信号生成部２５０は、のこぎり波状のランプ信号を生成するものである。このランプ信号生成部２５０は、生成したランプ信号を画素アレイ部２３０に供給する。
【００２９】
画素アレイ部２３０には、二次元格子状に複数の画素回路が配列される。以下、所定の方向（水平方向など）に配列された画素回路の集合を「行」と称し、行に垂直な方向に配列された画素回路の集合を「列」と称する。これらの画素回路のそれぞれは、ランプ信号と計数部２６０の計数値とを用いて画素データを生成して出力する。ここで、画素データのそれぞれは、画素の露光量を示すデジタル信号と、画素の受光量が所定値を超えるか否かを示す判定フラグとを含む。
【００３０】
ドライバ２２０は、画素回路のそれぞれを駆動して画素データを出力させるものである。インターフェース２１０は、画素回路のそれぞれから画素データを読み出すものである。このインターフェース２１０は、二次元格子状に画素データが配列された画像データを画像処理部１２０に供給する。
【００３１】
［画素アレイ部の構成例］
図３は、第１の実施の形態における画素アレイ部２３０の一構成例を示すブロック図である。この画素アレイ部２３０には、二次元格子状に画素回路２４０が配列される。また、画素アレイ部２３０には、行方向に沿って行ごとに５本の水平信号線が配線され、列方向に沿って列ごとに１本の垂直信号線が配線される。画素回路２４０は、５本のうち４本の水平信号線を介してドライバ２２０に接続され、残りの一本の水平信号線を介してランプ信号生成部２５０に接続される。また、画素回路２４０は、垂直信号線を介してインターフェース２１０および計数部２６０に接続される。
【００３２】
［画素回路および計数部の構成例］
図４は、第１の実施の形態における画素回路２４０および計数部２６０の一構成例を示す回路図である。この画素回路２４０は、スイッチ２４１、ＰＤ（Photo Diode）リセットトランジスタ２４２、フォトダイオード２４３、転送トランジスタ２４４、コンパレータ２４５およびＦＤリセットトランジスタ２４６を備える。また、画素回路２４０は、判定フラグ保持部２４７およびデジタル信号保持部２４８を備える。計数部２６０は、画素回路２４０の列ごとに、アップカウンタ２６１および判定フラグ生成部２６２を備える。同図において、点線の容量は、浮遊拡散層を示す。また、ＰＤリセットトランジスタ２４２、フォトダイオード２４３、転送トランジスタ２４４およびＦＤリセットトランジスタ２４６として、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタが用いられる。
【００３３】
スイッチ２４１は、判定フラグ保持部２４７に保持された判定フラグＦＬＡＧの値に応じて、制御信号ＯＦＧ（Over Flow Gate）_ＬおよびＯＦＧ_Ｓの一方を選択するものである。このスイッチ２４１は、ＯＲ（論理和）回路などにより実現される。スイッチ２４１は、選択した信号を制御信号ＯＦＧとしてＰＤリセットトランジスタ２４２のゲートに供給する。
【００３４】
ここで、制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓは、オーバーフローゲートとして機能するＰＤリセットトランジスタ２４２を制御する信号であり、ドライバ２２０により生成される。制御信号ＯＦＧ_Ｌのパルス幅は、制御信号ＯＦＧ_Ｓより広いものとする。パルス幅の広い制御信号ＯＦＧ_Ｓをスイッチ２４１が選択することにより、制御信号ＯＦＧ_Ｌを選択した場合よりも露光開始のタイミングを遅らせて露光期間を短くすることができる。なお、スイッチ２４１は、特許請求の範囲に記載の選択部の一例である。
【００３５】
ＰＤリセットトランジスタ２４２は、フォトダイオード２４３の電荷を電源に排出して、フォトダイオード２４３を初期化するものである。このＰＤリセットトランジスタ２４２は、フォトダイオード２４３と電源との間に挿入される。フォトダイオード２４３は、入射光を光電変換して電荷を生成するものである。
【００３６】
転送トランジスタ２４４は、ドライバ２２０からの転送信号ＴＲＧに従って、フォトダイオード２４３が生成した電荷を浮遊拡散層に転送するものである。この転送信号ＴＲＧは、電荷の転送を指示する信号である。転送された電荷は浮遊拡散層に蓄積され、その電荷量に応じた電圧が、コンパレータ２４５の反転入力端子（−）に入力される。
【００３７】
コンパレータ２４５は、浮遊拡散層の電圧である入力電圧ＦＤと、ランプ信号の電圧である参照電圧ＲＥＦとを比較するものである。このコンパレータ２４５の非反転入力端子（＋）には、ランプ信号生成部２５０からのランプ信号が入力される。コンパレータ２４５は、比較結果をコンパレータ出力信号ＶＣＯとして判定フラグ保持部２４７およびデジタル信号保持部２４８に出力する。入力電圧ＦＤが参照電圧ＲＥＦ以下の場合には、ハイレベルのコンパレータ出力信号ＶＣＯが出力され、入力電圧ＦＤが参照電圧ＲＥＦより高い場合には、ローレベルのコンパレータ出力信号ＶＣＯが出力される。
【００３８】
ＦＤ（Floating Diffusion）リセットトランジスタ２４６は、ドライバ２２０からのリセット信号ＲＳＴに従って浮遊拡散層の電荷量を初期化するものである。このリセット信号ＲＳＴは、浮遊拡散層の初期化を指示する信号である。ＦＤリセットトランジスタ２４６は、コンパレータ２４５の反転入力端子（−）と出力端子との間に挿入される。
【００３９】
アップカウンタ２６１は、タイミング生成部２７０からのクロック信号ＣＬＫに同期して計数値を増分するものである。このクロック信号ＣＬＫの周波数は、垂直同期信号よりも高いものとする。アップカウンタ２６１は、Ｎ（Ｎは１以上の整数）ビットの計数値ＣＮＴを判定フラグ生成部２６２およびデジタル信号保持部２４８に供給する。また、アップカウンタ２６１は、タイミング生成部２７０からのリセット信号ｒｓｔに従って、計数値ＣＮＴを初期化する。なお、アップカウンタ２６１の代わりにダウンカウンタを設けてもよい。
【００４０】
判定フラグ生成部２６２は、計数値ＣＮＴと所定の設定値とを比較して、その比較結果を示す信号をラッチ入力信号ＬＩＮとして生成するものである。このラッチ入力信号ＬＩＮには、例えば、計数値ＣＮＴが設定値以下の場合に「０」の値が設定され、計数値ＣＮＴが設定値より高い場合に「１」の値が設定される。また、設定値には、例えば、浮遊拡散層が飽和するときの値が設定される。
【００４１】
判定フラグ保持部２４７は、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合に（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い場合）にラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持するものである。この判定フラグ保持部２４７は、例えば、ラッチ回路により実現される。コンパレータ出力信号ＶＣＯがハイレベルの場合に判定フラグ保持部２４７は、スルー状態に移行して、ラッチ入力信号ＬＩＮの値をそのまま出力する。
【００４２】
一方、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合に判定フラグ保持部２４７は、ホールド状態に移行して、反転時のラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持する。判定フラグ保持部２４７は、保持した判定フラグＦＬＡＧをスイッチ２４１およびインターフェース２１０に出力する。
【００４３】
デジタル信号保持部２４８は、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い場合）に計数値ＣＮＴをデジタル信号ＣＯＤＥとして保持するものである。このデジタル信号ＣＯＤＥの値は、画素回路２４０の露光量を示す。
【００４４】
また、デジタル信号保持部２４８は、例えば、ラッチ回路により実現される。コンパレータ出力信号ＶＣＯがハイレベルの場合にデジタル信号保持部２４８は、スルー状態に移行して、計数値ＣＮＴをそのまま出力する。
【００４５】
一方、コンパレータ出力信号ＶＣＯがハイレベルからローレベルに反転した場合にデジタル信号保持部２４８は、ホールド状態に移行して、反転時の計数値ＣＮＴをデジタル信号ＣＯＤＥとして保持する。デジタル信号保持部２４８は、保持したデジタル信号ＣＯＤＥをインターフェース２１０に出力する。なお、デジタル信号保持部２４８は、特許請求の範囲に記載のデジタル信号生成部の一例である。
【００４６】
また、判定フラグ保持部２４７からの判定フラグＦＬＡＧと、デジタル信号保持部２４８からのデジタル信号ＣＯＤＥとを含むデータは、画素回路２４０の画素データとしてインターフェース２１０に出力される。
【００４７】
上述の構成により、受光量に応じた入力電圧ＦＤが浮遊拡散層の飽和レベルを超えていれば、判定フラグ生成部２６２からのハイレベルのラッチ入力信号ＬＩＮが判定フラグＦＬＡＧとして判定フラグ保持部２４７に保持される。すなわち、判定フラグＦＬＡＧは、画素回路２４０の受光量が所定値（飽和レベルなど）を超えたか否かを測定した結果を示す。なお、判定フラグ生成部２６２および判定フラグ保持部２４７は、特許請求の範囲に記載の測定部の一例である。
【００４８】
そして、あるフレームで保持された判定フラグＦＬＡＧは次のフレームでスイッチ２４１により読み出され、その判定フラグＦＬＡＧにより露光期間が切り替えられる。最初のフレームにおいては、判定フラグＦＬＡＧが初期値のままであるため、露光期間も初期値のままである。しかし、２枚目以降のフレームにおいては、画素回路２４０ごとに、前のフレームの受光量の判定結果（ＦＬＡＧ）により、長時間の露光と短時間の露光とが切り替えられる。判定フラグＦＬＡＧが「０」である（すなわち、受光量が所定値を超えて明るい）場合には、短い方の露光期間が選択される。一方、判定フラグＦＬＡＧが「１」である（すなわち、受光量が所定値以下で暗い）場合には、長い方の露光期間が選択される。
【００４９】
このように、受光量が所定値を超えるか否かを画素毎に判定して露光期間を切り替えることにより、固体撮像素子２００は、一定の撮像周期が経過するたびに短時間露光した画素データと長時間露光した画素データとを生成することができる。
【００５０】
そして、画像処理部１２０は、この判定フラグＦＬＡＧに応じて、対応する画素データの画素値を調整（増幅や減衰）することにより、ダイナミックレンジを拡大した画像データを撮像周期毎に生成することができる。以下、ダイナミックレンジが所定値の画像を「通常画像」と称し、その所定値より大きな値にダイナミックレンジを拡大した画像を「ＨＤＲ（High Dynamic Range）画像」と称する。
【００５１】
なお、スイッチ２４１は、長さの異なる２つの露光期間のいずれかに切り替えているが、互いに異なる３つ以上の露光期間のいずれかを切り替えてもよい。Ｍ（Ｍは３以上の整数）個の異なる露光期間を切り替える場合には、パルス幅の異なるＭ個の制御信号をスイッチ２４１が切り替える。また、判定フラグ生成部２６２は、計数値ＣＮＴの増大に応じてＭ段階に値の変わる切替信号を判定フラグＦＬＡＧの代わりに生成する。また、コンパレータ出力信号が反転した際に判定フラグ保持部２４７は、その切替信号を保持してスイッチ２４１に供給する。
【００５２】
また、固体撮像素子２００は、画素ごとに受光量を測定して判定フラグを生成しているが、受光量の測定単位の領域は画素に限定されない。後述するように、固体撮像素子２００は、それぞれが複数の画素からなる領域ごとに、受光量を測定してもよい。
【００５３】
図５は、第１の実施の形態における判定フラグ保持部２４７の動作の一例を示す図である。コンパレータ出力信号ＶＣＯがローレベルである（すなわち、入力電圧ＦＤが参照電圧ＲＥＦより高い）場合に判定フラグ保持部２４７は、ホールド状態に移行してラッチ入力信号ＬＩＮの値を判定フラグＦＬＡＧとして保持する。一方、コンパレータ出力信号ＶＣＯがハイレベルの場合に判定フラグ保持部２４７は、スルー状態に移行して、ラッチ入力信号ＬＩＮをそのまま出力する。なお、デジタル信号保持部２４８の動作は、保持するビット数が異なる点以外は、判定フラグ保持部２４７と同様である。
【００５４】
図６は、第１の実施の形態における判定フラグ生成部２６２の動作の一例を示す図である。計数値ＣＮＴが設定値より高い（すなわち、受光量が飽和レベルより多い）場合に判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮに「１」を設定する。一方、計数値ＣＮＴが設定値以下の場合に判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮに「０」を設定する。
【００５５】
図７は、第１の実施の形態における固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ１において６０ヘルツ（Ｈｚ）の垂直同期信号ＶＳＹＮＣに同期して画像データの撮像が開始されたものとする。
【００５６】
最初のタイミングＴ１では、全画素において判定フラグＦＬＡＧは初期値（例えば、「０」）のままである。このため、全ての画素回路２４０は、同一の長さの露光期間に亘って露光を行って画素データを生成する。また、画素回路２４０のそれぞれは、受光量が所定値を超えるか否かを判定して判定フラグＦＬＡＧを生成して保持する。そして、画像処理部１２０は、通常画像を生成する。
【００５７】
タイミングＴ１から１／６０秒後のタイミングＴ２が経過すると、画素回路２４０のそれぞれは、前回の判定フラグＦＬＡＧにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。また、画素回路２４０のそれぞれは、判定フラグＦＬＡＧを生成する。そして、画像処理部１２０は、判定フラグＦＬＡＧを参照して、露光期間の異なる２種類の画素データからＨＤＲ画像を生成する。
【００５８】
上述のタイミングＴ１からタイミングＴ２までは、受光量が所定値を超えるか否かの判定処理とＨＤＲ画像の撮像処理とのうち、判定処理のみが実行される。このため、この期間を以下、「判定期間」と称する。また、タイミングＴ２以降は、判定処理と、ＨＤＲ画像の撮像処理との両方が撮像周期ごとに行われる。このため、この期間を以下、「撮像判定期間」と称する。
【００５９】
なお、撮像周期を１／６０秒としているが、この周期に限定されない。例えば、固体撮像素子２００は、１／３０秒ごとに撮像を行ってもよい。
【００６０】
図８は、比較例における固体撮像素子の動作の一例を示すタイミングチャートである。この比較例の固体撮像素子は、画素ごとに受光量を測定せず、全画素の露光期間の長さを同一にして撮像を行うものとする。
【００６１】
最初のタイミングＴ１では、固体撮像素子内の全ての画素回路は、短時間の露光により画素データを生成する。タイミングＴ１から１／６０秒が経過したタイミングＴ２において、全ての画素回路は、長時間の露光により画素データを生成する。また、後段の画像処理部は、短時間露光の画像データと長時間露光の画像データとを合成してＨＤＲ画像を生成する。タイミングＴ２から１／６０秒が経過したタイミングＴ３以降は、ＨＤＲ画像の合成が１／３０秒ごとに実行される。
【００６２】
このように、比較例では、複数枚の画像データを合成してＨＤＲ画像（フレーム）を生成するため、合成しない場合と比較してフレームレートが低下してしまう。例えば、６０ヘルツ（Ｈｚ）のフレームレートで通常画像を撮像し、２枚の通常画像を合成してＨＤＲ画像を生成する場合、ＨＤＲ画像のフレームレートは３０ヘルツ（Ｈｚ）に低下する。
【００６３】
これに対して、図８に例示したように、固体撮像素子２００は、画素回路２４０ごとに受光量を測定して露光期間を切り替えるため、垂直同期信号ＶＳＹＮＣのの周期（撮像周期）毎にＨＤＲ画像を生成することができる。例えば、垂直同期信号ＶＳＹＮＣの周波数が比較例と同一である場合、固体撮像素子２００は、６０ヘルツ（Ｈｚ）のフレームレートでＨＤＲ画像を撮像することができる。したがってＨＤＲ画像を撮像する際にフレームレートの低下を抑制することができる。
【００６４】
図９は、第１の実施の形態における固体撮像素子２００の判定期間内の動作の一例を示すタイミングチャートである。まず、タイミングＴ１において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、互いに異なるパルス期間に亘ってハイレベルに制御される。判定フラグＦＬＡＧの初期値を例えば、ローレベルとすると、スイッチ２４１は、その値に基づいて制御信号ＯＦＧ_Ｌの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＬＥの長時間露光が開始される。
【００６５】
そして、タイミングｔ２においてリセット信号ＲＳＴが供給され、浮遊拡散層の電圧（ＦＤ）が初期値（例えば、参照電圧ＲＥＦと同程度）に初期化される。このリセット信号ＲＳＴが立ち下がると、フィードスルーやチャージインジェクションにより、電圧ＦＤが揺らぐ。この揺らぎの成分は、リセットレベルとしてタイミングｔ３以降に計数される。
【００６６】
ランプ信号の参照電圧ＲＥＦは、タイミングｔ３からｔ５までに亘って徐々に低下する。また、タイミングｔ３において、タイミング生成部２７０は、アップカウンタ２６１を初期化して計数を開始させる。
【００６７】
タイミングｔ４において入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。また、デジタル信号保持部２４８は、タイミングｔ４の計数値ＣＮＴを、リセットレベルの信号として保持する。このリセットレベルは、インターフェース２１０へ出力される。
【００６８】
そして、長時間露光の終了直前のタイミングｔ５において、参照電圧ＲＥＦは上昇して入力電圧ＦＤ以上となり、コンパレータ出力信号ＶＣＯがハイレベルになる。また、タイミングｔ５において、タイミング生成部２７０は、アップカウンタ２６１へのクロック信号ＣＬＫを停止して計数を停止させる。
【００６９】
タイミングｔ６において転送信号ＴＲＧが供給されると、浮遊拡散層にフォトダイオード２４３の電荷が完全転送されて、その電圧（ＦＤ）が低下する。これにより、長時間露光が終了する。ランプ信号の参照電圧ＲＥＦは、タイミングｔ７以降において徐々に低下する。また、タイミングｔ７において、タイミング生成部２７０は、アップカウンタ２６１を初期化して計数を開始させる。
【００７０】
タイミングｔ８において、計数値ＣＮＴが設定値を超えたため、判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮをハイレベルにする。そして、タイミングｔ９において、入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。このコンパレータ出力信号ＶＣＯが反転したタイミングｔ９において、判定フラグ保持部２４７は、ハイレベルのラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持する。また、デジタル信号保持部２４８は、タイミングｔ９の計数値ＣＮＴを信号レベルとして保持する。この信号レベルはインターフェース２１０へ出力される。
【００７１】
図９では計数値ＣＮＴが設定値を超えてから、コンパレータ出力信号ＶＣＯが反転したため、ハイレベルの判定フラグＦＬＡＧが保持される。このハイレベルの判定フラグＦＬＡＧは、受光量が所定値Ｔｈ（飽和レベルなど）を超えることを示す。
【００７２】
なお、入力電圧ＦＤのレベルが、ランプ信号の変動分よりも大きい場合には、ランプ信号の変動が停止するタイミングｔ１０においても、コンパレータ出力信号ＶＣＯが反転しない。この際には、タイミングｔ１０において、ドライバ２２０がコンパレータ出力信号ＶＣＯを強制的に反転させ、判定フラグ保持部２４７に判定フラグＦＬＡＧを保持させる。
【００７３】
図１０は、第１の実施の形態における固体撮像素子２００の撮像判定期間内の動作の一例を示すタイミングチャートである。タイミングＴ２において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、互いに異なるパルス期間に亘ってハイレベルに制御される。前回に保持された判定フラグＦＬＡＧがハイレベルであった（すなわち、受光量が所定値を超えた）ため、スイッチ２４１は、制御信号ＯＦＧ_Ｓの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＳＥの短時間露光が開始される。
【００７４】
そして、タイミングｔ１２からタイミングｔ１５までの間にリセットレベルがＡＤ（Analog to Digital）変換され、タイミングｔ１５からタイミングｔ２０までの間に信号レベルがＡＤ変換される。
【００７５】
また、タイミングｔ１８において、入力電圧ＦＤが参照電圧ＲＥＦより高くなると、コンパレータ出力信号ＶＣＯが反転してローレベルになる。このコンパレータ出力信号ＶＣＯが反転したタイミングｔ１８において、判定フラグ保持部２４７は、ローレベルのラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持する。
【００７６】
そして、その後のタイミングｔ１９において計数値ＣＮＴが設定値を超えたため、判定フラグ生成部２６２は、ラッチ入力信号ＬＩＮをハイレベルにする。
【００７７】
図１０では、計数値ＣＮＴが設定値を超える前にコンパレータ出力信号ＶＣＯが反転したため、ローレベルの判定フラグＦＬＡＧが保持される。このローレベルの判定フラグＦＬＡＧは、受光量が所定値Ｔｈ以下であることを示す。
【００７８】
［画像処理部の構成例］
図１１は、第１の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この画像処理部１２０は、相関二重サンプリング回路１２１、スイッチ１２２、乗算器１２３および後段処理部１２４を備える。
【００７９】
相関二重サンプリング回路１２１は、デジタル信号ＣＯＤＥ内のリセットレベルと信号レベルとの差を求めるＣＤＳ（Correlated Double Sampling）処理を行うものである。ＣＤＳ処理により、リセットノイズやトランジスタの閾値ばらつきなどを低減することができる。この相関二重サンプリング回路１２１は、ＣＤＳ処理後の画素値をスイッチ１２２に供給する。
【００８０】
スイッチ１２２は、判定フラグＦＬＡＧにより、乗算器１２３と後段処理部１２４とのいずれかを出力先として選択して、相関二重サンプリング回路１２１からの画素値を出力するものである。判定フラグＦＬＡＧがハイレベルである（すなわち、受光量が所定値を超える）場合には、スイッチ１２２は、乗算器１２３へ画素値を出力する。一方、判定フラグＦＬＡＧがローレベルである場合には、スイッチ１２２は、後段処理部１２４へ画素値を出力する。
【００８１】
乗算器１２３は、スイッチ１２２からの画素値に対して、長時間露光と短時間露光との露光比であるｔ_ＬＥ／ｔ_ＳＥを乗算するものである。この乗算器１２３は、乗算後の画素値を後段処理部１２４に供給する。
【００８２】
後段処理部１２４は、デモザイク処理やホワイトバランス処理などの様々な画像処理を実行して記録部１４０に供給するものである。
【００８３】
乗算器１２３により、受光量が所定値を超える明るい画素の画素値が増幅される。一方、受光量が所定値未満の暗い画素の画素値は、増幅されない。このため、画像データのダイナミックレンジは、露光比と同じ倍率により拡大され、ＨＤＲ画像が得られる。
【００８４】
なお、画像処理部１２０は、明るい画素の画素値のみを増幅する調整処理を行っているが、ダイナミックレンジが拡大するのであれば、この処理以外の調整処理を行ってもよい。例えば、画像処理部１２０は、明るい画素の画素値を増幅せずに暗い画素の画素値のみを減衰してもよい。また、画像処理部１２０は、明るい画素の画素値の増幅と、暗い画素の画素値の減衰との両方を行ってもよい。
【００８５】
［撮像装置の動作例］
図１２は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、ＨＤＲ画像の撮像を開始させるための操作（シャッターボタンの押下など）が行われたときに開始される。
【００８６】
固体撮像素子２００は、画像データを撮像するための撮像処理（Ｓ９１０）を実行する。最初の撮像処理では、通常画像が撮像される。続いて、固体撮像素子２００は、撮像処理（ステップＳ９１０）を再度実行し、画像処理部１２０は、ＨＤＲ画像を生成するためのＨＤＲ画像生成処理（ステップＳ９２０）を実行する。そして、ステップＳ９２０の後に、撮像装置１００は、撮像を停止させるための操作などに応じて、撮像を終了するか否かを判断する（ステップＳ９３０）。
【００８７】
撮像を終了しない場合に（ステップＳ９３０：Ｎｏ）、撮像装置１００は、ステップＳ９１０を再度繰り返す。一方、撮像を終了する場合に（ステップＳ９３０：Ｙｅｓ）、撮像装置１００は、撮像のための動作を終了する。
【００８８】
図１３は、第１の実施の形態における撮像処理の一例を示すフローチャートである。固体撮像素子２００内の画素回路２４０は、判定フラグＦＬＡＧがローレベル（すなわち、前回の受光量が所定値Ｔｈ以下）であるか否かを判断する（ステップＳ９１１）。判定フラグＦＬＡＧがローレベルである場合に（ステップＳ９１１：Ｙｅｓ）、画素回路２４０は、ｔ_ＬＥの長時間に亘って露光を行う（ステップＳ９１２）。一方、判定フラグＦＬＡＧがハイレベルである場合に（ステップＳ９１１：Ｎｏ）、画素回路２４０は、ｔ_ＳＥの短時間に亘って露光を行う（ステップＳ９１３）。
【００８９】
ステップＳ９１２またはＳ９１３の後に画素回路２４０は、今回の受光量が所定値Ｔｈ以下であるか否かを判断する（ステップＳ９１４）。受光量が所定値Ｔｈ以下である場合に（ステップＳ９１４：Ｙｅｓ）、画素回路２４０は、判定フラグにローレベルを設定して保持する（ステップＳ９１５）。一方、受光量が所定値Ｔｈを超える場合に（ステップＳ９１４：Ｎｏ）、画素回路２４０は、判定フラグにハイレベルを設定して保持する（ステップＳ９１６）。ステップＳ９１５またはＳ９１６の後に、画素回路２４０は、画素データを生成して出力する（ステップＳ９１７）。
【００９０】
図１４は、第１の実施の形態におけるＨＤＲ画像生成処理の一例を示すフローチャートである。画像処理部１２０は、入力された画素データに対して相関二重サンプリング処理を実行する（ステップＳ９２１）。そして、画像処理部１２０は、その画素データの判定フラグＦＬＡＧがハイレベル（すなわち、受光量が所定値Ｔｈを超える）か否かを判断する（ステップＳ９２２）。
【００９１】
判定フラグＦＬＡＧがハイレベルである場合に（ステップＳ９２２：Ｙｅｓ）、画像処理部１２０は、画素値に露光比（ｔ_ＬＥ／ｔ_ＳＥ）を乗算する（ステップＳ９２３）。判定フラグＦＬＡＧがローレベルである場合（ステップＳ９２２：Ｎｏ）、または、ステップＳ９２３の後に、画像処理部１２０は、全画素の処理が終了したか否かを判断する（ステップＳ９２４）。全画素の処理を終了していない場合に（ステップＳ９２４：Ｎｏ）、画像処理部１２０は、ステップＳ９２１以降を繰り返し実行する。一方、全画素の処理を終了した場合に（ステップＳ９２４：Ｙｅｓ）、画像処理部１２０は、ＨＤＲ画像生成処理を終了する。
【００９２】
このように、本技術の第１の実施の形態によれば、画素回路２４０のそれぞれが受光量を測定して、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、１枚の画像データからＨＤＲ画像を生成することができる。これにより、複数の画像データを合成する場合と比較して、ＨＤＲ画像のフレームレートを向上させることができる。
【００９３】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、固体撮像素子２００は、アップカウンタ２６１により、リセットレベルおよび信号レベルを順にＡＤ変換していた。しかし、この構成では、リセットノイズ等を低減する際にリセットレベルおよび信号レベルのそれぞれのＡＤ変換値を画像処理部１２０が取得してＣＤＳ処理を実行する必要があり、画像処理部１２０の処理負担が増大する。この第２の実施の形態の固体撮像素子２００は、画像処理部１２０の処理量を低減した点において第１の実施の形態と異なる。
【００９４】
図１５は、第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、計数部２６０を備えない点において第１の実施の形態と異なる。
【００９５】
図１６は、第２の実施の形態における画素回路２４０の一構成例を示す回路図である。この第２の実施の形態の画素回路２４０は、デジタル信号保持部２４８の代わりに判定フラグ生成部３０１およびアップダウンカウンタ３０２を設けた点において第１の実施の形態と異なる。
【００９６】
アップダウンカウンタ３０２は、クロック信号ＣＬＫに同期して、計数値を増分または減分するものである。このアップダウンカウンタ３０２は、タイミング生成部２７０からのリセット信号ｒｓｔに従って計数値を初期化する。また、アップダウンカウンタ３０２は、タイミング生成部２７０からの制御信号ＵＤに従って、増分動作と減分動作とを切り替える。そして、アップダウンカウンタ３０２は、増分動作時と減分動作時とのそれぞれにおいてコンパレータ出力信号ＶＣＯが反転したときに計数を停止する。続いて、増分動作の終了後にアップダウンカウンタ３０２は、計数値ＣＮＴを判定フラグ生成部３０１およびインターフェース２１０に供給する。
【００９７】
判定フラグ生成部３０１は、計数値ＣＮＴと設定値とを比較して、その比較結果を示す信号をラッチ入力信号ＬＩＮとして生成するものである。この判定フラグ生成部３０１は、ラッチ入力信号ＬＩＮを判定フラグ保持部２４７に供給する。
【００９８】
図１７は、第２の実施の形態における固体撮像素子の判定期間内の動作の一例を示すタイミングチャートである。判定フラグＦＬＡＧの初期値がローレベルであるため、タイミングＴ１において制御信号ＯＦＧ_Ｌが選択され、長時間露光が開始される。タイミングｔ３において参照電圧ＲＥＦが低下し始めると、アップダウンカウンタ３０２は、計数値を初期化し、計数値の減分を開始する。そして、タイミングｔ４においてコンパレータ出力信号ＶＣＯが反転すると、アップダウンカウンタ３０２は、計数を停止する。
【００９９】
そして、タイミングｔ７において参照電圧ＲＥＦが低下し始めると、アップダウンカウンタ３０２は、減分終了時の値を初期値として、計数値ＣＮＴの増分を開始する。そして、タイミングｔ９においてコンパレータ出力信号ＶＣＯが反転すると、アップダウンカウンタ３０２は、計数を停止する。このときの計数値ＣＮＴは、リセットレベルと信号レベルとの差を示す。すなわち、アップダウンカウンタ３０２により、ＣＤＳ処理が実行される。増分後の計数値ＣＮＴが設定値より大きい（すなわち、露光量が所定値Ｔｈを超える）ため、タイミングｔ９においてハイレベルの判定フラグＦＬＡＧが生成される。
【０１００】
なお、アップダウンカウンタ３０２は、減分の次に増分を行っているが、逆に増分の次に減分を行ってもよい。
【０１０１】
図１８は、第２の実施の形態における固体撮像素子の撮像判定期間内の動作の一例を示すタイミングチャートである。前回の判定フラグＦＬＡＧがハイレベルであるため、タイミングＴ２において制御信号ＯＦＧ_Ｓが選択され、短時間露光が開始される。そして、増分後の計数値ＣＮＴが設定値以下（すなわち、露光量が所定値Ｔｈ以下）であるため、タイミングｔ１８においてローレベルの判定フラグＦＬＡＧが生成される。
【０１０２】
図１９は、第２の実施の形態における画像処理部１２０の一構成例を示すブロック図である。この第２の実施の形態の画像処理部１２０は、相関二重サンプリング回路１２１が設けられていない点以外は、第１の実施の形態と同様である。前述したように、アップダウンカウンタ３０２により、ＣＤＳ処理が実行されるため、相関二重サンプリング回路１２１が不要となる。
【０１０３】
このように、本技術の第２の実施の形態によれば、画素回路２４０内のアップダウンカウンタ３０２がＣＤＳ処理を行うため、後段の画像処理部１２０がＣＤＳ処理を行う必要がなくなる。これにより、画像処理部１２０の処理量を低減することができる。
【０１０４】
＜３．第３の実施の形態＞
上述の第２の実施の形態では、固体撮像素子２００は画素ごとに受光量を測定していたが、受光量を測定する単位は１画素に限定されず、複数の画素からなる領域ごとに受光量を測定してもよい。この第３の実施の形態の固体撮像素子２００は、複数の画素からなる受光領域ごとに受光量を測定する点において第２の実施の形態と異なる。
【０１０５】
図２０は、第３の実施の形態における画素アレイ部２３０の一構成例を示すブロック図である。この第３の実施の形態の画素アレイ部２３０は、複数の受光領域３５０により分割されている点において第１の実施の形態と異なる。この受光領域３５０のそれぞれの領域には、列方向に配列された画素回路３６０、３８０および３９０が設けられる。
【０１０６】
なお、受光領域３５０のそれぞれの画素数を３つとしているが、画素数は２つ以上であればよく、３つに限定されない。
【０１０７】
図２１は、第３の実施の形態における画素回路３６０および３８０の一構成例を示す回路図である。画素回路３６０は、スイッチ３６１、ＰＤリセットトランジスタ３６２、フォトダイオード３６３、転送トランジスタ３６４、コンパレータ３６５およびＦＤリセットトランジスタ３６６を備える。また、画素回路３６０は、判定フラグ保持部３６７、判定フラグ生成部３６８、加算器３６９およびアップダウンカウンタ３７０を備える。
【０１０８】
画素回路３６０の構成は、加算器３６９をさらに備える点以外は、図１６に例示した第２の実施の形態の画素回路２４０と同様である。
【０１０９】
画素回路３８０は、スイッチ３８１、ＰＤリセットトランジスタ３８２、フォトダイオード３８３、転送トランジスタ３８４、コンパレータ３８５およびＦＤリセットトランジスタ３８６を備える。また、画素回路３８０は、加算器３８８およびアップダウンカウンタ３８９を備える。
【０１１０】
画素回路３８０の構成は、判定フラグ生成部３０１および判定フラグ保持部２４７の代わりに加算器３８８を備える点以外は、図１６に例示資した第２の実施の形態の画素回路２４０と同様である。また、画素回路３９０の構成は、画素回路３８０と同様である。
【０１１１】
アップダウンカウンタ３８９は、計数値ＣＮＴを加算器３８８とインターフェース２１０とに供給する。加算器３８８は、画素回路３８０の計数値ＣＮＴと、画素回路３９０の計数値ＣＮＴとを加算するものである。この加算器３８８は、加算結果を画素回路３６０に供給する。
【０１１２】
加算器３６９は、画素回路３６０の計数値ＣＮＴに、画素回路３８０からの加算結果を加算するものである。加算器３６９は、加算結果を判定フラグ生成部３６８に供給する。この加算結果は、画素回路３６０、３８０および３９０のそれぞれの計数値ＣＮＴの積算値であり、受光領域３５０の受光量を示す。
【０１１３】
判定フラグ生成部３６８は、受光領域３５０の受光量が所定値を超えているか否かを示すラッチ入力信号ＬＩＮを生成して判定フラグ保持部３６７に供給する。判定フラグ保持部３６７は、コンパレータ出力信号ＶＣＯが反転したときにラッチ入力信号ＬＩＮを判定フラグＦＬＡＧとして保持し、保持値をスイッチ３６１と画素回路３８０および３９０とに供給する。
【０１１４】
上述の構成により、受光領域３５０ごとに受光量が測定され、その測定結果（判定フラグＦＬＡＧ）により受光領域３５０内の画素のそれぞれが露光期間を選択することができる。
【０１１５】
このように、本技術の第３の実施の形態によれば、複数の画素からなる受光領域３５０ごとに受光量を測定し、その測定結果により選択した露光期間に亘って露光を行い、画素データを生成するため、１枚の画像データからＨＤＲ画像を生成することができる。
【０１１６】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、１つの半導体基板に固体撮像素子２００内の回路のそれぞれを配置していたが、半導体基板の面積を一定とすると、画素数の増大に伴って画素を微細化する必要が生じる。この微細化により、画素のそれぞれのフォトダイオードの面積が小さくなり、感度などの画素特性を維持することが困難となる。この第４の実施の形態の固体撮像素子２００は、フォトダイオードの面積を大きくした点において第１の実施の形態と異なる。
【０１１７】
図２２は、第４の実施の形態における固体撮像素子２００の一構成例を示す斜視図である。この第４の実施の形態の固体撮像素子２００は、下側半導体基板２０２と、その基板に積層された上側半導体基板２０１とを備える。
【０１１８】
図２３は、第４の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。下側半導体基板２０２には、複数のラッチ回路４１０が二次元格子状に配置され、上側半導体基板２０１には、複数の画素回路２４０が二次元格子状に配列される。また、固体撮像素子２００内のインターフェース２１０、ドライバ２２０、ランプ信号生成部２５０、計数部２６０およびタイミング生成部２７０は、下側半導体基板２０２に配置される。
【０１１９】
第４の実施の形態の画素回路２４０の構成は、スイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８が設けられていない点以外は、第１の実施の形態と同様である。これらのスイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８は、ラッチ回路４１０内に設けられる。
【０１２０】
なお、積層された２つの半導体基板に、固体撮像素子２００内の回路を分散して配置しているが、３つ以上の半導体基板に分散して配置してもよい。また、固体撮像素子２００内のスイッチ２４１、判定フラグ保持部２４７およびデジタル信号保持部２４８を一方の基板に、残りを他方の基板に配置しているが、この構成に限定されない。例えば、スイッチ２４１を画素回路２４０側の基板に配置してもよい。
【０１２１】
このように、本技術の第４の実施の形態によれば、積層された２つの半導体基板に固体撮像素子２００内の回路を分散して配置したため、積層しない場合よりもフォトダイオード２４３の面積を大きくすることができる。これにより、微細化に伴う画素特性（感度など）の低下を抑制することができる。
【０１２２】
＜５．第５の実施の形態＞
上述の第２の実施の形態では、固体撮像素子２００は、それぞれのフレームの撮像時において前のフレームで測定された受光量の測定結果（判定フラグＦＬＡＧ）に応じて露光期間を選択して露光を行っていた。しかし、この構成では、現在のフレームと、その前のフレームとで受光量が大きく変化した場合に、適切な露光期間が選択されず、画質が低下するおそれがある。このため、それぞれのフレームにおいて、そのフレームの撮像周期内で測定した受光量に応じて露光期間を選択することが望ましい。この第５の実施の形態の固体撮像素子２００は、適切な露光期間を選択することにより、画質を向上させた点において第２の実施の形態と異なる。
【０１２３】
図２４は、第５の実施の形態における画素回路２４０の一構成例を示す回路図である。この第５の実施の形態の画素回路２４０は、転送トランジスタ２４４の代わりに転送トランジスタ４２０を備える点において第２の実施の形態と異なる。
【０１２４】
転送トランジスタ４２０は、そのチャネルのポテンシャルを３段階に制御することができる点において第２の実施の形態の転送トランジスタ２４４と異なる。ドライバ２２０がローレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは最も高い高電位となる。また、ドライバ２２０がハイレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは最も低い低電位となる。ドライバ２２０がミドルレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは高電位および低電位の間の中間電位となる。
【０１２５】
中間電位では、フォトダイオード２４３内の電荷が全て転送されず、その中間電位を超えた分の上澄み信号が浮遊拡散層に転送される。この中間電位のときの電荷の転送を以下、「中間電位転送」と称する。また、低電位では、フォトダイオード２４３内の電荷が全て浮遊拡散層に転送される。この低電位における転送を以下、「完全転送」と称する。
【０１２６】
図２５は、第５の実施の形態における画素回路２４０の中間電位転送までのポテンシャル図の一例である。同図におけるａは中間電位転送の直前の画素回路２４０のポテンシャル図を示す。この時点においては、転送トランジスタ４２０のポテンシャルは十分に高いため、フォトダイオード２４３の電荷は浮遊拡散層に転送されない。
【０１２７】
図２５におけるｂは、同図におけるｃよりも受光量が大きい画素回路２４０の中間電位転送時のポテンシャル図を示す。ドライバ２２０がミドルレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは中間電位となる。そして、フォトダイオード２４３から浮遊拡散層へ上澄み信号が転送される。
【０１２８】
図２５におけるｃは、同図におけるｂよりも受光量が小さい画素回路２４０の中間電位転送時のポテンシャル図を示す。受光量が小さい場合には、フォトダイオード２４３の電荷量が少なく、上澄み信号はほとんどない。同図におけるｂおよびｃに例示したように、中間電位転送時の浮遊拡散層の電荷量が受光量に応じて変化するため、このときの浮遊拡散層の電圧ＦＤから、画素回路２４０が判定フラグＦＬＡＧを生成することができる。
【０１２９】
図２６は、第５の実施の形態における画素回路２４０の完全転送時のポテンシャル図の一例である。ドライバ２２０がハイレベルの転送信号ＴＲＧを供給すると、転送トランジスタ４２０のポテンシャルは低電位となる。そして、フォトダイオード２４３内の電荷の全てが浮遊拡散層に転送される。
【０１３０】
図２７は、第５の実施の形態における撮像装置１００の動作の一例を示すタイミングチャートである。最初のタイミングＴ１が経過すると画素回路２４０は、中間電位転送時に判定フラグＦＬＡＧを生成する。そして、画素回路２４０は、その判定フラグにより露光期間を選択し、その露光期間に亘って露光して画素データを生成する。そして、画像処理部１２０は、判定フラグＦＬＡＧを参照して、露光期間の異なる２種類の画素データからＨＤＲ画像を生成する。
【０１３１】
タイミングＴ１から１／６０秒後のタイミングＴ２以降においても、画素回路２４０は、同様に撮像周期内で判定フラグＦＬＡＧを生成して露光期間を選択し、画像処理部１２０はＨＤＲ画像を生成する。
【０１３２】
図２８は、第５の実施の形態における受光量が多い画素回路２４０の中間電位転送までの動作の一例を示すタイミングチャートである。まず、タイミングＴ１において制御信号ＯＦＧ_ＬおよびＯＦＧ_Ｓが、同一のパルス期間に亘ってハイレベルに制御される。そして、タイミングｔ１２からタイミングｔ１５までにおいて、リセットレベルが計数される。その後のタイミングｔ１６においてミドルレベルＬ１の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、中間電位転送を行う。タイミングｔ１７からタイミングｔ１９までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。その計数値ＣＮＴが設定値を超える（すなわち、受光量が所定値Ｔｈを超える）ため、ハイレベルの判定フラグＦＬＡＧが生成される。
【０１３３】
図２９は、第５の実施の形態における受光量が多い画素回路２４０の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングｔ２２において、制御信号ＯＦＧ_Ｓが、所定のパルス期間に亘ってハイレベルに制御される。一方、制御信号ＯＦＧ_Ｌはローレベルのままである。また、ハイレベルの判定フラグＦＬＡＧに従って、スイッチ２４１は、制御信号ＯＦＧ_Ｓの方を選択してＯＦＧとして出力する。これにより、露光期間ｔ_ＳＥの短時間露光が開始される。
【０１３４】
そして、タイミングｔ２４からタイミングｔ２７までにおいて、リセットレベルが計数される。その後のタイミングｔ２８においてハイレベルＬ２の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、完全転送を行う。これにより、短時間露光が終了する。タイミングｔ２９からタイミングｔ３０までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。この計数値ＣＮＴは、短時間露光を行った画素の画素値を示す。
【０１３５】
図３０は、第５の実施の形態における受光量が少ない画素回路２４０の中間電位転送までの動作の一例を示すタイミングチャートである。タイミングＴ２においては、制御信号ＯＦＧ_ＳおよびＯＦＧ_Ｌは同一であるため、判定フラグＦＬＡＧの値に関わらず、スイッチ２４１は、一定のパルス幅の制御信号ＯＦＧを出力する。この制御信号ＯＦＧにより、画素回路２４０の露光が開始される。
【０１３６】
そして、タイミングｔ２８において転送トランジスタ４２０は、中間電位転送を行う。タイミングｔ２９からタイミングｔ３０までの間に、リセットレベルと信号レベルとの差を示す計数値ＣＮＴが計数される。その計数値ＣＮＴが設定値以下（すなわち、受光量が所定値Ｔｈ以下）であったため、ローレベルの判定フラグＦＬＡＧが生成される。
【０１３７】
図３１は、第５の実施の形態における受光量が少ない画素回路２４０の完全転送までの動作の一例を示すタイミングチャートである。中間電位転送直後のタイミングｔ４０において、ローレベルの判定フラグＦＬＡＧに従って、スイッチ２４１は、制御信号ＯＦＧ_Ｌの方を選択してＯＦＧとして出力する。これにより、中間電位転送時の上済み信号がリセットされずに電荷の蓄積が継続され、露光期間ｔ_ＬＥの長時間に亘って露光が行われる。そして、タイミングｔ４６においてハイレベルＬ２の転送信号ＴＲＧが供給され、転送トランジスタ４２０は、完全転送を行う。これにより、長時間露光が終了する。
【０１３８】
このように、本技術の第５の実施の形態によれば、画素回路２４０が撮像周期内で受光量を測定して、その測定結果により露光期間を選択するため、前の撮像周期と比較して受光量が大きく変化した場合でも、変化後の適切な露光期間により露光することができる。これにより、画像データの画質を向上させることができる。
【０１３９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１４１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１４２】
なお、本技術は以下のような構成もとることができる。
（１）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光してデジタル信号を生成するデジタル信号生成部と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理部と
を具備する撮像装置。
（２）前記複数の領域のそれぞれは、１つの画素からなる
前記（１）記載の撮像装置。
（３）前記複数の領域のそれぞれは、複数の画素からなる
前記（１）記載の撮像装置。
（４）前記測定部は、前記受光量が所定値より高いか否かを判定して当該判定結果を示す判定フラグを前記測定結果として生成して保持する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）所定のクロック信号に同期して計数値を計数する計数部と、
前記受光量に応じた電荷を生成するフォトダイオードと、
所定のランプ信号と前記電荷の量に応じた電圧とを比較して当該比較結果をコンパレータ出力信号として出力するコンパレータと
をさらに具備し、
前記デジタル信号生成部は、前記コンパレータ出力信号が反転した場合には前記計数値を前記デジタル信号として保持し、
前記測定部は、
前記計数値と前記所定値に応じた所定の設定値とを比較して当該比較結果をラッチ入力信号として出力する判定フラグ生成部と、
前記コンパレータ出力信号が反転した場合には前記ラッチ入力信号の値を前記判定フラグとして保持する判定フラグ保持部と
を備える前記（４）記載の撮像装置。
（６）前記計数部は、前記計数値の増分処理および減分処理の一方を行った後に他方を行う
前記（５）記載の撮像装置。
（７）前記画像処理部は、前記複数の領域のうち前記受光量が前記所定値より高い領域の前記デジタル信号を増幅する処理と前記複数の領域のうち前記受光量が前記所定値を超えない領域の前記デジタル信号を減衰する処理との少なくとも一方を実行する
前記（５）記載の撮像装置。
（８）前記測定部は、所定の撮像周期が経過するたびに前記測定結果を保持し、
前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期の前に保持された測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記選択部は、前記所定の撮像周期のそれぞれにおいて当該撮像周期内に生成された前記測定結果に基づいて前記複数の露光期間のいずれかを選択する
前記（１）から（７）のいずれかに記載の撮像装置。
（１０）前記測定部、前記選択部および前記デジタル信号生成部は固体撮像素子に設けられ、
前記固体撮像素子内の回路は、積層された複数の半導体基板に分散して配置される
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定部と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択部と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成部と
を具備する固体撮像素子。
（１２）複数の領域のそれぞれにおいて当該領域の受光量を測定して測定結果を生成する測定手順と、
前記複数の領域のそれぞれにおいて前記測定結果に基づいて互いに異なる複数の露光期間のいずれかを選択する選択手順と、
前記複数の領域のそれぞれにおいて前記選択された露光期間に亘って露光して露光量を示すデジタル信号を生成するデジタル信号生成手順と、
前記複数の領域のそれぞれについて前記生成されたデジタル信号の値を前記測定結果に基づいて調整する画像処理手順と
を具備する撮像装置の制御方法。
【符号の説明】
【０１４３】
１００  撮像装置
１１０  撮像レンズ
１２０  画像処理部
１２１  相関二重サンプリング回路
１２２、２４１、３６１、３８１  スイッチ
１２３  乗算器
１２４  後段処理部
１３０  撮像制御部
１４０  記録部
２００  固体撮像素子
２０１  上側半導体基板
２０２  下側半導体基板
２１０  インターフェース
２２０  ドライバ
２３０  画素アレイ部
２４０、３６０、３８０、３９０  画素回路
２４２、３６２、３８２  ＰＤリセットトランジスタ
２４３、３６３、３８３  フォトダイオード
２４４、３６４、３８４、４２０  転送トランジスタ
２４５、３６５、３８５  コンパレータ
２４６、３６６、３８６  ＦＤリセットトランジスタ
２４７、３６７  判定フラグ保持部
２４８  デジタル信号保持部
２５０  ランプ信号生成部
２６０  計数部
２６１  アップカウンタ
２６２、３０１、３６８  判定フラグ生成部
２７０  タイミング生成部
３０２、３７０、３８９  アップダウンカウンタ
３５０  受光領域
３６９、３８８  加算器
４１０  ラッチ回路
【図１】
2017208638.tif 000003
【図２】
2017208638.tif 000004
【図３】
2017208638.tif 000005
【図４】
2017208638.tif 000006
【図５】
2017208638.tif 000007
【図６】
2017208638.tif 000008
【図７】
2017208638.tif 000009
【図８】
2017208638.tif 000010
【図９】
2017208638.tif 000011
【図１０】
2017208638.tif 000012
【図１１】
2017208638.tif 000013
【図１２】
2017208638.tif 000014
【図１３】
2017208638.tif 000015
【図１４】
2017208638.tif 000016
【図１５】
2017208638.tif 000017
【図１６】
2017208638.tif 000018
【図１７】
2017208638.tif 000019
【図１８】
2017208638.tif 000020
【図１９】
2017208638.tif 000021
【図２０】
2017208638.tif 000022
【図２１】
2017208638.tif 000023
【図２２】
2017208638.tif 000024
【図２３】
2017208638.tif 000025
【図２４】
2017208638.tif 000026
【図２５】
2017208638.tif 000027
【図２６】
2017208638.tif 000028
【図２７】
2017208638.tif 000029
【図２８】
2017208638.tif 000030
【図２９】
2017208638.tif 000031
【図３０】
2017208638.tif 000032
【図３１】
2017208638.tif 000033
【国際調査報告】
2017208638.tif 000034
2017208638.tif 000035