(57)【要約】本開示の固体撮像素子は、光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、を備える。
2017077775.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子。
【請求項２】
タイミング制御部は、複数回の露光のうちの少なくとも２つの露光について、先に露光を開始した露光画像の最終読出し行の単位画素の露光終了タイミングよりも、後から露光を開始した露光画像の最初に読み出される行の単位画素の露光終了タイミングが早くなるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定する、
請求項１に記載の固体撮像素子。
【請求項３】
タイミング制御部は、露光終了が時間的に重複する複数の露光画像について、行毎に時分割形式で各々の画像データを出力する制御を行う、
請求項２に記載の固体撮像素子。
【請求項４】
複数の画素グループの各露光画像の画像データに基づいて広いダイナミックレンジの画像を生成する画像処理部を備える、
請求項１に記載の固体撮像素子。
【請求項５】
画像処理部は、１垂直同期期間内での露光順序が最終でない露光画像については行毎に画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最終の露光画像の行毎の画素値データの出力タイミングに応じて、記憶部から同一行の画素値データを読み出し、複数の露光画像の行を揃えて出力させる行シーケンス変換部を有する、
請求項４に記載の固体撮像素子。
【請求項６】
画像処理部は、行シーケンス変換部から行を揃えて出力される複数の露光画素の画素値データを、複数の露光画素間で合成して出力する第１画像合成部を有する、
請求項５に記載の固体撮像素子。
【請求項７】
画像処理部は、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持し、１垂直同期期間内での露光順序が最終の露光画像について画素値データの合成が終了したら、最終の合成結果を出力する第２画像合成部を有する、
請求項４に記載の固体撮像素子。
【請求項８】
第２画像合成部は、それぞれ画素グループにおいて、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する、
請求項７に記載の固体撮像素子。
【請求項９】
画像処理部は、第２画像合成部において１垂直同期期間内で露光順序が最終の露光画像を合成して得られる画素グループ毎の最終の合成結果を参照して画素グループ間の合成値を算出する画素グループ間合成部を有する、
請求項７に記載の固体撮像素子。
【請求項１０】
画像処理部は、全ての画素グループにおける露光画像の中で、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持し、１垂直同期期間内での露光順序が最終の露光画像については画素値データの合成が終了したら、最終の合成結果を出力する第３画像合成部を有する、
請求項７に記載の固体撮像素子。
【請求項１１】
画像処理部は、各々の画素グループ毎に読み出される画素値に基づいて全画素位置に画素値を補間する画素値補間部を有し、
第３画像合成部は、画素値補間部の出力に基づいて、全ての画素グループの全ての露光画像の中で１垂直同期期間内での露光順序が最初の露光画像について画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像について、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する、
請求項１０に記載の固体撮像素子。
【請求項１２】
画像処理部は、
各画素位置において被写体が動いているか否かを判定する動被写体判定部と、
動被写体判定部の判定結果に基づいて、合成画素値を算出する際の合成比率を決定する合成比率決定部とを有する、
請求項７に記載の固体撮像素子。
【請求項１３】
動被写体判定部は、露光画像の画素値と記憶部上の画素値とを参照することによって、各画素位置において被写体が動いているか否かを推定する、
請求項１２に記載の固体撮像素子。
【請求項１４】
画像処理部は、合成比率決定部が決定した合成比率の履歴を格納する合成比率履歴格納部を有し、
合成比率決定部は、合成比率履歴格納部に格納されている合成比率の履歴を参照して合成比率を決定する、
請求項１２に記載の固体撮像素子。
【請求項１５】
合成比率決定部は、各露光画像の露光時間を参照して合成比率を決定する、
請求項１２に記載の固体撮像素子。
【請求項１６】
合成比率決定部は、各露光画像の画素値レベルを参照して合成比率を決定する、
請求項１２に記載の固体撮像素子。
【請求項１７】
画素アレイ部の各単位画素から画素列毎に出力されるアナログの画素信号をデジタル化するＡ／Ｄ変換器を備える、
請求項１に記載の固体撮像素子。
【請求項１８】
光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子を有する撮像装置。
【請求項１９】
タイミング制御部は、発光物体を捉える場合において、当該発光物体の明滅周期を勘案して、複数回の露光による複数枚の露光画像の各々の露光開始時刻や露光時間長を設定する、
請求項１８に記載の撮像装置。
【請求項２０】
光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子を有する電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、固体撮像素子、撮像装置、及び、電子機器に関する。
【背景技術】
【０００２】
固体撮像素子として、例えば、ＣＣＤイメージセンサ（ＣＣＤ（Charge Coupled Device）型固体撮像素子）や、ＣＭＯＳイメージセンサ（ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型固体撮像素子）が知られている。固体撮像素子は、入射光量に応じた電荷を蓄積し、その蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、電荷蓄積量には上限レベルがあるため、ある露光時間で上限レベル以上に光量を受けると、蓄積電荷量は飽和レベルに達する。その結果、飽和レベル以上の階調を表現することができず、所謂白飛びの状態となる。【０００３】
蓄積電荷量が飽和しないように短時間でシャッタを切ることによって白飛びを回避することが可能である。しかし、明るい領域と暗い領域とが混在する広いダイナミックレンジ（High Dynamic Range：ＨＤＲ）のシーンを撮影した場合、暗い領域について十分に電荷が蓄積できないために、Ｓ／Ｎ（ＳＮ比）が悪く画質が劣化する、所謂黒つぶれの状態となる。【０００４】
広いダイナミックレンジのシーンを撮影するための技術として、露光時間を変えた複数枚の画像を連続的に撮影し、それらの画像を合成することによってダイナミックレンジを拡張する手法が知られている。しかし、この手法の場合、撮影タイミングの離れた複数枚の画像を合成するため、撮影タイミングの間に被写体が動くと多重像を作りやすいという問題や、撮影画像の枚数が多くなるほど合成画像を得るフレームレートが下がるという問題であった。【０００５】
これに対し、複数枚の画像を連続的に撮影するのではなく、画素毎に露光時間が異なるように制御して撮像することで、１回の撮像で複数回の露光の下での複数枚の画像を取得し、それらを合成することで広いダイナミックレンジの画像を生成する技術がある（例えば、特許文献１，２参照）。この技術によれば、ダイナミックレンジの広いシーンを飽和させず（白飛びを起こさず）、黒つぶれも起こさずに撮影することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１１８７８９号公報
【特許文献２】国際公開第２００６／０４９０９８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１，２に記載の従来技術にあっては、実現できる露光枚数は空間解像度の分割数によって決まることになるため、複数回の露光によって広いダイナミックレンジのシーンを撮像する場合には、空間解像度が低下しやすいという問題があった。【０００８】
そこで、本開示は、空間解像度を低下させることなく、広いダイナミックレンジのシーンを撮像することが可能な固体撮像素子、当該固体撮像素子を有する撮像装置、及び、当該撮像装置を有する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するための本開示の固体撮像素子は、
光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子である。【００１０】
上記の目的を達成するための本開示の撮像装置は、上記の構成の固体撮像素子を有する撮像装置である。また、上記の目的を達成するための本開示の電子機器は、上記の構成の固体撮像素子を有する電子機器である。上記の構成の固体撮像素子、撮像装置、あるいは、電子機器において、１垂直同期期間内に複数回の露光を行うことにより、広いダイナミックレンジのシーンを撮像する際に、複数回の露光による複数枚の露光画像間の露光時間比を近接して設定できる。
【発明の効果】
【００１１】
本開示によれば、１垂直同期期間内に複数回の露光を行うことによって露光画像間の露光時間比を近接して設定できるため、空間解像度を低下させることなく、広いダイナミックレンジのシーンを撮像することが可能となる。【００１２】
尚、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。また、本明細書に記載された効果はあくまで例示であって、これに限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】図１は、本開示の固体撮像素子の一例であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。
【図２】図２は、単位画素の回路構成の一例を示す回路図である。
【図３】図３Ａは、画素グループ分けの第１例を示す図であり、図３Ｂは、画素グループ分けの第２例を示す図である。
【図４】図４は、タイミング制御部による制御の下に実行される、本実施形態に係る露光シーケンスの一例（露光シーケンス１）を示す図である。
【図５】図５は、本実施形態の場合の画素グループＡの画素値データの読出しシーケンスを示す図である。
【図６】図６は、１つの画素列に対して複数個のＡ／Ｄ変換器を配置し、これらのＡ／Ｄ変換器を並列使用するＣＭＯＳイメージセンサの構成の概略図である。
【図７】図７は、本実施形態に係る露光シーケンスのうち、１垂直同期期間（１表示フレーム）に対応する部分を示した図である。
【図８】図８は、画素アレイ部内のある２画素列と、それに対応する列信号線及びＡ／Ｄ変換器を抜き出して描画した図である。
【図９】図９は、読出しタイミングｔ＝０における列信号線とＡ／Ｄ変換器との接続の様子を示す図である。
【図１０】図１０は、読出しタイミングｔ＝１における列信号線とＡ／Ｄ変換器との接続の様子を示す図である。
【図１１】図１１は、読出しタイミングｔ＝２における列信号線とＡ／Ｄ変換器との接続の様子を示す図である。
【図１２】図１２は、読出しタイミングｔ＝０において、露光画像として読み出される行番号を示す図である。
【図１３】図１３は、読出しタイミングｔ＝１において、露光画像として読み出される行番号を示す図である。
【図１４】図１４は、読出しタイミングｔ＝２において、露光画像として読み出される行番号を示す図である。
【図１５】図１５Ａは、積層構造のＣＭＯＳイメージセンサに適用した場合の単位画素とＡ／Ｄ変換器との対応関係を示す図であり、図１５Ｂは、１つの画素群内の各画素と、対応するＡ／Ｄ変換器との電気的な接続を示す図である。
【図１６】図１６は、本開示の撮像装置の構成例を示すブロック図である。
【図１７】図１７は、実施例１に係る画像処理部の構成例を示すブロック図である。
【図１８】図１８は、実施例１に係る画像処理部によって実行される画像処理の流れを示す図である。
【図１９】図１９は、画素グループＡからのＨＤＲ画像データと、画素グループＢからの出力データとを合成する画像処理の流れを示す図である。
【図２０】図２０は、本実施形態に係る露光シーケンスの他の例（露光シーケンス２）を示す図である。
【図２１】図２１は、実施例２に係る画像処理部の構成例を示すブロック図である。
【図２２】図２２は、実施例２に係る画像処理部において実行される、画素位置毎の動被写体の推定結果に応じて２つの画像の合成比率を決定し、２つの画像を合成する処理の流れの一例を示すフローチャートである。
【図２３】図２３は、実施例３に係る画像処理部の構成例を示すブロック図である。
【図２４】図２４は、実施例４の場合の露光シーケンスを示す図である。
【図２５】図２５は、本開示の電子機器の構成の概略を示すシステム構成図である。
【発明を実施するための形態】
【００１４】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の固体撮像素子、撮像装置、及び、電子機器、全般に関する説明
２．本開示の固体撮像素子（ＣＭＯＳイメージセンサの例）
２−１．システム構成
２−２．単位画素の回路構成
２−３．単位画素のグループ分け
２−４．１垂直同期期間内での複数回露光
２−５．露光シーケンスの例
２−６．１つの画素列に対して複数個のＡ／Ｄ変換器を配置する例
２−７．変形例
３．本開示の撮像装置
３−１．システム構成
３−２．画像処理部の構成
３−２−１．実施例１（同時化処理の例）
３−２−２．実施例２（画素グループ毎の逐次ＨＤＲ合成の例）
３−２−３．実施例３（画素グループ間での逐次ＨＤＲ合成の例）
３−２−４．実施例４（フリッカ現象によるブラックアウト対策の例）
４．本開示の電子機器
【００１５】
＜本開示の固体撮像素子、撮像装置、及び、電子機器、全般に関する説明＞
本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、タイミング制御部について、複数回の露光のうちの少なくとも２つの露光について、先に露光を開始した露光画像の最終読出し行の単位画素の露光終了タイミングよりも、後から露光を開始した露光画像の最初に読み出される行の単位画素の露光終了タイミングが早くなるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定する構成とすることができる。
【００１６】
上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、タイミング制御部について、露光終了が時間的に重複する複数の露光画像について、行毎に時分割形式で各々の画像データを出力する制御を行う構成とすることができる。また、複数の画素グループの各露光画像の画像データに基づいて広いダイナミックレンジの画像を生成する画像処理部を備える構成とすることができる。
【００１７】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部について、１垂直同期期間内での露光順序が最終でない露光画像については行毎に画素値データを記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最終の露光画像の行毎の画素値データの出力タイミングに応じて、記憶部から同一行の画素値データを読み出し、複数の露光画像の行を揃えて出力させる行シーケンス変換部を有する構成とすることができる。また、画像処理部について、行シーケンス変換部から行を揃えて出力される複数の露光画素の画素値データを、複数の露光画素間で合成して出力する第１画像合成部を有する構成とすることができる。
【００１８】
あるいは又、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部について、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最終の露光画像について画素値データの合成が終了したら、最終の合成結果を出力する第２画像合成部を有する構成とすることができる。
【００１９】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、第２画像合成部について、それぞれ画素グループにおいて、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する構成とすることができる。更に、画像処理部について、第２画像合成部において１垂直同期期間内で露光順序が最終の露光画像を合成して得られる画素グループ毎の最終の合成結果を参照して画素グループ間の合成値を算出する画素グループ間合成部を有する構成とすることができる。
【００２０】
あるいは又、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部は、全ての画素グループにおける露光画像の中で、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最終の露光画像については画素値データの合成が終了したら、最終の合成結果を出力する第３画像合成部を有する構成とすることができる。
【００２１】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部について、各々の画素グループ毎に読み出される画素値に基づいて全画素位置に画素値を補間する画素値補間部を有する構成とすることができる。このとき、第３画像合成部について、画素値補間部の出力に基づいて、全ての画素グループの全ての露光画像の中で１垂直同期期間内での露光順序が最初の露光画像について画素値データを記憶部に保持しておく構成とすることができる。更に、１垂直同期期間内での露光順序が最初以外の露光画像について、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する構成とすることができる。
【００２２】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部について、各画素位置において被写体が動いているか否かを判定する動被写体判定部と、動被写体判定部の判定結果に基づいて、合成画素値を算出する際の合成比率を決定する合成比率決定部とを有する構成とすることができる。このとき、動被写体判定部について、露光画像の画素値と記憶部上の画素値とを参照することによって、各画素位置において被写体が動いているか否かを推定する構成とすることができる。
【００２３】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画像処理部について、合成比率決定部が決定した合成比率の履歴を格納する合成比率履歴格納部を有する構成とすることができる。このとき、合成比率決定部について、合成比率履歴格納部に格納されている合成比率の履歴を参照して合成比率を決定する構成とすることができる。更に、合成比率決定部について、各露光画像の露光時間を参照して合成比率を決定する、更には、各露光画像の画素値レベルを参照して合成比率を決定する構成とすることができる。
【００２４】
更に、上述した好ましい構成を含む本開示の固体撮像素子、撮像装置、及び、電子機器にあっては、画素アレイ部の各単位画素から画素列毎に出力されるアナログの画素信号をデジタル化するＡ／Ｄ変換器を備える構成とすることができる。
【００２５】
また、上述した好ましい構成を含む本開示の撮像装置にあっては、タイミング制御部について、発光物体を捉える場合において、当該発光物体の明滅周期を勘案して、複数回の露光による複数枚の露光画像の各々の露光開始時刻や露光時間長を設定する構成とすることができる。
【００２６】
＜本開示の固体撮像素子＞
先ず、本開示の固体撮像素子の構成の概略について説明する。ここでは、本開示の固体撮像素子としてＣＭＯＳイメージセンサを例に挙げて説明するものとする。
【００２７】
［システム構成］
図１は、本開示のＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。図１に示すように、本ＣＭＯＳイメージセンサ１０は、画素アレイ部１１と、その周辺の駆動系及び信号処理系を有する。本例では、周辺の駆動系や信号処理系として、例えば、行走査部１２、カラム処理部１３、列走査部１４、水平出力線１５、及び、タイミング制御部１６が設けられている。これらの駆動系及び信号処理系は、画素アレイ部１１と同一の半導体基板（チップ）３０上に集積されている。
【００２８】
上記のシステム構成において、タイミング制御部１６は、例えば外部から入力される垂直同期信号ＶＤ、水平同期信号ＨＤ、マスタークロックＭＣＫ等に基づいて、行走査部１２、カラム処理部１３、及び、列走査部１４などの動作の基準となるクロック信号や制御信号等を生成する。タイミング制御部１６で生成されたクロック信号や制御信号等は、行走査部１２、カラム処理部１３、及び、列走査部１４等に対してそれらの駆動信号として与えられる。
【００２９】
画素アレイ部１１は、受光した光量に応じた光電荷を生成し、かつ、蓄積する光電変換素子を有する単位画素（以下、単に「画素」と記述する場合もある）２０が行方向及び列方向に、即ち、行列状（マトリクス状）に２次元配置された構成となっている。ここで、行方向とは画素行における画素の配列方向を言い、列方向とは画素列における画素の配列方向を言う。
【００３０】
この画素アレイ部１１において、ｍ行ｎ列の画素配列に対して、画素行毎に行制御線３１（３１_1〜３１_m）が行方向に沿って配線され、画素列毎に列信号線３２（３２_1〜３２_n）が列方向に沿って配線されている。行制御線３１は、単位画素２０から信号を読み出す際の制御を行うための制御信号を伝送する。図１では、行制御線３１について１本の配線として図示しているが、１本に限られるものではない。行制御線３１_1〜３１_mの各一端は、行走査部１２の各行に対応した各出力端に接続されている。
【００３１】
行走査部１２は、シフトレジスタやアドレスデコーダなどによって構成されており、画素アレイ部１１の各画素２０を全画素同時あるいは行単位等で駆動する。この行走査部１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。読出し走査系は、単位画素２０から信号を読み出すために、画素アレイ部１１の単位画素２０を行単位で順に選択走査する。単位画素２０から読み出される信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
【００３２】
この掃出し走査系による掃出し走査により、読出し行の単位画素２０の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系によって不要電荷を掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
【００３３】
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による信号読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による信号読出しタイミングまでの期間が、単位画素２０における光電荷の露光期間となる。この露光期間において、直前の読出し動作による信号読出しタイミングまたは電子シャッタ動作による掃出しタイミングが露光開始タイミングとなり、今回の読出し動作による信号読出しタイミングが露光終了タイミングとなる。
【００３４】
カラム処理部１３は、例えば、画素アレイ部１１の画素列毎、即ち、列信号線３２（３２_1〜３２_n）毎に１対１の対応関係をもって設けられたＡ／Ｄ（アナログ／デジタル）変換器４０（４０_1〜４０_n）を有する信号処理部である。Ａ／Ｄ変換器４０（４０_1〜４０_n）は、画素アレイ部１１の各単位画素２０から画素列毎に出力されるアナログの画素信号をデジタル化する。
【００３５】
Ａ／Ｄ変換器４０として、例えば、比較器及びカウンタから成る構成のものを用いることができる。比較器は、時間が経過するにつれて電圧値が階段状に変化する、所謂、スロープ状波形の参照信号を基準入力とし、画素アレイ部１１の各単位画素２０から画素列単位で出力されるアナログの画素信号を比較入力とし、両者を比較する。カウンタは、所定のクロックに同期して比較器での比較動作の開始から比較動作の終了までの期間に亘ってカウント動作を行うことで、アナログの画素信号をデジタルデータに変換する。
【００３６】
ここで、上記の構成のＡ／Ｄ変換器４０において、カウンタとしてアップ／ダウンカウンタを用いることで、単位画素２０のリセット動作時のノイズを除去する処理、具体的には、相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）によるノイズ除去処理を行うことができる。単位画素２０からは、例えば、リセット成分及び信号成分の順に時系列で読み出される。リセット成分は、単位画素２０をリセットしたときの画素信号に相当する。信号成分は、単位画素２０で光電変換して得た画素信号に相当する。
【００３７】
リセット成分を先に読み出す方式においては、リセットしたときに発生するランダムノイズは電荷検出部２６（図２参照）で保持されているため、信号電荷を加えて読み出された信号成分には、リセット成分と同じノイズ量が保持されている。そこで、アップ／ダウンカウンタにおいて、例えば、リセット成分に対してダウンカウントを行い、信号成分に対してアップカウントを行うことで、信号成分からリセット成分を減算するＣＤＳ処理を行うことができる。
【００３８】
列走査部１４は、シフトレジスタやアドレスデコーダなどによって構成されており、カラム処理部１３におけるＡ／Ｄ変換器４０_1〜４０_nの列アドレスや列走査の制御を行う。この列走査部１４による制御の下に、Ａ／Ｄ変換器４０_1〜４０_nの各々でＡ／Ｄ変換されたデジタルデータは、順に水平出力線１５に読み出された後、出力端子３３からチップ（半導体基板）３０外へ撮像データとして出力される。
【００３９】
［単位画素の回路構成］
図２は、単位画素２０の回路構成の一例を示す回路図である。図２に示すように、本例に係る単位画素２０は、光電変換素子として例えばフォトダイオード（ＰＤ）２１を有している。単位画素２０は、フォトダイオード２１に加えて、例えば、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５を有する構成となっている。
【００４０】
尚、ここでは、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５の４つのトランジスタとして、例えばＮ型ＭＯＳＦＥＴを用いている。但し、ここで例示した４つのトランジスタ２２〜２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
【００４１】
この単位画素２０に対して、先述した行制御線３１（３１_1〜３１_m）として、複数の制御線３１１，３１２，３１３が同一画素行の各画素に対して共通に配線されている。複数の制御線３１１，３１２，３１３は、行走査部１２の各画素行に対応した出力端に画素行単位で接続されている。行走査部１２は、複数の制御線３１１，３１２，３１３に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
【００４２】
フォトダイオード２１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。増幅トランジスタ２４のゲート電極と電気的に繋がった領域は、電荷を電圧に変換する電荷検出部２６である。以下、電荷検出部２６をＦＤ（フローティング・ディフュージョン／浮遊拡散領域／不純物拡散領域）部２６と呼ぶ。
【００４３】
転送トランジスタ２２は、フォトダイオード２１のカソード電極とＦＤ部２６との間に接続されている。転送トランジスタ２２のゲート電極には、高レベル（例えば、Ｖddレベル）がアクティブ状態となる転送信号ＴＲＧが行走査部１２から制御線３１１を通して与えられる。転送トランジスタ２２は、転送信号ＴＲＧに応答して導通状態となることで、フォトダイオード２１で光電変換され、蓄積された光電荷をＦＤ部２６に転送する。
【００４４】
リセットトランジスタ２３は、ドレイン電極が電圧Ｖddの電源線３４に、ソース電極がＦＤ部２６にそれぞれ接続されている。リセットトランジスタ２３のゲート電極には、高レベルがアクティブ状態となるリセット信号ＲＳＴが行走査部１２から制御線３１２を通して与えられる。リセットトランジスタ２３は、リセット信号ＲＳＴに応答して導通状態となり、ＦＤ部２６の電荷を電源線３４に捨てることによって当該ＦＤ部２６をリセットする。
【００４５】
増幅トランジスタ２４は、ゲート電極がＦＤ部２６に、ドレイン電極が電源線３４にそれぞれ接続されている。この増幅トランジスタ２４は、フォトダイオード２１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となる。すなわち、増幅トランジスタ２４は、ソース電極が選択トランジスタ２５を介して列信号線３２に接続されることで、当該列信号線３２の一端に接続される電流源３５とソースフォロワを構成する。
【００４６】
選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が列信号線３２にそれぞれ接続されている。選択トランジスタ２５のゲート電極には、高レベルがアクティブ状態となる選択信号ＳＥＬが行走査部１２から制御線３１３を通して与えられる。選択トランジスタ２５は、選択信号ＳＥＬに応答して導通状態となることで、単位画素２０を選択状態として増幅トランジスタ２４から出力される信号を列信号線３２に伝達する。
【００４７】
尚、選択トランジスタ２５については、電源線３４と増幅トランジスタ２４のドレイン電極との間に接続した回路構成を採ることも可能である。また、本例では、単位画素２０の画素回路として、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２５を省略し、増幅トランジスタ２４に選択トランジスタ２５の機能を持たせた３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした構成とすることもできる。
【００４８】
［単位画素のグループ分け］
上記の構成の単位画素２０が行列状に配置されて成るＣＭＯＳイメージセンサ１０において、本実施形態では、ダイナミックレンジの広いシーンを飽和させず（白飛びを起こさず）、黒つぶれも起こさずに撮影することを可能とするために、単位画素２０を複数の画素グループにグループ分けする。ここでは、一例として、画素アレイ部１１の各画素２０を２つ（２種類）の画素グループＡ，Ｂにグループ分けする。画素グループの設定方法は任意である。画素グループ分けの第１例を図３Ａに示し、画素グループ分けの第２例を図３Ｂに示す。図３Ａ、図３Ｂにおいて、各画素２０内の文字（Ａ，Ｂ）が同じ画素同士が同一の画素グループを形成するものとする。
【００４９】
図３Ａに示す第１例の画素グループ分けでは、画素グループＡと画素グループＢとが２行毎に交互に配置されたグループ分けとなっている。図３Ｂに示す第２例の画素グループ分けでは、Ｒ（赤色）Ｇ（緑色）Ｂ（青色）ベイヤー配列に対応して、上下左右に隣接する４つの画素を単位とし、画素グループＡと画素グループＢにＲＧＢを等方的に振り分けたグループ分けとなっている。すなわち、第１例の画素グループ分け及び第２例の画素グループ分けでは、画素グループＡの画素数と画素グループＢの画素数とが均等になるようにグループ分けされている。
【００５０】
尚、同一画素行に画素グループＡと画素グループＢとが混在する第２例の画素グループ分けの場合には、単位画素２０から信号を読み出す際の制御を行うための制御信号を伝送する行制御線３１が、画素グループＡと画素グループＢに対応して２系統設けられることになる。
【００５１】
［１垂直同期期間内での複数回露光］
上述したように、画素アレイ部１１の各画素２０が複数の画素グループ（本例では、２つの画素グループＡ，Ｂ）にグループ分けされたＣＭＯＳイメージセンサ１０において、本実施形態では、タイミング制御部１６（図１参照）が次のような制御を行うことを特徴とする。すなわち、タイミング制御部１６は、複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定する。
【００５２】
１垂直同期期間は１表示フレーム期間である。また、図２に示す画素回路において、露光開始タイミングは、フォトダイオード２１の光電荷をＦＤ部２６を通して捨てて（リセット）、新たに露光を開始するタイミングである。露光終了タイミングは、転送トランジスタ２２が導通状態となることで露光を終了し、フォトダイオード２１で光電変換された光電荷をＦＤ部２６に転送し、増幅トランジスタ２４を通して列信号線３２に画素信号として読み出すタイミング（信号読出しタイミング）である。
【００５３】
［露光シーケンスの例］
ここで、タイミング制御部１６による制御の下に実行される、本実施形態に係る露光シーケンスの一例（以下、「露光シーケンス１」と記述する）について図４を用いて説明する。図４は、タイミング制御部１６による制御の下に実行される、本実施形態に係る露光シーケンスの一例（露光シーケンス１）を示す図である。
【００５４】
露光シーケンス１では、タイミング制御部１６による制御の下に、画素グループＡについて１垂直同期期間内に３回の露光を行い、画素グループＢについて１垂直同期期間内に１回の露光を行う。画素グループＡにおける３回の露光を、露光開始タイミングが早い方から露光Ａ_a、露光Ａ_b、露光Ａ_cとし、画素グループＢにおける１回の露光を露光Ｂとする。
【００５５】
露光Ａ_a〜露光Ａ_cはそれぞれローリングシャッタ方式による露光であり、ライン番号（行番号）の小さい方から順次、露光開始（ＲＥＳＥＴ）と露光終了・信号読出し（ＲＥＡＤ）とを行う。このとき、露光Ａ_aが最終ライン（行）まで読み終わる前に、露光Ａ_b及び露光Ａ_cの最初の行の露光終了・信号読出しを始める。つまり、３つの露光Ａ_a、露光Ａ_b、露光Ａ_cは、それぞれの露光終了タイミングが時間的に重複する程度に近接して設定されている。
【００５６】
重複した期間の複数の露光画像の読出しに際しては、各々の露光時間の露光画像の画素値データを時分割形式で出力する。図５に、露光シーケンス１の場合の画素グループＡの画素値データの読出しシーケンスを示す。図５中、ａ0、ａ1、ａ2、・・・、ｂ0、ｂ1、ｂ2、・・・、ｃ0、ｃ1、ｃ2、・・・は、露光Ａ_a、露光Ａ_b、露光Ａ_cの各露光画像から読み出される各行の画素値データを表しており、添字の数字はライン番号に対応している。まず、露光Ａ_aの露光画像の各行ａ0、ａ1、ａ2、・・・の画素値データが順次読み出される。露光Ａ_bの露光画像の最初の読出し行ｂ0の画素値データは、露光Ａ_aの露光画像の読出し行ａ3に後続する形で時分割方式により読み出される。露光Ａ_cの露光画像の画素値データの読出しについても、露光Ａ_a、露光Ａ_bの各露光画像の画素値データの読出しと同様に時分割方式で行う。
【００５７】
上述した露光シーケンス１により、画素グループＡに関しては近接した時間間隔で３回の露光を実現し、画素グループＢの長時間露光と合わせて４種類の露光を行うことが可能となる。
【００５８】
以上説明したように、本開示のＣＭＯＳイメージセンサ１０によれば、グループ分けされた複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光を行い、空間的に露光シーケンスを並列に設定することで、各露光画像間の露光時間比を近接して設定できる。これにより、複数の露光画像間の露光時間比を近接して設定できるため、空間解像度を低下させることなく、広いダイナミックレンジ（以下、「広ダイナミックレンジ」と記述する）のシーンを撮像することが可能となる。そして、広ダイナミックレンジのシーンを飽和させず（白飛びを起こさず）、黒つぶれも起こさずに撮影することが可能となる。
【００５９】
また、画素グループＡに属する画素数は全画素数の１／２であるため、露光シーケンス１の実現に必要となるＡ／Ｄ変換器４０の個数について、全画素を１垂直同期期間内に１回読み出す通常の読出し方式と比べて２倍多く設ければよいことになる。すなわち、画素グループＡでは、空間的に全体の１／２の画素で３回の露光を行うため１／２の画素が３倍（＝１／２×３）駆動となり、画素グループＢでは、空間的に全体の１／２の画素で１回の露光を行うため１／２の画素が１倍（＝１／２×１）駆動となる。従って、露光シーケンス１の場合、全画素を１垂直同期期間内に１回読み出す通常の読出し方式と比べて２倍（＝１／２×３＋１／２×１）の数のＡ／Ｄ変換器４０が必要となる。
【００６０】
また、Ａ／Ｄ変換器４０の個数は全画素を１垂直同期期間内に１回読み出す通常の読出し方式と同数とし、Ａ／Ｄ変換に際してはこれを通常よりも高速で駆動させることで、１垂直同期期間内で複数の露光画像を読み出すことも可能である。つまり、画素グループＡで３回、画素グループＢで１回の露光を行うため、通常の読出し時と比べて２倍（＝１／２×３＋１／２×１）の速度でＡ／Ｄ変換器４０を駆動させることで、所望の４種類の露光を行うことが可能である。
【００６１】
因みに、全画素一律で１垂直同期期間内に４回の露光を行う場合には、全画素に対してＡ／Ｄ変換を行うことになるため、４倍の数のＡ／Ｄ変換器４０、もしくは４倍の速度でのＡ／Ｄ変換器４０の駆動が必要である。このことを考えると、露光シーケンス１によれば、システムの実現コストを低く抑えつつ、４枚の露光画像の取得を実現できることが分かる。また、本開示の技術によれば、広ダイナミックレンジのシーンの撮影に当たり、Ａ／Ｄ変換器４０の個数の増加を最小限に抑えることができるため、ＣＭＯＳイメージセンサ１０全体でＡ／Ｄ変換器４０に係わる消費電力を抑制できる。
【００６２】
上述したように、時間的に重複した期間の複数の露光画像の読出しを時分割で行い（時分割読出し）、Ａ／Ｄ変換器４０の個数については通常読出し時よりも多く設けて、これらのＡ／Ｄ変換器４０を分散して使用することで、１垂直同期期間内で複数の露光画像を読み出すことができる。尚、ここでは、１つの画素列に対して複数個のＡ／Ｄ変換器４０を配置するとしたが、これに限られるものではない。すなわち、他の例として、時間的に重複した期間の複数の露光画像の読出しを時分割で行い、Ａ／Ｄ変換器４０の個数については通常読出し時と同数とし、これらのＡ／Ｄ変換器４０を高速に駆動させるようにしても、１垂直同期期間内で複数の露光画像を読み出すことができる。
【００６３】
［１つの画素列に対して複数個のＡ／Ｄ変換器を配置する例］
ここで、１つの画素列に対して複数個のＡ／Ｄ変換器４０を配置し、これらのＡ／Ｄ変換器４０を並列使用することにより、複数の画素グループにおいて複数の露光を実現するＣＭＯＳイメージセンサ１０について説明する。ここでは、上述したように、画素アレイ部１１の単位画素２０について２種類の画素グループＡ，Ｂを設定し、一方の画素グループＡについては１垂直同期期間内に３回の露光を行う場合を例に挙げて説明する。また、画素グループ分けとしては、図３Ａに示す第１例とする。
【００６４】
図６は、１つの画素列に対して複数個のＡ／Ｄ変換器４０を配置し、これらのＡ／Ｄ変換器４０を並列使用するＣＭＯＳイメージセンサ１０の構成の概略図である。ここでは、Ａ／Ｄ変換器４０を含むカラム処理部１３が画素アレイ部１１の上下（１３Ａ，１３Ｂ）に配置された構成を例示している。２画素幅で形成される画素列毎に列信号線３２が４本配線され、Ａ／Ｄ変換器４０が画素アレイ部１１の上下に２個ずつ、計４個配置されている。
【００６５】
Ａ／Ｄ変換器４０は、比較器（コンパレータ）４１とカウンタ４２とを有する。比較器４１は、スロープ状波形の参照信号を基準入力とし、画素アレイ部１１の各単位画素２０から出力されるアナログの画素信号を比較入力とし、両者を比較する。比較器４１の基準入力となる参照信号は、Ｄ／Ａ変換器等によって構成される参照信号生成部５０で生成される。カウンタ４２は、所定のクロックに同期して比較器４１での比較動作の開始から比較動作の終了までの期間に亘ってカウント動作を行うことで、アナログの画素信号をデジタルデータ（画素値データ）に変換する。
【００６６】
尚、図６では図示を省略しているが、２画素列に対応して設けられた４本の列信号線３２と、画素アレイ部１１の上下に２個ずつ設けられた計４個のＡ／Ｄ変換器４０との接続は、別途設けられる接続スイッチ６０（図８参照）によって実現される。この接続スイッチ６０は、レジスタ設定値に基づき、４本の列信号線３２と４個のＡ／Ｄ変換器４０との接続関係を任意に変えることができるものとする。また、画素アレイ部１１の各画素２０は、４行×２列単位で列信号線３２への接続を共有するものとする。
【００６７】
図６では、単位画素２０を４行２列毎に矩形で囲んで示しているが、これは２画素列に対応して設けられた４本の列信号線３２の接続を共有する単位を表すものとする。行走査部１２は、アドレスデコーダ１２Ａ及び画素駆動タイミング駆動回路１２Ｂから成る。アドレスデコーダ１２Ａは、タイミング制御部１６から与えられるアドレス信号に基づいて動作する。画素駆動タイミング駆動回路１２Ｂは、タイミング制御部１６から与えられる駆動タイミング信号に基づいて動作し、アドレスデコーダ１２Ａから与えられる制御信号に基づき、各画素２０へシャッタタイミングを与える信号と読出しタイミングを与える信号とを送信する。
【００６８】
図７は、露光シーケンス１（図４参照）のうち、１垂直同期期間（１表示フレーム）に対応する部分を示した図である。以降、図７に示す露光シーケンスの実現に際して必要となるＡ／Ｄ変換器４０の使い方について説明する。
【００６９】
図８には、画素アレイ部１１内のある２画素列と、それに対応する列信号線３２（ＶＳＬ0，ＶＳＬ1，ＶＳＬ2，ＶＳＬ3）及びＡ／Ｄ変換器４０（ＡＤＣ0，ＡＤＣ1，ＡＤＣ2，ＡＤＣ3）を抜き出して描画している。図８では、２行をひとまとめとして行Ｌとし、これに番号（Ｌ0，Ｌ1，・・・）を付している。また、網掛けしていない行（Ｌ0，Ｌ2，・・・）は画素グループＡに相当し、網掛けしている行（Ｌ1，Ｌ3，・・・）は画素グループＢに相当するものとする。
【００７０】
説明の都合上、図８では、４個のＡ／Ｄ変換器４０（ＡＤＣ0，ＡＤＣ1，ＡＤＣ2，ＡＤＣ3）を全て画素アレイ部１１の上側にまとめて示してある。ここで、ＡＤＣ0は露光Ａ_aの画素値を、ＡＤＣ1は露光Ａ_bの画素値を、ＡＤＣ2は露光Ａ_cの画素値を、ＡＤＣ3は露光Ｂの画素値を読み出すものとする。図８に示すように、列信号線３２（ＶＳＬ0，ＶＳＬ1，ＶＳＬ2，ＶＳＬ3）と、Ａ／Ｄ変換器４０（ＡＤＣ0，ＡＤＣ1，ＡＤＣ2，ＡＤＣ3）との間には、両者間の接続を担う接続スイッチ６０が設けられている。
【００７１】
本例では、各行の画素値を読み出していく過程で、この接続スイッチ６０のつなぎ方を順次切り替えていくことにより、所望の露光シーケンスを実現する。便宜上、全ての露光で１Ｌ（２行）分の画素値を読み出すまでにかかる時間を１とし、読出しタイミングをｔ＝０，１，２，・・・と呼ぶこととする。
【００７２】
表１には、順次各行の画素値を読み出していく際の、接続スイッチ６０のつなぎ方の変更過程を示す。ＶＳＬ_ＳＷ_ＡＤＣ0の行には各タイミングにおいてＡＤＣ0に接続される列信号線３２の番号が記載されている。ＶＳＬ_ＳＷ_ＡＤＣ1、ＶＳＬ_ＳＷ_ＡＤＣ2、ＶＳＬ_ＳＷ_ＡＤＣ3についても同様である。
【００７３】
［表１］
2017077775.tif 000003
【００７４】
図９、図１０、図１１には、読出しタイミングｔ＝０，１，２における接続スイッチ６０のつなぎ方の変化に伴って変わる、列信号線３２（ＶＳＬ0，ＶＳＬ1，ＶＳＬ2，ＶＳＬ3）と、Ａ／Ｄ変換器４０（ＡＤＣ0，ＡＤＣ1，ＡＤＣ2，ＡＤＣ3）との接続の様子を示している。表２には、各読出しタイミングにおいて、画素値の読出しを行う行番号を示している。各読出しタイミングにおいては、画素駆動タイミング駆動回路１２Ｂ（図６参照）によって４つの行Ｌに対して読出し信号が生成される。
【００７５】
［表２］
2017077775.tif 000004
【００７６】
ここで、一例として、読出しタイミングｔ＝０における画素値の読出し過程を追ってみる。表２より、読出しタイミングｔ＝０に読み出される行はＬ１２，Ｌ６，Ｌ２，Ｌ１である。このうち、画素グループＢに属する行Ｌ１は列信号線ＶＳＬ0に接続されており、この列信号線ＶＳＬ0は読出しタイミングｔ＝０においてはＡ／Ｄ変換器ＡＤＣ3に接続されているため、露光Ｂの画素値として読み出されることになる（図９）。
【００７７】
同様に、読出しタイミングｔ＝０において、行Ｌ１２は列信号線ＶＳＬ2を介してＡ／Ｄ変換器ＡＤＣ0に、行Ｌ６は列信号線ＶＳＬ3を介してＡ／Ｄ変換器ＡＤＣ1に、行Ｌ２は列信号線ＶＳＬ1を介してＡ／Ｄ変換器ＡＤＣ2に接続されている。そして、それぞれ露光Ａ_a、露光Ａ_b、露光Ａ_cとして読み出される。
【００７８】
次の読出しタイミングｔ＝１においては、行Ｌ１４，Ｌ８，Ｌ４，Ｌ３が読み出されるが、このうち、画素グループＢに属する行Ｌ３は、列信号線ＶＳＬ1を介してＡ／Ｄ変換器ＡＤＣ3に接続されているため、露光Ｂの画素値として読み出される（図１０）。同様に、行Ｌ１４は列信号線ＶＳＬ3を介してＡ／Ｄ変換器ＡＤＣ0に、行Ｌ８は列信号線ＶＳＬ0を介してＡ／Ｄ変換器ＡＤＣ1に、行Ｌ４は列信号線ＶＳＬ2を介してＡ／Ｄ変換器ＡＤＣ2に接続されている。そして、それぞれ露光Ａ_a、露光Ａ_b、露光Ａ_cとして読み出される。
【００７９】
読出しタイミングｔ＝２以降についても、表１に示す通りに接続スイッチ６０を動作させることで、Ａ／Ｄ変換器４０（ＡＤＣ0，ＡＤＣ1，ＡＤＣ2，ＡＤＣ3）からそれぞれ露光Ａ_a、露光Ａ_b、露光Ａ_c、露光Ｂの画素値を読み出すように動作させることが可能である（図１１）。
【００８０】
図１２、図１３、図１４は、読出しタイミングｔ＝０，１，２において、それぞれ露光画像として読み出される行番号を示している。これらの図により、図７の露光シーケンス図の通りに画素値の読出し動作が行われていることがわかる。
【００８１】
上述したように、時間的に重複した期間の複数の露光画像の読出しを同時に行い（同時割読出し）、Ａ／Ｄ変換器４０の個数については通常読出し時よりも多く設けて、これらのＡ／Ｄ変換器４０を分散して使用することで、１垂直同期期間内で複数の露光画像を読み出すことができる。
【００８２】
本構成例においては、列信号線３２を共有する画素単位や、列信号線３２の本数、Ａ／Ｄ変換器４０の並列設置数などを具体的に示して記載をしているが、必ずしもこれらの設定である必要はない。例えば、列信号線３２の共有単位は画素２行２列毎や１画素毎であってもよい。また、各画素２０と列信号線３２の接続についても本構成例で記載するものに限られるものではなく、所望の露光シーケンスを実現するべくそれぞれの画素行が適切なＡ／Ｄ変換器４０に接続される構成であればよい。
【００８３】
また、本構成例では、各Ａ／Ｄ変換器４０の読み出す画素値データが各露光データに対応するとしているが、必ずしもその必要はない。例えば、接続スイッチ６０のつなぎ方は画素値の読み出し過程で固定として、Ａ／Ｄ変換器４０から読み出された後に適宜画素値データの入れ替え等の処理を施すことで、本構成例と同等の露光データの読出しを実現することも可能である。
【００８４】
［変形例］
上記の実施形態では、ＣＭＯＳイメージセンサ１０として、図１に示す平置構造のものを例示したが、積層構造のものであってもよい。ここで、「平置構造」とは、図１に示すように、画素アレイ部１１の周辺回路部、即ち、画素アレイ部１１の各画素２０を駆動する駆動部や、Ａ／Ｄ変換器４０等を含む信号処理部などを、画素アレイ部１１と同じ半導体基板３０上に配置する構造をいう。
【００８５】
また、「積層構造」とは、図１５Ａに示すように、画素アレイ部１１とその周辺回路部とを別々の半導体基板３０_1，３０_2に搭載し、これらの半導体基板３０_1，３０_2を積層する構造をいう。この積層構造を採用する場合、画素アレイ部１１側の半導体基板３０_1内の単位画素２０を所定の大きさの領域毎に画素群２７とし、それぞれの画素群２７毎にＡ／Ｄ変換器４０を半導体基板３０_2上に配置する構成とすることができる。この場合、画素群２７内の上下左右に隣接する複数の単位画素２０で１つのＡ／Ｄ変換器４０を共有することになる。図１５Ｂに示すように、１つの画素群２７内の各画素２０と、対応するＡ／Ｄ変換器４０とは信号線３４で接続される。図１５Ｂでは、画素群２７が縦４画素×横４画素の場合を例示している。
【００８６】
また、ＣＭＯＳイメージセンサ１０の入射光を取り込む画素構造としては、配線層が配される側を正面とするとき、入射光を正面側から取り込む正面照射型の画素構造であってもよいし、裏面側（配線層が配される側と反対側）から取り込む裏面照射型の画素構造であってもよい。
【００８７】
また、上記の実施形態では、本開示の固体撮像素子として、ＣＭＯＳイメージセンサを例に挙げて説明したが、ＣＭＯＳイメージセンサへの適用に限られるものではない。すなわち、単位画素２０をグループ分けし、複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光を行う本開示の技術は、ＣＣＤイメージセンサに対しても同様に適用可能である。
【００８８】
＜本開示の撮像装置＞
上記の実施形態に係るＣＭＯＳイメージセンサ１０は、デジタルスチルカメラ、ビデオカメラ、監視カメラ、車載カメラ等の撮像装置において、その撮像部として用いることができる。本実施形態に係るＣＭＯＳイメージセンサ１０は、広ダイナミックレンジのシーンを飽和させず、黒つぶれも起こさずに撮影することを可能とするため、特に、監視カメラや車載カメラ等の撮像装置に用いて好適なものである。
【００８９】
［システム構成］
図１６は、本開示の撮像装置の構成例を示すブロック図である。図１６に示すように、本開示の撮像装置１００は、光学レンズ１０１、撮像部１０２、画像処理部１０３、カメラ信号処理部１０４、制御部１０５、及び、タイミング制御部１０６を有する構成となっている。
【００９０】
図１６において、光学レンズ１０１は、被写体（図示せず）からの像光（入射光）を撮像部１０２の撮像面上に集光させる。撮像部１０２としては、上述したＣＭＯＳイメージセンサ１０が用いられる。ＣＭＯＳイメージセンサ１０は、単位画素が複数の画素グループにグループ分けされている。
【００９１】
先述したように、ＣＭＯＳイメージセンサ１０においては、複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとが設定される。そして、ＣＭＯＳイメージセンサ１０からは、例えば露光シーケンス１の下に、画素グループＡにおける３回の露光Ａ_a、露光Ａ_b、露光Ａ_cの各露光画像の画像データと、画素グループＢにおける１回の露光Ｂの露光画像の画像データとが出力される。
【００９２】
尚、先述した例では、タイミング制御部１６を、ＣＭＯＳイメージセンサ１０の半導体基板（チップ）３０上に設けるとしたが、半導体基板３０外に設ける構成を採ることもできる。図１６の構成例では、タイミング制御部１６を半導体基板３０外に設けた場合を示している。すなわち、図１６のタイミング制御部１０６は、図１のタイミング制御部１６に相当し、露光終了タイミングが時間的に重複する複数の露光画像について、行毎に時分割形式で各々の画像データを出力する制御を行う。
【００９３】
画像処理部１０３は、ＣＭＯＳイメージセンサ１０から出力される、露光Ａ_a、露光Ａ_b、露光Ａ_cの各露光画像の画像データと、露光Ｂの露光画像の画像データとに基づいて、広ダイナミックレンジの画像（以下、「ＨＤＲ画像」と記述する）を生成するＨＤＲ画像生成部である。この画像処理部１０３の詳細については後述する。カメラ信号処理部１０４は、例えば、ホワイトバランス調整、ガンマ補正等の一般的なカメラにおける信号処理を実行して出力画像（ＨＤＲ画像）を生成する。
【００９４】
制御部１０５は、例えば、ＣＰＵ（Central Processing Unit）等によって構成され、メモリ（図示せず）に格納されたプログラムに従って、画像処理部１０３、カメラ信号処理部１０４、及び、タイミング制御部１０６に対して制御信号を出力し、各種の処理の制御を行う。
【００９５】
上述したように、ＣＭＯＳイメージセンサ１０では、複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとが設定される。そして、画像処理部１０３では、ＣＭＯＳイメージセンサ１０から出力される、例えば、画素グループＡにおける３回の露光Ａ_a、露光Ａ_b、露光Ａ_cの各露光画像の画像データと、画素グループＢにおける１回の露光Ｂの露光画像の画像データとに基づいて広ダイナミックレンジの画像の生成が行われる。
【００９６】
これにより、広ダイナミックレンジのシーンを捉える際に、１垂直同期期間内で多数枚の露光を露光画像間の露光時間比を近接して設定できるため、各露光画像のＨＤＲ合成処理に係わるアーティファクト、例えば、空間解像度の劣化、露光画像間のＳ／Ｎの違いによるノイズ段差等を起こしづらい撮像装置を実現できる。
【００９７】
因みに、広ダイナミックレンジを捉えるために露光時間比を大きく設定する、という手法も考えられるが、この手法を採った場合、露光時間が離れることで、動体領域において画像毎のブラー（動体ブレ）の度合が大きく異なり、合成処理が難しくなる。また、各露光画像間の露光時間が離れていると、多くの輝度域において、ある入射光量に対して有効な画素値を持つ画素位相が少なくなり、解像度が低下しやすくなる。
【００９８】
これに対し、本撮像装置１００においては、１垂直同期期間内に複数回の露光を行い、空間的に露光シーケンスを並列に設定することにより、広ダイナミックレンジのシーンに対しても各露光画像の露光時間を近接して設定することが可能となるため、解像度の低下が起こりにくい。つまり、本撮像装置１００によれば、広ダイナミックレンジのシーンを捉えつつ、解像度の低下を抑制することができる。
【００９９】
尚、本構成例では、ＨＤＲ画像を生成する画像処理部１０３（図１６参照）を、撮像部１０２であるＣＭＯＳイメージセンサ１０の外部に設ける場合を例に挙げて説明したが、画像処理部１０３をＣＭＯＳイメージセンサ１０の内部に設けるようにすることも可能である。この場合、ＣＭＯＳイメージセンサ１０は、画像処理部１０３の機能を備える固体撮像素子となる。また、ＣＭＯＳイメージセンサ１０が図１５Ａに示す積層構造の場合には、Ａ／Ｄ変換器４０を配置する半導体基板３０_2上に画像処理部１０３を搭載することができるため、チップサイズを大きくすることなく、画像処理部１０３の内蔵が可能となる利点がある。
【０１００】
以下に、所定の露光シーケンスの下に、画像処理部１０３によって実行される画像処理の具体的な実施例について説明する。画像処理部１０３の構成は各実施例毎に異なる。実施例１，４に係る画像処理部１０３では、露光シーケンス１の下に画像処理が行われ、実施例２，３に係る画像処理部１０３では、後述する露光シーケンス２の下に画像処理が行われる。
【０１０１】
（実施例１）
図１７は、実施例１に係る画像処理部１０３Ａの構成例を示すブロック図である。図１７に示すように、実施例１に係る画像処理部１０３Ａは、行シーケンス変換部１０３１、記憶部１０３２、及び、第１画像合成部としてのＨＤＲ合成部１０３３を有する。
【０１０２】
行シーケンス変換部１０３１は、同一の画素グループにおいて、１垂直同期期間内での露光順序が最終でない露光画像については行毎に画素値データを記憶部１０３２に保持しておく。そして、行シーケンス変換部１０３１は、１垂直同期期間内での露光順序が最終の露光画像の行毎の画素値データの出力タイミングに応じて、記憶部１０３２から同一行の画素値データを読み出す。この行シーケンス変換部１０３１による処理により、複数の露光画素の画素値データが行を揃えて出力される。
【０１０３】
第１画像合成部としてのＨＤＲ合成部１０３３は、行シーケンス変換部１０３１によって行を揃えて出力される複数の露光画素の画素値データを、複数の露光画素間で合成することによってＨＤＲ画像データを生成する。
【０１０４】
次に、上記の構成の実施例１に係る画像処理部１０３Ａによって実行される画像処理について、図１８を用いて説明する。図１８は、実施例１に係る画像処理部１０３Ａによって実行される画像処理の流れを示す図である。
【０１０５】
単位画素２０が例えば２つの画素グループＡ，Ｂにグループ分けされたＣＭＯＳイメージセンサ１０では、画素グループＡについて１垂直同期期間内に３回の露光が行われ、画素グループＢについて１垂直同期期間内に１回の露光が行われる（図４の露光シーケンス１参照）。そして、ＣＭＯＳイメージセンサ１０からは、画素グループＡにおける３種類の露光画像の画素値データが時分割で読み出される。
【０１０６】
具体的には、まず、露光Ａ_aの露光画像の各行ａ0、ａ1、ａ2、・・・の画素値データが順次読み出される。露光Ａ_bの露光画像の最初の読出し行ｂ0の画素値データは、露光Ａ_aの露光画像の読出し行ａ3に後続する形で時分割方式により読み出される。露光Ａ_cの露光画像の画素値データの読出しについても、露光Ａ_a、露光Ａ_bの各露光画像の画素値データの読出しと同様に時分割方式で行われる。
【０１０７】
ＣＭＯＳイメージセンサ１０から読み出された画素値データは、行シーケンス変換部１０３１に供給される。行シーケンス変換部１０３１は、ＣＭＯＳイメージセンサ１０から読み出された露光Ａ_aの露光画像及び露光Ａ_bの露光画像の各行の画素値データを一度記憶部１０３２に格納する。そして、行シーケンス変換部１０３１は、露光Ａ_cの露光画像の各行の画素値データが読み出されたタイミングで、記憶部１０３２に格納されている露光Ａ_aの露光画像及び露光Ａ_bの露光画像の対応する行の画素値データを読み出す。ＨＤＲ合成部１０３３は、３種類の露光画像の画素値データを構成することで、広ダイナミックレンジ（ＨＤＲ）の画像データ（ＨＤＲ画像データ）を生成する。
【０１０８】
図１８には、ＣＭＯＳイメージセンサ１０から、露光Ａ_a、露光Ａ_b、露光Ａ_cの各露光画素の各行の画素値データが読み出された以降の処理の流れを示している。この場合、図１８に示すように、ａ0、ａ1、ａ2、ａ3、ｂ0、ａ4、ｂ1、ａ5、ｂ2、・・・、という具合に、ＣＭＯＳイメージセンサ１０から読み出された順に従って、それぞれの行の画素値データは記憶部１０３２に格納される。その後、露光Ａ_cの露光画像の最初の行の画素値データｃ0がＣＭＯＳイメージセンサ１０から読み出され、その読出しタイミングで対応する行の画素値データａ0、ｂ0が記憶部１０３２から読み出され、それらの合成結果Ａ0が出力される。
【０１０９】
つまり、露光Ａ_a、露光Ａ_b、露光Ａ_cの露光タイミングの違いによる各露光画像の読出し行の時間的なずれを、記憶部１０３２への格納と当該記憶部１０３２からの読出しによる同時化処理によって吸収している。これにより、対応する各露光画像の同一行の画素値データを合成し、ＨＤＲデータＡ0、Ａ1、Ａ2、・・・を生成することが可能となっている。
【０１１０】
ここで、記憶部１０３２の必要なメモリ容量は、露光Ａ_cの最初に読み出される行の画素値データｃ0の読出しまでに読み出される行数分となる。これは、画素値データｃ0以降のタイミングで読み出される露光Ａ_a及び露光Ａ_bの各露光画像のデータについて、露光Ａ_a、露光Ａ_bの各露光画像のデータが既に読み出された記憶部１０３２のメモリ領域に上書きすればよいためである。
【０１１１】
また、図１９に示すように、画素グループＡからのＨＤＲ画像データＡ0、Ａ1、Ａ2、・・・と、画素グループＢからの出力データＢ0、Ｂ1、Ｂ2、・・・とを更に合成し、その合成結果をＨＤＲ画像データＣ0、Ｃ1、Ｃ2、・・・として出力するようにすることも可能である。
【０１１２】
上述したように、実施例１では、行シーケンス変換部１０３１において、１垂直同期期間内での露光順序が最終でない露光画像については行毎に画素値データを記憶部１０３２に保持しておき、最終の露光画像の行毎の画素値データの出力タイミングに応じて、記憶部１０３２から同一行の画素値データを読み出す同時化処理が行われる。これにより、１垂直同期期間内に複数回の露光を行う際に必要であった待ち合わせ用（同時化用）の記憶部１０３２のメモリ容量を大幅に削減できる。以下の実施例においても同様である。
【０１１３】
（実施例２）
実施例１での画像処理は、画素グループＡについて１垂直同期期間内に３回の露光を行い、画素グループＢについて１垂直同期期間内に１回の露光を行う露光シーケンス１（図４参照）の場合の画像処理である。これに対して、実施例２での画像処理は、図２０に示すように、画素グループＡ、画素グループＢ共に、１垂直同期期間内に複数回、例えば共に３回の露光を行う露光シーケンス（以下、「露光シーケンス２」と記述する）の場合の画像処理である。
【０１１４】
図２０は、本実施形態に係る露光シーケンスの他の例（露光シーケンス２）を示す図である。この露光シーケンス２では、画素グループＡ、画素グループＢそれぞれの露光画像をＡ_a、Ａ_b、Ａ_c、Ｂ_a、Ｂ_b、Ｂ_cとすると、露光時間はＢ_a、Ａ_a、Ｂ_b、Ａ_b、Ｂ_c、Ａ_cの順で互い違いに短くなるように設定されている。
【０１１５】
図２１は、実施例２に係る画像処理部１０３Ｂの構成例を示すブロック図である。図２１に示すように、実施例２に係る画像処理部１０３Ｂは、実施例１の行シーケンス変換部１０３１及びＨＤＲ合成部１０３３に代えて、逐次ＨＤＲ合成部１０３４を第２画像合成部として備えている。
【０１１６】
逐次ＨＤＲ合成部１０３４は、同一の画素グループにおいて、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部１０３２に保持しておく。また、逐次ＨＤＲ合成部１０３４は、１垂直同期期間内での露光順序が最初でない露光画像については、画素毎に既に記憶部１０３２に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成値を算出して記憶部１０３２に保持する。そして、逐次ＨＤＲ合成部１０３４は、１垂直同期期間内での露光順序が最終の露光画像について画素値データの合成が終了したら、その合成結果を出力する。
【０１１７】
図２０の下部に、画像内の最初の行について、逐次ＨＤＲ合成部１０３４が互い違いの露光画像６枚を逐次合成し、最終結果を出力する処理の流れを示している。６枚の画像の露光タイミングのずれに関しては、実施例１と同様に、記憶部１０３２を用いることによって同時化処理を行っている。
【０１１８】
実施例２に係る画像処理部１０３Ｂは、記憶部１０３２及び逐次ＨＤＲ合成部１０３４に加えて、画素グループ間ＨＤＲ合成部１０３５、動被写体判定部１０３６、合成比率決定部１０３７、及び、合成比率履歴格納部１０３８を有する。
【０１１９】
画素グループ間ＨＤＲ合成部１０３５は、逐次ＨＤＲ合成部１０３４において１垂直同期期間内で露光順序が最終の露光画像を合成して得られる画素グループ毎の最終の合成結果を参照して画素グループ間の合成値を算出し、ＨＤＲ画像データとして出力する。
【０１２０】
動被写体判定部１０３６は、各画素位置において被写体が動いているか否か、即ち動被写体であるか否かを判定（推定）する。より具体的には、動被写体判定部１０３６は、露光画像の画素値と記憶部１０３２上の画素値とを参照することによって、各画素位置において被写体が動いているか否かを判定し、その判定結果を出力する。
【０１２１】
合成比率決定部１０３７は、動被写体判定部１０３６の判定結果に基づいて、合成画素値を算出する際の合成比率、即ち逐次ＨＤＲ合成部１０３４及び画素グループ間ＨＤＲ合成部１０３５における合成比率を決定する。合成比率履歴格納部１０３８は、それまでの逐次ＨＤＲ合成部１０３４での合成比率、即ち合成比率決定部１０３７が決定した合成比率の履歴を格納し、当該履歴を出力する。
【０１２２】
合成比率決定部１０３７は、動被写体判定部１０３６の推定結果に基づいて合成比率を決定するに当たっては、合成比率履歴格納部１０３８から出力される合成比率履歴を参照して合成比率を決定する。合成比率決定部１０３７は更に、各露光画像の露光時間を参照して合成比率を決定する。各露光画像の露光時間の情報については、タイミング制御部１６（図１参照）から取得することができる。合成比率決定部１０３７は更に、各露光画像の画素値レベルを参照して合成比率を決定する。
【０１２３】
ここで、動被写体判定部１０３６により画素位置毎に被写体が動いているかを推定し、その推定結果に応じて合成比率決定部１０３７により２つの画像の合成比率を決定し、２つの画像を合成する処理の流れの一例について、図２２のフローチャートを用いて説明する。この一連の処理は、制御部１０５（図１６参照）を構成するＣＰＵによる制御の下に実行される。また、図２２において、画像Ｍ、画像Ｎはそれぞれ逐次合成する２つの画像を表す。
【０１２４】
ＣＰＵは、画像Ｍ、画像Ｎにおける対象位置を選択し（ステップＳ１１）、画像Ｍにおける対象位置の周辺５×５ピクセルの平均値ａｖｅＭを生成し（ステップＳ１２）、次いで、画像Ｎにおける対象位置の周辺５×５ピクセルの平均値ａｖｅＮを生成する（ステップＳ１３）。次に、ＣＰＵは、平均値ａｖｅＭと平均値ａｖｅＮとの差分絶対値ｄを計算する（ステップＳ１４）。
【０１２５】
次に、ＣＰＵは、差分絶対値ｄと判定閾値との大小関係に応じて合成比率αを決定する（ステップＳ１５）。具体的には、ステップＳ１５では、２つの画像Ｍ，Ｎの差分絶対値ｄが判定閾値よりも大きい場合、その画素位置は動体領域であると判定し、より露光時間の短い画像が使われるように合成比率αを設定する処理が行われる。
【０１２６】
次に、ＣＰＵは、画像Ｍと画像Ｎの対象位置における画素値を、ステップＳ１５で設定した合成比率αで合成し（ステップＳ１６）、次いで、２つの画像Ｍ，Ｎ上の全画素位置を選択したか否か、即ち、上述した処理が２つの画像Ｍ，Ｎ上の全画素位置において終了したか否かを判断する（ステップＳ１７）。
【０１２７】
そして、ＣＰＵは、全画素位置において終了していなければ（Ｓ１７のＮＯ）、ステップＳ１１に戻って上述した一連の処理を繰り返して実行する。また、終了していれば（Ｓ１７のＹＥＳ）、ＣＰＵは、合成結果を出力し（ステップＳ１８）、２つの画像Ｍ，Ｎの合成比率αを決定し、当該合成比率αで２つの画像Ｍ，Ｎを合成する、１回の逐次ＨＤＲ合成のための一連の処理を終了する。
【０１２８】
上述したように、実施例２では、逐次ＨＤＲ合成部１０３４において、画素グループ毎に同じ画素グループにおいて行番号が揃った露光画像から逐次的にＨＤＲ合成処理が行われる。そして、１垂直同期期間内で得られた最終のＨＤＲ合成結果が逐次ＨＤＲ合成部１０３４から出力される。また、画素グループ間ＨＤＲ合成部１０３５において、画素グループ間の合成値を算出し、ＨＤＲ画像データとして出力する処理が行われる。
【０１２９】
（実施例３）
図２３は、実施例３に係る画像処理部の構成例を示すブロック図である。図２３に示すように、実施例３に係る画像処理部１０３Ｃは、実施例２の逐次ＨＤＲ合成部１０３４に代えて、逐次ＨＤＲ合成部１０３９を第３画像合成部として備えている。実施例３に係る画像処理部１０３Ｃは更に、画素値補間部１０４０を備えており、それ以外の構成は実施例２に係る画像処理部１０３Ｂと同じである。
【０１３０】
逐次ＨＤＲ合成部１０３９は、全ての画素グループにおける露光画像の中で、１垂直同期期間内での露光順序が最初の露光画像について画素値データを１０３２に保持しておく。また、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部１０３２に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部１０３２に保持する。そして、逐次ＨＤＲ合成部１０３９は、１垂直同期期間内での露光順序が最終の露光画像について画素値データの合成が終了したら、最終の合成結果を出力する。
【０１３１】
ここで、画素グループＡと画素グループＢとは、異なる空間位相でサンプリングされている。そのために、逐次ＨＤＲ合成部１０３９の前段部において、画素値補間部１０４０によって全画素位置に画素値を補間した後に合成処理が行われる。画素値補間部１０４０は、各々の画素グループ毎にＣＭＯＳイメージセンサ１０から読み出される画素値に基づいて全画素位置に画素値を補間する。
【０１３２】
このとき、逐次ＨＤＲ合成部１０３９は、画素値補間部１０４０からの出力を受け、全ての画素グループの全ての露光画像の中で１垂直同期期間内での露光順序が最初の画像であるときには記憶部１０３２に画素値データを保持する。また、逐次ＨＤＲ合成部１０３９は、１垂直同期期間内での露光順序が最初でない露光画像であるときには、画素毎に既に記憶部１０３２に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成値を算出し、記憶部１０３２に保持する動作を行う。
【０１３３】
上述したように、実施例３では、逐次ＨＤＲ合成部１０３９において、記憶部１０３２を用いることによって、画素グループ間で逐次的にＨＤＲ合成処理が行われる。また、画素値補間部１０４０において、画素グループから読み出される画素値を全画素位置に補間する処理が行われる。
【０１３４】
（実施例４）
ところで、ＬＥＤ（発光ダイオード）を光源とする信号機や、蛍光灯を光源とする電光看板等では、光源が交流電源の揺らぎにより明滅している場合、その明滅の周期とカメラのフレームレートの関係によって、光っている信号機や看板が消灯したり、ちらついたりしているように捉えられる。この現象はフリッカ現象と呼ばれている。このフリッカ現象の下では、発光物体が消えている（所謂、ブラックアウト）、又はちらついているように捉えられる。このような現象は、特に認識用途の車載カメラなどで問題となっている。
【０１３５】
実施例４は、上記のフリッカ現象による不具合を解消するためになされたものであり、発光物体が消えている、又はちらついているように捉えられる現象を抑制する露光駆動である。図２４に、実施例４の場合の露光シーケンスを示す。
【０１３６】
図２４に示すように、実施例３４の場合の露光シーケンスでは、例えば、画素グループＡにおいて１垂直同期期間内に５回の露光を行い、画素グループＢにおいて１垂直同期期間内に１回の露光を行うものとする。画素グループＡにおける５回の露光を、露光開始タイミングが早い方から露光Ａ_a、露光Ａ_b、露光Ａ_c、露光Ａ_d、露光Ａ_eとする。
【０１３７】
画素グループＡにおける５回の露光Ａ_a、露光Ａ_b、露光Ａ_c、露光Ａ_d、露光Ａ_eによる５枚の露光画像について、１垂直同期期間内の露光順序がｉ番目の画像の最初に読み出される行の露光開始時刻をＳi［sec］、露光期間をｔi［sec］とし、フリッカ光源の明滅周期をＴ［sec］とする。ここで、発光物体を含む被写体シーンを飽和させずに撮影させる上限の露光時間をｔmax［sec］としたとき、全ての露光期間ｔiがｔi＜ｔmaxを満たすものとする。
【０１３８】
画素グループＡの５枚の露光画像と画素グループＢの１枚の露光画像により、所望のダイナミックレンジが実現できるように各露光期間ｔiが設定されるとする。このとき、光源の点灯している期間を撮像するように、各露光画像の露光タイミングを設定することを考える。
【０１３９】
フリッカ明滅周期で正規化した露光開始時刻を正規化露光開始時刻xＳi［sec］とすると、
xＳi＝Ｓi−floor（Ｓi／Ｔ）・Ｔ
となる。ただし、floor（）は床関数である。ここで、各露光画像の露光期間が明滅周期内のどの位相に相当するかを考える。明滅周期においてｉ枚目の露光期間の占める範囲を集合Ｍiで表すと、
if(ｔi＞Ｔ)               Ｍi＝{p│0＜ｐ≦Ｔ}
else if(xＳi＋ｔi＞Ｔ)    Ｍi＝{p│0＜ｐ≦xＳi＋ｔi−Ｔ or xＳi≦ｐ≦Ｔ}
else                      Ｍi＝{p│xＳi＜ｐ≦xＳi＋ｔi}
となる。ここで、ｐは集合Ｍiに含まれる時間を表す要素である。
【０１４０】
各集合の総和を、
Ｍall＝Ｍ1ＵＭ2Ｕ・・・ＵＭN
としたとき、Ｍallの値域を最大化する露光開始時刻Ｓiに基づいて各露光タイミングを設定すると、フリッカの点灯期間を捉えやすい露光が実現できる。
【０１４１】
上述したように、実施例４では、ＬＥＤを光源とする信号機など、高周波数で明滅する発光物体を捉える場合において、当該発光物体の明滅周期を勘案して複数枚の露光画像の各々の露光開始時刻や露光時間長を設定するようにする。これにより、発光物体の発光タイミングを取り逃さないよう露光シーケンスを決めることができるため、既存の撮像手法ではちらつく、もしくは消灯して捉えられていた光源物体の発光タイミングをより捉えやすく撮像することが可能となる。
【０１４２】
＜本開示の電子機器＞
先述した実施形態に係るＣＭＯＳイメージセンサ１０は、デジタルスチルカメラ、ビデオカメラ、監視カメラ、車載カメラ等の撮像装置に用いることができる他、携帯電話機やスマートフォン等の撮像機能を有する電子機器全般において、その撮像部として用いることができる。
【０１４３】
図２５は、本開示の電子機器の構成の概略を示すシステム構成図である。図２５に示すように、本開示の電子機器２００は、レンズ群などを含む光学系２０１、撮像部２０２、カメラ信号処理部であるＤＳＰ回路２０３、フレームメモリ２０４、表示装置２０５、記録装置２０６、操作系２０７、及び、電源系２０８等を有している。そして、ＤＳＰ回路２０３、フレームメモリ２０４、表示装置２０５、記録装置２０６、操作系２０７、及び、電源系２０８がバスライン２０９を介して相互に接続された構成となっている。
【０１４４】
光学系２０１は、被写体からの入射光（像光）を取り込んで撮像部２０２の撮像面上に結像する。撮像部２０２は、光学系２０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像部２０２として、先述した各実施形態に係るＣＭＯＳイメージセンサ１０が用いることができる。
【０１４５】
ここで、ＣＭＯＳイメージセンサ１０が先述した画像処理部１０３（図１６参照）を内蔵する場合は、ＤＳＰ回路２０３は、一般的なカメラ信号処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などを行う。ＣＭＯＳイメージセンサ１０が画像処理部１０３を内蔵しない場合は、ＤＳＰ回路２０３は、上記の一般的なカメラ信号処理に先立って、画像処理部１０３の処理を行うことになる。
【０１４６】
フレームメモリ２０４は、ＤＳＰ回路２０３での信号処理の過程で適宜データの格納に用いられる。表示装置２０５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置から成り、撮像部２０２で撮像された動画または静止画を表示する。記録装置２０６は、撮像部２０２で撮像された動画または静止画を、可搬型の半導体メモリや、光ディスク、ＨＤＤ(Hard Disk Drive)等の記録媒体に記録する。
【０１４７】
操作系２０７は、ユーザによる操作の下に、本電子機器２００が持つ様々な機能について操作指令を発する。電源系２０８は、ＤＳＰ回路２０３、フレームメモリ２０４、表示装置２０５、記録装置２０６、及び、操作系２０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【０１４８】
以上説明した本開示の電子機器２００において、撮像部２０２として、先述したＣＭＯＳイメージセンサ１０又は撮像装置１００を用いることで、空間解像度を低下させることなく、広いダイナミックレンジのシーンを撮像することができる。
【０１４９】
尚、本開示は、以下のような構成をとることもできる。
［１］光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子。
［２］タイミング制御部は、複数回の露光のうちの少なくとも２つの露光について、先に露光を開始した露光画像の最終読出し行の単位画素の露光終了タイミングよりも、後から露光を開始した露光画像の最初に読み出される行の単位画素の露光終了タイミングが早くなるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定する、
上記［１］に記載の固体撮像素子。
［３］タイミング制御部は、露光終了が時間的に重複する複数の露光画像について、行毎に時分割形式で各々の画像データを出力する制御を行う、
上記［２］に記載の固体撮像素子。
［４］複数の画素グループの各露光画像の画像データに基づいて広いダイナミックレンジの画像を生成する画像処理部を備える、
上記［１］〜［３］のいずれかに記載の固体撮像素子。
［５］画像処理部は、１垂直同期期間内での露光順序が最終でない露光画像については行毎に画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最終の露光画像の行毎の画素値データの出力タイミングに応じて、記憶部から同一行の画素値データを読み出し、複数の露光画像の行を揃えて出力させる行シーケンス変換部を有する、
上記［４］に記載の固体撮像素子。
［６］画像処理部は、行シーケンス変換部から行を揃えて出力される複数の露光画素の画素値データを、複数の露光画素間で合成して出力する第１画像合成部を有する、
上記［５］に記載の固体撮像素子。
［７］画像処理部は、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持し、１垂直同期期間内での露光順序が最終の露光画像について画素値データの合成が終了したら、最終の合成結果を出力する第２画像合成部を有する、
上記［４］に記載の固体撮像素子。
［８］第２画像合成部は、それぞれ画素グループにおいて、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する、
上記［７］に記載の固体撮像素子。
［９］画像処理部は、第２画像合成部において１垂直同期期間内で露光順序が最終の露光画像を合成して得られる画素グループ毎の最終の合成結果を参照して画素グループ間の合成値を算出する画素グループ間合成部を有する、
上記［７］又は［８］に記載の固体撮像素子。
［１０］画像処理部は、全ての画素グループにおける露光画像の中で、１垂直同期期間内での露光順序が最初の露光画像については画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像については、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持し、１垂直同期期間内での露光順序が最終の露光画像については画素値データの合成が終了したら、最終の合成結果を出力する第３画像合成部を有する、
上記［７］に記載の固体撮像素子。
［１１］画像処理部は、各々の画素グループ毎に読み出される画素値に基づいて全画素位置に画素値を補間する画素値補間部を有し、
第３画像合成部は、画素値補間部の出力に基づいて、全ての画素グループの全ての露光画像の中で１垂直同期期間内での露光順序が最初の露光画像について画素値データを記憶部に保持しておき、１垂直同期期間内での露光順序が最初以外の露光画像について、画素毎に既に記憶部に保持されている自身の画素位置及び周辺画素位置に対応する画素値データを参照して合成画素値を算出して記憶部に保持する、
上記［１０］に記載の固体撮像素子。
［１２］画像処理部は、
各画素位置において被写体が動いているか否かを判定する動被写体判定部と、
動被写体判定部の判定結果に基づいて、合成画素値を算出する際の合成比率を決定する合成比率決定部とを有する、
上記［７］〜［１０］のいずれかに記載の固体撮像素子。
［１３］動被写体判定部は、露光画像の画素値と記憶部上の画素値とを参照することによって、各画素位置において被写体が動いているか否かを推定する、
上記［１２］に記載の固体撮像素子。
［１４］画像処理部は、合成比率決定部が決定した合成比率の履歴を格納する合成比率履歴格納部を有し、
合成比率決定部は、合成比率履歴格納部に格納されている合成比率の履歴を参照して合成比率を決定する、
上記［１２］又は［１３］に記載の固体撮像素子。
［１５］合成比率決定部は、各露光画像の露光時間を参照して合成比率を決定する、
上記［１２］〜［１４］のいずれかに記載の固体撮像素子。
［１６］合成比率決定部は、各露光画像の画素値レベルを参照して合成比率を決定する、
上記［１２］〜［１５］のいずれかに記載の固体撮像素子。
［１７］画素アレイ部の各単位画素から画素列毎に出力されるアナログの画素信号をデジタル化するＡ／Ｄ変換器を備える、
上記［１］〜［１６］のいずれかに記載の固体撮像素子。
［１８］光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子を有する撮像装置。
［１９］タイミング制御部は、発光物体を捉える場合において、当該発光物体の明滅周期を勘案して、複数回の露光による複数枚の露光画像の各々の露光開始時刻や露光時間長を設定する、
上記［１８］に記載の撮像装置。
［２０］光電変換素子を含む単位画素が行列状に配置され、各単位画素が複数の画素グループにグループ分けされて成る画素アレイ部と、
複数の画素グループのうちの少なくとも１つの画素グループについて１垂直同期期間内に複数回の露光が行われるように、複数の画素グループのそれぞれに対して独立に露光開始タイミングと露光終了タイミングとを設定するタイミング制御部と、
を備える固体撮像素子を有する電子機器。
【符号の説明】
【０１５０】
１０・・・ＣＭＯＳイメージセンサ、１１・・・画素アレイ部、１２・・・行走査部、１３・・・カラム処理部、１４・・・列走査部、１５・・・水平出力線、１６・・・タイミング制御部、２０・・・単位画素、２１・・・フォトダイオード（ＰＤ）、２２・・・転送トランジスタ、２３・・・リセットトランジスタ、２４・・・増幅トランジスタ、２５・・・選択トランジスタ、２６・・・ＦＤ部（電荷検出部）、３０・・・半導体基板、３１（３１_1〜３１_m）・・・行制御線、３２（３２_1〜３２_n）・・・列信号線、４０（４０_1〜４０_n）・・・Ａ／Ｄ変換器、１００・・・撮像装置、１０１・・・光学レンズ、１０２・・・撮像部、１０３，１０３Ａ，１０３Ｂ，１０３Ｃ・・・画像処理部、１０４・・・カメラ信号処理部、１０５・・・制御部、１０３１・・・行シーケンス変換部、１０３２・・・記憶部、１０３３・・・ＨＤＲ合成部（第１画像合成部）、１０３４・・・逐次ＨＤＲ合成部（第２画像合成部）、１０３５・・・画素グループ間ＨＤＲ合成部、１０３６・・・動被写体判定部、１０３７・・・合成比率決定部、１０３８・・・合成比率履歴格納部、１０３９・・・逐次ＨＤＲ合成部（第３画像合成部）、１０４０・・・画素値補間部、２００・・・電子機器
【図１】
2017077775.tif 000005
【図２】
2017077775.tif 000006
【図３】
2017077775.tif 000007
【図４】
2017077775.tif 000008
【図５】
2017077775.tif 000009
【図６】
2017077775.tif 000010
【図７】
2017077775.tif 000011
【図８】
2017077775.tif 000012
【図９】
2017077775.tif 000013
【図１０】
2017077775.tif 000014
【図１１】
2017077775.tif 000015
【図１２】
2017077775.tif 000016
【図１３】
2017077775.tif 000017
【図１４】
2017077775.tif 000018
【図１５】
2017077775.tif 000019
【図１６】
2017077775.tif 000020
【図１７】
2017077775.tif 000021
【図１８】
2017077775.tif 000022
【図１９】
2017077775.tif 000023
【図２０】
2017077775.tif 000024
【図２１】
2017077775.tif 000025
【図２２】
2017077775.tif 000026
【図２３】
2017077775.tif 000027
【図２４】
2017077775.tif 000028
【図２５】
2017077775.tif 000029
【国際調査報告】
2017077775.tif 000030
2017077775.tif 000031
2017077775.tif 000032
2017077775.tif 000033