(57)【要約】【課題】画像処理の負荷を上昇させることなく画質を維持する。【解決手段】撮像装置であって、光を電荷に変換する第１光電変換部を含む第１画素と、第１画素の隣に配置され、光を電荷に変換する第２光電変換部を含む第２画素と、第１画素に接続され、第１画素を制御するための第１制御信号が出力される第１制御線と、第２画素に接続され、第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、第１光電変換部の電荷に基づく第１信号と、第２光電変換部の電荷に基づく第２信号と、の相関を算出する算出部と、算出部で算出された相関に基づいて、第１制御信号が第１制御線に出力されるタイミングと、第２制御信号が第２制御線に出力されるタイミングと、が異なるタイミングとなるように制御する制御部と、を備える撮像装置。【選択図】図１１
2018196155.tif 000002
【特許請求の範囲】
【請求項１】
光を電荷に変換する第１光電変換部を含む第１画素と、前記第１画素の隣に配置され、光を電荷に変換する第２光電変換部を含む第２画素と、前記第１画素に接続され、前記第１画素を制御するための第１制御信号が出力される第１制御線と、前記第２画素に接続され、前記第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、
前記第１光電変換部の電荷に基づく第１信号と、前記第２光電変換部の電荷に基づく第２信号と、の相関を算出する算出部と、
前記算出部で算出された前記相関に基づいて、前記第１制御信号が前記第１制御線に出力されるタイミングと、前記第２制御信号が前記第２制御線に出力されるタイミングと、が異なるタイミングとなるように制御する制御部と、
を備える撮像装置。
【請求項２】
前記第１画素は、前記第１制御線に接続され、前記第１制御信号により前記第１光電変換部の電荷を転送する第１転送部を含み、
前記第２画素は、前記第２制御線に接続され、前記第２制御信号により前記第２光電変換部の電荷を転送するための第２転送部を含む請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記第１画素に接続され、前記第１画素を制御するための第３制御信号が出力される第３制御線と、前記第２画素に接続され、前記第２画素を制御するための第４制御信号が出力される第４制御線と、を有し、
前記制御部は、前記算出部で算出された前記相関に基づいて、前記第３制御信号が前記第３制御線に出力されるタイミングと、前記第４制御信号が前記第４制御線に出力されるタイミングと、が異なるタイミングとなるように制御する請求項２に記載の撮像装置。
【請求項４】
前記第１画素は、前記第１光電変換部の電荷が転送される第１フローティングディフュージョンと、前記第３制御線に接続され、前記第３制御信号により前記第１フローティングディフュージョンの電位をリセットする第１リセット部を含み、
前記第２画素は、前記第２光電変換部の電荷が転送される第２フローティングディフュージョンと、前記第４制御線に接続され、前記第４制御信号により前記第２フローティングディフュージョンの電位をリセットする第２リセット部を含む請求項３に記載の撮像装置。
【請求項５】
前記第１画素は、前記第１光電変換部の電荷が転送される第１フローティングディフュージョンと、前記第１制御線に接続され、前記第１制御信号により前記第１フローティングディフュージョンの電位をリセットする第１リセット部を含み、
前記第２画素は、前記第２光電変換部の電荷が転送される第２フローティングディフュージョンと、前記第２制御線に接続され、前記第２制御信号により前記第２フローティングディフュージョンの電位をリセットする第２リセット部を含む請求項１に記載の撮像装置。
【請求項６】
前記撮像素子は、前記第１画素に接続され、前記第１信号が出力される第１出力線と、前記第２画素に接続され、前記第２信号が出力される第２出力線と、を有する請求項１から請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記撮像素子は、前記第１出力線に出力された前記第１信号をデジタル信号に変換するために用いられる第１変換回路と、前記第２出力線に出力された前記第２信号をデジタル信号に変換するために用いられる第２変換回路と、を有する請求項６に記載の撮像装置。
【請求項８】
前記撮像素子は、前記第１光電変換部と前記第２光電変換部とが配置される第１半導体基板と、前記第１変換回路と前記第２変換回路とが配置される第２半導体基板と、を有する請求項７に記載の撮像装置。
【請求項９】
前記第１半導体基板は、前記第２半導体基板により積層されている請求項８に記載の撮像装置。
【請求項１０】
第１画素と、前記第１画素の隣に配置される第２画素と、前記第１画素に接続され、前記第１画素を制御するための第１制御信号が出力される第１制御線と、前記第２画素に接続され、前記第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、
前記第１画素から出力された第１信号と、前記第２画素から出力された第２信号と、の相関を算出する算出部と、
前記算出部で算出された前記相関に基づいて、前記第１制御信号が前記第１制御線に出力されるタイミングと、前記第２制御信号が前記第２制御線に出力されるタイミングと、が異なるタイミングとなるように制御する制御部と、
を備える撮像装置。
【請求項１１】
前記撮像素子は、前記第１画素に接続され、前記第１画素を制御するための第３制御信号が出力される第３制御線と、前記第２画素に接続され、前記第２画素を制御するための第４制御信号が出力される第４制御線と、を有し、
前記制御部は、前記算出部で算出された前記相関に基づいて、前記第３制御信号が前記第３制御線に出力されるタイミングと、前記第４制御信号が前記第４制御線に出力されるタイミングと、が異なるタイミングとなるように制御する請求項１０に記載の撮像装置。
【請求項１２】
前記撮像素子は、前記第１信号をデジタル信号に変換するために用いられる第１変換回路と、前記第２信号をデジタル信号に変換するために用いられる第２変換回路と、を有する請求項１０又は請求項１１に記載の撮像装置。
【請求項１３】
前記撮像素子は、前記第１画素と前記第２画素とを有する第１半導体基板と、前記第１変換回路と前記第２変換回路とを有する第２半導体基板と、を有する請求項１２に記載の撮像装置。
【請求項１４】
前記第１半導体基板は、前記第２半導体基板により積層されている請求項１３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
１フレーム内で露光時間の異なる複数の画像を取得して処理することにより動画の品位低下を軽減する方法がある（例えば、特許文献１参照）。
特許文献１  特開２０１３−０８１０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像素子から読み出す画素信号の量が著しく増加すると共に、画像処理段階での処理負荷も大きくなる。
【課題を解決するための手段】
【０００４】
本発明の第一態様によると、光を電荷に変換する第１光電変換部を含む第１画素と、第１画素の隣に配置され、光を電荷に変換する第２光電変換部を含む第２画素と、第１画素に接続され、第１画素を制御するための第１制御信号が出力される第１制御線と、第２画素に接続され、第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、第１光電変換部の電荷に基づく第１信号と、第２光電変換部の電荷に基づく第２信号と、の相関を算出する算出部と、算出部で算出された相関に基づいて、第１制御信号が第１制御線に出力されるタイミングと、第２制御信号が第２制御線に出力されるタイミングと、が異なるタイミングとなるように制御する制御部と、を備える撮像装置が提供される。
【０００５】
本発明の第二態様によると、第１画素と、第１画素の隣に配置される第２画素と、第１画素に接続され、第１画素を制御するための第１制御信号が出力される第１制御線と、第２画素に接続され、第２画素を制御するための第２制御信号が出力される第２制御線と、を有する撮像素子と、第１画素から出力された第１信号と、第２画素から出力された第２信号と、の相関を算出する算出部と、算出部で算出された相関に基づいて、第１制御信号が第１制御線に出力されるタイミングと、第２制御信号が第２制御線に出力されるタイミングと、が異なるタイミングとなるように制御する制御部と、を備える撮像装置が提供される。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置５００のブロック図である。
【図２】撮像素子１００の断面図である。
【図３】受光基板１１３のレイアウトを説明する模式図である。
【図４】単位ブロック１３１と関連回路のブロック図である。
【図５】画素１５０単独の回路図である。
【図６】画素１５０の動作を示すタイミングチャートである。
【図７】駆動部５０２のブロック図である。
【図８】ローリングシャッタモードの動作を示す模式図である。
【図９】被写体３００の模式図である。
【図１０】撮像画像３１１、３１２、３１３の形状を示す模式図である。
【図１１】撮像制御部４７４の動作を示す流れ図である。
【図１２】相関算出部４７２の動作を示す流れ図である。
【図１３】撮像制御部４７４の他の動作を示す流れ図である。
【図１４】撮像制御部４７４が参照するテーブルの内容を例示する図である。
【図１５】グローバルシャッタモードの動作を示す模式図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、撮像装置５００のブロック図である。撮像装置５００は、撮像レンズ５２０を含む光学系と、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５および表示部５０６を含む電子回路とを備える。
【００１０】
撮像レンズ５２０を含む光学系は、光軸ＯＡに沿って伝播する入射光束を撮像素子１００に導く。図中では、瞳近傍に配置された仮想的な１枚の撮像レンズ５２０により代表して示すが、光学系は、複数の光学レンズを含み、入射光束を撮像素子１００の撮像面に結像させる。撮像レンズ５２０は、撮像装置５００に対して着脱できる交換式であってもよい。
【００１１】
駆動部５０２は、撮像素子１００に対して、画素信号の蓄積制御および読出制御を実行する。これにより、駆動部５０２は、システム制御部５０１の制御の下に、撮像素子１００に対して、画素信号の蓄積制御および読み出し制御等を実行する。
【００１２】
測光部５０３は、撮像レンズ５２０への入射光束の一部を受光して輝度を検出する受光素子を有する。これにより、測光部５０３は、撮像シーンの輝度分布等を検出する。測光部５０３は、撮像素子１００の一部を受光素子として利用してもよい。なお、図示の撮像装置５００においては、駆動部５０２も測光部５０３の検出結果を参照している。
【００１３】
ワークメモリ５０４は、システム制御部５０１が処理を実行する場合の作業領域として用いられる。また、ワークメモリ５０４は、記録部５０５に記録する情報、表示部５０６が表示する情報等のバッファとしても機能する。
【００１４】
システム制御部５０１は、画像処理部５１１、演算部５１２等を含む。画像処理部５１１は、ワークメモリ５０４を作業領域として画像処理を実行して画像データを生成する。例えば、生成する画像データがＪＰＥＧ形式の画像データである場合は、ホワイトバランス処理、ガンマ処理、圧縮処理等を実行する。
【００１５】
画像処理部５１１が生成した画像データは、記録部５０５に記録される。また、生成された画像データは、表示部５０６に表示される場合もある。更に、通信回線を通じて、外部の格納部、例えばクラウドサーバに転送される場合もある。演算部５１２は、例えば、システム制御部５０１が測光部５０３から取得した輝度情報に基づいて、撮像装置５００の撮像動作におけるシャッタ速度、絞り値、ＩＳＯ感度等を決定する。
【００１６】
撮像素子１００は、撮像レンズ５２０への入射光束に対応した画素信号を発生する。撮像素子１００が発生した画素信号は、システム制御部５０１の画像処理部５１１において画像データとなる。
【００１７】
図２は、撮像素子１００の断面図である。撮像素子１００は、互いに積層された受光基板１１３、信号処理基板１１１およびメモリ基板１１２を備える。受光基板１１３、信号処理基板１１１およびメモリ基板１１２は、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【００１８】
なお、図中に白抜き矢印で示すように、被写体光束は、撮像素子１００に対して、Ｚ軸プラス方向に入射する。本実施形態において、受光基板１１３に対して被写体光束が入射する面を、以降の説明において裏面と記載する。また、図中の座標軸により示す通り、Ｚ軸に直交する図中右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交して紙面を手前に向かって交差する方向をＹ軸プラス方向と記載する。
【００１９】
受光基板１１３は、電気的要素として光電変換素子層１０６および配線層１０８を有する。光電変換素子層１０６は、配線層１０８の裏面側に配される。光電変換素子層１０６は、二次元的に配された複数のフォトダイオード１０４および複数のトランジスタ１０５を有する。複数のトランジスタ１０５の各々は、複数のフォトダイオード１０４のいずれかに対応して設けられる。
【００２０】
光電変換素子層１０６は、入射光に対応した画素信号を出力する光電変換素子を含む。受光基板１１３の一例は裏面照射型のＣＭＯＳイメージセンサであり、光電変換素子層１０６には、光電変換素子としてのフォトダイオード１０４が配される。
【００２１】
受光基板１１３において、配線層１０８は、光電変換素子層１０６からの画素信号を信号処理基板１１１に伝送する配線１０７を有する。配線１０７は多層に配されてもよく、更に、受動素子および能動素子を含んでもよい。
【００２２】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理基板１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、受光基板１１３と信号処理基板１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【００２３】
また、受光基板１１３は、光学的要素として、カラーフィルタ１０２およびマイクロレンズ１０１を有する。受光基板１１３において、カラーフィルタ１０２は、光電変換素子層１０６における入射光の入射側に、パシベーション膜１０３を介して配される。よって、複数のフォトダイオード１０４の各々には、カラーフィルタ１０２を通じて入射光が入射する。
【００２４】
また、カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類が含まれる。種類の異なるカラーフィルタ１０２は、フォトダイオード１０４のそれぞれに対応して特定の配列を有する。これらカラーフィルタ１０２、フォトダイオード１０４およびトランジスタ１０５の組が一つの画素を形成する。
【００２５】
マイクロレンズ１０１は、カラーフィルタ１０２に対する入射光の入射側に、それぞれの画素に対応して配される。マイクロレンズ１０１の各々は、対応するフォトダイオード１０４へ向けて入射光を集光する。
【００２６】
信号処理基板１１１は、受光基板１１３から取得した画素信号を処理する。また、メモリ基板１１２は、画素信号を記憶する。信号処理基板１１１およびメモリ基板１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理基板１１１とメモリ基板１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【００２７】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、フォトダイオード１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。
【００２８】
信号処理基板１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、受光基板１１３の周辺領域、メモリ基板１１２にも設けられて良い。
【００２９】
図３は、撮像素子１００の光電変換素子層１０６における画素１５０および単位ブロック１３１のレイアウトを示す模式図である。図中のレイアウトは、受光基板１１３を裏面側から見た様子を示す。
【００３０】
光電変換素子層１０６には、行方向および列方向に二次元的に配列された複数の単位ブロック１３１が配される。更に、単位ブロック１３１の各々は、単位ブロック１３１と同じ行方向および列方向に二次元的に配列された複数の画素１５０を含む。よって、撮像素子１００には、２０００万個以上の画素１５０が二次元的に配置される。
【００３１】
図示の例では、単位ブロック１３１の各々は、互いに隣接する４画素×４画素の１６個の画素１５０により形成される。なお、図中に示す部分拡大図に記入したように、単位ブロック１３１を形成する１６個の画素１５０は、例えばベイヤー配列に従って、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素のいずれかを割当られる。
【００３２】
緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有し、赤色波長帯の光を受光する。
【００３３】
なお、単位ブロック１３１を形成する画素１５０の数が上記に限られないことはもちろんである。また、複数の画素１５０により形成された単位ブロック１３１の形状も、正方形に限られない。よって、受光基板１１３全体の画素数が２０００万画素程度ある場合に単位ブロック１３１の配列数が、例えば６４行３２列、４８行１１４列等になるレイアウトにしてもよい。
【００３４】
図４は、撮像素子１００に形成された単位ブロック１３１のひとつに対する接続関係の概略を示す。図示の単位ブロック１３１は、Ｌ行およびＰ列の画素１５０を含み、行制御部２００および周辺回路１３３が接続される。
【００３５】
撮像素子１００において、行制御部２００は、配線Ｒｓｔ＿ｌ（ただし、ｌは１からＬの整数）、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌを通じて単位ブロック１３１に結合される。配線Ｒｓｔ＿ｌ、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌの各々は、単位ブロック１３１内における１行目のＰ個の画素１５０に共通に接続される。同様に、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌも、単位ブロック１３１内におけるｌ行目のＰ個の画素１５０に共通に接続される。
【００３６】
行制御部２００は、行選択部、垂直走査回路等と呼ばれる場合もある。行制御部２００は、単位ブロック１３１ごとに設けられる。撮像素子１００において、行制御部２００は信号処理基板１１１側に設けられてもよい。
【００３７】
撮像素子１００において、周辺回路１３３は、列伝送路１７０＿ｐ（ただし、ｐは１からＰの整数）を通じて単位ブロック１３１に結合される。列伝送路１７０＿ｐは、同一列の画素１５０毎に設けられる。
【００３８】
また、列伝送路１７０＿ｐは、単位ブロック１３１におけるｐ列目のＬ個の画素１５０に共通に接続される。これにより、列伝送路１７０は単位ブロック１３１内の同一列の画素１５０で共有され、当該列に含まれる画素１５０からの画素信号を伝送する。
【００３９】
撮像素子１００において、列伝送路１７０＿ｐは受光基板１１３側から、バンプ１０９を通じて、信号処理基板１１１に実装された周辺回路１３３に接続される。信号処理基板１１１における周辺回路１３３は、受光基板１１３における単位ブロック１３１に対応する位置に、単位ブロック１３１毎に配される。
【００４０】
周辺回路１３３の各々は、列伝送路１７０＿ｐ毎に直列に接続されたアナログ／デジタル変換回路２０２およびＣＤＳ回路２０４を有する。アナログ／デジタル変換回路２０２とＣＤＳ回路２０４との組は、単位ブロック１３１あたり、列数と同じＰ個設けられる。
【００４１】
周辺回路１３３はさらに、ＣＤＳ回路２０４の出力側に配されたシフトレジスタ２０６を有する。図示の例において、シフトレジスタ２０６は、単位ブロック１３１毎に配される。シフトレジスタ２０６の出力は、列バスライン１７２を通じて画素メモリ４１４に接続される。シフトレジスタ２０６は、水平走査回路、マルチプレクサ等と呼ばれる場合もある。
【００４２】
図５は、単位ブロック１３１を形成する画素１５０の構造を示す回路図である。ただし、図示の回路は二つのフォトダイオード１０４−１、１０４−２を含み、二つ分の画素１５０に相当する。これら２つの画素は、単位ブロック１３１において同一の列に含まれる。
【００４３】
フォトダイオード１０４−１、１０４−２は、各々に対応して配された選択トランジスタ６１−１、６１−２の一端にカソードを個別に結合される。フォトダイオード１０４−１、１０４−２は、各々受光量に応じた電荷を蓄積する。
【００４４】
選択トランジスタ６１−１、６１−２は、フォトダイオード１０４−１、１０４−２が蓄積した電荷量に応じた電圧を出力するか否かを切り替える。選択トランジスタ６１は、例えば、行制御部２００から与えられる配線Ｔｘ＿ｌを通じて与えられる画素選択信号により導通状態を制御される。
【００４５】
更に、画素１５０は、フォトダイオード１０４−１、１０４−２共通に設けられたリセットトランジスタ５９、増幅トランジスタ６０、接地側トランジスタ６５、第１トランジスタ７８、第２トランジスタ６３、増幅トランジスタ６６、転送トランジスタ６４、および、コンデンサ１０を有する。これら共通に設けられるトランジスタは、コンデンサ１０の状態（両極にどのような電圧が印加されるかを示す状態）を制御するスイッチ部として機能する。
【００４６】
図示の例において、画素１５０は、フォトダイオード１０４−１、１０４−２のそれぞれの出力におけるフィードスルー電圧および信号電圧を、一つのコンデンサ１０により順番に保持する。これにより、画素１５０の各々にＣＤＳ用の回路を設けつつ、各画素１５０のＣＤＳ用回路の面積を低減することができる。また、共通のコンデンサ１０でフィードスルー電圧および信号電圧を保持するので、画素値を精度よく検出できる。
【００４７】
リセットトランジスタ５９は、それぞれの選択トランジスタ６１を介してフォトダイオード１０４に接続される。リセットトランジスタ５９は、フォトダイオード１０４−１、１０４−２のカソードを、基準電圧ＶＣＣに接続するか否かを切り替える。リセットトランジスタ５９は、行制御部２００の配線Ｒｓｔ＿ｌを通じて印可されるリセット信号により制御される。
【００４８】
増幅トランジスタ６０のゲートは、選択トランジスタ６１−１、６１−２をそれぞれ介してフォトダイオード１０４−１、１０４−２に接続される。増幅トランジスタ６０は、選択トランジスタ６１がオン状態になることにより選択されたフォトダイオード１０４−１、１０４−２のいずれかが出力する電圧を増幅する。増幅トランジスタ６０は、基準電圧ＶＣＣおよび接地電位の間に配される。
【００４９】
また、増幅トランジスタ６０と接地電位との間には、接地側トランジスタ６５が配される。接地側トランジスタ６５のゲートには、Ｐコントロール電圧が印可される。
【００５０】
コンデンサ１０は、３つの電極を有し、第１電極および第２電極が対向して配置され、第２電極および第３電極が対向して配置される。これにより、コンデンサ１０は３端子コンデンサを形成し、フォトダイオード１０４−１、１０４−２に蓄積された電荷量に応じた電圧で充放電される。
【００５１】
コンデンサ１０の第１電極は、第１トランジスタ７８を介して、増幅トランジスタ６０の出力端に接続される。第１トランジスタ７８は、増幅トランジスタ６０により増幅されたフォトダイオード１０４−１、１０４−２の出力を、第１電極に接続するか否かを切り替える第１スイッチとして機能する。第１トランジスタ７８は、ゲートに印可される第１制御信号ＳＨ１により制御される。
【００５２】
コンデンサ１０の第２電極は、第２トランジスタ６３を介して、増幅トランジスタ６０の出力端に接続される。第２トランジスタ６３は、増幅トランジスタ６０により増幅されたフォトダイオード１０４の出力を、第２電極に接続するか否かを切り替える第２スイッチとして機能する。第２トランジスタ６３は、ゲートに印可される第２制御信号ＳＨ２により制御される。
【００５３】
コンデンサ１０の第３電極は、基準電位に接続される。第２電極と第３電極との間の容量により、基準電位に対する第２電極の電位が維持される。なお、コンデンサ１０は、同一の領域に重ねて形成された第１電極、第２電極および第３電極を有する。よって、複数の２端子のコンデンサを用いる場合に比較して実装面積を縮小できる。しかしながら、コンデンサ１０は、ノードＢおよびノードＣの間に設けられた２端子コンデンサと、ノードＢおよび基準電位間に設けられた２端子コンデンサとの２素子を用いて形成してもよい。
【００５４】
増幅トランジスタ６６は、コンデンサ１０の第１電極における電圧を増幅して出力する。転送トランジスタ６４は、増幅トランジスタ６６が出力する電圧を、読み出し線１７０−ｐに転送するか否かを切り替える転送部として機能する。転送トランジスタ６４は、行制御部２００から配線Ｓｅｌ＿ｌを通じて与えられる行選択信号により制御される。
【００５５】
コンデンサ１０は、行制御部２００から与えられる各制御信号により、第２電極にフィードスルー電圧が印加される第１状態と、第２電極に信号電圧が印加される第２状態とを順番に遷移させる。周辺回路１３３は、少なくとも第２状態において転送トランジスタ６４をオンにして、コンデンサ１０の第１電極の電圧レベルを転送させる。これにより、周辺回路１３３は、転送された電圧レベルに基づいて画素信号の画素値を算出できる。
【００５６】
図６は、画素１５０の動作を示すタイミングチャートであり、図５に示したノードＡ、Ｂ、Ｃにおける信号波形を示す。ノードＡは増幅トランジスタ６０の出力端に、ノードＢはコンデンサ１０の第２電極に、ノードＣはコンデンサ１０の第１電極に、それぞれ対応する。
【００５７】
フォトダイオード１０４−１の出力を読み出す場合について説明する。まず、リセット信号ＲＳＴがＨレベルになり、リセットトランジスタ５９がオン状態になる。また、選択トランジスタ６１−１がオン状態に制御される。これにより、フォトダイオード１０４−１のカソード電圧がリセットされ、ノードＡにおける電圧は基準電圧ＶＣＣとなる。なお、増幅トランジスタ６０および６６の増幅率は１とする。
【００５８】
リセットしてから時間が経過すると、ノードＡにおける電圧はフィードスルー電圧Ｖｆｔとなる。行制御部２００は、リセット信号ＲＳＴを入力して所定の時間が経過してから、第１制御信号ＳＨ１および第２制御信号ＳＨ２をＨレベルにする。これにより、第１トランジスタ７８および第２トランジスタ６３は共にオン状態となる。このとき、コンデンサ１０の第１電極（ノードＣ）には基準電圧ＶＣＣが印加され、第２電極（ノードＢ）にはフィードスルー電圧Ｖｆｔが印加される（第１状態）。
【００５９】
次に、第１制御信号ＳＨ１および第２制御信号ＳＨ２をＬレベルにする。これにより、コンデンサ１０の第１電極はフローティング状態となり、コンデンサ１０の電極間電圧が維持される。
【００６０】
続いて、フォトダイオード１０４−１における当該フレームの受光が終了するタイミングで、ノードＡにおける電圧は、フォトダイオード１０４−１における蓄積電荷量に応じた電圧ｓｉｇ１に応じた電圧となる。具体的には、フィードスルー電圧Ｖｆｔから電圧ｓｉｇ１だけ下がった電圧となる。
【００６１】
更に、第１制御信号ＳＨ１をＬレベルに維持しつつ、第２制御信号ＳＨ２をＨレベルにする。これにより、第２トランジスタ６３はオン状態となる（第２状態）。
【００６２】
第１制御信号ＳＨ１がＬレベルに維持されているので、コンデンサ１０が第２状態に遷移すると、第１電極はフローティング状態となる。これにより、第１状態におけるコンデンサ１０の電極間電圧を維持しつつ、フォトダイオード１０４−１が出力する信号電圧が第２電極に印加される。第２電極の電圧は、第１状態に比べて電圧ｓｉｇ１だけ低下するので、第１電極の電圧も第１状態に比べて電圧ｓｉｇ１だけ低下する。
【００６３】
周辺回路１３３は、少なくとも第２状態において、第１電極（ノードＣ）の電圧を読み出す。なお、第１状態における第１電極の電圧は、基準電圧ＶＣＣであるので、当該基準電圧が既知である場合、周辺回路１３３は、第１状態における第１電極の電圧を読み出さなくともよい。この場合、周辺回路１３３は、既知の基準電圧ＶＣＣから、第２状態における第１電極の電圧を減算することで、電圧ｓｉｇ１を検出する。
【００６４】
周辺回路１３３は、当該既知の基準電圧ＶＣＣの値を、撮像素子１００の温度等に応じて補正してもよい。また、周辺回路１３３は、第１状態および第２状態のそれぞれにおいて、第１電極（ノードＣ）の電圧を読み出して、差分を算出してもよい。これにより、フォトダイオード１０４−１における蓄積電荷量に応じた電圧ｓｉｇ１、すなわち画素値を算出する。
【００６５】
次に、フォトダイオード１０４−２の出力を読み出す。このとき、リセット信号ＲＳＴがＨレベルとなり、リセットトランジスタ５９がオン状態となる。また、選択トランジスタ６１−２はオン状態に制御される。これにより、フォトダイオード１０４−２のカソード電圧がリセットされ、ノードＡにおける電圧は基準電圧ＶＣＣとなる。以降の動作は、フォトダイオード１０４−１の場合と同様である。周辺回路１３３は、第２状態において読み出した電圧により、フォトダイオード１０４−２における蓄積電荷量に応じた電圧ｓｉｇ２を算出する。
【００６６】
このような構成および動作により、一つのコンデンサ１０を用いて、フォトダイオード１０４−１、１０４−２の出力を相関二重サンプリングできる。このため、回路面積を低減することができ、また、コンデンサのバラツキによる誤差を無くすことができる。また、本実施例においては、２つのフォトダイオード１０４で一つのコンデンサ１０および周辺のスイッチ部を共有するので、更に回路面積を低減することができる。
【００６７】
なお、コンデンサ１０およびスイッチ部は、それぞれのフォトダイオード１０４に対応して設けられるが、図示のように、複数のフォトダイオード１０４−１、１０４−２に対して一組のコンデンサ１０およびスイッチ部を共通に設けてもよい。また、一つのフォトダイオード１０４に対して一組のコンデンサ１０およびスイッチ部を設けてもよい。
【００６８】
スイッチ部は、コンデンサ１０毎に設けられる。コンデンサ１０が２以上のフォトダイオード１０４に共有される場合、コンデンサ１０は、それぞれのフォトダイオード１０４−１、１０４−２の出力値を順番に保持する。また、複数のコンデンサ１０は、対応するフォトダイオード１０４−１、１０４−２の出力値を同時に保持してもよい。
【００６９】
図７は、撮像素子１００を駆動する駆動部５０２のブロック図である。駆動部５０２は、駆動制御部４２０、センサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４および画素メモリ４１４を有する。
【００７０】
駆動部５０２において、センサ制御部４４１は、撮像素子１００の画素１５０における各画素の電荷蓄積、電荷読み出しに関わる制御信号を、受光基板１１３へ送信する。より具体的には、センサ制御部４４１は、単位ブロック１３１の各々に対応する行制御部２００へ、リセット信号および画素選択信号を送信して、制御対象となる画素１５０の電荷蓄積の開始と終了とを制御する。また、読み出し画素に対して列選択信号等を送信することにより、画素信号を列伝送路１７０へ出力させる。
【００７１】
駆動部５０２において、ブロック制御部４４２は、単位ブロック１３１を特定する制御信号を受光基板１１３へ送信する。より具体的には、ブロック制御部４４２は、制御対象となる単位ブロック１３１を特定する特定信号を送信する。
【００７２】
単位ブロック特定信号は、画素１５０の各々が配線Ｔｘ＿ｊ等を介して受ける転送パルス等は、センサ制御部４４１が送出する選択信号と、ブロック制御部４４２が送出する特定信号との論理積となる。これにより、受光基板１１３に略均等に配列された画素１５０を、領域毎に相互に独立したブロックとして制御できる。
【００７３】
なお、ブロック制御部４４２は、複数の単位ブロック１３１に対して、同時に測定信号を送信できる。これにより、撮像素子１００は、複数の単位ブロック１３１を同期して動作させ、あるいは、複数の単位ブロック１３１にまたがって動作を実行させることができる。
【００７４】
駆動部５０２において、同期制御部４４３は、同期信号を受光基板１１３に供給する。これにより、受光基板１１３に実装された複数の要素を、同期してアクティブにすることができる。よって、例えば、同期信号を調整することにより、同一の単位ブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実行できる。
【００７５】
駆動部５０２において、信号制御部４４４は、アナログ／デジタル変換回路２０２、ＣＤＳ回路２０４およびシフトレジスタ２０６に対するタイミング制御を担う。これにより、画像処理部５１１は、複数の単位ブロック１３１から読み出された画素信号から、高速且つ高品質にひとつの画像データを生成できる。
【００７６】
駆動部５０２において、画素メモリ４１４は、画素１５０から読み出されてデジタル化された画素信号を格納するメモリ空間を有する。画素メモリ４１４は、各単位ブロック１３１に対応して設けてもよい。Ｉ／Ｆ回路４１８は、駆動制御部４２０とシステム制御部５０１と間の通信を担う。
【００７７】
なお、画素メモリ４１４は、引渡要求に従って画素信号を画像処理部５１１に転送するデータ転送インタフェースを更に備えてもよい。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続される。このようなデータ転送ラインは、例えば、データバスの一部により形成され、アドレスバスを利用したアドレス指定により、システム制御部５０１から駆動制御部４２０への引渡要求が実行される。
【００７８】
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式の他にも、例えば、データ転送を行う場合に、各回路の同期に用いられるクロック信号の立ち上がりと立ち下がりとの両方を利用してダブルデータレート方式にすることもできる。また、アドレス指定などの手順を一部省略することにより、データを一気に転送して高速化を図るバースト転送方式を採用し得る。
【００７９】
更に、データ転送インタフェースによる画素信号の伝送は、また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【００８０】
上記のようなデータ転送インタフェースを用いることにより、画像処理部５１１は、要求する画素信号に限って受け取ることができる。これにより、例えば、低解像度の画像を形成する場合には、画像処理を高速に完了できる。なお、駆動部５０２、図５の行制御部２００および周辺回路１３３が、複数の単位ブロック１３１にまたがって、画素１５０から画素信号を順次読み出す読出部として機能する。
【００８１】
駆動部５０２において、駆動制御部４２０は、タイミングメモリ４３０を参照して、駆動部５０２がシステム制御部５０１から受けた指示を、上記の各制御部が実行可能な制御信号に変換して引き渡す。タイミングメモリ４３０は、フラッシュＲＡＭ等により形成される。こうして、駆動制御部４２０は、上記のセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３および信号制御部４４４を統括制御する。
【００８２】
更に、図示の駆動部５０２は、相関算出部４７２および撮像制御部４７４を有する。相関算出部４７２は、画素メモリ４１４から読み出した画素信号に基づいて、画素信号に含まれるローリングシャッタ歪みの大きさを検出する。撮像制御部４７４は、相関算出部４７２が算出した相関値に基づいて、単位ブロック１３１の各々に撮像条件として設定される値、例えば、フレームレート、露光時間等を決定する。これら、相関算出部４７２および撮像制御部４７４の動作については、他の図を参照して改めて説明する。
【００８３】
図８は、撮像素子１００におけるローリングシャッタモードを説明するタイミングチャートである。ローリングシャッタモードにおいては、単位ブロック１３１の各々において、画素１５０が選択されて画素信号が蓄積される動作と、蓄積された画素信号が読み出される動作が、行毎に順次実行される。
【００８４】
図示の例では、駆動部５０２は、まず、行制御部２００を介して１行目の画素１５０に対する配線Ｒｓｔ＿１およびＴｘ＿１に駆動信号を与える。これにより、単位ブロック１３１の各々の１行目の画素１５０の電荷蓄積を開始する。
【００８５】
次に、駆動部５０２は、蓄積期間の終わりに、行制御部２００を介して１行目の画素１５０に対する配線Ｓｅｌ＿１に駆動信号を与える。これにより、１行目の画素１５０の画素信号の読み出しを開始する。読み出し期間は、１行目の各画素１５０から画素信号が読み出されて、アナログ／デジタル変換回路２０２およびＣＤＳ回路２０４で処理されてシフトレジスタ２０６から順次、画素メモリ４１４に書き込まれるまでの時間を含む。
【００８６】
以下同様に、２行目の画素１５０に対する配線Ｒｓｔ＿２、Ｔｘ＿２およびＳｅｌ＿２に駆動信号が与えられて、蓄積および読出が行われる。２行目の画素１５０に対する蓄積期間の長さは１行目の画素１５０と同じであるが、時間的には、ほぼ読出期間分だけ遅れている。３行目以降、Ｌ行目まで、配線Ｒｓｔ＿ｌ、Ｔｘ＿ｌおよびＳｅｌ＿ｌに駆動信号が与えられて、順次、蓄積および読出が行われる。
【００８７】
複数の単位ブロック１３１のいずれに対しても、選択される行の順序は同じであり、図示の例では、いずれに対しても、−Ｙ側の行から＋Ｙ側の行に向けて一行ずつ選択される。さらに、複数の単位ブロック１３１の間で、同一行の蓄積および読出のタイミングは同期している。ただし、 複数の単位ブロック１３１の間で、同一行の蓄積および読出の少なくとも一方のタイミングが同期していなくてもよい。
【００８８】
図９は、撮像素子１００を用いてローリングシャッタモードで撮像する被写体３００を示す模式図である。被写体３００は、撮像素子１００に入射する直前の像光を＋Ｚ側から見た状態で示される。
【００８９】
被写体３００には、速度Ｖ１で高速に移動する直線像３０１と、速度Ｖ２で低速に移動する直線像３０２と、静止した直線像３０３とが混在する。直線像３０１、３０２、３０３は、撮像素子１００に入射する直前の像光を＋Ｚ側から見た場合に、それぞれ垂直な直線をなす。また、移動する直線像３０１、３０３は、いずれも図中水平に、−Ｘ方向に移動している。
【００９０】
図１０は、上記の移動する直線像３０１、３０２、３０３を含む被写体３００を、ローリングシャッタモードで動作する撮像素子１００により撮像した場合に得られる撮像画像３１１、３１２、３１３を示す模式図である。撮像画像３１１、３１２、３１３は、出力、表示等される場合の向きで描かれる。
【００９１】
撮像画像３１１、３１２、３１３は、それぞれが縦横４個の画素１５０を含む１２個の単位ブロック１３１により撮像されたものとする。図８を参照して説明したように、ローリングシャッタモードにおいては、ひとつの単位ブロック１３１内において、画素信号が蓄積されるタイミングが行毎に順次ずれていく。このため、被写体３００において移動している直線像３０１、３０３は、画素信号を蓄積するタイミングに応じて、異なる位置で撮像される。
【００９２】
移動する直線像３０１、３０２を撮像するＡ列およびＢ列の単位ブロック１３１の各々において、図中上側の行と、図中下側の行では、画素信号を蓄積するタイミングが異なる。このため、被写体３００における直線像３０１が垂直な直線であるにもかかわらず、撮像画像３１１、３１２はいずれも傾斜する。即ち、撮像画像３１１においては、画素信号の蓄積期間が時間的に遅い行ほど、移動方向である＋Ｘ方向にずれて撮像され、単位ブロック１３１毎にローリングシャッタ歪みが生じる。
【００９３】
なお、上記のずれとは、４個の単位ブロック１３１の各々において、最初に画素信号を蓄積した行を初期位置とした変位を意味する。換言すれば、各単位ブロック１３１において最初に画素信号を蓄積した行（図示の例では最下行）にはずれがないと考えることができる。よって、撮像素子１００全体では、図中に点線Ｂで示すように、互いに隣接する単位ブロック１３１の境界で隣り合う画素１５０の行において、撮像画像３１１に不連続なずれが生じる。
【００９４】
上記のようなローリングシャッタ歪みに起因するずれは、直線像３０１、３０２の移動速度Ｖ０の水平成分が大きい程顕著に顕れる。換言すれば、単位ブロック１３１の境界における撮像画像３１１、３１２のずれ量を検出することにより、被写体３００において移動する直線像３０１、３０２の移動速度を検出することができる。
【００９５】
図１１は、駆動部５０２における撮像制御部４７４の動作手順を説明する流れ図である。図示の手順は、制御対象となる単位ブロック１３１から、撮像画像３１１、３１２、３１３に対応する画素信号が画素メモリ４１４に格納された時点で開始される。
【００９６】
撮像制御部４７４は、まず、撮像素子１００に含まれる単位ブロック１３１のいずれかを制御対象として選択する（ステップＳ１０１）。次に、撮像制御部４７４は、選択した単位ブロック１３１の被写体３００に含まれる移動成分の移動速度を検出する（ステップＳ１０２）。ステップＳ１０２の内容については、図１２を参照して後述する。
【００９７】
被写体３００における移動成分の移動速度が判明すると、撮像制御部４７４は、判明した移動速度に応じて、制御対象となる単位ブロック１３１における撮影条件の値を決定する。ここで決定される撮影条件の値とは、例えば、撮像素子１００を用いて動画を撮像する場合のフレームレートである。
【００９８】
即ち、被写体３００の移動成分が高い速度で移動している場合は、単位ブロック１３１におけるフレームレートを上昇させて、より鮮明な画像を撮像する。一方、被写体３００の移動成分の移動速度が低い場合、または静止している場合は、フレームレートを上昇させないか、あるいはむしろ低下させることにより撮像素子から出力される画素信号の情報量を削減できる。また、この場合は、フレームレートを低下させても、撮像画像の品質低下は生じない。
【００９９】
よって、撮像制御部４７４は、ステップＳ１０２において検出された被写体３００の移動成分の移動速度を取得することにより、制御対象となる単位ブロック１３１における適切なフレームレートを算出できる（ステップＳ１０３）。更に、撮像制御部４７４は、算出したフレームレートを、制御対象となる単位ブロック１３１に設定して（ステップＳ１０４）、適切な撮像条件の下で撮像動作を実行させる。
【０１００】
こうして、ひとつの単位ブロック１３１に対して撮像条件の値を算出して設定した撮像制御部４７４は、次に、撮像条件が未だ設定されていない単位ブロック１３１が残っていないかどうかを調べ（ステップＳ１０５）、そのような単位ブロック１３１が残っている場合は、その単位ブロック１３１を制御対象として特定して（ステップＳ１０１）、再び、ステップＳ１０２からの手順を実行する。
【０１０１】
また、ステップＳ１０５において、全ての単位ブロック１３１に対して撮像条件が設定されたことが判った場合は、図示の手順を終了する。ただし、撮像素子１００が撮像を継続している場合は、再び、ステップＳ１０１からの一連の手順を繰り返してもよい。
【０１０２】
図１２は、被写体３００における移動成分の移動速度を検出する場合の動作手順を示す流れ図であり、上記ステップＳ１０２の内容に対応する。図示の手順は、撮像素子１００からの画素信号が画素メモリ４１４に格納された時点で開始される。
【０１０３】
単位ブロック１３１の各々はローリングシャッタモードで画素信号を生成する。相関算出部４７２は、列方向に隣接する単位ブロック１３１について、単位ブロック１３１の境界で隣接する画素１５０の行に対応する画素信号を画素メモリ４１４から読み出す（ステップＳ２０１）。
【０１０４】
次に、相関算出部４７２は、単位ブロック１３１の境界において隣接する画素１５０の行の相関値を算出する（ステップＳ２０２）。相関値の大きさは、一列の画素信号の一致度であるともいえ、相関値が高いほど、隣接する行の画像が一致する。
【０１０５】
相関値としては、隣接する画素の行における画素信号の差分を２乗してそれらの和をとった残差２乗和の算出を例示できる。ここで、残差２乗和が小さいほど相関が大きいという関係になる。
【０１０６】
相関算出部４７２は、残差２乗和の値が予め定めた閾値と比較して、ローリングシャッタ歪みが発生しているか否かを判断する（ステップＳ２０３）。残差２乗和の大きさが閾値よりも大きい場合（ステップＳ２０３：ＮＯ）、相関算出部４７２は、被写体３００の成分が移動していないと判断して処理を終了する。
【０１０７】
一方、残差２乗和の大きさが閾値より小さい場合は（ステップＳ２０３：ＹＥＳ）、被写体３００の移動成分が移動していると判断して、その移動速度に対応した相関値を算出する。即ち、相関算出部４７２は、単位ブロック１３１の境界において隣接する画素１５０の行の一方を他方に対して行方向に１画素分ずらして（ステップＳ２０４）、再び残差２乗和を算出する（ステップＳ２０５）。以下、相関算出部４７２は、単位ブロック１３１における画素１５０の列数ｐ画素分ずらすまで、残差２乗和の算出を繰り返す（ステップＳ２０６：ＮＯ）。
【０１０８】
相関算出部４７２は、ｐ画素分ずらした後に（ステップＳ２０６：ＹＥＳ）、ローリングシャッタ歪みにより単位ブロック１３１の境界で生じていたずれを画素数として特定する（ステップＳ２０７）。こうして、単位ブロック１３１において被写体３００の移動成分により生じていたローリングシャッタ歪みの大きさが判り、当該移動成分の移動速度を検出できる。
【０１０９】
図１３は、駆動部５０２における撮像制御部４７４の他の動作手順を説明する流れ図である。図示の動作手順は、次に説明するステップを除くと、図１１に示した動作手順と同じ内容を有する。そこで、共通のステップには同じ参照番号を付して、重複する説明を省く。
【０１１０】
図１３に示した動作手順は、ステップＳ１０３において撮像条件を決定する前に、撮像制御部４７４が、測光部５０３から得られた輝度情報も参照するステップＳ１０６が加わっている点において、図１１に示した手順と異なる。即ち、図１３に示す動作手順において、撮像制御部４７４は、相関算出部４７２の算出結果から検出した被写体３００の移動成分の移動速度に加えて、測光部５０３が検出した被写体輝度も参照して、撮像条件を決定する。
【０１１１】
また、図１３に示した動作手順は、図１１におけるステップＳ１０３に代わって、撮像制御部４７４が撮像条件の値を決定する場合に、テーブルを検索して決定値を選択するステップＳ１０７において、図１１に示した動作手順とは異なる。即ち、図１３に示す動作手順において撮像制御部４７４は、取得した移動速度および被写体輝度をキーとして、テーブルに予め格納された候補値から、決定する撮像条件を検索する。
【０１１２】
図１４は、上記のようなステップＳ１０７において、撮像制御部４７４が参照するテーブルの内容を例示する図である。図示のように、テーブルは、被写体３００における移動成分の動きの速さと、被写体輝度との２つの参照条件に対して、単位ブロック１３１におけるフレームの長さと露光時間の長さとの２つの撮像条件の値をそれぞれ対応させて格納する。これにより、参照する情報の種類、決定すべき撮像条件の種類、制御対象となる単位ブロック１３１の数等が増加した場合も、処理の負荷を抑制することができる。
【０１１３】
なお、単位ブロック１３１がベイヤー配列等のカラーフィルタを有している場合は、補間処理をする前に上記の動作を実行することが好ましい。また、アナログ／デジタル変換された画素信号がＪＰＥＧ等の予め定められたフォーマット形式に変換された撮像画像として出力される場合に、上記図１３の動作はアナログ／デジタル変換後であって、当該フォーマット形式に変換する前に実行されることが好ましい。また、少なくとも上記相関算出部４７２および撮像制御部４７４は、信号処理基板１１１内に設けられることが好ましい。
【０１１４】
このように、撮像素子１００においては、単位ブロック１３１毎に、被写体３００における撮像対象に応じて撮像条件の設定値を変更できる。よって、ひとつの被写界内に、移動速度、輝度等が互いに異なる対象物が含まれている場合であっても、それぞれの単位ブロック１３１に適切な撮像条件を個別に設定できる。これにより、最終的に得られる画像データの品質を向上させることができる。
【０１１５】
また、撮像素子１００は、単位ブロック１３１のいずれかに対応する撮像対象が、静止している場合、十分に明るい場合は、フレームレートを低くし、あるいは、露光時間を短縮することにより、撮像素子１００から出力される画素信号を削減できる。これにより、画素信号の転送を容易にすると共に、画像処理の負荷を低減できる。
【０１１６】
図１５は、撮像素子１００における単位ブロック１３１の他の動作モードであるグローバルシャッタモードを説明するタイミングチャートである。グローバルシャッタモードにおいては、単位ブロック１３１に含まれる全ての画素１５０が同時にリセットされた後に選択されて画素信号が蓄積される。グローバルシャッタモードにおいて、蓄積された画素信号は、ローリングシャッタモードと同様に行単位で順次読み出されてもよい。
【０１１７】
上記のようなグローバルシャッタモードでは、単位ブロック１３１内で画素信号を蓄積するタイミングが同じなので、撮像画像３１１にローリングシャッタ歪みは生じない。よって、ある単位ブロック１３１において特に大きなローリングシャッタ歪みが生じた場合に、撮像制御部４７４は、当該単位ブロック１３１における蓄積制御を、グローバルシャッタモードに切り替えてもよい。
【０１１８】
ただし、ローリングシャッタ歪みが生じないグローバルシャッタモードで動作している単位ブロック１３１に対しては、被写体の移動成分の速度を検出できない。よって、撮像制御部４７４は、グローバルシャッタモードで画素信号を蓄積している単位ブロック１３１に関しては、被写体の移動速度に応じて撮像条件を設定する動作を実行せず、ローリングシャッタモードで動作している単位ブロック１３１に限って図１１および図１３に示した処理を実行する。
【０１１９】
また、グローバルシャッタモードでは、単位ブロック１３１内の全ての画素１５０を一斉にリセットするので大きな電流が流れること、隣接する行で相互に電荷の漏れが生じやすいこと等から、ローリングシャッタモードに比較すると、撮像した画像にノイズが乗りやすい。よって、被写体の移動成分の速度が低下した場合には、グローバルシャッタモードに切り替えた単位ブロック１３１を、ローリングシャッタモードに戻してもよい。
【０１２０】
そこで、グローバルシャッタモードで動作する撮像素子においては、被写体の移動成分の速度を検出する目的で、当該単位ブロック１３１の動作モードを一時的に、または間欠的にローリングシャッタモードにしてもよい。このローリングシャッタモードによる動作は、被写体の移動成分を検出することを目的として実行されるので、この過程で得られた画素信号から画像データを生成しなくてもよい。
【０１２１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２３】
１０  コンデンサ、６０  増幅トランジスタ、６１−１、６１−２  選択トランジスタ、５９  リセットトランジスタ、６５  接地側トランジスタ、７８  第１トランジスタ、６３  第２トランジスタ、６６  増幅トランジスタ、６４  転送トランジスタ、１００  撮像素子、１０１  マイクロレンズ、１０２  カラーフィルタ、１０３  パシベーション膜、１０４、１０４−１、１０４−２  フォトダイオード、１０５  トランジスタ、１０６  光電変換素子層、１０７  配線、１０８  配線層、１０９  バンプ、１１０  ＴＳＶ、１１１  信号処理基板、１１２  メモリ基板、１１３  受光基板、１３１  単位ブロック、１３３  周辺回路、１５０  画素、１７０  列伝送路、１７２  列バスライン、２００  行制御部、２０２  アナログ／デジタル変換回路、２０４  ＣＤＳ回路、２０６  シフトレジスタ、３００  被写体、３０１、３０２、３０３  直線像、３１１、３１２、３１３  撮像画像、４１４  画素メモリ、４１８  Ｉ／Ｆ回路、４２０  駆動制御部、４３０  タイミングメモリ、４４１  センサ制御部、４４２  ブロック制御部、４４３  同期制御部、４４４  信号制御部、４７２  相関算出部、４７４  撮像制御部、５００  撮像装置、５０１  システム制御部、５０２  駆動部、５０３  測光部、５０４  ワークメモリ、５０５  記録部、５０６  表示部、５１１  画像処理部、５１２  演算部、５２０  撮像レンズ
【図１】
2018196155.tif 000003
【図２】
2018196155.tif 000004
【図３】
2018196155.tif 000005
【図４】
2018196155.tif 000006
【図５】
2018196155.tif 000007
【図６】
2018196155.tif 000008
【図７】
2018196155.tif 000009
【図８】
2018196155.tif 000010
【図９】
2018196155.tif 000011
【図１０】
2018196155.tif 000012
【図１１】
2018196155.tif 000013
【図１２】
2018196155.tif 000014
【図１３】
2018196155.tif 000015
【図１４】
2018196155.tif 000016
【図１５】
2018196155.tif 000017