(57)【要約】【課題】画素グループ単位で異なる露光制御を実行する撮像装置、方法を提供する。【解決手段】撮像素子の撮像面の複数の画素を分割した画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。【選択図】図６
2012175234.tif 000002
【特許請求の範囲】
【請求項１】
複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価部と、
前記輝度評価部の評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出部と、
前記露光制御値算出部の算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子を有する撮像装置。
【請求項２】
前記撮像素子は、
前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、
前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は、
露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、
行（Ｒｏｗ）方向に設定された画素グループに対する露光制御信号を出力する複数のＲｏｗラインセレクタと、
前記複数のＲｏｗラインセレクタに対する制御信号出力タイミングを指示する制御信号を出力するＲｏｗグループセレクタとの階層構成を有する請求項１に記載の撮像装置。
【請求項６】
前記Ｒｏｗラインセレクタは、
前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号に応じて、制御対象とする画素グループ単位で制御信号を出力する請求項５に記載の撮像装置。
【請求項７】
前記Ｒｏｗラインセレクタは、
各画素の露光処理を実行させる露光パターン信号を出力するシャッター制御信号生成部と、
各画素の読み出し処理を実行させる読み出しパターン信号を出力する読み出し制御信号生成部を有し、
前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号の種類に応じて、前記シャッター制御信号生成部または前記読み出し制御信号生成部の生成する制御信号の選択的な出力処理を実行する請求項５に記載の撮像装置。
【請求項８】
前記撮像素子は、
撮像素子の１行（Ｒｏｗ）の画素信号に対して並列にＡＤ変換を実行するカラム（Ｃｏｌｕｍｎ）ＡＤＣを有し、さらに、
画素グループ単位の制御信号を生成するカラム（Ｃｏｌｕｍｎ）グループセレクタと、
画素グループ単位の制御信号を受けて画素グループ内の制御信号を生成する複数のカラム（Ｃｏｌｕｍｎ）ラインセレクタとの階層構造を有する、
カラム（Ｃｏｌｕｍｎ）セレクタを有する請求項１に記載の撮像装置。
【請求項９】
前記画素グループは、隣接画素集合からなる画素グループである請求項１に記載の撮像装置。
【請求項１０】
前記画素グループは、複数の離間領域にある画素集合からなる画素グループである請求項１に記載の撮像装置。
【請求項１１】
撮像面の複数の画素を分割した画素グループ単位で設定された露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子。
【請求項１２】
前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う請求項１１に記載の撮像素子。
【請求項１３】
前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する請求項１１に記載の撮像素子。
【請求項１４】
露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する請求項１１に記載の撮像素子。
【請求項１５】
撮像装置において実行する撮像制御方法であり、
輝度評価部が、複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価ステップと、
露光制御値算出部が、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出ステップと、
撮像素子が、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像ステップを有する撮像制御方法。
【請求項１６】
撮像装置において撮像制御処理を実行させるプログラムであり、
輝度評価部に、複数画素から構成される画素グループ単位の輝度評価を実行させる輝度評価ステップと、
露光制御値算出部に、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出させる露光制御値算出ステップと、
撮像素子に、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行させる撮像ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像素子、および撮像制御方法、並びにプログラムに関する。さらに、詳細には領域単位の露光制御を行う撮像装置、撮像素子、および撮像制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
撮像装置において画像データ取得のための撮像素子（イメージセンサ）として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など、半導体を利用した光電変換素子によるエリア撮像素子（イメージセンサ）デバイスが広く利用されている。
【０００３】
撮像素子（イメージセンサ）の性能軸の１つとしてダイナミックレンジがある。ダイナミックレンジとは有効な画像信号として変換できる入射光の明るさの幅である。ダイナミックレンジが大きいとは、暗い光から明るい光まで画像信号に変換できることを意味し、性能が良い撮像素子であることを意味する。撮像素子（イメージセンサ）のダイナミックレンジを拡大するための工夫はこれまでにも数多く提案されてきたが、その中に画素毎に異なる露光制御をおこなうという手法がある。
【０００４】
通常の撮像素子（イメージセンサ）の画素の各々にはフォトダイオード（ＰＤ：Ｐｈｏｔｏ  Ｄｉｏｄｅ）が設けられ、各画素対応のフォトダイオード（ＰＤ）に対する入射光が光電変換によって電荷に変換される。各画素のＰＤは蓄積できる電荷量が決まっているので、強すぎる入射光に対しては電荷あふれが生じてそれ以上の信号を蓄積でない飽和状態となり、結果として飽和レベル以上の信号は取り出すことができない。また、画素および読み出しのための回路で発生するノイズのため、弱すぎる入射光に対しては生じた電荷がノイズに埋もれて信号を取り出すことができない。
【０００５】
有効な画像信号を獲得するためには適切な強さの光が撮像素子の各画素に入射するように露光を調節する必要がある。この露光を場所毎の光強度にあわせて画素毎に調節できる仕組みを作れば、撮像素子（イメージセンサ）のダイナミックレンジを拡大することができる。
【０００６】
このような考えに基づいた技術として、例えば特許文献１（特表２００３−５２７７７５号公報）に記載された技術がある。これは、一露光期間を複数のサブ期間に分割し、各サブ期間の露光信号を積分するかどうかのバイナリ信号を、行（Ｒｏｗ）方向および、列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号線によって各画素に配信する構成を持つ。この構成によって、画素毎の露光制御を実現している。
【０００７】
また、非特許文献１（浜本隆之，相澤清晴，"適応蓄積時間撮像素子（イメージセンサ）の設計と試作"，映像情報メディア学会誌：映像情報メディア，５５（２），２７１−２７８，Ｆｅｂｒｕａｒｙ，２００１）は、画素毎に露光途中の蓄積電荷を画素毎に非破壊状態として検証し、飽和したと判定した画素に対しては即時電荷のリセットをおこなうことで画素毎の露光制御を実現する構成を開示している。
【０００８】
さらに、特許文献２（特開２０１０−１３６２０５号公報）は、撮像素子（イメージセンサ）の出力に基づいて、超時間か短時間の２種類の露光時間のどちらかを画素毎に決定する手段と、リセットおよび電荷転送のタイミングを画素毎に制御できるようにした画素回路によって画素毎の露光制御を実現する構成を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２００３−５２７７７５号公報
【特許文献２】特開２０１０−１３６２０５号公報
【非特許文献】
【００１０】
【非特許文献１】浜本隆之，相澤清晴，"適応蓄積時間撮像素子（イメージセンサ）の設計と試作"，映像情報メディア学会誌：映像情報メディア，５５（２），２７１−２７８，Ｆｅｂｒｕａｒｙ，２００１
【発明の概要】
【発明が解決しようとする課題】
【００１１】
前述の従来技術には、以下に説明するように、配線の困難さという共通の問題がある。画素毎に異なる露光制御をおこなうには、露光制御に関する情報を画素毎に別々に伝達する必要があり、信号伝達のための配線数が増加することになる。このような画素対応の配線を付加する構成は、画素数の少ない旧来の撮像素子では可能であるが、画素数が飛躍的に増加している昨今の撮像素子では対応することが極めて困難であるというのが現状である。
【００１２】
例えば、前述の特許文献１に開示された技術においては、画素毎の電荷蓄積を制御するために、通常の撮像素子（イメージセンサ）にはない特別な制御信号線を複数追加する必要があった。特に前述の行（Ｒｏｗ）方向および列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号線を用いた構成において、１つのサブ露光期間内という極めて短い時間内に全画素に対して次のサブ露光期間における制御信号を伝達するという信号伝達の高速性が要求される。
【００１３】
また、特許文献１の技術によれば露光制御を多段階とすることは原理的に可能であるが、そのためには、露光制御を符号化したセンサの画素数と同じビットマップを行（Ｒｏｗ）方向および列（Ｃｏｌｕｍｎ）方向のプログラム（Ｐｒｇ）信号について時系列に符号化した信号をフレーム毎にセンサ内で生成するか、同時系列をフレーム毎にセンサ外から供給するといった構成が必要となる。このような信号生成あるい供給を短時間で実行することは、高画素数のセンサではほぼ不可能である。
【００１４】
また、非特許文献１に開示された技術においては、画素毎の飽和判定およびリセット制御を各列（Ｃｏｌｕｍ）並列におこなうことによる配線軽減構成を開示している。しかし、画素数が増加すれば、複数列を並列に制御しても制御が間に合わなくなることが予想される。
【００１５】
また、特許文献２に開示された構成は、特許文献１の技術より自由度が低い分、よりシンプルな画素制御構造で画素毎の露光制御を実現できるようになっている。そのため、撮像面全体で各画素が２段階（長／短時間露光の２段階）のどちらかという制御は比較的簡単にできる。
【００１６】
しかしながら特許文献２の技術でも多段階の制御をおこなおうとすると前述の特許文献１の技術と同様に、全画素の露光時間情報をＲｏｗおよびＣｏｌｕｍｎ方向のリセットおよび転送信号時系列に符号化した信号がタイミングジェネレータから供給される必要がある。そのデータ量はフレームあたり全画素数ｘ２であり、かつ信号読み出しよりも露光制御のほうがより並列性の必要性が大きいことを考慮すれば、このような信号をセンサへ供給することは極めて困難であると考えられる。
【００１７】
以上に説明したように、撮像素子（イメージセンサ）のダイナミックレンジ向上のために画素毎に異なる露光制御をする従来の技術は、その制御信号を各画素へ確実に伝達する配線や制御構成の難しさから、昨今の高画素数の撮像素子（イメージセンサ）に適用するには適さないと考えられる。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、昨今の高画素数の撮像素子にも適用可能な領域単位の露光制御を実現する撮像装置、撮像素子、および撮像制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の第１の側面は、
複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価部と、
前記輝度評価部の評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出部と、
前記露光制御値算出部の算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子を有する撮像装置にある。
【００２０】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う。
【００２１】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する。
【００２２】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する。
【００２３】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、行（Ｒｏｗ）方向に設定された画素グループに対する露光制御信号を出力する複数のＲｏｗラインセレクタと、前記複数のＲｏｗラインセレクタに対する制御信号出力タイミングを指示する制御信号を出力するＲｏｗグループセレクタとの階層構成を有する。
【００２４】
さらに、本発明の撮像装置の一実施態様において、前記Ｒｏｗラインセレクタは、前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号に応じて、制御対象とする画素グループ単位で制御信号を出力する。
【００２５】
さらに、本発明の撮像装置の一実施態様において、前記Ｒｏｗラインセレクタは、各画素の露光処理を実行させる露光パターン信号を出力するシャッター制御信号生成部と、各画素の読み出し処理を実行させる読み出しパターン信号を出力する読み出し制御信号生成部を有し、前記Ｒｏｗグループセレクタからの制御信号出力タイミングを指示する制御信号の種類に応じて、前記シャッター制御信号生成部または前記読み出し制御信号生成部の生成する制御信号の選択的な出力処理を実行する。
【００２６】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、撮像素子の１行（Ｒｏｗ）の画素信号に対して並列にＡＤ変換を実行するカラム（Ｃｏｌｕｍｎ）ＡＤＣを有し、さらに、画素グループ単位の制御信号を生成するカラム（Ｃｏｌｕｍｎ）グループセレクタと、画素グループ単位の制御信号を受けて画素グループ内の制御信号を生成する複数のカラム（Ｃｏｌｕｍｎ）ラインセレクタとの階層構造を有する、カラム（Ｃｏｌｕｍｎ）セレクタを有する。
【００２７】
さらに、本発明の撮像装置の一実施態様において、前記画素グループは、隣接画素集合からなる画素グループである。
【００２８】
さらに、本発明の撮像装置の一実施態様において、前記画素グループは、複数の離間領域にある画素集合からなる画素グループである。
【００２９】
さらに、本発明の第２の側面は、
撮像面の複数の画素を分割した画素グループ単位で設定された露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像素子にある。
【００３０】
さらに、本発明の撮像素子の一実施態様において、前記制御信号として、前記画素グループ内の複数画素に対して、同一パターンからなる露光制御信号を時系列に順次、出力する処理を行い、１つの画素グループに属する複数画素の露光時間を同一とした露光制御を行う。
【００３１】
さらに、本発明の撮像素子の一実施態様において、前記制御信号として、行（ロー：Ｒｏｗ）単位の制御信号と、列（カラム：Ｃｏｌｕｍｎ）単位の制御信号を組み合わせて、制御対象の画素を特定した制御処理を実行する。
【００３２】
さらに、本発明の撮像素子の一実施態様において、露光処理の開始タイミングを示す露光開始制御信号と、読み出し処理の開始タイミングを示す読み出し開始制御信号を画素グループ単位に設定して、画素グループ単位の露光制御を実行する。
【００３３】
さらに、本発明の第３の側面は、
撮像装置において実行する撮像制御方法であり、
輝度評価部が、複数画素から構成される画素グループ単位の輝度評価を実行する輝度評価ステップと、
露光制御値算出部が、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出する露光制御値算出ステップと、
撮像素子が、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する撮像ステップを有する撮像制御方法にある。
【００３４】
さらに、本発明の第４の側面は、
撮像装置において撮像制御処理を実行させるプログラムであり、
輝度評価部に、複数画素から構成される画素グループ単位の輝度評価を実行させる輝度評価ステップと、
露光制御値算出部に、前記輝度評価ステップにおける評価結果に応じて、前記画素グループ単位の露光制御値を算出させる露光制御値算出ステップと、
撮像素子に、前記露光制御値算出ステップにおいて算出した画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行させる撮像ステップを実行させるプログラムにある。
【００３５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３７】
本発明の一実施例の構成によれば、撮像素子の撮像面の複数の画素を分割した画素グループ単位で異なる露光制御を実行する構成が実現される。
複数画素から構成される画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。
【図面の簡単な説明】
【００３８】
【図１】撮像装置の全体構成例について説明する図である。
【図２】撮像装置で実行する露光制御処理の実行構成について説明する図である。
【図３】撮像素子（イメージセンサ）の構成例について説明する図である。
【図４】撮像素子（イメージセンサ）内の１つの画素の構成例を説明する等価回路を示す図である。
【図５】（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理と、（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理の２つの処理の動作時の制御信号パターンを説明する図である。
【図６】Ｒｏｗセレクタの内部構成と、撮像素子１０３に設定されたブロック（画素グループ）との対応関係例について説明する図である。
【図７】図６中に示す１つのＲｏｗラインセレクタ１２４の内部構成を説明するブロック図である。
【図８】露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図である。
【図９】読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作を説明する図である。
【図１０】通常の全面均一な露光時間の露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図である。
【図１１】画素グループ毎に異なる露光時間とした露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図である。
【図１２】図１１に示す制御の結果として撮像面全体に設定されるシャッター時間の例について説明する図である。
【図１３】カラムＡＤＣを用いた撮像素子（イメージセンサ）の構成を説明する図である。
【図１４】第２の実施例のＣｏｌｕｍｎセレクタの構成例について説明する図である。
【図１５】図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図である。
【図１６】図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作について説明するタイミング図である。
【図１７】互いに領域がオーバーラップする画素グループを形成するＲｏｗセレクタの階層構造を説明する図である。
【図１８】互いに領域がオーバーラップする画素グループを形成するＲｏｗセレクタの階層構造を説明する図である。
【発明を実施するための形態】
【００３９】
以下、図面を参照しながら本発明の撮像装置、撮像素子、および撮像制御方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．撮像装置の構成例について
２．露光評価および露光制御値算出処理について
３．撮像素子（イメージセンサ）の構成および露光制御機構について
４．露光制御動作例その１：通常の均一シャッター動作
５．露光制御動作例その２：画素グループ毎に異なるシャッター動作
６．第２の実施例：カラムＡＤＣとの共存
７．第３の実施例：画素グループの設定構成と画素グループ位置のオーバーラップ構成について
８．本発明の構成と効果のまとめ
【００４０】
［１．撮像装置の構成例について］
以下、本発明の実施例について説明する。以下、本発明の一実施例としてデジタルビデオカメラの例について説明する。
はじめにカメラの構成と動作について説明し、その後、撮像素子（イメージセンサデバイス）の構成例と撮像素子を用いた露光制御の詳細について説明する。
【００４１】
まず、図１を参照して撮像装置（デジタルビデオカメラ）の構成について説明する。図１に示すように、撮像装置は、レンズ１０１、絞り１０２、撮像素子（イメージセンサ）１０３、ＤＳＰブロック１０４、ＬＣＤドライバ１０５、ＬＣＤ１０６、ＣＯＤＥＣ１０７、メモリ１０８、ＣＰＵ１０９、入力デバイス１１０から構成される。
【００４２】
ここで、入力デバイス１１０はカメラ本体にあるシャッタボタンなどの操作ボタン類によって構成される。また、ＤＳＰブロック１０４は信号処理用プロセッサと、撮像素子１０３から出力される撮影画像を一時的に格納する画像用ＲＡＭを持つブロックである。ＤＳＰブロック１０４においては、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなう。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
【００４３】
光学系を通過して撮像素子（イメージセンサ）１０３に到達した入射光は、撮像素子（イメージセンサ）１０３において画像データに変換され、ＤＳＰ１０４中の画像メモリに一時格納される。撮像中の状態においては、撮像素子（イメージセンサ）１０３が一定のフレームレートで画像データを出力するように制御される。ＤＳＰ１０４へ一定のレートで画像データが送られ、そこで適切な画像処理がおこなわれた後、画像データはＬＣＤドライバ１０５もしくはＣＯＤＥＣ１０７あるいはその両方に送られる。
【００４４】
ＬＣＤドライバ１０５はＤＳＰ１０４から送られる画像データをアナログ信号に変換し、それをＬＣＤ１０６に出力し表示させる。このＬＣＤ１０６は本実施例においてカメラのファインダの役割を担っている。また、ＣＯＤＥＣ１０７はＤＳＰ１０４から送られる画像データの符号化をおこない、符号化された画像データはメモリ１０８に記録される。ここで、メモリ１０８は例えば半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などである。
なお、ＣＰＵ１０９、ＤＳＰ１４０では、例えばメモリ１０８に予め記録されたプログラムに従って様々な処理を実行可能であり、以下に説明する処理もプログラムに従って実行可能な処理である。
【００４５】
［２．露光評価および露光制御値算出処理について］
撮像素子（イメージセンサ）１０３は、撮像素子に設けられた画素の領域毎に異なる露光、すなわち領域単位で異なる露光時間を設定して１つの画像を撮影することができる。例えば、撮影する１つのシーン内で暗い被写体が存在する領域は明るい露光、すなわち長時間露光領域とし、一方、明るい被写体が存在する領域では暗い露光、すなわち短時間露光領域として撮影し１つの画像データを出力する。
このように各領域単位で、被写体の明るさに応じた最適露光で撮影を実行することでノイズや飽和の少ない画像データを生成することができる。
【００４６】
以下、撮像素子（イメージセンサ）の領域単位での異なる露光制御をおこなうための具体的な構成と処理について説明する。
図２は本実施例の露光評価および露光制御値算出のための処理構成を説明するブロック図である。
なお、図２において、ブロック平均輝度１１４、露光制御値１１６、露光制御値１１７等、平行な水平２本線で示す図形はデータあるいはデータを格納するメモリを表す。また、イメージセンサ１０３等の矩形で示された図形は、処理の実行部または処理を表す。
【００４７】
なお、図２に示す構成によっておこなわれる露光評価処理および露光制御値算出処理は、図１に示すＤＳＰ１０４において実行される処理であり、図２に示す構成は、ＤＳＰ１０４内に設定される構成である。
【００４８】
撮像素子（イメージセンサ）１０３から出力された画像データは領域毎に異なる露光で撮影される。
従って、図１に示す撮像素子（イメージセンサ）１０３から出力される画像データそのままでは領域毎に異なる露光時間の設定に基づく信号出力がなされた状態であるので、各露光時間の違いを補償して最終的な出力値を設定する必要がある。なお、撮像素子（イメージセンサ）１０３から出力される画像データが撮影された時点における露光制御値は露光制御値１１７として、ＤＳＰ１０４内のメモリに格納される。
【００４９】
撮像素子（イメージセンサ）１０３から出力される画像データは、メモリに格納された露光制御値１１７に基づき、露光補償乗算器１１１によって画素毎に最終的な画素値としての出力値を算出する補償処理を実行する。その後、画像データは信号処理部１１２に送られ、信号処理部１１２において、ホワイトバランス調整、デモザイク、リニアマトリクス、ガンマ補正、アパーチャ補正などのカメラ信号処理が施されて、カメラ撮影画像として出力できるデータとなる。
【００５０】
一方で、撮像素子（イメージセンサ）１０３から出力される画像データはブロック輝度評価部１１３にも入力される。ブロック輝度評価部１１３は、画像を矩形状に分割したブロック領域毎に輝度平均値を評価する。評価されたブロック毎の輝度平均値はブロック平均輝度１１４としてメモリに格納される。
なお、以下の実施例では、露光制御単位として規定するブロック（画素グループ）を矩形領域とした例を説明するが、ブロックは矩形領域に限定されるものではない。
【００５１】
露光制御値算出部１１５は、ブロック平均輝度１１４に基づいて撮像素子（イメージセンサ）１０３へ入力する露光制御値を算出する。露光制御値は、各ブロックの平均輝度とあらかじめ設定されているターゲット輝度値によって算出される。ターゲット輝度値は、露光制御によって期待する撮像素子（イメージセンサ）１０３からの出力輝度値であり、通常は白レベルの１８％〜２０％程度の輝度レベルに設定される。
【００５２】
このように、撮像素子（イメージセンサ）１０３は、撮像面を矩形で区切った領域であるブロック毎に露光制御を行う。露光制御値算出部１１５は、そのブロック領域に逐一対応するように露光制御値を算出し、算出した露光制御値を露光制御値１１６としてメモリに格納する。
【００５３】
撮像素子（イメージセンサ）１０３は、メモリに格納されたブロック対応の露光制御値１１６に基づいて次のフレームの画像データを撮影する。なお、図２に示すもう１つの露光制御値１１７は、露光制御値１１６のコピーデータであり、次に撮像素子（イメージセンサ）１０３から出力される画像データに対して露光補償をおこなうための情報として利用される。
【００５４】
露光制御値算出部１１５が、ブロック毎に露光制御値を算出する具体的な方法について説明する。
撮像素子（イメージセンサ）１０３の各構成画素からの出力輝度値をＩとする。
出力輝度値：Ｉは、
入射光量：Ｌ、
絞り口径の２乗：Ａ２、
シャッター時間：Ｔ、および、
センサ感度：Ｓ、
これらに比例する。
【００５５】
従って、撮像素子（イメージセンサ）１０３の各構成画素からの出力輝度値Ｉは、以下の算出式（式１）によって算出できる。
Ｉ＝ｋ・Ｌ・Ａ２・Ｔ・Ｓ      ・・・・・・（式１）
【００５６】
上記（式１）において、
ｋは比例係数である。
上記式から明らかなように、入射光量Ｌ、絞りＡと感度Ｓが一定である場合は、出力輝度値Ｉはシャッター時間Ｔに比例する。なお、シャッター時間とは露光時間に相当する。
従って、所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔは、現在の出力輝度値Ｉとシャッター時間Ｔを用いて、以下の（式２）に従って算出することができる。
Ｔｔ＝Ｔ（Ｉｔ／Ｉ）      ・・・・・・（式２）
【００５７】
上記（式１）、（式２）は、撮像素子（イメージセンサ）１０３の各構成画素の画素単位の出力輝度値：Ｉと、所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔの算出式であるが、本発明の構成では、複数の画素から構成されるブロック（画素グループ）単位で処理を行う。
【００５８】
すなわち、
現在のブロック（画素グループ）平均輝度をＩ、
各ブロック（画素グループ）の現在のシャッター時間をＴ、
このようなブロック（画素グループ）単位での算出構成とすることによって、ブロック（画素グループ）毎に、上記（式２）によってＴｔ（所定のターゲット輝度値Ｉｔを得るためのシャッター時間Ｔｔ）を算出し、それをブロック（画素グループ）毎の露光時間、すなわち露光制御値として利用する。
このように本発明の構成では、画素単位の輝度に基づく画素単位の露光制御ではなく、複数画素からなるブロック（画素グループ）単位の平均輝度に基づいてブロック単位の露光制御を実行する。
【００５９】
［３．撮像素子（イメージセンサ）の構成および露光制御機構について］
次に、撮像素子（イメージセンサ）１０３の構成と内部の露光制御機構について説明する。
図３は本実施例の撮像素子（イメージセンサ）の構成を説明する図である。図中の小さな正方形の各々が、撮像面に２次元格子状に配置された画素を表す。すなわち光電変換素子を持つ画素を表す。各画素は、水平方向に延びる３種類の制御線を介して制御信号ＲＳｒ，ＴＲｒ，ＳＬｒを入力し、さらに垂直方向に延びる１種類の制御線を介して制御信号ＲＳＴＲｃを入力する。
また、垂直方向に延びる信号線を介して画素信号ＳＩＧｃ、すなわち各画素が入射光に応じて蓄積した電荷を出力するようになっている。
【００６０】
水平方向の３種類の制御信号（ＲＳｒ，ＴＲｒ，ＳＬｒ）を伝送する制御線は全てＲｏｗセレクタ（行セレクタ）１１９に接続し、Ｒｏｗセレクタ１１９から制御信号が各画素に向けて伝達される。
また垂直方向の制御線は全てＣｏｌｕｍｎセレクタ（列セレクタ）１２０に接続し、Ｃｏｌｕｍｎセレクタ１２０から制御信号が各画素に向けて伝達される。
【００６１】
Ｒｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０は、タイミングジェネレータ（ＴＧ）１１８に接続し、タイミングジェネレータ（ＴＧ）１１８は撮像素子（イメージセンサ）１０３に対して外部からの露光制御信号の入力を受け付けるようになっている。
ここで外部から入力する露光制御信号とは、図２を参照して説明した露光制御値１１６、すなわち、ブロック単位の露光制御値である。
【００６２】
タイミングジェネレータ（ＴＧ）１１８は、ブロック単位の露光制御値をブロック単位のシャッター制御のタイミング情報に変換し、それをＲｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０に伝達する。Ｒｏｗセレクタ１１９およびＣｏｌｕｍｎセレクタ１２０はそれを受けてＲｏｗ毎およびＣｏｌｕｍｎ毎の制御信号を発生させて、制御信号ＲＳｒ，ＴＲｒ，ＳＬｒおよびＲＳＴＲｃを各画素に伝達する。
【００６３】
各画素から出力される出力画素信号ＳＩＧｃはＣｏｌｕｍｎ単位で選択するためのスイッチを通過するようになっている。スイッチはＣｏｌｕｍｎセレクタ１２０によるＣｏｌｕｍｎ選択信号ＳＬｃによって開閉する。Ｃｏｌｕｍｎ選択信号ＳＬｃによって選択されたＣｏｌｕｍｎの各画素からの画素信号ＳＩＧｃは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ回路）１２１に入力され、そこでリセットノイズが抑制され、次にＡＤＣ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ回路）に入力し、そこでアナログ信号からデジタル信号へと変換された後、画像出力として撮像素子（イメージセンサ）から出力される。
【００６４】
図４は本実施例の撮像素子（イメージセンサ）内の１つの画素の構成例を説明する等価回路である。図４の破線の四角形で囲まれた部分が１画素に相当する構成である。１つの画素は水平に延びる３種類の制御線から各制御信号ＲＳｒ，ＴＲｒ，ＳＬｒを入力する。
【００６５】
これらの制御信号ＲＳｒ，ＴＲｒ，ＳＬｒについては、同じＲｏｗ（行）に属する画素は全て同じ制御線から入力するようになっている。また、１つの画素は垂直に延びる制御線を介して制御信号ＲＳＴＲｃを入力する。この制御信号ＲＳＴＲｃは同じＣｏｌｕｍｎ（列）に属する画素は全て同じ制御線から入力するようになっている。
【００６６】
画素に光が入射されるとフォトダイオードＰＤにおいて光電変換により光量に応じた電荷が発生する。フォトダイオードＰＤに蓄積した電荷はトランジスタＭ２を介してフローティングディフュージョンＦＤに転送される。トランジスタＭ２のゲートはトランジスタＭ１を介して、制御信号ＴＲｒとＲＳＴＲｃによって制御される。トランジスタＭ４は、それが通電することによって、フローティングディフュージョンＦＤに蓄積された電荷をリセットする動作をおこなう。トランジスタＭ４のゲートはトランジスタＭ３を介して、制御信号ＲＳｒとＲＳＴＲｃによって制御される。フローティングディフュージョンＦＤに蓄積された電荷はトランジスタＭ５によって増幅され、トランジスタＭ６を介して出力画素信号ＳＩＧｃが出力される。トランジスタＭ６のゲートは制御信号ＳＬｒによって制御される。
【００６７】
本実施例においては、画素は以下の２パターンの動作、すなわち、
（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
これら２つの処理をおこなう。
上記（ａ），（ｂ）のどちらの動作もおこなわないときは、露光した電荷を蓄積した状態を維持している。
【００６８】
図５に、
（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
これら２つの処理の動作時の制御信号パターンを説明するタイミングチャートを示す。
横軸は時間である。
Ｃｏｌｕｍｎ（列）方向の制御信号ＲＳＴＲｃは、当該Ｃｏｌｕｍｎの画素が画素制御期間にあるときにａｃｔｉｖｅ状態を保持することにより、その画素が制御可能である状態を作る。
【００６９】
さらに、露光処理「ＳＨＵＴＴＥＲ」動作においては、ＲＳＴＲｃがａｃｔｉｖｅである間にＲｏｗ（行）方向の制御信号ＲＳｒとＴＲｒが同時にａｃｔｉｖｅになる。それによって、図４におけるトランジスタＭ２およびＭ４が同時に開状態となりフォトダイオードＰＤおよびフローティングディフュージョンＦＤの蓄積電荷がリセット、すなわち電子シャッターによる露光開始の動作となる。
【００７０】
また、読み出し処理「ＲＥＡＤ」動作においては、画素制御期間に制御信号ＲＳＴＲｃと同時にＲｏｗ方向の制御信号ＳＬｒがａｃｔｉｖｅ状態を保持する。そしてその間に、まず制御信号ＲＳｒが先に、次に制御信号ＴＲｒが順次ａｃｔｉｖｅになるように動作する。制御信号ＲＳｒがａｃｔｉｖｅになることでトランジスタＭ４が開状態となり、フローティングディフュージョンＦＤの電荷がリセットされると同時に、制御信号ＳＬｒによってトランジスタＭ６が開状態となっているので、リセットされた状態の出力画素信号ＳＩＧｃが出力される。
【００７１】
そして制御信号ＴＲｒがａｃｔｉｖｅになることでトランジスタＭ２が開状態となり、フォトダイオードＰＤに蓄積された電荷がフローティングディフュージョンＦＤに転送される。この時点でトランジスタＭ４は閉状態、トランジスタＭ６は引き続き開状態となっているため、転送された電荷に応じた出力画素信号ＳＩＧｃが信号線を介して出力される。ＲＥＡＤ動作によって順次出力されたリセット状態および蓄積状態の信号はそれぞれＣＤＳ内に保持された後、ＣＤＳ内の差分検出動作によってリセットノイズがキャンセルされた分の信号が生成される。
【００７２】
図６を参照して、Ｒｏｗセレクタの内部構成と、撮像素子１０３に設定されたブロック（画素グループ）との対応関係例について説明する。
本発明を実現する撮像素子（イメージセンサ）１０３は、複数の画素からなる画素グループ毎に異なる露光時間（シャッター時間）となるように制御することが１つの特徴である。
ここで説明する実施例では、撮像素子（イメージセンサ）１０３の撮像面を矩形ブロック状に分割した領域毎にブロック（画素グループ）を形成し、ブロック（画素グループ）それぞれに異なる露光時間（シャッター時間）とする制御を行う例である。
【００７３】
図６には撮像素子１０３に設定される矩形状のブロック（画素グループ）を破線四角形で示している。
図６においては、１つのブロックは、Ｐ行（Ｒｏｗ）、Ｑ列（Ｃｏｌｕｍｎ）の画素によって構成された例を一例として示している。なお、ブロック設定は様々な設定が可能である。
撮像素子全体の画素列（Ｃｏｌｕｍｎ）の総数はＷ列とする。
【００７４】
ブロック（画素グループ）は、水平方向をｘ方向、垂直方向をｙ方向とし、例えば図６の左上のブロック（画素グループ）のブロック識別子（アドレス）を（ｘ１，ｙｉ）としている。
ブロック（ｘ１，ｙｉ）の右隣りのブロックは、ブロック（ｘ２，ｙｉ）である。
ブロック（ｘ１，ｙｉ）の下に隣接するブロックは、ブロック（ｘ１，ｙｉ＋１）である。
【００７５】
ブロック（ｘ１，ｙｉ）の水平方向の右端のブロックは、ブロック（ｘＮ，ｙｉ）であり、１つのブロックの水平方向には（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のＮ個のブロックが設定される。
【００７６】
ブロック（画素グループ）単位の露光時間の制御、すなわちシャッター制御を実現するために、本実施例のＲｏｗセレクタ（行セレクタ）１１９の内部構成は、図６に示す構成を有する。
図６に示すように、Ｒｏｗセレクタ（行セレクタ）１１９は、ブロック（画素グループ）単位の制御信号（ＳＨｙ，ＲＤｙ）を生成するＲｏｗグループセレクタ１２３と、Ｒｏｗグループセレクタ１２３からブロック（画素グループ）単位の制御信号（ＳＨｙ，ＲＤｙ）を入力して、ブロック（画素グループ）内の画素に出力する制御信号を生成する複数のＲｏｗラインセレクタ１２４の階層構造となっている。
【００７７】
Ｒｏｗグループセレクタ１２３は、各Ｒｏｗラインセレクタ１２４に対して、
（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、または、
（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
上記の２種類の制御信号を選択して伝達する。
【００７８】
（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、
（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
これらの制御信号は、ブロック（画素グループ）単位での（ａ）露光開始または（ｂ）読み取り開始のタイミングの伝達であると同時に、１つのＲｏｗラインセレクタ１２４が担当する水平方向に並んだ複数のブロック（画素グループ）のうちのどれに対する制御であるかの指定情報を含んでいる。Ｒｏｗラインセレクタ１２４は、Ｒｏｗグループセレクタ１２３からの制御信号ＳＨｙもしくはＲＤｙを入力して、入力制御信号に含まれるブロック指定情報に該当するブロック（画素グループ）の全画素に対して、先に図５を参照して説明した、
（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
これら２つの処理いずれかの制御信号パターンを伝達する。
【００７９】
１つのブロック（画素グループ）には、数行（Ｒｏｗ）および数列（Ｃｏｌｕｍｎ）にわたる複数のブロックが含まれる。例えば図６に示す例ではＰ×Ｑの画素が１つのブロックに含まれる。従って、１つのブロック（画素グループ）の動作を完結させるには、ブロック内の各画素に与える制御信号を、適切に時間をずらして与える必要がある。図６に示すＲｏｗラインセレクタ１２４は、画素グループ内の全画素が適切なタイミングで動作するように制御信号を生成する。
【００８０】
ちなみに、本実施例では、Ｃｏｌｕｍｎ方向（列方向）にはＣｏｌｕｍｎ単位で順次走査するだけの動作をおこなうので、Ｃｏｌｕｍｎセレクタの階層構造は必要ない。
【００８１】
図７は、図６中に示す１つのＲｏｗラインセレクタ１２４の内部構成を説明するブロック図である。１つのＲｏｗラインセレクタは、Ｎ個のラインセレクタ１２５，１２６，...，１２７とＳＨＵＴＴＥＲ（シャッター）制御信号ジェネレータ１２８とＲＥＡＤ（読み出し）制御信号ジェネレータ１２９と、Ｐ個のＲｏｗ選択スイッチ１３０によって構成される。
【００８２】
ここで、ラインセレクタの数に相当するＮは、同じＲｏｗラインセレクタが担当する水平方向に並ぶブロック（画素グループ）の個数である。
また、Ｒｏｗ選択スイッチ１３０の数に相当するＰは、同じＲｏｗラインセレクタが担当するＲｏｗ（行）の本数である。
【００８３】
各ラインセレクタ１２５，１２６，...，１２７は、Ｒｏｗグループセレクタ１２３からの制御信号である、
（ａ）ＳＨＵＴＴＥＲ制御開始（ＳＨｙ）、または、
（ｂ）ＲＥＡＤ制御開始（ＲＤｙ）、
これらの制御信号をうけて、それが各自が担当するブロック（画素グループ）に対する制御信号であった場合に、各画素に制御信号を送るタイミング信号を生成し、タイミング信号をＳＨＵＴＴＥＲ制御信号ジェネレータ１２８とＲＥＡＤ制御信号ジェネレータ１２９とＰ個のＲｏｗ選択スイッチ１３０に出力してこれらを制御する。
すなわち、Ｎ個のラインセレクタ１２５，１２６，...，１２７の各々は、水平方向のＮ個のブロック（画素グループ）各々に対して設定され、各ブロックに対応する制御信号の出力タイミングを設定する。
【００８４】
ＳＨＵＴＴＥＲ制御信号ジェネレータ１２８とＲＥＡＤ制御信号ジェネレータ１２９は、それぞれ図５（ａ）と図５（ｂ）に示した画素制御パターンを発生させる回路である。
ＳＨＵＴＴＥＲ制御信号ジェネレータ１２８は、
（ａ）露光処理としての「ＳＨＵＴＴＥＲ」処理において利用される図５（ａ）に示した画素制御パターンを発生させる回路である。
ＲＥＡＤ制御信号ジェネレータ１２９は、
（ｂ）読み出し処理としての「ＲＥＡＤ」処理において利用される図５（ｂ）に示した画素制御パターンを発生させる回路である。
【００８５】
ラインセレクタ１２５，１２６，...，１２７のいずれか、ａｃｔｉｖｅに動作中のラインセレクタからの制御信号（タイミング信号）を入力して、上記（ａ），（ｂ）、すなわち、図５（ａ），（ｂ）の制御信号を発生させ、その出力を全Ｒｏｗに向けて出力する。その制御信号は一旦Ｒｏｗ毎にＲｏｗ選択スイッチ１３０を通過するようになっており、Ｒｏｗ選択スイッチ１３０は、Ｎ個のラインセレクタ１２５，１２６，...，１２７のいずれかから出力される制御信号（タイミング信号）により開状態となり、当該のＲｏｗに対して画素制御信号を伝達するようになっている。
【００８６】
図７に示す１つのＲｏｗラインセレクタ１２４に対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタ１２４の動作を説明するタイミング図を図８に示す。
【００８７】
この図８は、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＳＨＵＴＴＥＲ（シャッター）開始制御信号（ＳＨｙ）の入力時の処理例である。
【００８８】
図８に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）への制御信号ＳＨｙ、
（２）Ｃｏｌｕｍｎセレクタ１２０（図３参照）が制御するＲＳＴＲｃ制御信号（上からｃ１番目、ｃ２番目、…、ｃＱ番目、ｃ（Ｑ＋１）番目、…、ｃＷ番目のＣｏｌｕｍｎ）、
（３）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
（３−１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
（３−２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
…、
（３−Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
を示す。
【００８９】
ここで、
Ｑはｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のｘ１番目のブロック（画素グループ）であるブロック（ｘ１，ｙｉ）に属するＣｏｌｕｍｎ数（列数）である。
Ｗは撮像素子（イメージセンサ）の全Ｃｏｌｕｍｎ数（列数）である。
Ｐはブロック（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
【００９０】
Ｃｏｌｕｍｎセレクタ１２０は、露光制御入力に関係なく、常に撮像素子１０３のＣｏｌｕｍｎ（列）単位の順次走査を、撮像素子の全てのＣｏｌｕｍｎ（列）：ｃ１〜ｃＷについて繰り返す動作をおこなう。すなわち、Ｃｏｌｕｍｎの制御信号ＲＳＴＲｃは、ｃ１〜ｃＷまで順次ａｃｔｉｖｅになる周期を繰り返す。ＲＳＴＲｃが１つのＣｏｌｕｍｎでａｃｔｉｖｅ状態を保持する期間が画素制御期間に相当する。
【００９１】
Ｒｏｗグループセレクタ１２３がブロック（ｘ１，ｙｉ）の画素グループに対して、制御信号ＳＨｙ、すなわちＳＨＵＴＴＥＲ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＳＨｙはＲＳＴＲｃ１に同期してｙｉ番目のＲｏｗラインセレクタ１２４に伝達される。
【００９２】
制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＳＨＵＴＴＥＲ制御信号ジェネレータ１２８をａｃｔｉｖｅにしてＳＨＵＴＴＥＲ制御信号の発生を開始させる。
【００９３】
さらに各画素に制御信号を伝達するタイミングで、図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＳＨＵＴＴＥＲ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行〜ｒＰ行に伝達されるように制御する。
その結果として、まず、図８（３−１）に示すように、
ｒ１番目のＲｏｗ（図６に示すｒ1行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）がＱ回、ＲＳＴＲｃ１〜ＲＳＴＲｃＱに同期して伝達される。
これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第１行（ｒ１行）のＱ個の画素（ｃ１列〜ｃＱ列）各々に対応する制御信号である。
【００９４】
その後ＲＳＴＲｃ（Ｑ＋１）〜ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）の画素グループ内のＣｏｌｕｍｎに対応する処理期間ではないので、図８（３−１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）］は発生させない。
【００９５】
次に、図８（３−２）に示すように、
ｒ２番目のＲｏｗ（図６に示すｒ２行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２の信号）がＱ回、ＲＳＴＲｃ１〜ＲＳＴＲｃＱに同期して伝達される。
これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第２行（ｒ２行）のＱ個の画素（ｃ１列〜ｃＱ列）各々に対応する制御信号である。
その後ＲＳＴＲｃ（Ｑ＋１）〜ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
【００９６】
以降、図８（３−１）〜（３−Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＳＨＵＴＴＥＲ動作が完了するので、制御信号ＳＨｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
【００９７】
次に、図９に示すタイミングチャートを参照して、図７に示す１つのＲｏｗラインセレクタ１２４に対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタ１２４の動作を説明する。
【００９８】
この図９も、先に説明した図８と同様、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＲＥＡＤ（読み出し）開始制御信号（ＲＤｙ）の入力時の処理例である。
【００９９】
図９に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）への制御信号ＲＤｙ、
（２）Ｃｏｌｕｍｎセレクタ１２０（図３参照）が制御するＲＳＴＲｃ制御信号（上からｃ１番目、ｃ２番目、…、ｃＱ番目、ｃ（Ｑ＋１）番目、…、ｃＷ番目のＣｏｌｕｍｎ）、
（３）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
（３−１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
（３−２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
…、
（３−Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
を示す。
【０１００】
ここで、
Ｑはｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のｘ１番目のブロック（画素グループ）であるブロック（ｘ１，ｙｉ）に属するＣｏｌｕｍｎ数（列数）である。
Ｗは撮像素子（イメージセンサ）の全Ｃｏｌｕｍｎ数（列数）である。
Ｐはブロック（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
【０１０１】
Ｃｏｌｕｍｎセレクタ１２０は、露光制御入力に関係なく、常に撮像素子１０３のＣｏｌｕｍｎ（列）単位の順次走査を、撮像素子の全てのＣｏｌｕｍｎ（列）：ｃ１〜ｃＷについて繰り返す動作をおこなう。すなわち、Ｃｏｌｕｍｎの制御信号ＲＳＴＲｃは、ｃ１〜ｃＷまで順次ａｃｔｉｖｅになる周期を繰り返す。ＲＳＴＲｃが１つのＣｏｌｕｍｎでａｃｔｉｖｅ状態を保持する期間が画素制御期間に相当する。
【０１０２】
Ｒｏｗグループセレクタ１２３がブロック（ｘ１，ｙｉ）の画素グループに対して、制御信号ＲＤｙ、すなわちＲＥＡＤ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＲＤｙはＲＳＴＲｃ１に同期してｙｉ番目のＲｏｗラインセレクタ１２４に伝達される。
【０１０３】
制御信号ＲＤｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＲＥＡＤ制御信号ジェネレータ１２９をａｃｔｉｖｅにしてＲＥＡＤ制御信号の発生を開始させる。
【０１０４】
さらに各画素に制御信号を伝達するタイミングで、図7に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＲＥＡＤ制御信号が、、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行〜ｒＰ行に伝達されるように制御する。
その結果として、まず、図９（３−１）に示すように、
ｒ１番目のＲｏｗ（図６に示すｒ1行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）がＱ回、ＲＳＴＲｃ１〜ＲＳＴＲｃＱに同期して伝達される。
これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第１行（ｒ１行）のＱ個の画素（ｃ１列〜ｃＱ列）各々に対応する制御信号である。
【０１０５】
その後ＲＳＴＲｃ（Ｑ＋１）〜ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）の画素グループ内のＣｏｌｕｍｎに対応する処理期間ではないので、図９（３−１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）］は発生させない。
【０１０６】
次に、図９（３−２）に示すように、
ｒ２番目のＲｏｗ（図６に示すｒ２行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２とＳＬｙｉｒ２の信号）がＱ回、ＲＳＴＲｃ１〜ＲＳＴＲｃＱに同期して伝達される。
これは、制御対象とするブロック、例えば図６に示す左上のブロック（ｘ１，ｙｉ）の第２行（ｒ２行）のＱ個の画素（ｃ１列〜ｃＱ列）各々に対応する制御信号である。
その後ＲＳＴＲｃ（Ｑ＋１）〜ＲＳＴＲｃＷの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
【０１０７】
以降、図９（３−１）〜（３−Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＲＥＡＤ動作が完了するので、制御信号ＲＤｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
【０１０８】
以上の構成を持つ撮像素子（イメージセンサ）とそれに対するブロック単位の露光制御入力があれば、ブロック毎に異なるシャッターで撮影する動作が可能となる。
以下、撮像素子（イメージセンサ）１０３の全体の露光制御動作例について説明する。
【０１０９】
［４．露光制御動作例その１：通常の均一シャッター動作］
まず露光制御動作例その１として、従来の撮像素子（イメージセンサ）と同様に、撮像素子の撮像面の全面均一な露光期間設定としたシャッター制御撮影が可能であることを説明する。
なお、説明の簡略化のため、前提として、撮像素子（イメージセンサ）内のブロック（画素グループ）の数を水平方向に３（ｘ１〜ｘ３）、垂直方向に３（ｙ１〜ｙ３）とし、また各ブロック（画素グループ）は２つのＲｏｗ（ｒ１〜ｒ２）を有する構成とする。
【０１１０】
図１０に、通常の全面均一な露光時間の露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図を示す。
横軸は時間であり、垂直の破線で示す区間は１ブロック（１画素グループ）の幅に相当するＱ個の画素制御期間を示す。すなわちこの区間で画素グループの制御期間が切り替わるので、対応する画素グループ（ｘ１，ｘ２，ｘ３のいずれか）の制御期間であることが解り易いように、図の上部に３種類に塗り分けた領域を設定している。
（１）黒＝ｘ１
（２）斜線＝ｘ２
（３）白＝ｘ３
これら水平方向に並んだ３つのブロックに対応する。
【０１１１】
図１０に示すタイミング図では、撮像素子のブロックを水平方向３つ、垂直方向３つ、すなわち、ブロック識別子として、
（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ３，ｙ１）
（ｘ１，ｙ２）、（ｘ２，ｙ２）、（ｘ３，ｙ２）
（ｘ１，ｙ３）、（ｘ２，ｙ３）、（ｘ３，ｙ３）
これらの９つのブロックを制御対象とした例である。
【０１１２】
水平方向のブロック（画素グループ）は３つという前提なので、３区間で１Ｒｏｗ＝全Ｃｏｌｕｍｎ分となる。図の上半分に示す６つのラインは、Ｒｏｗグループセレクタ１２３が各Ｒｏｗラインセレクタ１２４へ出力する制御信号を示している。
上から順に、
（ａ１）ｙ１番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ａ２）ｙ２番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ａ３）ｙ３番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ｂ１）ｙ１番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
（ｂ２）ｙ２番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
（ｂ３）ｙ３番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
これらの信号である。
【０１１３】
通常の全面均一なシャッター制御をおこなう場合は（ａ1）〜（ａ３）に示すシャッター制御信号ＳＨｙを用いることなく（ｂ１）〜（ｂ３）に示す読み出し制御信号ＲＤｙを利用するだけのシーケンスで実現する。
【０１１４】
最初に、図１０（ｂ１）に示すように、ｙ１番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
次に、図１０（ｂ２）に示すように、ｙ２番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
次に、図１０（ｂ３）に示すように、ｙ３番目のＲｏｗラインセレクタに対して、ＲＥＡＤ開始制御信号（ＲＤｙ）をｘ１，ｘ２，ｘ３の画素グループ向けに連続して与えた後、１Ｒｏｗ分だけ休止する。
以降は同じシーケンスを繰り返す。
このようなシーケンスで制御をすれば、各Ｒｏｗラインセレクタが先に図９を参照して説明した動作をおこなうので、水平方向に画素順次そして垂直方向にライン順次で画素のＲＥＡＤ動作が行われる。
【０１１５】
その様子を、図１０の下半分の（ｃ）に示す。
図１０（ｃ）に示す各ラインは、ブロック（画素グループ）をさらにＲｏｗ毎に分割した単位での画素の動作状態を示している。上から、
ｘ１ｙ１ｒ１：ブロック（ｘ１，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ２ｙ１ｒ１：ブロック（ｘ２，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ３ｙ１ｒ１：ブロック（ｘ３，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ１ｙ１ｒ２：ブロック（ｘ１，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ２ｙ１ｒ２：ブロック（ｘ２，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ３ｙ１ｒ２：ブロック（ｘ３，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ１ｙ２ｒ１：ブロック（ｘ１，ｙ２）の画素グループのｒ１番目のＲｏｗ、
：
ｘ１ｙ３ｒ２：ブロック（ｘ１，ｙ３）の画素グループのｒ２番目のＲｏｗ、
ｘ２ｙ３ｒ２：ブロック（ｘ２，ｙ３）の画素グループのｒ２番目のＲｏｗ、
ｘ３ｙ３ｒ２：ブロック（ｘ３，ｙ３）の画素グループのｒ２番目のＲｏｗ、
このように、Ｒｏｗ毎に分割した単位での画素の動作状態を示している。
【０１１６】
［実線区間］はＲＥＡＤ動作（読み出し）をおこなう期間であることを示す。
［破線区間］は露光期間中であることを示す。
先に図５（ｂ）を参照して説明したように画素のＲＥＡＤ動作はフォトダイオードＰＤの電荷のリセットも兼ねているので、ＲＥＡＤ動作終了時点で、そのまま次の露光期間に入ることができる。
【０１１７】
例えば、（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、ブロック（ｘ１，ｙ１）の第１行（ｒ１）の露光処理（ＳＨＵＴＴＥＲ）と読み出し処理（ＲＥＡＤ）のシーケンスを示している。
（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の最初の実線区間で規定される読み出し処理（ＲＥＡＤ）は、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ１）に応じて実行される。この信号（ｓ１）に基づいて、図５（ｂ）に示す信号パターンがブロック（ｘ１，ｙ１）の第１行（ｒ１）の画素に提供され、信号読み取りが実行される。
この信号読み取りが終了すると、露光処理（ＳＨＵＴＴＥＲ）が開始される。図に示す破線区間である。次に、さらに、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ２）に応じて、露光処理機関に蓄積された電荷が画素信号として読み出される。
【０１１８】
図１０（ｃ）に示すように、全ての行ｘ１ｙ１ｒ１〜ｘ３ｙ３ｒ２において、露光期間を示す波線区間は、すべて同じ期間になる。すなわち、先行するＲＥＡＤ動作から次のＲＥＡＤ動作までとして設定される露光期間は全ての画素で同じに設定されるため、全画素が同じ露光期間（シャッター期間）で露光されるようになる。
【０１１９】
［５．露光制御動作例その２：画素グループ毎に異なるシャッター動作］
次に、露光制御動作例その２として、ブロック（画素グループ）単位で異なる露光期間（シャッター期間）を設定した撮影が可能であることを説明する。
図１０を参照して説明した通常の全面均一なシャッターによる撮像例と同様、前提として、撮像素子（イメージセンサ）内の画素グループの数を水平方向に３（ｘ１〜ｘ３）、垂直方向に３（ｙ１〜ｙ３）とし、また各ブロック（画素グループ）は２つのＲｏｗ（ｒ１〜ｒ２）を有する構成とする。
【０１２０】
図１１に、画素グループ毎に異なる露光時間とした露光制御（シャッター制御）による撮像をおこなう場合のＲｏｗグループセレクタの制御を説明するタイミング図を示す。
横軸は時間であり、垂直の破線で示す区間は１ブロック（１画素グループ）の幅に相当するＱ個の画素制御期間を示す。すなわちこの区間で画素グループの制御期間が切り替わるので、対応する画素グループ（ｘ１，ｘ２，ｘ３のいずれか）の制御期間であることが解り易いように、図の上部に３種類に塗り分けた領域を設定している。
（１）黒＝ｘ１
（２）斜線＝ｘ２
（３）白＝ｘ３
これら水平方向に並んだ３つのブロックに対応する。
【０１２１】
図１１に示すタイミング図では、撮像素子のブロックを水平方向３つ、垂直方向３つ、すなわち、ブロック識別子として、
（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ３，ｙ１）
（ｘ１，ｙ２）、（ｘ２，ｙ２）、（ｘ３，ｙ２）
（ｘ１，ｙ３）、（ｘ２，ｙ３）、（ｘ３，ｙ３）
これらの９つのブロックを制御対象とした例である。
【０１２２】
水平方向のブロック（画素グループ）は３つという前提なので、３区間で１Ｒｏｗ＝全Ｃｏｌｕｍｎ分となる。図の上半分に示す６つのラインは、Ｒｏｗグループセレクタ１２３が各Ｒｏｗラインセレクタ１２４へ出力する制御信号を示している。
上から順に、
（ａ１）ｙ１番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ａ２）ｙ２番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ａ３）ｙ３番目のＲｏｗラインセレクタへのＳＨｙ［ＳＨＵＴＴＥＲ（シャッター（露光））開始制御信号］、
（ｂ１）ｙ１番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
（ｂ２）ｙ２番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
（ｂ３）ｙ３番目のＲｏｗラインセレクタへのＲＤｙ［ＲＥＡＤ（読み出し）開始制御信号］、
これらの信号である。
【０１２３】
ブロック（画素グループ）毎に異なる露光時間とする露光制御（シャッター制御）による撮像は、全面均一なシャッター制御の場合と同様の全画素グループに等しい間隔の（ｂ１）〜（ｂ３）に示す読み出し制御信号ＲＤｙを与えるシーケンスに加えて、画素グループ毎に異なるタイミングで、（ａ1）〜（ａ３）に示すシャッター制御信号ＳＨｙを与えるシーケンスを加えることで実現する。
【０１２４】
（ａ1）〜（ａ３）に示すシャッター制御信号ＳＨｙは、制御信号ＲＤｙが与えられてから同じ画素グループに対して次の制御信号ＲＤｙが与えられる期間のどこかで、そのブロック（画素グループ）に対応する制御期間に同期して与えることができる。図１１に示す例においては、垂直方向のブロック（画素グループ）の分割数が３であり、１画素グループが２Ｒｏｗを含むので、制御信号ＲＤｙから次の制御信号ＲＤｙまでの間隔は６Ｒｏｗ期間であり、１Ｒｏｗ期間に１回の対応する画素グループ制御期間があるので、制御信号ＳＨｙを与える機会は５回ある（露光期間（シャッター）の長さのバリエーションは６だが、そのうち１回は制御信号ＲＤｙのタイミングと重なるので制御信号ＳＨｙを与える必要がない）。すなわちシャッター時間設定は、１フレーム期間を撮像素子（イメージセンサ）のＲｏｗ数で分割しただけの分解能を持ち、各画素グループはその分解能の範囲で、入力される露光制御値に基づいたシャッター時間を選択することができる。
【０１２５】
各Ｒｏｗラインセレクタにシャッター制御信号ＳＨｙが与えられると、図８を参照して説明した動作によって、そのＲｏｗラインセレクタが担当する画素で露光処理としてのＳＨＵＴＴＥＲ動作がおこなわれ、画素に蓄積した電荷がリセットされるので、その時点から新たな露光期間が開始されるようになる。
【０１２６】
図１１の上半分に示した（ａ）制御信号ＳＨｙと、（ｂ）ＲＤｙを与えたときの各画素の動作状態を同図の下半分の（ｃ）に示す。
図１１（ｃ）に示す各ラインは、ブロック（画素グループ）をさらにＲｏｗ毎に分割した単位での画素の動作状態を示している。上から、
ｘ１ｙ１ｒ１：ブロック（ｘ１，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ２ｙ１ｒ１：ブロック（ｘ２，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ３ｙ１ｒ１：ブロック（ｘ３，ｙ１）の画素グループのｒ１番目のＲｏｗ、
ｘ１ｙ１ｒ２：ブロック（ｘ１，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ２ｙ１ｒ２：ブロック（ｘ２，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ３ｙ１ｒ２：ブロック（ｘ３，ｙ１）の画素グループのｒ２番目のＲｏｗ、
ｘ１ｙ２ｒ１：ブロック（ｘ１，ｙ２）の画素グループのｒ１番目のＲｏｗ、
：
ｘ１ｙ３ｒ２：ブロック（ｘ１，ｙ３）の画素グループのｒ２番目のＲｏｗ、
ｘ２ｙ３ｒ２：ブロック（ｘ２，ｙ３）の画素グループのｒ２番目のＲｏｗ、
ｘ３ｙ３ｒ２：ブロック（ｘ３，ｙ３）の画素グループのｒ２番目のＲｏｗ、
このように、Ｒｏｗ毎に分割した単位での画素の動作状態を示している。
【０１２７】
実線区間はＲＥＡＤ動作（読み出し）をおこなう期間であることを示している。
破線区間は露光期間中であることを示す。
均一露光処理例として説明した図１０とは異なり、制御信号ＳＨｙによって露光期間がリセットされるので、画素グループ毎に異なる長さの露光期間（＝破線区間）によって撮像される。
【０１２８】
しかし、図８で説明した、制御信号ＳＨｙに対するＲｏｗラインセレクタの動作によって、同じ画素グループ内の画素は異なるＲｏｗであっても同じ露光時間になるように制御される。
【０１２９】
例えば、（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、ブロック（ｘ１，ｙ１）の第１行（ｒ１）の露光処理（ＳＨＵＴＴＥＲ）と読み出し処理（ＲＥＡＤ）のシーケンスを示している。
（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の最初の実線区間で規定される読み出し処理（ＲＥＡＤ）は、（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ１）に応じて実行される。この信号（ｓ１）に基づいて、図５（ｂ）に示す信号パターンがブロック（ｘ１，ｙ１）の第１行（ｒ１）の画素に提供され、信号読み取りが実行される。
【０１３０】
図１１に示す例では、均一露光処理例として説明した図１０とは異なり、制御信号ＳＨｙによって露光期間がリセットされ、このリセット後に、次の露光期間が開始する。
（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）は、（ａ１）制御信号ＳＨｙの入力信号（ｓ２）に応じて、露光処理が開始される。（ｃ）に示す最上段の（ｘ１ｙ１ｒ１）の露光期間は、この（ｓ２）位置から、次の（ｂ１）に示す読み取り開始（ＲＤｙ１）信号（ｓ３）の位置までの期間に制御される。
【０１３１】
このように、露光（ＳＨＵＴＴＥＲ）制御信号と読み取り（ＲＥＡＤ）制御信号を各ブロック単位で設定することで、ブロック単位の任意の露光期間の設定を可能としている。
【０１３２】
図１１に示す制御の結果、撮像面全体では図１２に示されるような露光時間（シャッター時間）に制御される。図１２に示す９つのブロックは、水平方向をｘ、垂直方向をｙとして、左上端のブロックをブロック（ｘ１，ｙ１）、右下端のブロックをブロック（ｘ３，ｙ３）として、ブロック（ｘ１，ｙ１）〜（ｘ３，ｙ３）の９つのブロック（画素グループ）を示している。
各ブロック内の数値１〜４は、露光期間（シャッター時間）の相対的な値を示している。数値４の設定されたブロックは、数値１の設定されたブロックの４倍の露光期間が設定されていることを示している。
【０１３３】
本実施例の制御機構を用いることで、この図１２に示すようにブロック（画素グループ）毎に異なる露光期間としたシャッター制御をおこなっても、各画素からの信号読み出しはセンサの左上から等しい時間間隔で順次おこなわれるので、１フレーム分の画像データをそろえるのに外部にフレームメモリやディレイラインなどを設ける必要はない。すなわち、蓄積電荷の読み出し処理は、図１１に示すライン２０１ａ，２０１ｂに沿って実行され、従来の読み出し処理シーケンスと同様に実行されることになり、読み出し処理のための新たなメモリ等の構成は必要とならない。
【０１３４】
［６．第２の実施例：カラムＡＤＣとの共存］
ここまで、複数画素からなるブロック（画素グループ）毎に異なる露光期間を設定する露光期間制御（シャッター制御）を行って画像撮影を実行する撮像素子（イメージセンサ）について、画素順次読み出しをおこなう撮像素子（イメージセンサ）を例として説明した。
【０１３５】
撮像素子（イメージセンサ）の各画素の蓄積電荷の読み出し処理は、上述したような画素順次読み出し構成の他、画素から並列に信号を読み出すカラムＡＤＣ構成がある。本発明の露光制御構成は、このカラムＡＤＣの読み出し構成にも適用可能である。
以下、この構成例について説明する。なお、本実施例においても、撮像装置の全体構成は、先に説明した実施例と同様、図１の構成が適用可能である。
撮像素子（イメージセンサ）１０３の構成と処理が異なってくる。
【０１３６】
図１３は、カラムＡＤＣを用いた撮像素子（イメージセンサ）の構成を説明する図である。図中の小さな正方形の各々が、撮像面に２次元格子状に配置された画素を表す。すなわち光電変換素子としての画素を表す。各画素は、水平方向に延びる３種類の制御線を介して制御信号ＲＳｒ，ＴＲｒ，ＳＬｒと垂直方向に延びる１種類の制御線を介して制御信号ＲＳＴＲｃを入力するように接続される。
また、垂直方向に延びる信号線を介して画素信号ＳＩＧｃを出力するようになっている。
【０１３７】
水平方向の３種類の制御信号（ＲＳｒ，ＴＲｒ，ＳＬｒ）を伝送する制御線は全てＲｏｗセレクタ（行セレクタ）１３２に接続し、Ｒｏｗセレクタ１３２から制御信号が各画素に向けて伝達される。
また垂直方向の制御線は全てＣｏｌｕｍｎセレクタ（列セレクタ）１３３に接続し、Ｃｏｌｕｍｎセレクタ１３３から制御信号が各画素に向けて伝達される。
【０１３８】
Ｒｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３は、タイミングジェネレータ（ＴＧ）１３１に接続し、タイミングジェネレータ（ＴＧ）１３１は撮像素子（イメージセンサ）１０３外からの露光制御信号の入力を受け付けるようになっている。
ここで外部から入力する露光制御信号とは、図２を参照して説明した露光制御値１１６、すなわち、ブロック単位の露光制御値である。
【０１３９】
タイミングジェネレータ（ＴＧ）１３１は、ブロック単位の露光制御値をブロック単位のシャッター制御のタイミング情報に変換し、それをＲｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３に伝達する。Ｒｏｗセレクタ１３２およびＣｏｌｕｍセレクタ１３３はそれを受けてＲｏｗ毎およびＣｏｌｕｍｎ毎の制御信号を発生させて、制御信号ＲＳｒ，ＴＲｒ，ＳＬｒおよびＲＳＴＲｃを各画素に伝達する。
【０１４０】
各画素から出力される出力画素信号ＳＩＧｃは、第１の実施例とは異なり、複数のＣｏｌｕｍｎで並列に動作するカラムＡＤＣ１３４に接続され、画素からの信号はカラムＡＤＣ１３４に取り込まれるようになっている。本実施例では、各画素から出力される出力画素信号ＳＩＧｃは、ブロック（画素グループ）単位で並列に読みだされ、カラムＡＤＣ１３４内に信号が保持される。
【０１４１】
カラムＡＤＣ１３４は１Ｒｏｗ分の信号がそろった時に並列にＡ−Ｄ変換動作をおこない、１Ｒｏｗ分のアナログの画素信号をデジタル値に変換する。
デジタル化された画素信号は、Ｃｏｌｕｍｎ選択制御信号ＳＬｃの制御によって、順次撮像素子（イメージセンサ）から出力される。
【０１４２】
なお、この第２の実施例においても、撮像素子（イメージセンサ）内の１つの画素の構成としては、図４を参照して説明した構成と同じ画素構成が利用できる。同様に、図５を参照して説明した２つの画素動作実行用の信号パターン、すなわち、
（ａ）露光処理「ＳＨＵＴＴＥＲ（シャッター）」に基づく電荷蓄積処理
（ｂ）読み出し処理「ＲＥＡＤ（リード）」に基づく蓄積電荷出力処理
これら２つの処理のための信号パターンも同様のパターンの利用が可能である。
さらに、Ｒｏｗセレクタの階層的な内部構成およびＲｏｗラインセレクタの構成についても、先に図６と図７を参照して説明した構成が利用できる。
【０１４３】
ただし、Ｃｏｌｕｍｎセレクタに関しては、このカラムＡＤＣを利用した第２実施例では、先に説明した実施例１とは異なる構成となるので以下に説明する。
【０１４４】
第２の実施例ではカラムＡＤＣによって複数の画素の画素信号（蓄積電荷）を並列に読みだすことが可能になる。そこで第２の実施例のＣｏｌｕｍｎセレクタは図１４に示すような階層構造とすることによって、画素グループ毎に複数の画素を同時に制御できるようにする。
【０１４５】
図１４に示すように、本実施例のＣｏｌｕｍｎセレクタ１３３の内部構成は、ブロック（画素グループ）単位の制御信号を生成するＣｏｌｕｍｎグループセレクタ１３５と、ブロック（画素グループ）単位の制御信号を受けてブロック（画素グループ）］内の制御信号を生成する複数のＣｏｌｕｍｎラインセレクタ１３６との階層構造となっている。
【０１４６】
Ｃｏｌｕｍｎグループセレクタ１３５は、制御信号ＳＬｘによって、各Ｃｏｌｕｍｎラインセレクタ１３６に対してブロック（画素グループ）単位の制御期間の開始を伝達する。Ｃｏｌｕｍｎラインセレクタ１３６は、Ｃｏｌｕｍｎグループセレクタ１３５からの制御信号ＳＬｘを受けて、担当する画素グループの全Ｃｏｌｕｍｎに向けて並列に制御信号ＲＳＴＲｃを伝達する。
【０１４７】
ちなみに、Ｃｏｌｕｍｎラインセレクタ１３６の動作は単純で、Ｃｏｌｕｍｎグループセレクタ１３５からの制御信号ＳＬｘを画素へ伝達する制御信号ＲＳＴＲｃに変換し、複数Ｃｏｌｕｍｎに並列に伝達するだけである。
【０１４８】
図１５に、図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、露光処理開始を指示するＳＨＵＴＴＥＲ（シャッター）制御開始を示す制御信号ＳＨｙが入力された場合のＲｏｗラインセレクタの動作を説明するタイミング図を示す。
【０１４９】
なお、前述したように、本実施例２におけるＲｏｗセレクタ１３２の構成は、先に説明した実施例１と同様の構成であり、図６、図７を参照して説明した構成を持つ。
【０１５０】
この図１５は、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＳＨＵＴＴＥＲ（シャッター）開始制御信号（ＳＨｙ）の入力時の処理例である。
【０１５１】
図１５に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
（１）ｙｉ番目のＲｏｗラインセレクタ（図１３、図６参照）への制御信号ＳＨｙ、
（２）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＳＬｘ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ−１）番目、ｘＮ番目のブロック（画素グループ））、
（３）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＲＳＴＲｃ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ−１）番目、ｘＮ番目のブロック（画素グループ））、
（４）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
（４−１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
（４−２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
…、
（４−Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
を示す。
【０１５２】
ここで、
Ｎは水平方向のブロック（画素グループ）数である。
Ｐは（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
【０１５３】
Ｃｏｌｕｍｎセレクタ１３３は、露光制御入力に関係なく、常にブロック（画素グループ）単位の順次走査を繰り返す動作をおこなう。Ｃｏｌｕｍｎグループセレクタの制御信号ＳＬｘは水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。Ｃｏｌｕｍｎラインセレクタの制御信号ＲＳＴＲｘはその制御信号ＳＬｘに同期し、水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。
【０１５４】
図１５（３）に示すＲＳＴＲｘがａｃｔｉｖｅ状態を保持する期間は各ブロック（画素グループ）の制御期間であり、並列におこなわれる複数の画素の制御期間にも相当する。Ｒｏｗグループセレクタがｘ１ｙｉ番目の画素グループに対してＳＨｙすなわちＳＨＵＴＴＥＲ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＳＨｙはＲＳＴＲｘ１に同期してｙｉ番目のＲｏｗラインセレクタに伝達される。
【０１５５】
制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＳＨＵＴＴＥＲ制御信号ジェネレータ（図７参照）をａｃｔｉｖｅにしてＳＨＵＴＴＥＲ制御信号の発生を開始させる。
【０１５６】
さらに各画素に制御信号を伝達するタイミングで、図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＳＨＵＴＴＥＲ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行〜ｒＰ行に伝達されるように制御する。
その結果として、まず、図１５（４−１）に示すように、
ｒ１番目のＲｏｗ（例えば図６に示すｒ1行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
【０１５７】
その後、ＲＳＴＲｘ２〜ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。すなわち、図６に示す左上端のブロック（ｘ１，ｙｉ）に対応する処理期間ではないので、図１５（４−１）に示すｒ１番目のＲｏｗ（行）への制御信号［＝ＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１の信号）］は発生させない。
【０１５８】
次に、図１５（４−２）に示すように、
ｒ２番目のＲｏｗ（例えば図６に示すｒ２行）に対するＳＨＵＴＴＥＲ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
その後ＲＳＴＲｃ２〜ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を休止する。
【０１５９】
以降、図１５（４−１）〜（４−Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、例えば、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＳＨＵＴＴＥＲ動作が完了するので、制御信号ＳＨｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
【０１６０】
次に、図１３のＲｏｗセレクタ１３２内部の１つのＲｏｗラインセレクタに対して、読み出し処理開始を指示するＲＥＡＤ（読み出し）制御開始を示す制御信号ＲＤｙが入力された場合のＲｏｗラインセレクタの動作について、図１６に示すタイミング図を参照して説明する。
なお、前述したように、本実施例２におけるＲｏｗセレクタ１３２の構成は、先に説明した実施例１と同様の構成であり、図６、図７を参照して説明した構成を持つ。
【０１６１】
この図１６も、先に説明した図１５と同様、ｉ番目のＲｏｗラインセレクタ（ｙｉ）の制御対象となるブロック（画素グループ）である（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）のブロック中の１番左のブロック（画素グループ）（ｘ１）に対するＲＥＡＤ（読み出し）開始制御信号（ＲＤｙ）の入力時の処理例である。
【０１６２】
図１６に示すタイミングチャートにおいて、横軸は時間であり、各ラインは上から順に、
（１）ｙｉ番目のＲｏｗラインセレクタ１２４（図１３、図６参照）への制御信号ＲＤｙ、
（２）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＳＬｘ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ−１）番目、ｘＮ番目のブロック（画素グループ））、
（３）Ｃｏｌｕｍｎセレクタ１３３（図１３参照）が制御するＲＳＴＲｃ制御信号（上からｘ１番目、ｘ２番目、…、ｘ（Ｎ−１）番目、ｘＮ番目のブロック（画素グループ））、
（４）ｙｉ番目のＲｏｗラインセレクタ１２４（図６参照）が担当する、
（４−１）ｒ１番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
（４−２）ｒ２番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
…、
（４−Ｐ）ｒＰ番目のＲｏｗへのＲＳｒ，ＴＲｒ，ＳＬｒ制御信号、
を示す。
【０１６３】
ここで、
Ｎは水平方向のブロック（画素グループ）数である。
Ｐは（ｘ１，ｙｉ）に属するＲｏｗ数（行数）である。
【０１６４】
Ｃｏｌｕｍｎセレクタ１３３は、露光制御入力に関係なく、常に撮像素子のブロック（画素グループ）単位の順次走査を繰り返す動作をおこなう。Ｃｏｌｕｍｎグループセレクタの制御信号ＳＬｘは水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。Ｃｏｌｕｍｎラインセレクタの制御信号ＲＳＴＲｘはその制御信号ＳＬｘに同期し、水平方向の画素グループ、すなわちブロック（ｘ１，ｙｉ）〜（ｘＮ，ｙｉ）まで順次ａｃｔｉｖｅになる周期を繰り返す。
【０１６５】
図１６（３）に示すＲＳＴＲｘがａｃｔｉｖｅ状態を保持する期間は各ブロック（画素グループ）の制御期間であり、並列におこなわれる複数の画素の制御期間にも相当する。Ｒｏｗグループセレクタがｘ１ｙｉ番目の画素グループに対してＲＤｙすなわちＲＥＡＤ動作の開始の信号を出す場合、ｘ１は１番左の画素グループであるので、制御信号ＲＤｙはＲＳＴＲｘ１に同期してｙｉ番目のＲｏｗラインセレクタに伝達される。
【０１６６】
制御信号ＳＨｙを受けたｙｉ番目のＲｏｗラインセレクタでは、まず、ｘ１番目のラインセレクタが直ちにａｃｔｉｖｅな状態となり、まずＲＥＡＤ制御信号ジェネレータ（図７参照）をａｃｔｉｖｅにしてＲＥＡＤ制御信号の発生を開始させる。
【０１６７】
さらに図７に示す各Ｒｏｗ選択スイッチ１３０を制御し、ＲＥＡＤ制御信号が、制御対象ブロックの各Ｒｏｗ（行）：ｒ１行〜ｒＰ行に伝達されるように制御する。
その結果として、まず、図１６（４−１）に示すように、
ｒ１番目のＲｏｗ（例えば図６に示すｒ1行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ１とＴＲｙｉｒ１とＳＬｙｉｒ１の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。
【０１６８】
その後、ＲＳＴＲｘ２〜ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を発生させない。
【０１６９】
次に、図１６（４−２）に示すように、
ｒ２番目のＲｏｗ（例えば図６に示すｒ２行）に対するＲＥＡＤ制御信号（ＲＳｙｉｒ２とＴＲｙｉｒ２とＳＬｙｉｒ２の信号）が１回、ＲＳＴＲｘ１に同期して伝達される。その後ＲＳＴＲｃ２〜ＲＳＴＲｘＮの期間は該当するＣｏｌｕｍｎではないので制御信号を休止する。
【０１７０】
以降、図１６（４−１）〜（４−Ｐ）に示すように、同様の動作をｒＰまで繰り返す。すなわち、例えば、図６に示す左上のブロック（ｘ１，ｙｉ）の第Ｐ行（ｒＰ行）まで、同様の処理を行う。これにより、制御対象とするブロック（画素グループ）、例えば図６に示す左上のブロック（ｘ１，ｙｉ）中の全画素に対するＲＥＡＤ動作が完了するので、制御信号ＲＤｙ入力に対する動作を完了する。なお、この一連のタイミング制御を実現させるには、Ｒｏｗラインセレクタはカウンタなどで構成される簡単なパターン発生回路であればよい。
【０１７１】
以上に説明した第２の実施例の構成を用いれば、本発明はカラムＡＤＣとの共存も可能となる。なお、撮像素子（イメージセンサ）全体の露光制御動作に関しては、第１の実施例で説明した図１０と図１１の動作と同様であるので、説明を省略する。
【０１７２】
［７．第３の実施例：画素グループの設定構成と画素グループ位置のオーバーラップ構成について］
上述した実施例では、撮像素子に含まれる多数の画素について、矩形上のブロック（画素グループ）を設定して、矩形上のブロック（画素グループ）単位での露光期間制御を行う例について説明した。
【０１７３】
しかし、露光期間の制御は、このような矩形上なブロック単位とすることは必須ではない。例えば、Ｒｏｗラインセレクタが算出する制御タイミングをあえてずらしたり、間隔を変えたりすることによって、水平方向あるいは垂直方向に１画素〜数画素間隔をあけたストライプ状の画素グループを形成したり、矩形でなく斜めにひしゃげた平行四辺形状の画素グループを形成し、これらの様々な形状を持つ画素グループ単位での露光期間設定を行うことが可能である。
【０１７４】
また、１つの画素が複数の画素グループに属して異なる制御を受けることはできないが、上記のようにストライプ状など間隔をおいた画素グループ形状を利用することによって、複数の画素グループが撮像面上でその範囲を互いにオーバーラップするように形成することも可能である。その簡単な例について図１７を参照して具体的に説明する。
【０１７５】
図１７は、互いに領域がオーバーラップするブロック（画素グループ）を形成するＲｏｗセレクタの階層構造を説明する図である。Ｒｏｗセレクタ１３７が、画素グループ単位の制御信号を配するＲｏｗグループセレクタ１３８と、Ｒｏｗグループセレクタ１３８からの制御信号に基づいて、各画素グループに対応し、各Ｒｏｗへの制御信号を配する複数のＲｏｗラインセレクタ１３９，１４０による階層構造をなすことに関しては、先に図６を参照して説明した第１および第２の実施例のＲｏｗセレクタと同じである。
【０１７６】
図１７に示す撮像素子の特徴は、１つのＲｏｗラインセレクタは制御するＲｏｗが１Ｒｏｗおきであることである。
例えばＲｏｗラインセレクタ１３９は、１つおきのＲｏｗの画素領域（ａ−ｒ１）、（ａ−ｒ２）、（ａ−ｒ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
また、Ｒｏｗラインセレクタ１４０は、１つおきのＲｏｗの画素領域（ｂ−ｒ１）、（ｂ−ｒ２）、（ｂ−ｒ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
互いに担当する画素が交互になることによって、巨視的にみればこの領域は、Ｒｏｗラインセレクタ１３９によるシャッターとＲｏｗラインセレクタ１４０によるシャッターの２種類の露光制御が可能になる。
１つの領域で複数のシャッターが可能になるということは、例えば明るい被写体と暗い被写体が同一領域に混在するような画像において有効な露光制御が実現される。
【０１７７】
まったく同様の手法で、Ｃｏｌｕｍｎを分割して画素グループを互いにオーバーラップさせることも可能である。
この場合は、図１８に示すように、Ｃｏｌｕｍｎセレクタ１４１の構造を変更し、Ｃｏｌｕｍｎグループセレクタ１４２と、複数のＣｏｌｕｍｎラインセレクタを設ける。例えば図中のＣｏｌｕｍｎラインセレクタ１４３と、Ｃｏｌｕｍｎラインセレクタ１４４が１各列（Ｃｏｌｕｍｎ）おきに制御するようにして、制御するＣｏｌｕｍｎを交互にするような構造をとればよい。
【０１７８】
例えばＣｏｌｕｍｎラインセレクタ１４３は、１つおきのＣｏｌｕｍｎの画素領域（ａ−ｃ１）、（ａ−ｃ２）、（ａ−ｃ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
また、Ｃｏｌｕｍｎラインセレクタ１４４は、１つおきのＣｏｌｕｍｎの画素領域（ｂ−ｃ１）、（ｂ−ｃ２）、（ｂ−ｃ３）・・の各画素に対して制御線を延ばし、これらの画素の制御を実行する。
このような設定とすることも可能である。
【０１７９】
［８．本発明の構成と効果のまとめ］
上述した複数の実施例において説明したように、本発明の撮像装置では、画素毎でなく、撮像面内で互いに近い位置にある複数の画素で構成されるブロック（画素グループ）毎に露光期間を設定した露光制御をおこなう。この構成により撮像素子（イメージセンサ）内部の制御回路を過度に大規模にすることなく、領域毎の適応的な露光制御を実現することができる。
【０１８０】
また、画素グループに対応した数の露光制御値を受け付ける入力Ｉ／Ｆを設けることで、露光制御値入力の帯域も低く抑えられ、その算出も小規模な演算で実現できる。また、露光制御値を画素制御信号に変換する機構を階層構造とし、画素グループへの制御信号を生成する手段と、画素グループ内の画素への制御信号を生成する手段を分離した構成としている。画素グループへの制御信号はシーン依存であり制御信号時系列の様相は大きく変化するが低帯域で小データ量である特徴があり、一方、画素グループ内の制御信号は高帯域で高データ量であるがその時系列は定型的に作ることができる。このように制御信号の生成手段を階層的に分割することで実装が容易になる。
【０１８１】
また、本発明は、複数のＲｏｗにわたっていても、同一の画素グループに属する画素の露光時間を同一にするための制御機構を実現している。さらに、画素信号の読み出しについては、従来のローリングシャッター制御と同様にＲｏｗ順次で読みだす制御機構を実現する。従来技術の画素毎の制御機構をそのまま画素グループに応用しても、画素グループ内の画素が全て同期して動作するために、信号読み出しは不均一レートとなり、センサ外部にデータバッファを持って並び替え処理をおこなわないと後段のパイプライン処理にデータを流せないという問題が発生する。本発明の制御機構によれば、画素信号の読みだしは常に一定であり、データ並び替えも必要がない。
【０１８２】
また、本発明は、例えば矩形状をなすブロック（画素グループ）に対して自由な露光制御をおこなう機構を実現する。その仕組みは、複数の矩形の集合である領域に対しても拡張可能であり、それにより、実質的に領域のオーバーラップを可能にする。これにより、１つの領域を複数の露光時間で撮影することも可能であり、あらゆるシーンに対応可能な、実用性の高い露光制御機構を実現できる
【０１８３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１８４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８６】
以上、説明したように、本発明の一実施例の構成によれば、撮像素子の撮像面の複数の画素を分割した画素グループ単位で異なる露光制御を実行する構成が実現される。
複数画素から構成される画素グループ単位の輝度評価を実行し、評価結果に応じて、画素グループ単位の露光制御値を算出する。撮像素子は、算出された画素グループ単位の露光制御値に応じた制御信号を画素グループ各々の構成画素に出力して画素グループ単位の露光制御を実行する。制御信号として、例えば画素グループ内の複数画素に対して同一パターンからなる露光制御信号を時系列に順次、出力し、１つの画素グループに属する複数画素の露光時間を同一としたグループ単位の露光制御を実現する。
【符号の説明】
【０１８７】
１０１  レンズ
１０２  絞り
１０３  撮像素子（イメージセンサ）
１０４  ＤＳＰブロック
１０５  ＬＣＤドライバ
１０６  ＬＣＤ
１０７  ＣＯＤＥＣ
１０８  メモリ
１０９  ＣＰＵ
１１０  入力デバイス
１１１  露光補償乗算器
１１２  信号処理部
１１３  ブロック輝度評価値
１１５  露光制御値算出部
１１８  タイミングジェネレータ（ＴＧ）
１１９  Ｒｏｗセレクタ
１２０  Ｃｏｌｕｍｎセレクタ
１２１  ＣＤＳ
１２２  ＡＤＣ
１２３  Ｒｏｗグループセレクタ
１２４  Ｒｏｗラインセレクタ
１２５〜１２７  ラインセレクタ
１２８  シャッター制御信号ジェネレータ
１２９  ＲＥＡＤ（読み出し）制御信号ジェネレータ
１３０  Ｒｏｗ選択スイッチ
１３１  タイミングジェネレータ（ＴＧ）
１３２  Ｒｏｗセレクタ
１３３  Ｃｏｌｕｍｎセレクタ
１３４  ＡＤＣ
１３５  Ｃｏｌｕｍｎグループセレクタ
１３６  Ｃｏｌｕｍｎラインセレクタ
１３７  Ｒｏｗセレクタ
１３８  Ｒｏｗグループセレクタ
１３９  Ｒｏｗラインセレクタ
１４０  Ｒｏｗラインセレクタ
１４１  Ｃｏｌｕｍｎセレクタ
１４２  Ｃｏｌｕｍｎグループセレクタ
１４３  Ｃｏｌｕｍｎラインセレクタ
１４４  Ｃｏｌｕｍｎラインセレクタ
【図１】
2012175234.tif 000003
【図２】
2012175234.tif 000004
【図３】
2012175234.tif 000005
【図４】
2012175234.tif 000006
【図５】
2012175234.tif 000007
【図７】
2012175234.tif 000008
【図８】
2012175234.tif 000009
【図９】
2012175234.tif 000010
【図１０】
2012175234.tif 000011
【図１１】
2012175234.tif 000012
【図１２】
2012175234.tif 000013
【図１３】
2012175234.tif 000014
【図１５】
2012175234.tif 000015
【図１６】
2012175234.tif 000016
【図６】
2012175234.tif 000017
【図１４】
2012175234.tif 000018
【図１７】
2012175234.tif 000019
【図１８】
2012175234.tif 000020