(57)【要約】  フレームレートを下げずに高いダイナミックレンジを得ることが可能なイメージセンサを提供する。  イメージセンサ１０を、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域１と、画素領域１の任意の画素を行単位で選択し、画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部２と、行選択部２により選択された各画素の電気信号を列並列に読み出す画素読出し部３と、行選択部３により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部４を備える構成とする。
2020070994.tif 000002
【特許請求の範囲】
【請求項１】
自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、
前記画素領域の任意の画素を行単位で選択し、前記画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部と、
前記行選択部により選択された各画素の電気信号を列並列に読み出す画素読出し部と、
前記行選択部により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部と
を有するイメージセンサ。
【請求項２】
前記列選択部は、選択しなかった画素に対して蓄積電荷のリセットを行う請求項１に記載のイメージセンサ。
【請求項３】
前記画素は、前記行選択部に接続され蓄積電荷のリセットに用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷のリセットを制御する請求項２に記載のイメージセンサ。
【請求項４】
前記列選択部は、選択しなかった画素の蓄積電荷を容量に転送する請求項１に記載のイメージセンサ。
【請求項５】
前記画素は、前記行選択部に接続され蓄積電荷の転送に用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷の転送を制御する請求項４に記載のイメージセンサ。
【請求項６】
前記列選択部は、選択した画素の電荷蓄積容量を変更することで電荷蓄積量を制御する請求項１に記載のイメージセンサ。
【請求項７】
前記画素領域を挟んで行方向側に第１行選択部及び第２行選択部が、列方向側に第１列選択部及び第２列選択部がそれぞれ設けられており、
前記第１行選択部及び前記第２行選択部は、前記画素領域の画素のうち各行選択部に近い側の端部から行方向中央までの画素を選択し、
前記第１列選択部及び第２列選択部は、前記画素領域の画素のうち各列選択部に近い側の端部から列方向中央までの画素を選択する請求項１に記載のイメージセンサ。
【請求項８】
前記列選択部にはシフトレジスタが設けられており、前記列選択部に入力された画素制御信号は前記シフトレジスタによって行方向に転送され、前記列選択部に入力された読み込みタイミング信号によって前記シフトレジスタから一斉に列選択信号が出力される請求項１に記載のイメージセンサ。
【請求項９】
前記列選択部は、全ての列が選択されないことを示す制御コードを有する画素制御信号が入力された場合は、前記シフトレジスタによる信号の転送を停止する請求項８に記載のイメージセンサ。
【請求項１０】
前記画素制御信号を生成する画素制御信号生成部を有し、
該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、次のフレームのタイミングに同期して前記判定情報を前記メモリから読出すことにより前記画像制御信号を生成する請求項８に記載のイメージセンサ。
【請求項１１】
前記画素制御信号を生成する画素制御信号生成部を有し、
該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、前記メモリに書き込まれた連続する２以上のフレームの情報の差分から被写体の動きを予測し、この予測された動きに基づいて補正した情報を前記メモリに書き込み、次のフレームのタイミングに同期して前記補正した情報を前記メモリから読出すことにより前記画像制御信号を生成する請求項８に記載のイメージセンサ。
【請求項１２】
自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、
前記画素領域の任意の画素を行単位で選択し、前記画素からの電子信号の読出しに寄与する行選択部と、
画素列毎に読出回路が設けられ、前記行選択部により選択された各画素の電気信号を列並列に読み出すと共に、前記読出回路を制御する読出し制御部と、
を有するイメージセンサ。
【請求項１３】
前記読出し制御部は、前記読出回路の動作を選択的に停止させる請求項１２に記載のイメージセンサ。
【請求項１４】
前記読出し制御部は、前記読出回路を構成するアナログ・デジタル変換器の分解能を制御する請求項１２に記載のイメージセンサ。
【請求項１５】
前記読出し制御部は、前記読出回路を構成するアナログ・デジタル変換器からのデータ転送を制御する請求項１２に記載のイメージセンサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサに関する。
【背景技術】
【０００２】
イメージセンサは、スマートフォンのみならず、ドライブレコーダ、電子ミラー、自動運転、ロボット及び内視鏡など多くの用途に大量に使用されており、その用途は今後も拡大を続けることが予想される。また、イメージセンサは、これまでは人間の目に迫るべく解像度や画質を向上させてきたが、今後は物体認識や動体認識などのように、人間の目にはできない高速の認識や判断まで求められるものと考えられる。【０００３】
図２９は従来の代表的なイメージセンサであるＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサの構成を示すブロック図である。図２９に示すように、ＣＭＯＳイメージセンサ１００では、複数の画素１０１が行方向及び列方向に２次元配置されている。行選択回路１０２は行単位で画素を選択するものであり、行選択回路１０２により選択された画素（読み出し画素）１０１ａは、各画素で検出した光の照度に応じた電圧を一斉に出力する。【０００４】
列読出回路１０３は、画素から出力された電圧をデジタル値に変換するものであり、アナログ・デジタル変換器（以下、Ａ／Ｄ変換器という。）などで構成されている。そして、列読出回路１０３で変換された信号は、転送回路１０４を通じて順次出力される。パルス発生回路１０５は、クロック信号が入力され、動作に必要なタイミング信号を発生するものであり、発生したタイミング信号は行選択回路１０２、列読出回路１０３及び転送回路１０４に入力される。【０００５】
図３０は従来のＣＭＯＳイメージセンサ１００における電荷蓄積時間制御の説明図であり、図３１はその読み出しタイミングとリセットタイミングを示す図である。図３０に示すように、従来のＣＭＯＳイメージセンサ１００では、図中上方の画素から順に電圧を読み出す。また、読み出し画素１０１ａが読み出されるタイミングで、その２行下の画素（リセット画素）１０１ｂがリセットされる。【０００６】
図３１に示すように、従来のＣＯＭＳイメージセンサは、読み出しの少し手前のタイミングでリセットをかけることにより、いったん蓄積されていた電荷をリセットさせて再度電荷蓄積を始める。この方法では、蓄積時間が短く、信号量も少なくなるため、高照度の信号に対しても飽和することなく良好な画質が得られるが、フレーム内で同一の電荷蓄積時間しか実現できないため、通常はリセットをかけない低照度用フレームとリセットをかける高照度用フレームを交互に繰り返す必要がある。【０００７】
このように従来のＣＭＯＳイメージセンサ１００は、画素や列読出回路１０３のパラメータが一律に設定されているため、性能に限界がある。具体的には、従来のイメージセンサでは、電荷蓄積時間や電荷蓄積容量を画素毎に最適化していないため、蓄積電荷が最適化されておらず、必要なダイナミックレンジを確保することができないという問題点がある。【０００８】
イメージセンサは、ダイナミックレンジが大きいセンシング情報を、的確に取得することが求められる。例えばフォトダイオードの場合、通常撮影でのダイナミックレンジは６０〜８０ｄＢであるが、逆光時や晴天時のトンネルの出口などの撮影では１２０〜１５０ｄＢと極めて高いダイナミックレンジが要求される。【０００９】
このような過酷な状況での撮像に対処するため、従来、様々な方法が提案されている（特許文献１，２及び非特許文献１，２参照）。その中でも、代表的なものは、特許文献１に記載されている２種類の異なる露光時間で各フレームを撮像し、その信号（低照度信号・高照度信号）を合成することでダイナミックレンジの拡大を図る方法である。図３２Ａ，Ｂは特許文献１に記載の方法で取得される信号を示す図であり、図３２Ａは低照度用フレームの信号、図３２Ｂは高照度用フレームの信号である。また、図３３は低照度用及び高照度用の各フレーム構成を示す図である。【００１０】
図３２Ａ，Ｂに示すように、フォトダイオードのリセット信号とリセット信号の間の期間が信号電荷の蓄積時間である。各画素で得られる信号電圧は照度と信号蓄積時間の積に比例するので、信号電荷蓄積時間を制御することによりダイナミックレンジの拡大を図ることができる。従来のイメージセンサでは、信号電荷蓄積時間の制御はフレーム単位で行われており、図３３に示すように蓄積時間の長い低照度用フレーム１１０と蓄積時間の短い高照度用フレーム１１１を交互に出力し、これら２つのフレーム信号を合成することで適切な画像を得ている。【００１１】
また、ダイナミックレンジを拡大するための他の方法も提案されている。図３４は従来のイメージセンサで用いられているダイナミックレンジ拡大のための回路図である。図３４に示す回路では、光により発生したフォトダイオード１２０の蓄積電荷を電圧に変換する容量として、通常の数ｆＦのフローティングデヒュージョン容量（ＦＤ容量）１２２に加え、高照度信号用に数１００ｆＦ〜数ｐＦの大容量の容量１２１も設けている。この回路では、容量選択のために信号の適切な読み出しが必要となるため、簡便には、ＦＤ容量１２２を用いた低照度用のフレームと、大容量の容量１２１を用いた高照度用のフレームを交互に出力する。【００１２】
図３５は従来のイメージセンサで用いられているダイナミックレンジ拡大のための画素構成を示す図である。図３５に示す画素１３０は、面積が大きい低照度用画素１３１と、面積が小さい高照度用画素１３２を備えている。この画素１３０では、必要に応じて電荷を電圧に変換する容量も小さな容量と大きな容量で構成することで、低照度信号に適した信号と高照度用に適した信号の出力を可能にしている。【００１３】
更に、特許文献２には、画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行可能なイメージセンサが開示されている。図３６は特許文献２に記載のイメージセンサの概要を示す図である。図３６に示すイメージセンサ２００は、垂直方向に、信号の取り出しを行う電荷転送用スキャナ２０１と、蓄積電荷のリセットを行う電子シャッタ用スキャナ２０２とが設けられており、水平方向には水平方向画素選択スキャナ２０３が配置されている。【００１４】
このイメージセンサ２００では、タイミング信号発生回路２０４から、荷転送用スキャナ２０１と電子シャッタ用スキャナ２０２に、タイミング信号が入力される。そして、電子シャッタ用スキャナ２０２から出力された信号と外部入力信号との論理積が取られて、画素領域２０５の画素が選択される。また、水平方向画素選択スキャナ２０３によって、水平方向に画素が選択される。【００１５】
図３７は図３６に示すイメージセンサ２００の単位画素構造を示す図である。図３７に示す画素２１０では、信号読み出し時は、先ず、ｍ番目の画素の信号を読み出す前にＨＳＥＬ（ｍ−１）の信号が“Ｈ”になり、ｍ番目の画素のリセットトランジスタＴｒが動作し、フローティングデヒュージョンノードＦＤの電圧がリセットレベルまで上昇する。次に、ＨＳＳ（ｍ）の信号が“Ｈ”になると共に、ＶＳＯＵＴ（ｎ）の信号が“Ｈ”になり、転送制御トランジスタＴｙをオンにし、画素（ｎ，ｍ）のリセットレベルの信号が信号出力として外部に取り出されて、ＣＤＳ（相関２重検出）の基準信号として用いられる。【００１６】
次に、ＨＳＥＬ（ｍ−１）が“Ｌ”、ＨＳＥＬ（ｍ）が“Ｈ”となる。この状態でＶＳＥＬ（ｎ）が”Ｈ”になると、トランジスタＴｘｙがオンとなり、トランジスタＴｔを通じて、フォトダイオードＰＤに蓄積されていた電荷がフローティングデヒュージョンノードＦＤに吐き出される。そして、ソースフォロワを構成するトランジスタＴａでバッファされた画素（ｎ，ｍ）のレベルの信号が信号出力として外部に取り出され、ＤＳ（相関２重検出）の信号として用いられる。【００１７】
一方、電子シャッタのための電荷のリセット時は、電子シャッタ用スキャナ２０２の信号と外部入力信号との論理積が取られ、信号ＶＳＥＬ（ｎ）となる。リセット対象の場合、ＶＳＥＬ（ｎ）は”Ｈ”になっており、ＶＳＯＵＴ（ｎ）は”Ｌ”になっている。そして、ＨＳＥＬ（ｍ）が”Ｈ”になると、ＶＳＥＬ（ｎ）が”Ｈ”のときにトランジスタＴｘｙがオンとなり、トランジスタＴｔを通じて、フォトダイオードＰＤに蓄積されていた電荷がフローティングデヒュージョンノードＦＤに吐き出される。【００１８】
このとき、それまで蓄積されていた電荷に対応した電圧がＳＩＧ（ｎ）に現れるが、ＶＳＯＵＴ（ｎ）は”Ｌ”なので、この電圧が出力信号に現れることはない。また、次の水平選択動作ではＨＳＥＬ（ｍ）は”Ｌ”になるので、ＶＳＥＬ（ｎ）の論理状態にかかわらずトランジスタＴｘｙはオフになり、フォトダイオードＰＤは光量に応じた電荷蓄積を開始する。イメージセンサ２００は、以上の動作を基本として、ＶＳＥＬの信号を水平方向画素選択スキャン信号に同期して、同一の速度で外部入力信号に変調をかけると、画素領域２０５の任意形状の領域に対して選択的に電子シャッタ動作を実行できる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００３−２５００９４号公報
【特許文献２】特開２００３−１４３４８５号公報
【非特許文献】
【００２０】
【非特許文献１】S. Sugawa, et al.、“A 100 dB dynamic range CMOS image sensor using a lateral overflow integration capacitor”、ISSCC (IEEE International Solid-State Circuits Conference) Digest of Technical Papers、ＩＥＥＥ、２００５年２月、pp.352-353
【非特許文献２】K. Nishimura, et al.、“An Over 120dB Simultaneous-Capture Wide-Dynamic-Range 1.6e- Ultra-Low-Reset-Noise Organic Photoconductive-Film CMOS Image Sensor”、 ISSCC Digest of Technical Papers、ＩＥＥＥ、２０１６年２月、pp.110-111
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、前述した露出時間が異なる信号を合成する方法は、実効的なフレームレートが半分になるため、高速撮像には適用できず、また、低照度用フレームの信号は蓄積時間が半分になるため、画像の信号対雑音比（Ｓ／Ｎ比）が低下するという課題がある。【００２２】
この課題を解決し、実効的なフレームレートを従来と同一にするには、２倍のデータレートで信号を処理して伝送すればよいが、そのためには画素数やフレームレートを増やす必要があり、現実的ではない。例えば、８Ｋ対応のイメージセンサの場合、フレーム数を６０フレーム／秒、Ａ／Ｄ変換器の分解能を１２ｂｉｔとすると、出力信号のデータレートは約２４Ｇｂｉｔ／秒になるため、これ以上出力信号のデータレートを上げることは困難である。【００２３】
また、図３４に示す回路を用いる方法は、前述した課題の他に、画素の縮小に伴い高照度信号用の容量の集積が困難になるという課題がある。更に、図３５に示す画素構成を用いる方法は、画素からの信号が２組になるため、Ａ／Ｄ変換器などの画素信号の処理回路が２倍になる他、イメージセンサからのデータ出力レートが２倍になるため、高速化及び低消費電力化の観点から好ましくない。このため、低照度用のフレームと大容量を用いた高照度用のフレームを交互に出力する場合は、先に述べた２つの方法と同様の課題がある。更に、図３５に示す画素の面積でダイナミックレンジを拡大する方法も、画素の縮小に伴い適用が難しくなっている。【００２４】
一方、特許文献２に記載のイメージセンサのように、画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行する方法は、垂直画素選択信号が高い周波数で変動し、消費電力及びセットリングやノイズなどの観点で好ましくない。例えば、画素を水平方向にＮＨ個、垂直方向にＮＶ個、フレーム数をＦｆｌとすると、外部入力信号で変調をかけないときの垂直選択信号ＶＳＥＬの動作周波数は、Ｆｆｌ×ＮＶとなる。一方、外部入力信号で変調をかけたときの垂直選択信号ＶＳＥＬの最大動作周波数は、Ｆｆｌ×ＮＶ×（ＮＨ／２）となる。従って、外部入力信号で変調をかけたときの垂直選択信号ＶＳＥＬ最大動作周波数は、（ＮＨ／２）倍高くなる。【００２５】
ここで、フレーム数Ｆｆｌを毎秒６０フレームとした場合、フルハイビジョン（ＮＨ＝２０００、ＮＶ＝１０００）、４Ｋカメラ（ＮＨ＝４０００、ＮＶ＝２０００）、８Ｋカメラ（ＮＨ＝８０００、ＮＶ＝４０００）の垂直選択信号ＶＳＥＬの動作周波数は、外部入力信号で変調をかけないときは、それぞれ６０ｋＨｚ、１２０ｋＨｚ、２４０ｋＨｚであるが、外部入力信号で変調をかけたときは、それぞれ６０ＭＨｚ、２４０ＭＨｚ、９６０ＭＨｚとなる。【００２６】
各画素の消費電力は、容量、動作周波数、電圧振幅の２乗の積に比例するが、それぞれの垂直選択信号ＶＳＥＬには数千のトランジスタが接続され、３Ｖ程度の振幅でスイングさせるため、消費電力が著しく増大し、外部入力信号で変調をかけない場合の数千倍に達する。更に、この方法では、セットリング特性の悪化や寄生容量、寄生インダクタンスなどによるアナログ特性の劣化が生じる。即ち、特許文献２に記載のイメージセンサのように画素領域の任意形状の領域に対して選択的に電子シャッタ動作を実行する方法には、動作周波数と消費電力の著しい増大を招くと共に、アナログ特性を劣化させ、画質の劣化を招くという問題がある。この問題は、解像度やフレームレートを向上させると、より深刻になる。【００２７】
近年、自動運転の実現や自動車の安全性を高めるため、或いは顔認識のために、イメージセンサの利用が盛んになっている。これらの用途では、高画素数及び高フレームレートが求められる一方で、逆光やトンネルの出口などにおいても確実に認識することが必要なため、高いダイナミックレンジが要求される。【００２８】
そこで、本発明は、フレームレートを下げずに高いダイナミックレンジを得ることが可能なイメージセンサを提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明者は、前述した課題を解決するために鋭意検討を行った結果、以下に示す知見を得た。現在のＣＭＯＳイメージセンサの構造は、テレビ画面の構成の影響を受けており、画素の順次スキャンにより、規則的かつ一方的に画像を撮像し、読み出して転送する構造となっている。従来のイメージセンサでは、読みだされた画像による制御も行われているが、平均露光時間の制御のように全画素一律に行われ、画素毎の制御はできていない。【００３０】
そこで、本発明者は、ＣＭＯＳイメージセンサは行毎に画素を選択して各列の画素読出回路に対して並列的に一斉に画素信号の出力及び画素信号のリセットを行うが、行毎に画素を選択したときに各画素に列情報を与えれば画素毎の蓄積電荷の制御が可能になることを見出し、本発明に至った。この構成によれば、画素毎に電荷蓄積時間や電荷蓄積容量を変化させることで蓄積電荷量の制御が可能となるため、各画素の輝度に応じて蓄積電荷を適量にし、高いダイナミックレンジを得ることができる。【００３１】
また、本発明者は、各画素に対応する画素読出回路についても、列毎に制御が可能であることを見いだした。具体的には、画素読出回路における消費電流やＡ／Ｄ変換器の分解能を制御することで、読み出し不要な画素に対応する画素読出回路の消費電力を低減することができる。更に、Ａ／Ｄ変換器の分解能を、画素信号が小さい場合は高く、画素信号が大きい場合は低くすることにより、画質を向上させながら消費電力を低減させることができる。更にまた、読み出し不要の画素のデータを転送しないようにすることで、データレートを実効的に低減できるため、画像処理回路の演算速度を速めると共にデータ転送回路を含めた消費電力を低減することが可能になる。【００３２】
即ち、本発明に係るイメージセンサは、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、前記画素領域の任意の画素を行単位で選択し、前記画素からの電気信号の読出し及び蓄積電荷のリセットに寄与する行選択部と、前記行選択部により選択された各画素の電気信号を列並列に読み出す画素読出し部と、前記行選択部により選択された画素行の中から任意の列の画素を選択し、選択された画素の蓄積電荷量を制御する列選択部とを有する。
前記列選択部は、例えば、選択しなかった画素に対して蓄積電荷のリセットを行う。
その場合、前記画素は、前記行選択部に接続され蓄積電荷のリセットに用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷のリセットを制御してもよい。
又は、前記列選択部は、選択しなかった画素の蓄積電荷を容量に転送することもできる。
その場合、前記画素は、前記行選択部に接続され蓄積電荷の転送に用いられる行選択線にソースが接続されると共に、前記列選択部に接続された列選択線にゲートが接続され、フォトダイオードの蓄積電荷を容量に転送する転送トランジスタのゲートにドレインが接続されたＭＯＳトランジスタを備え、該ＭＯＳトランジスタにより前記蓄積電荷の転送を制御してもよい。
又は、前記列選択部は、選択した画素の電荷蓄積容量を変更することで電荷蓄積量を制御してもよい。
本発明のイメージセンサは、前記画素領域を挟んで行方向側に第１行選択部及び第２行選択部が、列方向側に第１列選択部及び第２列選択部がそれぞれ設けられており、前記第１行選択部及び前記第２行選択部は、前記画素領域の画素のうち各行選択部に近い側の端部から行方向中央までの画素を選択し、前記第１列選択部及び第２列選択部は、前記画素領域の画素のうち各列選択部に近い側の端部から列方向中央までの画素を選択する構成とすることもできる。
本発明のイメージセンサは、前記列選択部にはシフトレジスタが設けられており、前記列選択部に入力された画素制御信号は前記シフトレジスタによって行方向に転送され、前記列選択部に入力された読み込みタイミング信号によって前記シフトレジスタから一斉に列選択信号が出力される構成としてもよい。
その場合、前記列選択部は、全ての列が選択されないことを示す制御コードを有する画素制御信号が入力された場合、前記シフトレジスタによる信号の転送を停止してもよい。
本発明のイメージセンサは、前記画素制御信号を生成する画素制御信号生成部を有し、該画素制御信号生成部において先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、次のフレームのタイミングに同期して前記判定情報を前記メモリから読出すことにより前記画像制御信号を生成してもよい。
又は、本発明のイメージセンサは、前記画素制御信号を生成する画素制御信号生成部を有し、該画素制御信号生成部では、先の出力信号が閾値以上か閾値未満かを判定し、その判定情報をフレーム単位でメモリに書き込み、前記メモリに書き込まれた連続する２以上のフレームの情報の差分から被写体の動きを予測し、この予測された動きに基づいて補正した情報を前記メモリに書き込み、次のフレームのタイミングに同期して前記補正した情報を前記メモリから読出すことにより前記画像制御信号を生成することもできる。
本発明に係る他のイメージセンサは、自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える複数の画素が行方向及び列方向に２次元配置された画素領域と、前記画素領域の任意の画素を行単位で選択し、前記画素から電子信号の読出しに寄与する行選択部と、画素列毎に読出回路が設けられ、前記行選択部により選択された各画素の電気信号を列並列に読み出すと共に、前記読出回路を制御する読出し制御部とを有する。
この他のイメージセンサでは、前記読出し制御部により前記読出回路の動作を選択的に停止させてもよい。
又は、前記読出し制御部により前記読出回路を構成するアナログ・デジタル変換器の分解能を制御することもできる。
又は、前記読出し制御部により前記読出回路を構成するアナログ・デジタル変換器からのデータ転送を制御してもよい。
【発明の効果】
【００３３】
本発明によれば、画素の蓄積電荷が適量になるよう各画素を個別に制御しているため、フレームレートの減少を招くことなくダイナミックレンジを大幅に拡大することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施形態のイメージセンサの構成を示すブロック図である。
【図２】図１に示す画素１の構成例を示す回路図である。
【図３】図１に示す画素１の他の構成例を示す回路図である。
【図４】図１に示す列選択部４の構成例を示す回路図である。
【図５】図２に示す回路構成を有する画素の制御方法を示す図である。
【図６】本発明の第１の実施形態のイメージセンサにおける各行の動作タイミングを示す図である。
【図７】図１に示す列選択部４に入力される各信号のタイミングチャートを示す図である。
【図８】入射光が低照度の場合の画素の制御方法を示す図である。
【図９】本発明の第１の実施形態のイメージセンサにおける画素の切り替えを示す図である。
【図１０】本発明の第１の実施形態のイメージセンサの高照度領域及び低照度領域を示す図である。
【図１１】本発明の第１の実施形態のイメージセンサのリセット領域を示す図である。
【図１２】Ａ，Ｂは画素制御信号を形成する方法を示す図であり、Ａは論理回路ブロック図、Ｂはフローチャートである。
【図１３】本発明の第１の実施形態のイメージセンサの画像処理回路の構成を示すブロック図である。
【図１４】撮像画像に動きのある被写体が含まれている場合の制御例を示す図である。
【図１５】撮像画像に動きのある被写体が含まれている場合の他の制御例を示す図である。
【図１６】Ａ〜Ｅはメモリに書きこまれた制御情報の差分から動きを検出する方法を示す概念図である。
【図１７】Ａ〜Ｄは動き補償された画素制御データの形成方法を示す概念図である。
【図１８】本発明の第１の実施形態の第１変形例のイメージセンサにおける画素の構成例を示す回路図である。
【図１９】図１８に示す回路構成を有する画素の制御方法を示す図である。
【図２０】本発明の第１の実施形態の第２変形例のイメージセンサの構成を示すブロック図である。
【図２１】図２０に示すイメージセンサの制御方法を示す図である。
【図２２】本発明の第２の実施形態のイメージセンサにおける信号読出し領域を示す図である。
【図２３】信号電圧とＡ／Ｄ変換器の分解能との関係を示す図である。
【図２４】信号電圧とＡ／Ｄ変換器の消費エネルギーとの関係を示す図である。
【図２５】本発明の第２の実施形態のイメージセンサの画素と読出し制御部の構成を示す回路図である。
【図２６】選択された画素とその分解能を示す図である。
【図２７】本発明の第２の実施形態のイメージセンサ２０の読出し制御部２３の構成を示す回路図である。
【図２８】本発明の第２の実施形態のイメージセンサ２０の読出し制御部２３の他の構成を示す回路図である。
【図２９】従来のＣＭＯＳイメージセンサの構成を示すブロック図である。
【図３０】従来のＣＭＯＳイメージセンサ１００における電荷蓄積時間制御方法を示す図である。
【図３１】従来のＣＭＯＳイメージセンサ１００の読み出しタイミングとリセットタイミングを示す図である。
【図３２】特許文献１に記載の方法で取得される信号を示す図であり、Ａは低照度用フレームの信号、Ｂは高照度用フレームの信号である。
【図３３】低照度用及び高照度用の各フレーム構成を示す図である。
【図３４】従来のイメージセンサで用いられているダイナミックレンジ拡大のための回路図である。
【図３５】従来のイメージセンサで用いられているダイナミックレンジ拡大のための画素構成を示す図である。
【図３６】特許文献２に記載のイメージセンサの概要を示す図である。
【図３７】特許文献２に記載のイメージセンサの単位画素構造を示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。
【００３６】
（第１の実施形態）
先ず、本発明の第１の実施形態に係るイメージセンサについて説明する。図１は本実施形態のイメージセンサの構成を示すブロック図である。図１に示すように、本実施形態のイメージセンサ１０は、複数の画素１が行方向及び列方向に２次元配置された画素領域の周囲に、行選択部２、画素読出し部３、列選択部４及びタイミング発生部５などが設けられている。
【００３７】
［画素１］
画素領域の各画素１は、それぞれ自然界に存在する物理量を検出して電気信号に変換するセンサ素子を備える。ここで、自然界に存在する物理量とは、可視光、赤外光、紫外線、Ｘ線、電磁波、電界、磁界、温度、圧力などをいう。
【００３８】
画素１の構成は特に限定されるものではないが、例えば可視光を検出するＣＭＯＳセンサの場合、ＰＩＮフォトダイオードと完全転送技術を用いた構成を適用することができる。図２，３は図１に示すイメージセンサ１０の画素１の構成例を示す回路図である。具体的には、図２に示すように、画素１は、一般的な画素に対して、トランジスタＭ１と、列ごとに設けられた制御線ＣＳを追加し、ＰＩＮフォトダイオード１１の電荷をＦＤ容量１２に転送するトランジスタＭ２のゲートを制御する構成とすることができる。また、図３に示すように、画素１に、ＰＩＮフォトダイオード１１の蓄積電荷をリセットする行選択線ＳＧとトランジスタＭ１を設け、ＰＩＮフォトダイオード１１の蓄積電荷をリセットするトランジスタＭ３のゲートを制御する構成にしてもよい。
【００３９】
［行選択部２］
行選択部２は、画素行毎に設けられた行選択線に接続され、画素領域の任意の画素を行単位で選択して、画素からの電気信号の読出しや蓄積電荷のリセットに寄与するものであり、行ごとに行選択回路が設けられている。行選択部２の各行選択回路の構成は、特に限定されるものではなく、従来のイメージセンサと同様の構成とすることができる。
【００４０】
［画素読出し部３］
画素読出し部３は、行選択部２により選択された各画素の電気信号を列並列に読み出すものであり、画素１ａから出力された電圧をデジタル値に変換するアナログ・デジタル変換回路が設けられている。画素読出し部３のアナログ・デジタル変換回路で変換された信号は、順次外部に出力される。
【００４１】
［列選択部４］
列選択部４は、画素列毎に設けられた列選択線に接続され、外部から入力される画素制御信号に基づき行選択部２により選択された画素行の中から読出画素１ａを選択し、選択された画素１ａの蓄積電荷量を個別に制御するものである。図４は列選択部４の構成例を示す回路図である。図４に示すように、列選択部４には、画素列毎にクロック信号に同期して動作するシフトレジスタを構成する複数のフリップフロップ（Ｆ／Ｆ）３１が設けられており、各フリップフロップ（Ｆ／Ｆ）３１は直列に接続されている。
【００４２】
そして、画素制御信号は、例えば図中左端のフリップフロップ（Ｆ／Ｆ）３１に入力され、クロック信号に同期し、順次図中右側のフリップフロップ（Ｆ／Ｆ）３１に転送される。更に、列選択部４には、各フリップフロップ（Ｆ／Ｆ）３１のレジスタとなるフリップフロップ（Ｆ／Ｆ）３２が設けられており、読込タイミング信号に基づいて各フリップフロップ（Ｆ／Ｆ）３２から画素１ａを制御するための信号が一斉に出力される、
【００４３】
［タイミング信号発生部５］
タイミング信号発生部５は、基準となるクロック信号に基づいて動作に必要なタイミング信号を生成し、各種タイミング信号及びクロック信号を行選択部２、画素読み出し部３及び列選択部４に出力するものであり、パルス発生回路などで構成されている。タイミング信号発生部５のパルス発生回路の構成は、特に限定されるものではなく、従来のイメージセンサと同様の構成とすることができる。
【００４４】
［動作］
次に、図１に示すイメージセンサ１０の動作について、各画素の電荷蓄積時間を個別に制御する場合を例に説明する。図５は画素１が図２に示す回路構成を有する場合の制御方法を示す図である。画素１の読み出し動作では、行選択線に供給される複数の信号のうちの１つであるＲＳＴ信号がＨｉｇｈ（以下、”Ｈ”という。）になり、ＦＤ容量１２のノードをＶＤＤまで引き上げる。このとき、図５に示すように、行選択線に供給される複数の信号のうちの１つであるＲＳ信号も”Ｈ”になり、Ｓｉｇ信号として画素読出回路にリセットレベルの信号が送られ、相関二重検出（ＣＤＳ）用の信号として使用される。
【００４５】
次に、ＲＳＴ信号がＬｏｗ（以下、”Ｌ”という。）になり、しばらくすると行選択線に供給される複数の信号のうちの１つであるＴＸ信号が”Ｈ”になり、ＰＩＮフォトダイオード１１の電荷がＦＤ容量１２に転送される。電荷は、ＦＤ容量１２において電圧に変換されＳｉｇ信号として画素読出し部３に送られる。ＦＤ容量１２から出力されたＳｉｇ信号は、相関二重検出（ＣＤＳ）用の信号として使用され、リセットレベルの信号との差分が取られ、画素読出し部３のアナログ・デジタル変換回路でデジタル信号に変換され、信号出力端に順次出力される。
【００４６】
上述した動作においては、列選択線に供給されるＣＳ信号は”Ｈ”になっており、トランジスタＭ１はオン状態になるため、行選択線に供給される複数の信号のうちの１つであるＴＸ信号が”Ｈ”になることでＰＩＮフォトダイオード１１の電荷のＦＤ容量１２への転送を妨げないようになっている。
【００４７】
一方、電荷蓄積時間を短縮するために行う電荷リセット動作では、先ず電荷リセットを行う画素行の行選択線に供給される複数の信号のうちの１つであるＲＳＴ信号が”Ｈ”になる。同時に、電荷リセットを行う画素の列選択線に供給されるＣＳ信号を”Ｈ”にし、電荷リセットを行わない画素の列選択線に供給されるＣＳ信号を”Ｌ”にする。この状態で、やや遅れたタイミングで行選択線に供給される複数の信号のうちの１つであるＴＸ信号を”Ｈ”にする。
【００４８】
ＴＸ信号は、ＣＳ信号により制御されたトランジスタＭ１を介して、ＰＩＮフォトダイオード１１の電荷を転送するトランジスタＭ２のゲートに接続されているので、ＣＳ信号が”Ｈ”のときはトランジスタＭ１がオン状態となり、ＴＸ信号の”Ｈ”の電圧がトランジスタＭ２のゲートに印加され、トランジスタＭ２がオンになる。これにより、ＰＩＮフォトダイオード１１に蓄積された電荷がリセットされる。
【００４９】
一方、ＣＳ信号が”Ｌ”のときはトランジスタＭ１がオフ状態となり、トランジスタＭ２のゲート電圧はＣＳ信号が”Ｌ”となる前のＴＸ信号の電圧（”Ｌ”）のままなので、トランジスタＭ２はオフ状態となり、ＰＩＮフォトダイオード１１の電荷はリセットされない。上述した動作においては、トランジスタＭ１を用いることにより行選択線に供給される複数の信号のうちの１つであるＴＸ信号と、列選択線に供給されるＣＳ信号の論理積に基づき蓄積電荷をリセットする画素を決定している。
【００５０】
次に、ＴＸ信号が”Ｌ”になり、再度入射光によりＰＩＮフォトダイオード１１の電荷の蓄積が開始される。しばらくするとＲＳＴ信号が”Ｌ”になり、ＣＳ信号が”Ｈ”になる。この電荷リセット動作はＲＳ信号が”Ｌ”になった状態で行われ、読み出し時にはＣＳ信号は常時”Ｈ”になっているので、読出し動作に影響を与えることはない。本実施形態のイメージセンサ１０は、前述した動作により、必要な画素に対してのみ蓄積電荷のリセットを行うことができる。
【００５１】
なお、画素１が図３に示す回路構成を有する場合も同様であり、ＰＩＮフォトダイオード１１の蓄積電荷をリセットするタイミングで、行選択線に供給される複数の信号のうちの１つであるＳＧ信号が”Ｈ”になるが、リセットを行わない画素に対してはその前後のタイミングでＣＳ信号を”Ｌ”にし、リセットを行う画素に対してはＣＳ信号を”Ｈ”にし続ければよい。上述した動作においては、トランジスタＭ１を用いることで、行選択線に供給される複数の信号のうちの１つであるＳＧ信号と、列選択線に供給されるＣＳ信号の論理積に基づいて電荷リセットを行う画素を選択している。
【００５２】
図６は本実施形態のイメージセンサ１０における各行の動作タイミングを示す図である。なお、図６に示すＬ１〜Ｌ８は画素行の番号であり、数字が小さいものほど図中上方の画素列を示す。図６に示すように、本実施形態のイメージセンサでは、Ｌ１からＬ８まで順次リセットと信号読出し、リセットによる電荷蓄積時間の制御が行われ、電荷のリセット動作が信号の読出しに影響を与えないようになっている。
【００５３】
また、本実施形態のイメージセンサ１０では、タイミング信号発生部５にクロック信号が入力され、動作に必要な読込みタイミング信号及びＤＳタイミング信号などのタイミング信号を生成する。タイミング信号発生部５で生成したタイミング信号やクロック信号は、行選択部２、画素読出し部３及び列選択部４に入力される。
【００５４】
列選択部４には、クロック信号及び読込みタイミング信号と共に、画素制御信号が入力される。これらの信号は、例えば図７に示すタイミングで列選択部４に入力される。一方、行選択部２の行選択回路には、各行の画素を順次選択するＴＸ信号、ＲＳ信号、ＲＳＴ信号が入力され、この信号に基づき任意の画素が行単位で選択される。
【００５５】
図４に示すように、画素制御信号はクロック信号に同期して動作するフリップフロップ３１に入力され、図中右側の段に転送される。そして、画素制御信号は、全列のフリップフロップ３１に行き渡った後、読込みタイミング信号のエッジで一斉に各列のレジスタとなるフリップフロップ３２に取り込まれて列選択線に供給されるＣＳ信号となり、読出画素１ａの制御に用いられる。
【００５６】
〔入射光が低照度の場合の画素制御〕
以上の説明では、入射光が高照度の場合の画素の制御方法について述べたが、本実施形態のイメージセンサは、入射光が低照度の場合にも適用することができる。以下、入射光が低照度の場合の画素制御方法について説明する。図８は入射光が低照度の場合の画素の制御方法を示す図である。入射光が低照度の場合は、蓄積される電子数が少ないため、電荷蓄積時間を長く取らないと、信号に対するノイズの比率であるＳ／Ｎ比が低くなり、画質が劣化する。
【００５７】
一方、動きの少ない画像であれば、蓄積時間を長く取ることにより画質を向上させることができる。そこで、図８に示すように、本実施形態のイメージセンサ１０では、ＰＩＮフォトダイオード１１の蓄積電荷の転送を行うＴＸ信号が”Ｈ”であっても、画素制御信号のＣＳ信号を”Ｌ”にすることで、ＰＩＮフォトダイオード１１の蓄積電荷の容量への転送を行わず、電荷蓄積時間を延ばしてもよい。この制御方法によれば、ＰＩＮフォトダイオード１１の蓄積電荷を増大させることができるため、入射光が低照度であっても高い画質を確保することができる。
【００５８】
また、画素制御信号は、主として低照度画素と高照度画素を切り替える役割を担う。図９は本実施形態のイメージセンサ１０における画素の切り替えを示す図である。図９に示すように、本実施形態のイメージセンサ１０では、例えば、低照度画素のダイナミックレンジが８０ｄＢの場合は、高照度画素の電荷蓄積時間を５０ｄＢ下げ、高照度画素の電荷蓄積時間を約１／３００に短縮する。このように、低照度画素への入射光が７０ｄＢ以上のときは、高照度画素に切り替えるように画素制御信号で読出画素１ａを制御すると、全体のダイナミックレンジは１３０ｄＢに向上する。
【００５９】
図１０は高照度領域及び低照度領域を示す図であり、図１１はリセット領域を示す図である。例えばトンネル内部から出口を撮影すると、図１０に示すように、画素領域の中心部はトンネル外部の高照度領域１ｈとなり、その周囲はトンネル内部の低照度領域１ｌとなる。このような場合は、図１１に示すように、対応する中心の画素をリセット対象の画素（リセット画素）１ｒとして制御することで、より適切な画像信号を得ることができる。
【００６０】
図１２は画素制御信号を形成する方法を示す図であり、図１２Ａは論理回路ブロック図であり、図１２Ｂはフローチャートである。図１２Ａに示すように、イメージセンサの出力信号はしきい値処理回路によりリセット領域を表す“１”と、非リセット領域を表す“０”を出力する。図１２Ｂに示すように、画素制御信号は初めにイメージセンサから出力信号Ｄ（ｉ，ｊ）を読み出す。次に、画素制御用フレームメモリから画素制御信号Ｃ（ｉ，ｊ）を読み出す。
【００６１】
そして、Ｃ（ｉ，ｊ）が“０”か“１”かについて評価する。評価の結果、Ｃ（ｉ，ｊ）が“０”の場合はＤ（ｉ，ｊ）をそのままとし、Ｃ（ｉ，ｊ）が“１”の場合はＤ（ｉ，ｊ）に設定された利得Ｇを掛けたものをＤ（ｉ，ｊ）とする。次に、このＤ（ｉ，ｊ）がしきい値ＶＴＨよりも大きいか小さいかを評価する。評価の結果、Ｄ（ｉ，ｊ）がしきい値ＶＴＨよりも大きければ新たなＣ（ｉ，ｊ）を“１”とし，Ｄ（ｉ，ｊ）がしきい値ＶＴＨよりも小さければ新たなＣ（ｉ，ｊ）を“０”にして画素制御用フレームメモリに書き込む。この新たなＤ（ｉ，ｊ）は、画像処理回路に出力される。また、新たなＣ（ｉ，ｊ）は、画素制御信号となり、イメージセンサの各画素の蓄積電荷制御に用いられる。
【００６２】
図１３は画像処理回路の動作を示す図である。制御対象領域の設定は、図１３に示すようなフレームメモリを有する画像処理回路６を用いて行うことができる。画像処理回路６は、例えばイメージセンサ１０の外部に設けられ、イメージセンサ１０からの出力信号が入力され、画素制御信号を作り出す。この画素制御信号は、例えば１フレーム以上前の画像又は画像群の画素情報に基づき生成することができる。その際、画像又は画像群としては、例えば輝度情報、動きベクトル及び価値情報（読みだす価値があるかどうか）のうち少なくとも１種を用いることができる。そして、画像処理回路６で生成された画素制御信号は、イメージセンサ１０に出力される。
【００６３】
各画素の制御においては、予測が必要な場合も想定される。図１４及び図１５は撮像画像に動きのある被写体が含まれている場合の制御例を示す図である。図１４に示すように、対象フレーム５１においてリセット対象の画素として制御する被写体が動いている場合は、１つ前のフレーム５１ａ及び２つ前のフレーム５１ｂなどを用いて動きベクトル５２を抽出し、この動きベクトル５２を用いて対象フレーム５１の画素を高照度画素にすべきか低照度画素にすべきかを予測する。これにより、より正確な制御が可能になる。
【００６４】
図１５は車がトンネルの出口に向かって進んでいる状態を示しており、中心部のハッチングを付していない領域がトンネルの出口にあたる部分であり、高照度画素にすべき領域である。対象フレーム５３の各画素を制御するためには、中心部のハッチングを付していない領域の経時変化を検出し、予測することで、より正確な制御が可能になる。具体的には、画像制御信号生成部において、対象フレーム５３、１つ前のフレーム５３ａ及び２つ前のフレーム５３ｂなどを用いて得た光強度の分析結果や動きベクトル５２から、画素制御信号を決定する。
【００６５】
従来、画像処理における動きベクトルの検出は、フレーム間において座標をずらしながら差分の２乗和が最小になる座標のベクトルを探索により求められているため、演算量が多くなり、動作速度の低下や消費電力の増大を招くという課題がある。そこで、本実施形態のイメージセンサでは、制御信号が格納されている前後するフレームメモリ間の差分を用いることによりこの課題を解決している。
【００６６】
図１６Ａ〜Ｅはメモリに書きこまれた画素制御情報の差分から動きを検出する方法を示す概念図である。図１６Ａは、リセット領域がＸ方向に動いた時の（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中右側が差分＋１、中央が差分０、左側が差分−１となる。そこで、差分＋１又は差分−１の領域のＸ方向のずれの範囲から動きの値が分かる。
【００６７】
図１６Ｂは、リセット領域がＹ方向に動いた時の（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中上側が差分＋１、中央が差分０，下側が差分−１となる。そこで、差分＋１又は差分−１の領域のＹ方向のずれの範囲から動きの値が分かる。図１６Ｃは、リセット領域が斜め方向に動いた時の（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分を示している。図中上側と右側が差分＋１、中心が差分０、下側と左側が差分−１となる。そこで、差分＋１又は差分−１の領域のＸ方向及びＹ方向のずれの範囲から動きのベクトル値が分かる。
【００６８】
図１６Ｄは、リセット領域が拡張しているときの（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分を示している。この場合、図中左右上下、即ち周辺部の全ての差分が＋１になる。そこで、差分＋１のＸ方向及びＹ方向のずれの範囲から拡張する動きのベクトル値が分かる。図１６Ｅは、リセット領域が収縮しているときの（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分を示している。この場合、図中左右上下、即ち周辺部の全ての差分が−１になる。そこで、差分−１のＸ方向及びＹ方向のずれの範囲から収縮する動きのベクトル値が分かる。
【００６９】
これにより、（ｎ−１）番目のフレームと（ｎ）番目のフレームの差分から動きベクトルを求めることができる。この方法は、フレーム間の差分を取り、ずれの範囲を求めるだけなので、演算量が極めて少なく、高速かつ低電力でリセット領域の動きベクトルを求めることができる。
【００７０】
前述した方法で求められた動きベクトルを用いることにより、次のフレームのリセット領域の予測精度を向上させることが可能である。図１７Ａ〜Ｄは動き補償された画素制御信号の形成方法を示す概念図である。動きベクトルを用いる場合は、現行フレーム（ｎ）に対して１フレーム前の（ｎ−１）の画素制御フレームメモリを残しておく。そして、先ず、図１２に示す方法を用いて現行フレーム（ｎ）の画素制御データを作成する。このとき、図１７Ａ〜Ｄに示すように、フレーム（ｎ）のデータＣ（ｎ）とフレーム（ｎ−１）のデータＣ（ｎ−１）の差分データを求めて差分フレームのデータＣ（ｎ）−Ｃ（ｎ−１）を作成する。
【００７１】
次に、現行フレーム（ｎ）のデータに対して差分フレームのデータＣ（ｎ）−Ｃ（ｎ−１）を用いて、動き補償された次のフレームの画素制御データを作成する。この例では、リセット領域７ｒは右に動いているので、現行フレームのデータＣ（ｎ）に対して差分フレームの動き分だけ右側にリセット領域を追加し、左側のリセット領域を削除すればよい。
【００７２】
なお、本実施形態においては、蓄積電荷量を制御してダイナミックレンジを拡大する方法について説明したが、本発明はこれに限定されるものではなく、図３５に示す低照度画素と高照度画素を用いる場合は、画素制御信号によってどちらかの信号出力を選択すればよい。
【００７３】
以上詳述したように、本実施形態のイメージセンサは、各画素の電荷蓄積時間を低照度の場合は長く、高照度の場合は短くなるように設定できるため、フレームレートの減少や解像度の減少を招くことなくダイナミックレンジを大幅に拡大することができる。
【００７４】
なお、前述した本発明の構成は、イメージセンサの高ダイナミックレンジ化、高信頼化、高速化、低消費電力化、低ノイズ化、多画素化に利用可能であり，可視光のイメージセンサに限らず、赤外線センサ、テラヘルツセンサ、磁気センサ、圧力センサなどに有効である。
【００７５】
（第１の実施形態の第１変形例）
前述した第１の実施形態では、電荷蓄積時間を変えることで蓄積電荷量を制御してダイナミックレンジを拡大する方法について説明したが、本発明はこれに限定されるものではなく、電荷蓄積容量を変えることにより蓄積電荷量を制御してもよい。図１８は本発明の第１の実施形態の第１変形例に係るイメージセンサにおける画素の構成例を示す回路図であり、図１９は図１８に示す回路構成を有する画素の制御方法を示す図である。
【００７６】
図１８に示すように、本変形例に係るイメージセンサの画素は、通常のＦＤ容量１２に加えて、その数十倍の容量を有する大容量の容量１３が設けられており、この容量１３を用いて高照度の際の電圧の飽和を防ぐ構成となっている。図１８に示す画素では、リセット信号ＲＳＴと容量１３を選択するＭＯＳＴトランジスタＭ４のゲート間にトランジスタＭ１が挿入され、そのゲートは画素制御信号ＣＳに接続されている。また、トランジスタＭ４のゲートにはゲート電圧を一定期間保持する容量ＣＨが接続されており、保持電荷はＭＯＳトランジスタＭ５により放電されるようになっている。
【００７７】
次に、図１８に示す回路構成を有する画素の制御方法について説明する。本変形例のイメージセンサでは、図１９に示すように、リセット信号ＲＳＴが“Ｈ”のリセット時に容量１２又は容量１３を選択するが、例えば低照度の場合は容量１２を選択し、高照度の場合は容量１３を選択する。即ち、リセット信号ＲＳＴが“Ｈ”の状態のときに、画素制御信号ＣＳは“Ｈ”又は“Ｌ”を選択する。
【００７８】
画素制御信号ＣＳを“Ｌ”にするとトランジスタＭ１はオフ状態になり、ＴＸ信号が“Ｈ”の信号の読出し期間において、ＭＯＳトランジスタＭ４のその前の状態のゲート電圧が保持される。そして、読出しが終了したら、電荷放電信号ＲＳＴＧを“Ｈ”にしてトランジスタＭ５をオン状態にし、容量ＣＨを放電してＭＯＳトランジスタＭ４をオフ状態にする。その後電荷放電信号ＲＳＴＧを“Ｌ”にして次の動作に備える。
【００７９】
本変形例のイメージセンサのように、電荷蓄積容量を変えることで蓄積電荷量を制御した場合でも、フレームレートの減少や解像度の減少を招くことなくダイナミックレンジを大幅に拡大することができる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
【００８０】
（第１の実施形態の第２変形例）
次に、本発明の第１の実施形態の第２変形例に係るイメージセンサについて説明する。図２０は本変形例のイメージセンサの構成を示すブロック図であり、図２１は図２０に示すイメージセンサの制御方法を示す図である。行選択を行う制御線及び列選択を行う制御線は容量が大きいため、制御線の論理の遷移に伴い電気エネルギーを消費し、消費電力が増加する。
【００８１】
そこで、本変形例のイメージセンサでは、図２０に示すように、画素領域の左右に行選択部２ａ，２ｂを配置し、それぞれの行選択線により画素領域の中央よりも図中右側部分又は左側部分を受け持つ構成となっている。一方、列選択を行う列選択部４ａ，４ｂは、画素領域の上下に配置し、それぞれの列選択線により画素領域の中央よりも図中上側部分又は下側部分を受け持つ構成になっている。これにより、制御対象の画素領域が４分割されるため、このような構成を採らない場合に比べて、この部分の消費電力を１／４程度まで低減することが可能になる。
【００８２】
前述した構成を有効に利用するため、本変形例のイメージセンサでは、図２１に示すように、シリアルデータである画素制御信号が、列の制御信号の前に２ビット程度の制御ビットを有することが好ましい。これにより、左右の列においてどの列が選択されるか、或いは全ての列が選択されないかの制御コードを有し、その情報が入力されたら、それに対応する列選択信号を発生させると共に、選択されない場合はシフトレジスタを用いたデータ転送を停止させることにより消費電力を低減させることができる。なお、本変形例における上記以外の構成及び効果は、前述した第１の実施形態と同様である。
【００８３】
（第２の実施形態）
次に、本発明の第２の実施形態に係るイメージセンサについて説明する。図２２は本実施形態のイメージセンサの構成を示すブロック図である。従来のイメージセンサは、撮像画像を忠実に再生することが目的であったため、全画素の信号を用いて画像を生成していた。一方、物体認識や動体認識を目的としたイメージセンサの場合、認識対象部分の画像情報のみ画像処理回路に取り込めば十分であり、その他の部分の画像情報を取り込む必要は無い。
【００８４】
各画素からアナログ画像信号を取り出し、Ａ／Ｄ変換器でデジタル信号に変換し、このデジタル信号を画像処理回路に転送するには一定の電力消費が伴うため、従来のイメージセンサを用いて物体認識や動体認識を行うと、多くの無駄な電力を消費することとなる。そして、近年、動きのある画素領域の信号のみ読み出す必要がある場合、物体認識や動体認識が必要な画素領域の信号のみ読み出す必要がある場合が増えている。
【００８５】
また、暗いシーンの微弱な信号は、Ａ／Ｄ変換器の読出しノイズが大きいと画質が大幅に劣化するため、Ａ／Ｄ変換器には高い分解能Ｎが求められる。しかしながら、回路理論上Ａ／Ｄ変換器の消費電力は２２Ｎに比例するため、不用意に高い分解能でＡ／Ｄ変換器を行うことは消費電力の著しい増大を招く。このため、画素信号の状態に応じてＡ／Ｄ変換器の分解能を最適化することが求められる。
【００８６】
そこで、本実施形態のイメージセンサ２０では、行ごとに各列の画素読出回路を制御し、読出し選択された画素（読出画素）１ａに対応する画素読出回路だけ動作させ、選択されていない画素に対応する画素読出回路の消費電力をできるだけ低減させるように制御する。これにより、イメージセンサ全体の消費電力を大幅に低減することが可能となる。
【００８７】
画素の信号レベルに応じてＡ／Ｄ変換器の分解能を最適化することも重要である。図２３は信号電圧とＡ／Ｄ変換器の分解能との関係を示す図である。図２３はＣＭＯＳイメージセンサの画素の信号レベルと、光子から電子の変換に伴い必然的に発生するショットノイズ、読出回路のＡ／Ｄ変換器の必要分解能を示している。図２３に示すように、Ａ／Ｄ変換器の読み出しノイズは、ショットノイズを下回れば目立たなくなるので、画質を損なわないようにするには、Ａ／Ｄ変換器の読み出しノイズがショットノイズの半分程度になるようにＡ／Ｄ変換器の分解能を設定すればよい。
【００８８】
また、信号レベルが高いところではＡ／Ｄ変換器は１０ｂｉｔ程度の分解能が必要であり、信号レベルが低いところでは１４ｂｉｔ程度の分解能が必要である。どの信号レベルにおいても高画質を得るためには、１４ｂｉｔ程度の分解能を用いる方が良いように思われるが、その場合、消費電力が著しく増大する。図２４は信号電圧とＡ／Ｄ変換器の消費エネルギーとの関係を示す図である。図２４に示すように、信号レベルが低くなるに従い、Ａ／Ｄ変換器の分解能を上げる必要があるが、Ａ／Ｄ変換器の消費エネルギーは、その分解能をＮとすると２２Ｎに比例することが知られている。
【００８９】
従って、Ａ／Ｄ変換器の分解能が１４ｂｉｔの場合は、分解能が１０ｂｉｔに対して２５６倍のエネルギー消費が伴う。このことから、画素の信号レベルごとに画質と低消費電力を両立するために最適な分解能があることが分かる。一方、本実施形態のイメージセンサでは、画素及び対応する画素読出回路ごとに画質と消費電力を制御することが可能である。
【００９０】
図２５は本実施形態のイメージセンサ２０の画素と画素読出回路の構成を示す回路図である。図２５に示すように、本実施形態のイメージセンサ２０は、画素１の内部にソースフォロアトランジスタが設けられており、読出回路ごとに備えられたシンク電流でソースフォロアトランジスタに電流を流すことにより、信号の読出しが可能になる。この読出し電圧は、比較器４３の一方の入力に入力され、比較器４３の他方の入力は時間と共に直線的に電圧が変化する参照電圧が入力されている。
【００９１】
また、クロック発生回路４１では、入力クロック信号の周波数の整数倍又は整数分の１の周波数のクロックパルスが生成され、カウンタ４４に入力される。カウンタ４４は、クロックをカウントする。例えば、入力信号と参照信号が一致したときは、比較器４３からストップ信号が発生し、カウンタ４４を停止させ、そのときのカウント値が画素からの信号出力電圧に対応したＡ／Ｄ変換出力値として出力される。
【００９２】
上述した回路において、図２２に示す読出し選択された画素（読出画素）１ａに対応する読出回路のみを動作させ、読出し選択されない画素に対応する読出回路の動作を停止すれば大幅な電力削減が期待できる。例えば図２５に示す画素読出回路の場合は、ソースフォロアを動作させるためのシンク電流、比較器４３のバイアス電流を遮断し、カウンタ４４に入力されるクロックを停止させれば、画素読出回路の電力消費はほぼゼロになる。
【００９３】
画素の信号強度に応じて読出回路を構成するＡ／Ｄ変換器の分解能を変化させることは、画質と消費電力を最適化するために有効である。図２６は選択された画素とその分解能を示す図である。図２６に示す選択された各画素の分解能は、分解能Ａが１０ｂｉｔ、分解能Ｂを１２ｂｉｔ、分解能Ｃを１４ｂｉｔとする。これらの分解能に応じて図２５に示すカウンタ４４に入力するクロックを、様々な周波数からなるクロック群の中からクロック選択回路４２で選択すればよい。
【００９４】
分解能が低いときは、低い周波数のクロックが選択され、分解能が高いときは高い周波数のクロックが選ばれる。分解能Ａ，Ｂ，Ｃに応じて、１：４：１６の周波数のクロックが選ばれる。カウンタ４４の消費電力は、クロック周波数に比例するので、分解能が低いほど消費電力削減を図ることができる。ただし、信号に対するノイズは、分解能が高いほど低いので、画質の要求と消費電力の要求の両方を勘案して最適化を図る必要がある。
【００９５】
図２７は本実施形態のイメージセンサ２０の読出し制御部２３の構成を示す回路図である。読出回路制御信号は、クロック信号に同期したシフトレジスタを構成するフリップフロップ（Ｆ／Ｆ）３１に入力され、順次右側に転送されて、読込タイミング信号に同期して一斉にフリップフロップ３２に入力され、読出回路を構成するＡ／Ｄ変換回路３３を制御するようになっている。
【００９６】
更に、本実施形態のイメージセンサ２０は、Ａ／Ｄ変換器からのデータ転送を制御することによってデータ転送によって生じる消費電力を低減することができる。図２８は本実施形態のイメージセンサ２０の読出し制御部２３の構成を示す他の回路図である。読出し制御部２３が図２８に示す構成のイメージセンサ２０では、データ転送制御信号は、クロック信号に同期したシフトレジスタを構成するフリップフロップ（Ｆ／Ｆ）３１に入力され、図中右側に順次転送された後、読込タイミング信号に同期して一斉にフリップフロップ３２に入力される。このイメージセンサ２０では、ゲート回路３４を制御することで、Ａ／Ｄ変換回路３３からのデータ転送を制御するようになっている。
【００９７】
以上詳述したように、本実施形態のイメージセンサは、行毎に各列の画素読出回路を制御し、読出し選択された画素（読出画素）に対応する画素読出回路だけ動作させ、選択されていない画素に対応する画素読出回路の消費電力をできるだけ低減させるように制御することで、イメージセンサ全体の消費電力を大幅に低減させることが可能である。更に、本実施形態のイメージセンサは、画素の信号強度に応じて読出回路を構成するＡ／Ｄ変換器の分解能を変化させているため、画質と消費電力を最適化することができる。更に本実施形態のイメージセンサでは、Ａ／Ｄ変換器からのデータ転送を制御することにより、データ転送によって生じる消費電力を低減することができる。
【００９８】
なお、本実施形態における上記以外の構成及び効果は、前述した第１の実施形態と同様である。また、以上の説明においてはＣＯＭＳイメージセンサを例に説明したが、本発明はこれに限定されるものではなく、他の用途の二次元イメージセンサに対しても適用可能である。更に、イメージセンサは、赤外線センサ、テラヘルツセンサ、磁気センサ、圧力センサを含む。
【符号の説明】
【００９９】
１、１０１、１３０、２１０  画素
１ａ、１０１ａ  読出画素
１ｈ  高照度領域
１ｌ  低照度領域
１ｒ、１０１ｂ  リセット画素
２、２ａ、２ｂ  行選択部
３  画素読出し部
４、４ａ、４ｂ  列選択部
５  タイミング信号発生部
６  画像処理回路
７ｒ  リセット領域
１０、２０、１００、２００  イメージセンサ
１１、１２０  フォトダイオード
１２、１３、１２１、１２２  容量
２３  読出し制御部
３１、３２  フリップフロップ
３３  アナログ・デジタル変換回路
３４  ゲート回路
４１  クロック発生回路
４２  クロック選択回路
４３  比較器
４４  カウンタ
５１、５３  対象フレーム
５１ａ、５３ａ  １つ前のフレーム
５１ｂ、５３ｂ  ２つ前のフレーム
５２  動きベクトル
１０２  行選択回路
１０３  列読出回路
１０４、２０４  タイミング信号発生回路
１０５  転送回路
１１０  低照度用フレーム
１１１  高照度用フレーム
１３１  低照度用画素
１３２  高照度用画素
２０１  電荷転送用スキャナ
２０２  電子シャッタ用スキャナ
２０３  水平方向画素選択スキャナ
２０５  画素領域
Ｍ１〜Ｍ５  トランジスタ
【図１】
2020070994.tif 000003
【図２】
2020070994.tif 000004
【図３】
2020070994.tif 000005
【図４】
2020070994.tif 000006
【図５】
2020070994.tif 000007
【図６】
2020070994.tif 000008
【図７】
2020070994.tif 000009
【図８】
2020070994.tif 000010
【図９】
2020070994.tif 000011
【図１０】
2020070994.tif 000012
【図１１】
2020070994.tif 000013
【図１２】
2020070994.tif 000014
【図１３】
2020070994.tif 000015
【図１４】
2020070994.tif 000016
【図１５】
2020070994.tif 000017
【図１６】
2020070994.tif 000018
【図１７】
2020070994.tif 000019
【図１８】
2020070994.tif 000020
【図１９】
2020070994.tif 000021
【図２０】
2020070994.tif 000022
【図２１】
2020070994.tif 000023
【図２２】
2020070994.tif 000024
【図２３】
2020070994.tif 000025
【図２４】
2020070994.tif 000026
【図２５】
2020070994.tif 000027
【図２６】
2020070994.tif 000028
【図２７】
2020070994.tif 000029
【図２８】
2020070994.tif 000030
【図２９】
2020070994.tif 000031
【図３０】
2020070994.tif 000032
【図３１】
2020070994.tif 000033
【図３２】
2020070994.tif 000034
【図３３】
2020070994.tif 000035
【図３４】
2020070994.tif 000036
【図３５】
2020070994.tif 000037
【図３６】
2020070994.tif 000038
【図３７】
2020070994.tif 000039
【国際調査報告】
2020070994.tif 000040
2020070994.tif 000041
2020070994.tif 000042
2020070994.tif 000043