(57)【要約】【課題】一度の撮像でダイナミックレンジが広い固体撮像装置、及び固体撮像装置を提供すること。【解決手段】固体撮像装置は、第１の方向及び前記第１の方向と交差する第２の方向に配列されたＹ×Ｘ個の画素を有する画素部と、露光制御回路と、露光時間算出回路と、を有し、画素部は、前記Ｙ×Ｘ個の画素において、ｙ×ｘ個の画素に対応して設けられた第１光電変換素子と、前記Ｙ×Ｘ個の画素のそれぞれに設けられた第２光電変換素子と、を有し、第２光電変換素子は第１光電変換素子に重なり、第１光電変換素子は受光強度に対応する輝度信号を露光時間算出回路に出力し、露光時間算出回路は輝度信号に基づいて第２光電変換素子の露光時間を算出し、露光制御回路は、前記ｙ×ｘ個の画素単位で、前記ｙ×ｘ個の画素のそれぞれの第２光電変換素子の露光を制御する。【選択図】図１
2020136686.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向及び前記第１の方向と交差する第２の方向に配列されたＹ×Ｘ個（Ｙ及びＸはそれぞれ独立に設定される自然数）の画素を有する画素部と、
露光制御回路と、
露光時間算出回路と、を有し、
前記画素部は、
前記Ｙ×Ｘ個の画素において、ｙ×ｘ個（ｙ及びｘはそれぞれ独立に設定される自然数）の画素に対応して設けられた第１光電変換素子と、
前記Ｙ×Ｘ個の画素のそれぞれに設けられた第２光電変換素子と、を有し、
前記第２光電変換素子は前記第１光電変換素子に重なり、
前記第１光電変換素子は受光強度に対応する輝度信号を前記露光時間算出回路に供給し、
前記露光時間算出回路は前記輝度信号に基づいて前記第２光電変換素子の露光時間を算出し、
前記露光制御回路は、前記ｙ×ｘ個の画素単位で、前記ｙ×ｘ個の画素のそれぞれの第２光電変換素子の露光を制御する、
固体撮像装置。
【請求項２】
前記露光時間のデータを格納する記憶部を有する、
請求項１に記載の固体撮像装置。
【請求項３】
前記第２光電変換素子と前記第２光電変換素子に隣接する第２光電変換素子とは離間し、前記第１光電変換素子が光を露光可能に設けられる、
請求項１に記載の固体撮像装置。
【請求項４】
前記第１光電変換素子の面積は前記第２光電変換素子の面積よりも大きい
請求項１に記載の固体撮像装置。
【請求項５】
第１の方向及び前記第１の方向と交差する第２の方向に配列されたＹ×Ｘ個（Ｙ及びＸはそれぞれ独立に設定される自然数）の画素を有する画素部と、ｙ×ｘ個（ｙ及びｘはそれぞれ独立に設定される自然数）の前記画素に対応して設けられた第１光電変換素子と、前記第１光電変換素子と重なり前記ｙ×ｘ個の画素のそれぞれに設けられた第２光電変換素子と、露光時間算出回路と、露光制御回路と、信号処理回路と、を含む固体撮像装置の駆動方法であって、
前記第１光電変換素子が、受光強度に応じて輝度信号を生成し、
前記露光時間算出回路が、前記輝度信号に応じて前記第２光電変換素子の露光時間を算出し、
前記露光制御回路が、前記露光時間に基づいて前記第２光電変換素子の露光を制御し、
前記信号処理回路が、前記ｙ×ｘ個の画素のそれぞれに設けられた第２光電変換素子の前記露光時間に応じた信号を生成する、
固体撮像装置の駆動方法。
【請求項６】
前記固体撮像装置はさらに記憶部を含み、
前記露光時間のデータを前記記憶部に格納し、
前記露光制御回路は、前記記憶部から前記露光時間のデータを読み出す、
請求項５に記載の固体撮像装置の駆動方法。
【請求項７】
前記輝度信号の出力は第１番目のフレームにて実行され、
前記第２光電変換素子の前記露光時間に応じた信号の生成は、第１番目のフレームのあとの第２番目のフレームにて実行される、
請求項５に記載の固体撮像装置の駆動方法。
【請求項８】
前記第１の方向に配列された複数の第１光電変換素子が輝度信号を出力する時間と、前記第１の方向に平行に前記複数の第１光電変換素子に隣接して配列された複数の第１光電変換素子が輝度信号を出力する時間とは異なる、
請求項５に記載の固体撮像装置の駆動方法。
【請求項９】
前記第１の方向に配列された複数の第２光電変換素子の露光時間に応じた信号の生成は、同じ時間に終了する、
請求項５に記載の固体撮像装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は固体撮像装置、及び固体撮像装置の駆動方法に関する。
【背景技術】
【０００２】
近年、固体撮像装置を備えた電子機器が広く普及している。固体撮像装置は、携帯情報端末、デジタルカメラなど、固体を撮像するための機能を有する電子機器に備えられている。固体撮像装置は、イメージセンサとも呼ばれる。イメージセンサには、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサなどがある。
【０００３】
固体撮像装置は、例えば、行（ロウ）方向と列（カラム）方向とのマトリクス状に配置された複数の画素、読み出し対象となる画素をロウ単位で選択する行選択走査回路、及びアナログデジタルコンバータ変換器（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ（ＡＤＣ、ＡＤ変換器））を含む。画素は受光素子を有する。受光素子は、例えば、光電変換素子である。光電変換素子は、例えば、フォトダイオード（Ｐｈｏｔｏ  Ｄｉｏｄｅ、ＰＤ）である。ＣＭＯＳイメージセンサにおいては、例えば、行（ロウ）選択走査回路によって、一行目の画素からＰ（Ｐは自然数）行目の画素までの各画素が選択される。選択された行毎に、各画素が受光した光が各画素に対応する光電変換素子によってアナログ信号（アナログ電圧とも呼ぶ）に変換される。各行毎に光電変換された各アナログ信号が、各画素から出力される。ＡＤ変換器によって、各行毎に出力されたアナログ信号が、デジタル信号に変換される。一行目の画素からＰ行目の画素までの各画素におけるデジタル信号が、例えば、画像処理回路において画像処理されることで、被写体に対する一枚の画像が得られる。
【０００４】
ダイナミックレンジ（明暗比又は照度比ともいう）は、固体撮像装置の性能を表す指標の一つである。ダイナミックレンジが広いこと（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＷＤＲ）は、明暗差を明確に映し出すことが可能であることを意味する。すなわち、ダイナミックレンジが広い固体撮像装置は、明暗比が大きい被写体を撮像でき、明るい場所と暗い場所との両方を明確に撮像することができる。
【０００５】
例えば、非特許文献１に記載された画像処理装置では、異なる露光時間で撮像された２枚の画像を合成し１枚の合成画像を生成する技術が開示されている。また、非特許文献２に記載された撮像装置では、露光時間を独立して変化可能な複数の受光素子を有し、それぞれの受光素子によって撮像された複数枚の画像から１枚の画像を生成する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】みるみるコラム・その１０  ワイドダイナミックレンジ機能とは、［ｏｎｌｉｎｅ］、［平成３０年１２月５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｔｏａ．ｃｏ．ｊｐ／ｍｉｒｕ２／ｃｏｌｕｍｎ／ｃｏｌｕｍｎ１０．ｈｔｍ〉
【非特許文献２】小林  寛和、外６名、一眼レフ用広ダイナミックレンジ撮像素子スーパーＣＣＤハニカムＳＲＩＩの開発、ＦＵＪＩＦＩＬＭ  ＲＥＳＥＲＣＨ  ＆  ＤＥＶＥＬＯＰＭＥＮＴ  Ｎｏ．５０−２００５  ｐｐ．１−３、［ｏｎｌｉｎｅ］、平成１７年３月２２日発光、富士フィルム株式会社Ｒ＆Ｄ統括本部材料研究本部、［平成３０年１２月５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｗｗｗ．ｆｕｊｉｆｉｌｍ．ｃｏ．ｊｐ／ｒｄ／ｒｅｐｏｒｔ／ｒｄ０５０／ｐａｃｋ／ｐｄｆ／ｆｆ＿ｒｄ０５０＿００１．ｐｄｆ〉
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に開示された技術においては、受光素子によって撮像された複数枚の画像から１枚の画像を生成するため、動体が存在する環境下においての撮像が困難であるという課題がある。また、非特許文献１及び非特許文献２に開示された技術においては、受光素子によって撮像された複数枚の画像から１枚の画像を生成するため、画像を合成するためのフレームメモリが必要であり、データ転送量が多いためフレームレートが低下するという課題があった。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、複数枚の画像でなく、一度の撮像でダイナミックレンジが広い固体撮像装置、及び固体撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係る固体撮像装置は、第１の方向及び前記第１の方向と交差する第２の方向に配列されたＹ×Ｘ個（Ｙ及びＸはそれぞれ独立に設定される自然数）の画素を有する画素部と、露光制御回路と、露光時間算出回路と、を有し、画素部は、前記Ｙ×Ｘ個の画素において、ｙ×ｘ個（ｙ及びｘはそれぞれ独立に設定される自然数）の画素に対応して設けられた第１光電変換素子と、前記Ｙ×Ｘ個の画素のそれぞれに設けられた第２光電変換素子と、を有し、第２光電変換素子は第１光電変換素子に重なり、第１光電変換素子は受光強度に対応する輝度信号を露光時間算出回路に供給し、露光時間算出回路は輝度信号に基づいて第２光電変換素子の露光時間を算出し、露光制御回路は、前記ｙ×ｘ個の画素単位で、前記ｙ×ｘ個の画素のそれぞれの第２光電変換素子の露光を制御する。
【００１０】
本発明の一実施形態に係る固体撮像装置の駆動方法は、第１の方向及び第１の方向と交差する第２の方向に配列されたＹ×Ｘ個（Ｙ及びＸはそれぞれ独立に設定される自然数）の画素を有する画素部と、ｙ×ｘ個（ｙ及びｘはそれぞれ独立に設定される自然数）の画素に対応して設けられた第１光電変換素子と、第１光電変換素子と重なり前記ｙ×ｘ個の画素のそれぞれに設けられた第２光電変換素子と、露光時間算出回路と、露光制御回路と、信号処理回路と、を含む固体撮像素子の駆動方法であって、第１光電変換素子が、受光強度に応じて輝度信号を生成し、露光時間算出回路が、輝度信号に応じて第２光電変換素子の露光時間を算出し、露光制御回路が、露光時間に基づいて第２光電変換素子の露光を制御し、信号処理回路が、前記ｙ×ｘ個の画素のそれぞれに設けられた第２光電変換素子の前記露光時間に応じた信号を生成する。
【発明の効果】
【００１１】
本発明の一実施形態によれば、一度の撮像でダイナミックレンジが広い固体撮像装置、及び固体撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る固体撮像装置の構成を示す平面図である。
【図２】本発明の一実施形態に係る固体撮像装置の構成を示す断面図である。
【図３】本発明の一実施形態に係る固体撮像装置の構成を示す断面図である。
【図４】本発明の一実施形態に係る固体撮像装置の画素部の構成を示す平面図である。
【図５】本発明の一実施形態に係る固体撮像装置の画素部の構成を示す平面図である。
【図６】本発明の一実施形態に係る固体撮像装置の画素部の構成を示す平面図である。
【図７】（Ａ）は本発明の一実施形態に係る固体撮像装置の画素の明暗を示す概略図である。（Ｂ）は（Ａ）に示された固体撮像装置の駆動方法を示すタイミングチャートである。
【図８】本発明の一実施形態に係る固体撮像装置の駆動方法を示すフローチャートである。
【図９】（Ａ）は本発明の一実施形態に係る固体撮像装置の第ｔ−１番目のフレームにおける画素の明暗を示す概略図である。（Ｂ）は本発明の一実施形態に係る固体撮像装置の第ｔ番目のフレームにおける画素の明暗を示す概略図である。（Ｃ）は本発明の一実施形態に係る固体撮像装置の第ｔ＋１番目のフレームにおける画素の明暗を示す概略図である。
【図１０】図９（Ａ）に示された第ｔ−１番目及び図９（Ｂ）に示された第ｔ番目のフレームにおける本発明の一実施形態に係る固体撮像装置の駆動方法を示すタイミングチャートである。
【図１１】図９（Ｂ）に示された第ｔ番目及び図９（Ｃ）に示された第ｔ＋１番目のフレームにおける本発明の一実施形態に係る固体撮像装置の駆動方法を示すタイミングチャートである。
【発明を実施するための形態】
【００１３】
以下に、本発明の各実施の形態について、図面を参照し、説明する。なお、開示はあくまで一例にすぎない。つまり、当業者が、発明の主旨を保ち、適宜変更することによって容易に想到し得る構成は、当然に本発明の範囲に含有される構成である。図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合がある。しかし、これらはあくまで一例であって、本発明の解釈を限定するものではない。
【００１４】
以下の説明において、受光素子として、光によって起電力が発生する光電変換素子が用いられた構成について例示するが、この構成に限定されない。例えば、受光素子として、光によって電気伝導度が変化する光電変換素子が用いられてもよい。又は、受光素子として、受光した光の特性（例えば、光の波長）を電気的な信号に変換するタイプの光電変換素子が用いられてもよい。又は、受光素子として、受光した光を電気的な情報ではない情報に変換する素子が用いられてもよい。なお、以下の説明において、受光した光は露光した光と呼んでもよく、受光する光は露光する光と呼んでもよい。また、光を受光することは光を露光することと呼んでもよい。また、本発明の一実施形態に係る固体撮像装置は、トランジスタ、容量素子及び抵抗素子などを含む。トランジスタ、容量素子及び抵抗素子などの構造、トランジスタ、容量素子及び抵抗素子などを形成する膜、層、及び各部分の材料は、本発明の技術分野で通常使用される公知技術を採用することができる。例えば、本発明の一実施形態に係る固体撮像装置はシリコンなどの半導体特性を利用した半導体デバイスであり、公知技術である半導体デバイスの製造プロセスによって固体撮像装置に含まれるトランジスタがＣＭＯＳで形成されてもよい。
【００１５】
なお、本明細書等における「第１」、「第２」、「第３」などの序数は、説明を簡潔にするためだけに用いられており、限定的に解釈されるべきではない。
【００１６】
なお、以下の各実施形態は、技術的な矛盾を生じない限り、互いに組み合わせることができる。
【００１７】
１．第１実施形態
１−１．固体撮像装置１０の構成
図１〜図３を用いて、本発明の一実施形態に係る固体撮像装置１０の概要について説明する。図１は、本発明の一実施形態に係る固体撮像装置１０の概要を示す概略図である。図２は、本発明の一実施形態に係る固体撮像装置１０の構成を示す断面図である。図３は、本発明の一実施形態に係る固体撮像装置１０の構成を示す断面図である。なお、図２は図１に示されるＡ１からＡ２に沿った断面概略図であり、固体撮像装置１０のＸ方向に沿って平行又は略平行な面である。図３は図２に示されるＢ１からＢ２に沿った断面概略図であり、固体撮像装置１０のＹ方向に沿って平行又は略平行な面である。
【００１８】
図１に示されるように、固体撮像装置１０は、画素部１０１及び周辺部１０３に大別される。画素部１０１は、複数の輝度グループ１５０を有する。周辺部１０３は画素部１０１に対して周辺の領域である。周辺部１０３は、撮像タイミング制御回路２１０、第２光電変換素子露光制御回路２２０、記憶回路２３０、露光時間算出回路２４０、読み出し回路３００、及び画像処理回路５００が配置された領域である。
【００１９】
輝度グループ１５０は、矩形の画素部１０１にマトリクス状に配列されている。輝度グループ１５０は、Ｎ行Ｍ列のマトリクス状に配列される。すなわち、画素部１０１は、Ｎ×Ｍ個の輝度グループ１５０が配列される。ここで、Ｎ及びＭはそれぞれ独立に設定される自然数である。輝度グループ１５０は、一つの第１光電変換素子６２、及びｙ×ｘ個の画素１００を有する。ここで、ｙ及びｘはそれぞれ独立に設定される自然数である。また、本明細書等において、一つの第１光電変換素子６２、及びｙ×ｘ個の画素又は画素の組を一つの輝度グループ１５０と言い換えてもよい。図１の例では、輝度グループ１５０の配列はＮ＝３、Ｍ＝４であるが、この値に限定されない。また、図１の例では、輝度グループ１５０は画素１００をｙ＝ｘ＝２の２×２個有するが、この例に限定されない。また、輝度グループ１５０が有する第１光電変換素子６２は、露光した光の強度に基づき生成された電力に対応した第１信号（又は第１電圧）を生成する。第１信号（又は第１電圧）はアナログ信号（又はアナログ電圧）である。また、第１信号（又は第１電圧）は輝度信号とも呼ばれる。光の強度は明るさと呼んでもよい。露光した光の強度は、露光強度、又は受光強度とも呼ばれる。なお、輝度グループ１５０の構成についての詳細は後述される。
【００２０】
画素１００は、Ｙ行Ｘ列のマトリクス状に配置される。すなわち、画素部１０１は、Ｙ×Ｘ個の画素１００が配列される。ここで、Ｙ及びＸはそれぞれ独立に設定される自然数である。図１の例では輝度グループは、ｙ＝ｘ＝２の２×２個の画素１００が配列され、画素部１０１内は６×８個の画素１００が配列されるが、この値に限定されない。また、画素１００は第２光電変換素子７２を有する。第２光電変換素子７２は露光した光の強度に基づき生成した電力に対応した第２信号（又は第２電圧）を生成する。なお、第２信号（又は第２電圧）はアナログ信号（又はアナログ電圧）である。本明細書等において、ｘはＸ以下であり、ｙはＹ以下である。また、Ｘはｘの倍数であり、Ｙはｙの倍数であることが好ましいが、この例に限定されない。
【００２１】
また、図２及び図３に示されるように、画素１００は、信号処理回路５２、及び第２光電変換素子７２を有する。さらに、画素１００は、赤色カラーフィルタ８２、緑色カラーフィルタ８４、青色カラーフィルタ８６のいずれか一つ、及び光学素子９２を有してもよい。ここで、信号処理回路５２は、第１光電変換素子６２、及び第２光電変換素子７２に電気的に接続されてもよい。例えば、信号処理回路５２が第１光電変換素子６２に接続されることによって、信号処理回路５２は、第１光電変換素子６２によって実行される第１信号（輝度信号）を生成するタイミングを制御することができる。また、信号処理回路５２が第２光電変換素子７２に接続されることによって、信号処理回路５２は、第２光電変換素子７２によって実行される第２信号の生成のタイミングを制御することができる。
【００２２】
詳細は後述するが、図２及び図３に示されるように、固体撮像装置１０において、第１光電変換素子６２と第２光電変換素子７２とは重ねて配置される。第１光電変換素子６２は受光強度に基づき輝度信号を生成することができる。すなわち、第１光電変換素子６２は輝度を検出することができる。第２光電変換素子７２は被写体を露光することができる。また、詳細は後述するが、固体撮像装置１０が被写体を撮像するとき、第２光電変換素子７２によって被写体を露光する前に、第１光電変換素子６２によって輝度を検出する。次に、検出された輝度に基づき、第２光電変換素子７２によって被写体を露光する際の露光時間が算出される。続いて、算出された露光時間に基づき、第２光電変換素子７２によって被写体が露光される。本発明の一実施形態に係る固体撮像装置１０は、二つの光電変換素子を有することによって、予め輝度を検出し、検出された輝度に基づき被写体を撮像することができるため、一度の撮像で被写体の明暗を反映させた画像を得ることができる。すなわち、本発明の一実施形態に係る固体撮像装置１０は、一度の撮像でダイナミックレンジを広くすることが可能である。
【００２３】
なお、本明細書において、第１光電変換素子６２及び第２光電変換素子７２は、フォトダイオードである例が示される。また、第１光電変換素子６２は第１ＰＤ６２、第２光電変換素子７２は第２ＰＤ７２と呼ばれることがある。
【００２４】
撮像タイミング制御回路２１０は、周辺部１０３のうち画素部１０１に対して行方向に隣接する位置に配置されている。撮像タイミング制御回路２１０には、例えば、水平信号線（図示は省略）が接続されている。水平信号線は、同じ行に配列された複数の画素１００に接続されている。水平信号線には、各画素１００を制御する制御信号が入力される。図１においては、複数の制御信号はまとめて制御信号２１４で示されている。制御信号２１４の各々は、行毎に順次入力される。例えば、制御信号２１４の各々は、１行目、２行目、３行目、・・・のように、行毎に順次入力される。ただし、制御信号２１４の各々は、上記のように行毎に順次的に入力されず、行毎にランダムに入力されてもよいし、各行に同時に入力されてもよい。また、撮像タイミング制御回路２１０は、配線２１２によって、第２光電変換素子露光制御回路２２０と電気的に接続される。撮像タイミング制御回路２１０は、撮像位置制御信号を生成し、撮像位置制御信号を配線２１２に供給する。撮像位置制御信号は第２光電変換素子露光制御回路２２０に供給される。詳細は供述するが、本発明の一実施形態に係る固体撮像装置１０は、撮像位置制御信号に基づき、第２光電変換素子７２の撮像のタイミングを制御することができる。
【００２５】
読み出し回路３００は、周辺部１０３のうち画素部１０１に対して列方向に隣接する位置に配置されている。読み出し回路３００には第１垂直信号線（図示は省略）が接続されている。第１垂直信号線は、同じ列に配列された複数の画素１００又は複数の第１光電変換素子６２に接続されている。各画素１００に備えられた第２光電変換素子７２によって生成された電力に対応した第２信号が、行選択走査回路２００によって選択された行に配置された画素１００から出力される。各画素１００から出力された第２信号は第１垂直信号線に供給される。第２信号は露光された被写体に対応した画像データである。また、詳細は後述するが、第２信号は、各輝度グループ１５０に対応した露光時間に基づき露光された画像データである。すなわち、第２信号は、露光された被写体に対応した画像データである。複数の第２信号はまとめて第２信号１１４で示されている。また、第１垂直信号線には、第１光電変換素子６２によって生成された電力に対応した第１信号が供給されてもよい。複数の第１信号はまとめて第１信号１１２で示されている。
【００２６】
読み出し回路３００は、例えば、ＡＤ変換器（図示は省略）、及び水平転送走査回路（図示は省略）を有する。第１垂直信号線に供給された第１信号１１２及び第２信号１１４は、ＡＤ変換器によってデジタル信号に変換される。デジタル信号は、水平転送走査回路に転送される。水平転送走査回路は、デジタル信号を列毎に順次読み出す。水平転送走査回路が１行分のデジタル信号を読み出すことで、行選択走査回路（図示は省略）によって選択された行の第１信号１１２及び第２信号１１４をデジタル信号として読み出すことができる。本明細書等において、各行の第１信号１１２に対するデジタル信号は第１デジタル信号と呼ばれる。各行の第１デジタル信号をまとめて第１デジタル信号３０２で示す。同様にして、各行の第２信号１１４に対するデジタル信号は第２デジタル信号と呼ばれ、各行の第２デジタル信号をまとめて第２デジタル信号３０４で示す。第１デジタル信号３０２は各輝度グループ１５０の輝度信号に対応したデジタル輝度信号である。第２デジタル信号３０４は被写体に対応したデジタル画像データである。なお、第１信号１１２及び第２信号１１４は、ＡＤ変換器によってデジタル信号に変換されずに、アナログ信号のまま水平転送走査回路に転送され、列毎に順次読み出されてもよい。
【００２７】
露光時間算出回路２４０は、例えば、読み出し回路３００、画像処理回路５００、及び記憶回路２３０に電気的に接続されている例を示すが、この例に限定されない。露光時間算出回路２４０の配置、電気的な接続等は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。露光時間算出回路２４０には、第１デジタル信号３０２が供給される。上述の通り、第１デジタル信号３０２は各輝度グループ１５０の輝度信号に対応したデジタル輝度信号である。露光時間算出回路２４０は、第１デジタル信号３０２に基づき、各輝度グループ１５０が有する複数の第２光電変換素子７２が被写体を露光するために適した露光時間を算出することができる。算出された各輝度グループ１５０に対応した露光時間のデータは配線２４２に供給され、記憶回路２３０に供給される。なお、第１信号１１２及び第２信号１１４がデジタル信号に変換されず、アナログ信号のまま処理されてもよい。
【００２８】
記憶回路２３０は、例えば、露光時間算出回路２４０、及び第２光電変換素子露光制御回路２２０に電気的に接続されている例を示すが、この例に限定されない。記憶回路２３０の配置、電気的な接続等は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。記憶回路２３０には、算出された各輝度グループ１５０に対応した露光時間のデータが供給される。記憶回路２３０は、算出された各輝度グループ１５０に対応した露光時間のデータを格納することができる。記憶回路２３０は例えば、揮発性メモリである。なお、記憶回路２３０は、複数の揮発性メモリを有していてもよい。記憶回路２３０は、複数のメモリを有することによって、記憶回路２３０のメモリ容量が増加する。よって、固体撮像装置１０の解像度が高くても、十分な量の露光時間のデータを記憶回路２３０に格納することができる。なお、記憶回路２３０は、固体撮像装置１０に内蔵されていてもよいし、外部に接続してもよい。例えば、記憶回路２３０は、ＤＩＭＭ、又はＳＯ−ＤＩＭＭのように、着脱可能であってもよい。記憶回路２３０に格納された各輝度グループ１５０に対応した露光時間のデータは、記憶回路２３０から読み出される。読み出された露光時間のデータは、配線２３２に供給され、第２光電変換素子露光制御回路２２０に供給される。
【００２９】
第２光電変換素子露光制御回路２２０は、周辺部１０３のうち画素部１０１に対して列方向に隣接する位置に配置されている例を示すが、この例に限定されない。第２光電変換素子露光制御回路２２０は、周辺部１０３のうち画素部１０１に対して行方向に隣接する位置に配置されていてもよい。第２光電変換素子露光制御回路２２０は、例えば、撮像タイミング制御回路２１０、及び記憶回路２３０に電気的に接続されている例を示すが、この例に限定されない。第２光電変換素子露光制御回路２２０の配置、電気的な接続等は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。
【００３０】
また、第２光電変換素子露光制御回路２２０は、記憶回路２３０から算出された各輝度グループ１５０に対応した露光時間のデータを読み出すことができる。第２光電変換素子露光制御回路２２０には、撮像位置制御信号、及び算出された各輝度グループ１５０に対応した露光時間のデータが供給される。撮像位置制御信号、及び算出された各輝度グループ１５０に対応した露光時間のデータに基づき、第２光電変換素子露光制御回路２２０は、各輝度グループ１５０内の画素の露光を制御する信号（輝度グループ露光信号）を生成してもよい。なお、図１においては、輝度グループ露光信号をまとめて、輝度グループ露光信号２２４で示されている。
【００３１】
さらに、第２光電変換素子露光制御回路２２０には、例えば、第２垂直信号線（図示は省略）が接続されていてもよい。第２垂直信号線は、同じ列に配列された複数の画素１００又は複数の第１光電変換素子６２に接続されている。第２垂直信号線には、輝度グループ露光信号２２４が入力される。輝度グループ露光信号２２４は、列毎に順次入力されてもよい。例えば、輝度グループ露光信号２２４は、１列目、２列目、３列目、・・・のように、列毎に順次入力されてもよい。また、輝度グループ露光信号２２４は、上記のように列毎に順次的に入力されず、列毎にランダムに入力されてもよいし、各列に同時に入力されてもよい。
【００３２】
また、第２光電変換素子露光制御回路２２０は、撮像タイミング制御回路２１０から撮像位置制御信号が供給されることによって、輝度グループ露光信号２２４を、制御信号２１４と同期させることができる。第２光電変換素子露光制御回路２２０は、記憶回路２３０から露光時間のデータが供給されることによって、各輝度グループ１５０に対応した露光時間を設定し、第２光電変換素子７２の撮像のタイミングを制御することができる。すなわち、本発明の一実施形態に係る固体撮像装置１０が有する複数の第２光電変換素子７２は、第１光電変換素子６２によって生成された輝度信号に基づき算出された被写体を露光するために適した露光時間で、被写体を露光することができる。
【００３３】
画像処理回路５００は、周辺部１０３のうち画素部１０１に対して列方向に隣接する位置に配置されている例を示すが、この例に限定されない。画像処理回路５００は、周辺部１０３のうち画素部１０１に対して行方向に隣接する位置に配置されていてもよい。画像処理回路５００は、例えば、読み出し回路３００に電気的に接続されている例を示すが、この例に限定されない。画像処理回路５００の配置、電気的な接続等は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。
【００３４】
また、本発明の一実施形態に係る固体撮像装置１０が有する画像処理回路５００は、一度の撮像で、被写体に対応したデジタル画像データである第２デジタル信号３０４を取得することができる。すなわち、本発明の一実施形態に係る固体撮像装置１０は、一度の撮像で被写体の明暗を反映させた画像を得ることができ、一度の撮像でダイナミックレンジを広くすることが可能である。
【００３５】
なお、図１では、画素１００がマトリクス状に配置された構成を例示したが、この構成に限定されない。例えば、画素１００が図１に示すマトリクス状とは異なる周期性を有する形状で配置されていてもよく、不規則に配置されていてもよい。また、図１では、画素部１０１が矩形である構成を例示したが、この構成に限定されない。例えば、画素部１０１は多角形であってもよく、円形（真円及び楕円を含む）であってもよく、湾曲形状であってもよい。
【００３６】
また、図１では、理解の促進のため、画素１００と隣接する画素１００との間が空いているように記載されているが、実際は、画素１００は画素部１０１をほぼ隙間が無く敷き詰めるように配置されている。
【００３７】
さらに、図１では、平面視において、赤色カラーフィルタ８２は第２光電変換素子７２に対して内側に設けられているが、この例に限定されない。平面視において、赤色カラーフィルタ８２は第２光電変換素子７２に対して同一の大きさであってもよいし、第２光電変換素子７２が赤色カラーフィルタ８２に対して内側に設けられていてもよい。緑色カラーフィルタ８４、及び青色カラーフィルタ８６についても、赤色カラーフィルタ８２と同様である。各カラーフィルタと第２光電変換素子７２との配置等は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。
【００３８】
図２及び図３を用いて、本発明の実施形態に係る固体撮像装置１０の断面構造を説明する。
【００３９】
図２及び図３に示されるように、本発明の一実施形態に係る固体撮像装置１０は、信号処理部５０、第１光電変換素子部６０、第２光電変換素子部７０、カラーフィルタ部８０、及び光学素子部９０を有する。
【００４０】
信号処理部５０は複数の信号処理回路５２を有する。第１光電変換素子部６０は複数の第１光電変換素子６２を有する。第１光電変換素子部６０は信号処理部５０の上に設けられる。複数の第１光電変換素子６２は、例えば、無機絶縁膜、有機絶縁膜などの絶縁膜によって互いに絶縁されている。第２光電変換素子部７０は複数の第２光電変換素子７２を有する。第２光電変換素子部７０は第１光電変換素子部６０の上に設けられる。複数の第２光電変換素子７２は、例えば、無機絶縁膜、有機絶縁膜などの絶縁膜によって互いに絶縁されている。カラーフィルタ部８０は赤色カラーフィルタ８２、緑色カラーフィルタ８４、及び青色カラーフィルタ８６を、それぞれ複数個有する。カラーフィルタ部８０は第２光電変換素子部７０の上に設けられる。光学素子部９０は、複数の光学素子９２を有する。光学素子９２は例えばマイクロレンズである。なお、第２光電変換素子部７０の配置は、上記のように第１光電変換素子部６０の上に設けられる例に限定されず、第１光電変換素子部６０の下に設けられてもよい。
【００４１】
側面視において、第１光電変換素子６２の幅は、第２光電変換素子７２の幅よりも大きい。第１光電変換素子６２の幅が、第２光電変換素子７２の幅よりも大きいことによって、第１光電変換素子６２は第２光電変換素子７２よりも受光面積を大きくすることができるため、大きな容量を形成し易い。よって、第１光電変換素子６２は飽和し難く、第１光電変換素子６２によって幅広い輝度を検出することができる。したがって、本発明の一実施形態に係る固体撮像装置１０は、広い範囲の露光時間を算出することができる。
【００４２】
また、側面視において、第２光電変換素子７２と隣接する第２光電変換素子７２との間は隙間が設けられている。この隙間によって、第１光電変換素子６２は固体撮像装置１０外部から固体撮像装置１０への入射光１１６をより受光又は露光しやすくなり、本発明の一実施形態に係る固体撮像装置１０は、輝度を検出しやすくなる。
【００４３】
図２及び図３では、側面視において、第２光電変換素子７２、各カラーフィルタ、及び光学素子９２のそれぞれの幅は同一であるが、この例に限定されない。第２光電変換素子７２、各カラーフィルタ、及び光学素子９２のそれぞれの幅は、本発明の一実施形態に係る固体撮像装置１０の構成を逸脱しない範囲において、適宜決定されればよい。
【００４４】
１−２．輝度グループ１５０の構成
図４〜図６を用いて、輝度グループ１５０の構成について説明する。図４は本発明の一実施形態に係る固体撮像装置１０の画素部１０１の構成を示す平面図である。図５及び図６は本発明の一実施形態に係る固体撮像装置１０の輝度グループ１５０の構成を示す平面図である。図１〜図３を用いた本発明の一実施形態に係る固体撮像装置１０の構成の説明においては、輝度グループ１５０の配列はＮ＝３、Ｍ＝４である例を説明したが、図４〜図６を用いた輝度グループ１５０の構成の説明においては、Ｎ＝ｎ、Ｍ＝ｍである例を説明する。なお、図１〜図３と同一、又は類似する構成の説明は、省略されることがある。
【００４５】
図４に示されるように、画素部１０１は、Ｎ行Ｍ列の輝度グループ１５０を有する。輝度グループ１５０は、第１の方向及び第１の方向に交差する第２の方向に沿って配置される。例えば、輝度グループ１５０は、第１の方向であるＸ方向に平行な方向にｎ個配置され、第２の方向であるＹ方向に平行な方向にｍ個配置される。ｍ及びｎはそれぞれ独立に設定される自然数である。輝度グループ１５０の内部に記載された数値は、輝度グループ１５０の座標である。例えば、２行１列に配置される輝度グループ１５０の座標は（２、１）と示している。ｎ行ｍ列に配置される輝度グループ１５０の座標は（ｎ、ｍ）と示している。
【００４６】
上述のように、輝度グループ１５０は、一つの第１光電変換素子６２、及び、ｙ×ｘ個の画素１００を有する。すなわち、一つの輝度グループ１５０は、一つの第１光電変換素子６２、及びｙ×ｘ個の画素又は画素の組を有する。図５に示された例では、ｙ＝ｘ＝８である。上述した通り、各画素１００は、一つの第２光電変換素子７２を有するため、輝度グループ１５０は８×８個の第２光電変換素子７２を有すると換言してもよい。輝度グループ１５０と同様に、画素１００は、第１の方向及び第１の方向に交差する第２の方向に沿って配置される。例えば、画素１００は、第１の方向であるＸ方向に平行にＸ個配置され、第２の方向であるＹ方向に平行にＹ個配置される。ＸとＹはそれぞれ独立に設定される自然数である。図５及び図６においては、Ｙ＝Ｘ＝８である例を示すが、この例に限定されない。画素１００の内部に記載された数値は、輝度グループ１５０の内部に記載された数値と同様に、画素１００の座標である。例えば、４行７列に配置される画素１００の座標は（４、７）と示している。８行８列に配置される画素１００の座標は（８、８）と示している。なお、図５に記載された輝度グループ１５０は、画素部１０１において、１行１列に配置された輝度グループ１５０である。よって、１行１列に配置された輝度グループ１５０内に配置された画素１００は、Ｘが１から８まで、Ｙが１から８までの座標の画素１００である。
【００４７】
図６に示される輝度グループ１５０は、図５において説明された輝度グループ１５０の構成と同様の構成を有し、画素部１０１においてＮ行Ｍ列に配置された輝度グループ１５０である。よって、Ｎ行Ｍ列に配置された輝度グループ１５０内に配置された画素１００は、Ｙが８ｎ−７から８ｎまで、Ｘが８ｍ−７から８ｍまでの座標の画素１００である。
【００４８】
本発明の一実施形態に係る固体撮像装置１０は、上述したような構成を有することによって、各輝度グループに設けられた第１光電変換素子６２によって輝度を検出し、当該検出された輝度に基づき算出された露光時間に基づき、各輝度グループに設けられた第２光電変換素子７２によって被写体を露光し、被写体を撮像することができる。よって、本発明の一実施形態に係る固体撮像装置１０を用いることで、撮像者は、被写体の明暗が反映された画像を得ることができる。
【００４９】
１−３．固体撮像装置１０の駆動方法
図７及び図８を用いて、本発明の一実施形態に係る固体撮像装置１０の駆動方法について説明する。なお、図１〜図６と同一、又は類似する構成の説明は、省略されることがある。
【００５０】
図７（Ａ）は本発明の一実施形態に係る固体撮像装置１０の画素１００の明暗を示す概略図である。図７（Ｂ）は図７（Ａ）に示された固体撮像装置１０の駆動方法を示すタイミングチャートである。図８は、本発明の一実施形態に係る固体撮像装置１０の駆動方法を示すフローチャートである。図７では、輝度グループは輝度Ｇと記載される。
【００５１】
図７（Ａ）に一例として示されるように、輝度グループ１５０は１行３列（Ｎ＝１、Ｍ＝３）のマトリクス状に配列されている。また、図７（Ａ）に一例として示されるように、輝度グループ内では、２×２個の画素１００が配列され、画素部１０１内では、２×６個の画素１００が配列されている。また、画素１００は、第２光電変換素子７２を有しているため、輝度グループ内では、２×２個の第２光電変換素子７２が配列され、画素部１０１内では、２×６個の第２光電変換素子７２が配列されている。さらに、図７（Ａ）に一例として示されるように、１行１列（Ｎ＝１、Ｍ＝１）の輝度グループ１５０が露光する光は、暗いものとし、左斜線のハッチングで示される。同様に、１行２列（Ｎ＝１、Ｍ＝２）の輝度グループ１５０が露光する光は、中間調であるものとし、右斜線のハッチングで示され、１行３列（Ｎ＝１、Ｍ＝３）の輝度グループ１５０が露光する光は、明るいものとする。
【００５２】
図７（Ｂ）には、固体撮像装置１０の駆動方法における二つのフレーム（第ｔ番目の輝度フレームｔと第ｔ＋１番目の輝度フレームｔ＋１、又は、第ｔ−１番目の画像フレームｔ−１と第ｔ番目の画像フレームｔ）が、一例として示されている。ここで、輝度フレームは第１ＰＤ６２の露光に関連する期間であり、画像フレームは第２ＰＤ７２の露光に関連する期間である。なお、以降の説明においては、駆動方法におけるフレームは画像フレームを用いることとする。
【００５３】
図８に示されるように、固体撮像装置１０の駆動が開始される。初めに、固体撮像装置１０が初期化される（ステップ３１（Ｓ３１））。ここで、初期化とは、固体撮像装置１０の起動の際に、固体撮像装置１０の新たな作業に不要なデータが記憶回路２３０に残っていることを回避するために、当該不要なデータを消去することを含む。初期化には、固体撮像装置１０を初期の状態に戻すことが含まれていてもよい。初期化によって、固体撮像装置１０は新たな画像を撮像することができる。なお、固体撮像装置１０に消去するデータがない場合など、固体撮像装置１０の初期化の必要がない場合は、ステップ３１は実行されなくてもよい。また、ステップ３１は第ｔ−１番目の画像フレームｔ−１において実行されてもよいし、第ｔ−１番目の画像フレームｔ−１よりも前に実行されてもよい。
【００５４】
第ｔ−１番目の画像フレームｔ−１では、図８に示されるステップ３３（Ｓ３３）が行われる。ステップ３３（Ｓ３３）では、輝度グループ１５０の１行目（Ｎ＝１）の１列目（Ｍ＝１）から３列目（Ｍ＝３）までの第１ＰＤ６２が選択され、選択された１列目（Ｍ＝１）から３列目（Ｍ＝３）までの第１ＰＤ６２が露光し、各第１ＰＤ６２が露光した光に基づき生成された各輝度信号が、露光時間算出回路２４０に供給される。ステップ３３が実行される時間を時間Ｔ１とする。時間Ｔ１は第１ＰＤ６２の露光に関連する時間と言い換えてもよい。すなわち、固体撮像装置１０は、輝度グループ１５０を一行毎に選択し、各輝度グループ１５０の各第１ＰＤ６２は、露光した光に基づき輝度を検出する。生成された各輝度信号は、読み出し回路３００（図１）によって第１デジタル信号３０２（図１）、すなわち、各輝度グループ１５０の輝度信号に対応したデジタル輝度信号に変換される。デジタル輝度信号は、露光時間算出回路２４０（図１）に供給される。
【００５５】
第ｔ−１番目の画像フレームｔ−１において露光時間算出回路２４０に供給された各輝度信号が露光時間算出回路２４０に供給されてから、第ｔ−１番目の画像フレームｔ−１に続く第ｔ番目の画像フレームｔにおいて第２ＰＤ７２が露光するまでに、固体撮像装置１０において図８に示されるステップ３５（Ｓ３５）からステップ３９（Ｓ３９）までが実行されてもよい。
【００５６】
ステップ３５（Ｓ３５）では、露光時間算出回路２４０において、デジタル輝度信号に基づき露光時間が算出される。露光時間の算出は、画素部１０１の一行毎の各輝度グループ１５０に対して実行されてもよいし、複数行のデータの各輝度グループ１５０に対して実行されてもよい。ここで、図７（Ａ）に示されるように、１行１列（Ｎ＝１、Ｍ＝１）の輝度グループ１５０が露光する光は暗く、１行２列（Ｎ＝１、Ｍ＝２）の輝度グループ１５０が露光する光は中間調であり、１行３列（Ｎ＝１、Ｍ＝３）の輝度グループ１５０が露光する光は明るい。よって、詳細は後述するが、図７（Ｂ）に示されるように、１行１列（Ｎ＝１、Ｍ＝１）の輝度グループ１５０に対応する画素１００に含まれる第２ＰＤ７２が露光するときの露光時間Ｔ２は、１行２列（Ｎ＝１、Ｍ＝２）の輝度グループ１５０に対応する画素１００に含まれる第２ＰＤ７２が露光するときの露光時間Ｔ３よりも長い。また、詳細は後述するが、図７（Ｂ）に示されるように、１行２列（Ｎ＝１、Ｍ＝２）の輝度グループ１５０に対応する画素１００に含まれる第２ＰＤ７２が露光するときの露光時間Ｔ３は、１行３列（Ｎ＝１、Ｍ＝３）の輝度グループ１５０に対応する画素１００に含まれる第２ＰＤ７２が露光するときの露光時間Ｔ４よりも長い。
【００５７】
ステップ３７（Ｓ３７）では、算出された各輝度グループ１５０に対応した露光時間は記憶回路２３０（図１）に供給され、記憶回路２３０に格納される。算出された露光時間の記憶回路２３０への供給は、一行毎の各輝度グループ１５０に対応した露光時間を一つの単位として実行されてもよいし、複数行のデータの各輝度グループ１５０に対応した露光時間を一つの単位として実行されてもよい。
【００５８】
ステップ３９（Ｓ３９）では、記憶回路２３０に格納された露光時間が記憶回路２３０から読み出され、第２光電変換素子露光制御回路２２０（図１）に供給される。算出された露光時間の記憶回路２３０から第２光電変換素子露光制御回路２２０への供給は、一行毎の各輝度グループ１５０に対応した露光時間を一つの単位として実行されてもよいし、複数行のデータの各輝度グループ１５０に対応した露光時間を一つの単位として実行されてもよい。
【００５９】
上述のように、図７（Ｂ）に示された第ｔ番目の画像フレームｔでは、露光時間に基づき第２光電変換素子７２によって被写体が露光される（図８におけるステップ４１（Ｓ４１））。第２光電変換素子露光制御回路２２０は、例えば、信号処理回路５２を制御することによって、読み出された露光時間を設定し、固体撮像装置１０は被写体を撮像することができる。
【００６０】
具体的には、図７（Ｂ）に示されるように、固体撮像装置１０は、Ｙが１行目の画素１００を選択する。Ｙが１行目の画素１００が選択されるとき、１行１列（Ｎ＝１、Ｍ＝１）の輝度グループの第１ＰＤ６２の輝度信号から算出された露光時間に基づき、Ｘ＝１及びＸ＝２の画素１００に含まれる第２ＰＤ７２が露光する。そして、各第２ＰＤ７２によって生成された各第２信号（被写体に対応した画像データ）が読み出し回路３００に供給される。このとき、１行１列（Ｎ＝１、Ｍ＝１）の露光時間は露光時間Ｔ２である。同様にして、１行２列（Ｎ＝１、Ｍ＝２）の輝度グループの第１ＰＤ６２の輝度信号から算出された露光時間に基づき、Ｘ＝３及びＸ＝４の画素１００に含まれる第２ＰＤ７２が露光する。そして、各第２ＰＤ７２によって生成された各第２信号（被写体に対応した画像データ）が読み出し回路３００に供給される。このとき、１行２列（Ｎ＝１、Ｍ＝２）の露光時間は露光時間Ｔ３である。さらに同様にして、１行３列（Ｎ＝１、Ｍ＝３）の輝度グループの第１ＰＤ６２の輝度信号から算出された露光時間に基づき、Ｘ＝５及びＸ＝６の画素１００に含まれる第２ＰＤ７２が露光する。そして、各第２ＰＤ７２によって生成された各第２信号（被写体に対応した画像データ）が読み出し回路３００に供給される。このとき、１行３列（Ｎ＝１、Ｍ＝３）の露光時間は露光時間Ｔ４である。また、Ｘ＝１からＸ＝６までの第２ＰＤ７２において、露光時間に応じた第２信号の生成は、同一又は略同一の時間に終了する。第２信号の生成が同一又は略同一に終了することによって、各第２信号を略同一のタイミングで読み出し回路３００に供給することができる。
【００６１】
次に、固体撮像装置１０は、Ｙが２行目の画素１００を選択する。Ｙが２行目の画素１００が選択されるとき、各第２ＰＤ７２の駆動、及び露光時間などは、上述されたＹが１行目の画素１００が選択されるときと同様であるから、ここでの説明は省略する。
【００６２】
なお、第ｔ番目の画像フレームｔでは、第ｔ番目の画像フレームｔに続く第ｔ＋１番目の画像フレームｔ＋１において実行されるステップ４１に対応する露光時間を算出するためのステップ３３も実行される。
【００６３】
上述のように、複数の第２信号はまとめて第２信号１１４（図１）で示されている。読み出し回路３００に供給された第２信号１１４は、各行の第２信号１１４に対する第２デジタル信号（まとめて第２デジタル信号３０４）に変換される。第２デジタル信号３０４は被写体に対応したデジタル画像データである。
【００６４】
以上のようにして撮像された画像データは、画像処理回路５００によって画像処理され、被写体の画像として出力される。そして、固体撮像装置１０の駆動が完了される。なお、本明細書中においては、駆動方法の理解の促進のため、本発明の一実施形態に係る固体撮像装置１０の駆動方法は、簡易的に示されているが、ここで示された例に限定されない。例えば、第ｔ番目の画像フレームｔにおいて、第１ＰＤ６２の受光強度は一定であり輝度信号も一定であってもよいし、第１ＰＤ６２の受光強度は時間ごとに変化し受光強度の変化に伴い輝度信号が変化してもよい。また、各フレームにおいて、第１ＰＤ６２の受光強度は一定であり輝度信号も一定であってもよいし、第１ＰＤ６２の受光強度は時間ごとに変化し受光強度の変化に伴い輝度信号が変化してもよい。固体撮像装置において、輝度信号に基づく露光時間で各第２光電変換素子の露光時間が制御され、一度の撮像で被写体の明暗を反映させた画像を得ることができる駆動方法であればよい。
【００６５】
以上説明されたように、本発明の一実施形態に係る固体撮像装置１０は、二つの光電変換素子を有する輝度グループを備えることによって、第１のフレームで第１光電変換素子によって輝度信号を生成することができる。また、第２のフレームにおいて前記輝度信号に基づく露光時間で各第２光電変換素子の露光時間が制御され、本発明の一実施形態に係る固体撮像装置１０は、一度の撮像で被写体の明暗を反映させた画像を得ることができる。すなわち、本発明の一実施形態に係る固体撮像装置１０は、各輝度グループ毎に露光時間を最適化することができるため、高い輝度が検出される画素１００において出力されるアナログ信号の飽和を防ぐことができる。したがって、本発明の一実施形態に係る固体撮像装置１０は、一度の撮像でダイナミックレンジを広くすることが可能である。
【００６６】
１−４．固体撮像装置１０の駆動方法
図９〜図１１を用いて、本発明の一実施形態に係る固体撮像装置１０の駆動方法について説明する。
【００６７】
図９（Ａ）は本発明の一実施形態に係る固体撮像装置１０の第ｔ−１番目の画像フレームｔ−１における画素１００の明暗を示す概略図である。図９（Ｂ）は本発明の一実施形態に係る固体撮像装置１０の第ｔ番目の画像フレームｔにおける画素１００の明暗を示す概略図である。図９（Ｃ）は本発明の一実施形態に係る固体撮像装置１０の第ｔ＋１番目の画像フレームｔ＋１における画素１００の明暗を示す概略図である。図１０は図９（Ａ）に示された第ｔ−１番目の画像フレームｔ−１及び図９（Ｂ）に示された第ｔ番目の画像フレームｔにおける本発明の一実施形態に係る固体撮像装置１０の駆動方法を示すタイミングチャートである。図１１は図９（Ｂ）に示された第ｔ番目の画像フレームｔ及び図９（Ｃ）に示された第ｔ＋１番目の画像フレームｔ＋１における本発明の一実施形態に係る固体撮像装置１０の駆動方法を示すタイミングチャートである。図１０及び図１１では、輝度グループは輝度Ｇと記載される。
【００６８】
図９〜図１１における固体撮像装置１０の構成は、図７及び図８を用いて説明された駆動方法における固体撮像装置１０の構成と比較して、輝度グループ１５０が１行３列（Ｎ＝１、Ｍ＝３）から、２行４列（Ｎ＝２、Ｍ＝４）に変わっている。また、図９〜図１１の駆動方法は、図７及び図８を用いて説明された駆動方法と比較して、画像フレームの数が二つから三つに変わっている。図９〜図１１は、図７及び図８と比較して、輝度グループ１５０の配列数及びフレームの数以外は同様であるから、ここでは図７及び図８と比較して主に異なる点を説明する。なお、図１〜図８と同一、又は類似する構成の説明は、省略されることがある。
【００６９】
図９（Ａ）、図９（Ｂ）及び図９（Ｃ）に一例として示されるように、輝度グループ１５０は２行４列（Ｎ＝２、Ｍ＝４）のマトリクス状に配列されている。また、輝度グループ内では、２×２個の画素１００が配列され、画素部１０１内では、４×８個の画素１００が配列されている。なお、第２光電変換素子７２も輝度グループ内では、２×２個配列され、画素部１０１内では、４×８個配列されている。
【００７０】
図９（Ａ）、図９（Ｂ）及び図９（Ｃ）に示される画素１００の明暗は、図７（Ａ）と同様に、露光する光が暗い輝度グループ１５０は左斜線のハッチングで示され、露光する光が中間調の輝度グループ１５０は右斜線のハッチングで示され、露光する光が明るい輝度グループ１５０はハッチング無しで示される。
【００７１】
図９（Ａ）に示されるように、１行１列（Ｎ＝１、Ｍ＝１）及び２行２列（Ｎ＝２、Ｍ＝２）の輝度グループ１５０は露光する光が暗い。１行２列（Ｎ＝１、Ｍ＝２）、１行４列（Ｎ＝１、Ｍ＝４）及び２行３列（Ｎ＝２、Ｍ＝３）の輝度グループ１５０は露光する光が中間調である。１行３列（Ｎ＝１、Ｍ＝３）、２行１列（Ｎ＝２、Ｍ＝１）及び２行４列（Ｎ＝２、Ｍ＝４）の輝度グループ１５０は露光する光が明るい。
【００７２】
図９（Ｂ）に示されるように、１行３列（Ｎ＝１、Ｍ＝３）の輝度グループ１５０は露光する光が暗い。１行２列（Ｎ＝１、Ｍ＝２）、２行１列（Ｎ＝２、Ｍ＝１）、及び２行３列（Ｎ＝２、Ｍ＝３）の輝度グループ１５０は露光する光が中間調である。１行１列（Ｎ＝１、Ｍ＝１）、１行４列（Ｎ＝１、Ｍ＝４）、２行２列（Ｎ＝２、Ｍ＝２）及び２行４列（Ｎ＝２、Ｍ＝４）の輝度グループ１５０は露光する光が明るい。
【００７３】
図９（Ｃ）に示されるように、１行３列（Ｎ＝１、Ｍ＝３）及び１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０は露光する光が暗い。１行１列（Ｎ＝１、Ｍ＝１）、１行２列（Ｎ＝１、Ｍ＝２）、及び２行１列（Ｎ＝２、Ｍ＝１）の輝度グループ１５０は露光する光が中間調である。２行２列（Ｎ＝２、Ｍ＝２）、２行３列（Ｎ＝２、Ｍ＝３）及び２行４列（Ｎ＝２、Ｍ＝４）の輝度グループ１５０は露光する光が明るい。
【００７４】
例えば、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０に着目すると、第ｔ−１番目の画像フレームｔ−１において１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０は露光する光が中間調である。第ｔ番目の画像フレームｔにおいて１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０は露光する光が明るい。第ｔ＋１番目の画像フレームｔ＋１において１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０は露光する光が暗い。したがって、固体撮像装置１０が第ｔ−１番目の画像フレームｔ−１から第ｔ番目の画像フレームｔに変化するとき、輝度グループ１５０が露光する光は中間調の光から明るい光に変化している。また、固体撮像装置１０が第ｔ番目の画像フレームｔから第ｔ＋１番目の画像フレームｔ＋１に変化するとき、輝度グループ１５０が露光する光は明るい光から暗い光に変化している。１行４列（Ｎ＝１、Ｍ＝４）以外の輝度グループ１５０も、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０と同様に、各画像フレームに対して露光する光が変化するモノと、変化しないモノとがある。本発明の一実施形態に係る固体撮像装置１０は、輝度グループ１５０が第１ＰＤ６２を備えることによって、各画像フレームにおける各輝度グループ１５０の輝度信号を生成することができる。
【００７５】
ここで、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０に着目し、図９（Ａ）〜図９（Ｃ）を用いて上述された１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０の各画像フレームにおける駆動を図１０及び図１１を用いて説明する。
【００７６】
図１０に示されるように、第ｔ−１番目の画像フレームｔ−１においては、第ｔ−２番目の画像フレームｔ−２（図示は省略）において輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき輝度信号が生成される。次に、生成された輝度信号に基づき算出された露光時間で、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が有するＸ＝７及びＸ＝８の画素１００に含まれる第２ＰＤ７２が露光する。このとき、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が露光する光は中間調の光である（図９（Ａ））。図９（Ａ）に示されるように、１行４列（Ｎ＝１、Ｍ＝４）の第２ＰＤ７２が露光する光は、１行２列（Ｎ＝１、Ｍ＝２）の第２ＰＤ７２と同様に中間調の光であり、１行３列（Ｎ＝１、Ｍ＝３）の第２ＰＤ７２が露光する光は明るい光であり、１行１列（Ｎ＝１、Ｍ＝２）の第２ＰＤ７２が露光する光は暗い光である。よって、図１０に示されるように、１行４列（Ｎ＝１、Ｍ＝４）のＸ＝７及びＸ＝８の第２ＰＤ７２の露光時間は、１行２列（Ｎ＝１、Ｍ＝２）のＸ＝３及びＸ＝４の第２ＰＤ７２の露光時間と同じであり、１行３列（Ｎ＝１、Ｍ＝３）のＸ＝５及びＸ＝６の第２ＰＤ７２の露光時間よりも長く、かつ、１行１列（Ｎ＝１、Ｍ＝１）のＸ＝１及びＸ＝２の第２ＰＤ７２の露光時間よりも短い。
【００７７】
図１０に示されるように、第ｔ−１番目の画像フレームｔ−１において、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光している。第１ＰＤ６２の露光に関連する時間の終了は、第ｔ−１番目の画像フレームｔ−１の終了よりもあとになっている。これによって、第ｔ−１番目の画像フレームｔ−１において撮像された画像の画像処理が終わったあとにおいても、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光することができる。したがって、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき、第ｔ番目の画像フレームｔにおいて、撮像された画像の画像処理を行うことができる。
【００７８】
続いて、図１０及び図１１に示されるように、第ｔ番目の画像フレームｔにおいては、第ｔ−１番目の画像フレームｔ−１において輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき輝度信号が生成される。次に、生成された輝度信号に基づき算出された露光時間で、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が有するＸ＝７及びＸ＝８の画素１００に含まれる第２ＰＤ７２が露光する。このとき、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が露光する光は、明るい光である（図９（Ｂ））。図９（Ｂ）に示されるように、１行４列（Ｎ＝１、Ｍ＝４）の第２ＰＤ７２が露光する光は、１行１列（Ｎ＝１、Ｍ＝２）の第２ＰＤ７２と同様に明るい光であり、１行２列（Ｎ＝１、Ｍ＝２）の第２ＰＤ７２が露光する光は中間調の光であり、１行３列（Ｎ＝１、Ｍ＝３）の第２ＰＤ７２が露光する光は暗い光である。よって、図１０に示されるように、１行４列（Ｎ＝１、Ｍ＝４）のＸ＝７及びＸ＝８の第２ＰＤ７２の露光時間は、１行１列（Ｎ＝１、Ｍ＝１）のＸ＝１及びＸ＝２の第２ＰＤ７２の露光時間と同じであり、１行２列（Ｎ＝１、Ｍ＝２）のＸ＝３及びＸ＝４の第２ＰＤ７２の露光時間、及び１行３列（Ｎ＝１、Ｍ＝３）のＸ＝５及びＸ＝６の第２ＰＤ７２の露光時間よりも短い。
【００７９】
図１０及び図１１に示されるように、第ｔ番目の画像フレームｔにおいて、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光している。第１ＰＤ６２の露光に関連する時間の終了は、第ｔ番目の画像フレームｔの終了よりもあとになっている。これによって、第ｔ番目の画像フレームｔにおいて撮像された画像の画像処理が終わったあとにおいても、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光することができる。したがって、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき、第ｔ＋１番目の画像フレームｔ＋１において、撮像された画像の画像処理を行うことができる。
【００８０】
続いて、図１１に示されるように、第ｔ＋１番目の画像フレームｔ＋１においては、第ｔ番目の画像フレームｔにおいて輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき輝度信号が生成される。次に、生成された輝度信号に基づき算出された露光時間で、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が有するＸ＝７及びＸ＝８の画素１００に含まれる第２ＰＤ７２が露光する。このとき、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０が露光する光は、暗い光である（図９（Ｃ））。図９（Ｃ）に示されるように、１行４列（Ｎ＝１、Ｍ＝４）の第２ＰＤ７２が露光する光は、１行３列（Ｎ＝１、Ｍ＝３）の第２ＰＤ７２と同様に暗い光であり、１行１列（Ｎ＝１、Ｍ＝１）の第２ＰＤ７２及び１行２列（Ｎ＝１、Ｍ＝２）の第２ＰＤ７２が露光する光は中間調の光である。よって、図１１に示されるように、１行４列（Ｎ＝１、Ｍ＝４）の第２ＰＤ７２の露光時間は、１行３列（Ｎ＝１、Ｍ＝３）の第２ＰＤ７２の露光時間と同じであり、１行１列（Ｎ＝１、Ｍ＝１）のＸ＝１及びＸ＝２の第２ＰＤ７２の露光時間、及び１行２列（Ｎ＝１、Ｍ＝２）のＸ＝３及びＸ＝４の第２ＰＤ７２の露光時間よりも長い。
【００８１】
図１１に示されるように、第ｔ＋１番目の画像フレームｔ＋１において、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光している。第１ＰＤ６２の露光に関連する時間の終了は、第ｔ＋１番目の画像フレームｔ＋１の終了よりもあとになっている。これによって、第ｔ＋１番目の画像フレームｔ＋１において撮像された画像の画像処理が終わったあとにおいても、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光することができる。したがって、輝度グループ１５０の１行目（Ｎ＝１）に含まれる４列目（Ｍ＝４）の第１ＰＤ６２が露光した光に基づき、第ｔ＋２番目の画像フレームｔ＋２（図示は省略）において、撮像された画像の画像処理を行うことができる。
【００８２】
本発明の一実施形態に係る固体撮像装置１０の駆動方法の説明においては、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０に着目して説明したが、１行４列（Ｎ＝１、Ｍ＝４）の輝度グループ１５０以外の輝度グループ１５０の駆動方法については、生成された輝度信号に基づき露光時間が最適化される以外は、１行４列（Ｎ＝１、Ｍ＝４）の駆動方法と同様であるから、ここでの説明は省略する。また、第２ＰＤ７２が輝度信号を生成したあとの駆動方法は、「１−３．固体撮像装置１０の駆動方法」において説明された駆動方法と同様であるから、ここでの説明は省略する。
【００８３】
以上説明されたように、本発明の一実施形態に係る固体撮像装置は、二つの光電変換素子を積層した構造を有し、第１光電変換素子によって輝度信号を生成することができる。また、本発明の一実施形態に係る固体撮像装置は、前記輝度信号に基づく露光時間を算出し、算出された露光時間によって各第２の光電変換素子の露光時間を制御することができるため、一度の撮像で被写体の明暗を反映させた画像を得ることができる。よって、本発明の一実施形態に係る固体撮像装置を用いることによって、従来技術のように複数回の撮像で取得した画像データを合成する必要が無く、複数回の撮像で取得した画像データ格納していたフレームメモリも必要がないため、フレームレートの低下が少なく、ダイナミックレンジが広い固体撮像装置を提供することができる。
【００８４】
以上、本発明について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施形態の固体撮像装置を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。
【００８５】
また、上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
【符号の説明】
【００８６】
１０：固体撮像装置、５０：信号処理部、５２：信号処理回路、６０：第１光電変換素子部、６２：第１光電変換素子、７０：第２光電変換素子部、７２：第２光電変換素子、８０：カラーフィルタ部、８２：赤色カラーフィルタ、８４：緑色カラーフィルタ、８６：青色カラーフィルタ、９０：光学素子部、９２：光学素子、１００：画素、１０１：画素部、１０３：周辺部、１１２：第１信号、１１４：第２信号、１１６：入射光、１５０：輝度グループ、２００：行選択走査回路、２１０：撮像タイミング制御回路、２１２：配線、２１４：制御信号、２２０：第２光電変換素子露光制御回路、２２４：輝度グループ露光信号、２３０：記憶回路、２３２：配線、２４０：露光時間算出回路、２４２：配線、３００：読み出し回路、３０２：第１デジタル信号、３０４：第２デジタル信号、５００：画像処理回路
【図１】
2020136686.tif 000003
【図２】
2020136686.tif 000004
【図３】
2020136686.tif 000005
【図４】
2020136686.tif 000006
【図５】
2020136686.tif 000007
【図６】
2020136686.tif 000008
【図７】
2020136686.tif 000009
【図８】
2020136686.tif 000010
【図９】
2020136686.tif 000011
【図１０】
2020136686.tif 000012
【図１１】
2020136686.tif 000013