(57)【要約】【課題】  画素に設けられた複数の光電変換素子のうち、信号を読み出す光電変換素子を動的に選択することにより、用途に適した信号を取得可能とし、読み出し時間の短縮を可能とする技術を提供すること。【解決手段】  光学系からの光を受光し、電気信号に変換する複数の光電変換素子が配された複数の画素が配置された撮像素子と、前記画素の各々について複数配された光電変換素子の中から、前記光学系の設定値に基づいて一対の光電変換素子を選択する選択手段と、前記選択された光電変換素子から電気信号を読み出す読み出し手段とを備えることを特徴とする。【選択図】  図１
2015065595.tif 000002
【特許請求の範囲】
【請求項１】
光学系からの光を受光し、電気信号に変換する光電変換素子が各々に複数配された複数の画素が配置された撮像素子を備える撮像装置であって、
前記画素の各々における複数の光電変換素子の中から、前記光学系の設定値に基づいて一対の光電変換素子を選択する選択手段と、
前記選択された一対の光電変換素子から電気信号を読み出す読み出し手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記光学系の設定値は、前記光学系の焦点距離、有効口径、Ｆ値、あるいは合焦距離を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、前記光学系の焦点距離が短いほど、前記光学系の有効口径が大きいほど、前記光学系のＦ値が小さいほど、あるいは前記光学系の合焦距離が短いほど、距離が離れた一対の光電変換素子を選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記選択手段は、距離信号を取得するための電気信号を読み出す場合と、立体画像を生成するための電気信号を読み出す場合とで、前記光学系の設定値の別個の組み合わせを用いることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記選択手段は、前記距離信号を取得するための電気信号を読み出す場合には、前記光学系の焦点距離が短いほど、前記光学系の有効口径が大きいほど、前記光学系のＦ値が小さいほど、距離が離れた一対の光電変換素子を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記選択手段は、前記立体画像を生成するための電気信号を取得するための電気信号を読み出す場合には、前記光学系の合焦距離または被写体距離が短いほど、距離が離れた一対の光電変換素子を選択することを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記合焦距離または前記被写体距離が、前記距離信号に基づいて得られるものであることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記一対の光電変換素子から読み出した電気信号の相関に基づいて被写体距離を測定する信号処理手段をさらに備えたことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記選択手段は、前記複数の光電変換素子のうち、所定以上の光量が得られるものから前記一対の光電変換素子を選択することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
光学系からの光を受光し、電気信号に変換する光電変換素子が各々に複数配された複数の画素が配置された撮像素子を備える撮像装置において、前記画素の各々における複数の光電変換素子から、光電変換素子を選択して電気信号を読み出す方法であって、
前記光学系の設定値に基づいて一対の光電変換素子を選択して電気信号を読み出すことを特徴とする方法。
【請求項１１】
前記光学系の設定値は、前記光学系の焦点距離、有効口径、Ｆ値、あるいは合焦距離を含むことを特徴とする請求項１０記載の方法。
【請求項１２】
前記光学系の焦点距離が短いほど、前記光学系の有効口径が大きいほど、前記光学系のＦ値が小さいほど、あるいは前記光学系の合焦距離が短いほど、距離が離れた一対の光電変換素子を選択することを特徴とする請求項１１に記載の方法。
【請求項１３】
距離信号を取得するための電気信号を読み出す場合と、立体画像を生成するための電気信号を読み出す場合とで、前記光学系の設定値の別個の組み合わせを用いて光電変換素子を選択して電気信号を読み出すことを特徴とする請求項１０に記載の方法。
【請求項１４】
前記距離信号を取得するための電気信号を読み出す場合には、前記光学系の焦点距離が短いほど、前記光学系の有効口径が大きいほど、前記光学系のＦ値が小さいほど、距離が離れた一対の光電変換素子を選択して電気信号を読み出すことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記立体画像を生成するための電気信号を取得するための電気信号を読み出す場合には、前記光学系の合焦距離または被写体距離が短いほど、距離が離れた一対の光電変換素子を選択して電気信号を読み出すことを特徴とする請求項１３または１４に記載の方法。
【請求項１６】
前記合焦距離または前記被写体距離が、前記距離信号に基づいて得られるものであることを特徴とする請求項１５記載の方法。
【請求項１７】
前記一対の光電変換素子から読み出した電気信号の相関に基づいて被写体距離を測定することを特徴とする請求項１０乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記画素の各々について複数配された光電変換素子のうち、所定以上の光量が得られるものから前記一対の光電変換素子を選択することを特徴とする請求項１０乃至１７のいずれか１項に記載の方法。
【請求項１９】
請求項１３に記載の方法により、前記距離信号を取得するための電気信号と前記立体画像を生成するための電気信号とが同じ光電変換素子から読み出される場合は、前記距離信号を取得するための電気信号と前記立体画像を生成するための電気信号とから立体画像を生成することを特徴とする
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の信号読み出し方法及び信号処理方法に関する。
【背景技術】
【０００２】
近年、３Ｄシネマや、３Ｄディスプレイなど、立体映像、及び、立体映像関連機器の普及が急速に進んでいる。立体映像の撮影は、従来、フイルムカメラなどでも行われてきたが、デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置の普及に伴い、立体映像を生成するための元となる画像も、これらのデジタル撮像装置を用いて撮影されるようになってきている。
【０００３】
立体映像を生成するための元となる画像は、異なる視点の複数の画像を同時に撮影することで得ることが可能である。異なる視点の複数の画像を同時に得る方法の一例として、たとえば、特許文献１に記載されている方法が挙げられる。特許文献１に記載の固体撮像素子は、固体撮像素子上に複数の微小レンズが形成されており、該複数の微小レンズの各々に近接して対を成す光電変換素子が、少なくとも１組配置されているものである。この光電変換素子対と１つの微小レンズによって画素が構成されている。該光電変換素子対のうち、一方の光電変換素子の出力から第１の映像を得て、また、他方の光電変換素子から第２の映像を得る。特許文献１には、第１、及び第２の映像を、左右の映像として用いることで、立体テレビジョン画像を見ることが可能であることが記載されている。
【０００４】
特許文献１に記載されている固体撮像素子に類似した固体撮像素子として、特許文献２に記載されている固体撮像素子が挙げられる。特許文献２に記載の固体撮像素子は、固体撮像素子上に複数の微小レンズが形成されており、該複数の微小レンズの各々に近接して、対を成す光電変換素子が、複数組配置されているものである。これら複数組の光電変換素子対と１つの微小レンズによって画素が構成されている。特許文献２に記載の発明は、光学系の焦点調節状態を検出するためのものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭58-24105号公報
【特許文献２】特開2007-133087号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
被写体の距離を精密に計測したり、立体感の強調された立体映像を得たりするためには、視差の大きな信号を用いることが望ましい。画素に設ける光電変換素子の、瞳分割方向における数を増加させることで、視差の大きな信号対を読み出すことができる。しかし、画素あたりの光電変換素子の数を増やすと、信号の読み出し処理に要する時間も増加する。
【０００７】
視差が大きな信号対は微小レンズの光学中心から最も離れた光電変換素子の組から得られるため、被写体の距離を計測するための信号を常にこの光電変換素子の組から読み出せば、読み出し処理の時間を短縮できる。しかし、微小レンズの光学中心から離れた光電変換素子の組からは常に十分なレベルの信号が得られるとは限らない。これは、光学系の焦点距離や有効口径によって画素に入射する光束の入射角の範囲が変化するからである。
【０００８】
また、立体感は近くの被写体ほど感じやすい。そのため、被写体の距離が遠い場合には、レベルが低い視差が大きい信号対を使用するよりも、レベルが高い、視差の小さい（微小レンズの光学中心近くから読み出された）信号を使用してＳ／Ｎのよい画像を得た方がよいかもしれない。
【０００９】
しかしながら、従来、１つの画素に複数の光電変換素子が設けられた撮像素子から信号を読み出す場合に、信号を読み出す光電変換素子を動的に選択する技術はなかった。本発明は、画素に設けられた複数の光電変換素子のうち、信号を読み出す光電変換素子を動的に選択することにより、用途に適した信号を取得可能とし、読み出し時間の短縮を可能とする技術の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面に係る撮像装置は、光学系からの光を受光し、電気信号に変換する光電変換素子が各々に複数配された複数の画素が配置された撮像素子と、前記画素の各々における複数の光電変換素子の中から、前記光学系の設定値に基づいて一対の光電変換素子を選択する選択手段と、前記選択された一対の光電変換素子から電気信号を読み出す読み出し手段と、を備えたことを特徴とする。
【００１１】
本発明の第２の側面に係る電気信号の読み出し方法は、光学系からの光を受光し、電気信号に変換する光電変換素子が各々に複数配された複数の画素が配置された撮像素子を備える撮像装置において、前記画素の各々における複数の光電変換素子から、前記光学系の設定値に基づいて一対の光電変換素子を選択して電気信号を読み出すことを特徴とする
【発明の効果】
【００１２】
本発明によれば、画素に設けられた複数の光電変換素子のうち、信号を読み出す光電変換素子を動的に選択することにより、用途に適した信号を取得可能とし、読み出し時間の短縮を可能とする技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における固体撮像素子からの信号読み出し動作の概略を示すシーケンス図
【図２】本発明の第１の実施形態における画素信号の読み出し動作を示すタイミングチャート
【図３】本発明の第２の実施形態における固体撮像素子からの信号読み出し動作の概略を示すシーケンス図
【図４Ａ】、
【図４Ｂ】本発明の第２の実施形態における画素信号の読み出し動作を示すタイミングチャート
【図５】本発明の実施形態における撮像装置の構成例を示すブロック図
【図６Ａ】、
【図６Ｂ】本発明の実施形態における固体撮像素子を示す等価回路図
【図７】本発明の実施形態における固体撮像素子の画素を示す模式図
【図８】本発明の実施形態におけるPD選択方法を示すフローチャート
【図９Ａ】、
【図９Ｂ】本発明の実施形態において、光電変換素子PD0〜PD5に入射する光束を示す模式図
【図１０】本発明の実施形態における、被写体と判定値との関係を示す概略図
【図１１】本発明の実施形態における、距離情報と判定値との対応を表す表
【図１２】従来の固体撮像素子からの信号読み出し動作の概略を示すシーケンス図
【発明を実施するための形態】
【００１４】
まず、光学系の焦点距離や有効口径によって画素に入射する光束の入射角の範囲が変化することについて説明する。
【００１５】
光電変換素子に入射する光量は、光電変換素子と微小レンズとの位置関係及び、固体撮像素子に光束を導くための結像光学系である、撮像装置の光学系の焦点距離及び有効口径に依存する。例えば、図９Ａ、Ｂに示すように、１つの微小レンズMLと６つの光電変換素子PD0〜PD5が複数配された画素を考える。このとき、光電変換素子PD0〜PD5のうち、微小レンズMLの光学中心に近いものほど入射する光量が多いため、光電変換によって多くの電荷が得られる。一方、微小レンズMLの光学中心から離れた光電変換素子ほど入射する光量が少ないため、光電変換によって得られる電荷量が少ない。
【００１６】
更に、図９Ａに示すように、撮像装置の光学系の有効口径が大きいときほど、画素に対して角度のついた光束が入射する。したがって、有効口径が大きいときほど、複数配された光電変換素子PD0〜PD5のうち、微小レンズMLの光学中心から離れた位置に配された光電変換素子に入射する光量が多くなる。逆に、図９Ｂのように、有効口径が小さいときほど、画素に対して入射する光束の入射角の範囲が狭くなる。この場合は、微小レンズMLの光学中心から離れた位置に配された光電変換素子に入射する光量が少なくなる。
【００１７】
また、画素に入射する光束の入射角の範囲は、撮像装置の光学系の焦点距離が短いほど広く、焦点距離が長いほど狭くなる。したがって、焦点距離が短いほど、光電変換素子PD0〜PD5のうち、微小レンズMLの光学中心から離れた位置に配された光電変換素子に入射する光量が多い。また、焦点距離が長いほど、微小レンズMLの光学中心から離れた位置に配された光電変換素子に入射する光量が少なくなる。
【００１８】
従って、撮像装置の光学系の有効口径が小さい場合や、焦点距離が長い場合には、微小レンズMLの光学中心から離れた位置に配された光電変換素子に対する入射光量は、被写体の距離を測定したり、画像を生成したりするには不十分となってしまうことがある。そのため、被写体の距離を測定するための信号を生成する場合、画素が有する複数の光電変換素子のうちどの光電変換素子で得られる信号を用いるかを、撮像装置の光学系の有効口径や焦点距離に応じて選択することが有利である。また、立体映像を撮影する際に、一度に得られる画像信号の視点の数が多ければ多いほど、目的にあった光電変換素子を適宜選択し、使用できるようになる。例えば、立体感を強調したい被写体には、視差の大きい、すなわち、微小レンズの光学中心から離れた位置の光電変換素子の信号を使用する。こうすることで、近くの被写体をより近く感じさせ、距離の離れた被写体をより遠くに感じさせるような、立体感の強く感じられる立体映像を取得することが可能となる。
【００１９】
立体感よりも画質を優先したい場合には、入射光量の多い、微小レンズの光学中心付近に位置する光電変換素子、あるいは、それら光電変換素子を含む複数の光電変換素子の信号を使用する。こうすることで、映像の立体感は弱くなるが、得られる電荷量が多くなるためノイズの影響を受けにくくなって、画質の低下を抑えることが可能となる。一般に、近くにあるものほど左右の目による見え方の差は大きく、立体感を感じやすい。また、一般に、遠くにあるものほど左右の目による見え方の差は小さくなるために立体感は感じにくくなる。したがって、立体映像においても、近くにある、光学系の合焦距離又は被写体距離が短い被写体ほど、立体感の強弱が見え方に対して影響しやすく、遠景については、立体感の強弱は見え方に影響しにくいと考えられる。
【００２０】
このことに鑑み、立体映像を生成する際、近くにある被写体については、実際の見え方に即して、立体感が強く感じられるように、微小レンズの光学中心から離れた位置の光電変換素子から得た信号を使用することが有利と考えられる。また、遠景に関しては、微小レンズの光学中心付近に位置する光電変換素子、あるいは、それを含む複数の光電変換素子の信号を使用して画質を向上させることの方が有利と考えられる。
【００２１】
以下、このように光学系の別個の設定値に基づいて適応的な読み出しを可能にする本発明の実施形態について、添付図面を参照して詳細に説明する。まず、本発明の撮像装置、及び、固体撮像素子の構成について例に沿って説明する。
【００２２】
＜撮像装置の概略構成＞
本発明の実施形態の撮像装置の例を図５に示す動画撮影が可能なデジタルカメラにより説明する。撮像装置は、光学系１と、固体撮像素子３と、Ａ／Ｄ変換器４と、タイミング信号発生回路５と、駆動回路６とを有する。固体撮像素子３に被写体からの光束を導くための、結像光学系である光学系１は、レンズや絞りなどの光学部材で構成される。固体撮像素子３には、入射光を受光して電荷を発生させる複数の画素が２次元的に配置されており、画素が発生した電荷に応じた電気信号はアナログ信号として出力される。Ａ／Ｄ変換器４は、固体撮像素子３から出力された電気信号（アナログ信号）をデジタル画像信号に変換する。タイミング信号発生回路５は、固体撮像素子３及びＡ／Ｄ変換器４を動作させるタイミング信号を発生する。駆動回路６は、光学系１及び固体撮像素子３を駆動する。  
【００２３】
撮像装置はまた、信号処理回路７と、画像メモリ８と、記憶媒体９と、記憶回路１０と、画像表示装置１１と、表示回路１２と、システム制御部１３と、不揮発性メモリ（ＲＯＭ）１４と、揮発性メモリ（ＲＡＭ）１５とを有する。信号処理回路７は、固体撮像素子３によって取得した信号に対して、必要な各種補正等の処理を行う。また、信号処理回路７は、固体撮像素子３によって取得した信号をもとに、撮像装置各部の制御に用いる各種判定データの生成や、補正等の処理を行った信号から画像信号の生成を行う。画像メモリ８は、信号処理回路７によって生成された画像データを記憶するためのものである。記憶媒体９は、撮像装置から取り外し可能であり、画像データを記憶する。記憶回路１０は、信号処理された画像データを記憶媒体９に記憶させる。画像表示装置１１は、信号処理された画像データを表示する。画像表示装置１１は、撮像装置自体に搭載されているものでもよいし、外部接続されたディスプレイ等の表示装置や投影装置であってもよい。表示回路１２は、画像表示装置１１に画像を表示させる。システム制御部１３は、撮像装置全体を制御する。
【００２４】
不揮発性メモリ（ＲＯＭ）１４には、システム制御部１３で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、画像信号の各種補正に用いるデータ等が記憶されている。揮発性メモリ（ＲＡＭ）１５には、不揮発性メモリ１４に記憶されたプログラム、制御データ及び補正データのなかから、前記信号処理回路７によって生成された各種判定データや、撮影条件等に応じて適宜選択したデータを、転送して記憶する。記憶した制御データや補正データは、システム制御部１３が撮像装置を制御する際に使用される。撮像装置はまた、撮像装置の主電源である電源スイッチ１６と、動画の取得を指示するスイッチ１７とを有する。
【００２５】
＜撮像装置の撮像動作の一例＞
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１３の動作開始時に、不揮発性メモリ１４から必要なプログラム、制御データ及び画像等の補正データが揮発性メモリ１５に転送され、記憶される。これらのプログラムやデータは、システム制御部１３が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ１４から揮発性メモリ１５に転送される。システム制御部１３が直接に不揮発性メモリ１４内のプログラムやデータを読み出して使用してもよい。
【００２６】
先ず、システム制御部１３からの制御信号により、光学系１の絞りやレンズが駆動され、被写体像が固体撮像素子３上に結像する。続いて、固体撮像素子３が駆動され、撮影動作が行われる。固体撮像素子３は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換して、蓄積された電荷量に応じた電気信号を出力する。このとき、固体撮像素子３は、固体撮像素子３自身が備える電子シャッタ機能によって、所望の蓄積時間の間、発生した電荷の蓄積を行い、蓄積された電荷量に応じた電気信号をアナログ信号として出力するよう制御される。本実施形態では、出力される電気信号には、被写体の画像信号及び被写体と撮像装置との間の被写体距離を表す信号を含む。システム制御部１３は、後述する距離判定情報（もしくは距離情報）や、光学系１の有効口径ならびに焦点距離に関する情報に基づいて、各々の画素信号が有する複数の光電変換素子のうちから信号を読み出すものを選択する。タイミング信号発生回路５は、システム制御部１３の制御に従い、各々の画素が有する複数の光電変換素子のうち、信号を読み出すものの動作パルスを選択する。固体撮像素子３から出力されたアナログ信号は、システム制御部１３により制御されたタイミング信号発生回路５が発生する動作パルスにより、Ａ／Ｄ変換器４でデジタル信号に変換される。
【００２７】
次に、信号処理回路７において、デジタル信号に基づいて各種判定データの生成を行う。生成された各種判定データは、システム制御部１３からの要求に応じて、システム制御部１３に出力される。本実施形態において、各種判定データには、少なくとも、固体撮像素子３によって取得した、距離信号に基づき導出される被写体と撮像装置との間の距離情報に応じて設定された、距離判定情報を含む。なお、距離判定情報の代わりに、被写体距離を示す距離データや合焦距離を使用してもよい。この場合には、距離データや合焦距離をもとに、システム制御部１３が距離判定情報を生成してもよい。距離判定情報は、前記固体撮像素子３の１画素あるいは、複数画素からなる画素ブロックごとに距離データに応じた１つの関係付けられる判定値を含む。距離データも同様に、固体撮像素子３の１画素あたり１つ、あるいは、複数画素からなる画素ブロックあたり１つの値が関係付けられる。距離判定情報の生成方法については、後述する。次に、信号処理回路７において、デジタル信号に対して、各種補正値の導出と補正、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。信号処理回路７内の画像メモリ８は、信号処理中のデジタル信号を一時的に記憶したり、信号処理されたデジタル信号である画像データを記憶したりするために用いられる。
【００２８】
信号処理回路７で信号処理された画像データや画像メモリ８に記憶されている画像データは、記憶回路１０により記憶媒体９に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて記憶媒体９に記憶される。また、Ａ／Ｄ変換器４でデジタル信号に変換された画像データは、信号処理回路７で解像度変換処理などを施された後、表示回路１２において画像表示装置１１に適した信号に変換され、画像表示装置１１に表示される。記憶回路１０は、システム制御部１３からの要求に応じて、記憶媒体９の種類や空き容量等の情報をシステム制御部１３に出力する。
【００２９】
＜固体撮像素子の概略構成＞
固体撮像素子３は、ここでは、単板のＣＭＯＳイメージセンサを例に説明する。図６に、本発明の実施形態における固体撮像素子３の全体概略の等価回路図を示す。固体撮像素子３には、複数の画素P（n,i）が行列状に配される。画素P（n,i）が配された領域を、画素領域と呼ぶこととする。また、固体撮像素子３には、画素領域に隣接して、垂直走査回路VSRが設けられている。垂直走査回路VSRからは、画素の行ごとに、各画素で光電変換された信号電荷の蓄積、蓄積された電荷に応じた電圧信号の出力や、蓄積された信号電荷のリセット等、各画素P（n,i）の動作を制御するための制御パルスが画素へ送られる。
【００３０】
垂直走査回路VSRからの制御パルスに従って、各画素から出力された電圧信号は、垂直出力線V0_0〜1_ｍを介して、垂直出力線ごとに設けられている列アンプA0_0〜A1_mに伝達される。列アンプの増幅率は、反転入力端子に接続されたクランプ容量C0_0〜C1_mと、反転入力端子と出力端子の間に接続された帰還容量との比で決定される。また、列アンプの入力端子と出力端子の間には、クランプパルスPCLAMPによってON／OFFが制御されるクランプスイッチCLS0_0〜CLS1_mが接続されている。列アンプの出力端子は、メモリ選択スイッチMTs0_0〜1_m、MTd0_0〜1_mを介して、ラインメモリC Ts0_0〜1_m、CTd0_0〜1_mに接続されている。メモリ選択スイッチMTs0_0〜1_m、MTd0_0〜1_mは、メモリ選択パルスPTs、PTdによってON／OFFが制御される。ONにされたメモリ選択スイッチを介して、その先のラインメモリCTs0_0〜CTs1_m、CTd0_0〜CTd1_mに、列アンプからの出力信号が書き込まれる。列アンプを介してラインメモリCTs0_0〜CTs1_m、CTd0_0〜CTd1_mに一度保持された各画素信号は、水平走査回路HSRから送られる制御信号により、画素ごとに順に出力回路に送られ、固体撮像素子３から出力される。
【００３１】
以下に、画素P（n,i）の構成の例について図６Ｂにより説明する。各々の画素P（n,i）には、少なくとも３個以上の光電変換素子(PD)が配される。図に示した例においては、６個の光電変換素子PD0〜PD5が設けられている。なお、以下の説明においては、光電変換素子一般をPD、個々の光電変換素子についてはPD0〜PD5と呼称することがある。また、図６Ｂに示した例においては、複数の光電変換素子PD0〜PD5各々に対応して、転送MOS  MTx0〜MTx5が配される。光電変換素子PD0〜PD2は、各々、転送MOS  MTx0〜MTx2を介して、増幅MOS  MSF0のゲートに接続されている。光電変換素子PD3〜PD5は、各々、転送MOS  MTx3〜MTx5を介して、増幅MOS  MSF1のゲートに接続されている。転送MOS  MTx0〜MTx5は、画素領域外から供給されるパルス信号によって制御される。転送MOS  MTx0〜MTx5を選択的にONに制御して、選択された転送MOSに接続されたPDに蓄積された電荷のみを、増幅MOS MSF0〜MSF1に転送できる構成となっている。例えば、転送MOS  MTx0〜MTx5のゲートは、垂直走査回路VSRから供給される転送パルスPTx_i及び転送MOS  MTx0〜MTx5各々に対応したPD選択パルスPTxSEL0_i〜PTxSEL5_iとのAND信号によって制御される。すなわち、転送パルスPTx_iがハイレベルかつPD選択パルスPTxSEL0_i〜5_iがハイレベルであるときに転送MOS  MTx0〜MTx5がオンになり、光電変換素子PD0〜PD5に蓄積された電荷がMSF0とMSF1に転送される。PD選択パルスPTxSEL0_0〜PTxSEL5_iは、画素ごとに、所定の光電変換素子のみからの信号転送を制御可能にするように、システム制御部１３の制御により、駆動回路６から供給される。
【００３２】
増幅MOS  MSF0〜MSF1は、光電変換素子から転送された信号電荷を、電圧信号に変換し、増幅させる。行選択MOS  MSEL0〜MSEL1は、垂直走査回路VSRから送られる行選択パルスPSELに従って制御され、オン状態となることにより選択された行の画素から、電圧信号を、画素信号として垂直出力線V0_n〜V1_nに出力する。リセットMOS  MRES0、1は、垂直走査回路VSRから送られるリセットパルスPRES_iに従って制御され、オン状態となることにより、画素内の電荷信号を、基準レベルにリセットする。
【００３３】
図６Ａに示した画素P（n,i）のレイアウトの平面図を、図７Ａに示す。また、その断面I―Iを、図７Ｂに示す。図７Ａ、Ｂに示すように、各画素の上方には、微小レンズMLが配されている。撮像装置の光学系１を介して、固体撮像素子３に入射した光は、微小レンズMLを通過し、各光電変換素子PD0〜PD5に入射する。図９Ａ、Ｂに示すように、各光電変換素子PD0〜PD5に入射する光束は、撮像装置の光学系１におけるレンズ主面の異なる領域を通過した光線となる。例えば、微小レンズMLの光学中心から離れた外周領域に配されている光電変換素子PD0には、撮像装置の光学系１の領域0を通過した光束が入射する。微小レンズMLの光学中心に近い領域に配されている光電変換素子PD2には、撮像装置の光学系１の領域２を通過した光束が入射する。このことを利用して、２つの光電変換素子、あるいは、２つの光電変換素子群からの信号を選択的に読み出すことにより、被写体の距離を計測したり、立体映像として鑑賞可能な画像を生成したりすることができる。
【００３４】
例えば、PD0〜PD2の中から１つ、PD3〜PD5の中から１つの、計２つの光電変換素子が選択される。撮像装置の光学系１におけるレンズ主面のどの領域を通過したかによって、選択された２つのPDが受光する像の視差が異なることとなる。例えば、選択された２つのPD同士の距離が離れているほど、２つのPDが受光する像の視差が大きいと言える。同様に、PD0〜PD2 と、PD3〜PD5とから、任意の１〜複数のPDを１組のPD群として、２組のPD群を対として選択した場合、PD群同士の距離が離れているほど、２つのPD群が受光する像の視差が大きいと言える。したがって、以下、「PDを選択する」といった場合には、「PD群を選択する」ことの意味も含む。選択された２つのPDから出力される信号または選択された２つのPD群により得られる信号を信号処理回路７で処理することにより距離情報を得ることができる。
【００３５】
＜PD選択動作＞
信号読み出し動作の詳細を説明する前に、信号を読み出すPDを選択するためのPD選択動作について、図６Ｂ、図７、図８により説明する。本発明の各実施形態において説明する信号読み出し動作では、画素ごと乃至所定数の画素群からなる画素ブロックごとに、被写体の距離を測定するための距離信号が取得される。また、信号読み出し動作において、立体映像の生成に用いるための画像信号が取得される。
【００３６】
本発明の各実施形態においては、固体撮像素子３の各画素から、前述の距離信号及び画像信号を取得するに際して、距離信号を取得するPD、及び、画像信号を取得するPDが選択される。そして、選択されたPDのみから信号の読み出しを行うことにより距離信号及び画像信号を読み出すようにしている。ここでは、先に述べた、画素に含まれる複数のPDのなかから、画素ごとに所定のPDのみからの信号転送を可能にするために、PD選択パルスPTxSELn_iを用いてPDを選択する。PD選択パルスPTxSELn_iはシステム制御部１３により駆動回路６を制御することにより発生される。
【００３７】
次に、固体撮像素子３から距離信号を得るために、各画素から距離信号を取得するPDを選択するための選択基準について以下に述べる。被写体の距離をより正確に計測するためには、できるだけ距離の離れたPDの信号を使用することが望ましい。一方で、各PDと微小レンズ(ML)との位置関係、及び、撮像装置の光学系１の焦点距離と有効口径に応じて、距離信号を得るために十分な光量が照射されるPDを選択する必要がある。したがって、距離信号を取得するためのPDは撮像装置の光学系１の設定値に応じてシステム制御部１３により決定される。具体的には、システム制御部１３は、有効口径が大きいほど、また焦点距離が短いほど、MLの光学中心から離れた位置のPDを選択する。逆に、システム制御部１３は、有効口径が小さいほど、また焦点距離が長いほど、MLの光学中心に近い位置のPDを選択する。ここで、有効口径Dと焦点距離fとによって決定されるパラメータである、Ｆ値(=f/D)を、有効口径と焦点距離の情報の代わりに用いてもよい。この場合は、Ｆ値が小さいほどMLの光学中心から離れた位置のPDが選択され、逆に、Ｆ値が大きいほど、MLの光学中心に近い位置のPDが選択されるようにする。以上のようにして距離を測定するためのPDがシステム制御部１３により選択される。
【００３８】
図８によりPDの選択について説明する。まず、現在使用している光学系の設定値（レンズの有効口径、焦点距離、Ｆ値など）は、撮影時の条件設定やレンズなどの光学系の選択に応じ、例えば揮発性メモリ１５に設定される。システム制御部1３は光学系の設定値を揮発性メモリ１５から読み出す（S102）。次にシステム制御部１３は読み出した光学系の設定値に基づいて、画素ごとの複数のPD0からPD5のいずれかを距離測定用に選択する（S103）。距離測定用のPDの選択は、測定のために十分な光量が得られるPDの内で、最も離れた位置の一対のPDが選択される。距離測定用のPDの選択は、撮像素子の全ての画素で同じ位置関係のものを選択してよい。ここでPD0とPD5が選択された場合は、システム制御部1３は、PTxSEL0_iとPTxSEL5_iとをハイレベルになるよう駆動部６を制御して、PD0とPD5を選択する。選択された一対のPDの信号の相関、例えば位相差から被写体までの距離情報を得ることができる（S104）。距離情報は、いくつかの距離範囲に応じて距離判定情報に変換される。距離判定情報は撮像用のPDを選択するために使用される(S105)。撮像用のPDの選択は画素ごとの距離判定情報に応じて行われる。ここで、距離判定情報は、撮像装置と被写体との相対距離あるいは、撮像装置と被写体との絶対距離を表す距離情報に応じて設定される所定の判定値である。判定値の代わりに、距離情報そのものを示す距離データ（被写体との相対距離、撮像装置と被写体との絶対距離、フォーカスレンズ位置など）を使ってPDの選択を行ってもよい。
【００３９】
距離判定情報は、固体撮像素子３の１画素あるいは、複数画素からなる画素ブロックごとに距離データと関係付けられる複数の判定値のいずれかの値である。また、判定値は、距離情報を、撮像装置の信号処理回路７で処理することによっても生成できる。具体的には、所定の距離範囲ごとに、異なる判定値を割り当てたテーブルなどを用意しておき、距離情報を用いてテーブルを参照することで対応する判定値に置き換えることができる。たとえば、図１１に示すように、距離情報d1未満が得られた画素または画素ブロックに対しては、被写体が近距離にあると判定し、判定値１をセットする。距離情報d2以上が得られた画素または画素ブロックに関しては、被写体が遠距離にあると判定し、判定値３をセットする。距離情報d1以上d2未満が得られた画素または画素ブロックに関しては、被写体が中距離にあると判定し、判定値２をセットする。（なお、d1、d2は画像信号を得るための適切な光電変換素子を選択できるようにするための数値であり、0＜d1＜d2＜∞とする。）
【００４０】
また、固体撮像素子３から画像信号を得るために、各画素から画像信号を取得するPDを選択するための選択基準について以下に述べる。例えば、立体映像を撮影する際には、視差を大きくして立体感を強調することを優先するか、視差を小さくすることにより立体感よりもノイズの影響を低減することを優先するかを、被写体の遠近に応じて選択することが好ましい。例えば、距離の近い被写体については、立体感を強く感じさせることで、一般的に好まれるような、遠近感の強調された立体映像を得ることができる。また、距離の離れた被写体については、立体感の強弱は表現されにくいので、立体感が弱くてもノイズ感を低減することで、画質を向上させることができる。したがって、ここでは、距離の近い被写体については立体感をより強く感じさせ、距離の離れた被写体についてはノイズ感を低減させるようにするように、画像信号を取得するためのPDの選択を説明する。
【００４１】
一般に、MLの光学中心から離れた位置のPDを選択するほど、立体映像として見たときに、被写体の立体感が、強く感じられる。また、MLの光学中心に近い位置のPDを選択するほど、被写体の立体感が弱く感じられるが、入射光量が多いため得られる電荷量は多くなる。そこで、例えば、前述の距離判定情報に含まれる、画素ごと、あるいは、画素ブロックごとの距離判定情報に基づき、被写体のうち、撮像装置との距離が相対的に近いものほど、MLの光学中心から離れた位置のPDが適しているものとして選択されるようにする。逆に、被写体のうち、撮像装置との距離が相対的に遠いものほど、MLの光学中心に近い位置のPDが適しているものとして選択されるようにする。
【００４２】
例えば、図１０Ａに示した被写体を撮影する際には、画像信号をPDから読み出すよりも前のタイミングで、距離信号を読み出して各々の画素、あるいは画素ブロックに対応する距離判定情報を得るようにする。被写体全体のうち、撮像装置との距離が相対的に近い被写体が結像されていると判定された画素あるいは画素ブロックに対しては、距離判定情報として判定値１がセットされる。撮像装置との距離が相対的に遠い被写体が結像されていると判定された画素あるいは画素ブロックに対しては、距離判定情報として判定値３がセットされる。また、撮像装置との距離がその中間にある被写体が結像されていると判定された画素あるいは画素ブロックの距離判定情報としては、判定値２がセットされる。そして、図１０Ｂに示すように、判定値１がセットされている画素、あるいは画素ブロックでは、撮影時にPD0とPD5を選択する。判定値３がセットされている画素、あるいは画素ブロックは、撮影時にPD2とPD3を選択する。また、判定値２がセットされている画素、あるいは画素ブロックは、撮影時にPD1とPD4を選択する。
【００４３】
画像信号を得るためのPDの選択にも、撮像装置の光学系１の有効口径と焦点距離、あるいは、F値に基づいてMLの光学中心から所定以上離れた位置のPDが選択されないように制限を設けてもよい。なお、撮像装置と被写体との距離の判定に用いる距離データは、画像信号の読み出しを行う直前にPDから読み出されて導出されたものである方が適切にPDを選択できる。
【００４４】
以上のような構成の撮像装置を用いて、所定の読み出し速度を保ちながら、撮影条件や被写体に適した画像信号を、固体撮像素子３から読み出すことを可能とする読み出し動作の例について、以下に説明する。
【００４５】
＜実施形態１＞
本実施形態では、複数のPDの中から所望のPDに蓄積された信号を行毎に選択的に読み出す動作について説明する。この読み出し動作はシステム制御部１３が主体となって実行され、システム制御部１３は、例えば以下の条件ａを満たすPDを距離信号を取得するためのPDとして選択し、条件ｂを満たすPDを画像信号を取得するためのPDとして選択する。
（条件a.） MLの光学中心の最も近くに配置されたPDに入射される光量を基準として、同一MLを共有する（同一画素に設けられた）複数のPDの中から、所定以上の光量が得られるPDであって、かつ最も外周に配置された２つのPD。言い換えれば２つのPDは所定以上の光量が得られる最も視差の大きなPDの組である。この選択は、撮像装置の光学系１の有効口径と焦点距離に基づき決定される。あるいはこの選択は、有効口径と焦点距離の代わりに、Ｆ値に基づいて決定されてもよい。
（条件b.） MLの光学中心の最も近くに配置されたPDに入射される光量を基準として、同一MLを共有する（同一画素に設けられた）複数のPDの中から、所定以上の光量が得られるPDであって、被写体までの距離に応じて選択された２つのPD。信号処理回路７によって求められた、着目する画素あるいは画素ブロックに対応する距離判定情報に基づき選択される。撮像装置の光学系１の有効口径と焦点距離、あるいは、Ｆ値に基づいて、MLの光学中心から所定以上離れた位置のPDが選択されないように制限を設けてもよい。
【００４６】
なお、条件aに基づくPDの選択は、読み出し動作を行うよりも前に得られた、撮像装置の光学系１の設定値（焦点距離、有効口径）に関する情報をもとに行われる。このとき、全画素で同じ位置に配置されたPDが選択される。条件ｂに基づくPDの選択は、被写体と、撮像装置との距離に応じて、画素ごとに異なるPDが選択されるものとする。画素ごとに適したPDの選択は、撮像中のフレームよりも前のフレームにおいて取得された距離情報に基づく、画素ごとの被写体との間の距離情報、あるいは、距離情報をもとに求められた距離判定情報を使用して行われる。条件aで使用した撮像装置の光学系１の設定値（焦点距離、有効口径、Ｆ値）に基づいた光量の制限を設けてもよい。
【００４７】
以下、図１、及び、図２を参照して、本実施形態による、固体撮像装置の読み出し動作について説明する。図１の縦軸は画素行iを示し、横軸は時刻Tを示している。図１に表すように、蓄積期間（各画素行の、PDへの電荷蓄積）の終了後に、画素行ごとに順々に、蓄積した信号が読み出される。まず、距離情報を得るために条件aにより選択されたPDに蓄積された信号は、距離信号出力期間TX1に各画素から出力されて、ラインメモリCTd0〜1に保持される。次に画像信号を得るために、条件ｂにより選択されたPDに蓄積された信号は、画像信号出力期間TX2に各画素から出力されてラインメモリCTs0〜1に保持される。その後の水平走査期間で、ラインメモリCTd0〜1、CTs0〜1に保持された信号は、1画素列分ずつ順々に、固体撮像素子３の出力端子OUTd0〜1、OUTs0〜1から出力される。ラインメモリから、1行分の画素信号の読み出しが完了したのちに、次の行の画素信号はラインメモリに転送される。これを繰り返して、0行目からj行目までの画素信号を読出し、1フレーム分の信号読み出しを完了する。
【００４８】
OUTd0〜1からの信号は、後段の信号処理回路７に送られ、同一の画素からの信号同士を比較されることにより、画素に結像された被写体と撮像装置との間の距離情報か、あるいは距離情報に基づいた距離判定情報を求めるために使用される。距離判定情報は、各画素に結像した被写体と撮像装置との間の距離に応じて、撮像装置からの所定の距離範囲ごとに決定した判定値を画素ごとに求めものである。また、OUTs0〜1からの信号は、後段の信号処理回路７に送られ、画像の生成に用いられる。なお、OUTd0〜1からの信号を、OUTs0〜1からの信号と合成するなどして、画像の生成に用いてもよい。
【００４９】
次に、図２のタイミングチャートは、図１に示した距離信号出力期間TX1および画像信号出力期間TX2において図６に示した固体撮像装置の画素P（n,i）から信号を読み出す読み出し動作の一例を表している。時刻T0に垂直走査回路VSRからのi行目の行選択パルスPSEL_iがハイレベルにされると、i行目の画素の行選択MOS  MSEL0〜1がオン状態となって、i行目の画素行が選択される。垂直走査回路VSRからのリセットパルスPRES_iがハイレベルからローレベルに遷移すると、リセットMOS MRES0〜1がオフ状態となって、増幅MOS MSF0〜1のゲートのリセット状態が解除される。ただし、このとき転送MOS MTx0〜5はオフ状態にあるので、それまで各PDで蓄積されていた電荷信号はリセットされない。その後いったんハイレベルになっていたクランプパルスPCLAMPが、時刻T1にローレベルに変化することにより、オン状態となっていたクランプスイッチCLS0_0〜CLS1_mが、オフ状態となる。こうすることで、増幅MOS MSF0〜1のゲートのリセットレベルを垂直出力線ごとのクランプ容量C0_0〜C1_mに保持する。
【００５０】
時刻T2に、距離信号を取得するために、前述の条件aに従ってPDを選択するために、システム制御部１３の制御によりPD選択パルスが画素へ送られる。ここでは、PD0とPD5が、距離信号を取得するためのPDとして選択される例を示す。PD0とPD5とを選択するためにPTxSEL0_i及びPTxSEL5_iがハイレベルにされる。それとともに、転送パルスPTx_iがハイレベルとなって、転送MOS  MTx0、MTx5がオン状態となり、PD0、PD5に蓄積されていた電荷信号が、MSF0とMSF1のゲートへ転送される。転送された電荷信号は、電圧に変換され、MSEL0とMSEL1とを介して垂直出力線へ出力される。なお、ここで選択されるPDは、撮像装置の光学系１の有効口径と焦点距離に基づき選択されたPDであり、全画素で同じ位置関係にあるPDである。この例では、距離信号を得るためにどの画素においてもPD0とPD5が選択される。
【００５１】
時刻T3に、転送パルスPTx_iと、すべてのPD選択パルスがローレベルにされて、すべての転送MOSがオフ状態となって、電荷信号の転送を完了する。その後メモリ選択パルスPTdがハイレベルに制御されて、メモリ選択スイッチMTd0_0〜1_mをオン状態にする。その後、メモリ選択パルスPTdを、時刻T4にローレベルに制御することで、オン状態となっていたメモリ選択スイッチMTd0_0〜1_mがオフ状態となる。この結果、増幅MOS MSF0,MSF1のゲートの信号レベルと、時刻T1でC0〜1_nに保持したリセットレベルとの差分信号が、列アンプの出力端子から出力されて、距離信号を保持するためのラインメモリCTd0_0〜1_mに保持される。
【００５２】
時刻T5に、垂直走査回路VSRによりリセットパルスPRES_iがハイレベルにされて、リセットMOS MRES0〜1がオン状態となって、増幅MOS MSF0〜1のゲートがリセットされる。ただし、このとき転送MOS MTx0〜5はオフ状態にあるので、それまで各PDで蓄積されていた電荷信号はリセットされない。時刻T6に、垂直走査回路VSRによりリセットパルスPRES_iがローレベルとなり、リセットMOS MRES0〜1がオフ状態となって、増幅MOS MSF0〜1のゲートのリセット状態が解除される。次に、いったんハイレベルにしておいたクランプパルスPCLAMPが、時刻T7にローレベルに変化されることで、オン状態となっていたクランプスイッチが、オフ状態となる。こうすることで、増幅MOS MSF0〜1のゲートのリセットレベルを垂直出力線ごとのクランプ容量C0_0〜1_mに保持する。
【００５３】
時刻T8に、画像信号を取得するためのPDとして、距離判定情報に基づき前述の条件ｂに従って選択されたPDに対して、システム制御部１３の制御により画素へPD選択パルスが送られる。ここでは、PD2とPD3を画像信号を取得するためのPDとして選択する例を示す。PD2とPD3を選択するためにPTxSEL2_i及びPTxSEL3_iがハイレベルに制御される。それとともに、転送パルスPTxがハイレベルに変化されて、転送MOS  MTx2、MTx3がオン状態となり、PD2、PD3に蓄積されていた電荷信号が、MSF0とMSF1のゲートへ転送される。ここで選択されるPDは、信号処理ブロックによって求められた距離判定情報の、画素、あるいは画素ブロックごとに対応する判定値に基づき決定される。つまり、画素によって異なる位置に配されたPDが選択される。
【００５４】
時刻T9に、転送パルスPTx_iと、すべてのPD選択パルスがローレベルに制御されて、すべての転送MOSがオフ状態となって、電荷信号の転送を完了する。いったんハイレベルにしておいたメモリ選択パルスPTsを、時刻T10にローレベルに制御することで、オン状態となっていたメモリ選択スイッチMTs0〜1が、オフ状態となる。この結果、増幅MOS MSF0,MSF1のゲートの信号レベルと、時刻T7でC0_0〜1_mに保持したリセットレベルとの差分信号が、列アンプの出力端子から出力される。この差分信号は、画像信号を保持するためのラインメモリCTs0_0〜1_mに保持される。
【００５５】
時刻T11に、垂直走査回路VSRによりリセットパルスPRES_iがハイレベルとなり、リセットMOS MRES0〜1がオン状態となって、増幅MOS MSF0〜1のゲートがリセットされる。このとき、転送パルスPTx_iと、PD選択パルスPTxSEL0〜5がハイレベルに変化することで、転送MOS MTx0〜5がオン状態となって、それまで各PDに蓄積されていた電荷信号がすべてリセットされる。時刻T12に、転送パルスPTx_iと、PD選択パルスPTxSEL0〜5がローレベルに制御されることにより、転送MOS MTx0〜5がMOS MRES0〜1がオフ状態となって、各PDのリセット状態が解除される。このとき、リセットパルスPRES_iはハイレベルのままであり、増幅MOS MSF0〜1のゲートはリセット状態のままとなっている。
【００５６】
時刻T13に、垂直走査回路VSRによりi行目の行選択パルスPSEL_iがローレベルに変化される。この結果、i行目の画素の行選択MOS  MSEL0〜1がオフ状態となって、増幅MOS MSF0〜1のゲートがリセット状態を保持したまま、i行目の画素行が選択解除される。その後、図１に示すように、水平走査期間において、ラインメモリCTd0_0〜1_m 、CTs0_0〜1_mに保持された信号が、出力端子OUTd0〜1、OUTs0〜1から、１画素分ずつ順々に出力される。また、時刻T14で、垂直走査回路VSRからのリセットパルスPRES_iがローレベルとなって、１画素行分の距離信号、及び、画像信号の読み出し動作が終了する。
【００５７】
以上の例では、距離情報取得用のPDと、画像情報取得用のPDとして、別々のPDを選択したが、距離判定情報を参照した結果、距離情報取得用のPDが、画像情報取得用のPDとしても適していると判定されることも、当然起こりうる。このような場合には、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択してもよい。その場合、画像信号出力期間に、距離信号出力期間において電荷信号の転送を行ったPDを、再度選択すればよい。ただし、このときには、距離信号の電荷転送終了後に蓄積された分の信号しか画像信号として得ることができない。例えば、図１に示すように、距離情報取得用のPDからは、PDに電荷蓄積を行う蓄積時間のうち、蓄積時間ACC1が経過したところで、蓄積していた信号が、距離信号として増幅MOS MSF0〜1のゲートへと転送されてしまう。このとき転送した分の信号は、画像信号の読み出しを行う前に増幅MOS MSF0〜1のゲートがリセットされるため、画素内に残らない。つまり、距離信号を読み出したPDと同じPDから画像信号を読み出す場合、距離信号の転送を行ってから、画像信号の転送を行うまでの間の信号しか蓄積されていないことになる。
【００５８】
一方で、距離情報取得用として選択されなかったPDは、蓄積時間ACC2が経過するまで信号蓄積が続行されている。すなわち、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択した場合、画像信号の蓄積期間が、その他のPDに比べて蓄積時間ACC1だけ少なくなってしまう。画像信号取得用に選択されるPDは、画素によって異なるから、固体撮像素子３全体として見たときに、画素によって、読み出される信号の蓄積時間がまちまちとなってしまう。したがって、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択する場合には、信号処理回路７において、以下のうちいずれかの処理を行うことにより、画像信号を生成して適切な画像信号を得るようにする。
・ACC1の期間蓄積し、距離信号として読み出した信号と、（ACC2-ACC1）の期間蓄積し、画像信号として読み出した信号とを加算する処理。
・ACC1の期間蓄積し、距離信号として読み出した信号に対して、係数（ACC2/ACC1）を乗算して補正したものに置き換える処理。
・（ACC2-ACC1）の期間蓄積し、画像信号として読み出した信号に対して、係数｛ACC2/（ACC2-ACC1）｝を乗算して補正する処理。
以上、本発明の実施形態１について説明した。
【００５９】
本実施形態に説明した読み出し動作によれば、距離情報を取得するための適切なPDを選択でき、距離情報に応じて適切な画像データとの生成に必要な信号を選択的に読み出すことができる。また、図１２に示すように画素に配されたPD0からPD5のすべてのPDから信号読み出しを行う従来の読み出し動作と比較して、必要な信号をより短時間で読み出すことが可能となる。例えば、従来の読み出し動作では、１画素行の信号読み出しにおいて、１対の垂直出力線から６個のPD信号を読み出すために、３回の信号出力期間を繰り返していた。一方、本実施形態の読み出し動作によれば、６個のうち、４個のPD信号を選択的に読み出せばよいので、信号出力期間は２回だけでよい。したがって、１画素行あたり、信号出力期間１回分だけ短い時間で、距離情報と画像データとの生成に必要な信号を読み出すことが可能となる。本実施形態の読み出し動作では、画素あたりのPD数が多い時ほど、より高い効果を得ることができる。
【００６０】
＜実施形態２＞
本実施形態では、１フレーム分の信号読み出し中に、所望のPDに蓄積された信号を選択的に読み出す、別の読み出し動作について説明する。この読み出し動作は、システム制御部１３が主体となって実行され、システム制御部１３は例えば以下の条件cを満たすPDを距離信号を取得するためのPDとして選択し、条件dを満たすPDを画像信号を取得するためのPDとして選択するものとする。
（条件c.） MLの光学中心の最も近くに配置されたPDに入射される光量を基準として、同一MLを共有する（同一画素に設けられた）複数のPDの中から、所定以上の光量が得られるPDであって、かつ最も外周に配置された２つのPD。言い換えれば２つのPDは所定以上の光量が得られる最も視差の大きなPDの組である。この選択は、撮像装置の光学系１の有効口径と焦点距離に基づき決定される。あるいはこの選択は、有効口径と焦点距離の代わりに、Ｆ値に基づいて決定されてもよい。
（条件d.）MLの光学中心の最も近くに配置されたPDに入射される光量を基準として、同一MLを共有する（同一画素に設けられた）複数のPDの中から、所定以上の光量が得られるPDであって、被写体までの距離に応じて選択された２つのPD。信号処理回路７によって求められた、着目する画素あるいは画素ブロックに対応する距離判定情報に基づき選択される。撮像装置の光学系１の有効口径と焦点距離、あるいは、Ｆ値に基づいて、MLの光学中心から所定以上離れた位置のPDが選択されないように制限を設けてもよい。
【００６１】
なお、条件cは、読み出し動作を行う前に得た、撮像装置の光学系１の設定値（焦点距離、有効口径）に関する情報をもとに、全画素で同じ位置関係にあるPDが選択されるものとする。条件dは、条件cで使用した撮像装置の光学系１の設定値（焦点距離、有効口径）に加えて、各々の画素に結像している被写体と、撮像装置との距離に応じて、画素ごとに異なるPDが選択されるものとする。画素ごとに適したPDを選択する際には、該当するPDの読み出しよりも前に取得された、条件cに該当するPDから得た信号に基づく、画素ごとの被写体からの距離情報、あるいは、距離情報をもとに求められた距離判定情報を使用する。
【００６２】
なお、本実施形態によれば、同一フレームにて取得した同一画素の距離情報、あるいは距離判定情報をもとに、条件dの画像信号を得るためのPDを選択することも可能である。このようにすれば、距離信号と画像信号との取得時刻がきわめて近くなるので、距離情報を得るタイミングと、画像信号を取得するタイミングとのずれが少なくなり、より精度の高い立体画像を得ることができるため有利である。以下、図３、及び、図４を参照して、本発明の実施形態２による、固体撮像装置の読み出し動作について説明する。
【００６３】
図３の縦軸は画素行iを示し、横軸は時刻Tを示している。図３に示すように、蓄積期間（各画素行の、PDへの電荷蓄積）の終了後に、まず、画素行ごとに、前述の条件cに該当するPDに蓄積した信号の読み出しを行う。条件cに該当するPDの信号読み出しが終了した後に、画素行ごとに、前述の条件dに該当するPDに蓄積した信号の読み出しを行う。本実施形態ではフレームレートによる制約を考慮して、実施形態１より短い蓄積時間で距離信号の読み出しを開始する。まず、条件cに基づいて選択されたPDに蓄積された信号を、距離信号出力期間中に各画素から出力して、ラインメモリCTd0_0〜1_mに保持する。次の水平走査期間に、ラインメモリCTd0_0〜1_mに保持した信号を、１画素列分ずつ順々に、固体撮像素子３の出力端子OUTd0〜1から出力する。これを繰り返して、0行目からj行目までの画素信号を読出し、距離信号の読み出しを完了する。
【００６４】
OUTd0〜1からの信号は、後段の信号処理回路７に送られ、同一の画素からの信号同士を比較することで、該当画素に結像された被写体と、撮像装置との距離情報か、あるいは、距離情報に基づいた距離判定情報を求めるために使用される。ここで、距離判定情報は、例えば、撮像装置からの所定の距離範囲ごとに決定される値を含む情報である。距離判定情報に基づく判定値は、各画素に結像した被写体と撮像装置との距離に応じて、画素ごとに決定される。ここで求めた距離情報、あるいは距離判定情報に基づき、次の画像信号出力期間に読み出す、条件dに該当するPDを決定する。
【００６５】
次に画像信号の読み出しについて説明する。所望の蓄積時間が経過したのち、条件dに該当するPDに蓄積された信号は、画像信号出力期間中に各画素から出力されてラインメモリCTs0_0〜1_mに保持される。次の水平走査期間で、ラインメモリCTs0_0〜1_mに保持された信号は、１画素列分ずつ順々に、固体撮像素子３の出力端子OUTs0〜1から出力される。ラインメモリからの、１行分の画素信号の読み出しが終了したのちに、次の行の画素信号がラインメモリに転送される。これを図３に示すように順次繰り返して、0行目からj行目までの画素信号を読出し、１フレーム分の信号読み出しを完了する。OUTs0〜1からの信号は、後段の信号処理回路７に送られ、画像の生成に用いられる。なお、OUTd0〜1からの信号を、OUTs0〜1からの信号と合成するなどして、画像の生成に用いてもよい。
【００６６】
図４Ａのタイミングチャートは、図３に示したシーケンスのうち距離信号出力期間の動作を詳細に表したタイミングチャートである。また、図４Ｂは、画像信号出力期間の動作を詳細に表したタイミングチャートである。なお、図４Ａ、図４Ｂは、具体的には、図６に示した固体撮像装置の、画素P（n,i）のPDに蓄積された信号を読み出す読み出し動作の一例を表している。まず、図４Ａにより、距離信号出力期間の動作を説明する。時刻T100に垂直走査回路VSRからのi行目の行選択パルスPSEL_iがハイレベルになると、i行目の画素の行選択MOS  MSEL0〜1がオン状態となって、i行目の画素行が選択される。このとき、垂直走査回路VSRからのリセットパルスPRES_iがハイレベルからローレベルに遷移しており、リセットMOS MRES0〜1がオフ状態となっているので、増幅MOS MSF0〜1のゲートのリセット状態が解除される。ただし、このとき転送MOS MTx0〜5はオフ状態にあるので、それまで各PDで蓄積されていた電荷信号はリセットされない。ハイレベルにされていたクランプパルスPCLAMPが、時刻T101にローレベルに変化することにより、オン状態となっていたクランプスイッチCLS0_0〜CLS1_mが、オフ状態となる。この結果、増幅MOS MSF0〜1のゲートのリセットレベルが垂直出力線ごとのクランプ容量C0_0〜1_mに保持される。
【００６７】
時刻T102に、距離信号を取得するためのPDとして、前述の条件ｃに従って選択されたPDに対して、システム制御部１３の制御によりPD選択パルスが画素へ送られる。ここでは、PD0とPD5を距離信号を取得するためのPDとして選択する例を示す。PD0とPD5とを選択するためにPTxSEL0_i及びPTxSEL5_iがハイレベルにされる。それとともに、転送パルスPTx_iがハイレベルとなって、転送MOS  MTx0、MTx5がオン状態となる。その結果、PD0、PD5に蓄積されていた電荷信号が、MSF0とMSF1のゲートへ転送され電圧に変換されて、MSEL0とMSEL1を介して垂直出力線へ出力される。なお、ここで選択されるPDは、撮像装置の光学系１の有効口径と焦点距離に基づき決定されたPDであり、全画素で同じ位置関係にあるPDである。
【００６８】
時刻T103に、転送パルスPTx_iと、すべてのPD選択パルスがローレベルにされて、すべての転送MOSがオフ状態となって、電荷信号の転送を完了する。ハイレベルにしておいたメモリ選択パルスPTdが、時刻T104にローレベルに制御されて、オン状態となっていたメモリ選択スイッチMTd0〜1が、オフ状態となる。この結果、増幅MOS MSF0,MSF1のゲートの信号レベルと、時刻T101でC0_0〜1_mに保持したリセットレベルとの差分信号が、列アンプの出力端子から出力されて、距離信号を保持するためのラインメモリCTd0_0〜1_mに保持される。
【００６９】
時刻T105に、垂直走査回路VSRによりリセットパルスPRES_iがハイレベルにされて、リセットMOS MRES0〜1がオン状態となって、増幅MOS MSF0〜1のゲートがリセットされる。ただし、このとき転送MOS MTx0〜5はオフ状態にあるので、それまで各PDで蓄積されていた電荷信号はリセットされない。時刻T106に、垂直走査回路VSRによりi行目の行選択パルスPSEL_iがローレベルとなると、i行目の画素の行選択MOS  MSEL0〜１画素行がオフ状態となる。すると、増幅MOS MSF0〜1のゲートがリセット状態を保持したまま、i行目の画素行が選択解除される。その後、図３に示すように、水平走査期間において、ラインメモリCTd0_0〜1_mに保持された信号が、出力端子OUTd0〜1から、１画素分ずつ順々に出力される。また、時刻T107で、リセットパルスPRESがローレベルとなって、１画素行分の距離信号の読み出し動作が終了する。
【００７０】
次に、図４Ｂの、画像信号出力期間の動作を説明する。時刻T200に垂直走査回路VSRによりi行目の行選択パルスPSEL_iがハイレベルとなると、i行目の画素の行選択MOS  MSEL0〜１画素行がオン状態となって、i行目の画素行が選択される。このとき、リセットパルスPRES_iはハイレベルからローレベルに遷移しており、リセットMOS MRES0〜1がオフ状態となって、増幅MOS MSF0〜1のゲートのリセット状態が解除される。ただし、このとき転送MOS MTx0〜5はオフ状態にあるので、それまで各PDで蓄積されていた電荷信号はリセットされない。ハイレベルにしておいたクランプパルスPCLAMPを、時刻T201にローレベルとすることで、オン状態となっていたクランプスイッチCLS0_0〜CLS1_mが、オフ状態となる。この結果、増幅MOS MSF0〜1のゲートのリセットレベルが垂直出力線ごとのクランプ容量C0_0〜1_mに保持され、列アンプの動作が有効になる。
【００７１】
時刻T202に、画像信号を取得するためのPDとして、距離判定情報に基づき前述の条件ｄに従って選択されたPDに対して、システム制御部１３の制御によりPD選択パルスが画素へ送られる。ここでは、PD2とPD3を画像信号取得するためのPDとして選択する例を示す。PD2とPD3を選択するためにPD選択パルスPTxSEL2_n及びPTxSEL3_nがハイレベルとされる。それとともに、転送パルスPTx_iがハイレベルとなって、転送MOS  MTx2、MTx3がオン状態となり、PD2、PD3に蓄積されていた電荷信号が、MSF0とMSF1のゲートへ転送される。ここで選択されるPDは、信号処理ブロックによって求められた距離判定情報のうち、着目する画素、あるいは画素ブロックに対応する距離判定情報に基づきシステム制御部１３により決定される、画素によって異なる位置に配されたPDである。時刻T203に、転送パルスPTx_iと、すべてのPD選択パルスがローレベルとなり、すべての転送MOSがオフ状態となって、電荷信号の転送を完了する。
【００７２】
メモリ選択パルスPTsがハイレベルに制御されると、メモリ選択スイッチMTs0_0〜1_mがオン状態になって、列アンプからの出力がラインメモリCTs0_0〜1_mに格納される。時刻T204にメモリ選択パルスPTsをローレベルに制御することにより、オン状態となっていたメモリ選択スイッチMTs0_0〜1_mが、オフ状態となる。この結果、増幅MOS MSF0,MSF1のゲートの信号レベルと、時刻T201でC0〜1_nに保持したリセットレベルとの差分信号が、列アンプの出力端子から出力されて、画像信号を保持するためのラインメモリCTs0_0〜1_mに保持される。
【００７３】
時刻T205で、垂直走査回路VSRからのリセットパルスPRES_iがハイレベルとなり、リセットMOS MRES0〜1がオン状態となって、増幅MOS MSF0〜1のゲートがリセットされる。このとき、転送パルスPTx_iと、PD選択パルスPTxSEL0〜5もハイレベルに制御されることで、転送MOS MTx0〜5がオン状態となって、それまで各PDで蓄積されていた電荷信号がすべてリセットされる。時刻T206に、転送パルスPTx_iと、PD選択パルスPTxSEL0〜5がローレベルとなることで、転送MOS MTx0〜5がMOS MRES0〜1がオフ状態となって、各PDのリセット状態が解除される。このとき、リセットパルスPRES_iはハイレベルのままであり、増幅MOS MSF0〜1のゲートはリセット状態のままとなっている。
【００７４】
時刻T207に、垂直走査回路VSRによりi行目の行選択パルスPSEL_iをローレベルにすると、i行目の画素の行選択MOS  MSEL0〜1がオフ状態となる。すると、増幅MOS MSF0〜1のゲートがリセット状態を保持したまま、i行目の画素行が選択解除される。その後、図３に示すように、水平走査期間において、ラインメモリCTd0_0〜1_m 、CTs0_0〜1_mに保持された信号が、出力端子OUTd0〜1、OUTs0〜1から、１画素分ずつ順々に出力される。また、時刻T208で、リセットパルスPRESがローレベルとなって、１画素行分の画像信号の読み出し動作が終了する。
【００７５】
以上の例では、距離情報取得用のPDと、画像情報取得用のPDとして、別々のPDを選択したが、距離判定情報を参照した結果、距離情報取得用のPDが、画像情報取得用のPDとしても適していると判定されることも、当然起こりうる。このような場合には、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択してもよい。その場合、画像信号出力期間に、距離信号出力期間において電荷信号の転送を行ったPDを再度選択すればよい。ただし、このときには、距離信号の電荷転送終了後に蓄積された分の信号しか、画像信号として得ることができない。例えば、図３に示すように、距離情報取得用のPDからは、PDに電荷蓄積を行う蓄積時間のうち、蓄積時間ACC1が経過したところで、蓄積していた信号が、距離信号として増幅MOS MSF0〜1のゲートへと転送されてしまう。このとき転送した分の信号は、画像信号の読み出しを行う前にリセットされるため、画素内に残らない。つまり、距離信号を読み出したのと同じPDから画像信号を読み出す場合、距離信号の転送を行ってから、画像信号の転送を行うまでの間の信号しか蓄積されていないことになる。一方で、距離情報取得用として選択されなかったPDは、蓄積時間ACC2が経過するまで信号蓄積が続行されている。すなわち、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択した場合、画像信号の蓄積期間が、その他のPDに比べて蓄積時間ACC1だけ少なくなってしまう。
【００７６】
画像信号取得用に選択されるPDは、画素によって異なるから、固体撮像素子３全体として見たときに、画素によって、読み出される信号の蓄積時間がまちまちとなってしまう。したがって、距離情報取得用のPDと、画像情報取得用のPDとして、同一のPDを選択する場合には、該当する画素から読み出した画像信号について、信号処理回路７において、以下のうちいずれかの処理を行ったうえで、画像データの生成に用いればよい。
・ACC1の期間蓄積し、距離信号として読み出した信号と、（ACC2-ACC1）の期間蓄積し、画像信号として読み出した信号とを加算する処理。
・（ACC2-ACC1）の期間蓄積し、画像信号として読み出した信号に対して、係数｛ACC2/（ACC2-ACC1）｝を乗算して補正する処理。
・ACC1の期間蓄積し、距離信号として読み出した信号に対して、係数（ACC2/ACC1）を乗算して補正したものに置き換える処理。以上、本実施形態について説明した。
【００７７】
本実施形態に説明した読み出し動作によれば、距離情報と画像データとの生成に必要な信号のみを選択的に読み出すことができる。したがって、図１２に示す、画素に配されたPD0からPD5のすべてのPDから信号読み出しを行う従来の読み出し動作と比較して、信号を、短時間で読み出すことが可能となる。
【００７８】
具体的には、従来の読み出し動作では、１画素行の信号読み出しにおいて、１対の垂直出力線から６個のPD信号を読み出すために、３回の信号出力期間を繰り返していた。一方、本実施形態の読み出し動作によれば、６個のうち、４個のPD信号を選択的に読み出せばよいので、信号出力期間は２回だけ繰り返せばよい。したがって、１画素行あたり、信号出力期間１回分だけ短い時間で、距離情報と画像データとの生成に必要な信号を読み出すことが可能となる。本実施形態の読み出し動作では、画素あたりのPD数が多い時ほど、より高い効果を得ることができる。
【００７９】
更に、本実施形態の読み出し動作によれば、画像信号の読み出しが開始されるよりも前のタイミングで、画像信号と同一フレームで蓄積した、同一画素における距離信号の読み出しが完了している。したがって、同一フレームにて取得した同一画素の距離情報、あるいは距離判定情報をもとに、画像信号を取得するPDを選択することが可能である。具体的には、画像信号を取得するためのPDの蓄積時間を、１画素行分の距離判定情報の導出を行い、画像信号の読み出しにフィードバックするのに必要な時間より長くとる。こうすれば、距離信号を読み出した画素行に対応する距離判定情報を、信号処理回路７において順次導出し、同一フレームの、同一行の画像信号の読み出し動作にフィードバックできる。このようにすることで、距離信号と画像信号との取得時刻のきわめて近くできるので、距離情報を得るタイミングと、画像取得するタイミングとのずれがなくなり、より精度の高い立体画像を得ることができる。
【００８０】
なお、本実施形態の読み出し動作では、実施形態１の読み出し動作と比較して、距離信号の蓄積時間が短くなってしまうため、距離情報の信号レベルが従来の読み出し動作よりも低くなって、距離情報の精度が低下してしまう。しかしながら、従来の読み出し動作よりも短い時間で読み出し動作を行うことが可能となるため、フレームレートを上げるという面で優位である。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2015065595.tif 000003
【図２】
2015065595.tif 000004
【図３】
2015065595.tif 000005
【図４Ａ】
2015065595.tif 000006
【図４Ｂ】
2015065595.tif 000007
【図５】
2015065595.tif 000008
【図６Ａ】
2015065595.tif 000009
【図６Ｂ】
2015065595.tif 000010
【図７】
2015065595.tif 000011
【図８】
2015065595.tif 000012
【図９Ａ】
2015065595.tif 000013
【図９Ｂ】
2015065595.tif 000014
【図１０】
2015065595.tif 000015
【図１１】
2015065595.tif 000016
【図１２】
2015065595.tif 000017