(57)【要約】【課題】撮像装置における測距動作において、高周波の縞状被写体や動きのある被写体等、測距用画像の像分離方向によって、測距が難しい場合がある。【解決手段】瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有する撮像素子の出力を使用して被写体の測距を行う測距装置は、単位画素セルごとに、２次元配列の所定の方向に配置された画素の出力を合成して得られた、被写体の像分離データを取得し、像分離データを用いて測距演算を行ない、演算結果を出力し、所定の方向を所定の周期で切り替え、切り替えに従って切り替えられた方向の像分離データを取得し、取得した像分離データを用いて測距演算を行う。【選択図】図８
2014157338.tif 000002
【特許請求の範囲】
【請求項１】
瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有する撮像素子の出力を使用して被写体の測距を行う測距装置において、
前記単位画素セルごとに、前記２次元配列の所定の方向に配置された画素の出力を合成して得られた、前記被写体の像分離データを取得する取得手段と、
前記像分離データを用いて測距演算を行ない、演算結果を出力する演算手段と、
前記所定の方向を所定の周期で切り替える制御手段と、
を備え、
前記取得手段は、前記制御手段による切り替えに従って、前記切り替えられた方向の像分離データを取得し、前記演算手段は、前記取得手段が取得した像分離データを用いて測距演算を行うことを特徴とする測距装置。
【請求項２】
前記制御手段は、前記所定の方向を、前記撮像素子の出力の所定のフレーム周期で切り替え、前記取得手段は、前記撮像素子の出力を前記単位画素セル内の前記所定の方向に配置された画素について合成して像分離データを生成することを特徴とする請求項１に記載の測距装置。
【請求項３】
行う前記制御手段は、前記所定の方向を前記撮像素子の出力の所定のフレーム周期で切り替える制御信号を生成して出力し、前記取得手段は、前記単位画素セル内の前記所定の方向に配置された画素について合成した出力データを前記撮像素子から取得することを特徴とする請求項１に記載の測距装置。
【請求項４】
前記所定の方向は、前記単位画素セルの２次元配列の垂直方向および水平方向のいずれかであり、前記所定の周期は、前記撮像素子の出力のフレーム周期又は少なくとも２以上の複数フレーム周期であることを特徴とする請求項１乃至３のいずれか一項に記載の測距装置。
【請求項５】
被写体の光学像を形成する光学系と、
瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有し、前記被写体の光学像を光電変換して画素信号を生成する撮像手段と、
請求項１乃至４のいずれか一項に記載された測距装置と、
前記撮像素子を駆動して前記画素信号を読み出す駆動手段と、
を備えることを特徴とする撮像装置。
【請求項６】
前記撮像素子は、前記単位画素セルを構成する複数の画素の画素信号を、前記２次元配列の異なる方向に合成して読み出す合成手段を有し、前記駆動手段は、前記制御手段が出力した制御信号に従って前記合成手段を制御して前記合成の方向を切り替えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像装置の撮像動作を制御する撮像制御手段をさらに備え、前記撮像制御手段は、前記測距装置を制御し、前記単位画素セルの２次元配列から前記画素信号を合成して読み出した後のフレーム期間に対応する調整時間において、前記演算手段が前記測距演算を行なって、前記演算結果を前記撮像制御手段に出力する行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記光学系を駆動して前記被写体の光学像の焦点調節を行う焦点調節手段をさらに備え、前記撮像制御手段は、前記調整時間において前記焦点調節手段を制御し、前記演算手段が出力する演算結果に基づいて前記光学系を駆動することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記合成手段は、前記合成の方向に対応して異なる構成を有し、前記撮像制御手段は、前記合成手段の異なる構成ために前記調整時間が前記合成の方向に対応して異なる場合は、短い調整時間において前記演算手段および焦点調節手段を制御することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記合成手段は、各合成の方向について同じ構成を有する行うことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記撮像素子は、前記単位画素セルを構成する画素の出力を合成して出力する合成手段を有しないことを特徴とする請求項５に記載の撮像装置。
【請求項１２】
前記駆動手段により前記撮像素子から読み出された画素信号を処理する画像処理手段をさらに有し、前記画像処理手段は、前記単位画素セルを構成する複数の画素の出力を全て合成して前記被写体の画像を生成して処理することを特徴とする請求項５乃至１１のいずれか一項に記載の撮像装置。
【請求項１３】
瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有する撮像素子の出力を使用して被写体の測距を行う測距装置の制御において、
前記単位画素セルごとに、前記２次元配列の所定の方向に配置された画素の出力を合成して得られた、前記被写体の像分離データを取得する取得ステップと、
前記像分離データを用いて測距演算を行ない、演算結果を出力する演算ステップと、
前記所定の方向を所定の周期で切り替える制御ステップと、
を備え、
前記取得ステップは、前記制御ステップでの切り替えに従って、前記切り替えられた方向の像分離データを取得し、前記演算ステップは、前記取得ステップで取得した像分離データを用いて測距演算を行うことを特徴とする制御方法。
【請求項１４】
瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有する撮像素子の出力を使用して被写体の測距を行う測距装置を制御するためのプログラムであって、
コンピュータを、
前記単位画素セルごとに、前記２次元配列の所定の方向に配置された画素の出力を合成して得られた、前記被写体の像分離データを取得する取得手段、
前記像分離データを用いて測距演算を行ない、演算結果を出力する演算手段、
前記所定の方向を所定の周期で切り替える制御手段、
として機能させ、
前記取得手段が、前記制御手段による切り替えに従って、前記切り替えられた方向の像分離データを取得し、前記演算手段が、前記取得手段が取得した像分離データを用いて測距演算を行うように制御するプログラム。
【請求項１５】
請求項１４のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項１６】
コンピュータを、請求項１乃至４のいずれか一項に記載された測距装置の各手段として機能させるプログラム。
【請求項１７】
コンピュータを、請求項１乃至４のいずれか一項に記載された測距装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳイメージセンサー等の撮像素子を用いた撮像装置に適用可能な測距装置に関し、特に、位相差方式による測距機能を備えた測距装置および撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、小型化・高精度化が求められている。
そのひとつとして注目されているのが、ピント精度の高い画像を得るために、撮像素子内に画像取得用画素と情報取得用画素（例えば、測距用画素）を備え、同一画面上で測距を行い、高精度な画像を得る方法がある。（特許文献１参照。）
【０００３】
上記提案にある情報取得用画素は、画像取得用画素と異なる構造である為、画像作成時には欠陥画素と同様の扱いで補正を行うことが主に考えられていた。しかし、今後、高精度の画像を得る為には、情報取得領域を撮像素子の大部分に展開し、情報取得画素と画像取得画素を兼用していくことが好ましい。
例えば、特許文献２で示されているような、画素内が瞳分割された画素が全面に配置され、情報取得と画像取得の双方に使用する構成が好ましい。
【０００４】
以下に、情報取得と画像取得の双方に使用することのできる複合画素構造の撮像素子の使用例を挙げる。
【０００５】
図２２は、単位セル内を瞳分割した画素、いわゆる、複合画素により構成された撮像素子の概念図（上面図）である。同図において、１は撮像素子の単位セルを示しており、１ａ乃至１ｄは、各々、光電変換素子を含んだ周知の撮像画素構造を備えた画素である。各画素は各々個別に出力できる構成である。また、１ａ乃至１ｄの上面には、周知の同色のカラーフィルタが配設されている。各画素２は周知のマイクロレンズである。
【０００６】
上述した構成の撮像素子は、情報取得（測距動作）時に、各単位セル内を分割した状態の各々もしくは複数画素の出力を列方向で（もしくは行方向で）測定・比較し、相関演算結果により位相差を求める、周知の位相差測距を行う。一方、画像取得時には、単位セル毎（本例ではマイクロレンズ下の同色画素４個）の出力を使用し、画像を作成する。
【０００７】
図２３を用いて、図２２で説明した撮像素子を測距動作に使用したときの例を説明する。
【０００８】
図２３（ａ）は、単位セルの出力の使用例であり、撮像装置を水平方向における測距に使用した場合の例である。水平方向で使用する場合、瞳分割方向を水平方向として使用する為、図２２における画素１ａおよび１ｂと、画素１ｃおよび１ｄを各々合成し、Ａ出力（左出力）とＢ出力（右出力）として単位セルの測距用出力とする。
【０００９】
図２３（ｂ）は、図２３（ａ）の使用例において、複数のセルから出力されるＡ出力（左出力）およびＢ出力（右出力）を使用してＡ像（左像）およびＢ像（右像）を生成し、それらの間の相関演算を行ってズレ量（デフォーカス量）を求める例を示している。
【００１０】
図２３（ａ）と同構成の画素が水平方向に複数配置されており（具体的には隣接は別色の単位セルであるため、１セル毎に同構成のセルが配置されており）、同構成の単位セルを複数使用してＡ像（左像）とＢ像（右像）を生成して比較している。Ａ像とＢ像の比較（相関演算）を行うことにより、焦点のズレ量（デフォーカス量）を算出する。基本的には、相関値が高いほど焦点が合っており、相関値が低いほど焦点がズレていることになる。
【００１１】
ところで、上記では、左右像のズレ量によって測距を行う説明をしているが、被写体によっては（例えば、横縞状の被写体など）、左右の像分離では、うまく測距できない場合がある。その為、測距で使用する像分離方向は、左右のみでなく、上下方向に分離したデータも併用することで、より測距性能を向上することができる。
【００１２】
特許文献３は、上記測距性能を向上させるため、瞳分割方向の異なる測距用画素を画面内に集中しないように、分散して配列している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００３−２４４７１２号公報
【特許文献２】特開２００７−３２５１３９号公報
【特許文献３】特開２００８−０１７１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかし、上記特許文献３のように、瞳分割方向の異なる測距用画素を分散して配置した場合でも、瞳分割方向が固定的であるために、配置箇所に最適な被写体があれば測距性能が向上するものの、被写体位置がずれた場合は測距性能としての問題は回避できない。特に、比較的、被写体に動きがある可能性が高い動画撮影などの連続撮影動作の場合、被写体位置がズレてしまう可能性が高い。
【００１５】
また、特許文献２では、像分離方向を横方向と縦方向に切り替えられる構成が提案されているものの、どのような条件で、あるいはどのような場合に切り替えるかについての詳細は述べられていない。
【課題を解決するための手段】
【００１６】
上記課題を解決するため、本発明によれば、瞳分割手段に対応して配列された所定数の複数の画素で構成される単位画素セルの２次元配列を有する撮像素子の出力を使用して被写体の測距を行う測距装置は、単位画素セルごとに、２次元配列の所定の方向に配置された画素の出力を合成して得られた、被写体の像分離データを取得する取得手段と、像分離データを用いて測距演算を行ない、演算結果を出力する演算手段と、所定の方向を所定の周期で切り替える制御手段とを備え、取得手段は、記制御手段による切り替えに従って、切り替えられた方向の像分離データを取得し、演算手段は、取得手段が取得した像分離データを用いて測距演算を行なう。
【発明の効果】
【００１７】
本発明によれば、動画等の連続撮影動作時においての測距精度を向上させることができ、画像を適切に撮影することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施例に係る測距装置を有する撮像装置のブロック図。
【図２】本発明の第１の実施例に係る撮像装置が使用する撮像素子を構成する画素の概略構成図。
【図３】本発明の第１の実施例で使用する撮像素子の単位画素セルの回路構成を示す図。
【図４】本発明の第１の実施例で使用する撮像素子のブロック図。
【図５】本発明の第１の実施例で使用する撮像素子の読み出し回路の構成図。
【図６】本発明の第１の実施例で使用する撮像素子の駆動動作のタイミングチャートを示す図。
【図７】本発明の第１の実施例で使用する撮像素子の動作を模式的に示す図。
【図８】本発明の第１の実施例に係る測距装置の動作のフローチャートを示す図。
【図９】本発明の第１の実施例に係る測距装置の動作時の画素出力の使用例を示す図。
【図１０】本発明の第１の実施例に係る測距装置の動作時における演算を説明するための図。
【図１１】本発明の第１の実施例の第１の変形例で使用する撮像素子の単位画素セルの回路構成図。
【図１２】本発明の第１の実施例の第１の変形例で使用する撮像素子の概略構成図。
【図１３】本発明の第１の実施例の第１の変形例で使用する撮像素子の駆動動作のタイミングチャートを示す図。
【図１４】本発明の第１の実施例の第１の変形例で使用する撮像素子の駆動タイミングチャートを示す図。
【図１５】本発明の第１の実施例の第１の変形例で使用する撮像素子の動作を模式的に示す図。
【図１６】本発明の第１の実施例の第１の変形例に係る測距装置の動作のフローチャートを示す図。
【図１７】本発明の第１の実施例の第１の変形例で使用する撮像素子の動作を模式的に示す図。
【図１８】本発明の第１の実施例の第２の変形例で使用する撮像素子の単位画素セルの回路構成図。
【図１９】本発明の第１の実施例の第２の変形例で使用する撮像素子の概略構成図。
【図２０】本発明の第１の実施例の第２の変形例で使用する撮像素子の駆動タイミングチャートを示す図。
【図２１】本発明の第１の実施例の第２の変形例で使用する撮像素子の駆動タイミングチャートを示す図。
【図２２】撮像素子の単位画素セルを瞳分割したときの概念図（上面図）。
【図２３】瞳分割した単位画素セルを有する撮像素子の測距動作時の使用例。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態を、添付の図面を用いて詳細に説明する。
【実施例１】
【００２０】
図１は、本発明の第１の実施例に係わる測距装置を有する電子カメラ等の撮像装置の構成を示すブロック図である。
【００２１】
図において、１１０は撮像素子１１４上に光学像を形成する光学系を構成するレンズ、１１１はレンズ１１０の制御を行なうレンズ制御部である。１１２はＣＭＯＳセンサー等であるところの撮像素子１１４の露光量を制御するシャッター（ＳＨ）である。１１４は光学像を電気信号に変換するＣＭＯＳセンサーなどの撮像素子である。なお、撮像素子１１４は、所定数の複数の画素を１マイクロレンズ単位の単位画素セル内に分離して配置した構成を有し、単位画素セルから、２画素毎に瞳分割された像の異なる画像信号を出力することが可能に構成されている。これにより、測距動作用の像分離された出力（像分離データ）を得ることができるなお、詳細は、図２乃至図４を用いて後述する。
【００２２】
１１６は、撮像素子１１４から出力されるアナログ信号に対して、オプティカルブラックのレベルを基準レベルに合わせる為のＯＢクランプ等の処理を行う出力信号処理部である。また、本出力信号処理部は、デジタル信号に変換するアナログ・フロント・エンド（ＡＦＥ）や、各画素のデジタル出力を受けて各種補正処理や並び替え等をデジタル処理するデジタルフロントエンド（ＤＦＥ）を含む。
【００２３】
１１７は、制御信号を供給するタイミング発生回路（ＴＧ）である。１１８は後段の測距演算、画像処理を行なう為に、出力信号処理部１１６の出力を一時保存する為のメモリである。
【００２４】
１１９は、出力信号処理部１１６でデジタル処理された撮像素子１１４からの出力信号に基づいて測距処理を行なう為の測距演算部である。本測距演算部１１９は、撮像素子１１４が像分離して出力した方向に対してのデフォーカス量（像ズレ量）から被写体の距離を求め、後述するシステム制御部１５０へ情報を転送する。測距演算を行なう為の画素毎の垂直方向もしくは水平方向の合成処理も測距演算部１１９で行う。測距演算部１１９とシステム制御部１５０は、本実施例に係る測距装置を構成する。
【００２５】
１２０は画像処理部であり、出力信号処理部１１６を介してデジタル処理された画像出力からのデータに対して、所定の色変換等の画像処理を行う。なお、画像処理部１２０は、撮像素子１１４の単位画素セル内の像分離された各画素の出力をすべて合成することで単位画素セル毎日一つの画素信号を出力して画像を生成する処理も行う。
【００２６】
１２２はメモリ制御部であり、画像処理部１２０が生成した画像データを後述のメモリ１３０に転送する等の制御を行う。１２８はＴＦＴ方式のＬＣＤからなる画像表示部である。
【００２７】
１３０は撮影された静止画像や動画像を格納するためのメモリである。１５０は画像処理装置全体を制御するシステム制御部であり、周知のＣＰＵなどを内蔵して、図示しないメモリに記憶されている制御プログラムを実行することで撮像装置の各部の動作を制御する。例えば、本発明に係る測距装置の動作に係る制御および光学系および撮像装置の駆動を制御する撮像制御を行う。なお、実際の撮像装置には測光手段、電源制御手段、スイッチ操作部等も含まれるものが一般的であるが、本発明に係る主要な要素ではないため、ここでの説明は割愛する。
【００２８】
図２乃至図３に、本実施例に係る撮像装置が有する撮像素子１１４における単位画素セルの概略構造および単位画素セルの回路構成を示す。
【００２９】
図２は、本実施例に係る撮像装置で使用される撮像素子の単位画素セルの概略図（上面図）である。図２（ａ）において、２００は瞳分割手段としての配列マイクロレンズであり、このマイクロレンズ２００の下に各々フォトダイオード(光電変換素子)を備えた画素２０１乃至２０４（本実施例では４分割画素）が配置されている。
【００３０】
画素２０１乃至２０４は、適宜適切な駆動方法を用いることで、各画素の信号を合成された信号として出力することが可能であり、図２（ｂ）は画素２０１および２０２と、画素２０３と２０４の出力を各々合成して出力することを示す概念図である。このような組み合わせによる出力を行うことで、単位画素セル内の信号から、左右（水平方向）に像分割された２つの信号を取得することができる。
【００３１】
同様に、図２（ｃ）は、画素２０１および２０３と、画素２０２と２０４の出力を各々合成して出力することを示した概念図である。図示するような組み合わせによる出力を行うことで、単位画素セル内の信号から、上下（垂直方向）に像分割された２つの信号を取得することができる。
【００３２】
また、図２（ｄ）は、画素２０１乃至２０４の出力をすべて合成して出力することを示した概念図であり、このような組み合わせによる出力を行うことで、単位画素セル内の信号がすべて加算された１つの画素の信号を取得することができる。図２（ｄ）の合成処理は、図２（ａ）の各画素の個別出力の４画素を加算する処理としても、図２（ｂ）または図２（ｃ）の像分割した２つの出力をさらに加算して合成信号を生成する処理であってもよい。
【００３３】
図３は、図２で説明した単位画素セルの回路構成を示している。各画素２０１乃至２０４は同様の構造である為、ここでは画素２０１の構成のみを図示して説明する。なお、同図において、図２と同じ部分は同じ符号を付して示す。
【００３４】
３０１は、フォトダイオード等からなる光電変換部である。３３１はフォトダイオード３０１の電荷を転送する転送トランジスタ、３３３は電荷を転送のための所定部位としてのフローティングディフュージョン（ＦＤ）、３３５はＦＤ３３３の電荷量に応じた信号出力を行う増幅部であるところの増幅トランジスタである。また、３３７はＦＤ３３３の電荷を画素部から後段の回路部に出力するための選択トランジスタ、３３９はＦＤ３３３の電荷をリセットするためのリセットトランジスタである。
【００３５】
３０１は、ＦＤ３３３に貯められた電荷を、選択トランジスタ３３７がオンされた際に、増幅トランジスタ３３５を介して後段の回路へ出力する為の垂直出力線である。縦に配置された１列の画素が（画素２０１と２０２、画素２０３と２０４）、共通の出力線（３０１−１、３０１−２）に接続されている。
【００３６】
図４は、図３に示した単位画素セルを複数配置した撮像素子の概略構成を示すブロック図であり、図３で説明した単位画素セル２００を２次元的に複数配置した画素配列とそれから画素信号を読み出す駆動部から構成されている。なお、同図において、図２および図３と同じ部分は同じ符号を付して示す。
【００３７】
４０２は、図３に示した垂直出力線３０１（３０１−１、３０１−２等）を介して各画素から出力される電気信号を読み出す為の読み出し回路である。読み出し回路４０２の構成については、図５を用いて後述する。
【００３８】
５０３および４０４は、各々、画素から読み出し回路４０２を介して入力される光信号成分およびノイズ成分を後段の差動増幅器４０５へ出力するＭＯＳトランジスタ、４０５は該ＭＯＳトランジスタからの信号を受けて差分出力する差動増幅器である。
【００３９】
４０６は各単位セルのＭＯＳトランジスタ４０３および４０４をオン／オフ制御して、差動増幅器４０５へ信号を送る水平シフトレジスタである。４０７は各画素の電荷の蓄積・転送制御を行う垂直シフトレジスタである。４０８は垂直出力線３０１の電流制御を行う為の定電流源である。
【００４０】
図５は、図４の読み出し回路４０２の回路構成であり、一つの垂直出力線３０１に出力された画素信号の読み出しブロックの回路構成のみを示す。各垂直信号出力線３０１に単位画素セルから読み出された画素信号は、対応する読み出しブロックを介して差動増幅器４０５に読み出される。なお、図３または図４と同じ部分は緒の自符号を付して示す。
【００４１】
同図において、５０１は、一方の端を垂直出力線３０１（３０１−１又は３０１−２）、他方を演算増幅器５０２の反転入力側に接続されたクランプ容量である。５０２は演算増幅器、５０３は、反転増幅器５０２の増幅度をクランプ容量５０１との比率で決定する為の帰還容量である。５０４はクランプ動作のためのクランプスイッチである。５０５と５０６は、光信号成分と暗時信号成分を、演算増幅器５０２を介して後述する保持容量５０７および５０８へそれぞれ転送する為の転送スイッチである。
【００４２】
５０７と５０８は各々、光信号成分および暗時信号成分を、演算増幅器５０２を介して保持する為の保持容量である。保持容量５０７および５０８に転送された信号は、図４で説明したＭＯＳトランジスタ４０３および４０４を介して差動増幅器４０５へ出力される。
【００４３】
図６は、本実施例に係る撮像装置が使用する撮像素子１１４の駆動動作のタイミングチャートを示す図である。各駆動信号は、システム制御部１５０による制御の下で、タイミング発生回路１１７より供給される。
【００４４】
フォトダイオード３０１からの光信号電荷の読み出しに先立って、リセットトランジスタ３３９のゲート線φＲＥＳ（１行目はφＲＥＳ１−１）がハイレベルとされる。これによって、増幅トランジスタ３３５のゲートがリセット電源電圧にリセットされる。リセットトランジスタ３３９のゲート線φＲＥＳがローレベルに復帰すると同時にクランプスイッチ５０４のゲート線ＰＣ０Ｒがハイレベルになった後に、選択トランジスタ３３７のゲート線φＳＥＬ（１行目はφＳＥＬ１−１）がハイレベルとなる。これによって、リセットノイズが重畳されたリセット信号（ノイズ信号）が垂直出力線３０１に読み出され、各列のクランプ容量５０１にクランプされる。
【００４５】
次に、クランプスイッチ５０４のゲート線ＰＣ０Ｒがローレベルに復帰した後、ノイズ信号側転送スイッチのゲート線ＰＴＮがハイレベルとなり、各列に設けられた暗時信号保持容量５０８にリセット信号が保持される。次に、画素信号側転送スイッチのゲート線ＰＴＳをハイレベルにした後、転送トランジスタ３３１のゲート線φＴＸ（１行目はφＴＸ１−１）がハイレベルとなる。その結果、フォトダイオード３０１の光信号電荷が、増幅トランジスタ３３５のゲートに転送されると同時に光信号が垂直出力線３０１に読み出される。
【００４６】
次に転送トランジスタ３３１のゲート線φＴＸがローレベルに復帰した後、画素信号側転送スイッチのゲート線ＰＴＳがローレベルとなる。これによって、リセット信号からの変化分（光信号）が各列に設けられた光信号成分保持容量５０７に読み出される。ここまでの動作で、第１行目に接続された光電変換部３０１の光信号・暗時信号がそれぞれの列に接続された保持容量５０７乃至５０８に保持される。
【００４７】
この後、信号ＣＳＬによって水平シフトレジスタ４０６を駆動し、各列の水平転送スイッチゲートが順次ハイレベルとなる。保持容量５０７乃至５０８に保持されていた電圧は、順次、容量Ｃｈｓ、Ｃｈｎに読み出され、差動増幅器４０５で差分処理されて順次出力される。各列の信号読み出しの合間でリセットスイッチによって容量Ｃｈｓ、Ｃｈｎがリセット電圧ＶＣＨＲＳ、ＶＣＨＲＮにリセットされる。以上で、単位画素セルの第１行目に接続された画素の読み出しが完了する。
【００４８】
以下同様に、垂直シフトレジスタ４０７からの信号によって第２行目以降の各行に接続された光電変換部の信号が順次読み出され、全画素（全光電変換部に蓄積された信号）の読み出しが完了する。すなわち、単位画素セルを水平・垂直２画素構成とする本実施例においては、垂直２行を読み出し終えた時点で、単位画素セルの水平１ライン（１Ｈ）分の読み出しが完了したこととなる。
【００４９】
なお、上述したように、本実施例に係る撮像装置で使用する撮像素子は、単位画素セル毎に水平方向に２つ・垂直方向に２つの画素（画素２０１乃至２０４）を配する構成になっている。本実施例では、４つの光電変換部に蓄積された電荷は、それぞれ読み出されて、後段の出力信号処理部１１６を介してメモリ１１８に保存される。測距演算部１１９は、メモリ１１８に保存された出力を使用して測距演算を行うが、その際、必要な画素加算処理を行なった上で、測距演算を行う。
【００５０】
また、画像処理回路１２０は、メモリ１１８に保存された出力を使用して、単位画素セルの４つの画素の出力を合成処理して得られる出力を画素信号とする画像を生成する処理を行う。
【００５１】
図７は、図６のタイミングチャートによる駆動を模式的に示した図であり、画面上部から下部に向かって、単位画素セルの２次元配列の各行の蓄積−読み出しを行なった場合の経過時間を視覚的に表わしている。
【００５２】
図７における水平１ラインは、単位画素セルあたりの蓄積‐読み出し動作を示しており、１ライン上の期間ｈ１で画素２０１および画素２０３の出力を読み出し、期間ｈ２で画素２０２および画素２０４の出力を読み出している。この動作を順次繰り返し、垂直方向の単位画素セル数（１Ｖ）分の読み出しを完了するものである。
【００５３】
図８は、本実施例に係る撮像装置における測距動作のフローチャートを示す図である。本動作は不図示の撮影開始スイッチ・電源スイッチ等により、動画等の連続する撮像動作が指示されることで開始される。なお、実際には図６で説明した撮像動作は繰り返し行なわれ、メモリ１１８には順次、撮影されたデータが送り出さている状況で本動作が開始されるが、途中での割り込みや並行処理等がある場合の動作に関しては、説明が煩雑になる為割愛する。また、本動作と並行して画像処理回路１２０は、画像生成のための全画素加算処理等を行なっているが、本発明の測距動作とは直接関係がない為、ここでの詳細な説明は割愛する。
【００５４】
ステップＳ８００では、システム制御部１５０が不図示のカウンタＦＣをリセットし、撮像動作の１フレーム目か否かを判断する。ステップＳ８０１では、測距演算部１１９がカウンタＦＣのカウント値を確認し、偶数だった場合はステップＳ８０２へ、奇数だった場合はステップＳ８０３へ移行する。
【００５５】
ステップＳ８０２では、測距演算部１１９が、メモリ１１８に記憶されている各画素データの中で、単位画素セル毎に、垂直方向に並んでいる画素（画素２０１および２０２、画素２０３および２０４）の出力を加算する。これにより、測距用のＡ像（画素２０１＋２０２）、Ｂ像（画素２０３＋２０４）としての演算データを取得する（図２（ｂ）を参照）。
【００５６】
ステップＳ８０３では、メモリ１１８に記憶されている各画素データの中で、単位画素毎に、水平方向に並んでいる画素（画素２０１および２０３、画素２０２および２０４）の出力を加算する。これにより、測距用のＡ像（画素２０１＋２０３）、Ｂ像（画素２０２＋２０４）としての演算データを取得する（図２（ｃ）を参照）。
【００５７】
ステップＳ８０４では、ステップＳ８０２またはステップＳ８０３で取得した演算データ（Ａ像・Ｂ像）を使用して、相関演算等による周知の測距演算を行う。測距演算の詳細例については、図９および図１０を用いて後述する。
【００５８】
ステップＳ８０５では、ステップＳ８０４で求めた測距の演算結果をシステム制御部１５０へ転送する。システム制御部１５０は、測距演算結果に基づいて、レンズ制御部１１１を介してレンズ１１０のフォーカス駆動等を行なってピント調節を行う。このように、測距演算結果はシステムのフィードバック作業にも用いられる。なお、フォーカス駆動等に関して、ステップＳ８０２の垂直方向加算（左右像分離）と、ステップＳ８０２の水平方向加算（上下像分離）のデータの組み合わせで目標フォーカス量を決定し、レンズ駆動を行うことが理想的である。
【００５９】
ステップＳ８０６では、システム制御部１５０は、１フレームの測距データ転送を終了した時点で、不図示の撮影開始スイッチ・電源スイッチ等により、撮影動作の終了が指示されたか否かを判定する。その結果、終了操作が行なわれていなければステップＳ８０７へ移行し、ステップＳ８００でカウントを開始した不図示のカウンタＦＣのカウントアップ（ＦＣ＝ＦＣ＋１）を行ない、ステップＳ８０１へ戻る。なお、ステップＳ８０６にて、終了操作が行なわれていれば、本測距動作シーケンスを終了する。
【００６０】
図９を用いて、ステップＳ８０２乃至ステップＳ８０４で説明した測距動作における撮像素子の使用例を説明する。同図では説明での便宜上、水平又は垂直の１ラインのみを図示するが、本実施例はそれに限ったものではなく、複数ライン（理想的には撮像素子全面）を用いた測距を行うシステムであることが望ましい。
【００６１】
図９（ａ−１）は、暗中に明部の２ラインが含まれたチャートを撮影する際に、ステップＳ８０２で縦方向に画素を加算して、水平方向での測距を行う場合を模式的に示す図である。水平方向での測距の場合、Ａ出力（左出力）とＢ出力（右出力）を単位セルの測距用出力とする。本測距パターンは、図で示すように、水平方向にコントラストが高い被写体であるので、高い精度の測距を行うことが出来る。
【００６２】
また、図９（ａ−２）は、暗中に明部の２ラインが含まれたチャートを撮影する際に、ステップＳ８０３で横方向に画素を加算して、垂直方向での測距を行う場合を模式的に示す図である。水平方向での測距の場合、Ａ出力（上出力）とＢ出力（下出力）を単位セルの測距用出力とする。本測距パターンは、図で示すように、垂直方向にコントラストが高い被写体であるので、高い精度の測距を行うことが出来る。
【００６３】
なお、図９（ａ−１）および図９（ａ−２）において、測距に使用している画素は、同色であることを前提として、１画素置きに示している。
【００６４】
図９（ｂ）は、図９（ａ−１）または図９（ａ−２）の形式で出力されるＡ出力およびＢ出力を複数セルから取得し、Ａ像（左像ｏｒ上像）およびＢ像（右像ｏｒ下像）を生成して相関演算を行い、ズ量（デフォーカス量）を求める例を示す。Ａ像とＢ像の比較（相関演算）を行うことにより、焦点のズレ量（デフォーカス量）を算出する。基本的には、相関値が高いほど焦点が合っており、相関値が低いほど焦点がズレていることになる。
【００６５】
図９（ｂ−１）は、ピントがずれている状態のＡ像とＢ像を示し、Ａ像（画素２０１＋２０２）とＢ像（画素２０３＋２０４）が一致していない。そのため、相関一致度（Ａ像・Ｂ像差分に相当）を示す図９（ｂ−２）は一定にならず、ずれた部分の出力が高くなっている。
【００６６】
一方、図９（ｂ−３）は、ピントがほぼ合っている状態のＡ像とＢ像を示し、両者はほぼ一致している。そのため、相関一致度（Ａ像・Ｂ像差分に相当）を示す図５（ｂ−４）はほとんど一定となっている。
【００６７】
図１０は、相関演算による相関値ｄの算出方法の一例を示す図である。同図は、図９（ａ）と同様に、暗中に明部の２ラインが含まれたチャートを観測した場合の出力を表している。
【００６８】
図１０（ａ）は、観測時のＡ像とＢ像がずれている状態である。すなわち、焦点ズレ量＝デフォーカス量が大きい状態となっている。この観測時の２像の出力値を相関演算することで、相関値ｄ（デフォーカス量に対応）が求められる。
【００６９】
具体的には、Ａ像信号の出力データをＡ［１］〜Ａ［ｎ］、Ｂ像信号の出力データをＢ［１］〜Ｂ［ｎ］とし、相関量Ｘ０は
【数１】
2014157338.tif 000003
で求められる。ここでｍｉｎ（Ａ，Ｂ）はＡ、Ｂの小さい方の値のことであり、ｎはＡ像およびＢ像の画素数（生成に使用された複数の単位画素セルの数）である。まず、このＸ０を計算する。
【００７０】
次に図１０（ｂ）に示すように、Ａ像信号を信号電圧の１ビット（１画素）シフトしたデータとＢ像信号のデータの相関量Ｘ１を計算する。
このＸ１は
【数２】
2014157338.tif 000004
で求められる。このような手順でＡ像を１ビット（１画素）ずつシフトした相関量を繰り返し計算し、相関量が最も大きくなるＸｍａｘを求める。（図１０（ｃ））
【００７１】
相関量Ｘｍａｘが、図１０（ｃ）のように、Ａ像とＢ像の二像一致度が高い（合焦に最も近い位置）状態に対応する為、相関量Ｘｍａｘまでのシフト量を相関値ｄ（デフォーカス量に対応）として記憶し、測距動作に使用する。
【００７２】
以上が相関演算の一例（ＭＩＮアルゴリズム）である。なお、ここで説明した相関演算は一例であり、他の手法による相関演算を行なっても何ら問題ない。
【００７３】
以上、説明したとおり、本実施例では、垂直方向の画素加算に基づく測距動作（水平像分離測距）と、水平方向の画素加算に基づく測距動作（垂直像分離測距）を、撮影フレームに応じて（具体的には、交互に）行なっている。これにより、従来の測距動作が不得手とする被写体が存在している場合でも、より確度の高い測距を行うことができる。
【００７４】
なお、本実施例では、フレーム毎に垂直加算と水平加算とを切り換えているが、これに限るものではなく、例えば、６０フレームに１回だけ水平加算を行う等の少なくとも２以上の複数フレーム周期で適宜切り換える構成にしても何ら問題ない。
【００７５】
［変形例］
【００７６】
（変形例１）
前記本発明の第１の実施例においては、単位画素セル２００内の各画素２０１乃至２３０４の出力を全て個別に取得して測距演算処理する構成を説明したが、各フレームの処理・回路構成等を考慮すると、撮像素子内での加算を行うことが有効となる。そこで、第１の実施例の第１の変形例として、撮像素子内で画素出力の加算を行なった画素出力を取得して測距動作を行う例を説明する。なお、撮像装置の基本構成は第１の実施例(図１)と同様であるので、ここでの説明は省略する。
【００７７】
図１１は、本第１の変形例に係る撮像装置で使用される撮像素子の単位画素セルの回路構成を示す。なお、図２および図３と同様の部分は同じ符号を付して示す。
【００７８】
同図を参照して、各画素２０１および２０２の構造について説明する。なお、画素２０３と２０４とは画素２０１と２０２と同様の構造である為、ここでの説明は省略する。３０１、３０２は画素２０１、２０２に対応した光電変換部である。３３１、１１３２はフォトダイオード３０１、１１０２の電荷を転送する転送トランジスタ、３３３は電荷を転送のための所定部位であるところのフローティングディフュージョン（ＦＤ）であり、２つの画素２０１、２０２で共通に使用する部位となっている。３３５は、ＦＤ３３３の電荷量に応じた信号出力を行う増幅部である増幅トランジスタ、３３７はＦＤ３３３の電荷を画素部から後段の回路部に出力するための選択トランジスタ、３３９はＦＤ３３３の電荷をリセットするためのリセットトランジスタである。増幅トランジスタ３３５、選択トランジスタ３３７、リセットトランジスタ３３９も２つの画素の共通部位となっている。
【００７９】
３０１−１（画素２０３、２０４の場合は３０１−２）は、ＦＤ３３３に貯められた電荷を、選択トランジスタ３３７がオンされた際に、増幅トランジスタ３３５を介して後段の回路へ出力する為の垂直出力線である。垂直方向に配置された一列の画素が（画素２０１と２０２、画素２０３と２０４）共通の出力線（３０１−１、３０１−２）に接続されている。
【００８０】
図１２は、図１１に示した単位画素セルを複数配置した撮像素子の概略構成図であり、図１１で説明した単位画素セル２００が、２次元に複数配置されている。本構成は基本的に第１の実施例で説明済みである図４と同じである為、図４と同様の部分は同じ符号を付して示し、その説明は省略する。ここでは、第１の実施例と異なる部分のみを説明する。
【００８１】
図１２の１２１１および１２１２は、読み出し回路4０２内の保持容量５０７と５０８（図５参照）を、単位画素セル内の水平方向同士で接続する為の接続スイッチである。この接続スイッチをＯＮさせることによって、水平方向に隣接する画素２０１と２０３の光信号・暗時信号を加算することが出来る。
【００８２】
図１３と図１４は、本第１の変形例に係る撮像装置が有する撮像素子の駆動動作のタイミングチャートを示す。基本的には図６で説明したタイミングチャートと同じである為、異なる部分について説明する。
【００８３】
図１３は、単位画素セル内の垂直方向の画素を加算して読み出すときの駆動動作のタイミングチャートである。増幅トランジスタ３３５のリセット（φＲＥＳｘをハイレベル）、各列のクランプ容量５０１にクランプ（φＲＥＳをローレベル、ＰＣ０Ｒがハイ、φＳＥＬがハイ）、暗時信号の保持容量転送（ＰＣ０Ｒをロー、ＰＴＮをハイ）までの動作は、図６と同じである。
【００８４】
次の光信号転送の際、画素信号側転送スイッチのゲート線ＰＴＳをハイレベルにした後、転送トランジスタ３３１、１１３２のゲート線φＴＸｘ−１、φＴＸｘ−２（１行目ではＴＸ１−１、φＴＸ１−２）を同時にハイレベルとする。その結果、フォトダイオード３０１と１１０２の光信号電荷が、同時にＦＤ３３３へ供給されることとなり、このＦＤ３３３上で加算動作が行なわれる。
【００８５】
以後の動作は、図６で説明した動きと同じである。但し、垂直方向での単位画素セル内の加算が終了している為、図６が各行を同一動作で読み出すのに対して、図１３の動作では、垂直方向に一行おきに間引きながら読み出していく。これにより、全画素読み出しを行なっている第１の実施例に比べ、１フレームの読み出し時間を短くすることが可能となる。
【００８６】
図１４は、単位画素セル内の水平方向の画素を加算して読み出すときの駆動動作のタイミングチャートである。増幅トランジスタ３３５のリセット（φＲＥＳをハイレベル）、各列のクランプ容量５０１にクランプ（φＲＥＳをロー、ＰＣ０Ｒがハイレベル、φＳＥＬがハイレベル）までの動作は、図６と同じである。
【００８７】
続いて、暗時信号の保持容量転送（ＰＣ０Ｒをロー、ＰＴＮをハイ）する際にＰＳＨＯＲＴをハイレベルに制御し、単位画素セル内の水平方向に隣接する読み出し回路の保持容量を接続する。これにより、水平方向に隣接する画素の加算された暗時信号成分が、保持容量５０８上に保持される。
【００８８】
さらに、画素信号側転送スイッチのゲート線ＰＴＳをハイ、転送トランジスタ３３１のゲート線φＴＸ１−１をハイにする。これにより、フォトダイオード３０１および３０３（また１１０２および１１０４）の光信号電荷が、加算された信号成分として、保持容量５０７上に保持される。
【００８９】
この後、ＰＳＨＯＲＴをローに戻すことで、保持容量５０７、５０８に加算平均された信号が残ることになる。その為、水平方向での単位画素セル内の加算が保持容量で行なわれている為、水平方向の加算読み出しにおいても、１列間引きで読み出してよい。すなわち、信号ＣＳＬによって、１列おきに駆動することで、順次読み出しを行う。これにより、全画素読み出しを行なっている第１の実施例に比べ、１フレームの読み出し時間を短くすることが可能になる。
【００９０】
ところで、動画等の連続撮影動作を前提として考えた場合、安定したフレームレートでの制御が必要であるが、全画面を読み出す時間が、必ずしも適正のフレームレートに一致するものではない。そこで、フレームレートに対して、１フレームの読み出し時間を短くし、残りの時間を調整時間として使用して適正のフレームレートを得ることが一般的である。
【００９１】
図１５乃至図１７を用いて、フレームレートを調整する時間を用いて各種制御を行う例を示す。
【００９２】
図１５は、図１３および図１４での駆動動作の流れを模式的に示した図であり、画面上部から下部に向かって、各々の行が蓄積−読み出しを行なった場合の経過時間を視覚的に示している。
【００９３】
動画等の連続撮影動作を前提として考えた場合、安定したフレームレートで制御する必要がある。そこで本変形例では、図に示すように、１フレームの時間をＴ０（例えば、６０ｆｐｓ）として、１フレームの実読み出し時間＋調整時間を用いて、安定したフレームレートを実現する制御を行う。
【００９４】
同図（ａ）は、図１３で示した垂直加算読み出し時の駆動動作の例で、単位画素セル１行（１Ｈ）の読み出しは、最初に、１ライン上のｈ１’にて、画素２０１および画素２０３は、各々、画素２０２および画素２０４と加算された出力として読み出される。このｈ１’は、図７におけるｈ１と同じである。続いて、画素２０２および画素２０４の読み出しは、すでにｈ１’で、加算という状態で行なわれている為、図７におけるｈ２の読み出し相当の動作は不要となる。そこで、画素２０２および画素２０４の読み出し動作を間引きする為の制御を行う（間引き制御をｈ２’と定義する）。
【００９５】
図１５（ｂ）は、図１４で示した水平加算読み出しの駆動動作の例で、単位画素セル１行（１Ｈ）の読み出しは、最初に、１ライン上のｈ１”にて、画素２０１は画素２０３と加算された出力として読み出される。その為、図１４で示すように制御信号ＣＳＬｘ−２を出力しないことで、読み出し時間を短縮することができる。このｈ１”は、図７におけるｈ１の１／２となる。
【００９６】
続いて、１ライン上のｈ２”にて、画素２０２は画素２０４と加算された出力として読み出される。ここでもｈ１”と同様に、制御信号ＣＳＬｘ−２を出力しないことで、読み出し時間を短縮することができる。このｈ２”は、図７におけるｈ２の１／２となる。
【００９７】
以上のように、垂直加算と水平加算の読み出し方式の差で、１フレーム期間Ｔ０に対しての調整時間に違いが発生する場合があり、本例では垂直加算時の調整時間Ｔ１と、水平加算時の調整時間Ｔ２の関係は  Ｔ１＜Ｔ２  となる。なお、この関係は、一例に過ぎず、撮像システム・方式によってはＴ１＞Ｔ２、Ｔ１＝Ｔ２の場合もあり得ることを明記しておく。例えば、垂直加算時に間引き制御を行うのに時間を要さない構成である場合等は、Ｔ１＝Ｔ２となる。
ここで、Ｔ１＜Ｔ２の時間差を有効に利用し、異なる制御を行なわせる例を図１６および図１７を使用して説明する。
【００９８】
図１６は、本第１の変形例における撮像装置の撮像・測距動作のフローチャートを、また図１７は本第１の変形例における撮像素子の駆動動作を模式的に示す図である。なお、図１７については、図１５（ａ）の垂直加算読み出しと、図１５（ｂ）の水平加算読み出しとを交互に行う場合の模式図である。従って、個々の詳細な動きは図１５と同じであるため、図１６のフローチャートによる撮像・測距動作を以下で説明する。
【００９９】
撮像・測距動作の基本動作は、不図示の撮影開始スイッチ・電源スイッチ等により、動画等の連続撮像動作が指示されることで開始される。
【０１００】
ステップＳ１６００では、システム制御部１５０が不図示のカウンタＦＣをリセットし、撮像動作の１フレーム目か否かを判断する。ステップＳ１６０１では、測距演算部１１９は、カウンタＦＣのカウント値を確認し、偶数だった場合はステップＳ２０２へ、奇数だった場合はステップＳ１６０３へ移行する。
【０１０１】
ステップＳ１６０２では、撮像素子の駆動を制御し、図１３にて示したように、単位画素セル毎に垂直方向に並んでいる画素（画素２０１および２０２、画素２０３および２０４）を加算して読み出す。加算して読み出した画素信号は、測距用のＡ像（画素２０１＋２０２）、Ｂ像（画素２０３＋２０４）として出力する。（図１７の垂直加算領域の動作。図２（ｂ）を参照。）
【０１０２】
ステップＳ１６０３では、ステップＳ１６０２で出力された出力データ（Ａ像・Ｂ像）を使用して、相関演算等による周知の測距演算を行う。測距演算については、第１の実施例にて、図９および図１０を使用して一例を説明済みである為、ここでの詳細説明は割愛する。
【０１０３】
ステップＳ１６０４では、測距演算部１１９が、ステップＳ１６０３で求めた測距演算結果をシステム制御回路１５０へ転送する。ステップＳ１６０３およびステップＳ１６０４は、図１７の調整時間Ｔ１およびＴ２のうち短いほうの調整時間Ｔ１の期間内にて行う。
【０１０４】
ステップＳ１６０５は、撮像素子の駆動を図１４にて示したように、単位画素毎に水平方向に並んでいる画素（画素２０１および２０３、画素２０２および２０４）の出力を加算して出力する。（図１７の水平加算領域の動作。図２（ｃ）を参照。）
【０１０５】
ステップＳ１６０６は、該ステップＳ１６０５で出力された出力データ（Ａ像・Ｂ像）を使用し、該ステップ１６０４と同様に、相関演算等による周知の測距演算を行う。
【０１０６】
ステップＳ１６０７は、ステップＳ１６０６で求めた測距演算結果をシステム制御回路１５０へ転送する。ステップＳ１６０８では、ステップＳ１６０６およびステップＳ１６０７でシステム制御回路１５０に転送した測距演算結果に基づいて、レンズ制御部１１１を介してレンズ１１０のフォーカス駆動を行うピント調整等を行う。
【０１０７】
ステップＳ１６０６乃至ステップＳ１６０８は、図１７の調整時間：Ｔ２の期間内にて行う。
【０１０８】
ステップＳ１６０９では、１フレームの駆動が終了した時点で、システム制御部１５０が不図示の撮影開始スイッチ・電源スイッチ等により、撮影動作の終了が指示されたか否かを判定する。その結果、終了操作が行なわれていなければステップＳ１６１０へ移行し、ステップＳ１６００でカウントを開始した不図示のカウンタＦＣのカウントアップ（ＦＣ＝ＦＣ＋１）を行ない、ステップＳ１６０１へ戻る。なお、ステップＳ１６０９にて、終了操作が行なわれていれば、本測距動作を終了する。
【０１０９】
以上説明したように、本発明の第１の実施例の第１の変形例においては、撮像素子内での加算された画素出力を使用すること行うにより、読み出し速度を上げることができ、測距動作を迅速に行うことが可能となる。また、水平加算読み出し時・垂直加算読み出し時の各々に適した調整時間を設定することで、撮像素子の読み出し駆動を切り換える際にも、安定したフレームレートを得ることができる。さらに、水平加算読み出し時・垂直加算読み出し時の調整時間の差を利用して、演算内容・駆動内容を変更することで、効率よい駆動をすることが可能になる。
【０１１０】
なお、本第１の変形例においては、加算動作の違いによる調整時間が異なることを前提にしているが、本発明はそれに限ったものではなく、例えば、調整時間が安定している場合にも、偶数フレームと奇数フレームで異なる制御を行っても構わない。もちろん、調整時間中の制御を毎回同一の動作として制御しても何ら問題ない。
【０１１１】
（第１の実施例の変形例２）
上記第１の変形例においては、撮像素子内での加算方法の一例を示したが、垂直方向・水平方向の加算構成が異なる為に、各々の駆動を大幅に切り替えなければならず、フレームレートの調整等の制御が煩雑になる。この為、第１の実施例の第２の変形例として、加算方向によってフレームレートの調整時間に差が生じない加算読み出し構成の一例を示す。なお、撮像装置の基本構成は第１の実施例(図１)と同様であるので、ここでの説明は省略する。
【０１１２】
図１８は、本第２の変形例における撮像素子の単位画素セルの回路構成を示している。なお、図３と同様の部分は同じ符号を付して示す。
【０１１３】
図１８において、３０１、１８０２、１８０３、１８０４は光電変換部であり、同様の特性の複数個のフォトダイオードが（本実施例では４個）２次元に配列されている。３３１、１８３２はフォトダイオード３０１、１８０２、１８０３、１８０４の電荷を転送する転送トランジスタ、３３３、１８３４は電荷転送のための所定部位であるところのフローティングディフュージョン（ＦＤ）である。また、３３５、３３６はＦＤ３３３、１８３４の電荷量に応じた信号出力を行う増幅部であるところの増幅トランジスタ、３３７、１８３８はＦＤ３３３、１８３４の電荷を画素部から後段の回路部に出力するための選択トランジスタである。また、３３９、１８４０は、ＦＤ３３３、１８３４の電荷をリセットするためのリセットトランジスタである。
【０１１４】
３０１−１は、ＦＤ３３３に貯められた電荷を、選択トランジスタ３３７がオンされた際に、増幅トランジスタ３３５を介して後段の回路へ出力する為の第１の垂直出力線である。また、３０１−２は、ＦＤ１８３４に貯められた電荷を、選択トランジスタ１８３８がオンされた際に、増幅トランジスタ１８３６を介して後段の回路へ出力する為の第２の垂直出力線である。
【０１１５】
１８１１、１８１２、１８２１および１８２２は、フォトダイオード間の接続を行うための接続トランジスタであり、接続トランジスタ１８１１がオンしている場合はフォトダイオード３０１、１８０２が接続される。他方、接続トランジスタ１８１２がオンしている場合はフォトダイオード８０３、１８０４が接続される。また、接続トランジスタ１８２１がオンしている場合はフォトダイオード３０１、１８０３が接続され、接続トランジスタ１８２２がオンしている場合はフォトダイオード１８０２、１８０４が接続される。
【０１１６】
接続トランジスタ１８１１、１８１２は、制御信号φＡＤＤＶにより共通のタイミングで制御される。また、接続トランジスタ１８２１、１８２２は、制御信号φＡＤＤＨにより共通のタイミングで制御される。すなわち、制御信号φＡＤＤＶがオン、制御信号φＡＤＤＨがオフの状態では、レイアウト上、垂直方向に並んだフォトダイオード同士（フォトダイオード３０１、１８０２と、フォトダイオード１８０３、１８０４）が接続される。このため、垂直方向の２つのフォトダイオードの出力が合成され、水平方向に分離された光信号出力を得ることができる。また、制御信号φＡＤＤＨがオン、制御信号φＡＤＤＶがオフの状態では、レイアウト上、水平方向に並んだフォトダイオード同士（フォトダイオード３０１、１８０３と、フォトダイオード１８０２、１８０４）が接続される。そのため、水平２つのフォトダイオードの出力が合成され、垂直方向に分離された光信号出力を得ることができる。
【０１１７】
図１９は、図１８に示した単位画素セルを複数配置した撮像素子の概略構成ブロック図であり、図１８で説明した単位画素セル２００が２次元に複数配置されている。基本的には図３で説明した本発明の第１の実施例の構成とほぼ同じである。しかし本変形例では、水平画素の加算読み出しの制御を行う為の制御信号φＡＤＤＨ、および、垂直画素の加算読み出しの制御を行う為の制御信号φＡＤＤＶが各単位画素セルに対して結線されている。
【０１１８】
図２０は、本第２の変形例における撮像素子の垂直方向での画素の加算読み出し動作のタイミングチャートを示す図である。
【０１１９】
増幅トランジスタ３３５、１８３６をリセット（φＲＥＳをハイレベル）し、続いて、φＡＤＤＶ（１行目ではφＡＤＤＶ１）をハイにする。制御により、フォトダイオード３０１および１８０２、もしくはフォトダイオード１８０３および１８０４が、接続トランジスタ１８１１もしくは１８１２を介して接続される。以後、各列のクランプ容量５０１によるクランプ（φＲＥＳをロー、ＰＣ０Ｒがハイレベル、φＳＥＬがハイレベル）、暗時信号の保持容量転送（ＰＣ０Ｒをロー、ＰＴＮをハイ）の動作は図６と同様である。また、光信号の保持容量転送（ＰＴＮをロー、ＰＴＳをハイ、φＴＸをハイ）、読み出しの動作も図６と同じである。
【０１２０】
図２１は、本第２の変形例における撮像素子の水平方向での画素の加算読み出し動作例のタイミングチャートである。本動作は図２０で説明した垂直方向に画素を加算して読み出す場合の動作のφＡＤＤＶがφＡＤＤＨ（１行目ではφＡＤＤＨ１）に変わっただけの動きとなる為、詳細の説明は割愛する。
【０１２１】
図１９乃至図２１のような構成を取ることにより、撮像素子内での画素加算を、加算方向によらず、同じ制御時間で行なえる為、制御が煩雑になることを防ぐことが可能となる。もちろん、フレームレートは安定して制御する必要がある為、１フレームの時間と、フレームレートの差によって生じる調整時間を使用して、測距演算処理やレンズ駆動（フォーカス駆動）を行うことも本発明の意とするところである。
【０１２２】
なお、本発明の説明では、一般的なローリングシャッター駆動を用いていることを前提としている為、垂直方向の時系列的なズレが生じる場合がある（例えば、図７参照）。しかし、これに関しては、単位画素セル内における垂直方向の加算をすることで緩和されることを前提とし、実使用上の問題は発生しないものとする。
【０１２３】
もちろん、理想的には、垂直方向の画像処理により時系列的なズレを補正することや、撮像素子に蓄積電荷を一時保存できるメモリを備えた構成のものを使用し、一括に転送して順次読み出しを行う方式を採用する等、時系列のズレを補正・抑止することが望ましい。
【０１２４】
上述した本発明の実施例およびその変形例によれば、被写体の特徴が水平おとよ垂直のいずれの方向のものであっても、測距動作を精度よく行うことが可能となり、動画などの連続撮影における焦点調節を適切に行うことが可能になる。
【０１２５】
［他の実施の形態］
前述した本発明の実施形態における撮像装置を構成する各手段、並びに測距動作の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０１２６】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１２７】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図８及び図１６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１２８】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１２９】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０１３０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【０１３１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１３２】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１３３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１３４】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１３５】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2014157338.tif 000005
【図２】
2014157338.tif 000006
【図３】
2014157338.tif 000007
【図４】
2014157338.tif 000008
【図５】
2014157338.tif 000009
【図６】
2014157338.tif 000010
【図７】
2014157338.tif 000011
【図８】
2014157338.tif 000012
【図９】
2014157338.tif 000013
【図１０】
2014157338.tif 000014
【図１１】
2014157338.tif 000015
【図１２】
2014157338.tif 000016
【図１３】
2014157338.tif 000017
【図１４】
2014157338.tif 000018
【図１５】
2014157338.tif 000019
【図１６】
2014157338.tif 000020
【図１７】
2014157338.tif 000021
【図１８】
2014157338.tif 000022
【図１９】
2014157338.tif 000023
【図２０】
2014157338.tif 000024
【図２１】
2014157338.tif 000025
【図２２】
2014157338.tif 000026
【図２３】
2014157338.tif 000027