(57)【要約】【課題】画像生成時の画質劣化を抑えつつ、位相差検出の精度を向上することができる撮像装置を提供する。【解決手段】撮像光学系の互いに異なる瞳領域を通過する光を光電変換する第１の光電変換部と第２の光電変換部とが設けられた複数の単位画素を有する撮像素子１０２を有する撮像装置を設ける。撮像装置が、所定の単位画素について、第１の光電変換部から位相差検出用の第１の露光条件で画素信号を読み出し、第２の光電変換部から画像生成用の第２の露光条件で画素信号を読み出す制御を行う。【選択図】図１
2020191528.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の互いに異なる瞳領域を通過する光を光電変換する第１の光電変換部と第２の光電変換部とが設けられた複数の単位画素を有する撮像素子と、
所定の単位画素について、前記第１の光電変換部から位相差検出用の第１の露光条件で画素信号を読み出し、前記第２の光電変換部から画像生成用の第２の露光条件で画素信号を読み出す制御を行う制御手段を有する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記所定の単位画素とは異なる単位画素について、前記第２の光電変換部から前記第１の露光条件で画素信号を読み出し、前記第１の光電変換部から前記第２の露光条件で画素信号を読み出す
ことを特徴とする撮像装置。
【請求項３】
前記所定の単位画素が有する前記第１の光電変換部から前記第１の露光条件で読み出された画素信号と、前記所定の単位画素とは異なる単位画素が有する前記第２の光電変換部から前記第１の露光条件で読み出された画素信号とに基づいて、位相差検出処理を行う位相差検出手段を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記位相差検出手段は、さらに、前記所定の単位画素が有する前記第１の光電変換部から前記第１の露光条件で読み出された画素信号と、前記単位画素が有する前記第２の光電変換部から前記第２の露光条件で読み出された画素信号に対するゲイン調整によって得られる画素信号とに基づいて、位相差検出処理を行う
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記所定の単位画素が有する前記第１の光電変換部から前記第１の露光条件で読み出された画素信号に対するゲイン調整によって得られる画素信号と、前記単位画素が有する前記第２の光電変換部から前記第２の露光条件で読み出された画素信号とに基づいて、画像を生成する生成手段を有する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記生成手段は、前記所定の単位画素が有する前記第２の光電変換部から前記第２の露光条件で読み出された画素信号と、前記所定の単位画素とは異なる単位画素が有する前記第１の光電変換部から前記第２の露光条件で読み出された画素信号とに基づいて、画像を生成する
ことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項７】
それぞれの前記単位画素において、１つのマイクロレンズが、前記第１の光電変換部と前記第２の光電変換部とに対応して設けられている
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
撮像光学系の互いに異なる瞳領域を通過する光を光電変換する第１の光電変換部と第２の光電変換部とが設けられた複数の単位画素を有する撮像素子を有する撮像装置の制御方法であって、
所定の単位画素について、前記第１の光電変換部から位相差検出用の第１の露光条件で画素信号を読み出し、前記第２の光電変換部から画像生成用の第２の露光条件で画素信号を読み出す制御を行う制御工程を有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
異なる瞳領域を通過する光を光電変換して得られる２像の位相差を検出して焦点調節する位相差検出方式を適用する撮像装置が提案されている。特許文献１は、異なる瞳領域を通過する光を光電変換する画素が離散的に配置された撮像素子を有する撮像装置を開示している。この撮像装置は、上記離散的に配置された画素（位相差検出用画素）から得られる２像に基づいて、位相差検出処理を実行する。また、特許文献２は、１つのマイクロレンズに対して複数の光電変換素子が設けられた光電変換ユニットを有する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１９９５８号公報
【特許文献２】特開２０１３−１０６１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する撮像装置では、位相差検出用画素からの出力信号は、記録または表示用の画像の生成に用いる信号（撮像信号）としては使用できない。したがって、位相差検出用画素は、撮像信号を取得する目的では欠陥画素として扱われ、周辺画素から補間処理を行う必要がある。その結果、位相差検出用画素の配置割合を大きくすることは困難であるので、位相差検出のための分解能が低くなる。
【０００５】
また、特許文献２が開示する撮像装置では、光電変換素子を有する全ての画素を位相差検出用画素として利用できる。しかし、この撮像装置では、位相差検出用画素と画像生成用の信号の取得に用いる画素とが共通であるので、位相差検出に適した蓄積時間と画像生成に適した蓄積時間が異なる場合、位相差検出にも画像生成にも最適な露光条件での信号蓄積ができない。仮に画像生成に最適な電荷蓄積を行った場合には、位相差検出の精度が低下する。本発明は、画像生成時の画質劣化を抑えつつ、位相差検出の精度を向上することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の撮像装置は、撮像光学系の互いに異なる瞳領域を通過する光を光電変換する第１の光電変換部と第２の光電変換部とが設けられた複数の単位画素を有する撮像素子と、所定の単位画素について、前記第１の光電変換部から位相差検出用の第１の露光条件で画素信号を読み出し、前記第２の光電変換部から画像生成用の第２の露光条件で画素信号を読み出す制御を行う制御手段を有する。
ことを特徴とする撮像装置。
【発明の効果】
【０００７】
本発明の撮像装置によれば、画像生成時の画質劣化を抑えつつ、位相差検出の精度を向上することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成例を示す図である。
【図２】映像信号処理部と位相差信号処理部の構成例を説明する図である。
【図３】撮像素子が有する単位画素の構成例を示す図である。
【図４】撮像素子が有する単位画素の構成例を示す図である。
【図５】撮像素子の単位画素からの信号出力を説明する図である。
【図６】撮像素子からの画素信号の読み出し動作の一例を説明する図である。
【図７】撮像素子が有する画素配列の一例を示す図である。
【図８】位相差検出用画素を含む単位画素の回路構成の一例を示す図である。
【図９】画素に関する蓄積および読み出し動作の一例を説明する図である。
【図１０】撮影動作の一例を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、光学鏡筒１０１、撮像素子１０２、映像信号処理部１０４、圧縮伸張部１０５、位相差信号処理部１０６、制御部１０７、発光部１０８、操作部１０９、画像表示部１１０、画像記録部１１１を備える。光学鏡筒１０１は、フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３、シャッタ機構部１０１４を備える。フォーカス機構部１０１１は、被写体光を撮像素子１０２に集光するレンズと、焦点調節を行うためのレンズ（フォーカスレンズ）と、制御部１０７の制御にしたがって焦点調節を行うフォーカス制御回路とを有する。ズーム機構部１０１２は、光学結像の倍率を可変させるためのレンズ（ズームレンズ）と、制御部１０７の制御にしたがって光学結像の倍率を可変させるズーム制御回路とを有する。絞り機構部１０１３、シャッタ機構部１０１４は、制御部１０７の制御にしたがって、撮像素子１０２に入射される光量を調整する。
【００１０】
撮像素子１０２は、被写体光を光電変換する。本実施形態では、異なる瞳領域を通過した光を光電変換する複数の光電変換部（ＰＤ）を有する単位画素と、アナログ・デジタル（ＡＤ）コンバータとを有するＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが撮像素子１０２として用いられる。制御部１０７からの制御信号に応じて、撮像素子１０２における露光や信号読み出しやリセットなどの撮像動作が実行され、信号が出力される。位相差信号処理部１０６は、異なる瞳領域を通過した光が光電変換されて得られる一対の像信号の位相差を検出し、位相差検出信号を出力する。
【００１１】
制御部１０７は、撮像装置全体を制御する。制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコントローラである。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。制御部１０７は、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。例えば、制御部１０７は、位相差検出信号に基づいて撮像光学系の焦点状態を示すデフォーカス量を算出する。制御部１０７は、デフォーカス量から合焦状態を得るために必要なフォーカスレンズの駆動量を算出し、フォーカス機構部１０１１へと制御信号を送る。フォーカス機構部１０１１は、制御部１０７からの制御信号に従って、フォーカス機構部１０１１を駆動させ、所望の位置にまでフォーカスレンズを移動させる。
【００１２】
映像信号処理部１０４は、撮像素子１０２から出力される画素信号に対して、ＡＥ処理やホワイトバランス調整処理、色補正処理などの信号処理を施して、画像信号を出力する。発光部１０８は、映像信号処理部１０４でのＡＥ処理によって被写体の露光値が低いと判断された場合に、被写体に対して光を照射する装置である。発光部１０８は、例えば、キセノン管を用いたストロボ装置やＬＥＤ発光装置などである。
【００１３】
操作部１０９は、ユーザによる入力操作に応じた制御信号を制御部１０７に出力する。操作部１０９は、例えば、シャッタレリーズボタンなどの各種操作キー、レバー、ダイヤルなどを有する。画像表示部１１０は、ＬＣＤなどの表示デバイス、表示デバイスに対するインタフェース回路などを有する。ＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略称である。画像表示部１１０は、制御部１０７から供給された画像信号に基づいて、表示デバイスに表示させるための画像を生成し、生成した画像を表示デバイスに表示させる。
【００１４】
画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ、磁気テープなどである。ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。画像記録部１１１は、圧縮伸張部１０５により符号化された画像データファイルを制御部１０７から受け取って記憶する。また、画像記録部１１１は、制御部１０７からの制御信号にしたがって、指定されたデータを読み出し、制御部１０７に出力する。
【００１５】
圧縮伸張部１０５は、制御部１０７の制御の下で動作し、映像信号処理部１０４からの画像信号に対して、ＪＰＥＧ方式などの静止画像データフォーマットで圧縮符号化処理を行う。ＪＰＥＧは、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐの略称である。また、圧縮伸張部１０５は、制御部１０７から供給された静止画像の符号化データを伸張復号化処理する。圧縮伸張部１０５が、ＭＰＥＧ方式などにより、動画像の圧縮符号化／伸張復号化処理を実行してもよい。ＭＰＥＧは、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐの略称である。
【００１６】
図２は、映像信号処理部１０４と位相差信号処理部１０６の構成例を説明する図である。
図２（Ａ）は、映像信号処理部１０４の構成例を示す。映像信号処理部１０４は、ＡＥ処理部１０４１、ホワイトバランス調整処理部１０４３、色補正処理部１０４４を有する。ＡＥは、Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅの略称である。ＡＥ処理部１０４１は、撮像素子１０２からの画素信号に対して、ＡＥ処理を実行する。ホワイトバランス調整処理部は、撮像素子１０２からの画素信号に対して、ホワイトバランス調整処理を実行する。色補正処理部１０４４は、撮像素子１０２からの画素信号に対して、色補正処理を実行する。
【００１７】
図２（Ｂ）は、位相差信号処理部の構成例を示す。位相差信号処理部１０６は、露出差補正処理部、位相差検出処理部１０６２を有する。露出差補正処理部１０６１は、撮像素子１０２から得た、異なる瞳領域に対応する画素信号（位相差信号）同士の露出差を補正する。位相差検出処理部１０６２は、露出差が補正された位相差信号の位相差を検出し、位相差検出信号を出力する。
【００１８】
図３および図４は、撮像素子が有する単位画素の構成例を示す図である。
図３は、撮像素子１０２の単位画素の等価回路図である。図４は、単位画素の平面図である。
【００１９】
図３及び図４に示すように、各単位画素は、第１の光電変換部であるフォトダイオード（ＰＤ）２０１と、第２の光電変換部であるフォトダイオード（ＰＤ）２０２とを有する。ＰＤ２０１及びＰＤ２０２は、単位画素上部に配置された１つのマイクロレンズ３１０に対応する領域内部に２つに分割されて配置されている。すなわち、撮像素子が有する画素部に配置された複数の単位画素のそれぞれにおいて、１つのマイクロレンズ３１０が、ＰＤ２０１とＰＤ２０２とに対応して設けられている。便宜的にＰＤ２０１を含む画素３０１ＬをＡ画素、ＰＤ２１２を含む画素３０１ＲをＢ画素と呼ぶ。各単位画素を構成するＡ画素とＢ画素は、異なる瞳領域を通過した被写体像を光電変換する。Ａ画素が出力する信号とＢ画素が出力する信号とに基づいて位相差検出、焦点検出動作が可能となる。
【００２０】
画素３０１Ｌと画素３０１Ｒは同じ構成であるので、以下では画素３０１Ｌの構成についてのみ説明する。画素３０１Ｌには、ＰＤ２０１、転送トランジスタ２１３、増幅トランジスタ２１０、選択トランジスタ２１１、およびリセットトランジスタ２１２が設けられている。本実施形態では、各トランジスタは、ｎチャネルＭＯＳＦＥＴである。ＭＯＳＦＥＴは、ＭＯＳ  Ｆｉｅｌｄ−Ｅｆｆｅｃｔ  Ｔｒａｎｓｉｓｔｏｒの略称である。
【００２１】
また、転送トランジスタ２１３、選択トランジスタ２１１およびリセットトランジスタ２１２の各ゲートには、転送信号線２１４、行選択信号線２１５、リセット制御信号線２１６が接続されている。これらの信号線は、水平方向に延在しており、同一行に含まれる画素を同時に駆動する。これにより、ライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能となる。また、図３では画素３０１Ｌ、画素３０１Ｒで転送信号線２１４やリセット制御信号線２１６を共有しているが、後述するように画素３０１Ｌ、画素３０１Ｒとで別々に設ければ、画素３０１Ｌと画素３０１Ｒとで別々に露出時間を設定することが可能になる。さらに、選択トランジスタ２１１のソースには、垂直信号線２０７が接続され、垂直信号線２０７の一方の端部は、定電流源２１７を介して接地されている。
【００２２】
ＰＤ２０１は、光電変換により生成された電荷を蓄積する。ＰＤ２０１はＰ側が接地され、Ｎ側が転送トランジスタ２１３のソースに接続されている。転送トランジスタ２１３がＯＮになると、ＰＤ２０１の電荷が、フローティングディフュージョン（ＦＤ）２１８に転送され、ＦＤ２１８の寄生容量Ｃ２１に蓄積される。
【００２３】
増幅トランジスタ２１０のドレインは、電源電圧Ｖｄｄとされ、ゲートは、ＦＤ２１８に接続されている。そして、増幅トランジスタ２１０は、ＦＤ２１８の寄生容量Ｃ２１に蓄積された電荷量に応じた電圧を出力する。選択トランジスタ２１１のドレインは、増幅トランジスタ２１０のソースに接続され、ソースは、垂直信号線２０７に接続されている。そして、選択トランジスタ２１１、電圧信号を読み出す画素を行単位で選択する。選択トランジスタ２１１がＯＮになると、増幅トランジスタ２１０と定電流源２１７とがソースフォロアを構成するので、ＦＤ２１８の蓄積電荷量に対応する電圧が、垂直信号線２０７に出力される。リセットトランジスタ２１２のドレインは、電源電圧Ｖｄｄとされ、ソースはＦＤ２１８に接続されている。そして、リセットトランジスタ２１２は、ＦＤ２１８の電圧を電源電圧Ｖｄｄにリセットする。
【００２４】
図５は、撮像素子の単位画素からの信号出力を説明する図である。
図５では、水平方向に２つの単位画素が配置されている。なお、実際の撮像素子では、単位画素が数十万から数千万画素程度、水平垂直方向に配置されている。図５では各単位画素が有するマイクロレンズ３１０と、当該マイクロレンズ３１０に対応するＡ画素とＢ画素とを示している。各単位画素は、列毎に複数設けられた垂直信号線２０７に接続されている。
【００２５】
垂直信号線２０７は、各列に設けられた列アンプ４０１と電気的に接続されている。列アンプ４０１は、各垂直信号線２０７の出力に入力容量Ｃ０と帰還容量Ｃf により定まる所定のゲインを乗じて、後段のフォロワ４０４に出力する。フォロワ４０４は、列アンプ４０１の出力をアナログスイッチ４０５または４０６を介して、ノイズ成分保持容量ＣＴｋＮまたは信号成分保持容量ＣＴｋＳに出力する。なお、ｋは、図５に示す例では列を表し、k ＝１〜４である。アナログスイッチ４０５、４０６は、制御信号φＴＳ４０９またはφＴＮ４１０により制御される。
【００２６】
列毎に第ｎ行目の画素のノイズ成分と信号成分を保持した保持容量ＣＴｋＮ、ＣＴｋＳは、不図示の水平走査回路によってアナログスイッチをＯＮすることにより、出力アンプ４１１の入力に電気的に接続される。保持容量ＣＴ１Ｎ、ＣＴ１Ｓが出力アンプ４１１に電気的に接続されると、出力アンプ４１１は、保持容量ＣＴ１Ｎ、ＣＴ１Ｓに保持された１列目の画素のノイズ成分の電圧と信号成分の電圧の差分に対して所定ゲインを乗じて撮像素子１０２の外部へ出力する。水平走査回路によって、次の時刻に保持容量ＣＴ２Ｎ、ＣＴ２Ｓが出力アンプ４１１の入力に電気的に接続される。この動作が１行の列数分だけ繰り返され、１行分の水平走査動作が完了する。撮像素子１０２の特定行の選択動作を順次垂直方向に進めることで、撮像素子１０２が有する所定の画素の出力を得ることが可能となる。
【００２７】
図６は、撮像素子からの画素信号の読み出し動作の一例を説明する図である。
図６では、ｎ行目の画素信号の読み出しのタイミングを説明する。時刻ｔ１で水平同期信号ＨＤが入力されると、所定時間後の時刻ｔ２に第ｎ行目の画素群を選択するφＳＥＬ＿ｎがＨ（Ｈｉｇｈ）となり、第ｎ行目の画素の選択トランジスタ２１１がＯＮとなる。これにより、増幅トランジスタ２１０の出力信号が垂直信号線２０７に現れる。同時に第ｎ行目の画素のリセット信号φＲＥＳ＿ｎがＨとなり、第ｎ行目の画素のリセットトランジスタ２１２をオンする。その後、所定時間後の時刻ｔ３で、制御部１０７が、リセット信号φＲＥＳ＿ｎをＬ（Ｌｏｗ）とし、リセット動作を解除する。これにより、垂直信号線２０７にはリセット解除した状態での信号レベルが現れる。
【００２８】
時刻ｔ３で、制御信号φＴＮがＨとなり、リセット解除時の垂直信号線２０７の信号レベルが列アンプ４０１により増幅された信号が、ノイズ成分保持容量ＣＴｋＮに現れる。時刻ｔ４で、制御部１０７が、制御信号φＴＮをＬにすると、リセット解除後の信号レベルが、ノイズ成分保持容量ＣＴｋＮにホールドされる。
【００２９】
次に、時刻ｔ５で、制御部１０７が、第ｎ行目の画素の転送トランジスタ２１３をＯＮにするために、制御信号φＴＸ＿ｎをＨとする。この動作により、画素の信号電荷が、ＦＤ２１８へ転送される。
【００３０】
次に、時刻ｔ６で、制御部１０７が、制御信号φＴＸ＿ｎをＬにして、転送トランジスタ２１３をＯＦＦにし、更に、制御信号φＴＳをＨにする。これにより、信号電荷に応じた垂直信号線２０７の信号レベルが列アンプ４０１により増幅された信号が、信号成分保持容量ＣＴｋＳに現れる。そして、時刻ｔ７で、制御部１０７が、φＴＳをＬにすると、信号電荷に応じた信号レベルが、信号成分保持容量ＣＴｋＳにホールドされる。上記の動作により、第ｎ行目の各画素のリセット解除直後の出力が、各列のノイズ成分保持容量ＣＴｋＮに保持され、信号電荷に応じた出力が、各列の信号保持成分ＣＴｋＳに保持される。その後、水平転送回路によって、各列のノイズ成分保持容量ＣＴｋＮと、信号保持容量ＣＴｋＳとを順次出力アンプ４１１に接続し、この差分に所定ゲインを乗じて出力することで、第ｎ行目の画素信号の読み出しが完了する。
【００３１】
図７は、撮像素子が有する画素配列の一例を示す図である。
撮像装置は、位相差検出を行う際、画像生成用の露光条件と位相差検出に適した露光条件が異なるときは、画像生成用の露光条件で読み出される画素信号とは別に、センサ配列の一部のＡ像信号またはＢ像信号を位相差検出に適した露光条件で読み出す。撮像装置は、読み出したＡ像信号とＢ像信号とを用いて位相差検出を行う。すなわち、撮像装置は、所定の単位画素が有する第１の光電変換部から第１の露光条件で読み出された画素信号と、所定の単位画素とは異なる単位画素が有する第２の光電変換部から第１の露光条件で読み出された画素信号とに基づいて、位相差検出処理を行う。第１の露光条件は、位相差検出用の露光条件、つまり焦点検出に適した露光条件である。これにより、位相差検出精度が向上する。
【００３２】
また、撮像装置は、位相差検出に用いる画素（位相差検出用画素）とマイクロレンズを共有する画素から第２の露光条件で画素信号を読み出し、読み出した画素信号に基づいて画像を生成する。第２の露光条件は、画像生成に適した露光条件（画像生成用の露光条件）である。これにより、位相差検出用画素を欠陥画素としてしまうことなく、生成される画像の画質が向上する。
【００３３】
図７に示す撮像素子１０２は、通常画素６０１と位相差検出用画素６０１ｐとを有する。位相差検出用画素からは、位相差検出用の露光条件（第１の露光条件）でＡ像信号またはＢ像信号が読み出される。通常画素からは、画像生成用の露光条件（第２の露光条件）で、画素信号が読み出される。図７では、位相差検出用画素は、ハッチングが施されている画素である。通常画素は、白抜きされた画素である。
【００３４】
図７に示す例では、３行１列目のＢ像に対応するＲ画素と、３行３列目のＡ像に対応するＲ画素が、位相差検出用画素である。同様に、３行５列目と３行７列目、７行１列目と７行３列目、７行５列目と７行７列目の画素、１１行１列目と１１行３列目の画素、１１行５列目と１１行７列目の画素が、位相差検出用画素である。撮像装置は、異なるマイクロレンズ下の複数の単位画素の位相差検出用画素から出力されるＡ像信号とＢ像信号とを用いて位相差を検出する。
【００３５】
例えば、撮像装置は、所定の単位画素（３行３列目の単位画素）について、位相差検出用画素が有する第１の光電変換部から第１の露光条件で画素信号（Ａ像信号）を読み出す。また、撮像装置は、通常画素が有する第２の光電変換部から第２の露光条件で画素信号（Ｂ像信号）を読み出す。
【００３６】
また、撮像装置は、上記所定の単位画素とは異なる単位画素（１行３列目の単位画素）について、位相差検出用画素が有する第２の光電変換部から第１の露光条件で画素信号（Ｂ像信号）を読み出す。また、撮像装置は、通常画素が有する第１の光電変換部から第２の露光条件で画素信号（Ａ像信号）を読み出す。そして、撮像装置は、３行３列目の単位画素が有する位相差検出用画素から読み出されたＡ像信号と、１行３列目の単位画素が有する位相差検出用画素から読み出されたＢ像信号とを用いて、位相差検出を行う。
【００３７】
撮像装置が、さらに、同じマイクロレンズ下の位相差検出用画素と通常画素とから得られる２つの画素信号を用いて、位相差検出を行うようにしてもよい。例えば、撮像装置は、所定の単位画素の通常画素が有する第２の光電変換部から第２の露光条件で読み出した画素信号に対してゲイン調整を行う。撮像装置は、上記ゲイン調整によって得られる画素信号と、上記所定の単位画素の位相差検出用画素が有する第１の光電変換部から第１の露光条件で読み出した画素信号とに基づいて、位相差検出を行う。これにより、焦点検出精度をさらに向上することが可能である。
【００３８】
図８は、位相差検出用画素を含む単位画素の回路構成の一例を示す図である。
図８では、図７に示した位相差検出用画素６０１ｐとして画素４０１Ｌまたは画素４０１Ｒを含む単位画素が示される。ＰＤ２０１を含む画素４０１ＬをＡ画素、ＰＤ２０２を含む画素４０１ＲをＢ画素とする。Ａ画素とＢ画素は、分割された異なる瞳領域を通過した被写体像を光電変換する。なお、通常画素６０１のみを含む単位画素の回路構成は、図３を参照して説明した回路構成と同じである。寄生容量Ｃ２１、増幅トランジスタ２１０、選択トランジスタ２１１、リセットトランジスタ２１２、転送トランジスタ２１３、転送信号線２１４、行選択信号線２１５、セット制御信号線２１６、定電流源２１７、ＦＤ２１８は、図３と同様である。
【００３９】
位相差検出用画素６０１ｐを含む画素行には、転送信号線２１４の他に転送信号線７１４ｐが設けられている。転送信号線７１４ｐは、画素４０１Ｒの転送トランジスタ２１３のゲートと接続されている。また、位相差検出用画素６０１ｐを含む画素行には、リセット制御信号線２１６の他に、リセット制御信号線７１６ｐが設けられている。リセット制御信号線７１６ｐは、画素４０１Ｒのリセットトランジスタ２１２のゲートと接続されている。つまり、制御部１０７は、画素４０１Ｌと画素４０１Ｒとを異なる転送信号線、異なるリセット制御信号線で別々に制御することで、画素４０１Ｌの画素信号と画素４０１Ｒの画素信号を異なる露光条件で蓄積し、別々に画素信号を転送することができる。これにより、例えば、画素４０１Ｒが有する光電変換部から位相差検出用の露光条件で画素信号を読み出し、画素４０１Ｌが有する光電変換部から画像生成用の露光条件で画素信号を読み出すことができる。
【００４０】
図９は、通常画素と位相差検出用画素のそれぞれについての蓄積および読み出し動作の一例を説明する図である。
図９には、図７に示した８列１２行の画素配列の蓄積および読み出し動作を示している。公知のローリングシャッタによる制御を例にとって説明する。図９の横軸は、時間経過を示し、ローリングシャッタ動作により、１２行全ての画素信号が、連続的に取り込まれている様子を表している。また、上下方向は、垂直走査の順番を示し、１行目から１２行目まで１行ごとに順次走査されている様子を表わしている。図中の斜めの破線は、読み出しに先立って実行されるローリングリセット動作、斜めの実線は、ローリング読み出し動作を示す。ローリング読み出し動作には、ＰＤからＦＤへの電荷転送、信号保持部での一時記憶および水平走査による外部出力動作が含まれる。蓄積時間は、ローリングリセット動作とローリング読み出し動作の時間間隔で定義され、ローリングリセット動作のタイミングを変更することにより、変更可能である。また、図９で示される蓄積時間よりも長く蓄積したい場合には、ローリング読み出し動作の間隔を長く設定すればよい。
【００４１】
図９に示すように、通常画素については、ローリングリセット動作が１行目から１２行目まで順に行われ、蓄積が開始された後、画像生成に適した露光時間が経過すると、１行目から１２行目まで順にローリング読み出し動作が行われる。位相差検出用画素については、３行目、７行目、１１行目の順にローリングリセット動作が行われ、蓄積が開始された後、焦点検出に適した露光時間が経過すると、３行目、７行目、１１行目の順にローリング読み出し動作が行われる。通常画素と位相差検出用画素は、リセット制御信号線と転送信号線が別々に存在するので、通常画素と位相差検出用画素とで、独立してリセット、読み出しを制御することができる。
【００４２】
本実施形態において、制御部１０７は、通常画素の画素信号については、基本的にＡ像信号とＢ像信号を合わせて１つの画素信号とする。制御部１０７は、位相差検出用画素の画素信号については、Ａ像信号、Ｂ像信号は、それぞれ個別の信号として演算処理に利用する。したがって、位相差検出処理をするために、Ａ像、Ｂ像それぞれで適正露出まで信号量を得ようとした場合には、位相差検出用画素の蓄積時間を通常画素の蓄積時間の２倍程度にする必要がある。
【００４３】
図９に示す例では、制御部１０７は、通常画素については、１／３０ｓｅｃの間隔で読み出しを行い、その間でローリングリセット動作のタイミングを変更することで蓄積時間を制御する。制御部１０７は、位相差検出用画素については、ローリング読み出し動作の間隔を通常画素の２倍の１／１５ｓｅｃで読み出しを行い、その間でローリングリセット動作のタイミングを変更することで蓄積時間を制御する。これにより、通常画素に対して位相差検出用画素を２倍以上の蓄積時間にすることができる。
【００４４】
動画などの撮影において、主被写体は通常輝度で、一部高輝度な被写体が存在するような場合、自動での露出制御では主被写体に露出を合わせることで、一部の高輝度被写体は飽和してしまうような撮影シーンが存在する。このような撮影シーンの場合に、マニュアル露出制御などの機能を用いて、ユーザが意図的に画面全体の露出を下げるなどして飽和する被写体が発生しないように撮影することが想定される。高輝度被写体を気にしてユーザが意図的に全体の露出を下げた場合、主被写体に対しては、適正露出よりもアンダーな露出で撮影されることになる。主被写体に対して焦点検出を行う際に、適正露出よりアンダーな露出で取得した信号では信号量が少なく、ノイズなどの影響も大きくなり、位相差検出による焦点検出の精度が低下してしまう。こういった状況においても、本実施形態の撮像装置によれば、主被写体に対応する位相差検出用画素を適正露出になるように露出制御することで、主被写体に対する焦点検出の精度を向上することができる。
【００４５】
図１０は、撮像装置による撮影動作の一例を説明するフローチャートである。
図１０中のＳは、ステップ番号を示す。Ｓ９０１において、撮影が開始される。Ｓ９０２において、ＡＥ処理部１０４１が、画像生成用の露光条件（第２の露光条件）を算出する。この時点で通常画素の蓄積時間が決定される。続いて、Ｓ９０３において、ＡＥ処理部１０４１が、位相差検出用の露光条件（第１の露光条件）を算出する。この時点で、位相差検出用画素の蓄積時間が決定される。
【００４６】
次に、Ｓ９０４において、制御部１０７が、通常画素から画素信号を読み出す。また、Ｓ９０７において、制御部１０７が、位相差検出用画素から画素信号を読み出す。Ｓ９０５において、制御部１０７が、映像信号処理部１０４を制御して、通常画素から読み出した画素信号に基づいて、画像を生成する。位相差検出用画素を含む所定の単位画素については、制御部１０７は、例えば、以下のようにして画像を生成する。制御部１０７は、上記単位画素が有する位相差検出用画素のＰＤ（第１の光電変換部）から第１の露光条件で読み出された画素信号に対してゲイン調整を行う。制御部１０７は、上記のゲイン調整によって得られた画素信号と、位相差検出用画素とマイクロレンズを共有する通常画素のＰＤ（第２の光電変換部）から第２の露光条件で読み出された画素信号とに基づいて、画像を生成する。
【００４７】
制御部１０７が、通常画素の第２の光電変換部から第２の露光条件で読み出した画素信号と、当該通常画素とは対応する単位画素が異なる通常画素の第１の光電変換部から第２の露光条件で読み出した画素信号とに基づき、画像を生成してもよい。Ｓ９０６において、制御部１０７が、画像を出力する。
【００４８】
また、Ｓ９０８において、制御部１０７が、位相差信号処理部１０６を制御して、図７を参照して前述したように、位相差検出用画素から読み出された画素信号に基づいて、位相差検出による焦点検出演算処理（ＡＦ演算処理）を行う。Ｓ９０８の処理は、Ｓ９０５の画像生成処理と並行して行われる。Ｓ９０９において、制御部１０７が、焦点検出演算処理の結果に基づいて、フォーカスレンズの駆動量を算出する。
【００４９】
次に、Ｓ９１０において、制御部１０７が、撮影を終了するかを判断する。制御部１０７が、撮影を終了すると判断した場合は、処理がＳ９１２に進む。そして、Ｓ９１２において、制御部１０７が、撮影を終了する。制御部１０７が、撮影を終了しないと判断した場合は、処理がＳ９１１に進む。
【００５０】
Ｓ９１１において、Ｓ９０９で算出されたフォーカスレンズの駆動量に基づいて、フォーカス機構部１０１１が、フォーカスレンズを駆動する。そして、処理がＳ９０２に戻る。
【００５１】
以上説明したように、本実施形態の撮像装置は、同一マイクロレンズを共有する二つの画素において、一方を画像生成用、もう一方を位相差検出用の画素とする。これにより、画像生成時の画質劣化を抑えつつ、位相差検出精度を向上することができる。
【００５２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０２  撮像素子
１０７  制御部
【図１】
2020191528.tif 000003
【図２】
2020191528.tif 000004
【図３】
2020191528.tif 000005
【図４】
2020191528.tif 000006
【図５】
2020191528.tif 000007
【図６】
2020191528.tif 000008
【図７】
2020191528.tif 000009
【図８】
2020191528.tif 000010
【図９】
2020191528.tif 000011
【図１０】
2020191528.tif 000012