(57)【要約】【課題】ハイブリッドＡＦを用いて、迅速且つ高精度なオートフォーカスを実現し得る固体撮像素子及びその制御方法並びに撮像装置を提供する。【解決手段】複数の画素が行列状に配列された画素アレイと、位相差検出方式による焦点検出のための位相差評価値を、複数の画素のうちに含まれている位相差検出用画素からの信号に基づいて算出する第１の算出部と、画素アレイによって取得される画像信号に生ずる欠損であって、複数の画素のうちに位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、位相差検出用画素以外の画素からの信号を用いた補間によって生成する補間処理部と、コントラスト検出方式による焦点検出のためのコントラスト評価値を、補間処理部による補間によって生成された信号を含む画像信号に基づいて算出する第２の算出部とを有している。【選択図】図２−２
2018066931.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が行列状に配列された画素アレイと、
位相差検出方式による焦点検出のための位相差評価値を、前記複数の画素のうちに含まれている位相差検出用画素からの信号に基づいて算出する第１の算出部と、
前記画素アレイによって取得される画像信号に生ずる欠損であって、前記複数の画素のうちに前記位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、前記位相差検出用画素以外の前記画素からの信号を用いた補間によって生成する補間処理部と、
コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記補間処理部による前記補間によって生成された前記信号を含む前記画像信号に基づいて算出する第２の算出部と
を有することを特徴とする固体撮像素子。
【請求項２】
前記位相差評価値の算出が第１の算出部によって完了した場合には、前記画素アレイによって取得される前記画像信号の出力の完了の如何にかかわらず、前記位相差評価値を出力することを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記画素アレイは第１の半導体チップに形成され、
前記第１の算出部、前記補間処理部及び前記第２の算出部は、前記第１の半導体チップと異なる第２の半導体チップに形成され、
前記第１の半導体チップと前記第２の半導体チップとが積層されていることを特徴とする請求項１又は２に記載の固体撮像素子。
【請求項４】
前記補間処理部によって補間された前記画像信号を出力することを特徴とする請求項１乃至３のいずれか１項に記載の固体撮像素子。
【請求項５】
前記位相差評価値及び前記コントラスト評価値は、前記補間処理部によって補間された前記画像信号が出力される出力端子とは異なる出力端子を介して出力されることを特徴とする請求項１乃至４のいずれか１項に記載の固体撮像素子。
【請求項６】
前記位相差検出用画素を含む行からの信号の読み出しは、前記位相差検出用画素を含まない行からの信号の読み出しと並行して行われることを特徴とする請求項１乃至５のいずれか１項に記載の固体撮像素子。
【請求項７】
前記画素アレイは、複数の前記位相差検出用画素を含み、
前記複数の位相差検出用画素は、撮像光学系の射出瞳の第１の瞳領域を通過する光束に応じた信号を取得する第１の位相差検出用画素と、前記射出瞳の前記第１の瞳領域とは異なる第２の瞳領域を通過する光束に応じた信号を取得する第２の位相差検出用画素とを含み、
前記第１の算出部は、前記第１の位相差検出用画素と前記第２の位相差検出用画素とからの信号に基づいて前記位相差評価値を算出することを特徴とする請求項１乃至６のいずれか１項に記載の固体撮像素子。
【請求項８】
複数の画素が行列状に配列された画素アレイの前記複数の画素のうちに含まれている位相差検出用画素からの信号に基づいて、位相差検出方式による焦点検出のための位相差評価値を算出するステップと、
前記画素アレイによって取得される画像信号に生ずる欠損であって、前記複数の画素のうちに前記位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、前記位相差検出用画素以外の前記画素からの信号を用いた補間によって生成するステップと、
コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記補間によって生成された前記信号を含む前記画像信号に基づいて算出するステップと
を有することを特徴とする固体撮像素子の制御方法。
【請求項９】
複数の画素が行列状に配列された画素アレイと、位相差検出方式による焦点検出のための位相差評価値を、前記複数の画素のうちに含まれている位相差検出用画素からの信号に基づいて算出する第１の算出部と、前記画素アレイによって取得される画像信号に生ずる欠損であって、前記複数の画素のうちに前記位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、前記位相差検出用画素以外の前記画素からの信号を用いた補間によって生成する補間処理部と、コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記補間処理部による前記補間によって生成された前記信号を含む前記画像信号に基づいて算出する第２の算出部とを有する固体撮像素子と、
前記位相差評価値と前記コントラスト評価値とに基づいて、フォーカスレンズを駆動するための制御を行う制御部と
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子及びその制御方法並びに撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等の撮像装置には、被写体のピント（レンズのフォーカス位置）を自動的に合わせるオートフォーカス（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）機能が搭載されている。
【０００３】
迅速なオートフォーカスを実現するためには、高いフレームレートで焦点検出用の信号を読み出す必要がある。しかし、焦点検出用の信号を高いフレームレートで読み出した場合には、固体撮撮像素子の後段に位置する信号処理部へのデータ転送量の増加を招く。そこで、ＡＦ評価値を検出するＡＦ評価値検出部を固体撮像素子の内部に設け、当該ＡＦ評価値検出部によって検出されたＡＦ評価値を外部に出力する固体撮像素子が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１２４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ＡＦ方式として、位相差検出方式によるＡＦ、即ち、位相差ＡＦと、コントラスト検出方式によるＡＦ、即ち、コントラストＡＦとを組み合わせたハイブリッドＡＦが知られている。ハイブリッドＡＦにおいては、位相差ＡＦによってフォーカスレンズを合焦近傍位置まで移動させ、更に、コントラストＡＦによってフォーカスレンズを合焦位置に移動させる方法が一般的である。これにより、合焦までの時間の短縮と合焦精度の向上とが図られる。しかしながら、特許文献１では、このようなハイブリッドＡＦ技術について考慮されていないため、撮影条件などによっては、必ずしも迅速且つ高精度なオートフォーカスを実現し得なかった。
【０００６】
本発明の目的は、ハイブリッドＡＦを用いて、迅速且つ高精度なオートフォーカスを実現し得る固体撮像素子及びその制御方法並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、複数の画素が行列状に配列された画素アレイと、位相差検出方式による焦点検出のための位相差評価値を、前記複数の画素のうちに含まれている位相差検出用画素からの信号に基づいて算出する第１の算出部と、前記画素アレイによって取得される画像信号に生ずる欠損であって、前記複数の画素のうちに前記位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、前記位相差検出用画素以外の前記画素からの信号を用いた補間によって生成する補間処理部と、コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記補間処理部による前記補間によって生成された前記信号を含む前記画像信号に基づいて算出する第２の算出部とを有することを特徴とする固体撮像素子が提供される。
【発明の効果】
【０００８】
本発明によれば、ハイブリッドＡＦを用いて、迅速且つ高精度なオートフォーカスを実現し得る固体撮像素子及びその制御方法並びに撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による撮像装置の構成を示すブロック図である。
【図２−１】図２（ａ）は、第１実施形態による固体撮像素子の構造を示す斜視図である。
【図２−２】図２（ｂ）及び図２（ｃ）は、第１実施形態による固体撮像素子を示す回路図である。
【図３】通常行に配された画素と撮像光学系とを示す図である。
【図４】位相差ＡＦ行に配された画素と撮像光学系とを示す図である。
【図５（ａ）】第１実施形態による固体撮像素子における読み出しの際の選択行の例を示す図である。
【図５（ｂ）】第１実施形態による固体撮像素子における画素のレイアウトを示す図である。
【図６】補間処理を概念的に示す図である。
【図７】第１実施形態による撮像装置の動作を示すタイムチャートである。
【図８】第１実施形態による撮像装置の動作を示すフローチャートである。
【図９】第２実施形態による撮像装置の動作を示すタイムチャートである。
【図１０】第２実施形態による撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の実施の形態を、添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。
［第１実施形態］
第１実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１乃至図８を用いて説明する。図１は、本実施形態による撮像装置の構成を示すブロック図である。ここでは、本実施形態による撮像装置１００が、動画像や静止画像を取得し得る電子カメラ、即ち、デジタルカメラである場合を例に説明するが、これに限定されるものではない。
【００１１】
図１に示すように、撮像装置１００は、光学鏡筒１０１と、固体撮像素子１０２と、駆動部１０３と、信号処理部１０４と、圧縮伸長部１０５と、制御部１０６と、発光部１０７と、操作部１０８と、画像表示部１０９と、画像記録部１１０とを備えている。
【００１２】
光学鏡筒（レンズユニット）１０１は、被写体からの光を固体撮像素子１０２に集光するためのレンズ群を備えている。かかるレンズ群には、フォーカスレンズやズームレンズが含まれる。かかるレンズ群と、後述するマイクロレンズＭＬ（図３、図４参照）とが相俟って、撮像光学系を構成する。光学鏡筒１０１は、ＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、絞り機構等を含む光学機構部１０１１を備えている。光学機構部１０１１は、制御部１０６からの制御信号に基づいて、駆動部（駆動回路）１０３によって駆動される。
【００１３】
固体撮像素子１０２は、後述する画素２０１と、Ａ／Ｄコンバータ（図示せず）とを含んでいる。固体撮像素子１０２は、例えば、ＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。固体撮像素子１０２は、制御部１０６からの制御信号に基づいて、駆動部１０３によって駆動される。固体撮像素子１０２は、露光・蓄積、信号読み出し、リセット等の撮像動作を行い、撮像動作によって取得される信号、即ち、撮像信号（以下、「画像信号」、「画像データ」ともいう）を出力する。固体撮像素子１０２は、ＡＦ評価値算出部１０２１を備えている。ＡＦ評価値算出部１０２１は、固体撮像素子１０２によって取得される信号に基づいて、ＡＦ評価値、即ち、位相差評価値及びコントラスト評価値を算出し、算出したＡＦ評価値を制御部１０６に出力する。
【００１４】
信号処理部１０４は、制御部１０６の制御下で、固体撮像素子１０２によって取得される画像信号に対して、ホワイトバランス調整処理、色補正処理、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）処理等の所定の信号処理を施す。
【００１５】
圧縮伸長部１０５は、制御部１０６の制御下で動作する。圧縮伸長部１０５は、信号処理部１０４から送られてくる画像信号に対して圧縮符号化処理を行うことにより、符号化画像データを生成する。圧縮符号化処理においては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式等の所定の静止画像データフォーマットが用いられる。また、圧縮伸長部１０５は、制御部１０６から送られてくる符号化画像データに対して伸長復号化処理を行うことにより、復号化画像データを得る。なお、圧縮伸長部１０５は、動画像データに対して圧縮符号化処理や伸長復号化処理を行うこともできる。動画像データに対する圧縮符号化処理や伸長復号化処理においては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式等が用いられる。
【００１６】
制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を備える。ＣＰＵがＲＯＭ等に記憶されたプログラムを実行することによって、撮像装置１００全体が制御部１０６によって統括的に制御される。
【００１７】
信号処理部１０４によって行われるＡＥ処理において被写体の露光値が低いと判断された場合には、制御部１０６は、発光部１０７を制御することによって被写体に対して光を発し、被写体に対する照明を行う。発光部１０７としては、例えば、キセノン管を用いたストロボ装置やＬＥＤ発光装置等が用いられる。
【００１８】
操作部１０８は、例えば、シャッタレリーズボタン等の各種操作キー、レバー、ダイヤル、タッチパネル等であり、ユーザによる操作入力に応じた操作信号を制御部１０６に与える。
【００１９】
画像表示部１０９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示デバイス（図示せず）と、当該表示デバイスに対するインタフェース（図示せず）とを備えている。画像表示部１０９は、制御部１０６から送られる画像データに応じた画像を、表示デバイスの表示画面に表示する。
【００２０】
画像記録部１１０としては、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、磁気テープ等の記録媒体が用いられる。画像記録部１１０には、圧縮伸長部１０５によって圧縮符号化処理が施された符号化画像データが画像ファイルとして記録される。画像記録部１１０は、制御部１０６によって指定された画像ファイルを記録媒体から読み出し、当該画像ファイルを制御部１０６に出力する。制御部１０６は、画像記録部１１０から読み出された符号化画像データの伸長符号化処理を圧縮伸長部１０５によって行わせることにより、復号化画像データを得る。
【００２１】
次に、本実施形態による撮像装置１００の基本的な動作について説明する。例えば、静止画像を撮影する際には、静止画像の撮像前において、固体撮像素子１０２が以下のように動作する。即ち、固体撮像素子１０２は、後述する画素２０１から出力される画像信号に対してＣＤＳ処理とＡＧＣ処理とを順次実施し、これらの処理が施された画像信号をＡ／Ｄコンバータを用いてデジタル画像信号に変換する。なお、ＣＤＳは、Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略である。また、ＡＧＣは、Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ（自動利得制御）の略である。こうして得られたデジタル画像信号は、ＡＦ評価値算出部１０２１や信号処理部１０４に送信される。
【００２２】
ＡＦ評価値算出部１０２１は、固体撮像素子１０２によって取得される画像信号から位相差評価値やコントラスト評価値等のＡＦ評価値を算出し、算出したＡＦ評価値を制御部１０６に出力する。制御部１０６は、ＡＦ評価値に基づいて、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定し、決定したフィードバック制御量を駆動部１０３に出力する。駆動部１０３は、制御部１０６から与えられるフィードバック制御量に基づいて、光学機構部１０１１に備えられたＡＦ機構を用いてフォーカスレンズを駆動する。
【００２３】
信号処理部１０４は、固体撮像素子１０２から出力されるデジタル画像信号に対して、例えば画質補正処理を施すことにより、例えば、カメラスルー画像信号、即ち、ライブビュー画像信号を生成する。信号処理部１０４は、生成したライブビュー画像信号を、制御部１０６を介して画像表示部１０９に送信する。画像表示部１０９には、ライブビュー画像信号に応じたライブビュー画像が表示される。ユーザは、画像表示部１０９に表示されたライブビュー画像を目視しつつ、画角合わせ（フレーミング）等を行うことができる。
【００２４】
ライブビュー画像が画像表示部１０９に表示されている状態で、操作部１０８に備えられたシャッタレリーズボタンがユーザによって押下されると、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して固体撮像素子１０２を制御することにより、１フレーム分の撮像信号、即ち、１フレーム分のデジタル画像信号を、固体撮像素子１０２から信号処理部１０４に送信させる。信号処理部１０４は、固体撮像素子１０２から送信された１フレーム分のデジタル画像信号に対して例えば画質補正処理を施し、画質補正処理後のデジタル画像信号、即ち、画像データを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、画像データに対して圧縮符号化の処理を施すことにより、符号化画像データを得る。圧縮伸長部１０５によって得られた符号化画像データは、制御部１０６を介して画像記録部１１０に送信される。こうして、固体撮像素子１０２を用いて取得された静止画像の画像ファイルが、画像記録部１１０に記録される。
【００２５】
画像記録部１１０に記録された静止画像の画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８を介してユーザによって選択された画像ファイルを、画像記録部１１０から読み出す。そして、制御部１０６は、画像記録部１１０から読み出した画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、当該画像ファイルに対して伸長復号化の処理を施すことにより、復号化画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化画像データを、画像表示部１０９に送信する。画像表示部１０９は、復号化画像データに応じた静止画像を表示する。
【００２６】
制御部１０６は、動画像データを記録する際には、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して固体撮像素子１０２を制御することによって、固体撮像素子１０２から順次出力されるデジタル画像信号を信号処理部１０４に順次入力させる。信号処理部１０４は、順次入力されるデジタル画像信号に対して所定の画像処理を順次行うことにより、画像データ、即ち、動画像データを生成する。圧縮伸長部１０５は、動画像データに対して圧縮符号化の処理を施すことにより、符号化動画像データを得る。圧縮伸長部１０５によって得られる符号化動画像データは、制御部１０６を介して画像記録部１１０に順次転送され、動画像ファイルとして画像記録部１１０に記録される。
【００２７】
画像記録部１１０に記録された動画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８を介してユーザによって選択された動画像ファイルを、画像記録部１１０から読み出す。制御部１０６は、画像記録部１１０から読み出した動画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、動画像ファイルに対して伸長復号化の処理を施すことにより、復号化動画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化動画像データを画像表示部１０９に送信する。画像表示部１０９は、復号化動画像データに応じた動画像を表示する。
【００２８】
図２（ａ）は、本実施形態による撮像装置に備えられた固体撮像素子の構造を示す斜視図である。図２（ａ）に示すように、本実施形態による固体撮像素子１０２は、第１の半導体チップ２０と第２の半導体チップ２１とを有しており、第２の半導体チップ２１上に第１の半導体チップ２０が積層された積層型イメージセンサである。第１の半導体チップ２０は、複数の画素（画素部）２０１が２次元マトリクス状、即ち、行列状に配列された画素アレイ２０６を有しており、第１の半導体チップ２０は、第２の半導体チップ２１に対して光入射側に配置されている。即ち、第１の半導体チップ２０は、第２の半導体チップ２１に対して、光学像の受光側に位置している。第２の半導体チップ２１には、後述する列走査回路２１３ａ、２１３ｂと、行走査回路２１２とを含む画素駆動回路（読み出し回路、読み出し部）が形成されている。また、第２の半導体チップ２１には、ＡＦ評価値算出部１０２１や補間処理部２１９も形成されている。
【００２９】
本実施形態では、画素２０１が形成される第１の半導体チップ２０と周辺回路が形成される第２の半導体チップ２１とが別個になっているため、画素２０１の製造プロセスと周辺回路の製造プロセスとが分離されている。このため、本実施形態においては、配線の細線化や高密度化等が周辺回路等において実現され、固体撮像素子１０２の高速化、小型化、高機能化等が実現される。
【００３０】
図２（ｂ）及び図２（ｃ）は、本実施形態による固体撮像素子を示す回路図である。図２（ｃ）は、画素２０１の構成を示す回路図である。図２（ｂ）に示すように、第１の半導体チップ２０には、２次元マトリクス状に配列された複数の画素２０１が形成されている。画素２０１は、水平方向において、転送信号線２０３、リセット信号線２０４、行選択信号線２０５にそれぞれ接続されており、垂直方向において、列信号線２０２ａ又は列信号線２０２ｂにそれぞれ接続されている。なお、列信号線２０２ａ、２０２ｂの接続先の画素２０１は、読み出し行によって異なっている。即ち、後述する位相差検出用（焦点検出用）の画素２０１ＳＨＡ、２０１ＳＨＢ（図４（ａ）参照）が含まれている行、即ち、位相差ＡＦ行（ＡＦ行）に位置する画素２０１は、列信号線２０２ｂに接続されている。一方、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれていない行、即ち、通常行に位置する画素２０１は、列信号線２０２ａに接続されている。
【００３１】
図２（ｃ）に示すように、画素２０１は、光電変換素子であるフォトダイオードＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、フローティングディフュージョンＦＤとを有している。トランジスタＭ１〜Ｍ４としては、例えば、ｎチャネル型のＭＯＳＦＥＴ（ＭＯＳ  Ｆｉｅｌｄ−Ｅｆｆｅｃｔ  Ｔｒａｎｓｉｓｔｏｒ）が用いられている。
【００３２】
転送トランジスタＭ１のゲートには、転送信号線２０３が接続されている。リセットトランジスタＭ２のゲートには、リセット信号線２０４が接続されている。選択トランジスタＭ４のゲートには、行選択信号線２０５が接続されている。これらの信号線２０３〜２０５は水平方向に延在しており、同一行に位置する画素２０１が同時に駆動される。これによって、ライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を実現することができる。更に、選択トランジスタＭ４のソースには、列信号線２０２ａ又は列信号線２０２ｂが接続されている。
【００３３】
フォトダイオードＰＤは、光電変換によって電荷を生成する。フォトダイオードＰＤのアノード側は接地されており、フォトダイオードＰＤのカソード側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮ状態になると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送される。フローティングディフュージョンＦＤには寄生容量が存在するため、フローティングディフュージョンＦＤにはフォトダイオードＰＤから転送された電荷が蓄積される。
【００３４】
増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３のゲートの電位は、フローティングディフュージョンＦＤに蓄積された電荷に応じた電位となる。選択トランジスタＭ４は、信号が読み出される画素２０１を選択するためのものであり、選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは、列信号線２０２ａ又は列信号線２０２ｂに接続されている。選択トランジスタＭ４がＯＮ状態になると、増幅トランジスタＭ３のゲートの電位に応じた出力信号が、列信号線２０２ａ又は列信号線２０２ｂに出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２がＯＮ状態になることによって、フローティングディフュージョンＦＤの電位は電源電圧Ｖｄｄにリセットされる。
【００３５】
第２の半導体チップ２１には、カラムＡＤＣブロック２１１が備えられている。カラムＡＤＣブロック２１１は、列信号線２０２ａ又は列信号線２０２ｂに接続されている。更に、第２の半導体チップ２１には、各行の走査を行う行走査回路２１２と、各列の走査を行う列走査回路２１３ａ、２１３ｂとが備えられている。更に、第２の半導体チップ２１には、制御部１０６からの制御信号に基づいて、行走査回路２１２、列走査回路２１３ａ、２１３ｂ、カラムＡＤＣブロック２１１の動作タイミングをそれぞれ制御するタイミング制御回路２１４が備えられている。更に、第２の半導体チップ２１には、列走査回路２１３ａ、２１３ｂによって制御されるタイミングに従ってカラムＡＤＣブロック２１１からの信号を転送する水平信号線２１５ａ、２１５ｂが備えられている。
【００３６】
更に、第２の半導体チップ２１は、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先を切り替えるためのスイッチ２１６を備えている。スイッチ２１６を第１の設定にした際には、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先が、ＡＦ評価値算出部１０２１に備えられた位相差評価値算出部２１７に設定される。一方、スイッチ２１６を第２の設定にした際には、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先が、補間処理部２１９に設定される。
【００３７】
上述したように、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれている行、即ち、位相差ＡＦ行に位置する画素２０１は、列信号線２０２ｂに接続されている。このため、位相差ＡＦ行に位置する画素２０１によって取得される信号は、列信号線２０２ｂと水平信号線２１５ｂとを介して転送される。位相差ＡＦ行に位置する位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢによって取得される信号は、列信号線２０２ｂと水平信号線２１５ｂとスイッチ２１６とを介して、位相差評価値算出部２１７に転送される。
【００３８】
ところで、位相差ＡＦ行には、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢのみならず、撮像用の画素２０１Ｇも位置している（図４（ａ）参照）。なお、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のような特定の分光感度を有する画素について説明する際には、２０１Ｒ、２０１Ｇ、２０１Ｂという符号をそれぞれ用いることとする。また、位相差検出用の画素について説明する際には、２０１ＳＨＡ、２０１ＳＨＢという符号をそれぞれ用いることとする。また、画素一般について説明する際には、２０１という符号を用いることとする。位相差ＡＦ行に位置する画素２０１のうちの撮像用の画素２０１Ｇによって取得される信号は、列信号線２０２ｂと水平信号線２１５ｂとスイッチ２１６とを介して、補間処理部２１９に送信される。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれていない行、即ち、通常行に位置する画素２０１は、上述したように列信号線２０２ａに接続されている。このため、通常行に位置する画素２０１によって取得される信号は、列信号線２０２ａと水平信号線２１５ａとを介して補間処理部２１９に出力される。このように、補間処理部２１９には、水平信号線２１５ａを介して出力されるデジタル画像信号と、水平信号線２１５ｂを介して出力されるデジタル画像信号とが入力される。補間処理部２１９によって補間処理が適宜施された信号、即ち、画像信号は、ＡＦ評価値算出部１０２１に備えられたコントラスト評価値算出部２１８と、信号処理部１０４とに出力される。
【００３９】
位相差評価値算出部２１７によって算出される位相差評価値と、コントラスト評価値算出部２１８によって算出されるコントラスト評価値とは、制御部１０６にそれぞれ出力される。補間処理部２１９によって補間処理が適宜施された信号、即ち、画像信号は、信号処理部１０４に送信され、例えばライブビュー表示の際にはライブビュー用の画像に用いられる。
なお、通常行に位置する画素２０１から水平信号線２１５ａに転送される信号を、第１の画像信号と称することとする。また、位相差ＡＦ行に位置する画素２０１から水平信号線２１５ｂに転送される信号を、第２の画像信号と称することとする。
【００４０】
図５（ａ）は、本実施形態による固体撮像素子における読み出しの際の選択行の例を示す図である。図５（ａ）には、マトリクス状に配された複数の画素２０１のうちの１６行×６列の画素２０１が抜き出されて示されている。これらの画素２０１は、ベイヤー配列となっている。本実施形態では、第１の画像信号の取得と、第２の画像信号の取得とを並行して行うことができるように、第１の画像信号を取得する際の選択行と第２の画像信号を取得する際の選択行とがそれぞれ設定されている。第１の画像信号は、列信号線２０２ａに出力されるようになっている。一方、第２の画像信号は、列信号線２０２ｂに出力されるようになっている。なお、行番号が１，２の行、及び、行番号が９，１０の行は、第２の画像信号を取得する際の選択行であり、第２の画像信号を取得するための画素群（第２の画素群）が配されている。行番号が３〜８の行、及び、行番号が１１〜１６の行は、第１の画像信号を取得する際の選択行であり、第１の画像信号を取得するための画素群（第１の画素群）が配されている。
【００４１】
図５（ｂ）は、本実施形態による固体撮像素子における画素のレイアウトを示す図である。図５（ｂ）には、マトリクス状に配された複数の画素２０１のうちの一部の画素２０１が抜き出されて示されている。複数の通常行のうちの一部の行に位置する画素２０１から出力される信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、複数の位相差ＡＦ行のうちの一部の行に位置する画素２０１Ｇから出力される信号Ｇｒ、Ｇｂとは、コントラスト評価値を取得する際にも用いられる。コントラスト評価値の取得に用いられる信号を出力する画素２０１が位置する行は、コントラストＡＦ行とも称される。図５（ｂ）に示すように、コントラストＡＦ行は、位相差ＡＦ行と通常行とを含んでいる。通常行のみならず位相差ＡＦ行をも含むようにコントラストＡＦ行を設定するのは、コントラストＡＦ行を広範囲に設定することにより、高精度なコントラスト評価値を取得するためである。
【００４２】
第２の画像信号には、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢによって取得される信号が含まれているため、迅速なオートフォーカスを実現すべく、フレームレートを速くすることが重視される。このため、第２の画像信号は、間引き率が比較的高く設定される。一方、第１の画像信号は、ライブビュー表示等に用いられるため、画質が重視される。このため、第１の画像信号は、間引き率が比較的低く設定される。行番号が１〜８の行に注目すると、第１の画像信号は、垂直方向に配された同色の４画素のうちの１画素を間引くことによって得られ、第２の画像信号は、垂直方向に配された同色の４画素のうちの３画素を間引くことによって得られる。第１の画像信号の取得においては、第１のフレームレートで第１の画素群が読み出される。第２の画像信号の取得においては、第１のフレームレートより速い第２のフレームレートで第２の画素群が読み出される。ここでは、第２のフレームレートを第１のフレームレートの３倍とする場合を例に説明する。
【００４３】
このように、本実施形態では、第１の画像信号が読み出される行と、第２の画像信号が読み出される行とが別個に設定されている。このため、本実施形態によれば、異なる電荷蓄積時間、異なるデータサイズ、異なるフレームレートの第１の画像信号及び第２の画像信号を、並行して取得することができる。なお、ここでは、第２の画像信号を取得するための第２の画素群が行番号１，２の行に位置し、第１の画像信号を取得するための第１の画素群が行番号３〜８の行に位置する場合を例に説明したが、これに限定されるものではない。また、読み出しにおける間引き率も、適宜設定することができる。
【００４４】
画素２０１から列信号線２０２ａ又は列信号線２０２ｂに出力されたアナログの信号は、カラムＡＤＣブロック２１１においてアナログからデジタルに変換される。列走査回路２１３ａは、カラムＡＤＣブロック２１１から出力されるデジタルの第１の画像信号を、水平信号線２１５ａを介して補間処理部２１９に送信する。また、列走査回路２１３ｂは、カラムＡＤＣブロック２１１から出力されるデジタルの第２の画像信号を、水平信号線２１５ｂを介して位相差評価値算出部２１７や補間処理部２１９に送信する。また、補間処理部２１９によって補間処理が施された信号、即ち、画像信号は、コントラスト評価値算出部２１８に送信されるとともに、固体撮像素子１０２に設けられた出力端子２２２を介して信号処理部１０４に出力される。
【００４５】
制御部１０６は、固体撮像素子１０２に設けられた位相差評価値算出部２１７からの信号を用い、位相差検出方式によるオートフォーカス制御、即ち、位相差フォーカス制御（位相差ＡＦ）を行う。更に、制御部１０６は、固体撮像素子１０２に設けられたコントラスト評価値算出部２１８からの信号を用い、コントラスト検出方式によるオートフォーカス制御、即ち、コントラストフォーカス制御（コントラストＡＦ）をも行う。
【００４６】
位相差評価値算出部２１７は、位相差検出方式による焦点検出のための位相差評価値を、複数の画素２０１のうちに含まれている位相差検出用画素２０１ＳＨＡ、２０１ＳＨＢからの信号に基づいて算出するものである。位相差評価値算出部２１７は、複数の位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ、ＳＨＢによって生成される一対の像信号に対して相関演算を行い、一対の像信号の相対的な位置ずれを示す位相差を算出する。そして、位相差評価値算出部２１７は、当該位相差に基づいて、フォーカスがどれくらい外れているかを示す量であるデフォーカス量Ｄｆを算出する。制御部１０６は、当該デフォーカス量Ｄｆに基づいて、合焦に近い状態にするためにフォーカスレンズをどの程度移動させるべきかを示す量、即ち、合焦近傍位置までのフォーカスレンズの駆動量を算出する。制御部１０６は、算出した駆動量の分だけフォーカスレンズが移動するように、駆動部１０３を介して光学機構部１０１１を制御する。コントラスト評価値算出部２１８は、コントラストＡＦ行からの画像信号における高周波成分を抽出することによって、コントラスト評価値を算出する。制御部１０６は、当該コントラスト評価値に基づいて、フォーカスレンズの駆動を適宜行う。
【００４７】
図３は、画素と撮像光学系とを示す図である。図３（ａ）は、画素を示す平面図である。図３（ａ）に示す２行×２列の４つの画素２０１はいずれも撮像用の画素である。これら４つの画素２０１のうちの対角に位置する２箇所には、Ｇ（緑色）の分光感度を有する画素２０１Ｇがそれぞれ配されており、他の２箇所には、Ｒ（赤色）とＢ（青色）の分光感度を有する画素２０１Ｒ、２０１Ｂがそれぞれ配されている。このような画素配列は、ベイヤー配列と称される。図３（ａ）には、ベイヤー配列の１つの画素単位が抜き出されて示されている。図３（ｂ）は、撮像光学系と画素との関係を示す断面図である。図３（ｂ）は、図３（ａ）のＡ−Ａ線断面に対応している。
【００４８】
図３（ｂ）に示すように、固体撮像素子１０２の第１の半導体チップ２０の半導体基板３０１には、フォトダイオードＰＤが形成されている。フォトダイオードＰＤは、マトリクス状に形成された複数の画素２０１の各々に対応するように形成されている。フォトダイオードＰＤが形成された半導体基板３０１上には、多層配線構造３０２が形成されている。多層配線構造３０２は、配線層ＣＬと絶縁層３０３とによって構成されている。配線層ＣＬは、固体撮像素子１０２内において各種信号を伝達するための信号線を構成している。多層配線構造３０２上には、カラーフィルタ層３０４が形成されている。カラーフィルタ層３０４は、Ｒ（赤色）のカラーフィルタＣＦＲと、Ｇ（緑色）のカラーフィルタＣＦＧと、Ｂ（青色）のカラーフィルタＣＦＢとを含む。これらカラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢは、各々の画素２０１に対応するように形成されている。なお、図３（ａ）において、Ｒは、ＲのカラーフィルタＣＦＲが配されている箇所を概念的に示しており、Ｇは、ＧのカラーフィルタＣＦＧが配されている箇所を概念的に示しており、Ｂは、ＢのカラーフィルタＣＦＢが配されている箇所を概念的に示している。
【００４９】
カラーフィルタ層３０４上には、マイクロレンズＭＬ、即ち、オン半導体チップマイクロレンズが配されている。マイクロレンズＭＬは、各々の画素２０１に対応するように形成されている。マイクロレンズＭＬとフォトダイオードＰＤとは、撮像光学系ＴＬの射出瞳ＥＰを通過する光束３０５を可能な限り有効に取り込むような構成となっている。換言すれば、撮像光学系ＴＬの射出瞳ＥＰとフォトダイオードＰＤとの間に共役関係が成立するようにマイクロレンズＭＬが形成されている。しかも、フォトダイオードＰＤの有効面積が大きく設定されている。なお、図３（ｂ）では、Ｒの画素２０１に入射する光束３０５を例として示しているが、Ｇの画素２０１に入射する光束や、Ｂの画素２０１に入射する光束ついても同様である。このように、撮像用のＲＧＢの画素２０１に対応した射出瞳ＥＰは大きな径を有しており、被写体からの光束が効率良く画素２０１に達する。従って、各々の画素２０１において、Ｓ／Ｎ比の高い画像信号が得られる。
【００５０】
図４は、画素と撮像光学系とを示す図である。図４（ａ）は、画素の平面図である。画像信号を得る際、Ｇの分光感度を有する画素２０１Ｇからの出力は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇの分光感度を有する画素２０１Ｇからの出力が欠損すると、画質劣化が認められやすい。一方、Ｒの画素２０１Ｒ（図３参照）やＢの画素２０１Ｂ（図３参照）は、主として色情報を取得するための画素であり、人間は色情報には比較的鈍感である。このため、色情報を取得するためのＲやＢの画素２０１Ｒ、２０１Ｂに多少の欠損が生じても、人間は画質劣化に気づきにくい。そこで、本実施形態では、２行×２列の４つの画素２０１のうちの２つのＧの画素２０１Ｇについては撮像用の画素として残し、Ｒの画素２０１ＲとＢの画素２０１Ｂの位置に、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢをそれぞれ配している。図４（ａ）において、ＳＨＡは、Ｒの画素２０１Ｒの位置に配された位相差検出用の画素２０１ＳＨＡを概念的に示しており、ＳＨＢは、Ｂの画素２０１Ｂの位置に配された位相差検出用の画素２０１ＳＨＢを概念的に示している。上述したように、位相差ＡＦ行には、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢのみならず撮像用の画素２０１Ｇも位置している。複数の位相差検出用の画素２０１ＳＨＡは、第１の位相差検出用画素群を構成している。複数の位相差検出用の画素２０１ＳＨＢは、第２の位相差検出用画素群を構成している。
【００５１】
図４（ｂ）は、図４（ａ）のＢ−Ｂ線断面に対応している。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢにおいても、撮像用の画素２０１Ｒ、２０１Ｇ、２０１Ｂと同様に、半導体基板３０１にフォトダイオードＰＤが形成されている。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号は画像には用いられないため、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢには、色分離用のカラーフィルタＣＦＲ、ＣＦＢの代わりに透明膜（白色膜）ＣＦＷが配されている。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢにおいては、瞳分割を実現するため、配線層ＣＬが、開口部ＯＰＨＡ、ＯＰＨＢを有する遮光部を構成している。ｘ方向において瞳分割を行うため、開口部ＯＰＨＡ、ＯＰＨＢはマイクロレンズＭＬの中心に対してｘ方向に偏在している。位相差検出用の画素２０１ＳＨＡの開口部ＯＰＨＡは、マイクロレンズＭＬの中心に対して−ｘ方向に偏在している。このため、位相差検出用の画素２０１ＳＨＡのフォトダイオードＰＤは、撮像光学系ＴＬの射出瞳に含まれる複数の瞳領域ＥＰＨＡ、ＥＰＨＢのうちの＋ｘ側の瞳領域、即ち、第１の瞳領域ＥＰＨＡを通過した光束を受光する。画素２０１ＳＨＡは、撮像光学系ＴＬの射出瞳の第１の瞳領域ＥＰＨＡを通過する光束に応じた信号を取得する。一方、位相差検出用の画素２０１ＳＨＢの開口部ＯＰＨＢは、マイクロレンズの中心に対して＋ｘ方向に偏在している。このため、位相差検出用の画素２０１ＳＨＢのフォトダイオードＰＤは、撮像光学系ＴＬの射出瞳に含まれる複数の瞳領域ＥＰＨＡ、ＥＰＨＢのうちの−ｘ側の瞳領域、即ち、第２の瞳領域ＥＰＨＢを通過した光束を受光する。画素２０１ＳＨＢは、撮像光学系ＴＬの射出瞳の第２の瞳領域ＥＰＨＢを通過する光束に応じた信号を取得する。
【００５２】
ｘ方向に規則的に配列された複数の位相差検出用の画素２０１ＳＨＡ、即ち、第１の位相差検出用画素群によって取得された被写体像を、第１の像とする。また、ｘ方向に規則的に配列された複数の位相差検出用の画素２０１ＳＨＢ、即ち、第２の位相差検出用画素群によって取得された被写体像を、第２の像とする。そして、第１の像と第２の像との相対な位置ずれ量、即ち、位相差を検出することによって、当該位相差に基づいて被写体に対するフォーカスレンズのデフォーカス量Ｄｆを算出することができる。
【００５３】
画素２０１から列信号線２０２ａ、２０２ｂに出力される信号は、カラムＡＤＣブロック２１１によってアナログからデジタルに変換される。カラムＡＤＣブロック２１１によってデジタルに変換された信号は、列走査回路２１３ａ、２１３ｂによってカラムＡＤＣブロック２１１から水平信号線２１５ａ、２１５ｂにそれぞれ出力される。水平信号線２１５ａに出力される信号Ｒ、Ｇｒ、Ｇｂ、Ｂは、補間処理部２１９に出力される。一方、水平信号線２１５ｂに出力される信号は、スイッチ２１６を介して出力される。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ、ＳＨＢは、スイッチ２１６を第１の設定にすることによって、位相差評価値算出部２１７に入力される。位相差ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ、Ｇｂは、スイッチ２１６を第２の設定にすることによって、補間処理部２１９に入力される。
【００５４】
位相差評価値算出部２１７は、水平信号線２１５ｂとスイッチ２１６とを介して位相差評価値算出部２１７に送信される信号ＳＨＡ、ＳＨＢに基づいて、相関演算によって位相差評価値を算出する。即ち、位相差評価値算出部２１７は、位相差検出方式による焦点検出のための位相差評価値を、画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ、ＳＨＢに基づいて算出する。位相差評価値算出部２１７によって算出された位相差評価値は、固体撮像素子１０２に設けられた出力端子２２３を介して制御部１０６に出力される。位相差評価値算出部２１７は、画素アレイ２０６によって取得される画像信号の信号処理部１０４への出力の完了の如何にかかわらず、位相差評価値の算出が完了し次第、当該位相差評価値を制御部１０６に出力する。
【００５５】
補間処理部２１９には、通常行から読み出される信号Ｒ、Ｇｒ、Ｇｂ、Ｂが水平信号線２１５ａを介して送信され、位相差ＡＦ行から読み出される信号Ｇｒ、Ｇｂが水平信号線２１５ｂとスイッチ２１６とを介して送信される。補間処理部２１９は、これらの信号を適宜用いて補間処理を行う。
【００５６】
図６は、補間処理を概念的に示す図である。図６（ａ）は、位相差検出用の画素２０１ＳＨＡが位置している箇所において欠損しているＲの信号を、補間処理によって取得する様子を示している。補間処理部２１９は、画素アレイ２０６によって取得される画像信号に生ずる欠損であって、複数の画素のうちに位相差検出用画素が含まれていることによって生ずる欠損を補うための信号を、位相差検出用画素以外の画素からの信号を用いた補間により生成する。即ち、補間処理部２１９は、位相差検出用の画素２０１ＳＨＡ以外の画素２０１からの信号を用いて、当該位相差検出用の画素２０１ＳＨＡが位置している箇所において欠損しているＲの信号を補間処理によって生成する。より具体的には、補間処理部２１９は、位相差検出用の画素２０１ＳＨＡの周辺に位置している６つの画素２０１Ｒからの信号を加算平均することによって、当該位相差検出用の画素２０１ＳＨＡが位置している箇所において欠損しているＲの信号を取得する。また、図６（ｂ）は、位相差検出用の画素２０１ＳＨＢが位置している箇所において欠損しているＢの信号を、補間処理によって取得する様子を示している。補間処理部２１９は、位相差検出用の画素２０１ＳＨＢ以外の画素２０１からの信号を用いて、当該位相差検出用の画素２０１ＳＨＢが位置している箇所において欠損しているＢの信号を補間処理によって生成する。より具体的には、補間処理部２１９は、位相差検出用の画素２０１ＳＨＢの周辺に位置している６つの画素２０１Ｂからの信号を加算平均することによって、当該位相差検出用の画素２０１ＳＨＢが位置している箇所において欠損しているＢの信号を取得する。なお、水平信号線２１５ｂを介して送信される信号Ｇｒ、Ｇｂに対しては、通常は特段の補正処理は行われない。しかし、水平信号線２１５ｂを介して送信される信号Ｇｒ、Ｇｂと、水平信号線２１５ａを介して送信される信号Ｇｒ、Ｇｂとの特性の差に基づいて、水平信号線２１５ｂを介して送信される信号Ｇｒ、Ｇｂに対して適宜補正処理を行うようにしてもよい。
【００５７】
位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが位置している箇所に対応する信号であって、補間処理部２１９による補間処理によって生成された信号Ｒ、Ｂが、コントラスト評価値算出部２１８と信号処理部１０４とに送信される。また、位相差ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ、Ｇｂが、補間処理部２１９を介してコントラスト評価値算出部２１８と信号処理部１０４とに送信される。また、通常行に位置する撮像用の画素２０１からの信号Ｒ、Ｇｒ、Ｇｂ、Ｂが、補間処理部２１９を介してコントラスト評価値算出部２１８に送信される。コントラスト評価値算出部２１８は、コントラスト検出方式による焦点検出のためのコントラスト評価値を、補間処理部２１９による補間によって生成された信号を含む画像信号に基づいて算出するものである。コントラスト評価値算出部２１８は、コントラスト演算を行うことにより、補間処理が施された画像信号に基づいてコントラスト評価値を算出する。コントラスト評価値算出部２１８によって算出されたコントラスト評価値は、固体撮像素子１０２に設けられた出力端子２２４を介して制御部１０６に出力される。コントラスト評価値算出部２１８は、画素アレイ２０６によって取得される画像信号の信号処理部１０４への出力の完了の如何にかかわらず、コントラスト評価値の算出が完了し次第、当該コントラスト評価値を制御部１０６に出力する。
【００５８】
本実施形態では、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢにおいて生じるＲやＢの信号の欠損が、補間処理部２１９による補間処理によって解消される。このため、本実施形態では、位相差ＡＦ行を含む広い範囲からの信号に基づいてコントラスト評価値を算出し得る。位相差ＡＦ行を含む広い範囲からの信号に基づいてコントラスト評価値を算出するため、本実施形態によれば、高精度なコントラスト評価値を得ることができる。
【００５９】
また、本実施形態では、かかる欠損が補間処理部２１９によって解消されるため、第１の画像信号と、欠損が解消された第２の画像信号とを用いて、間引きをしない高精細な画像信号を得ることができる。かかる画像信号は、例えば、ライブビュー表示の際には、ライブビュー用の画像に用いられる。
ここでは、列信号線２０２ａと水平信号線２１５ａとを介して第１の画像信号を出力する経路を第１のチャネルＣＨ１と称し、列信号線２０２ｂと水平信号線２１５ｂとを介して第２の画像信号を出力する経路を第２のチャネルＣＨ２と称することとする。
【００６０】
図７は、本実施形態による撮像装置の動作を示すタイムチャートである。図７は、オートフォーカス動作を行いつつライブビュー表示を行うモード、即ち、ＡＦ評価モードでの動作を示している。
【００６１】
ＡＦ評価モードは、制御部１０６からのＡＦ制御信号がＯＮ状態になることによって開始される。ＡＦ制御信号がＯＮ状態となるタイミングをＴ０とする。タイミングＴ０においては、垂直同期信号ＶＤがＨｉｇｈレベルからＬｏｗレベルに変化する。垂直同期信号ＶＤと同期して、第１の画像信号の取得、即ち、通常行に位置する画素２０１からの信号の取得と、第２の画像信号の取得、即ち、位相差ＡＦ行に位置する画素２０１からの信号の取得とが開始される。上述したように、第１の画像信号は第１のチャネルＣＨ１を介して出力され、第２の画像信号は第２のチャネルＣＨ２を介して出力される。
【００６２】
Ｔ０〜ＴＦ１の期間においては、位相差ＡＦ行に位置する画素２０１ＳＨＡ、２０１ＳＨＢからの信号の読み出しが行われる。位相差ＡＦ行に位置する画素２０１ＳＨＡ、２０１ＳＨＢからの信号の読み出しは、通常行に位置する画素２０１からの信号の読み出しと並行して行われる。位相差ＡＦ行に位置する画素２０１ＳＨＡ、２０１ＳＨＢから読み出された位相差評価用の信号ＳＨＡ、ＳＨＢは、水平信号線２１５ｂとスイッチ２１６とを介して位相差評価値算出部２１７に送信される。そして、ＴＦ１〜ＴＦ２の期間においては、位相差評価値算出部２１７によって位相差評価値が算出される。ＴＦ２〜ＴＦ３の期間においては、位相差評価値算出部２１７によって算出された位相差評価値が制御部１０６に出力される。
【００６３】
Ｔ０からＴＦ１Ｃの期間においては、画像信号の取得、即ち、ライブビュー用の信号の取得が行われる。第１の画像信号と、欠損が解消された第２の画像信号とによって、かかる画像信号が構成される。ＴＦ１ＣからＴＦ２Ｃの期間においては、補間処理部２１９によって補間処理が施された信号に基づいて、コントラスト評価値算出部２１８によってコントラスト評価値が算出される。ＴＦ２Ｃ〜ＴＦ３Ｃの期間においては、コントラスト評価値算出部２１８によって算出されたコントラスト評価値が制御部１０６に出力される。
【００６４】
垂直同期信号ＶＤは、所定の時間間隔ΔＴ毎にＬｏｗレベルに変化する。なお、Ｌｏｗレベルに変化した垂直同期信号は、所定時間経過後にＨｉｇｈレベルに戻る。かかる所定の時間間隔ΔＴは、１フレーム分のライブビュー用の信号の取得に要する期間と、コントラスト評価値が算出される期間と、コントラスト評価値を出力する期間との和に相当している。即ち、所定の時間間隔ΔＴは、１フレーム分のライブビュー用信号取得期間と、コントラスト評価値算出期間と、コントラスト評価値出力期間との和に相当している。本実施形態では、所定の時間間隔ΔＴ内において、ＡＦ評価が例えば３回行われる。位相差評価用の信号の取得、即ち、第２の画像信号の取得は、ライブビュー用の信号の取得、即ち、第１の画像信号の取得と独立且つ並行して行われる。
【００６５】
制御部１０６は、所望の合焦状態が得られるか否かを判定し、所望の合焦状態が得られる場合には、ＡＦ制御信号をＯＦＦ状態、即ち、Ｌｏｗレベルに戻す。図７においては、タイミングＴ１が、ＡＦ制御信号がＯＦＦ状態になるタイミングを示している。ＡＦ制御信号がＯＦＦ状態になると、ＡＦ評価が中止され、ライブビュー用の画像の取得が継続して行われる。
【００６６】
図８は、本実施形態による撮像装置の動作を示すフローチャートである。
ユーザによる操作部１０８の操作によって撮像装置１００の電源がＯＮ状態になると、制御部１０６は、撮像装置１００を待機状態にする。制御部１０６は、ＡＦ評価モードで撮像装置１００を動作させることを要するか否かを、ユーザによる操作部１０８の操作等に基づいて判定する（ステップＳ８０１）。ＡＦ評価モードで撮像装置１００を動作させることを要しない場合には（ステップＳ８０１においてＮＯ）、ライブビュー用信号の取得を開始する（ステップＳ８０２）。そして、ライブビュー用信号の取得によって得られるライブビュー画像を画像表示部１０９に表示する（ステップＳ８２０）。一方、ＡＦ評価モードで撮像装置１００を動作させることを要する場合には（ステップＳ８０１においてＹＥＳ）、制御部１０６は、ＡＦ制御信号をＯＮ状態にし（ステップＳ８０３）、位相差評価用の信号の取得回数ｎを０に設定する（ステップＳ８０４）。
【００６７】
この後、制御部１０６は、ライブビュー用の信号の取得を固体撮像素子１０２に開始させるとともに（ステップＳ８１２）、位相差評価用の信号の取得を固体撮像素子１０２に開始させる（ステップＳ８０５）。制御部１０６は、位相差評価用の信号の取得を固体撮像素子１０２に開始させた後、位相差評価用の信号の取得回数ｎをインクリメントする（ステップＳ８０６）。この後、位相差評価値の算出が位相差評価値算出部２１７によって行われる（ステップＳ８０７）。位相差評価値の算出においては、ステップＳ８０５において取得された位相差評価用の信号ＳＨＡ、ＳＨＢに基づいて、位相差評価値算出部２１７が位相差評価値の算出を行い、これにより、デフォーカス量Ｄｆが得られる。位相差評価値算出部２１７は、デフォーカス量Ｄｆの算出を完了し次第、位相差評価値、具体的には、デフォーカス量Ｄｆを制御部１０６に出力する。この後、ステップＳ８０８に移行する。
【００６８】
ステップＳ８０７が行われるのと並行して、ステップＳ８１３が行われる。ステップＳ８１３では、補間処理部２１９によって補間処理が行われる。この後、ライブビュー用の信号の読み出しが完了するのを待って、コントラスト評価値の算出がコントラスト評価値算出部２１８によって行われる（ステップＳ８１４）。コントラスト評価値の算出においては、コントラストＡＦ行から読み出された信号であって、適宜補間処理が施された信号に基づいて、コントラスト評価値算出部２１８がコントラスト評価値ＡＦ＿Ｋの算出を行う。コントラスト評価値算出部２１８は、コントラスト評価値ＡＦ＿Ｋの算出を完了し次第、コントラスト評価値ＡＦ＿Ｋを制御部１０６に出力する。コントラスト評価値ＡＦ＿Ｋは、ステップＳ８１５において用いられる。
【００６９】
ステップＳ８０８においては、制御部１０６は、ステップＳ８０７において算出されたデフォーカス量Ｄｆが、所望のデフォーカス量の範囲内であるか否かを、以下の式（１）に基づいて判定する。
Ｄｆ＿ｍｉｎ＜Ｄｆ＜Ｄｆ＿ｍａｘ  ・・・・（１）
ここで、Ｄｆ＿ｍｉｎ、Ｄｆ＿ｍａｘは、所望のデフォーカス量Ｄｆの最小値と最大値であり、例えば、制御部１０６に備えられたＲＯＭに予め格納されている。なお、これらの値Ｄｆ＿ｍｉｎ、Ｄｆ＿ｍａｘは、設計時に決定されてもよいし、調整時に決定されてもよい。
【００７０】
デフォーカス量Ｄｆが式（１）を満たさない場合には（ステップＳ８０８においてＮＯ）、ステップＳ８０９に移行する。ステップＳ８０９では、当該デフォーカス量Ｄｆに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。そして、制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（位相差ＡＦ制御）。ステップＳ８１０では、制御部１０６は、位相差評価用の信号の取得回数ｎが３であるか否かを判定する。位相差評価用の信号の取得回数ｎが３でない場合には、ステップＳ８０５に戻る。一方、位相差評価用の信号の取得回数ｎが３である場合には、ライブビュー表示を行った（ステップＳ８１７）後、ステップＳ８０４に戻る。
【００７１】
デフォーカス量Ｄｆが式（１）を満たす場合には（ステップＳ８０８においてＹＥＳ）、ステップＳ８１１に移行する。ステップＳ８１１では、制御部１０６は、位相差評価用の信号の取得回数ｎが３であるか否かを判定する。位相差評価用の信号の取得回数ｎが３でない場合には（ステップＳ８１１においてＮＯ）、ステップＳ８０５に戻る。一方、位相差評価用の信号の取得回数ｎが３である場合には（ステップＳ８１１においてＹＥＳ）、ステップＳ８１５に移行する。
【００７２】
ステップＳ８１５では、ステップＳ８１４において取得されたコントラスト評価値ＡＦ＿Ｋが、所望のコントラスト量の範囲内であるか否かを、以下の式（２）に基づいて判定する。
Ｋ＿ｍｉｎ＜ＡＦ＿Ｋ＜Ｋ＿ｍａｘ  ・・・・（２）
ここで、Ｋ＿ｍｉｎ、Ｋ＿ｍａｘは、所望のコントラスト評価値ＡＦ＿Ｋの最小値と最大値であり、例えば制御部１０６内に備えられたＲＯＭに格納されている。なお、これらの値Ｋ＿ｍｉｎ、Ｋ＿ｍａｘは、設計時に決定されてもよいし、調整時に決定されてもよい。
【００７３】
コントラスト評価値ＡＦ＿Ｋが式（２）を満たさない場合には（ステップＳ８１５においてＮＯ）、ステップＳ８１６に移行する。ステップＳ８１６では、当該コントラスト評価値ＡＦ＿Ｋに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。そして、制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（コントラストＡＦ制御）。この後、ステップＳ８１７に移行する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たす場合には（ステップＳ８１５においてＹＥＳ）、制御部１０６はＡＦ制御信号をＯＦＦ状態にする（ステップＳ８１８）。この後、制御部１０６は、位相差評価用の信号の取得を終了させ（ステップＳ８１９）、ステップＳ８１２において取得したライブビュー用の信号を画像表示部１０９に表示する（ステップＳ８２０）。
【００７４】
このように、本実施形態によれば、画素アレイ２０６に位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれていることによって画像信号に生ずる欠損を、位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢ以外の画素２０１からの信号を用いて補間する。そして、補間された画像信号に基づいて、コントラスト検出方式による焦点検出のためのコントラスト評価値を算出する。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢを含む行を含む広い範囲の画像信号に基づいてコントラスト評価値を算出し得るため、本実施形態によれば、高精度なコントラスト評価値を得ることができる。即ち、本実施形態によれば、画素アレイ２０６を構成する複数の画素２０１のうちに位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれているにもかかわらず、高精度なコントラスト評価値を得ることができる。位相差検出用の画素２０１ＳＨＡ、２０１ＳＨＢによって迅速なオートフォーカスが可能であるため、本実施形態によれば、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。
【００７５】
［第２実施形態］
第２実施形態による固体撮像素子及びその制御方法並びに撮像装置について図９及び図１０を用いて説明する。図１乃至図８に示す第１実施形態による固体撮像素子及びその制御方法並びに撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による撮像装置１００は、静止画像の連続的な取得、即ち、静止画像の連写を行うものである。
【００７６】
図９は、本実施形態による撮像装置の動作を示すタイムチャートである。静止画像を連続的に取得するモードである静止画像連写モードは、制御部１０６からの静止画像連写制御信号がＯＮ状態になることによって開始される。制御部１０６は、光学機構部１０１１に備えられたメカニカルシャッタ機構や絞り機構等を、駆動部１０３を介して制御しつつ、駆動部１０３を介して固体撮像素子１０２を制御する。具体的には、画素２０１に対してリセット動作を行い、メカニカルシャッタ（シャッタ）を開くことによって画素２０１への露光を開始する。画素２０１への露光が開始されると、フォトダイオードＰＤによって光電変換が開始される。予め設定された露出条件を満たすような所定の露光時間が経過した後、制御部１０６は、駆動部１０３を介してシャッタを閉じる。シャッタが閉じられることによって、画素２０１への露光が完了する。画素２０１への露光が完了すると、第１の画像信号の取得、即ち、静止画像用の信号の取得と、第２の画像信号の取得、即ち、位相差評価用の信号の取得とが開始される。第１の画像信号の取得と第２の画像信号の取得とが開始されるタイミングは、ＴＦ０である。第１の画像信号は第１のチャネルＣＨ１を介して出力され、第２の画像信号は第２のチャネルＣＨ２を介して出力される。第１の画像信号を取得する際の選択行と、第２の画像信号を取得する際の選択行は、例えば、図５を用いて上述した第１実施形態の場合と同様とすることができる。
【００７７】
ＴＦ０〜ＴＦ１の期間においては、水平信号線２１５ｂとスイッチ２１６とを介して、位相差評価用の信号ＳＨＡ、ＳＨＢが位相差評価値算出部２１７に送信される。そして、ＴＦ１〜ＴＦ２の期間においては、位相差評価値算出部２１７によって位相差評価値が算出される。ＴＦ２〜ＴＦ３の期間においては、位相差評価値算出部２１７によって算出された位相差評価値が制御部１０６に出力される。制御部１０６は、位相差評価値に基づいて、光学鏡筒１０１に備えられたフォーカスレンズを、駆動部１０３を介して駆動する。
【００７８】
ＴＦ０〜ＴＦ１Ｃの期間においては、静止画像用の信号の取得が行われる。ＴＦ１Ｃ〜ＴＦ２Ｃの期間においては、コントラスト評価値算出部２１８によってコントラスト評価値が算出される。ＴＦ２Ｃ〜ＴＦ３Ｃの期間においては、コントラスト評価値算出部２１８によって算出されたコントラスト評価値が制御部１０６に出力される。制御部１０６は、コントラスト評価値に基づいて、光学鏡筒１０１に備えられたフォーカスレンズを、駆動部１０３を介して駆動する。フォーカスレンズの駆動が完了し、静止画像連写モードが終了していない場合には、次の静止画像の取得に移行する。
【００７９】
図１０は、本実施形態による撮像装置の動作を示すフローチャートである。まず、ユーザによる操作部１０８への操作入力に応じて、制御部１０６は、撮像装置１００を待機状態から静止画像連写モードに移行させる。ステップＳ１００１においては、制御部１０６は、駆動部１０３を介して、光学機構部１０１１に備えられたメカニカルシャッタを開く。これにより、画素２０１への露光が開始され、フォトダイオードＰＤによって光電変換が開始され、電荷の蓄積が開始される（ステップＳ１００２）。所定の露光時間が経過した後、制御部１０６は、駆動部１０３を介して、光学機構部１０１１に備えられたメカニカルシャッタを閉じる（ステップＳ１００３）。
【００８０】
次に、制御部１０６は、静止画像用の信号の取得を固体撮像素子１０２に開始させるとともに（ステップＳ１００７）、位相差評価用の信号の取得を固体撮像素子１０２に開始させる（ステップＳ１００４）。この後、位相差評価値の算出が位相差評価値算出部２１７によって行われる（ステップＳ１００５）。位相差評価値の算出（ステップＳ１００５）においては、ステップＳ１００４において取得された位相差評価用の信号ＳＨＡ、ＳＨＢに基づいて、位相差評価値算出部２１７が位相差評価値の算出を行い、これにより、デフォーカス量Ｄｆが得られる。位相差評価値算出部２１７は、位相差評価値の算出を完了し次第、位相差評価値、具体的には、デフォーカス量Ｄｆを制御部１０６に出力する。この後、ステップＳ１００６に移行する。
【００８１】
ステップＳ１００６においては、制御部１０６は、ステップＳ１００５において算出されたデフォーカス量Ｄｆが、所望のデフォーカス量の範囲内であるか否かを、第１実施形態において上述した式（１）に基づいて判定する。デフォーカス量Ｄｆが式（１）を満たさない場合には（ステップＳ１００６においてＮＯ）、ステップＳ１０１０に移行する。ステップＳ１０１０では、デフォーカス量Ｄｆに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。ステップＳ１０１０では、制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（位相差ＡＦ制御）。この後、ステップＳ１０１３に移行する。デフォーカス量Ｄｆが式（１）を満たす場合には（ステップＳ１００６においてＹＥＳ）、ステップＳ１０１１に移行する。
【００８２】
ステップＳ１００５が行われるのと並行して、ステップＳ１００８が行われる。ステップＳ１００８では、補間処理部２１９によって補間処理が行われる。この後、ライブビュー用の信号の読み出しが完了するのを待って、コントラスト評価値の算出がコントラスト評価値算出部２１８によって行われる（ステップＳ１００９）。コントラスト評価値の算出においては、コントラストＡＦ行から読み出された信号であって、適宜補間処理が施された信号に基づいて、コントラスト評価値算出部２１８がコントラスト評価値ＡＦ＿Ｋの算出を行う。コントラスト評価値算出部２１８は、コントラスト評価値ＡＦ＿Ｋの算出を完了し次第、コントラスト評価値ＡＦ＿Ｋを制御部１０６に出力する。コントラスト評価値ＡＦ＿Ｋは、ステップＳ１０１１において用いられる。
【００８３】
ステップＳ１０１１では、ステップＳ１００９において取得されたコントラスト評価値ＡＦ＿Ｋが、所望のコントラスト量の範囲内であるか否かを、第１実施形態において上述した式（２）に基づいて判定する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たさない場合には（ステップＳ１０１１においてＮＯ）、ステップＳ１０１２に移行する。ステップＳ１０１２では、当該コントラスト評価値ＡＦ＿Ｋに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（コントラストＡＦ制御）。この後、ステップＳ１０１３に移行する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たす場合には（ステップＳ１０１１においてＹＥＳ）、ステップＳ１０１３に移行する。
【００８４】
ステップＳ１０１３では、ユーザによる操作部１０８の操作入力に応じて、制御部１０６が、静止画像連写モードを終了させるか否かを判定する。静止画像連写モードを終了させない場合には（ステップＳ１０１３においてＮＯ）、ステップＳ１００１に戻り、次の静止画像の取得を開始する。一方、静止画像連写モードを終了させる場合には（ステップＳ１０１３においてＹＥＳ）、次の静止画像の取得を行わず、待機状態に移行する。
このように、静止画像の連写を行う場合にも本発明を適用し得る。本実施形態においても、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。
【００８５】
［変形実施形態］
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
【００８６】
例えば、上記実施形態では、撮像装置１００がデジタルカメラである場合を例に説明したが、撮像装置１００はデジタルカメラに限定されるものではない。例えば、撮像装置１００は、デジタルビデオカメラであってもよいし、携帯情報端末の機能と携帯電話機の機能とを併せ持つ電子機器であるスマートフォンであってもよい。また、撮像装置１００は、例えば、タブレット端末、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等であってもよい。
【００８７】
また、第１実施形態では、ライブビュー表示を行いつつオートフォーカス動作を行う場合を例に説明したが、これに限定されるものでない。例えば、動画像の撮影を行いつつオートフォーカス動作を行う場合にも本発明を適用し得る。
【００８８】
また、上記実施形態では、ＡＦ評価値を固体撮像素子１０２から制御部１０６に出力し、制御部１０６が駆動部１０３を介して光学機構部１０１１を制御する場合を例に説明したが、これに限定されるものではない。例えば、オートフォーカス動作を司る機能ブロックに固体撮像素子１０２からＡＦ評価値を直接出力するようにしてもよい。
【００８９】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００・・・撮像装置
１０１・・・光学鏡筒
１０２・・・固体撮像素子
１０２１・・・ＡＦ評価値算出部
１０３・・・駆動部
１０６・・・制御部
２０１・・・画素
２１７・・・位相差評価値算出部
２１８・・・コントラスト評価値算出部
２１９・・・補間処理部
【図１】
2018066931.tif 000003
【図２−１】
2018066931.tif 000004
【図２−２】
2018066931.tif 000005
【図３】
2018066931.tif 000006
【図４】
2018066931.tif 000007
【図５（ａ）】
2018066931.tif 000008
【図５（ｂ）】
2018066931.tif 000009
【図６】
2018066931.tif 000010
【図７】
2018066931.tif 000011
【図８】
2018066931.tif 000012
【図９】
2018066931.tif 000013
【図１０】
2018066931.tif 000014