(57)【要約】【課題】１つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつＡＦ性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供する。【解決手段】撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、分光透過率が異なる複数のカラーフィルタに対応して設けられたマイクロレンズ、を有する撮像装置の撮像方法において、画素群から焦点検出信号を読み出し（Ｓ１、Ｓ３）、焦点検出信号に基づいて、被写体の色情報を検出し（Ｓ５）、検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出す（Ｓ７）。【選択図】  図７
2017194558.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、
上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、
上記カラーフィルタに対応して設けられたマイクロレンズと、
被写体の色情報を検出する色情報検出部と、
上記画素群から焦点検出信号を読み出す画素信号読出部と、
を備え、
上記画素信号読出部は、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出すことを特徴とする撮像装置。
【請求項２】
上記画素信号読出部は、上記画素群から画像信号及び焦点検出信号を読み出し、上記画像信号及び上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号を読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記画素信号読出部は、上記画像信号として上記単位画素から上記複数の画素のすべての信号を読み出し、上記焦点検出信号を読み出すときは、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画素信号読出部による信号の読出し周期を可変にすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を抽出する信号抽出部を有し、
上記色情報検出部は、上記画像信号に基づいて上記色情報を検出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を用いて、上記一方向と異なる方向に基づく焦点検出信号を抽出する信号抽出部を有し、
上記色情報検出部は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、上記一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、
上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、
上記カラーフィルタに対応して設けられたマイクロレンズと、
を有する撮像装置の撮像方法において、
上記画素群から焦点検出信号を読み出し、
上記焦点検出信号に基づいて、被写体の色情報を検出し、
検出された被写体の上記色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置および撮像方法に関し、詳しくは、１つのマイクロレンズに対して複数のフォトダイオードを配置している撮像素子を備えた撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像機能を備えた電子機器においては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子が使用されている。
【０００３】
焦点検出に撮像素子中の個々画素にマイクロレンズを配置し、このマイクロレンズで集光される個々のフォトダイオードの領域を分割し、分割された領域から出力される信号に基づいて、位相差方式の焦点検出を行う技術が知られている（例えば、特許文献１参照）。特許文献１に開示の撮像装置においては、１つの画素の中のフォトダイオードを２つに分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。この分割された２つのフォトダイオードの出力を比較することにより、撮像レンズの焦点状態を検出している。これによって、撮像装置は撮像素子から取り込んだ画像をリアルタイムで表示（ライブビュー）すると同時に、位相差方式による焦点検出を行うことができる。
【０００４】
上述した撮像素子面にマイクロレンズを配置し、位相差方式で焦点検出を行う技術においては、より多くのフォトダイオード出力を利用した方が、焦点検出の精度を高めることができる。しかし、より多くのフォトダイオード出力を利用すると、撮像素子からのデータ読み出し量が増加してしまう。リアルタイムで撮像素子から画像を取り込むことを前提とすると、表示用の画像データと、位相差検出用の画像データの両方を読み出す必要がある。このため、撮像素子からの読み出し周期と、撮像素子の読み出し時間の差、すなわちブランキング期間が短くなり、撮像素子の動作時間が長くなる。この結果、撮像素子で消費される電力が増加し、それに伴って熱の発生量も増加する。ＣＭＯＳイメージセンサなどの撮像素子は、温度上昇とともにセンサのノイズレベルが上昇する傾向があり、撮影画像へ影響を与える可能性がある。また、バッテリを搭載した携帯型の撮像装置の場合、消費電力の増加は、使用時間の低下をまねいてしまう。
【０００５】
そこで、特許文献２に開示の撮像装置においては、温度を検出し、この温度が閾値を超えた場合、または電池残量を検出し、この電池残量が閾値を下回った場合に、位相差検出用の画像データの読み出しを止める事によってブランキング期間を増やし、消費電力を抑えるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２０１５−１６６７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献２では、温度が閾値を超えた場合、または電池残量が閾値を下回った場合に位相差検出用の画像データの読み出しを止めてブランキング期間を増やしている。この場合、位相差検出用の画像データの読み出しを行っていないことから、表示用の画像データに基づいてコントラスト評価値を取得し、このコントラスト評価値を用いて、コントラストＡＦよって焦点検出動作を行う。
【０００８】
このように、上述の従来技術では、位相差ＡＦからコントラストＡＦへと、ＡＦ方式自体を変更しているため、ＡＦ性能の変化が起こる恐れがある。また、場合によっては位相差検出していた時と違う被写体位置にＡＦしてしまう。またコントラストＡＦの場合、ピントを手前側に合わせるのか奥側に合わせるのかを一瞬で検出できないため、レンズを高速で前後させて被写体のコントラストをチェックするウォブリング動作を行う。このため、ライブビューの見えを悪化させてしまう。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、１つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつＡＦ性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため第１の発明に係る撮像装置は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、上記カラーフィルタに対応して設けられたマイクロレンズと、被写体の色情報を検出する色情報検出部と、上記画素群から焦点検出信号を読み出す画素信号読出部と、を備え、上記画素信号読出部は、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
【００１１】
第２の発明に係る撮像装置は、上記第１の発明において、上記画素信号読出部は、上記画素群から画像信号及び焦点検出信号を読み出し、上記画像信号及び上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号を読み出す。
【００１２】
第３の発明に係る撮像装置は、上記第２の発明において、上記画素信号読出部は、上記画像信号として上記単位画素から上記複数の画素のすべての信号を読み出し、上記焦点検出信号を読み出すときは、上記色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
第４の発明に係る撮像装置は、上記第１の発明において、上記画素信号読出部による信号の読出し周期を可変にする。
【００１３】
第５の発明に係る撮像装置は、上記第１の発明において、上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を抽出する信号抽出部を有し、上記色情報検出部は、上記画像信号に基づいて上記色情報を検出する。
【００１４】
第６の発明に係る撮像装置は、上記第１の発明において、上記異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号と、全ての瞳領域を通過した光束に基づく画像信号を用いて、上記一方向と異なる方向に基づく焦点検出信号を抽出する信号抽出部を有し、上記色情報検出部は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、上記一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出する。
【００１５】
第７の発明に係る撮像方法は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群と、上記単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタと、上記カラーフィルタに対応して設けられたマイクロレンズと、を有する撮像装置の撮像方法において、上記画素群から焦点検出信号を読み出し、上記焦点検出信号に基づいて、被写体の色情報を検出し、検出された被写体の上記色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
【発明の効果】
【００１６】
本発明によれば、１つのマイクロレンズに対して複数フォトダイオードが配置されている撮像素子を備えた撮像装置において、消費電力を抑えつつＡＦ性能の変化がなく、ライブビュー表示での見えが悪化することのない撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態に係る撮像装置の主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係る撮像装置中の撮像素子の主として電気的構成を示すブロック図である。
【図３】本発明の第１実施形態に係る撮像装置中の撮像素子における１画素の構成を示す平面図である。
【図４】本発明の第１実施形態に係る撮像装置中の撮像素子における画素配列を示す平面図である。
【図５】本発明の第１実施形態に係る撮像装置において、位相差検出方式を行うための光学系を説明するための模式図である。
【図６】本発明の第１実施形態に係る撮像装置において、画像信号処理部とその周辺の電気的構成を示すブロック図である。
【図７】本発明の第１実施形態に係る撮像装置のライブビュー動作を示すフローチャートである。
【図８】本発明の第１実施形態に係る撮像装置の色演算処理結果に応じた読み出しの動作を示すフローチャートである。
【図９】本発明の第１実施形態に係る撮像装置における読出しモードを示すタイミングチャートである。
【図１０】本発明の第１実施形態に係る撮像装置において色演算処理の際に使用する判定値の関係を示すグラフである。
【図１１】本発明の第２実施形態に係る撮像装置において、画像信号処理部とその周辺の電気的構成を示すブロック図である。
【図１２】本発明の第２実施形態に係る撮像装置のライブビュー動作を示すフローチャートである。
【図１３】本発明の第２実施形態に係る撮像装置において色演算処理の際に使用する判定値の関係を示すグラフである。
【発明を実施するための形態】
【００１８】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の第１実施形態にかかわる撮像装置１００の概略構成図である。なお、本実施形態においては、撮像装置としてデジタルカメラに適用した例について説明する。
【００１９】
撮像レンズ１０１は、被写体の光学像を撮像素子１０３上に結像させる。この撮像レンズ１０１は、フォーカスレンズおよびズームレンズを有し、システム制御部１０４によってズーム制御およびフォーカス制御がなされる。また、撮像レンズ１０１中には、絞りが配置され、システム制御部１０４によって絞り制御が行われる。なお、撮像レンズ１０１が単焦点レンズの場合にはズームレンズが省略される。また撮像レンズ１０１中の絞りを省略してもよく、この場合にはシャッタ速度やＩＳＯ感度等のみによって露出制御を行うようにしてもよい。
【００２０】
撮像レンズ１０１の光軸上には、シャッタ１０２が配置される。このシャッタ１０２はメカシャッタで構成され、システム制御部１０４からの制御に従って、撮像レンズ１０１を透過した被写体光の通過（開放状態）および遮光を制御する。静止画撮影の際には、シャッタ１０２によって露光時間が制御される。動画撮影の際や、ライブビュー表示の際には、シャッタ１０２は開放状態にされる。
【００２１】
シャッタ１０２の後方であって、撮像レンズ１０１の光軸上には、撮像素子１０３が配置される。この撮像素子１０３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子で構成される光電変換手段である。撮像素子１０３は、画素（フォトダイオードを有する）がマトリクス状に配置されており、各画素は受光量に応じて画素信号を蓄積する。
【００２２】
撮像素子１０３中には撮像制御回路が設けられており、この撮像制御回路はシステム制御部１０４（後述する図６の撮像駆動制御部６０７参照）からの指示に従って、露光制御と画素信号の読出制御を行う。読み出された画素信号はバス１１０に出力される。したがって、撮像素子１０３は、撮像レンズ１０１、シャッタ１０２からなる撮像光学系で形成された被写体像を光電変換し、画像信号を出力する。撮像素子１０３の詳しい構造については、図２ないし図４を用いて後述する。
【００２３】
システム制御部１０４は、ＣＰＵ（Central Processing Unit）とその周辺回路を含み、内部メモリ１０５に記憶されているプログラムに従って、前述の撮像レンズ１０１、シャッタ１０２、および撮像素子１０３の制御や、他のブロックの制御を行う。例えば、システム制御部１０４は、撮影における露光量を制御したり、撮像タイミングを制御したりする撮像制御部としての機能やＡ／Ｄ変換制御部の一部も有する。システム制御部１０４は、撮像装置１００を統括的に制御する。
【００２４】
内部メモリ１０５は、フラッシュメモリ等の電気的に書き換え可能な不揮発性メモリや、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）等の電気的に書き換え可能な揮発性メモリを有する。内部メモリ１０５は、前述のプログラム以外に、例えば、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶する。
【００２５】
外部メモリ１０８は、ＳＤカードやＣＦカード等の撮像装置１００に装填可能な記憶媒体であり、電気的に書き換え可能な不揮発性メモリを有する。外部メモリ１０８は、画像信号処理部１０７で現像処理された画像データを記録して、撮像装置外部へのデータ移動を可能とする。
【００２６】
表示部１０９は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬ（Electro Luminescence）などのモニタを有し、モニタは本体の背面や接眼部を介して観察可能な位置に配置される（ＥＶＦ（Electronic View Finder：電子ビューファインダ））。表示部１０９は、ライブビュー画像、記録済み画像の再生画像等、画像信号処理部１０７で現像された画像を表示する。また、表示部１０９は、撮影者が撮像装置１００の設定を行うためのメニュー画面等の表示も行う。
【００２７】
入力ＩＦ（Interface）１０６は、パワースイッチ、レリーズ釦、モード設定ダイヤル等の各種操作部材と、これらの各種操作部材の操作状態を検知する検知部、および表示部１０９のモニタへの操作状態を検知するタッチパネル等を有する。入力ＩＦ１０６は、撮影者の操作に基づいて各種のモード設定やレリーズ等の撮影動作の指示を行う。
【００２８】
画像信号処理部１０７は、画像信号処理回路を有する。画像信号処理部１０７は、撮像素子１０３から読み出された画素信号に基づく画像データに対して、ノイズ処理、ＷＢゲイン補正、同時化処理、輪郭強調等の様々な基本的な画像処理を施す。また、画像信号処理部１０７は、位相差画素からの画素信号を抽出し、位相差検出法を用いて、撮像レンズ１０１のデフォーカス量（デフォーカス方向を含む）を検出する。また、画像信号処理部１０７は、撮像素子１０３の画素信号に基づいて、色情報を検出する。画像信号処理部１０７の詳しい構成については、図６を用いて後述する。
【００２９】
次に、図２を用いて、撮像素子１０３の詳しい構成について説明する。画素アレイ部２０１は、各行や各列に、数十から数千の単位画素を配置している。各画素には、フォトダイオードやキャパシタ等が配置されており、撮像レンズ１０１によって形成された被写体像を光電変換し、画素信号を蓄積する。この画素アレイ部２０１は、撮影レンズの異なる瞳領域を通過した光束を受光する複数の画素を含む単位画素がマトリクス状に配置された画素群として機能する。
【００３０】
水平走査部２０５は、画素アレイ部２に対して、列アドレスや列走査を制御する水平アドレス設定部や水平駆動部等を有している。垂直走査部２０２は、行アドレスや行走査を制御する垂直アドレス設定部や垂直駆動部等を有している。通信ＩＦ部２０４は、撮像素子１０３の外からのマスタークロックを受信して、内部クロックを生成するクロック変換機能や、撮像素子１０３の外にある主制御部（本実施形態では撮像装置１０１のシステム制御部１０４）から供給される動作モードなどを指令するデータを受信して、各部を制御する機能を有している。水平走査部２０５と垂直走査部２０２は、画素アレイ部２０１内の各画素から画素信号を読み出し、カラムＡＤ変換部２０３に出力する。
【００３１】
カラムＡＤ変換部２０３は、画素アレイ部２０１から出力されるアナログの画素信号をデジタル信号にＡＤ変換する。カラムＡＤ変換部２０３には、参照信号と画素アレイ部２０１から出力された画素信号を比較する比較部や、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換結果を転送するか否かをスイッチするスイッチ部等を有する。
【００３２】
映像データ変換部２０６は、カラムＡＤ変換部２０３から出力された信号を各種のデジタル演算処理を行なうデジタル演算部や外部とのインタフェース機能をなすためのインタフェース部を有する。この映像データ変換部２０６を介して画像データが撮像素子１０３の外へ出力される。
【００３３】
次に、図３を用いて、撮像素子１０３の画素について説明する。撮像素子１０３には、マトリックス状に多数の画素が配置されており、図３には、そのうちの１画素の構成を示す。１つの画素３００は、マイクロレンズ３０１を有し、このマイクロレンズ３０１の下側に４つのフォトダイオード（以下、「ＰＤ」と称す）３０２ａ〜３０２ｄが配置されている。なお、図３では、４つのＰＤを配置した例を示すが、２つ以上あればよく、例えば、２つのＰＤ、９つのＰＤ等でもよい。
【００３４】
図３に示す例において、複数のフォトダイオード出力を選択して加算させてもよい。例えば、ＰＤ３０２ａとＰＤ３０２ｃ、ＰＤ３０２ｂとＰＤ３０２ｄのＰＤ出力を各々加算し、２つの出力としてもよいし、ＰＤ３０２ａとＰＤ３０２ｂ、ＰＤ３０２ｃとＰＤ３０２ｄのＰＤ出力を各々加算し、２つの出力としてもよい。この場合には、画素信号をアナログで加算してから出力すればよい。さらに、ＰＤ３０２ａ、ＰＤ３０２ｂ、ＰＤ３０２ｃ、ＰＤ３０２ｄのＰＤ出力を各々加算して出力してもよい。この場合には、ＡＤ変換後にデジタルで加算するようにすればよい。
【００３５】
なお、画素３００は、図示された構成要素以外にも、例えば、ＰＤの信号をカラムＡＤ変換部２０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。
【００３６】
次に、図４を用いて、撮像素子１０３の画素アレイ部２０１における画素配列について説明する。画素アレイ部２０１は、図４に示すように、水平方向にＮ個、垂直方向にＭ個の画素を複数２次元アレイ状に配列しており、各画素には、カラーフィルタ３１０（図５参照）が配置されている。本実施形態においては、カラーフィルタ３１０はベイヤ配列を採用しており、奇数行（ｙ１、ｙ３、ｙ５、・・・の各行）には赤（Ｒ）と緑（Ｇ）のカラーフィルタが繰り返し配置され、偶数行（ｙ２、ｙ４、ｙ６、・・・の各行）には緑（Ｇ）と青（Ｂ）のカラーフィルタが繰り返し配置されている。なお、図４に示す例では、１つのマイクロレンズ３０１に対して、２つのＰＤが配置されている。また、カラーフィルタはベイヤ配列を採用しているが、他の配列方式であっても構わない。
【００３７】
次に、図５を用いて、位相差検出を行うための光学系と撮像素子について説明する。図５は、撮像レンズ１０１の射出瞳から出た光束が撮像素子１０３に入射する概念図であり、画素アレイ部２０１のうち、３つの画素について、模式的な断面を示す。
【００３８】
画素アレイ部２０１の各画素には、マイクロレンズ３０１、カラーフィルタ３１０、フォトダイオード（ＰＤ）３１１、３１２が設けられている。なお、カラーフィルタ３１０は、図４で説明したベイヤ配列に従ったＲＧＢの各色フィルタとなっている。マイクロレンズ３０１は、カラーフィルタに対応して設けられたマイクロレンズとして機能する。また、カラーフィルタ３１０は、単位画素に対応して設けられた分光透過率が異なる複数種類のカラーフィルタとして機能する。ＰＤ３１１、ＰＤ３１２の各々が、図３で示したＰＤ３０２ａ、ＰＤ３０２ｂに対応する。
【００３９】
５０６は撮像レンズ１０１の射出瞳を示す。ここでは、マイクロレンズ３０１を有する画素に対して、射出瞳５０６から出た光束の中心を光軸５０９とする。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１０３に入射される。５０７、５０８は撮像レンズ１０１の射出瞳の一部領域を表す。射出瞳５０６の一部領域５０７を通過する光の最外周の光線を５１０、５１１で示し、射出瞳５０６の一部領域５０８を通過する光の最外周の光線を５１２、５１３で示す。
【００４０】
図５から分かるように、射出瞳５０６から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ３１２に入射され、下側の光束はＰＤ３１１に入射される。つまり、ＰＤ３１１とＰＤ３１２は各々、撮像レンズ１０１の射出瞳５０６に対する別の領域の光を受光している。この特性を生かして、視差のある少なくとも２つの画像を取得することができる。複数の右側のＰＤから得られる画像データを右画像、複数の左側のＰＤから得られる画像でデータを左画像と呼ぶ。このとき、右画像の１ラインと、対応した位置にある左画像の１ラインを利用して位相差の検知を行うことにより位相差オートフォーカスを実現することができる。
【００４１】
本実施形態においては、複数のＰＤすべてを加算して得られた画像を右＋左画像、複数の右側のＰＤから得られる画像データを右画像として、位相差オートフォーカスを実現する。この場合、右＋左画像と右画像の差分から、右画像と左画像の２つを生成でき、この右画像と左画像を用いて、位相差の検知を行う。仮に、ある色の右画像の取得を停止したとしても、右＋左画像を取得しておくことにより、表示用画像は常に得ることができる。
【００４２】
次に、図６を用いて、画像信号処理部１０７の詳しい構成について説明する。画像信号処理部１０７は、右＋左画像抽出部６０１、右画像抽出部６０２、左画像生成部６０３、現像処理部６０４、位相差検出部６０５、色情報検出部６０６を有する。撮像素子１０３は、図２ないし図４を用いて説明したように、右画像と左画像、それぞれの画像を検出するためのＰＤを有している。撮像素子１０３から各ＰＤからの画素信号を読み出す際に、右画像と左画像の画素信号を加算した信号と、右画像の画素のみの信号が、所定の順番で出力される。
【００４３】
右＋左画像抽出部６０１は、撮像素子１０３から出力され、データバス１１０や内部メモリ１０５を介して、右＋左画像と右画像を入力し、入力画像の中から右＋左画像のみを抽出し、抽出した右＋左画像を出力する。すなわち、右＋左画像抽出部６０１は、右画像と左画像の画素信号を加算した信号と、右画像の画素のみの信号が所定の順番で出力されることから、右＋左画像の画素信号を加算した信号が出力されるタイミングで、この信号を抽出する。
【００４４】
右画像抽出部６０２は、撮像素子１０３から出力され、データバス１１０や内部メモリ１０５を介して、右＋左画像と右画像を入力し、入力画像の中から右画像のみを抽出し、抽出した右画像を出力する。すなわち、右画像抽出部６０２は、右画像の画素の画素信号が出力されるタイミングで、この信号を抽出する。
【００４５】
左画像抽出部６０３は、データバス１１０や内部メモリ１０５を介し、受け取った右＋左画像と右画像から、左画像のみを抽出して出力する。右＋左画像抽出部６０１によって出力された右＋左画像から、右画像抽出部６０２によって出力された右画像を減算すると、左画像のみを抽出することができる。
【００４６】
現像処理部６０４は、右＋左画像抽出部６０１が出力した右＋左画像を入力し、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、画像圧縮等の処理を行う。現像処理部６０４によって処理された画像データを用いて、ライブビュー表示がなされ、また静止画や動画の記録画像が生成される。
【００４７】
位相差検出部６０５は、右画像抽出部６０２によって出力された右画像と、左画像抽出部６０３によって出力された左画像を用いて、公知の位相差検出法に従って位相差（デフォーカス量）を検出する。この検出された位相差（デフォーカス量）は、システム制御部１０４に出力され、システム制御部１０４は、この位相差に基づいて、撮像レンズ１０１のフォーカス制御を行う。
【００４８】
色情報検出部６０６は、右＋左画像抽出部６０１が出力した右＋左画像を入力し、指定した画像上のエリア内における色毎の出力値を演算し、演算結果をデータバス１１０や内部メモリ１０５を介し、システム制御部１０４内の撮像駆動制御部６０７に出力する。左＋右画像は、所定の順番で読み出されるＲＧＢの画素信号であることから、この順番に従ってＲのみ、Ｇのみ、Ｂのみの画素信号に分離する。各ＲＧＢの画素信号を分離すると、エリア毎かつ色毎に画素出力を平均し、後述する条件のいずれに属するかを検出する。条件については、図７のＳ５および図８を用いて後述する。色情報検出部６０６は、被写体の色情報を検出する色情報検出部として機能する。
【００４９】
撮像駆動制御部６０７は、色情報検出部６０６から受け取った検出結果に基づいて、撮像駆動モードを切り替える命令を撮像素子１０３に送る。撮像駆動モードについては、図７を用いて後述する。撮像駆動制御部６０７は、画素群から焦点検出信号を読み出す画素信号読出部として機能する。この画素信号読出部は、色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した上記単位画素の信号のみを読み出す。
【００５０】
また、この画素信号読出部は、画素群から画像信号及び焦点検出信号を読み出し、画像信号及び色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号を読み出す。画素信号読出部は、画素信号読出部は、画像信号として単位画素から複数の画素のすべての信号を読み出し、焦点検出信号を読み出すときは、色情報検出部により検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出す（図８参照）。
【００５１】
次に、図７および図８に示すフローチャートを用いて、ライブビュー動作について説明する。このフローは、システム制御部１０４内のＣＰＵが内部メモリ１０５に記憶されたプログラムに基づいて、撮像装置１００内の各部を制御することにより実現する。
【００５２】
図７に示すフローは、撮像装置１００の電源が入りライブビュー制御が開始した状態を初期状態とする。ライブビューのフローが開始すると、まず、読出しモード１で駆動する（Ｓ１）。読出しモード１は、右＋左画像と右画像（ＲＧＢ）を出力するモードである。図９の最上段に読出しモード１を示す。
【００５３】
撮像素子１０３の画素は、図４に示すように、奇数行（例えば１行目（ｙ１参照））にはＲ画素とＧ画素が交互に配置され、偶数行（例えば２行目（ｙ２参照））にはＧ画素とＢ画素が交互に配置されている。読出しモード１では、１行目を読み出す場合には、まずＲ画素とＧ画素の右＋左画像の画素信号が読み出され、ついでＲ画素とＧ画素の右画像の画素信号が読み出される。２行目を読み出す場合には、まずＧ画素とＢ画素の右＋左画像の画素信号が読み出され、ついでＧ画素とＢ画素の右画像の画素信号が読み出される。以後、交互に画素信号が読み出される。
【００５４】
ステップＳ１において撮像素子１０３を読み出しモード１で駆動すると、次に、右＋左画像と、右画像（ＲＧＢ）を取得する（Ｓ３）。ここでは、ステップＳ１において、読出しモード１で読み出した右＋左画像と、右画像の画素信号を、データバス１１０を介して取得し、内部メモリ１０５に記憶する。
【００５５】
ステップＳ３において、右＋左画像と、右画像を取得すると、次に色演算処理を行う（Ｓ５）。ここでは、色情報検出部６０６が、まず、右＋左画像の画素信号を用いて、各エリアの色を検出する。この検出は、前述したように、右＋左画像において色毎（例えばＲ、Ｇ、Ｂ）に分離し、ある一定エリア（例えばＡＦ演算エリア）の色毎の画素出力を平均する。なお、平均演算以外にも、エリア内の画素の加算値でもよく、また最多画素出力値でも構わない。
【００５６】
色情報検出部が各エリアについて、色毎の画素出力を算出すると、この値に基づいて、条件１〜６の内でいずれを満たすかを判定する（条件１〜６を満たさない場合もある）。この条件によって、各エリアでいずれの色（Ｒ、Ｇ、Ｂ）が主となっているかを判定する。いずれの色が主であるかを判定にするにあたっては、色毎の画素出力の平均値が閾値１より大きく閾値２より小さい範囲に入る色を主とする（但し、閾値１＜閾値２の関係）。これは、画素値が小さすぎると暗くて、位相検出にあたって適当ではなく、また画素値が大きすぎると明るく、位相検出にあたって適当でないからである。なお、いずれの色が主か否かの判定にあたっては、１色とは限らず、２色や３色の場合もありうる。
【００５７】
ステップＳ５において、色演算処理を行うと、次に、色演算処理結果に応じた読み出しを行う（Ｓ７）。ここでは、ステップＳ５において判定された条件１〜６に従って、撮像素子１０３の読み出しモードを設定し、読み出された画素信号を内部メモリ１０５に記憶する。
【００５８】
読出しモードの設定にあたっては、色演算処理の結果、いずれの色が主であるかに応じて異なる。Ｒ画素（赤）が主であるエリアについては、位相差検出は右画像および左画像のＲ画素を用いて行うことから、右画像のＲ画素を読み出し、Ｇ画素およびＢ画素については読み出しを行わない。同様に、Ｇ画素（緑）が主であるエリアについては、位相差検出は右画像および左画像のＧ画素を用いて行うことから、右画像のＧ画素を読み出し、Ｒ画素およびＢ画素については読み出しを行わない。同様に、Ｂ画素（青）が主であるエリアについては、位相差検出は右画像および左画像のＢ画素を用いて行うことから、右画像のＢ画素を読み出し、Ｒ画素およびＧ画素については読み出しを行わない。
【００５９】
２色以上の画素が主であるエリアについては、この主となる画素を用いて位相差検出を行うことから、右画像の中からこの２色の画素を読み出し、他の色の画素については読み出しを行わない。３色の画素が主であるエリアについては、右画像の中から３色の画素を用いて位相差検出を行う。
【００６０】
このステップＳ７における色演算処理結果に応じた読み出しの詳しい動作については、図８を用いて後述する。
【００６１】
ステップＳ７において、色演算処理結果に応じた読み出しを行うと、次に、位相差検出を行う（Ｓ９）。ここでは、位相差検出部６０５が、右画像抽出部６０２から右画像の画素信号を入力し、また左画像抽出部６０３から左画像の画素信号を入力し、両画素信号を用いて、公知の位相差検出を行う。
【００６２】
ステップＳ９において位相差検出を行うと、次に、フォーカス制御を行う（Ｓ１１）。ここでは、システム制御部１０４が、ステップＳ９において検出した位相差に基づいて、撮像レンズ１０１のフォーカス制御量を算出し、フォーカス制御を行う。フォーカス制御が完了したら、ステップＳ３へ進み、一連の処理を繰り返す。すなわち、撮像素子１０３からは所定のフレームレートで画素信号が読み出されるので、フレームレートに応じてステップＳ５〜Ｓ１１の処理が繰り返される。また、図７のフローには記載されていないが、読出しモード１〜７のいずれのモードであっても「右＋左画像」が読み出されるので、画素信号が読み出されるたびに、右＋左画像を用いて、ライブビュー表示の更新がなされる。
【００６３】
次に、図８に示すフローチャートを用いて、ステップＳ７の色演算処理結果に応じた読み出しの動作について説明する。このフローに入ると、まず、ステップＳ５において判定された条件のいずれに属しているかに応じて、分岐する。
【００６４】
ステップＳ５における判定の際の条件は、以下の通りである。なお、ＲAVEはＲ画素のエリア毎の画素出力の平均値であり、ＧAVEはＧ画素のエリア毎の画素出力の平均値であり、ＢAVEはＢ画素のエリア毎の画素出力の平均値である。また、閾値１＜閾値２の関係がある（図１０参照）。
【００６５】
（条件１）
ＧAVE  ＞  閾値１  かつＧAVE  ＜  閾値２  かつ
ＲAVE  ＜  閾値１  もしくはＲAVE  ＞  閾値２  かつ
ＢAVE  ＜  閾値１  もしくはＢAVE  ＞  閾値２  
を満たす場合には、ステップＳ２１（条件１）に進む。
【００６６】
（条件２）
ＧAVE  ＜  閾値１  もしくはＧAVE  ＞  閾値２  かつ
ＲAVE  ＞  閾値１  かつＲAVE  ＜  閾値２  かつ
ＢAVE  ＜  閾値１  もしくはＢAVE  ＞  閾値２  
を満たす場合には、ステップＳ２５（条件２）に進む。
【００６７】
（条件３）
ＧAVE  ＜  閾値１  もしくはＧAVE  ＜  閾値２  かつ
ＲAVE  ＜  閾値１  もしくはＲAVE  ＞  閾値２  かつ
ＢAVE  ＞  閾値１  かつＢAVE  ＜  閾値２
を満たす場合には、ステップＳ２９（条件３）に進む。
【００６８】
（条件４）
ＧAVE  ＞  閾値１  かつＧAVE  ＜  閾値２  かつ
ＲAVE  ＞  閾値１  かつＲAVE  ＜  閾値２  かつ
ＢAVE  ＜  閾値１  もしくはＢAVE  ＞  閾値２  かつ
を満たす場合には、ステップＳ３３（条件４）に進む。
【００６９】
（条件５）
ＧAVE  ＞  閾値１  かつＧAVE  ＜  閾値２  かつ
ＲAVE  ＜  閾値１  もしくはＲAVE  ＞  閾値２  かつ
ＢAVE  ＞  閾値１  かつＢAVE  ＜  閾値２
を満たす場合には、ステップＳ３７（条件５）に進む。
【００７０】
（条件６）
ＧAVE  ＜  閾値１  もしくはＧAVE  ＞  閾値２  かつ
ＲAVE  ＞  閾値１  かつＲAVE  ＜  閾値２  かつ
ＢAVE  ＞  閾値１  かつＢAVE  ＜  閾値２
を満たす場合には、ステップＳ４１（条件６）に進む。
【００７１】
上述の条件１〜６のいずれも満たさない場合には、ステップＳ４５に進む。
【００７２】
条件１を満たした場合には、読出しモード２で駆動し（Ｓ２１）、右＋左画像と、右画像のＧ画素の画素信号を取得する（Ｓ２３）。条件１を満たす場合は、被写体の色情報としてＧ（緑）が主であることから、位相差検出はＧ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第２段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＧ画素を読み出す。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＧ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７３】
条件２を満たした場合には、読出しモード３で駆動し（Ｓ２５）、右＋左画像と、右画像のＲ画素の画素信号を取得する（Ｓ２７）。条件２を満たす場合は、被写体の色情報としてＲ（赤）が主であることから、位相差検出はＲ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第３段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＲ画素を読み出す。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像の画素からは読み出し行わない。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７４】
条件３を満たした場合には、読出しモード４で駆動し（Ｓ２９）、右＋左画像と、右画像のＢ画素の画素信号を取得する（Ｓ３１）。条件３を満たす場合は、被写体の色情報としてＢ（青）が主であることから、位相差検出はＢ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第４段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続く右画像の画素の読み出しは行わない。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＢ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７５】
条件４を満たした場合には、読出しモード５で駆動し（Ｓ３３）、右＋左画像と、右画像のＧ画素とＲ画素の画素信号を取得する（Ｓ３５）。条件４を満たす場合は、被写体の色情報としてＧ（緑）とＲ（赤）が主であることから、位相差検出はＧ画素とＲ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第５段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＲ画素とＧ画素の読み出しを行う。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＧ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７６】
条件５を満たした場合には、読出しモード６で駆動し（Ｓ３７）、右＋左画像と、右画像のＧ画素とＢ画素の画素信号を取得する（Ｓ３９）。条件５を満たす場合は、被写体の色情報としてＧ（緑）とＢ（青）が主であることから、位相差検出はＧ画素とＢ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第６段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＧ画素の読み出しを行う。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＧ画素とＢ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７７】
条件６を満たした場合には、読出しモード７で駆動し（Ｓ４１）、右＋左画像と、右画像のＲ画素とＢ画素の画素信号を取得する（Ｓ４３）。条件６を満たす場合は、被写体の色情報としてＲ（赤）とＢ（青）が主であることから、位相差検出はＲ画素とＢ画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第７段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＲ画素の読み出しを行う。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＢ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７８】
条件１〜６のいずれも満たさない場合には、読出しモード１で駆動し（Ｓ４５）、右＋左画像と、右画像のＲ画素、Ｇ画素、およびＢ画素の画素信号を取得する（Ｓ４７）。条件１〜６のいずれも満たさない場合は、被写体の色情報として主たる色がないことから、位相差検出はＲ画素、Ｇ画素、およびＢ画素の３画素を用いて行う。そこで、撮像素子１０３の画素読出しにあたっては、図９の第１段に記載されているように、奇数行（例えば、１行目）では、右＋左画像のＲ画素およびＧ画素を読み出し、続いて右画像のＧ画素およびＲ画素の読み出しを行う。そして偶数行（例えば、２行目）では、右＋左画像のＧ画素およびＢ画素を読み出し、右画像のＧ画素およびＢ画素を読み出す。この読み出された画素信号は、内部メモリ１０５に記憶する。
【００７９】
図１０は、条件１を満たしている場合のイメージ図である。Ｇ画素の平均値ＧAVEは、閾値２より大きく、画素値が飽和している可能性があることから、位相差検出には適していない。またＢ画素の平均値ＢAVEは、閾値１より小さく、画素値が暗すぎていることから、位相差検出には適していない。それに対して、Ｒ画素の平均値ＲAVEは、閾値１と閾値２の間にあり、暗すぎず又明るすぎずることがないことから、Ｒ画素の画素値は位相差検出に適している。
【００８０】
図７および図８のフローにおいては、例えば、ステップＳ５の結果でＲ画素以外は位相差検出に適さないと判定された場合には（条件２を満たす場合）、ステップＳ２５に進む。このときの撮像素子１０３の動作は、図９の第３段に示す読み出しモード３である。読み出しモード１と比較すると、右画像の読み出しがＲ画素しか行うことがないので、画像出力が無い期間が長くなっていることがわかる。すなわち、撮像素子１０３から実際に読み出されている時間が短くなり、このため、省電力効果が得られ、消費電力が低減する。
【００８１】
また、Ｒ画素の位相差検出用画像は常に出力しているためＡＦ性能の変化がなく、ライブビュー表示での見えを確保できる。
【００８２】
このように、第１実施形態においては、１つのマイクロレンズが複数フォトダイオードから構成される撮像素子を備えた撮像装置において、消費電力を抑えつつＡＦ性能の変化がなく、ライブビュー表示での見えを確保することができる。
【００８３】
また、本実施形態においては、異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号（例えば、右画像抽出部６０２によって抽出される信号）と、全ての瞳領域を通過した光束に基づく画像信号（例えば、右＋左画像抽出部６０１によって抽出される信号）を抽出する信号抽出部を有し、色情報検出部は、画像信号に基づいて色情報を検出している。このため、全画像の変化状態に応じた色情報を検出することができる。
【００８４】
次に、本発明の第２実施形態について、図１１ないし図１３を用いて説明する。第１実施形態においては、右＋左画像抽出部６０１によって抽出された右＋左画像に基づいて、色情報を検出していた。これに対して、第２実施形態においては、右画像抽出部６０２によって抽出された右画像、および左画像抽出部６０３によって抽出された左画像に基づいて色情報を検出するようにしている。
【００８５】
本実施形態における構成は、第１実施形態に係る図１ないし図５と同じであり、図６を図１１に置き換え、また図７に示すライブビュー動作のフローチャートを図１２に示すフローチャートに置き換え、また図１０に示す閾値の関係を図１３に置き換える以外は、第１実施形態と同様である。そこで、第１実施形態との相違点を中心に説明する。
【００８６】
図１１を用いて、本実施形態における画像信号処理部１０７の詳しい構成について説明する。第１実施形態に係る図６と図１１を比較すると、色情報演算部６０６が、右画像抽出部６０２から抽出した右画像と左画像生成部６０３が生成した左画像を入力する点で異なる。
【００８７】
色情報検出部６０６は、指定した画像上のエリア内における色毎の出力値を演算し、検出結果をデータバス１１０や内部メモリ１０５を介し、システム制御部１０４内の撮像駆動制御部６０７に出力する。システム制御部１０４内にはタイマ６０８が備えられており、タイマ６０８はタイマカウント値を撮像駆動制御部６０７に出力する。後述するように、本実施形態においては、所定時間が経過すると、読出しモード１によって撮像素子１０３から画素信号を読み出す。タイマカウント値は、所定時間が経過したか否かを判定するために使用される（図１２のＳ１３参照）。
【００８８】
次に、図１２を用いて、本実施形態におけるライブビュー動作について説明する。本実施形態においても、図１２に示すフローは、システム制御部１０４内のＣＰＵが内部メモリ１０５に記憶されたプログラムに基づいて、撮像装置１００内の各部を制御することにより実現する。第１実施形態に係る図７と比較すると、ステップＳ１１における判定を追加した点で相違する。また、図８に示す条件１〜条件６に分岐するための判定条件が異なっている。そこで、この相違点を中心に説明する。
【００８９】
図１２のフローを説明する前に、図８に示す条件１〜条件６に分岐するための判定条件を説明する。なお、この判定は、第１実施形態と同様、ステップＳ５の色演算処理の中で実行される。
【００９０】
ステップＳ５における色演算処理にあっては、色情報検出部６０６が、まず、右画像と左画像のそれぞれの画像の画素信号を用いて、各エリアの色を検出する。この検出は、右画像と左画像のそれぞれの画像において色毎（例えば、ＲＬ、ＧＬ、ＢＬ、ＲＲ、ＧＲ、ＢＲ）に分離し、ある一定エリア（例えばＡＦ演算エリア）の色毎の画素出力を平均する。なお、平均演算以外にも、エリア内の画素の加算値でもよく、また最多画素出力値でも構わない。第１実施形態においては、右＋左画像を用いて、各エリアの色を検出していたが、第２実施形態においては、右画像と左画像のそれぞれについて、各エリアの色を検出する。
【００９１】
次に、ステップＳ５における判定の際の条件について説明する。なお、ＲLAVEは左画像のＲ画素のエリア毎の画素出力の平均値であり、ＧLAVEは左画像のＧ画素のエリア毎の画素出力の平均値であり、ＢLAVEは左画像のＢ画素のエリア毎の画素出力の平均値である。また、ＲRAVEは右画像のＲ画素のエリア毎の画素出力の平均値であり、ＧRAVEは右画像のＧ画素のエリア毎の画素出力の平均値であり、ＢRAVEは右画像のＢ画素のエリア毎の画素出力の平均値である。なお、閾値１＜閾値２の関係がある（図１３参照）。
【００９２】
（条件１）
ＧＬAVE  ＞  閾値１  かつＧＬAVE  ＜  閾値２  かつ
または  ＧＲAVE  ＞  閾値１  かつＧＲAVE  ＜  閾値２  かつ
ＲＬAVE  ＜  閾値１  もしくはＲＬAVE  ＞  閾値２  かつ
ＲＲAVE  ＜  閾値１  もしくはＲＲAVE  ＞  閾値２  かつ
ＢＬAVE  ＜  閾値１  もしくはＢＬAVE  ＞  閾値２  かつ
ＢＲAVE  ＜  閾値１  もしくはＢＲAVE  ＞  閾値２
を満たす場合には、ステップＳ２１（条件１）に進む。
【００９３】
（条件２）
ＧＬAVE  ＜  閾値１  もしくはＧＬAVE  ＞  閾値２  かつ
ＧＲAVE  ＜  閾値１  もしくはＧＲAVE  ＞  閾値２  かつ
ＲＬAVE  ＞  閾値１  かつＲＬAVE  ＜  閾値２  かつ
または  ＲＲAVE  ＞  閾値１  かつＲＲAVE  ＜  閾値２  かつ
ＢＬAVE  ＜  閾値１  もしくはＢＬAVE  ＞  閾値２  かつ
ＢＲAVE  ＜  閾値１  もしくはＢＲAVE  ＞  閾値２  
を満たす場合には、ステップＳ２５（条件２）に進む。
【００９４】
（条件３）
ＧＬAVE  ＜  閾値１  もしくはＧＬAVE  ＜  閾値２  かつ
ＧＲAVE  ＜  閾値１  もしくはＧＲAVE  ＜  閾値２  かつ
ＲＬAVE  ＜  閾値１  もしくはＲＬAVE  ＞  閾値２  かつ
ＲＲAVE  ＜  閾値１  もしくはＲＲAVE  ＞  閾値２  かつ
ＢＬAVE  ＞  閾値１  かつＢＬAVE  ＜  閾値２  かつ
または  ＢＲAVE  ＞  閾値１  かつＢＲAVE  ＜  閾値２
を満たす場合には、ステップＳ２９（条件３）に進む。
【００９５】
（条件４）
ＧＬAVE  ＞  閾値１  かつＧＬAVE  ＜  閾値２  かつ
または  ＧＲAVE  ＞  閾値１  かつＧＲAVE  ＜  閾値２  かつ
ＲＬAVE  ＞  閾値１  かつＲＬAVE  ＜  閾値２  かつ
または  ＲＲAVE  ＞  閾値１  かつＲＲAVE  ＜  閾値２  かつ
ＢＬAVE  ＜  閾値１  もしくはＢＬAVE  ＞  閾値２  かつ
ＢＲAVE  ＜  閾値１  もしくはＢＲAVE  ＞  閾値２
を満たす場合には、ステップＳ３３（条件４）に進む。
【００９６】
（条件５）
ＧＬAVE  ＞  閾値１  かつＧＬAVE  ＜  閾値２  かつ
または  ＧＲAVE  ＞  閾値１  かつＧＲAVE  ＜  閾値２  かつ
ＲＬAVE  ＜  閾値１  もしくはＲＬAVE  ＞  閾値２  かつ
ＲＲAVE  ＜  閾値１  もしくはＲＲAVE  ＞  閾値２  かつ
ＢＬAVE  ＞  閾値１  かつＢＬAVE  ＜  閾値２  かつ
または  ＢＲAVE  ＞  閾値１  かつＢＲAVE  ＜  閾値２
を満たす場合には、ステップＳ３７（条件５）に進む。
【００９７】
（条件６）
ＧＬAVE  ＞  閾値１  かつＧＬAVE  ＜  閾値２  かつ
または  ＧＲAVE  ＞  閾値１  かつＧＲAVE  ＜  閾値２  かつ
ＲＬAVE  ＞  閾値１  かつＲＬAVE  ＜  閾値２  かつ
または  ＲＲAVE  ＞  閾値１  かつＲＲAVE  ＜  閾値２  かつ
ＢＬAVE  ＞  閾値１  かつＢＬAVE  ＜  閾値２  かつ
または  ＢＲAVE  ＞  閾値１  かつＢＲAVE  ＜  閾値２
を満たす場合には、ステップＳ４１（条件６）に進む。
【００９８】
上述の条件１〜６のいずれも満たさない場合には、ステップＳ４５に進む。それぞれの条件における読出し駆動は、図８および図９と同様であることから、詳しい説明は省略する。
【００９９】
図１３は、条件１を満たしている場合のイメージ図である。右画像と左画像のＧ画素の平均値ＧRAVEとＧLAVEは、閾値２より大きく、画素値が飽和している可能性があることから、位相差検出には適していない。また右画像と左画像のＢ画素の平均値ＢRAVEとＢLAVE、および左画像のＲ画素の平均値ＲLAVEは、閾値１より小さく、画素値が暗すぎていることから、位相差検出には適していない。それに対して、右画像のＲ画素の平均値ＲRAVEは、閾値１と閾値２の間にあり、暗すぎず又明るすぎずることがないことから、右画像のＲ画素の画素値は位相差検出に適している。なお、閾値１および閾値２は、右画像と左画像で、各色一定としたが、色毎に閾値を変更しても構わない。
【０１００】
次に、図１２に示すライブビュー動作について説明する。ライブビュー動作を開始し、ステップＳ１〜Ｓ１１までは、第１実施形態と同様である。ステップＳ１１において、フォーカス制御を行うと、次に、タイマカウント値＞Ｘか否かを判定する（Ｓ１３）。ここでは、タイマ６０８によってカウントされたタイマカウント値がＸ（Ｘは定数）より大きいか否かを判定する。なお、Ｘは、シーンが変化した否かを判定できる程度の時間であればよい。
【０１０１】
ステップＳ１３における判定の結果、タイマカウント値がＸより大きくない場合には、ステップＳ９に進む。第２実施形態においても、所定フレームレートで決まる時間毎に、撮像素子１０３から画素信号が読み出される。画素信号が読み出されると、位相差検出やフォーカス制御が実行される。第１実施形態においては、フレーム毎にステップＳ５において色演算処理を行い、被写体の主の色情報に基づいて画素信号の読み出しを行っていた。しかし、本実施形態においては、この処理を毎フレーム行わず、ステップＳ５において検出された主の色情報に基づいて、画素信号の読み出しを行う。
【０１０２】
一方、ステップＳ１３における判定の結果、タイマカウント値がＸより大きい場合には、ステップＳ１に進む。この場合には、ステップＳ１において読み出しモード１で画素信号を読み出し、ステップＳ３以下を実行する。
【０１０３】
このように、本フローにおいては、タイマカウント値がＸより小さい場合には、色演算処理を行わず、タイマカウント値がＸより大きくなると、色演算処理を行うようにしている。すなわち、本フローにおいては、画素信号読出部による信号の読出し周期を可変にしている。このため、本実施形態においては、色演算処理を毎フレーム、行っていないことから、消費電力を低下させることがことできる。しかし、被写体のシーンが変わることがあることから、タイマにより所定時間が経過すると、再度色演算処理に戻るようなフローとしている。
【０１０４】
また、本実施形態においては、異なる瞳領域を通過した光束を受光する複数の画素から、一方向の瞳領域を通過した光束に基づく焦点検出信号（例えば、右画像抽出部６０２によって抽出される信号）と、全ての瞳領域を通過した光束に基づく画像信号（例えば、右＋左画像抽出部６０１によって抽出される信号）を用いて、上記一方向と異なる方向に基づく焦点検出信号（例えば、左画像抽出部６０３によって抽出される信号）を抽出する信号抽出部を有し、色情報検出部（例えば、色情報検出部６０６）は、一方向の瞳領域を通過した光束に基づく焦点検出信号と、一方向と異なる方向に基づく焦点検出信号を用いて、上記色情報を検出している。このため、位相差検出部６０５で用いる公知の位相差検出法と同様の信号成分を得ることができるため、必要な色の精度を上げることが可能となる。
【０１０５】
なお、本実施形態においては、所定時間Ｘが経過すると、ステップＳ１に戻り、ステップＳ５において色演算処理を行っていた。しかし、これに限らず、例えば、ジャイロ等により撮像装置に所定以上の動きがあったか否かを判定し、所定以上の動きがあった場合や、また撮像素子１０３からの画素信号に基づいて被写体輝度を検出し、被写体輝度が所定以上の変化が有った場合等に、色演算処理を行うようにしてもよい。
【０１０６】
以上説明したように、本発明の各実施形態においては、撮像素子１０３の画素群から焦点検出信号を読み出し（例えば、図７のＳ１、Ｓ３）、この読み出された焦点検出信号に基づいて、被写体の色情報を検出し（図７のＳ５）、この検出された被写体の色情報に応じたカラーフィルタに対応した単位画素の信号のみを読み出している（図７のＳ７）。画素群の読出しにあたっては、被写体の主となる色情報に応じたカラーフィルタに対応した信号を読み出し、従となる色情報に応じたカラーフィルタに対応した信号を読み出さないことから、画素からの読み出しを少なくすることができ、消費電力を低下することができる。また、必要な焦点検出信号から位相差ＡＦを行うことができるため、ＡＦ性能が低下することがなく、またライブビュー画像が見苦しくなることがない。
【０１０７】
なお、本発明の各実施形態においては、１行分の右＋左画像を読み出してから、１行分の右画像を読み出していた。しかし、これに限らず、画素単位で、右＋左画像と右画像を読み出した後、隣接する画素の右＋左画像と右画像を読み出す等、読出しの順番は適宜変更してもよい。また、各実施形態においては、右＋左画像と右画像を読み出していた。しかし、これに限らず、例えば、右＋左画像と左画像を読み出すようにしてもよい。また、右画像と左画像を読み出し、両画像から右＋左画像を合成するようにしてもよい。また、本発明の各実施形態においては、色情報演算（図７と図１２のＳ５）検出の際に、被写体の主たる色として１色、２色または３色のいずれかを検出していた。しかし、これに限らず、１色のみを検出し、複数色の場合には、いずれか１色を選択するようにしてもよい。
【０１０８】
また、本発明の各実施形態においては、右＋左画像抽出部６０１、右画像抽出部６０２、左画像抽出部６０３、現像処理部６０４、位相差検出部６０５、色情報検出部６０６を、画像信号処理部１０７内に設けていた。しかし、これに限らず、これらの各部の全部または一部を、システム制御部１０４内のＣＰＵによってソフトウエア的に実行してもよく、また市捨て身制御部１０４内の周辺回路によって実行してもよい。
【０１０９】
また、画像信号処理部１０７内は、全てをハードウエア回路で構成する以外にも、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１１０】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、位相差ＡＦを行う撮影のための機器であれば、本発明を適用することができる。
【０１１１】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１１２】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１１３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１４】
１００・・・撮像装置、１０１・・・撮像レンズ、１０２・・・シャッタ、１０３・・・撮像素子、１０４・・・システム制御部、１０５・・・内部メモリ、１０６・・・入力ＩＦ、１０７・・・画像信号処理部、１０８・・・外部メモリ、１０９・・・表示部、１１０・・・バス、２０１・・・画素アレイ部、２０２・・・垂直走査部、２０３・・・カラムＡＤ部、２０４・・・通信ＩＦ部、２０５・・・水平走査部、２０６・・・映像データ変換部、３００・・・画素、３０１・・・マイクロレンズ、３０２ａ〜３０２ｄ・・・フォトダイオード、３１１・・・フォトダイオード、３１２・・・フォトダイオード、５０６・・・射出瞳、５０７・・・射出瞳の一部領域、５０８・・・射出瞳の一部領域、５０９・・・光軸、５１０・・・最外周光線、５１１・・・最外周光線、５１２・・・最外周光線、５１３・・・最外周光線、６０１・・・右＋左画像抽出部、６０２・・・右画像抽出部、６０３・・・左画像抽出部、６０４・・・現像処理部、６０５・・・位相差検出部、６０６・・・色情報検出部、６０７・・・撮像駆動制御部
【図１】
2017194558.tif 000003
【図２】
2017194558.tif 000004
【図３】
2017194558.tif 000005
【図４】
2017194558.tif 000006
【図５】
2017194558.tif 000007
【図６】
2017194558.tif 000008
【図７】
2017194558.tif 000009
【図８】
2017194558.tif 000010
【図９】
2017194558.tif 000011
【図１０】
2017194558.tif 000012
【図１１】
2017194558.tif 000013
【図１２】
2017194558.tif 000014
【図１３】
2017194558.tif 000015