(57)【特許請求の範囲】
【請求項１】
撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するとともに、前記瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する画像取得手段と、
前記第３の画像を表示する表示手段と、
前記第３の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有し、
該スプリットイメージ生成手段は、前記第１及び第２の画像を用いて前記スプリットイメージを生成し、前記第３の画像から抽出した色情報を前記スプリットイメージに付加することを特徴とする撮像装置。
【請求項２】
前記スプリットイメージ生成手段は、前記第１及び第２の画像の位相差に基づいて前記第３の画像から前記色情報を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記スプリットイメージ生成手段は、前記第１及び第２の画像の位相差に応じて前記スプリットイメージの色濃度を変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記スプリットイメージ生成手段は、前記第１及び第２の画像の位相差が所定値より大きい場合は前記スプリットイメージに前記色情報を付加せず、前記位相差が前記所定値より小さい場合は前記スプリットイメージに前記色情報を付加することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項５】
前記画像取得手段は、それぞれ前記第１の被写体像及び前記第２の被写体像を光電変換する第１の画素群及び第２の画素群と、前記第３の被写体像を光電変換する第３の画素群を含む単一の撮像素子を用いて構成されていることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項６】
表示手段を有する撮像装置の画像表示方法であって、
撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するとともに、前記瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する第１のステップと、
前記第１及び第２の画像を用いて、前記表示手段に表示される前記第３の画像内に表示するスプリットイメージを生成する第２のステップとを有し、
前記第２のステップにおいて、前記第３の画像から抽出した色情報を前記スプリットイメージに付加することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特にマニュアルフォーカス用のガイド画像であるスプリットイメージを表示する機能を有する撮像装置に関する。
【背景技術】
【０００２】
撮像装置の焦点検出方式には、撮像光学系における互いに異なる領域を通過した光束によって形成された複数の像のずれ量（位相差）に基づいて撮像光学系のデフォーカス量を求める位相差検出方式（瞳分割方式）がある。さらに、単一の撮像素子内に撮像用画素と焦点検出用画素群とを配置することによって、焦点検出専用のセンサを用いずに位相差検出方式による焦点検出を行う撮像装置が特許文献１にて開示されている。
【０００３】
一方、使用者がマニュアルフォーカスを行う場合に、マニュアルフォーカス操作をサポートするためのガイド画像（フォーカスガイド画像）を表示することで、使用者にマニュアルフォーカスを容易に行わせることができる。特許文献２〜４には、フィルムカメラの光学ファインダに採用される場合が多かったスプリットイメージに相当するフォーカスガイド画像（以下、これをスプリットイメージという）を電子的に生成して電子ファインダ上に表示する撮像装置が開示されている。
【０００４】
特許文献２にて開示された撮像装置では、瞳分割された光束により形成された２つの被写体像を焦点検出用撮像素子で光電変換して２つの画像（以下、瞳分割画像という）を得る。そして、これらの瞳分割画像を撮影用撮像素子で得られた通常の画像（以下、本画像という）と合成することで、本画像内に位相差に応じたスプリットイメージを表示する。
【０００５】
特許文献３にて開示された撮像装置では、光束が通る液晶回折格子への印加電圧を制御することにより、撮像光学系の焦点状態をスプリットイメージによって表示する。
【０００６】
また、特許文献４にて開示された撮像装置では、撮像光学系のデフォーカス量を算出し、該算出結果に応じて本画像の一部をスプリットイメージのように変化させて表示する。
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開昭５９−５０６７１号公報
【特許文献３】特開２００６−１５４５０６号公報
【特許文献４】特開２００１−３０９２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献２にて開示された撮像装置では、輝度情報を持つが色情報を持たない瞳分割画像を用いてスプリットイメージを生成する。このため、このスプリットイメージをそのままカラー画像である本画像内に表示すると、スプリットイメージの部分のみが色を持たない不自然な（使用者に違和感を生じさせる）画像が表示されてしまう。この点は、撮像素子内に配置された焦点検出用画素が輝度情報のみを出力する特許文献１にて開示された撮像装置でも同じである。
【０００８】
また、特許文献３にて開示された撮像装置では、カラーのスプリットイメージを表示することができるが、液晶回折格子という特殊な素子を用いているため、構成の複雑化や撮像装置の高コスト化を招く。
【０００９】
さらに、特許文献４にて開示された撮像装置でも、カラーのスプリットイメージを表示することができる。しかし、この撮像装置では、被写体までの距離の計測結果である測距情報と撮像光学系内のレンズ位置情報とからデフォーカス量を求め、該デフォーカス量に応じてスプリットイメージを表示する。このため、１つのスプリットイメージ内に互いに距離が異なる複数の被写体が存在する場合にはスプリットイメージを表現することが困難であり、この結果、マニュアルフォーカスでの撮像装置の使い勝手が悪くなるという問題がある。
【００１０】
本発明は、特殊な素子を用いなくてもスプリットイメージをカラーで表示でき、かつマニュアルフォーカスでの使い勝手の良い撮像装置及びその画像表示方法を提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての撮像装置は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するとともに、瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する画像取得手段と、前記第３の画像を表示する表示手段と、第３の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有するそして、該スプリットイメージ生成手段は、第１及び第２の画像を用いてスプリットイメージを生成し、第３の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
【００１２】
第１及び第２の画像を用いて第３の画像内に表示するスプリットイメージを生成するスプリットイメージ生成手段とを有する。そして、該スプリットイメージ生成手段は、第３の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
【００１３】
また、本発明の他の一側面としての撮像装置の画像表示方法は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するとともに、瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する第１のステップと、第１及び第２の画像を用いて、表示手段に表示される第３の画像内に表示するスプリットイメージを生成する第２のステップとを有する。そして、第２のステップにおいて、第３の画像から抽出した色情報をスプリットイメージに付加することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、位相差を持った第１及び第２の画像を用いてスプリットイメージを生成するので、距離が異なる複数の被写体のそれぞれに対応したスプリットイメージを表示することができる。しかも、該スプリットイメージには、第３の画像（本画像）から抽出した色情報が付加されてカラー表示されるので、使用者に与える違和感が少ないスプリットイメージを本画像内に表示することができる。この結果、特殊な素子を用いなくてもスプリットイメージをカラーで表示でき、かつマニュアルフォーカスでの使い勝手が良好な撮像装置を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１には、本発明の実施例１であるデジタルカメラ（撮像装置）の構成を示している。なお、デジタルカメラには、デジタルスチルカメラやビデオカメラが含まれるが、ここではデジタルスチルカメラである場合について説明する。
【００１７】
図１において、１０１はフォーカスレンズ１０１ａを含む撮像光学系である。１０２はＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。１０３は撮像素子１０２から出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。
【００１８】
１０４はＡ／Ｄ変換部１０３から出力された信号に対して色変換処理等の各種画像処理を行って画像を生成する信号処理部である。信号処理部１０４は、撮像素子１０２における後述する撮像用画素群からの信号に基づいて通常の撮像用画像である本画像（第３の画像）を生成する。
【００１９】
１１０は瞳分割像取得部である。ここでは、撮像素子１０２における後述する焦点検出用画素群からの像信号に基づいて、撮像光学系１０１の非合焦状態において位相差を持つ２つの瞳分割像（Ａ像及びＢ像）に対応するＡ画像データ（第１の画像）及びＢ画像データ（第２の画像）を生成する。
【００２０】
なお、撮像素子１０１〜信号処理部１０４及び瞳分割像取得部１１０により画像取得手段が構成される。また、カメラには、撮像光学系１００のオートフォーカスを行うオートフォーカスモードと、撮像光学系１００の使用者によるマニュアルフォーカスを許容するマニュアルフォーカスモードとを切り換えるフォーカスモードスイッチ１２０が設けられている。
【００２１】
ここで、図２には、撮像素子１０２の一部における画素配列を示している。この単一の撮像素子１０２上には、Ｒ，Ｇ，Ｂで示す撮像用画素群（第３の画素群）と、ａ，ｂで示す焦点検出用画素群（第１の画素群及び第２の画素群）とが設けられている。
【００２２】
撮像用画素のうち緑画素Ｇ、赤画素Ｒ及び青画素Ｂのそれぞれの開口部には、対応する色の光束を通過させるカラーフィルタが配置されており、カラーフィルタの裏側に光電変換部が配置されている。また、カラーフィルタの表側には、マイクロレンズが配置されている。このように、１つの撮像用画素は、光電変換部とカラーフィルタとマイクロレンズとにより構成されている。
【００２３】
また、撮像用画素群のうち緑画素群の一部は、焦点検出用画素ａ，ｂに置き換えられている。斜め方向にて互いに隣接する焦点検出用画素ａ，ｂが１つのペアになっており、このペアが撮像素子１０２（撮像用画素群）内に離散的に配置されている。焦点検出用画素ａ，ｂには、カラーフィルタが設けられていない。これにより、焦点検出のための感度の低下を防いでいる。
【００２４】
なお、焦点検出用画素ａ，ｂでの光電変換によって得られる信号を、以下それぞれ、Ａ像信号及びＢ像信号という。
【００２５】
位相差、すなわちずれを持った２つの像を発生させるためには、撮像光学系からの光束を、該撮像光学系１０１の瞳のうち互いに異なる領域（互いに異なる瞳）を通る光束Ｌ１及び光束Ｌ２（図３，図４参照）に分離する必要がある。本実施例では、撮像素子１０２上に瞳分離機能を持った焦点検出用画素ａ，ｂを配置することで、光束Ｌ１及び光束Ｌ２を生成する。
【００２６】
図６には、焦点検出用画素ａ，ｂ（以下、Ｓ１，Ｓ２とする）の断面構造を示す。６０１はマイクロレンズ、６０２は遮光膜、６０３は光電変換部である。図７には、焦点検出用画素Ｓ１，Ｓ２に設けられた遮光膜６０２をマイクロレンズ６０１の光軸方向から見て示している。焦点検出用画素Ｓ１，Ｓ２の遮光膜６０２には、マイクロレンズ６０１の光軸（光電変換部６０３の中心）を挟んで互いに反対側に、すなわち互いに対称となるように偏心した絞り開口部６０２ａが形成されている。この遮光膜６０２を設けることで瞳分割手段が構成される。
【００２７】
このような構造により、焦点検出用画素Ｓ１において光電変換部６０３に到達する光束Ｌ１と、焦点検出用画素Ｓ２において光電変換部６０３に到達する光束Ｌ２は、互い異なる瞳からの光束、すなわち瞳分割された光束となる。言い換えれば、撮像光学系を焦点検出用画素Ｓ１から見た場合と焦点検出用画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。光束Ｌ１と光束Ｌ２は、それぞれが到達する光電変換部６０３を重ねて見たときに、その中心に対して対称となる位置に被写体像を形成する。
【００２８】
焦点検出用画素Ｓ１の光電変換部６０３に形成された被写体像（Ａ像：第１の被写体像）が光電変換されることでＡ像信号が得られる。また、焦点検出用画素Ｓ２の光電変換部６０３に形成された被写体像（Ｂ像：第２の被写体像）が光電変換されることでＢ像信号が得られる。
【００２９】
さらに、撮像用画素群上に瞳分割されない光束によって形成された被写体像（第３の被写体像）が該撮像用画素群によって光電変換されることで、本画像を生成するための像信号が得られる。
【００３０】
図３及び図４には、位相差検出方式による焦点検出の原理を示す。被写体の特定点からの光束（撮像光学系からの光束）は、焦点検出用画素Ｓ１に対する瞳を通って該画素Ｓ１に入射する光束（第１の光束）Ｌ１と、焦点検出用画素Ｓ２に対する瞳を通って該画素Ｓ２に入射する光束（第２の光束）Ｌ２とに分割される。
【００３１】
この瞳分割された２つの光束Ｌ１，Ｌ２は、撮像光学系１０１のピントが合っているときには、図３に示すようにマイクロレンズの表面上の一点に集光する。そして、焦点検出用画素Ｓ１及びＳ２上には互いに一致する（ずれがない）Ａ像及びＢ像が形成される。したがって、焦点検出用画素Ｓ１及びＳ２から読み出されたＡ像信号とＢ像信号の位相差は零となる。
【００３２】
一方、撮像光学系１０１のピントが合っていないときには、図４に示すように、光束Ｌ１，Ｌ２は、マイクロレンズの表面とは異なる位置で交差する。このため、焦点検出用画素Ｓ１上のＡ像と焦点検出用画素Ｓ２上のＢ像の間にはずれ（位相差）が生ずる。
【００３３】
ここで、マイクロレンズの表面と２つの光束Ｌ１，Ｌ２の交点との間の距離、すなわちデフォーカス量をｘとし、位相差をｎ画素とし、画素ピッチをｄとする。また、Ｓ１に対する瞳とＳ２に対する瞳間の距離をＤａｆとし、撮像光学系１０１の主点からその焦点位置までの距離がｕであるとする。このとき、デフォーカス量ｘは、
ｘ＝ｎ×ｄ×ｕ／Ｄａｆ
で求められる。さらに、ｕは撮像光学系１０１の焦点距離ｆにほぼ等しいと考えられるので、
ｘ＝ｎ×ｄ×ｆ／Ｄａｆ
で求めればよい。
【００３４】
なお、図８の上図には、撮像光学系１０１の焦点状態（合焦，前ピン，後ピン）と光束Ｌ１，Ｌ２の結像位置（Ａ像及びＢ像の位置）との関係を示す。前ピン状態と後ピン状態では、Ａ像及びＢ像のずれの方向が異なる。
【００３５】
また、図８の下図には、上記各焦点状態における本画像の像信号（撮像用画素から読み出した像信号）と、焦点検出用画素Ｓ１，Ｓ２から読み出したＡ像信号及びＢ像信号とを示す。横軸は像信号の位相、縦軸は輝度を表している。８０１及び８０２は、本画像の像信号からのずれ量を表している。
【００３６】
図１において、１１１は上記の方法によって、２つの瞳分割像（Ａ像及びＢ像）のずれ量を求める演算部である。演算部１１１は、フォーカスモードスイッチ１２０によってオートフォーカスモードが選択されている場合には、上記ずれ量に基づいて撮像光学系１０１のデフォーカス量ｘを算出する。
【００３７】
図５には、演算部１１１で行われる焦点検出処理及びオートフォーカス処理の流れを示す。ステップＳ５０１では、上述した撮像素子１０２上に２つの瞳分割像（Ａ像及びＢ像）が生成される。次のステップＳ５０２では、演算部１１１はこれら２つの瞳分割像のずれ量を求める。
【００３８】
さらにステップＳ５０３では、演算部１１１は、カメラがオートフォーカスモードに設定されているか否かを判断する。オートフォーカスモードである場合は、ステップ５０４に進み、演算部１１１は、上述した演算によりデフォーカス量ｘを求め、ステップＳ５０５では、演算したデフォーカス量ｘに基づいて、合焦位置にフォーカスレンズ１０１ａを移動させる。
【００３９】
また、図１において、１１２は画像処理部である。画像処理部１１２は、マニュアルフォーカスモードが設定されている場合に、瞳分割像取得部１１０により生成されたＡ画像データ及びＢ画像データからスプリットイメージを生成する処理を行う。スプリットイメージの生成に先だって、画像処理部１１２は、信号処理部１０４によって生成された本画像から瞳分割像としてのＡ像及びＢ像のずれ量（言い換えれば、Ａ画像データ及びＢ画像データのずれ量）に基づいて色情報を抽出し、該色情報をＡ画像データ及びＢ画像データに合成する。色情報は、本画像に対するＡ像、Ｂ像のそれぞれのずれ量（各瞳分割像のずれ量）に対応した位置に付加される。
【００４０】
これにより、色情報が付加されたＡ画像データ及びＢ画像データからスプリットイメージが生成される。言い換えれば、画像処理部１１２は、スプリットイメージに、瞳分割像のずれ量に基づいて本画像から抽出した色情報を付加する。演算部１１１及び画像処理部１１２によりスプリットイメージ生成手段が構成される。
【００４１】
１０５は画像合成部であり、信号処理部１０４で得られた本画像に、画像処理部１１２で得られたスプリットイメージを重ね合わせる。これにより、スプリットイメージを含む本画像が生成される。スプリットイメージを含む本画像は、表示部１０６に表示される。
【００４２】
図９には、画像処理部１１２及び画像合成部１０５にて行われる処理を模式的に示している。
【００４３】
９０１は信号処理部１０４によって生成された本画像である。９０２，９０３は瞳分割像取得部１１０により生成されたＡ画像データ及びＢ画像データ（ただし、スプリットイメージの生成に用いられる部分のデータ）である。Ａ画像データ９０２及びＢ画像データ９０３に、本画像９０１から抽出した色情報を合成することによって、カラーのＡ画像データ９０４及びＢ画像データ９０５が得られる。画像処理部１１２は、カラーのＡ画像データ９０４及びＢ画像データ９０５を用いてスプリットイメージを生成し、それを画像合成部１０５によって本画像内（第３の画像内）の対応する被写体領域に重ね合わせる。これにより、カラーのスプリットイメージ９１１を含む本画像としての表示画像９１０が得られる。
【００４４】
図１０には、カメラのレリーズボタン（図示せず）が操作されて焦点検出を行い、スプリットイメージを有する表示画像が表示されるまでの処理（画像表示方法）の流れを示すフローチャートを示す。ここでは、フォーカスモードスイッチ１２０によってマニュアルフォーカスモードが設定されている場合の処理を示す。
【００４５】
ステップＳ１００１において、使用者によりレリーズボタン（ＳＷ１）が操作（半押し操作）されると、ステップＳ１００２に進み、演算部１１１によって、焦点検出対象となっている被写体領域における瞳分割像としてのＡ像及びＢ像のずれ量が算出される。焦点検出対象となる被写体領域は、使用者のスイッチ操作を通じた選択により又はカメラの自動的な選択動作によって設定される。以下の説明においてＡ像及びＢ像とは、この焦点検出対象となっている被写体領域におけるＡ像及びＢ像を意味する。
【００４６】
ステップＳ１００３では、画像処理部１１２は、Ａ像及びＢ像のずれ量に基づいて、本画像のうち焦点検出対象となっている（つまりはスプリットイメージを生成する）被写体領域のＡ像及びＢ像に対応する位置から色情報を抽出する。
【００４７】
図１１には、Ａ像及びＢ像のずれ量に基づいて本画像から色情報を抽出し、Ａ画像データ及びＢ画像データに付加する方法を示す。
【００４８】
図１１の左図に示す１１０１はＡ画像データ上のある画素（Ａ画素）を示す。１１０２は図１１の右図に示す本画像上の画素であって、Ａ画素１１０１の位置に一致する位置から上記ずれ量に相当する画素数だけシフトした位置に存在する画素である。画像処理部１１２は、この画素１１０２の色情報を抽出する。そして、ステップＳ１１０４で、画像処理部１１２は、この抽出した色情報をＡ画素１１０１に付加する。
【００４９】
すなわち、Ａ画像データ上の画素１１０１に一致する本画像上の画素から、Ａ像及びＢ像のずれ量に相当する画素数だけシフトした位置にある本画像上の画素１１０２の色情報を抽出し、その色情報をＡ像上の画素１１０１に付加する。
【００５０】
このような色情報の抽出及び付加をＡ画像データ及びＢ画像データを構成する全ての画素に対して行うことで、カラーのＡ画像データ及びＢ画像データが生成される。
【００５１】
次にステップＳ１００５では、画像処理部１１２は、必要に応じてカラーのＡ画像データ及びＢ画像データに対する表示変更処理を行う。表示変更処理とは、Ａ画像データ及びＢ画像データ（つまりは、スプリットイメージ）における色濃度、輝度、表示色及び形状のうち少なくとも１つを変更する処理である。例として、合焦状態に近いほどＡ画像データ及びＢ画像データの色濃度を濃くしたり、非合焦状態（ずれ量が所定値より大きい状態）ではＡ画像データ及びＢ画像データを点滅させたりするとよい。
【００５２】
ステップＳ１００６では、画像処理部１１２は、色情報が付加されて必要に応じて表示変更処理がなされたＡ画像データ及びＢ画像データをそれらの分割方向（図９では上下方向）に並べてスプリットイメージ（ＳＩ）９１１を生成する。ステップＳ１００１〜ステップＳ１００６の処理は、焦点検出対象となる被写体領域が複数ある場合には、該被写体領域ごとに行われ、複数のスプリットイメージが生成される。
【００５３】
次にステップＳ１００７では、信号処理部１０４で生成された本画像と、ステップＳ１００６で生成された１又は複数のスプリットイメージ９１１とが画像合成部１０５で重ね合わされる。こうして生成された、カラーのスプリットイメージ９１１を有する本画像としての表示画像９１０は、ステップＳ１００８にて表示部１０６に出力されて表示される。
【００５４】
以上説明したように、本実施例によれば、Ａ画像データ及びＢ画像データから生成したスプリットイメージに、Ａ像及びＢ像のずれ量に基づいて本画像から抽出した色情報を付加する。これにより、特殊な素子を使用することなく、スプリットイメージを違和感なく含む画像を表示部１０６に表示することができる。また、スプリットイメージは、撮像素子１０２上に離散的に配置された焦点検出用画素を用いて生成されたＡ画像データ及びＢ画像データによって生成されるので、本画像上のいずれの位置にも表示させることができる。したがって、距離が異なる複数の被写体が存在する場合でも、該被写体ごとにスプリットイメージを表示することができる。
【００５５】
さらに、表示変更処理を施しながらスプリットイメージを表示させることにより、撮像光学系１０１の焦点状態を容易に確認しながらマニュアルフォーカス操作を行うことができる。
【００５６】
なお、本実施例では、Ａ画像データ及びＢ画像データに対して本画像から抽出した色情報を付加した後に該Ａ画像データ及びＢ画像データからスプリットイメージを生成する場合について説明した。しかし、Ａ画像データ及びＢ画像データからまずスプリットイメージを生成し、その後、本画像から抽出した色情報を該スプリットイメージに付加してもよい。これらいずれの場合でも、スプリットイメージに色情報を付加することに含まれる。
【実施例２】
【００５７】
次に、本発明の実施例２について説明する。なお、本実施例におけるカメラ及び撮像素子の構成やＡ像及びＢ像のずれ量の求め方は実施例１と同じある。本実施例において実施例１と共通する又は同様の機能を有する構成要素には実施例１と同符号を付す。
【００５８】
図１２には、本実施例により表示部１０６に表示されるスプリットイメージの例を示す。図において、１２０１及び１２０２は、合焦状態を示すカラーのスプリットイメージであり、１２０３は非合焦状態を示す白黒のスプリットイメージである。
【００５９】
図１２に示した画像を表示するまでの処理の流れを、図１３のフローチャートを用いて説明する。ここでも、フォーカスモードスイッチ１２０によってマニュアルフォーカスモードが設定されている場合の処理を示す。
【００６０】
ステップＳ１３０１において、使用者によりレリーズボタンが半押し操作されると、ステップＳ１３０２に進み、演算部１１１によって、瞳分割像取得部１１０により生成されたＡ像及びＢ像のずれ量が算出される。
【００６１】
ステップＳ１３０３では、演算部１１１は、算出したずれ量が合焦状態又はそれに近い状態（以下、これらをまとめて合焦近傍状態という）を示すか、非合焦状態を示すかを判断する。具体的には、算出したずれ量が所定値より小さい場合（又は以下の場合）は合焦近傍状態と判断し、所定値より大きい場合は非合焦状態と判断する。
【００６２】
非合焦状態の場合は、ステップＳ１３１０に進み、画像処理部１１２は、Ａ画像データ及びＢ画像データからスプリットイメージ（ＳＩ）を生成する。これにより、色情報を持たない白黒のスプリットイメージが生成される。そして、ステップＳ１３１１において、実施例１で説明した表示変更処理を行う。
【００６３】
一方、合焦状態の場合は、ステップＳ１３０４において、画像処理部１１２は、色情報を持ったスプリットイメージ（ＳＩ）を生成する。このとき、実施例１のステップＳ１００３〜Ｓ１００６にて説明したように、Ａ画像データ及びＢ画像データに本画像から抽出した色情報を付加してスプリットイメージを生成してもよいし、Ａ画像データ及びＢ画像データを用いずに本画像からスプリットイメージを生成してもよい。いずれの場合でも、色情報を持ったカラーのスプリットイメージが生成される。
【００６４】
なお、ステップＳ１３０２〜ステップＳ１３０４及びステップＳ１３１０，Ｓ１３１１の処理は、焦点検出対象となる被写体領域が複数存在する場合は該被写体領域ごとに行われる。
【００６５】
次にステップＳ１３０５では、信号処理部１０４で生成された本画像と、ステップＳ１３０４又はステップＳ１３１０，Ｓ１３１１で生成された１又は複数のスプリットイメージ９１１とが画像合成部１０５で重ね合わされる。こうして生成された、カラーのスプリットイメージ１２０１，１２０２及び白黒のスプリットイメージ１２０３を含む表示画像１２０５（図９参照）は、ステップＳ１３０６にて表示部１０６に出力されて表示される。
【００６６】
本実施例によれば、非合焦状態を示すスプリットイメージは白黒で表示され、合焦近傍状態を示すスプリットイメージはカラーで表示される。これにより、距離が異なる複数の被写体が存在する場合に、これら被写体に対する撮像光学系１００の焦点状態を容易に確認しながらマニュアルフォーカス操作を行うことができる。特に、合焦近傍状態を示すスプリットイメージは使用者により注目されるので、このスプリットイメージをカラーで表示することにより、使用者に違和感を生じさせずにスプリットイメージを用いたマニュアルフォーカス操作を行わせることができる。
【００６７】
なお、上記各実施例（図９，図１２）では、スプリットイメージが矩形を有し、上下方向に分割された場合について説明した。しかし、本発明でのスプリットイメージの形状や分割方向はこれに限らず、スプリットイメージが円形状を有したり左右方向に分割されたりしてもよい。
【００６８】
また、上記各実施例では、第１〜第３の画素群を含む単一の撮像素子を用いる場合について説明したが、本発明では、２つ以上の撮像素子、例えば第１及び第２の画素群を有する瞳分割像用撮像素子と第３の画素群を有する本画像用撮像素子とを用いてもよい。
【００６９】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施例１であるカメラの構成を示すブロック図。
【図２】実施例にて用いられる撮像素子の画素配列を示す図。
【図３】実施例における焦点検出の原理を示す図（合焦状態）。
【図４】実施例における焦点検出の原理を示す図（非合焦状態）。
【図５】実施例１における焦点検出処理及びオートフォーカス処理を示すフローチャート。
【図６】図２の撮像素子の焦点検出用画素の構造を示す図。
【図７】焦点検出用画素に設けられた遮光膜を示す図。
【図８】撮像光学系の焦点状態と、瞳分割された２つの光束及び２像のずれとの関係を示す図。
【図９】実施例１におけるスプリットイメージの生成手順を説明する模式図。
【図１０】実施例１におけるスプリットイメージ生成処理を示すフローチャート。
【図１１】本画像からの色情報を抽出とその合成を示す図。
【図１２】本発明の実施例２であるカメラにおけるスプリットイメージの表示例を示す図。
【図１３】実施例２におけるスプリットイメージ生成処理を示すフローチャート。
【符号の説明】
【００７１】
１０１  撮像光学系
１０２  撮像素子
１０４  信号処理部
１０５  画像合成部
１０６  表示部
１１０  瞳分割像取得部
１１１  演算部
１１２  画像処理部
６０１  マイクロレンズ
６０２  遮光膜
６０３  光電変換部
９０２  Ａ像
９０３  Ｂ像
９０４  色情報を持ったＡ像
９０５  色情報を持ったＢ像
９１０  スプリットイメージ
１１０１  Ａ像中の画素
１１０２  本画像中の画素
１２０１，１２０２  カラースプリットイメージ
１２０３  白黒のスプリットイメージ
【図６】
0005043626.tif 000002
【図１】
0005043626.tif 000003
【図２】
0005043626.tif 000004
【図３】
0005043626.tif 000005
【図４】
0005043626.tif 000006
【図５】
0005043626.tif 000007
【図７】
0005043626.tif 000008
【図８】
0005043626.tif 000009
【図９】
0005043626.tif 000010
【図１０】
0005043626.tif 000011
【図１１】
0005043626.tif 000012
【図１２】
0005043626.tif 000013
【図１３】
0005043626.tif 000014