(57)【特許請求の範囲】
【請求項１】
撮像光学系からの光束により形成される被写体像を光電変換して信号を出力する第１の画素、および前記撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の信号を出力することが可能な第２の画素を複数有する撮像素子と、
前記第２の画素からの出力を用いて前記撮像光学系の焦点状態を検出する焦点検出手段と、
前記第１および第２の画素からの出力を用いて撮影画像を生成する画像生成手段とを有し、
前記第１の画素は第１の開口率を有し、前記第２の画素は、前記第１の開口率よりも小さい第２の開口率を有する撮像装置であって、
複数の前記第２の画素のうち特定画素または前記撮像素子上における前記撮像光学系の光学特性が前記特定画素と同じ領域に存在する前記第２の画素を比率算出画素とするとき、
前記画像生成手段は、前記焦点検出手段により前記撮像光学系の合焦状態が検出された場合に、前記比率算出画素の出力信号と複数の前記第１の画素のうち前記比率算出画素の周辺に存在する前記第１の画素の出力信号との比率を算出し、該比率を用いて前記特定画素の出力信号を前記第１の開口率での出力信号に換算して信号値を求め、該信号値を用いて前記撮影画像を生成することを特徴とする撮像装置。
【請求項２】
前記画像生成手段は、前記焦点検出手段により検出された前記焦点状態に応じて、前記撮影画像を生成する際の前記第２の画素からの出力として用いる信号における前記信号値の割合を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像生成手段は、前記焦点検出手段により前記撮像光学系の非合焦状態が検出された場合に、前記第２の画素の周辺に存在する前記第１の画素の出力信号を用いて当該第２の画素の信号値を補間演算して求め前記撮影画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
撮像光学系からの光束により形成される被写体像を光電変換して信号を出力する第１の画素、および前記撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の信号を出力することが可能な第２の画素を複数有する撮像素子を有し、前記第１の画素は第１の開口率を有し、前記第２の画素は、前記第１の開口率よりも小さい第２の開口率を有する撮像装置の制御方法であって、
前記第２の画素からの出力を用いて前記撮像光学系の焦点状態を検出する焦点検出ステップと、
前記第１および第２の画素からの出力を用いて撮影画像を生成する画像生成ステップとを有し、
前記画像生成ステップでは、複数の前記第２の画素のうち特定画素または前記撮像素子上における前記撮像光学系の光学特性が前記特定画素と同じ領域に存在する前記第２の画素を比率算出画素とするとき、前記焦点検出ステップにより前記撮像光学系の合焦状態が検出された場合に、前記比率算出画素の出力信号と複数の前記第１の画素のうち前記比率算出画素の周辺に存在する前記第１の画素の出力信号との比率を算出し、該比率を用いて前記特定画素の出力信号を前記第１の開口率での出力信号に換算して信号値を求め、該信号値を用いて前記撮影画像を生成することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力に基づいて画像生成と焦点検出とを行う撮像装置に関する。
【背景技術】
【０００２】
上記のような撮像装置として、特許文献１にて開示されたものがある。この撮像装置には、撮影画像を生成するために被写体像を光電変換する複数の撮像画素とこれら撮像画素中に分散配置された複数の焦点検出画素とを備えた撮像素子が用いられている。撮像画素は、その画素を構成するマイクロレンズの光学中心と該画素の開口部の中心とが一致し、かつ開口部ができるだけ大きくなるように構成されている。これに対し、焦点検出画素は、その画素を構成するマイクロレンズとフォトダイオードとの間に遮光層を有し、該遮光層の開口部（半開口部）がマイクロレンズの光学中心に対して上下又は左右のうち一方に偏って形成されている。
【０００３】
そして、遮光層の半開口部の偏り方向が互いに反対である２種類の焦点検出画素を設けることで、撮像光学系からの光束の瞳分割を行い、瞳分割された２つの光束により形成された一対の被写体像の光電変換信号（像信号）の位相差を検出する。該位相差に基づいて、撮像光学系の焦点状態を検出することができる。
【０００４】
特許文献１にて開示された撮像装置では、焦点検出画素からの出力信号を撮影画像の生成には用いない。その代わり、焦点検出画素の周辺に配置された２以上の撮像画素（以下、周辺画素という）からの出力信号を用いた補間処理によって焦点検出画素の位置の補間信号を生成し、該補間信号を用いて撮影画像を生成する。これにより、焦点検出画素に対応する画素の信号欠損がない撮影画像を生成する。
【０００５】
ただし、このような補間処理を用いて撮影画像を生成する方法では、焦点検出画素の数が多くなると、生成される撮影画像の多くの箇所が補間信号によって構成されることになり、この結果、撮影画像の鮮鋭度や像の連続性が低下するおそれがある。また、数が多くなった焦点検出画素の配置周期と撮影画像（被写体像）のパターン周期との関係によって、撮影画像中に低周期のノイズが発生してしまうおそれもある。
【０００６】
特許文献２には、合焦状態において、焦点検出画素からの信号レベルが該焦点検出画素の周辺画素からの信号レベルに近づくように、焦点検出画素からの信号に対するゲイン調整を行う撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００９−０４４６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２にて開示された撮像装置では、ゲイン調整前の焦点検出画素の信号レベル（画素値）とは無関係に、周辺画素の信号レベルを目標として焦点検出画素からの信号に対するゲイン調整を行う。このため、生成される撮影画像において焦点検出画素自体の元々の画素値が反映されず、適正な撮影画像が生成されない可能性がある。
【０００９】
本発明は、撮像素子に設けられた焦点検出画素の画素値も反映した撮影画像を生成できるようにした撮像装置およびその制御方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての撮像装置は、撮像光学系からの光束により形成される被写体像を光電変換して信号を出力する第１の画素、および前記撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の信号を出力することが可能な第２の画素を複数有する撮像素子と、前記第２の画素からの出力を用いて前記撮像光学系の焦点状態を検出する焦点検出手段と、前記第１および第２の画素からの出力を用いて撮影画像を生成する画像生成手段とを有し、前記第１の画素は第１の開口率を有し、前記第２の画素は、前記第１の開口率よりも小さい第２の開口率を有する撮像装置であって、複数の前記第２の画素のうち特定画素または前記撮像素子上における前記撮像光学系の光学特性が前記特定画素と同じ領域に存在する前記第２の画素を比率算出画素とするとき、前記画像生成手段は、前記焦点検出手段により前記撮像光学系の合焦状態が検出された場合に、前記比率算出画素の出力信号と複数の前記第１の画素のうち前記比率算出画素の周辺に存在する前記第１の画素の出力信号との比率を算出し、該比率を用いて前記特定画素の出力信号を前記第１の開口率での出力信号に換算して信号値を求め、該信号値を用いて前記撮影画像を生成することを特徴とする。
【００１１】
また、本発明の他の一側面としての制御方法は、撮像光学系からの光束により形成される被写体像を光電変換して信号を出力する第１の画素、および前記撮像光学系の異なる瞳領域を通過した光束を光電変換して、一対の信号を出力することが可能な第２の画素を複数有する撮像素子を有し、前記第１の画素は第１の開口率を有し、前記第２の画素は、前記第１の開口率よりも小さい第２の開口率を有する撮像装置の制御方法であって、前記第２の画素からの出力を用いて前記撮像光学系の焦点状態を検出する焦点検出ステップと、前記第１および第２の画素からの出力を用いて撮影画像を生成する画像生成ステップとを有し、前記画像生成ステップでは、複数の前記第２の画素のうち特定画素または前記撮像素子上における前記撮像光学系の光学特性が前記特定画素と同じ領域に存在する前記第２の画素を比率算出画素とするとき、前記焦点検出ステップにより前記撮像光学系の合焦状態が検出された場合に、前記比率算出画素の出力信号と複数の前記第１の画素のうち前記比率算出画素の周辺に存在する前記第１の画素の出力信号との比率を算出し、該比率を用いて前記特定画素の出力信号を前記第１の開口率での出力信号に換算して信号値を求め、該信号値を用いて前記撮影画像を生成することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像画素と該撮像画素よりも開口率が小さい焦点検出画素とを有する撮像素子を備えた撮像装置において、合焦状態では、焦点検出画素（特定画素）の画素値を、撮像画素と同じ第１の開口率での画素値に換算する。そして、撮像画素の画素値と焦点検出画素の換算画素値を用いて撮影画像を生成する。これにより、焦点検出画素の画素値を反映した撮影画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１であるデジタルカメラの構成を示すブロック図。
【図２】実施例１のデジタルカメラに用いられる撮像素子の画素配置を説明する図。
【図３】上記撮像素子に設けられた焦点検出画素の半開口部を示す図。
【図４】実施例１における合焦状態および非合焦状態での焦点検出画素から得られる濃度値と撮像画素から得られる濃度値との関係を説明する図。
【図５】実施例１における焦点検出画素とその周辺画素に対する光の照射範囲を説明する図。
【図６】実施例１における焦点検出画素の遮光範囲（又は半開口部）と光の照射範囲との関係を説明する図。
【図７】実施例１における撮像領域中のシェーディング特性を説明する図。
【図８】図１に示した画像補間処理部の構成を説明するブロック図。
【図９】実施例１における撮像シーケンスを示すフローチャート。
【図１０】本発明の実施例２であるデジタルカメラにおける撮像シーケンスを示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１５】
図１には、本発明の実施例１である撮像装置としてのデジタルカメラの構成を示している。なお、本実施例では撮像装置の一例としてデジタルカメラについて説明するが、本発明の実施例としては、ビデオカメラや携帯電話等のモバイル機器用のカメラも含まれる。
【００１６】
図１において、１００は撮像光学系であり、ズームレンズやフォーカスレンズ等のレンズユニットおよびシャッタ又は絞り等の光量調節ユニットを含む。１０１はＣＭＯＳセンサ等により構成された撮像素子であり、撮像光学系１００からの光束により形成された被写体像を光電変換する複数の撮像画素（第１の画素）１０１ａを有する。また、撮像素子１０１は、撮像光学系１００からの光束のうち撮像画素１０１ａに入射する光束とは異なる瞳領域を通過し、かつ瞳分割された光束を光電変換する複数の焦点検出画素（第２の画素）１０１ｂも備えている。撮像素子１０１の詳しい構成については後述する。
【００１７】
１０２は撮像光学系１００のズームレンズやフォーカスレンズを移動させてズーミング（変倍）やフォーカシングを行わせる光学系駆動部である。１０３は撮像素子駆動部であり、撮像素子１０１の光電変換（電荷蓄積）駆動を行うとともに、蓄積された電荷（アナログ信号としての画素信号）を出力させるための読み出し駆動を行う。
【００１８】
１０４はアナログ処理部であり、撮像素子１０１から出力されたアナログ画素信号に対して相関二重サンプリングや利得可変増幅等のアナログ処理を行う。１０５はＡ／Ｄ変換部であり、アナログ処理部１０４から出力された画素信号をデジタル信号に変換する。
【００１９】
１０８はデジタル信号処理部であり、Ａ／Ｄ変換部１０５から出力された、焦点検出画素群１０１ｂからの出力に対応するデジタル画素信号を用いて撮像光学系１００の焦点状態を検出する焦点検出部１０８ａを含む。また、デジタル信号処理部１０８は、撮像画素群１０１ａと焦点検出画素群１０１ｂからの出力に対応するデジタル画素信号に対して画像処理を行うことで、画像データ（撮影画像）を生成する画像生成手段としてのデジタル信号処理部１０８ｃも有する。さらに、デジタル信号処理部１０８は、後述する画素補間処理部１０８ｂも備えている。焦点検出部１０８ａと画素補間処理部１０８ｂについては後に詳述する。
【００２０】
１０６はタイミングジェネレータであり、撮像素子駆動部１０３、アナログ処理部１０４、Ａ／Ｄ変換部１０５およびデジタル信号処理部１０８にタイミング信号を供給する。１０７は外部メモリであり、デジタル信号処理部１０８の処理過程において生成された中間データをバッファしておくために設けられている。
【００２１】
１０９は上記各部の動作を制御するＣＰＵ等により構成されるコントローラである。１１０はユーザによって操作されるスイッチ等の操作部である。１１３はコントローラ（ＣＰＵ）１０９の動作に用いられるデータや情報が格納されているＲＯＭである。
【００２２】
次に、撮像素子１０１の構成についてさらに詳しく説明する。撮像画素１０１ａは、ＲＧＢのうちいずれか１色のカラーフィルタを備え、撮像光学系１００からの光束により形成された被写体像を光電変換して該カラーフィルタに対応する色の画素信号を出力する。撮像画素１０１ａは、図示はしないが、その全体が開口部となっている（つまり、遮光されていない）全開口画素である。  
【００２３】
一方、焦点検出画素１０１ｂはいずれもＧ色のカラーフィルタを備える。焦点検出画素１０１ｂには、図３に示すように、右半分が遮光されて左半分が開口部（左半開口部）となっているＸタイプの焦点検出画素と、左半分が遮光されて右半分が開口部（右半開口部）となっているＹタイプの焦点検出画素を含む。つまり、焦点検出画素１０１ｂは、その半開口部が左右のうち一方と他方にそれぞれ偏った半開口画素である。撮像画素１０１ａの開口率を１とすると（第１の開口率）、焦点検出画素１０１ｂの開口率はそれよりも小さい０．５（第２の開口率）となる。なお、第２の開口率の０．５は例に過ぎず、０．４等、他の開口率でもよい。
【００２４】
このようなＸタイプおよびＹタイプの焦点検出画素１０１ｂは、撮像光学系１００からの光束の瞳分割を行い、瞳分割された２つの光束により形成された一対の被写体像を光電変換して一対の像信号を出力する。焦点検出部１０８ａは、該一対の像信号の位相差を算出し、該位相差に基づいて撮像光学系１００の焦点状態（合焦状態と非合焦状態）を検出することができる。このような焦点検出方式は、位相差検出方式と称される。
【００２５】
図２には、撮像素子１０１上に配置された撮像画素群１０１ａを各撮像画素に備えられたカラーフィルタの色であるＲ，Ｇ，Ｂを用いて示している。また、図２には、撮像素子１０１上に配置された焦点検出画素群１０１ｂを、各焦点検出画素に備えられたカラーフィルタの色であるＧを用いて示すとともに、上記ＸタイプおよびＹタイプの別を括弧書きで示している。なお、図２では、水平方向をＨとし、垂直方向をＶとして各画素の位置（座標）を（Ｈ，Ｖ）で表現する。例えば、Ｈ座標が２でＶ座標が３の焦点検出画素１０１ｂは、座標（２，３）に配置されたＸタイプの焦点検出画素である。以下の説明において、Ｘタイプの焦点検出画素１０１ｂをＸ半開口画素ともいい、Ｙタイプの焦点検出画素１０１ｂをＹ半開口画素ともいう。また、これらに対して撮像画素１０１ａを全開口画素ともいう。
【００２６】
ここで、焦点検出画素を、撮像画素として使用可能か否かについて考察する。図４は、撮像光学系１００が（ａ）非合焦状態にあるときと（ｂ）合焦状態にあるときの複数のＸ，Ｙ半開口画素により得られる一対の像信号と複数の全開口画素により得られる像信号とを示している。縦軸は像信号の濃度値（言い換えれば各画素の濃度値）を示しており、横軸は各画素の座標を示している。
【００２７】
なお、本実施例（および後述する他の実施例）では、各画素からの出力、すなわち画素信号のレベル（強度）を表す数値に相当する画素値を濃度値として説明するが、濃度値に代えて輝度値を用いてもよい。
【００２８】
非合焦状態では、半開口画素により得られる像信号の重心は、全開口画素により得られる像信号の重心とは一致しない。したがって、半開口画素の濃度値と全開口画素の濃度値との線形性は保証されない。
【００２９】
一方、合焦状態では、半開口画素により得られる像信号と全開口画素により得られる像信号の形状および重心が互いに一致する。このため、半開口画素の濃度値と全開口画素の濃度値との線形性は保証される。
【００３０】
ここで、合焦状態においては、Ｘ，Ｙ半開口画素により得られる一対の像信号は互いに一致するはずであるが、撮像光学系１００の光学特性の影響により信号レベルまでは必ずしも一致しない。撮像素子１０１における各画素の前面にはマイクロレンズが配置されており、該マイクロレンズに関して瞳補正が適正に行われているとすると、信号レベルに影響する撮像光学系１００の光学特性は、主としてシェーディングやケラレに関する特性である。
【００３１】
シェーディングについて、撮像素子上のある一点に入射する光線の入射角をθとし、そのときの照度（光量）をＥθとすると、照度Ｅθは、撮像素子の周辺部においては中心部に対してｃｏｓ４θだけ減少する。これを、コサイン４乗則という。照度Ｅθは、撮像光学系１００の光軸位置を中心とした同心円状に変化する。一方、ケラレによる照度の減少も、撮像光学系１００内の絞りを絞り込めば軽減されるものの、撮像光学系１００の光軸位置からの距離と方向によってその減少量が変化する。
【００３２】
このため、Ｘ，Ｙ半開口画素にて得られる信号レベル、つまりは濃度値については、撮像光学系１００の光軸位置からの距離と方向を考慮しなくてはならない。このことは、全開口画素の濃度値についても同様である。
【００３３】
本実施例では、後述する半開口画素（焦点検出画素）の濃度値と全開口画素（撮像画素）の濃度値との比率αの計算において、複数の半開口画素のうちの１つを着目画素（特定画素）とする。そして、この着目画素と光軸位置からの距離および方向が同じ、言い換えれば撮像素子上に現れる撮像光学系１００の光学特性（特に照度に関する特性）が同じ領域内に存在する半開口画素の濃度値を用いて比率αを算出する。
【００３４】
次に、図１に示したデジタル信号処理部１０８について、さらに詳細に説明する。焦点検出部１０８ａは、Ａ／Ｄ変換部１０５からのデジタル画素信号のうちＸ，Ｙ半開口画素からの信号を抽出し、これらＸ，Ｙ半開口画素からの信号により形成される一対の像信号に対して相関演算を行うことにより、該一対の像信号の位相差を算出する。そして、該位相差から撮像光学系１００の焦点状態を表す合焦度を算出する。焦点検出部１０８ａは、この合焦度の情報を画素補間処理部１０８ｂに送信する。
【００３５】
また、焦点検出部１０８ａは、位相差に基づいて撮像光学系１００の焦点状態を表すデフォーカス量を算出し、該デフォーカス量の情報をコントローラ１０９に送信する。コントローラ１０９は、該デフォーカス量に基づいて合焦状態を得るためのフォーカスレンズの移動量と移動方向を算出し、光学系駆動部１０２を介してフォーカスレンズを移動させる。これにより、オートフォーカスが行われる。
【００３６】
画素補間処理部１０８ｂは、Ａ／Ｄ変換部１０５からのデジタル画素信号のうち全開口画素からの信号についてはそのまま信号処理部１０８ｃに出力する一方、Ｘ，Ｙ半開口画素からの信号に対しては少なくとも合焦状態においては全開口換算を行う。全開口換算は、半開口画素で得られた実際の濃度値を、全開口画素の濃度値に換算することをいう。そして、この全開口換算した濃度値（換算画素値）を信号処理部１０８ｃに出力する。以下の説明において、全開口換算した濃度値を、全開口換算濃度値という。なお、画素補間処理部１０８ｂは、非合焦状態においては後述する別の濃度値演算を行う。
【００３７】
信号処理部１０８ｃは、全開口画素の濃度値と半開口画素の全開口換算濃度値（又は非合焦状態において別の濃度値演算により算出された濃度値）とを用いて撮影画像データを生成する。撮影画像データの生成において、全開口画素の濃度値と半開口画素の全開口換算濃度値とは特に区別されない。そして、信号処理部１０８ｃは、撮影画像データを所定の記録又は表示フォーマットに変換して記録メディア１１２に記録したり表示部１１１に表示したりする。
【００３８】
次に、半開口画素の濃度値の全開口換算方法について説明する。図５には、図２に示した座標（２，３）の半開口画素（Ｇ画素）とその周辺に存在する８つの全開口画素（Ｇ０，Ｇ１，Ｇ２，Ｇ３画素および２つのＲ画素と２つのＢ画素）を示している。これら９つの画素のそれぞれには、撮像光学系１００からの光が図示した楕円形状の領域に照射されている。また、これら９つの画素は互いに近傍に位置しているので、各画素における光の照射範囲はほぼ同じ大きさと形状を有する。また、Ｇ０，Ｇ１，Ｇ２，Ｇ３画素から得られる濃度値をそれぞれ、Ｓ０，Ｓ１，Ｓ２，Ｓ３とする。
【００３９】
図６には、図５に示した半開口画素（Ｇ画素）を拡大して示している。この半開口画素では、斜線で示した右半分が遮光部（以下、領域Ｍという）となっており、左半分が開口部（以下、領域Ｎという）となっている。光の照射範囲は、領域Ｍと領域Ｎにほぼ半分ずつ掛かっている。この半開口画素から実際に得られる濃度値（以下、半開口濃度値という）は、領域Ｎから入射した光の量（強度）に対応した濃度値となる。この実際の半開口濃度値をＳ４とする。
【００４０】
本実施例では、該半開口画素が全開口画素であるとして換算した濃度値、すなわち全開口換算濃度値として、その周辺画素である８つの全開口画素のうち同色の画素（Ｇ０，Ｇ１，Ｇ２，Ｇ３）の濃度値の平均値である（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４を用いる。したがって、半開口濃度値と全開口換算濃度値との比率（ここでは、半開口濃度値に対する全開口換算濃度値の比率）αは、以下の式（１）により求められる。
α＝全開口換算濃度値／半開口濃度値
＝｛（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４｝／Ｓ４  …（１）
次に、上記比率αを用いた具体的な着目画素（半開口画素）の全開口換算濃度値の算出方法について説明する。
【００４１】
前述したように、半開口画素を用いて検出された焦点状態が合焦状態である場合は、当該半開口画素の濃度値と全開口画素の濃度値との線形性が保証される。以下、焦点状態が合焦状態であることを前提として説明する。
【００４２】
例えば、図２に示した座標（６，５）の半開口画素を着目画素とし、その半開口濃度値をＷ６５として、その全開口換算濃度値を求める。この場合、それぞれ着目画素（６，５）との間に１つの全開口画素（Ｂ画素）を挟んで互いに反対側に配置された２つの半開口画素（４，５），（８，５）について上記式（１）により算出した比率αであるα４５，α８５を用いて、以下の式（２）により算出する。２つの半開口画素（４，５），（８，５）は比率算出画素に相当し、以下、参照画素ともいう。
着目画素（６，５）の全開口換算濃度値
＝半開口濃度値×着目画素の比率α（＝２つの参照画素の平均比率）
＝Ｗ６５×｛（α４５＋α８５）／２｝  …（２）
なお、焦点状態が非合焦状態である場合は、式（２）により算出した値を全開口換算濃度値として使用せず、周辺同色画素の濃度値の平均値（（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４）を全開口換算濃度値として使用してもよい。すなわち、焦点状態に応じて、全開口換算濃度値の算出方法を切り替えてもよい。
【００４３】
式（２）では、座標（６，５）の着目画素の全開口換算濃度値の算出において、着目画素の比率として、座標（４，５），（８，５）の２つの参照画素にて算出された比率α４５，α８５の平均値を用いた。しかし、座標（４，５），（８，５）以外の座標の半開口画素を参照画素の比率を用いて、または座標（４，５），（８，５）とこれら以外の座標の半開口画素とを含めたより多数の参照画素の比率αを適応的に用いてもよい。ただし、以下に説明する条件を満足することが望ましい。
【００４４】
図７には、前述した撮像光学系１００の光学特性（シェーディング特性）に基づく撮像素子１０１上での照度（光量）の分布の例を示している。図中の領域Ａ，Ｂ，Ｃ，Ｄは、それぞれ照度が同じ領域を示しており、領域Ｄ，Ｃ，Ｂ，Ａの順で撮像光学系１００の光軸位置からの距離が遠くなり、照度が低下する。実際には、領域Ａ，Ｂ，Ｃ，Ｄはそれぞれ光軸位置からの距離がある幅を有するが、照度が同じであるという観点から各領域内のいずれの位置も光軸位置から互いに等距離の位置とみなす。
【００４５】
前述したように、着目画素の比率αの算出には、該着目画素と光軸位置からの距離および方向が同じである参照画素（半開口画素）の濃度値を用いることが望ましい。そこで、本実施例では、領域Ａ，Ｂ，Ｃ，Ｄのうち着目画素が存在する領域と同じ領域内の参照画素の濃度値を用いて着目画素の比率αを算出する。例えば、図７には、着目画素が領域Ｂに存在している場合を示しており、該着目画素の比率αを、同じ領域Ｂ内の参照画素である半開口画素Ａと半開口画素Ｂの濃度値から算出する。さらに、半開口画素Ａと半開口画素Ｂは、光軸位置から見て着目画素と同じ方向に位置する。ここにいう「同じ方向」とは、完全に同じである場合だけでなく、近似的に同じとみなせる場合も含む。
【００４６】
このように、半開口画素Ａと半開口画素Ｂは、着目画素と撮像素子上に現れる撮像光学系１００の光学特性が同じ領域（領域Ｂ又はより厳密には領域Ｂのうち光軸位置からの方向が同じ領域）に存在する画素である。
【００４７】
着目画素上に被写体像のエッジ部が形成されている場合においては、着目画素と撮像光学系１００の光学特性が同じ領域内に存在する１つの参照画素の濃度値を用いて着目画素の比率αを算出すると、誤差が大きくなる可能性が高い。このため、式（２）に示すように、着目画素とは異なる複数の参照画素の比率αの平均値を着目画素の比率αとして用いるとよい。
【００４８】
次に、画素補間処理部１０８ｂの構成について、図８を用いてより詳細に説明する。ＡＤ変換部１０５からのデジタル画素信号のうち全開口画素（撮像画素）からの信号は、前述したようにそのままセレクタ２０８を介して信号処理部１０８ｃに送られるとともに、周辺平均値計算部２００、比率α計算部２０１および乗算器２０４に入力される。また、ＡＤ変換部１０５からのデジタル画素信号のうち半開口画素（焦点検出画素）からの信号は、比率α計算部２０１に入力される。
【００４９】
周辺平均値計算部２００は、全開口画素からの信号により表される濃度値を用いて、着目画素の周辺画素のうち同色の全開口画素の濃度値の平均値を算出する。例えば、式（１）中の｛（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４｝を算出する。
【００５０】
比率α計算部２０１は、各半開口画素からの信号と各全開口画素からの信号によりそれぞれ表される濃度値を用いて、式（１）により、参照画素として選択された場合に式（２）の計算で使用されることになる各半開口画素の比率αを算出する。算出された各半開口画素の比率αは、メモリ２０２によって保持される。
【００５１】
画素位置判定部２０６は、各半開口画素が着目画素となったときの参照画素の位置を決定する。そして、メモリ２０２から、メモリＩＦ２０３を介して参照画素の比率αを読み出す。
【００５２】
乗算器２０４は、着目画素からの信号より表される半開口濃度値と、メモリ２０２から読み出された参照画素の比率αとを用いて、式（２）により、着目画素の全開口換算濃度値を算出する。
【００５３】
線形補間演算部２０５は、焦点検出部１０８ａにより算出された合焦度β、周辺平均値計算部２００より算出された周辺同色画素の平均濃度値および乗算器２０４より算出された着目画素の全開口換算濃度値を以下の式（３）に代入する。これにより、着目画素の出力濃度値の線形補間演算を行う。合焦度βは、０〜１の値であり、値が大きいほど合焦状態に近いことを示す。
（着目画素の出力濃度値）
＝（周辺同色画素の平均濃度値）×（１−β）
＋（着目画素の全開口換算濃度値）×β  …（３）
式（３）によれば、合焦度βが高いほど、着目画素の出力濃度値として全開口換算濃度値を反映する割合が高くなり、β＝１（最も合焦度が高い合焦状態）では着目画素の全開口換算濃度値のみが使用される。また、逆に、合焦度βが低いほど、着目画素の出力濃度値として周辺同色画素の平均濃度値を反映する割合が高くなり、β＝０（最も合焦度が低い非合焦状態）では周辺同色画素の平均濃度値のみが使用され、着目画素の全開口換算濃度値は全く使用されない。
【００５４】
このように、本実施例では、合焦度βに応じて着目画素の出力濃度値に含まれる全開口換算濃度値の割合を変更することで、合焦状態と非合焦状態との境界において着目画素の出力濃度値が不連続に変化して撮影画像の画質を低下させることを防止できる。
【００５５】
次に、図９のフローチャートを用いて、本実施例のカメラにおける撮像シーケンスについて説明する。本シーケンスは、コントローラ１０９によりコンピュータプログラムに従って実行される。
【００５６】
ステップＳ１００にてユーザによりレリーズスイッチがＯＮ操作されると、ステップＳ１０１にて、コントローラ１０９は、プリ露光１の処理を開始する。
【００５７】
ステップＳ１０２では、コントローラ１０９は、焦点検出部１０８ａに、プリ露光１よって得られた焦点検出画素（Ｘ，Ｙ半開口画素）からの像信号の位相差を算出させ、さらに各焦点検出画素に対する合焦度βを算出させる。また、コントローラ１０９は、焦点検出部１０８ａから得られたデフォーカス量に基づいて、光学系駆動部１０２を介してオートフォーカスを行う。
【００５８】
次にステップＳ１１１では、コントローラ１０９は、プリ露光２の処理を開始する。そして、ステップＳ１０３では、コントローラ１０９は、画像補間処理部１０８ｂに、プリ露光２により得られた各画素の濃度値を用いて各焦点検出画素の比率αを算出させる。さらに、コントローラ１０９は、次に行われる本露光による撮影画像の生成に用いる焦点検出画素（着目画素）の比率α（参照画素の平均比率）を決定しておく。
【００５９】
続いてステップＳ１０４では、コントローラ１０９は、本露光を開始する。ステップＳ１０５では、コントローラ１０９は、本露光において順次、撮像素子１０１から画素信号を読み出す画素が、撮像画素か焦点検出画素（図中にはＡＦ画素と記す）かを判定する。撮像画素である場合はステップＳ１０９に進み、焦点検出画素（着目画素）である場合はステップＳ１０６に進む。
【００６０】
ステップＳ１０６では、コントローラ１０９は、画像補間処理部１０８ｂに、式（２）による着目画素の全開口換算濃度値の算出を行わせる。また、ステップＳ１０７では、コントローラ１０９は、画像補間処理部１０８ｂに、着目画素の周辺同色画素の平均濃度値を算出させる。そして、ステップＳ１０８では、コントローラ１０９は、画像補間処理部１０８ｂに、式（３）による合焦度βに応じた線形補間演算を行わせ、その結果（出力濃度値）を信号処理部１０８ｃに出力させる。
【００６１】
ステップＳ１０９では、コントローラ１０９は、画像補間処理部１０８ｂに、入力された撮像画素からの信号をそのまま信号処理部１０８ｃに出力される。
【００６２】
そして、ステップＳ１１０では、コントローラ１０９は、信号処理部１０８ｃに、入力された濃度値（撮像画素の濃度値および焦点検出画素の全開口換算濃度値）を用いて撮影画像を生成させ、該撮影画像の記録および表示を行わせる。こうして撮像シーケンスが終了する。
【００６３】
以上説明したように、本実施例では、撮像素子１０１が複数の撮像画素１０１ａとこれよりも開口率が小さい複数の焦点検出画素１０１ｂとを有する場合に、合焦状態において、焦点検出画素（着目画素）の濃度値と撮像画素（周辺画素）の濃度値との比率αを求める。そして、該比率αを用いて、着目画素の濃度値を撮像画素と同じ開口率での濃度値に換算し、撮像画素の濃度値と焦点検出画素の換算濃度値とを用いて撮影画像を生成する。これにより、焦点検出画素の濃度値を反映した撮影画像を生成することができる。
【００６４】
また、着目画素と撮像光学系１００の光学特性が同じ領域に含まれる焦点検出画素の濃度値を用いて上記比率を算出することで、換算濃度値の算出精度を向上させることができる。
【実施例２】
【００６５】
実施例１では、着目画素の全開口換算濃度値を求める際に用いる着目画素の比率αを、該着目画素とは別の半開口画素（参照画素）の比率を用いて算出する場合について説明した。すなわち、図２中の着目画素（６，５）の全開口換算濃度値を求めるために、参照画素（４，５），（８，５）の比率α４５，α８５の平均値から着目画素の比率αを算出した。
【００６６】
仮に、着目画素（６，５）自体の比率α６５（＝｛（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４｝／Ｓ４）を用いて、着目画素（６，５）の全開口換算濃度値を算出すると、式（２）より、
Ｗ６５×α６５
＝Ｓ４×｛（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４｝／Ｓ４）
＝（Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）／４
となる。つまり、着目画素（６，５）の全開口換算濃度値が、周辺同色画素の平均濃度値と同じ値になってしまう。
【００６７】
しかし、着目画素の比率αを求める時点でのＳ４の値と、全開口換算濃度値を求める時点でのＳ４の値とが互いに異なる場合には例外となる。すなわち、比率αを求める時点でのＳ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４の値をそれぞれＳ１（０），  Ｓ１（０），  Ｓ２（０），  Ｓ３（０），Ｓ４（０）とし、全開口換算濃度値を求める時点でのＳ４の値をＳ４（１）とする。このとき、着目画素（６，５）の全開口換算濃度値は、以下の式（４）に示すようになる。
Ｗ６５×α６５
＝Ｓ４（１）×｛（Ｓ０（０）＋Ｓ１（０）＋Ｓ２（０）＋Ｓ３（０））／４｝／Ｓ４（０）
…（４）
つまり、各画素の濃度値をＳＸ（ｔ）とすれば（Ｘ＝１，２，３，４であり、ｔは時刻を示す）、ＳＸ（０）と、ＳＸ（１）の値は必ずしも同じ値とはならない。例えば、カメラを第１の時刻（ｔ＝０）から第２の時刻（ｔ＝１）にかけてパンニングした場合、ＳＸ（０）の値とＳＸ（１）の値は多くの場合で異なる。このように、ＳＸ（０）とＳＸ（１）とが異なる撮影状況においては、着目画素自体の比率αを用いて該着目画素の全開口換算濃度値を算出することができる。この場合、着目画素自体が比率算出画素に相当する。
【実施例３】
【００６８】
実施例１では、着目画素の全開口換算濃度値を求める際に用いる着目画素の比率αを、１つの時点での値として算出した。しかし、比率αを、以下の式（５）に示すように、ある時間（ｔ＝０〜ｎ）における平均比率α（ｎ）とすることも可能である。
α（ｎ）
＝｛Σ［｛（Ｓ０（ｔ）＋Ｓ１（ｔ）＋Ｓ２（ｔ）＋Ｓ３（ｔ））／４｝／Ｓ４（ｔ）］／ｎ
…（５）
本実施例でも、実施例１と同様に、光軸中心からの距離と方向が着目画素と同じ半開口画素の濃度値から比率α（ｎ）を求めるが、式（５）を用いることで、さらに時間的に平均化した比率α（ｎ）を算出することができる。このように時間軸方向での平均値としての比率α（ｎ）を使用することにより、前述した被写体像のエッジ部にて発生する比率αの誤差をより軽減することができる。
【００６９】
図１０のフローチャートには、本実施例における撮像シーケンスを示している。この撮像シーケンスは、実施例１において図９に示したフローチャートに対して、ステップＳ１０３とステップＳ１０４との間にステップＳ３００を挿入し、さらにステップＳ１０６に代えてステップＳ３０１を設けた点が異なる。図９に示したフローチャート中のステップと同じステップについては、図９中の符号と同符号を付して説明に代える。また、カメラの構成は、実施例１において図１を示したものと同じであり、本実施例において実施例１と共通する構成要素には実施例１と同符号を付して説明に代える。
【００７０】
コントローラ１０９は、ステップＳ１０３において実施例１と同様に画像補間処理部１０８ｂに比率αを算出させた後、ステップＳ３００において、画像補間処理部１０８ｂに、比率α（ｎ−１）と比率αとの平均値である比率α（ｎ）を算出させる。比率α（ｎ−１）は、絞り値、ズームポジションおよびフォーカスポジション等の撮像光学系１００の状態が同一という条件で、ある時間内で積算された比率を示す。
【００７１】
そして、ステップＳ３０１では、コントローラ１０９は、画像補間処理部１０８ｂに、着目画素の半開口濃度値×着目画素の比率α（ｎ）により着目画素の全開口換算濃度値を算出させる。この後、ステップＳ１０７〜Ｓ１１０へと進む。
【００７２】
なお、実施例２にて説明したように、本実施例でも、比率算出画素として、着目画素自体を用いてもよい。
【００７３】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００７４】
撮像素子に焦点検出画素を含みながらも、良好な撮影画像が得られる撮像装置を提供できる。
【符号の説明】
【００７５】
１００  撮像光学系
１０１  撮像素子
１０８  デジタル信号処理部
１０８ａ  焦点検出部
１０８ｂ  画像補間処理部
１０８ｃ  信号処理部
【図９】
0005669558.tif 000002
【図１０】
0005669558.tif 000003
【図１】
0005669558.tif 000004
【図２】
0005669558.tif 000005
【図３】
0005669558.tif 000006
【図４】
0005669558.tif 000007
【図５】
0005669558.tif 000008
【図６】
0005669558.tif 000009
【図７】
0005669558.tif 000010
【図８】
0005669558.tif 000011