(57)【要約】【課題】軸上色収差のある場合において、光学系の合焦位置へ光学系を駆動する方向を簡便かつ高精度に検出する。【解決手段】合焦方向検出装置は、第１の色成分に関する第１の画像信号と、第２の色成分に関する第２の画像信号とを含む画像を生成する撮像手段と、第１の画像信号のうちの第１の画素値と、第２の画像信号のうちの第２の画素値とをほぼ一致させるとともに、第１の画像信号の信号波形の第１の勾配と、第２の画像信号の信号波形の第２の勾配とをほぼ一致させるように、第１の画像信号および第２の画像信号のうちの少なくとも一方を補正する補正手段と、補正手段による補正後の第１の画像信号および第２の画像信号の大小関係に基づき、光学系の合焦位置の方向を検出する方向検出手段と、を備える。【選択図】図４
2015099337.tif 000002
【特許請求の範囲】
【請求項１】
被写体の色を構成する第１の色成分に関する第１の画像信号と、前記被写体の色を構成し、かつ前記第１の色成分とは異なる第２の色成分に関する第２の画像信号とを含む画像を生成する撮像手段と、
前記第１の画像信号を構成する第１の複数の画素値のうちの、前記画像中の第１の画素位置における第１の画素値と、前記第２の画像信号を構成する第２の複数の画素値のうちの、前記第１の画素位置に対応する前記画像中の第２の画素位置における第２の画素値とをほぼ一致させるとともに、前記第１の画像信号の信号波形の前記第１の画素位置における第１の勾配と、前記第２の画像信号の信号波形の前記第２の画素位置における第２の勾配とをほぼ一致させるように、前記第１の画像信号および前記第２の画像信号のうちの少なくとも一方を補正する補正手段と、
前記補正手段による補正後の前記第１の画像信号および前記第２の画像信号の大小関係に基づき、光学系の合焦位置の方向を検出する方向検出手段と、を備えることを特徴とする合焦方向検出装置。
【請求項２】
請求項１に記載の合焦方向検出装置において、
前記第１の複数の画素値は、前記第１の画素位置の近傍で前記第１の画素位置を挟む第３の画素位置および第４の画素位置のうちの、前記第３の画素位置における第３の画素値および前記第４の画素位置における第４の画素値を含み、
前記第２の複数の画素値は、前記第２の画素位置の近傍で前記第２の画素位置を挟む、前記第３の画素位置に対応する第５の画素位置および前記第４の画素位置に対応する第６の画素位置のうちの、前記第５の画素位置における第５の画素値および前記第６の画素位置における第６の画素値を含み、
前記被写体から到来して前記光学系を透過する被写体光のうちの前記第２の色成分に対応する光が、前記被写体光のうちの前記第１の色成分に対応する光よりも、前記光学系から離れた位置で前記被写体の被写体像を結像するとき、前記方向検出手段は、
前記第１の画素位置の前記第３の画素位置側から前記第４の画素位置側へ向かって画素値が大きくなるとともに、前記第２の画素位置の前記第５の画素位置側から前記第６の画素位置側へ向かって画素値が大きくなるときであって、前記第３の画素値が前記第５の画素値よりも大きく、かつ前記第４の画素値が前記第６の画素値よりも小さいとき、前記合焦位置の方向は前記光学系を前記撮像手段の像面から離れる方向であることを検出し、
前記第１の画素位置の前記第３の画素位置側から前記第４の画素位置側へ向かって画素値が小さくなるとともに、前記第２の画素位置の前記第５の画素位置側から前記第６の画素位置側へ向かって画素値が小さくなるときであって、前記第３の画素値が前記第５の画素値よりも小さく、かつ前記第４の画素値が前記第６の画素値よりも大きいとき、前記合焦位置の方向は前記光学系を前記撮像手段の像面から離れる方向であることを検出し、
前記第１の画素位置の前記第３の画素位置側から前記第４の画素位置側へ向かって画素値が大きくなるとともに、前記第２の画素位置の前記第５の画素位置側から前記第６の画素位置側へ向かって画素値が大きくなるときであって、前記第３の画素値が前記第５の画素値よりも小さく、かつ前記第４の画素値が前記第６の画素値よりも大きいとき、前記合焦位置の方向は前記光学系が前記撮像手段の像面へ近づく方向であることを検出し、
前記第１の画素位置の前記第３の画素位置側から前記第４の画素位置側へ向かって画素値が小さくなるとともに、前記第２の画素位置の前記第５の画素位置側から前記第６の画素位置側へ向かって画素値が小さくなるときであって、前記第３の画素値が前記第５の画素値よりも大きく、かつ前記第４の画素値が前記第６の画素値よりも小さいとき、前記合焦位置の方向は前記光学系を前記撮像手段の像面から離れる方向であることを検出し、前記合焦位置の方向は前記光学系が前記撮像手段の像面へ近づく方向であることを検出することを検出することを特徴とする合焦方向検出装置。
【請求項３】
請求項２に記載の合焦方向検出装置において、
前記第１の勾配は、前記第１の画素位置と前記第３の画素位置との間の第７の画素位置における、前記第１の複数の画素値に含まれる第７の画素値と、前記第１の画素位置と前記第４の画素位置との間の第８の画素位置における、前記第１の複数の画素値に含まれる第８の画素値との差に基づく値であり、
前記第２の勾配は、前記第２の画素位置と前記第５の画素位置との間の第９の画素位置における、前記第２の複数の画素値に含まれる第９の画素値と、前記第２の画素位置と前記第６の画素位置との間の第１０の画素位置における、前記第２の複数の画素値に含まれる第１０の画素値との差に基づく値であることを特徴とする合焦方向検出装置。
【請求項４】
請求項２または３に記載の合焦方向検出装置において、
前記第１の画素値と前記第７の画素値との差から、前記第８の画素値と前記第１の画素値との差を差し引いた値が所定の二次勾配値以下であるとともに、前記第２の画素値と前記第９の画素値との差から、前記第１０の画素値と前記第２の画素値との差を差し引いた値が前記所定の二次勾配値以下であることを特徴とする合焦方向検出装置。
【請求項５】
請求項１〜４のいずれか１項に記載の合焦方向検出装置において、
前記第１の勾配および前記第２の勾配は所定の勾配値以上の値であることを特徴とする合焦方向検出装置。
【請求項６】
請求項１〜５のいずれか１項に記載の合焦方向検出装置において、
前記第１の画素値および前記第２の画素値は所定の画素値以上の値であることを特徴とする合焦方向検出装置。
【請求項７】
請求項４〜６のいずれか１項に記載の合焦方向検出装置において、
前記第１の複数の画素値に対応する前記画像中の第１の複数の画素位置の各々が、前記第１の画素位置に対応し、
前記第２の複数の画素値に対応する前記画像中の第２の複数の画素位置の各々が、前記第２の画素位置に対応し、
前記補正手段は、前記第１の複数の画素信号位置および前記第２の複数の画素位置のそれぞれについて、前記第１の画像信号および前記第２の画像信号のうちの少なくとも一方を補正し、
前記方向検出手段は、前記第１の複数の画素信号位置および前記第２の複数の画素位置のそれぞれについて、前記大小関係に基づき、前記合焦位置の方向を検出することを特徴とする合焦方向検出装置。
【請求項８】
請求項１〜７のいずれか１項に記載の合焦方向検出装置において、
前記第１の画素位置と前記第２の画素位置とは同一であることを特徴とする合焦方向検出装置。
【請求項９】
請求項１〜７のいずれか１項に記載の合焦方向検出装置において、
前記第１の画素位置と前記第２の画素位置とは互いに隣接することを特徴とする合焦方向検出装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の合焦方向検出装置において、
前記撮像手段によって生成される前記画像は、前記被写体の色を構成する３種類の色成分に関する３種類の画像信号を含み、
前記合焦方向検出装置は、前記光学系のズーム位置と、前記被写体の色と、前記３種類の画像信号が出力される際のＩＳＯ感度と、前記３種類の画像信号に対するホワイトバランスとのうちのいずれか１つに応じて、前記３種類の画像信号のうちから２種類の画像信号を決定する決定手段をさらに備え、
前記決定手段によって決定された前記２種類の画像信号が前記第１の画像信号および前記第２の画像信号であることを特徴とする合焦方向検出装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の合焦方向検出装置において、
前記撮像手段は、前記第１の画像信号と前記第２の画像信号とを含むフレーム画像を所定間隔毎に出力し、
前記方向検出手段は、前記所定間隔毎に出力される複数の前記フレーム画像における前記大小関係に基づき、前記合焦位置の方向を検出することを特徴とする合焦方向検出装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の合焦方向検出装置と、
前記光学系と、
前記方向検出手段によって検出された前記合焦位置の方向に前記光学系を駆動する駆動手段とを備えることを特徴とする撮像装置。
【請求項１３】
被写体の色を構成する第１の色成分に関する第１の画像信号と、前記被写体の色を構成し、かつ前記第１の色成分とは異なる第２の色成分に関する第２の画像信号とを含む画像を生成する撮像処理と、
前記第１の画像信号を構成する第１の複数の画素値のうちの、前記画像中の第１の画素位置における第１の画素値と、前記第２の画像信号を構成する第２の複数の画素値のうちの、前記第１の画素位置に対応する前記画像中の第２の画素位置における第２の画素値とをほぼ一致させるとともに、前記第１の画像信号の信号波形の前記第１の画素位置における第１の勾配と、前記第２の画像信号の信号波形の前記第２の画素位置における第２の勾配とをほぼ一致させるように、前記第１の画像信号および前記第２の画像信号のうちの少なくとも一方を補正する補正処理と、
前記補正処理による補正後の前記第１の画像信号および前記第２の画像信号の大小関係に基づき、光学系の合焦位置の方向を検出する方向検出処理と、をコンピュータに実行させることを特徴とする合焦方向検出処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦方向検出装置、撮像装置および合焦方向検出処理プログラムに関する。
【背景技術】
【０００２】
画像中のエッジ部分において、軸上色収差の存在に起因して色成分間で算出されるボケ幅の差が、合焦の前後で変化することを利用して焦点位置を検出し、オートフォーカス時に移動するべき方向を決定する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された発明によれば、２つのサブフラット領域間のエッジ領域に複数のエッジが含まれていると、焦点検出位置の検出誤差が生じる場合がある。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の合焦方向検出装置は、被写体の色を構成する第１の色成分に関する第１の画像信号と、被写体の色を構成し、かつ第１の色成分とは異なる第２の色成分に関する第２の画像信号とを含む画像を生成する撮像手段と、第１の画像信号を構成する第１の複数の画素値のうちの、画像中の第１の画素位置における第１の画素値と、第２の画像信号を構成する第２の複数の画素値のうちの、第１の画素位置に対応する画像中の第２の画素位置における第２の画素値とをほぼ一致させるとともに、第１の画像信号の信号波形の第１の画素位置における第１の勾配と、第２の画像信号の信号波形の第２の画素位置における第２の勾配とをほぼ一致させるように、第１の画像信号および第２の画像信号のうちの少なくとも一方を補正する補正手段と、補正手段による補正後の第１の画像信号および第２の画像信号の大小関係に基づき、光学系の合焦位置の方向を検出する方向検出手段と、を備えることを特徴とする。
（２）請求項１３に記載の合焦方向検出処理プログラムは、被写体の色を構成する第１の色成分に関する第１の画像信号と、被写体の色を構成し、かつ第１の色成分とは異なる第２の色成分に関する第２の画像信号とを含む画像を生成する撮像処理と、第１の画像信号を構成する第１の複数の画素値のうちの、画像中の第１の画素位置における第１の画素値と、第２の画像信号を構成する第２の複数の画素値のうちの、第１の画素位置に対応する画像中の第２の画素位置における第２の画素値とをほぼ一致させるとともに、第１の画像信号の信号波形の第１の画素位置における第１の勾配と、第２の画像信号の信号波形の第２の画素位置における第２の勾配とをほぼ一致させるように、第１の画像信号および第２の画像信号のうちの少なくとも一方を補正する補正処理と、補正処理による補正後の第１の画像信号および第２の画像信号の大小関係に基づき、光学系の合焦位置の方向を検出する方向検出処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
軸上色収差のある場合において、光学系の合焦位置へ光学系を駆動する方向を簡便かつ高精度に検出することができるため、高速な合焦調整が可能となる。
【図面の簡単な説明】
【０００７】
【図１】一実施の形態における合焦方向検出装置を有する撮像装置のブロック構成図である。
【図２】合焦方向検出処理のフローチャートである。
【図３】補間画像を構成する水平方向および垂直方向に二次元配列に従って配置された画素の一部を表す図である。
【図４】後ピン状態における緑色成分および赤色成分に関する画像信号の信号波形を表す図である。
【図５】前ピン状態における緑色成分および赤色成分に関する画像信号の信号波形を表す図である。
【図６】ＲＡＷ画像を構成するベイヤー配列に従って配置された画素にエッジの輪郭が形成されている様子を表す図である。
【図７】本発明による合焦方向検出装置が合焦方向検出処理を実行するためのコンピュータプログラム製品の提供形態を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施の形態における合焦方向検出装置１０５を有する撮像装置１００のブロック構成図である。撮像装置１００は、合焦方向検出装置１０５とともに、駆動装置１４０および駆動装置１４０によって駆動される光学系１５０を有する。合焦方向検出装置１０５は、制御装置１１０および撮像素子１２０を有する。撮像素子１２０には、被写体８０から到来する被写体光８５が、光学系１５０を透過して入射する。撮像素子１２０は、被写体８０の色を構成する緑色成分（Ｇ成分）に関する緑色画像信号（Ｇ画像信号）と、被写体８０の色を構成する赤色成分（Ｒ成分）に関する赤色画像信号（Ｒ画像信号）と、被写体８０の色を構成する青色成分（Ｂ成分）に関する青色画像信号（Ｂ画像信号）とを含むＲＡＷ画像を生成し、出力する。
【０００９】
制御装置１１０は、合焦方向検出処理プログラムを実行するコンピュータである。制御装置１１０は、撮像制御部１１１、ＩＳＯ感度決定部１１２、ホワイトバランス補正部１１３、補間画像生成部１１４、合焦方向検出用画像信号決定部１１５、画像信号補正部１１６、前ピン／後ピン判定指標値算出部１１７および合焦方向検出部１１８を機能的に有する。撮像制御部１１１、ＩＳＯ感度決定部１１２、ホワイトバランス補正部１１３、補間画像生成部１１４、合焦方向検出用画像信号決定部１１５、画像信号補正部１１６、前ピン／後ピン判定指標値算出部１１７および合焦方向検出部１１８は、図２を用いて後述する合焦方向検出処理の各ステップを行う。
【００１０】
本実施の形態における合焦方向検出装置１０５を有する撮像装置１００では、ＲＧＢ各色成分の内Ｒ成分およびＧ成分に軸上色収差がある。被写体光８５のうちのＲ成分に対応する光が、被写体光８５のうちのＧ成分に対応する光よりも後方に結像する場合、すなわち光学系１５０から離れた位置で被写体８０の被写体像を結像する場合に、後述するようにＲＡＷ画像に基づいて生成される補間画像において水平方向に画素値が変化するエッジから、軸上色収差による光学系１５０の合焦位置の方向判定を行う例を示す。なお、本明細書において、「画素」は、撮像装置１００の撮像面に配置された光電変換素子ではなく、画像を構成する最小単位を意味するものとする。この場合、光学系１５０の焦点状態が撮像面に対して後ピン状態であれば、撮像面ではＲ成分に対応する被写体光によって形成されるＲ面像がＧ成分に対応する被写体光によって形成されるＧ面像よりもボケる。光学系１５０の焦点状態が撮像面に対して前ピン状態であればＧ面像がＲ面像よりもボケる。合焦方向検出装置１０５に含まれる制御装置１１０によって行われる合焦方向検出処理のフローチャートを図２に示す。
【００１１】
ステップＳ２１０で、制御装置１１０の撮像制御部１１１は、撮像素子１２０からＲＡＷ画像を取得し、制御装置１１０のＩＳＯ感度決定部１１２がＩＳＯ感度を決定する。ＩＳＯ感度決定部１１２によって決定されたＩＳＯ感度で、撮像素子１２０はＲＡＷ画像を生成する。撮像制御部１１１は、撮像素子１２０からＲＡＷ画像を取得する。制御装置１１０のホワイトバランス補正部１１３は、撮像制御部１１１によって取得されたＲＡＷ画像の画像信号に対してホワイトバランス補正を行う。制御装置１１０の補間画像生成部１１４は、ホワイトバランス補正部１１３によって補正されたＲＡＷ画像の画像信号に対する補間処理を行って、２次元的な全画素位置にＧ画素値、Ｒ画素値およびＢ画素値が対応付けられた補間画像を生成する。補間画像における複数のＧ画素値、複数のＲ画素値および複数のＢ画素値が、それぞれＧ画像信号、Ｒ画像信号およびＢ画像信号を構成する。制御装置１１０の合焦方向検出用画像信号決定部１１５は、補間画像の３種類の画像信号、すなわちＲ画像信号、Ｇ画像信号およびＢ画像信号のうちの２種類の合焦方向検出用画像信号を決定する。この例では、Ｒ成分およびＧ成分に軸上色収差があるため、合焦方向検出用画像信号決定部１１５は、２種類の合焦方向検出用画像信号として、Ｒ画像信号およびＧ画像信号を決定する。
【００１２】
ステップＳ２２０で、制御装置１１０の前ピン／後ピン判定指標値算出部１１７は、補間画像における注目画素位置の初期座標値を設定する。後述するように、後続のステップで、制御装置１１０の前ピン／後ピン判定指標値算出部１１７は、補間画像中の注目画素位置において、合焦方向検出用画像信号決定部１１５によって２種類の合焦方向検出用画像信号として決定されたＲ画像信号およびＧ画像信号の水平方向の勾配、二次勾配ならびに右側の画素値の和および左側の画素値の和を算出する。ステップＳ２２０では、前ピン／後ピン判定指標値算出部１１７は、後述するステップＳ２５０におけるそれらの算出に必要なマージンを確保して補間画像中の注目画素位置の初期座標値を設定する。例えば、補間画像中の注目画素位置における勾配および二次勾配を水平方向の隣接画素から算出し、右側のＮ画素の画素値の和および左側のＮ画素の画素値の和を算出する場合、水平方向にＮ＋１画素、垂直方向には０画素のマージンがそれぞれ必要となり、注目画素位置の初期座標値は（Ｎ＋１，０）となる。ステップＳ２２０では、前ピン／後ピン判定指標値算出部１１７は、後述する前ピン判定用カウンタＮ＿ＦＲＯＮＴおよび後ピン判定用カウンタＮ＿ＲＥＡＲを初期化してＮ＿ＲＥＡＲ＝０、Ｎ＿ＦＲＯＮＴ＝０とする。
【００１３】
ステップＳ２３０で、制御装置１１０の前ピン／後ピン判定指標値算出部１１７は、補間画像における現在の注目画素位置で２色のＲ画像信号およびＧ画像信号の信号波形の水平方向の勾配ｄｘＲおよびｄｘＧ、ならびに水平方向の二次勾配ｄ２ｘＲおよびｄ２ｘＧを算出する。本実施の形態では、勾配ｄｘＲおよびｄｘＧを水平方向に隣接する画素の画素値差分をとる差分フィルタにより算出し、二次勾配を水平方向に隣接する画素を用いたラプラシアンフィルタにより算出する。図３は、補間画像を構成する水平方向（ｘ方向）および垂直方向（ｙ方向）に二次元配列に従って配置された画素の一部を表す図である。補間画像中の現在の注目画素位置（ｘ，ｙ）において画素値Ｒ（ｘ，ｙ）および画素値Ｇ（ｘ，ｙ）を用いると、現在の注目画素位置（ｘ，ｙ）における勾配ｄｘＲおよびｄｘＧ、ならびに二次勾配ｄ２ｘＲおよびｄ２ｘＧは、以下の式（１）で表される。画素値Ｒ（ｘ−１，ｙ）、Ｒ（ｘ，ｙ）およびＲ（ｘ＋１，ｙ）はＲ画像信号に含まれる。画素値Ｇ（ｘ−１，ｙ）、Ｇ（ｘ，ｙ）およびＧ（ｘ＋１，ｙ）はＧ画像信号に含まれる。
【数１】
2015099337.tif 000003
【００１４】
ｉ≧２として、画素位置（ｘ−ｉ，ｙ）および（ｘ＋ｉ，ｙ）は、注目画素位置（ｘ，ｙ）の近傍で注目画素位置（ｘ，ｙ）を挟む。注目画素位置（ｘ，ｙ）の画素位置（ｘ−ｉ，ｙ）側、すなわち左側から、画素位置（ｘ＋ｉ，ｙ）側、すなわち右側へ向かって、Ｒ画像信号を構成する画素値が大きくなる傾向を示すとき、勾配ｄｘＲは正の勾配であり、Ｒ画像信号を構成する画素値が小さくなる傾向を示すとき、勾配ｄｘＲは負の勾配である。式（１）に示すように、注目画素位置（ｘ，ｙ）における勾配ｄｘＲは、例えば、注目画素位置（ｘ，ｙ）と画素位置（ｘ＋ｉ，ｙ）との間の画素位置（ｘ＋１，ｙ）における画素値Ｒ（ｘ＋１，ｙ）と、注目画素位置（ｘ，ｙ）と画素位置（ｘ−ｉ，ｙ）との間の画素位置（ｘ−１，ｙ）における画素値Ｒ（ｘ−１，ｙ）との差である。
【００１５】
補間画像中の注目画素位置（ｘ，ｙ）の画素位置（ｘ−ｉ，ｙ）側、すなわち左側から、画素位置（ｘ＋ｉ，ｙ）側、すなわち右側へ向かって、Ｇ画像信号を構成する画素値が大きくなる傾向を示すとき、勾配ｄｘＧは正の勾配であり、Ｇ画像信号を構成する画素値が小さくなる傾向を示すとき、勾配ｄｘＧは負の勾配である。式（１）に示すように、注目画素位置（ｘ，ｙ）における勾配ｄｘＧは、例えば、注目画素位置（ｘ，ｙ）と画素位置（ｘ＋ｉ，ｙ）との間の画素位置（ｘ＋１，ｙ）における画素値Ｇ（ｘ＋１，ｙ）と、注目画素位置（ｘ，ｙ）と画素位置（ｘ−ｉ，ｙ）との間の画素位置（ｘ−１，ｙ）における画素値Ｇ（ｘ−１，ｙ）との差である。
【００１６】
式（１）に示すように、二次勾配ｄ２ｘＲは、画素値Ｒ（ｘ，ｙ）と画素値Ｒ（ｘ−１，ｙ）との差から、画素値Ｒ（ｘ＋１，ｙ）と画素値Ｒ（ｘ，ｙ）との差を差し引いた値である。二次勾配ｄ２ｘＧは、画素値Ｇ（ｘ，ｙ）と画素値Ｇ（ｘ−１，ｙ）との差から、画素値Ｇ（ｘ＋１，ｙ）と画素値Ｇ（ｘ，ｙ）との差を差し引いた値である。
【００１７】
ステップＳ２４０で、前ピン／後ピン判定指標値算出部１１７は、補間画像中の注目画素位置（ｘ，ｙ）における２色の画素値Ｒ（ｘ，ｙ）およびＧ（ｘ，ｙ）、勾配ｄｘＲおよびｄｘＧ、ならびに二次勾配ｄ２ｘＲおよびｄ２ｘＧが、以下の条件（ａ）、（ｂ）および（ｃ）を満たすか否かを判定する。以下の３つの条件のいずれかを満たさない注目画素位置（ｘ，ｙ）における後述する前ピン／後ピン判定は、後述する合焦位置の方向検出精度を悪化させるため、使用されない。
【００１８】
（ａ）ノイズの影響を受けて精度が悪化するため、２色の画素値Ｒ（ｘ，ｙ）およびＧ（ｘ，ｙ）がいずれも所定の画素値ＴＨ＿ＶＡＬＵＥ以上の値であること。画素値が小さいと、ノイズの影響が大きいため、合焦位置の方向検出精度を悪化させやすい。
【００１９】
（ｂ）補間画像中の注目画素位置（ｘ，ｙ）における２色の勾配ｄｘＲおよびｄｘＧが所定の勾配値ＴＨ＿ＧＲＡＤ以上の値であること。例えば画像平坦領域のように、勾配ｄｘＲおよびｄｘＧが小さい場合には、合焦位置前後（前ピンおよび後ピン）における軸上色収差によるＲ画像信号の勾配とＧ画像信号の勾配との関係の変化が小さいため、合焦位置の方向検出精度を悪化させやすい。
【００２０】
（ｃ）補間画像中の注目画素位置（ｘ，ｙ）における２色の二次勾配ｄ２ｘＲおよびｄ２ｘＧがほぼ０であること。例えば、二次勾配ｄ２ｘＲおよびｄ２ｘＧが、ともに所定の二次勾配値ＴＨ＿ＧＲＡＤ２以下であればよい。補間画像中の注目画素位置（ｘ，ｙ）が、画像平坦領域とエッジ領域との境界（エッジ領域の端）や、２つの異なるエッジ領域の境界に位置する場合は、後述する前ピン／後ピン判定指標値が正しく算出されない。
【００２１】
上述した条件（ａ）、（ｂ）および（ｃ）は、以下の式（２）で表される。補間画像中の注目画素位置（ｘ，ｙ）における画素値Ｒ（ｘ，ｙ）およびＧ（ｘ，ｙ）、勾配ｄｘＲおよびｄｘＧ、ならびに二次勾配ｄ２ｘＲおよびｄ２ｘＧが、条件（ａ）、（ｂ）および（ｃ）、すなわち式（２）を満たすと判定されたとき、本合焦方向検出処理はステップＳ２５０へ進む。補間画像中の注目画素位置（ｘ，ｙ）における画素値Ｒ（ｘ，ｙ）およびＧ（ｘ，ｙ）、勾配ｄｘＲおよびｄｘＧ、ならびに二次勾配ｄ２ｘＲおよびｄ２ｘＧが、条件（ａ）、（ｂ）および（ｃ）、すなわち式（２）を満たさないと判定されたとき、本合焦方向検出処理はステップＳ２７０へ進む。
【数２】
2015099337.tif 000004
【００２２】
ステップＳ２５０において、制御装置１１０の画像信号補正部１１６は、ステップＳ２１０で合焦方向検出用画像信号決定部１１５によって決定されたＲ画像信号およびＧ画像信号のうちのＧ画像信号を補正する。具体的には、補間画像中の注目画素位置（ｘ，ｙ）における画素値Ｇ（ｘ，ｙ）を画素値Ｒ（ｘ，ｙ）にほぼ一致させるとともに、補間画像中の注目画素位置（ｘ，ｙ）における勾配ｄｘＧを勾配ｄｘＲにほぼ一致させる。注目画素位置（ｘ，ｙ）における補正後の画素値Ｇ’（ｘ，ｙ）および補正後の勾配ｄｘＧ’は、係数ａおよび切片ｂを用いて以下の式（３）で表される。
【数３】
2015099337.tif 000005
【００２３】
なお、上述したように、注目画素位置（ｘ，ｙ）における補正後の画素値Ｇ’（ｘ，ｙ）は画素値Ｒ（ｘ，ｙ）にほぼ一致し、注目画素位置（ｘ，ｙ）における補正後の勾配ｄｘＧ’は勾配ｄｘＲにほぼ一致する。注目画素位置（ｘ，ｙ）における画素値Ｇ’（ｘ，ｙ）および画素値Ｒ（ｘ，ｙ）、ならびに勾配ｄｘＧ’および勾配ｄｘＲが、それぞれ完全に一致する場合は、以下の式（４）のように表される。式（４）を係数ａおよび切片ｂについて解くと、式（５）が得られる。注目画素位置（ｘ，ｙ）における画素値Ｇ’（ｘ，ｙ）および画素値Ｒ（ｘ，ｙ）、ならびに勾配ｄｘＧ’および勾配ｄｘＲが、それぞれ完全に一致せずに僅かな所定量分だけ異なっていてもよい。例えば、注目画素位置（ｘ，ｙ）またはその周辺の画素位置においてノイズや濃度ムラ等が生じる場合を考慮して、そうしたノイズや濃度ムラ等によって統計的に生じ得ることが予め想定される画素値の変動分を、上記所定量とする。
【数４】
2015099337.tif 000006
【数５】
2015099337.tif 000007
【００２４】
図４および図５は、それぞれ後ピン状態および前ピン状態における緑色成分および赤色成分に関する画像信号の信号波形を表す図である。図４（ａ）および図５（ａ）においては、Ｒ成分に関するＲ画像信号の信号波形が実線で、補正前のＧ成分に関するＧ画像信号の信号波形が破線で、それぞれ示されている。図４（ｂ）および図５（ｂ）においては、Ｒ成分に関するＲ画像信号の信号波形が実線で、補正後のＧ成分に関するＧ画像信号の信号波形が破線で、それぞれ示されている。
【００２５】
上述したように、注目画素位置（ｘ，ｙ）における補正後の画素値Ｇ’（ｘ，ｙ）は画素値Ｒ（ｘ，ｙ）にほぼ一致し、注目画素位置（ｘ，ｙ）における補正後の勾配ｄｘＧ’は勾配ｄｘＲにほぼ一致している様子が、図４（ｂ）および図５（ｂ）に表されている。図４（ｂ）および図５（ｂ）によれば、補正後のＧ’画像信号とＲ画像信号との大小関係が、後ピン状態であるか、前ピン状態であるかに応じて定まっている。具体的には、後ピン状態のとき、図４（ｂ）に示すように、注目画素位置（ｘ，ｙ）の左側から右側へ向かって画素値Ｇ’および画素値Ｒがともに右上がりに大きくなるとき、注目画素位置（ｘ，ｙ）の左側の画素位置の画素値Ｇ’（ｘ−ｉ，ｙ）が画素値Ｒ（ｘ−ｉ，ｙ）よりも大きく、注目画素位置（ｘ，ｙ）の右側の画素位置の画素値Ｇ’（ｘ＋ｉ，ｙ）が画素値Ｒ（ｘ＋ｉ，ｙ）よりも小さい。したがって、左側の複数の画素値Ｇ’（ｘ−ｉ，ｙ）の画素値和ΣＧ’（ｘ−ｉ，ｙ）は、左側の複数の画素値Ｒ（ｘ−ｉ，ｙ）の画素値和ΣＲ（ｘ−ｉ，ｙ）よりも大きく、右側の複数の画素値Ｇ’（ｘ＋ｉ，ｙ）の画素値和ΣＧ’（ｘ＋ｉ，ｙ）は、右側の複数の画素値Ｒ（ｘ＋ｉ，ｙ）の画素値和ΣＲ（ｘ＋ｉ，ｙ）よりも小さい。
【００２６】
後ピン状態のとき、図４（ｂ）とは逆に、注目画素位置（ｘ，ｙ）の左側から右側へ向かって画素値Ｇ’および画素値Ｒがともに右下がりに小さくなるときは、注目画素位置（ｘ，ｙ）の左側の画素位置の画素値Ｇ’（ｘ−ｉ，ｙ）が画素値Ｒ（ｘ−ｉ，ｙ）よりも小さく、注目画素位置（ｘ，ｙ）の右側の画素位置の画素値Ｇ’（ｘ＋ｉ，ｙ）が画素値Ｒ（ｘ＋ｉ，ｙ）よりも大きい（不図示）。したがって、左側の複数の画素値Ｇ’（ｘ−ｉ，ｙ）の画素値和ΣＧ’（ｘ−ｉ，ｙ）は、左側の複数の画素値Ｒ（ｘ−ｉ，ｙ）の画素値和ΣＲ（ｘ−ｉ，ｙ）よりも小さく、右側の複数の画素値Ｇ’（ｘ＋ｉ，ｙ）の画素値和ΣＧ’（ｘ＋ｉ，ｙ）は、右側の複数の画素値Ｒ（ｘ＋ｉ，ｙ）の画素値和ΣＲ（ｘ＋ｉ，ｙ）よりも大きい。
【００２７】
前ピン状態のとき、図５（ｂ）に示すように、注目画素位置（ｘ，ｙ）の左側から右側へ向かって画素値Ｇ’および画素値Ｒがともに右上がりに大きくなるとき、注目画素位置（ｘ，ｙ）の左側の画素位置の画素値Ｇ’（ｘ−ｉ，ｙ）が画素値Ｒ（ｘ−ｉ，ｙ）よりも小さく、注目画素位置（ｘ，ｙ）の右側の画素位置の画素値Ｇ’（ｘ＋ｉ，ｙ）が画素値Ｒ（ｘ＋ｉ，ｙ）よりも大きい。したがって、左側の複数の画素値Ｇ’（ｘ−ｉ，ｙ）の画素値和ΣＧ’（ｘ−ｉ，ｙ）は、左側の複数の画素値Ｒ（ｘ−ｉ，ｙ）の画素値和ΣＲ（ｘ−ｉ，ｙ）よりも小さく、右側の複数の画素値Ｇ’（ｘ＋ｉ，ｙ）の画素値和ΣＧ’（ｘ＋ｉ，ｙ）は、右側の複数の画素値Ｒ（ｘ＋ｉ，ｙ）の画素値和ΣＲ（ｘ＋ｉ，ｙ）よりも大きい。
【００２８】
前ピン状態のとき、図５（ｂ）とは逆に、注目画素位置（ｘ，ｙ）の左側から右側へ向かって画素値Ｇ’および画素値Ｒがともに右下がりに小さくなるときは、注目画素位置（ｘ，ｙ）の左側の画素位置の画素値Ｇ’（ｘ−ｉ，ｙ）が画素値Ｒ（ｘ−ｉ，ｙ）よりも大きく、注目画素位置（ｘ，ｙ）の右側の画素位置の画素値Ｇ’（ｘ＋ｉ，ｙ）が画素値Ｒ（ｘ＋ｉ，ｙ）よりも小さい（不図示）。したがって、左側の複数の画素値Ｇ’（ｘ−ｉ，ｙ）の画素値和ΣＧ’（ｘ−ｉ，ｙ）は、左側の複数の画素値Ｒ（ｘ−ｉ，ｙ）の画素値和ΣＲ（ｘ−ｉ，ｙ）よりも大きく、右側の複数の画素値Ｇ’（ｘ＋ｉ，ｙ）の画素値和ΣＧ’（ｘ＋ｉ，ｙ）は、右側の複数の画素値Ｒ（ｘ＋ｉ，ｙ）の画素値和ΣＲ（ｘ＋ｉ，ｙ）よりも小さい。
【００２９】
ステップＳ２５０において、前ピン／後ピン判定指標値算出部１１７は、式（６）で表される前ピン／後ピン判定指標値ＩＲ−Ｇを算出する。式（６）において、注目画素位置（ｘ，ｙ）の左側のＮ画素の画素値Ｒ（ｘ−Ｎ−１，ｙ），Ｒ（ｘ−Ｎ，ｙ），・・・，Ｒ（ｘ−２，ｙ）の画素値和ｌｓｕｍＲ、注目画素位置（ｘ，ｙ）の右側のＮ画素の画素値Ｒ（ｘ＋２，ｙ），Ｒ（ｘ＋３，ｙ），・・・，Ｒ（ｘ＋Ｎ＋１，ｙ）の画素値和ｒｓｕｍＲ、注目画素位置（ｘ，ｙ）の左側のＮ画素の補正後の画素値Ｇ’（ｘ−Ｎ−１，ｙ），Ｇ’（ｘ−Ｎ，ｙ），・・・，Ｇ’（ｘ−２，ｙ）の画素値和ｌｓｕｍＧ’、注目画素位置（ｘ，ｙ）の右側のＮ画素の補正後の画素値Ｇ’（ｘ＋２，ｙ），Ｇ’（ｘ＋３，ｙ），・・・，Ｇ’（ｘ＋Ｎ＋１，ｙ）の画素値和ｒｓｕｍＧ’は、いずれも補間画像中で注目画素位置（ｘ，ｙ）が位置する水平方向の画素列に含まれる注目画素位置（ｘ，ｙ）近傍画素から計算される。定数Ｎの値は、例えば１〜４程度の整数値である。すなわち、前ピン／後ピン判定指標値算出部１１７は、Ｇ画像信号が補正されたＧ’画像信号およびＲ画像信号において、注目画素位置（ｘ，ｙ）左側の画素値Ｇ’（ｘ−ｉ，ｙ）の画素値和ΣＧ’（ｘ−ｉ，ｙ）および画素値Ｒ（ｘ−ｉ，ｙ）の画素値和ΣＲ（ｘ−ｉ，ｙ）の差と、注目画素位置（ｘ，ｙ）右側の画素値Ｇ’（ｘ＋ｉ，ｙ）の画素値和ΣＧ’（ｘ＋ｉ，ｙ）および画素値Ｒ（ｘ＋ｉ，ｙ）の画素値和ΣＲ（ｘ＋ｉ，ｙ）の差と基づいて、前ピン／後ピン判定指標値ＩＲ−Ｇを算出する。
【数６】
2015099337.tif 000008
【数７】
2015099337.tif 000009
【００３０】
ステップＳ２６０で、前ピン／後ピン判定指標値算出部１１７は、勾配ｄｘＧ’＝ｄｘＲと、前ピン／後ピン判定指標値ＩＲ−Ｇとの積に基づいて、前ピン判定用カウンタＮ＿ＦＲＯＮＴまたは後ピン判定用カウンタＮ＿ＲＥＡＲを更新する。勾配ｄｘＧ’＝ｄｘＲと前ピン／後ピン判定指標値ＩＲ−Ｇとの積が、正の値をとるとき、あるいは例えば上側閾値ＴＨ＿Ｉ１より大きいとき、上述した後ピン状態にあると判定され、後ピン判定用カウンタＮ＿ＲＥＡＲが１だけインクリメントされる。勾配ｄｘＧ’＝ｄｘＲと前ピン／後ピン判定指標値ＩＲ−Ｇとの積が、負の値をとるとき、あるいは例えば下側閾値ＴＨ＿Ｉ２より小さいとき、上述した前ピン状態にあると判定され、前ピン判定用カウンタＮ＿ＦＲＯＮＴが１だけインクリメントされる。上側閾値ＴＨ＿Ｉ１および下側閾値ＴＨ＿Ｉ２はいずれも０に近い値であるが、前ピン／後ピン判定指標値ＩＲ−Ｇは、撮像面が光学系１５０の合焦位置に位置する場合のみならず、撮像面が光学系１５０の合焦位置から遠く離れ過ぎている場合にも０に近い値を示す。撮像面が光学系１５０の合焦位置から遠く離れ過ぎている場合における前ピン／後ピン判定指標値ＩＲ−Ｇを予め測定した上で、その測定値を考慮して上側閾値ＴＨ＿Ｉ１および下側閾値ＴＨ＿Ｉ２を定めることによって、光学系１５０の合焦位置の方向の誤検出を防止することができる。
【００３１】
ステップＳ２７０で、前ピン／後ピン判定指標値算出部１１７は、上述したマージンを考慮しても、補間画像中における現在の注目画素位置の右側の画素位置に注目画素位置をシフトすることが可能な場合は、注目画素位置をその右側の画素位置にシフトする。この場合、ステップＳ２７０における処理は肯定判定され、本合焦方向検出処理は、ステップＳ２３０に戻り、シフトした画素位置で上述したステップＳ２３０以降の処理が繰り返される。補間画像中における現在の注目画素位置の右側の画素位置に注目画素位置をシフトすることが不可能な場合は、補間画像中における現在の注目画素位置の下側において、上述したマージンを考慮して最も左端のシフト可能な画素位置に、注目画素位置をシフトする。この場合、ステップＳ２７０における処理は肯定判定され、本合焦方向検出処理は、ステップＳ２３０に戻り、シフトした画素位置で上述したステップＳ２３０以降の処理が繰り返される。補間画像中における現在の注目画素位置の下側に注目画素位置をシフトすることが不可能な場合は、ステップＳ２７０における処理は否定判定され、本合焦方向検出処理は、ステップＳ２８０に進む。
【００３２】
ステップＳ２８０で、制御装置１１０の合焦方向検出部１１８は、前ピン判定用カウンタＮ＿ＦＲＯＮＴおよび後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ値に基づき、光学系１５０の合焦位置の方向を検出する。具体的には、後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ値が前ピン判定用カウンタＮ＿ＦＲＯＮＴのカウンタ値よりも大きい場合、後ピンと判定される。合焦方向検出部１１８は、光学系１５０の合焦位置の方向は光学系１５０を撮像素子１２０の像面から離れる方向であることを検出する。後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ値が前ピン判定用カウンタＮ＿ＦＲＯＮＴのカウンタ値よりも小さい場合、前ピンと判定される。合焦方向検出部１１８は、光学系１５０の合焦位置の方向は光学系１５０が撮像素子１２０の像面へ近づく方向であることを検出する。
【００３３】
ステップＳ２９０で、合焦方向検出部１１８は、駆動装置１４０がステップＳ２８０で検出された合焦位置の方向に光学系１５０を駆動するよう、駆動装置１４０を制御する。その後、本合焦方向検出処理は終了する。
【００３４】
本実施の形態における合焦方向検出装置１０５においては、軸上色収差のある場合において、光学系１５０の合焦位置へ光学系１５０を駆動する方向を簡便かつ高精度に検出することができるため、高速な合焦調整が可能となる。また、注目画素位置毎に前ピン／後ピン判定をフィルタ処理としてハード実装することが可能となる。
【００３５】
−−−変形例−−−
（１）上述した一実施の形態では勾配算出を水平方向隣接画素差分フィルタ、二次勾配を水平方向隣接画素ラプラシアンフィルタにより算出したが、Ｓｏｂｅｌフィルタのように上下ラインの画素を使用しても良い。例えば上下１ラインずつ使用して、以下の式（８）のようになる。Ｓｏｂｅｌフィルタを用いる場合、ステップＳ２２０では、補間画像における注目画素位置の初期座標値（Ｎ＋１，１）が設定される。この処理にすることで、３ライン分のバッファ領域が必要となるが、ノイズに対して強い判定を行うことができる。
【数８】
2015099337.tif 000010
【００３６】
（２）上述した一実施の形態では被写体光８５のうちのＲ成分とＧ成分との間に軸上色収差があり、被写体光８５のうちのＲ成分に対応する光が、被写体光８５のうちのＧ成分に対応する光よりも後方に結像する場合に、２色のＲ画像信号およびＧ画像信号を用いて判定を行う例を示した。Ｇ成分とＢ成分との間や、Ｒ成分とＢ成分との間に軸上色収差がある場合において、同様にしても良い。Ｇ成分とＢ成分との間に軸上色収差があり、被写体光８５のうちのＢ成分に対応する光が、被写体光８５のうちのＧ成分に対応する光よりも後方に結像する場合の前ピン／後ピン判定指標値ＩＢ−Ｇ、Ｒ成分とＢ成分との間に軸上色収差があり、被写体光８５のうちのＢ成分に対応する光が、被写体光８５のうちのＲ成分に対応する光よりも後方に結像する場合の指標値ＩＢ−Ｒは、それぞれ下式（９）および（１０）で表される。その他の軸上色収差についても同様である。
【数９】
2015099337.tif 000011
【数１０】
2015099337.tif 000012
【００３７】
例えば、Ｒ成分およびＧ成分のいずれかにコントラスト差が無い被写体輪郭では、他の色成分の組合せを使用することで判定性能が向上する。
【００３８】
光学系１５０として、一般にズームレンズの場合、ズーム位置に応じて軸上色収差バランスは変動する。したがって、レンズの光学設計値、または予め測定した軸上色収差に基づいて、ズーム位置に応じて上記前ピン／後ピン判定指標値ＩＲ−Ｇ，ＩＢ−Ｇ，ＩＢ−Ｒ等のいずれを使用するか、決定する必要がある。そのためには、上述したステップＳ２１０において、制御装置１１０の合焦方向検出用画像信号決定部１１５が、補間画像を構成する３種類の画像信号であるＲ画像信号、Ｇ画像信号およびＢ画像信号のうちの２種類の合焦方向検出用画像信号を決定する際に、ズーム位置を考慮することとすればよい。このようにして決定された２種類の合焦方向検出用画像信号がＲ画像信号およびＧ画像信号であれば、制御装置１１０の前ピン／後ピン判定指標値算出部１１７によって前ピン／後ピン判定指標値ＩＲ−Ｇが算出される。決定された２種類の合焦方向検出用画像信号がＢ画像信号およびＧ画像信号であれば、制御装置１１０の前ピン／後ピン判定指標値算出部１１７によって前ピン／後ピン判定指標値ＩＢ−Ｇが算出される。決定された２種類の合焦方向検出用画像信号がＢ画像信号およびＲ画像信号であれば、制御装置１１０の前ピン／後ピン判定指標値算出部１１７によって前ピン／後ピン判定指標値ＩＢ−Ｒが算出される。
【００３９】
また、軸上色収差がある色成分の組み合わせが複数通りある場合、被写体の色、撮像素子１２０による撮像時のＩＳＯ感度、またはホワイトバランスを考慮して、よりＳ／Ｎの高い色成分の組み合わせを選択して、本合焦方向検出処理を行うようにしても良い。このとき、例えば、前ピン／後ピン判定指標値ＩＲ−Ｇ，ＩＢ−Ｇ，ＩＢ−Ｒを、重み付けした上で、すべて本合焦方向検出処理に用いることとしてもよい。
【００４０】
（３）上述した一実施の形態では水平方向エッジから軸上色収差により合焦方向を検出する例を示した。さらに垂直方向エッジからも同様に軸上色収差により合焦方向を検出してもよい。この場合の前ピン／後ピン判定指標値ＪＲ−Ｇは、下記に示すような、補間画像中の注目画素位置（ｘ，ｙ）における垂直方向のＲ成分の勾配ｄｙＲと、垂直方向のＲ成分の上側画素値和ｕｓｕｍＲおよび下側画素値和ｄｓｕｍＲと、同様にして計算される補間画像中の注目画素位置（ｘ，ｙ）における垂直方向のＧ成分の勾配ｄｙＧと、垂直方向のＧ成分の上側画素値和ｕｓｕｍＧおよび下側画素値和ｄｓｕｍＧとを用いて次式（１１）により算出すればよい。前ピン／後ピン判定指標値ＩＲ−Ｇと、前ピン／後ピン判定指標値ＪＲ−Ｇとをそれぞれ用いて算出された前ピン判定用カウンタＮ＿ＦＲＯＮＴのいずれか一方のカウンタ値、および前ピン／後ピン判定指標値ＩＲ−Ｇと、前ピン／後ピン判定指標値ＪＲ−Ｇとをそれぞれ用いて算出された後ピン判定用カウンタＮ＿ＲＥＡＲのいずれか一方のカウンタ値に基づいて光学系１５０の合焦位置の方向が検出されることとしてもよい。あるいは、前ピン／後ピン判定指標値ＩＲ−Ｇと、前ピン／後ピン判定指標値ＪＲ−Ｇとをそれぞれ用いて算出された前ピン判定用カウンタＮ＿ＦＲＯＮＴのカウンタ合算値、および前ピン／後ピン判定指標値ＩＲ−Ｇと、前ピン／後ピン判定指標値ＪＲ−Ｇとをそれぞれ用いて算出された後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ合算値に基づいて光学系１５０の合焦位置の方向が検出されることとしてもよい。
【数１１】
2015099337.tif 000013
【００４１】
（４）上述した一実施の形態では、ステップＳ２５０において、制御装置１１０の画像信号補正部１１６は、ステップＳ２１０で合焦方向検出用画像信号決定部１１５によって決定されたＲ画像信号およびＧ画像信号のうちのＧ画像信号を補正する。しかし、画像信号補正部１１６は、Ｒ画像信号を補正することによって、補間画像中の注目画素位置（ｘ，ｙ）における画素値Ｒ（ｘ，ｙ）を画素値Ｇ（ｘ，ｙ）にほぼ一致させるとともに、補間画像中の注目画素位置（ｘ，ｙ）における勾配ｄｘＲを勾配ｄｘＧにほぼ一致させることとしてもよい。あるいは、Ｒ画像信号およびＧ画像信号をともに補正して、補間画像中の注目画素位置（ｘ，ｙ）における画素値Ｇ（ｘ，ｙ）および画素値Ｒ（ｘ，ｙ）を所定の画素値にほぼ一致させるとともに、補間画像中の注目画素位置（ｘ，ｙ）における勾配ｄｘＧおよび勾配ｄｘＲを所定の勾配値にほぼ一致させることとしてもよい。
【００４２】
（５）上述した一実施の形態では一枚画像に対して判定結果を出力する構成で説明したが、一枚画像のうちの焦点検出エリアに対応する範囲に対して本発明を適用し、その焦点検出エリア内での後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ値と、前ピン判定用カウンタＮ＿ＦＲＯＮＴのカウンタ値とに基づいて、光学系１５０の合焦位置の方向が検出されることとしても良い。
【００４３】
（６）上述した一実施の形態では一枚画像に対して判定結果を出力する構成で説明したが、撮像素子１２０から所定間隔毎に生成されて出力される複数のフレーム画像またはそれらの補間画像を対象として、後ピン判定用カウンタＮ＿ＲＥＡＲのカウンタ積算値と、前ピン判定用カウンタＮ＿ＦＲＯＮＴのカウンタ積算値とに基づいて、すなわち画像１枚毎に各カウンタ値を初期化せずに積算した積算値に基づいて、光学系１５０の合焦位置の方向が検出されることとしても良い。
【００４４】
（７）上述した一実施の形態では補間済みのＲＧＢ補間画像を対象として説明したが、補間前のＲＡＷ画像を対象としても良い。この場合、補間前のＲＡＷ画像から直接的に、勾配と、ＲＡＷ画像中の注目画素位置の左右両側における画素値和を計算することで処理負荷を軽減することができる。例えばベイヤー配列のＲＡＷ画像に対して、Ｒ成分およびＧ成分間に軸上色収差がある場合に、水平方向エッジから合焦方向を検出するためには、式（１２）を用いて前ピン／後ピン判定指標値ＩＲ−Ｇを算出すればよい。ベイヤー配列ＲＡＷ画像中の第１の注目画素位置（ｘ，ｙ）における画素値Ｐ（ｘ，ｙ）がＲ成分を有する場合、そのすぐ下の第２の注目画素位置（ｘ，ｙ＋１）における画素値Ｐ（ｘ，ｙ）はＧ成分を有する。そこで、第１の注目画素位置（ｘ，ｙ）をＲ成分を有する画素位置を選んでシフトしながら、式（１２）による演算が行われる。
【数１２】
2015099337.tif 000014
【００４５】
図６は、ＲＡＷ画像を構成するベイヤー配列に従って２次元的に配置された画素にエッジの輪郭が形成されている様子を表す図である。図６に示すように、ＲＡＷ画像における第１の注目画素位置（ｘ，ｙ）および第２の注目画素位置（ｘ，ｙ＋１）にエッジ輪郭位置が含まれていれば、本発明を適用することによって、第１の注目画素位置（ｘ，ｙ）および第２の注目画素位置（ｘ，ｙ＋１）において、後ピン判定用カウンタＮ＿ＲＥＡＲおよび前ピン判定用カウンタＮ＿ＦＲＯＮＴが更新され、光学系１５０の合焦位置の方向を検出することができる。
【００４６】
式（１２）において、画素値和ｌｓｕｍＲは、例えば、図６に示すＲＡＷ画像における第１の注目画素位置（ｘ，ｙ）の左側のＮ画素の画素値Ｒ（ｘ−２Ｎ−２，ｙ），Ｒ（ｘ−２Ｎ，ｙ），・・・，Ｒ（ｘ−６，ｙ），Ｒ（ｘ−４，ｙ）の画素値和である。画素値和ｒｓｕｍＲは、例えば、ＲＡＷ画像における第１の注目画素位置（ｘ，ｙ）の右側のＮ画素の画素値Ｒ（ｘ＋４，ｙ），Ｒ（ｘ＋６，ｙ），・・・，Ｒ（ｘ＋２Ｎ，ｙ），Ｒ（ｘ＋２Ｎ＋２，ｙ）の画素値和である。画素値和ｌｓｕｍＧ’は、例えば、ＲＡＷ画像における第２の注目画素位置（ｘ，ｙ）の左側のＮ画素の画素値Ｇ（ｘ−２Ｎ−２，ｙ＋１），Ｇ（ｘ−２Ｎ，ｙ＋１），・・・，Ｇ（ｘ−６，ｙ＋１），Ｇ（ｘ−４，ｙ＋１）が制御装置１１０の画像信号補正部１１６によって補正された画素値の画素値和である。画素値和ｒｓｕｍＧ’は、例えば、ＲＡＷ画像における第２の注目画素位置（ｘ，ｙ）の右側のＮ画素の画素値Ｇ（ｘ＋４，ｙ＋１），Ｇ（ｘ＋６，ｙ＋１），・・・，Ｇ（ｘ＋２Ｎ，ｙ＋１），Ｇ（ｘ＋２Ｎ＋２，ｙ＋１）が制御装置１１０の画像信号補正部１１６によって補正された画素値の画素値和である。
【００４７】
式（１２）において、勾配ｄｘＲは、図６に示すように、ＲＡＷ画像における第１の注目画素位置（ｘ，ｙ）と画素位置（ｘ＋４，ｙ）との間の画素位置（ｘ＋２，ｙ）における画素値Ｒ（ｘ＋２，ｙ）と、ＲＡＷ画像における第１の注目画素位置（ｘ，ｙ）と画素位置（ｘ−４，ｙ）との間の画素位置（ｘ−２，ｙ）における画素値Ｒ（ｘ−２，ｙ）との差である。勾配ｄｘＧは、図６に示すように、ＲＡＷ画像における第２の注目画素位置（ｘ，ｙ＋１）と画素位置（ｘ＋４，ｙ＋１）との間の画素位置（ｘ＋２，ｙ＋１）における画素値Ｇ（ｘ＋２，ｙ＋１）と、ＲＡＷ画像における第２の注目画素位置（ｘ，ｙ＋１）と画素位置（ｘ−４，ｙ＋１）との間の画素位置（ｘ−２，ｙ＋１）における画素値Ｇ（ｘ−２，ｙ＋１）との差である。
【００４８】
Ｂ成分およびＧ成分間に軸上色収差がある場合、またはＢ成分およびＲ成分間に軸上色収差がある場合においても、Ｒ成分およびＧ成分間に軸上色収差がある場合と同様にして、前ピン／後ピン判定指標値ＩＢ−ＧまたはＩＢ−Ｒを算出すればよい。
【００４９】
（８）撮像装置１００の制御装置１１０が上述の実施形態および変形例の各々における合焦方向検出処理を実行するためのコンピュータプログラム製品は、図７に示されるように、プログラム記憶媒体２０００（例えばＣＤ−ＲＯＭ）や通信ネットワーク４０００（例えばインターネット）によって伝達されるデータ信号を通じてデータ処理装置１５００（例えばＰＣ）に提供される。撮像装置１００は、そのデータ処理装置１５００から通信を介して合焦方向検出処理プログラムを読み込む。
【００５０】
データ処理装置１５００は、プログラム記憶媒体２０００を介して合焦方向検出処理プログラムの提供を受ける。あるいは、以下の供給形態で合焦方向検出処理プログラムが提供されても良い。データ処理装置１５００は通信ネットワーク４０００との接続機能を有する。サーバー３０００は合焦方向検出処理プログラムを提供するコンピュータであり、ハードディスクなどの記憶媒体に合焦方向検出処理プログラムを格納する。サーバー３０００はハードディスクから読み出した合焦方向検出処理プログラムを、データ信号として搬送波に載せ、通信ネットワーク４０００を介してデータ処理装置１５００へ転送する。以上のように、合焦方向検出処理プログラムは、プログラム記憶媒体２０００や通信ネットワーク４０００を介するデータ信号としての提供を含む種々の形態のコンピュータプログラム製品によって供給されることが好ましい。
【００５１】
上述した実施の形態および変形例は、それぞれ組み合わせてもよい。
【符号の説明】
【００５２】
８０  被写体、８５  被写体光、
１００  撮像装置、１０５  合焦方向検出装置、１１０  制御装置、
１１１  撮像制御部、１１２  ＩＳＯ感度決定部、１１３  ホワイトバランス補正部、
１１４  補間画像生成部、１１５  合焦方向検出用画像信号決定部、
１１６  画像信号補正部、１１７  前ピン／後ピン判定指標値算出部、
１１８  合焦方向検出部、１２０  撮像素子、１４０  駆動装置、１５０  光学系、
１５００  データ処理装置、２０００  プログラム記憶媒体、
３０００  サーバー、４０００  通信ネットワーク
【図１】
2015099337.tif 000015
【図２】
2015099337.tif 000016
【図３】
2015099337.tif 000017
【図４】
2015099337.tif 000018
【図５】
2015099337.tif 000019
【図６】
2015099337.tif 000020
【図７】
2015099337.tif 000021