(57)【要約】【課題】撮影光学系の色収差を用いて焦点調節方向を検出する際に、精度よく焦点調節方向を検出し、より高速な焦点調節動作を可能とする。【解決手段】撮影光学系により結像された被写体像を光電変換する撮像素子と、被写体像の撮像素子への焦点状態を調節する焦点調節部と、撮像素子の焦点検出領域を構成する複数の単位焦点検出領域から得られた信号から色ごとの輝度信号を取得する取得部と、取得された単位焦点検出領域の色ごとの輝度信号を、単位焦点検出領域から得られた信号を用いて正規化する正規化部と、正規化された色ごとの輝度信号を用いて、被写体像の焦点状態を表す正規化焦点評価値を色ごとに算出する算出部と、算出された色ごとの正規化焦点評価値のうち、第１の色に対応する第１の正規化焦点評価値と第２の色に対応する第２の正規化焦点評価値の大小関係を用いて、焦点調節部の駆動方向を判定する判定部とを備える。【選択図】図５
2016128890.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系により結像された被写体像を光電変換する撮像素子と、
被写体像の前記撮像素子への焦点状態を調節する焦点調節手段と、
前記撮像素子の焦点検出領域を構成する複数の単位焦点検出領域から得られた信号から色ごとの輝度信号を取得する取得手段と、
取得された前記単位焦点検出領域の前記色ごとの輝度信号を、前記単位焦点検出領域から得られた信号を用いて正規化する正規化手段と、
正規化された前記色ごとの輝度信号を用いて、前記被写体像の焦点状態を表す正規化焦点評価値を色ごとに算出する算出手段と、
算出された前記色ごとの正規化焦点評価値のうち、第１の色に対応する第１の正規化焦点評価値と第２の色に対応する第２の正規化焦点評価値の大小関係を用いて、前記焦点調節手段の駆動方向を判定する判定手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記算出手段は、前記撮像素子の複数の行で構成される第１の行群から得られた信号から前記第１の正規化焦点評価値を算出し、前記第１の行群とは異なる前記撮像素子の複数の行で構成される第２の行群から得られた信号から前記第２の正規化焦点評価値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記正規化焦点評価値を算出する場合と、前記焦点検出領域を１つの前記単位焦点検出領域として前記正規化焦点評価値を算出せずに焦点評価値を算出する場合と、を切り替える切り替え手段をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子の前記第１の色に対応する信号と前記第２の色に対応する信号とを用いて、前記判定手段の駆動方向の判定の信頼性を判断する判断手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判断手段は、複数の空間周波数成分をフィルタリングすることにより得られる複数の前記第１の正規化焦点評価値と複数の前記第２の正規化焦点評価値を、複数の空間周波数ごとに比較することにより前記信頼性の判断を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記判断手段は、前記第１の正規化焦点評価値と前記第２の正規化焦点評価値を算出する際に用いる係数、もしくは、前記第１の正規化焦点評価値と前記第２の正規化焦点評価値を算出する際に用いる信号の積算値を用いて前記信頼性の判断を行うことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記判断手段は、前記焦点調節手段の駆動状態に応じて、前記信頼性の判断を行う際の閾値を変更することを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１の色は緑であり、前記第２の色は赤であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記単位焦点検出領域は、前記焦点検出領域のそれぞれの行に対応する領域であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記正規化手段は、前記単位焦点検出領域における色ごとの輝度信号の最大値と最小値の差分を用いて、前記単位焦点検出領域の前記色ごとの輝度信号を正規化することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
撮影光学系により結像された被写体像を光電変換する撮像素子と、被写体像の前記撮像素子への焦点状態を調節する焦点調節手段と、を備える撮像装置を制御する方法であって、
前記撮像素子の焦点検出領域を構成する複数の単位焦点検出領域から得られた信号から色ごとの輝度信号を取得する取得工程と、
取得された前記単位焦点検出領域の前記色ごとの輝度信号を、前記単位焦点検出領域から得られた信号を用いて正規化する正規化工程と、
正規化された前記色ごとの輝度信号を用いて、前記被写体像の焦点状態を表す正規化焦点評価値を色ごとに算出する算出工程と、
算出された前記色ごとの正規化焦点評価値のうち、第１の色に対応する第１の正規化焦点評価値と第２の色に対応する第２の正規化焦点評価値の大小関係を用いて、前記焦点調節手段の駆動方向を判定する判定工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により取得された画像信号を用いて焦点調節を行うデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関するものである。
【背景技術】
【０００２】
デジタルカメラやビデオカメラにおいては、ＣＣＤやＣＭＯＳセンサ等の撮像素子からの出力信号を利用し、被写体のコントラストに応じた信号を検出して合焦させるオートフォーカス（以下、ＡＦ）方法、いわゆるコントラスト検出式ＡＦがよく用いられる。
【０００３】
コントラスト検出式ＡＦにおいては、撮影光学系の焦点位置を変化させながら、コントラスト評価値を得て、コントラスト評価値が極大値となる焦点位置を合焦位置として検出する。そのため、デフォーカス状態から焦点調節を開始する際に、合焦位置に近づくための焦点調節方向が分からないという課題がある。焦点調節方向が不明の状態で、焦点調節を開始すると、誤った方向に焦点調節を行う可能性がある。その場合、コントラスト評価値が減少することから、誤った方向に焦点調節を行っていることを検出することはできるが、焦点調節に要する時間が長くなってしまう。
【０００４】
このような課題に対して、撮影光学系により生じる色収差を利用して、焦点調節開始時に合焦位置に近づけるための焦点調節方向を検出する方法が提案されている（特許文献１）。特許文献１では、異なる波長の光束をそれぞれ受光する撮像素子を有し、各撮像素子の出力の差から、合焦状態に近づけるための焦点調節方向を検出することができる。その際に、被写体像の分光分布に対応するため、各波長の出力信号を焦点検出領域の輝度値の最大値と最小値の差分で正規化し、焦点調節方向の検出に用いる。これにより、被写体像の分光分布に偏りがある場合、例えば赤みがかった色の被写体でも、各波長で正規化したコントラスト評価値を比較することにより、焦点調節方向を検出することができる。
【０００５】
また、特許文献１では、焦点検出領域の輝度値の最大値と最小値の差分を用いて、色収差を用いた焦点調節を精度よく行えるか否かの信頼性の判定を行う。これにより、色収差を用いた焦点調節の信頼性が低いと想定される場合には、通常のコントラスト検出式の焦点調節を行い、焦点調節精度を確保することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０３８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、被写体像の分光分布によっては、合焦位置に近づけるための焦点調節方向を正しく検出できない場合があった。例えば、焦点検出領域内で色味の変化がある場合、例えば焦点検出領域内の一部は緑色で異なる部分が赤色の場合、特許文献１に記載の方法では、焦点調節方向を正しく検出できない。これは、焦点検出領域の輝度値の最大値と最小値の差分が、焦点検出領域内の分光分布を正しく表現できないことに起因する。
【０００８】
また、同様の理由で、焦点検出領域の輝度値の最大値と最小値の差分を用いた信頼性判定においても、誤判定をする恐れがあった。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影光学系の色収差を用いて焦点調節方向を検出する際に、精度よく焦点調節方向を検出し、より高速な焦点調節動作を可能とすることである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、撮影光学系により結像された被写体像を光電変換する撮像素子と、被写体像の前記撮像素子への焦点状態を調節する焦点調節手段と、前記撮像素子の焦点検出領域を構成する複数の単位焦点検出領域から得られた信号から色ごとの輝度信号を取得する取得手段と、取得された前記単位焦点検出領域の前記色ごとの輝度信号を、前記単位焦点検出領域から得られた信号を用いて正規化する正規化手段と、正規化された前記色ごとの輝度信号を用いて、前記被写体像の焦点状態を表す正規化焦点評価値を色ごとに算出する算出手段と、算出された前記色ごとの正規化焦点評価値のうち、第１の色に対応する第１の正規化焦点評価値と第２の色に対応する第２の正規化焦点評価値の大小関係を用いて、前記焦点調節手段の駆動方向を判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影光学系の色収差を用いて焦点調節方向を検出する際に、精度よく焦点調節方向を検出し、より高速な焦点調節を行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わる撮像装置のブロック図。
【図２】一実施形態における各種ＡＦ用評価値を算出する回路のブロック図。
【図３】一実施形態におけるＡＦ動作の手順を示すフローチャート。
【図４】一実施形態における焦点検出領域の設定について示した図。
【図５】一実施形態における方向検出処理のサブルーチンを示すフローチャート。
【図６】一実施形態におけるフォーカスレンズ位置と各輝度信号の焦点評価値の関係を示す図。
【図７】一実施形態における各色の評価値の信頼性判定のサブルーチンを示すフローチャート。
【図８】一実施形態における信頼性閾値のセットを示す図。
【図９】一実施形態におけるフォーカスレンズ位置と帯域の異なる焦点評価値の色毎の関係を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の一実施形態に係わる焦点調節装置を有する撮像装置の概略構成例を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含むが、これに限るものではない。入射する光学像をエリアセンサなどの２次元配列された撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１４】
（ブロック図の説明）
図１において、１は撮像装置である。２はズームレンズ群、３はフォーカスレンズ群で、撮影光学系を構成している。４は撮影光学系を通過した光束の量を制御する絞りである。３１はズームレンズ群２、フォーカスレンズ群３、絞り４等を収納するレンズ鏡筒である。
【００１５】
５は、被写体像の焦点状態を調節するフォーカスレンズ群３を有する撮影光学系により結像された被写体像を光電変換する撮像素子であり、ＣＣＤ、ＣＭＯＳセンサ等が用いられる。６は撮像素子５によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する撮像回路である。７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路である。
【００１６】
８はＡ／Ｄ変換回路７から出力されるデジタル画像信号を一時的に記憶するバッファメモリ等のメモリ（ＶＲＡＭ）である。９はＶＲＡＭ８に記憶された画像信号を読み出してこれをアナログ信号に変換するとともに再生出力に適する形態の画像信号に変換するＤ／Ａ変換回路である。
【００１７】
１０は画像信号を表示する液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）である。１２は半導体メモリ等からなり、画像データを記憶する記憶用メモリである。１１は圧縮伸長回路である。圧縮伸長回路１１は、ＶＲＡＭ８に一時記憶された画像信号を読み出して記憶用メモリ１２に対する記憶に適した形態にするために、画像データの圧縮処理や符号化処理を施す圧縮回路を有する。また、記憶用メモリ１２に記憶された画像データの再生表示等をするのに最適な形態とする復号化処理や伸長処理等を施す伸長回路を有する。
【００１８】
また、１３はＡ／Ｄ変換回路７からの出力を受けて自動露出（ＡＥ）処理を行うＡＥ処理回路である。１４はＡ／Ｄ変換回路７からの出力を受けてオートフォーカス（ＡＦ）処理を行うスキャンＡＦ処理回路である。スキャンＡＦ処理回路１４は、焦点検出領域に対応する撮像素子の撮像エリアから出力された画像信号から特定周波数成分を抽出して焦点評価値を算出する焦点評価値演算処理部としての機能がある。本実施形態においては、焦点検出領域とＡＦ評価範囲は、同義で用いられる。
【００１９】
また、スキャンＡＦ処理回路１４は、合焦位置計算に用いる評価値を算出する。この評価値の詳細については、後述する。１５は撮像装置の制御を行う演算用のメモリを内蔵したＣＰＵである。１６は所定のタイミング信号を発生するタイミングジェネレータ（以下ＴＧ）である。
【００２０】
ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される各種評価値を用いて、合焦位置の演算を行う。１７は撮像素子ドライバである。２１は絞り４を駆動する絞り駆動モータである。１８は絞り駆動モータ２１を駆動制御する第１モータ駆動回路である。２２はフォーカスレンズ群３を駆動するフォーカス駆動モータである。フォーカスレンズ群３とフォーカス駆動モータ２２は、焦点調節を行う。１９はフォーカス駆動モータ２２を駆動制御する第２モータ駆動回路である。２３はズームレンズ群２を駆動するズーム駆動モータである。２０はズーム駆動モータ２３を駆動制御する第３モータ駆動回路である。
【００２１】
ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される焦点評価値を用いて、第２モータ駆動回路１９を通じて、フォーカス駆動モータ２２を制御する。更に、２４は各種のスイッチ群からなる操作スイッチである。２５は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭである。２６は電池、２８はフラッシュ発光部、２７はフラッシュ発光部２８の閃光発光を制御するスイッチング回路、２９はＡＦ動作のＯＫ／ＮＧを表示するためのＬＥＤなどの表示素子である。
【００２２】
なお、画像データ等の記憶媒体である記憶用メモリは、フラッシュメモリ等の固定型の半導体メモリで、カード形状やスティック形状から成る。また、装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリの他、ハードディスクやフレキシブルディスク等の磁気記憶媒体等、様々な形態のものが適用される。
【００２３】
また、操作スイッチ２４としては、主電源スイッチ、レリーズスイッチ、再生スイッチ、ズームスイッチ、焦点評価値信号のモニターへの表示をＯＮ／ＯＦＦするためのスイッチ等を含む。主電源スイッチは、撮像装置１を起動させ、電源供給を行うためのものである。また、レリーズスイッチは、撮影動作（記憶動作）等を開始させる。再生スイッチは、再生動作を開始させる。ズームスイッチは、撮影光学系のズームレンズ群２を移動させズームを行わせる。そして、レリーズスイッチは、撮影動作に先立って行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第１ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第２ストローク（以下ＳＷ２）との二段スイッチにより構成される。
【００２４】
（各種ＡＦ用評価値の説明）
次に、図２を参照して、図１のＣＰＵ１５及びスキャンＡＦ処理回路１４を用いて算出される各種ＡＦ用評価値について説明する。
【００２５】
Ａ／Ｄ変換回路７で変換されたデジタル信号が、スキャンＡＦ処理回路１４に入力されると、ＡＦ評価用信号処理回路４０１で、輝度信号Ｒ（赤）、輝度信号Ｇ（緑）、輝度信号Ｂ（青）と、ＲＧＢの輝度信号から変換される輝度信号Ｙを算出する。そして、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。以下、輝度信号Ｙおよび、輝度信号Ｒ、輝度信号Ｇ、輝度信号Ｂは、輝度信号群と称する。下記の各種ＡＦ用評価値は、これら４種の輝度信号の各々について算出される。４種の輝度信号は、撮像素子５で光電変換されたタイミングの異なる出力信号から生成してもよいし、同一のタイミングで光電変換された出力信号から生成してもよい。また、後述する焦点調節方向の検出に用いる輝度信号のみ焦点評価値の算出を行ってもよい。
【００２６】
同一のタイミングで光電変換された出力信号から、複数種の輝度信号を生成する場合には、撮像素子を構成する画素の行ごと（行群ごと）に異なる色の輝度信号を得てもよい。例えば、公知のベイヤー配列のカラーフィルタを有する撮像素子の場合、ＲＧＲＧ…の順でカラーフィルタが配置された画素を有する行と、ＧＢＧＢ…の順でカラーフィルタが配置された画素を有する行で、撮像素子は構成される。そのため、ＲＧ行からは、輝度信号Ｒもしくは輝度信号Ｇ、またはその両方を得ることができ、ＧＢ行からは、輝度信号Ｇもしくは輝度信号Ｂ、またはその両方を得ることができる。４種の輝度信号を得て、後述の処理をすると、処理する信号量が多いため演算負荷が増大する。一方、後述する焦点調節方向の検出を行う際に用いる輝度信号の色に応じて、ＲＧ行、ＧＢ行から得る輝度信号を選択することにより、より効率的に信号処理を行うことができる。また、色の異なる輝度信号を、同一のタイミングで光電変換された出力信号から得ることができるため、後述する焦点調節方向の検出の信頼性を高めることができる。
【００２７】
まず、Ｙピーク評価値の算出方法について説明する。ガンマ補正された輝度信号群は、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路４０２へ入力される。この回路によって、領域設定回路４１２によって設定されたＡＦ評価範囲内で水平ライン毎のＹラインピーク値が求められる。更に、ラインピーク検出回路４０２の出力は垂直ピーク検出回路４０５に入力される。この回路によって、領域設定回路４１２によって設定されたＡＦ評価範囲内で垂直方向にピークホールドが行われ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効である。
【００２８】
次に、Ｙ積分評価値の算出方法について説明する。ガンマ補正された輝度信号群は、水平ライン毎の積分値を検出するための水平積分回路４０３へ入力される。この回路によって、領域設定回路４１２によって設定されたＡＦ評価範囲内で水平ライン毎のＹの積分値が求められる。更に、水平積分回路４０３の出力は垂直積分回路４０６に入力される。この回路によって、領域設定回路４１２によって設定されたＡＦ評価範囲内で垂直方向に積分が行われ、Ｙ積分評価値が生成される。Ｙ積分評価値により、ＡＦ評価範囲内全体の明るさを判断することができる。
【００２９】
次に、Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ガンマ補正された輝度信号群は、ラインピーク検出回路４０２に入力され、ＡＦ評価範囲内で水平ライン毎のＹラインピーク値が求められる。また、ガンマ補正された輝度信号群は、ライン最小値検出回路４０４に入力される。この回路によって、輝度信号群のＡＦ評価範囲内で水平ライン毎の輝度信号の最小値が検出される。検出された水平ライン毎の輝度信号のラインピーク値及び最小値は減算器に入力され、（ラインピーク値−最小値）を計算した上で垂直ピーク検出回路４０７に入力される。この垂直ピーク検出回路４０７によって、ＡＦ評価範囲内で垂直方向にピークホールドが行われ、Ｍａｘ−Ｍｉｎ評価値が生成される。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト／高コントラストの判定に有効である。
【００３０】
次に、領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号群は、ＢＰＦ（バンドパスフィルタ）４０８に通すこと（フィルタリング）によって特定の周波数成分（空間周波数成分）が抽出され焦点信号が生成される。この焦点信号は、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路４１０へ入力される。ラインピーク検出回路４１０は、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。求めたラインピーク値は、正規化回路４１１において、水平ライン毎の輝度信号のラインピーク値と最小値の差分により、正規化される。正規化されたラインピーク値は、垂直ピーク検出回路４１７によってＡＦ評価範囲内でピークホールドされ、領域ピーク評価値（正規化焦点評価値）が生成される。領域ピーク評価値は、ＡＦ評価範囲内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための再起動判定に有効である。
【００３１】
次に、全ライン積分評価値（積算値）の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４１０は、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。次に、求めたラインピーク値は、正規化回路４１１において、水平ライン毎の輝度信号のラインピーク値と最小値の差分により、正規化される。正規化されたラインピーク値を垂直積分回路４１５に入力し、ＡＦ評価範囲内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。本実施形態では、デフォーカス状態に応じて評価値が変化し、焦点調節に用いる全ライン積分評価値を焦点評価値と称する。全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、合焦位置の検出を行うためのＡＦのメインの評価値として有効である。
【００３２】
本実施形態では、全ライン積分評価値を算出する際に、ラインごとに、特定の周波数成分が抽出された焦点信号のラインピーク値を、ライン毎の輝度信号のラインピーク値と最小値の差分により正規化する。これにより、ラインごとに、被写体のコントラスト（明暗差）の影響を低減できる。例えば、あるラインの緑色のコントラストが大きく、赤色のコントラストが小さいような場合でも、ここで行う正規化により、被写体のコントラストの差を除いた焦点評価値の比較を行うことができる。本実施形態では、各ラインを単位焦点検出領域と称する。また、ラインごとに特定の周波数成分が抽出された焦点信号のラインピーク値を、単位領域評価値と称し、特定の周波数成分が抽出された焦点信号のラインピーク値を正規化した後の信号を、正規化単位領域評価値と称する。
【００３３】
領域設定回路４１２は、ＣＰＵ１５により設定された画面内の所定の位置にある信号を選択するためのＡＦ評価範囲用のゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４１０、垂直積分回路４０６，４１５、垂直ピーク検出回路４０５，４０７，４１７の各回路に入力され、各焦点評価値がＡＦ評価範囲内の輝度信号群で生成されるように、輝度信号群が各回路に入力されるタイミングが制御される。
【００３４】
また、全ライン積分評価値は、抽出する周波数成分が異なる複数種を算出してもよい。より高域のＢＰＦを用いて算出した評価値は、高精度に焦点検出できるが、輝度信号に含まれるノイズの影響を受けやすい。一方で、より低域のＢＰＦを用いて算出した評価値は、焦点検出精度は劣るが、輝度信号に含まれるノイズの影響を受けにくい。そのため、輝度信号に含まれるノイズの状況、例えば、被写体の輝度等に応じて、複数帯域の全ライン積分評価値を使い分けてもよい。本実施形態では、ＢＰＦを切り替えた高域全ライン積分評価値と低域全ライン積分評価値の２種類を算出する。
【００３５】
ＡＦ制御部１５２は、各焦点評価値を取り込み、第２モータ駆動回路１９を通じてフォーカスレンズ駆動モータ２２を制御し、フォーカスレンズ群３を光軸方向に移動させてＡＦ制御を行う。本実施形態では、各種のＡＦ用評価値を水平ライン方向に算出する構成としたが、水平方向、垂直方向のいずれか、もしくは両方の方向で算出してもよい。
【００３６】
（フローチャートの説明）
次に、図３を参照して、上記構成を有する撮像装置１の合焦動作（ＡＦ動作）について説明する。図３は、本実施形態の撮像装置におけるＡＦ動作の手順を示すフローチャートである。この動作に関する制御プログラムは、ＣＰＵ１５によって実行される。本実施形態における領域設定回路４１２は、ＡＦ動作を開始すると、まず被写体に対する焦点調節を行うためのＡＦ評価範囲を設定する。このステップＳ１の処理では、画像内に１つの焦点検出領域が設定される。
【００３７】
（焦点検出領域の設定の説明）
図４は、焦点検出領域としてのＡＦ評価範囲の設定について示した図である。図４では、撮影画面５００の中央にＡＦ評価範囲５０４が設定されている。焦点検出領域としてのＡＦ評価範囲５０４は、後述するＡＦ動作により、焦点調節を行うための画像信号を評価する範囲であり、ＡＦ動作の目的は、焦点検出領域としてのＡＦ評価範囲５０４内の撮影者が意図する被写体に焦点調節を行うことである。ＡＦ評価範囲５０４は、焦点検出領域に相当する。
【００３８】
図３に戻りフローチャートの説明を続ける。ステップＳ２では、方向検出処理を行う。方向検出処理は、ＡＦ動作を開始するにあたり、どちらの方向にフォーカスレンズ群３を駆動するべきかを検出する処理である。本実施形態では、各色の焦点評価値を用いて、方向検出と方向検出結果の信頼性判定を行う。方向検出処理の詳細は、後述する。
【００３９】
次に、ステップＳ３では、ステップＳ１で設定した各焦点検出領域における焦点評価値を算出しながらＡＦスキャン（焦点調節動作）を行う。ＡＦスキャンでは、フォーカスレンズ群３をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、スキャンＡＦ処理回路１４により各フォーカスレンズ群位置における上述の各焦点評価値をＣＰＵ１５に記憶する。スキャン終了位置については、スキャン開始前から終了位置を設定しＡＦスキャンを行ってもよいし、評価値のピーク位置を通過したことを検出した際にスキャンを終了させてもよい。また、全ライン積分評価値を用いたＡＦスキャン動作の詳細については、例えば、特開２０１２−１３７５３０号公報の図８から図１３で説明されているような方法を用いればよい。
【００４０】
次に、ステップＳ４では、ステップＳ３のＡＦスキャンで得られた評価値のピーク位置（極大値）に関して、信頼性評価を行う。ここでは、輝度信号Ｙから算出された焦点評価値がピーク値である極大値をとるフォーカスレンズ群３の位置を算出する。更に、極大値近傍の焦点評価値の変化曲線の信頼性を評価する。この信頼性評価は、求められた焦点評価値が、被写体の合焦状態を得るために十分な焦点評価値の変化曲線形状であるか否かを評価する。
【００４１】
信頼性判定の詳細な方法としては、例えば、特開２０１０−０７８８１０号公報の図１０から図１３で説明されているような方法を用いればよい。
【００４２】
つまり、合焦状態を示す焦点評価値が信頼性の高い山状になっているか否かを、焦点評価値の最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配から判断する。これにより、信頼性判定を行うことができる。
【００４３】
ステップＳ５で、ステップＳ４の信頼性判定結果に基づき信頼性が有ると判定された場合には、ステップＳ６に進む。そして、ＣＰＵ１５は、輝度信号Ｙから算出された全ライン積分評価値を用いてピーク位置を演算した後、ステップＳ７で、ＡＦ制御部１５２は、ピーク位置と対応する位置にフォーカスレンズ群３を駆動する。ステップＳ４において、信頼性が有る焦点評価値の極大値が複数存在する場合には、より至近側のフォーカスレンズ位置を示す極大値を合焦位置として設定し、レンズ駆動を行う。そして、ステップＳ８で、ＣＰＵ１５は、合焦表示を行い、本実施形態のＡＦ動作を終了する。
【００４４】
一方、ステップＳ５で、ステップＳ４の信頼性判定結果に基づき信頼性が無いと判定された場合には、ステップＳ９に進む。ステップＳ９で、ＣＰＵ１５は、あらかじめ設定された定点と呼ばれる被写体の存在確率が高いフォーカス位置にフォーカスレンズ群３を駆動する。そして、ステップＳ１０で、ＣＰＵ１５は、非合焦表示を行い、本実施形態のＡＦ動作を終了する。本実施形態のＡＦ動作で用いる焦点評価値は、被写体のコントラストや輝度等に応じて、焦点検出精度と焦点評価値のＳ／Ｎを考慮し、高域全ライン積分評価値と低域全ライン積分評価値を切り替えて用いればよい。
【００４５】
（方向検出処理の説明）
次に、図３のステップＳ２で行う方向検出処理について、図５を用いて説明する。本サブルーチンで行う方向検出処理は、輝度信号Ｒ、輝度信号Ｇ、輝度信号Ｂから算出される焦点評価値を用いて、合焦状態に近づけるための焦点調節方向の検出を行う。また、検出された焦点調節方向が、信頼性の高い検出結果であるかの信頼性判定を行う。
【００４６】
ステップＳ２０１で、各色の焦点評価値の取得を行う。次に、Ｓ２０２で、得られた各色の焦点評価値の信頼性の判定を行う。各色の焦点評価値の信頼性は、焦点検出領域内の被写体の色の偏りや色毎のパターンの違いなどを複数の方法で検出し、信頼性を定量的に判定する。詳細は後述する。
【００４７】
次に、ステップＳ２０３では、各色の焦点評価値の信頼性が高いか否かを判定する。信頼性が低いと判定された場合には、ステップＳ２０８に進み、焦点調節方向は検出不能であると判断する。一方で、各色の焦点評価値の信頼性が高いと判定された場合には、Ｓ２０４に進み、少なくとも２色の焦点評価値の大小関係の比較を行う。ここで行う色の異なる焦点評価値の大小関係の比較について、図６を用いて説明する。
【００４８】
図６は、輝度信号Ｒと輝度信号Ｇから算出された焦点評価値を示している。横軸は、焦点評価値を取得したフォーカスレンズの位置を示している。縦軸は、焦点評価値の大きさを示している。輝度信号Ｇから得られた焦点評価値を第１の焦点評価値として、輝度信号Ｒから得られた焦点評価値を第２の焦点評価値として示している。図６中の破線は合焦位置を示している。図６に示すように、撮影光学系の色収差により、各色の焦点評価値が極大値をとるフォーカスレンズ位置は異なり、焦点評価値の山形状は、色毎に横にずれて配置される。そのため、合焦位置に対して、至近側では、第１の焦点評価値が第２の焦点評価値より大きくなり、無限側では、合焦近傍を除いて、第２の焦点評価値が第１の焦点評価値より大きくなる。２色の焦点評価値の極大値の位置ずれ量は、撮影光学系に依存するため、事前に撮像装置内で記憶していればよい。撮影光学系のズーム状態や焦点調節状態毎に、各色の焦点評価値の極大値の位置ずれ量を記憶しておけば、撮影光学系の状態に応じて、比較する焦点評価値の色を選択することができる。図６からもわかるとおり、比較に用いる焦点評価値は、互いの極大値の位置が離れていれば離れているほど、容易に焦点調節方向の判定を行うことができる。
【００４９】
図５のサブルーチンの説明に戻る。ステップＳ２０４では、これらの焦点評価値の大小関係の比較を行う。大小関係の比較方法は、差分をとったり比をとったりすればよい。
【００５０】
次にステップＳ２０５では、第１の焦点評価値が、第２の焦点評価値よりも大きいか否かを判定する。第２の焦点評価値が第１の焦点評価値以上の場合には、ステップＳ２１０に進み、フォーカスレンズの駆動方向（焦点調節方向）は至近側と判断する。図６に示す通り、第２の焦点評価値が第１の焦点評価値以上の場合に対応するフォーカスレンズ位置は、常に合焦位置に対して無限遠側であるため、焦点調節方向は至近側であると判断することができる。
【００５１】
一方で、第１の焦点評価値の方が大きい場合には、ステップＳ２０６に進み、合焦近傍判定を行う。合焦近傍判定は、現在のフォーカスレンズ位置が合焦位置に近いか否かを判定することである。判定方法は、各種の方法が考えられるが、例えば、領域ピーク評価値を用いて、合焦度合いを判定してもよい。領域ピーク評価値は、上述のとおり被写体の移動に対して変化が少なく、また、被写体パターンの輝度変化に対しても正規化を行っているため、変化が少ない。そのため、領域ピーク評価値が所定値よりも大きい場合には、合焦近傍であると判定することができる。また、他の焦点検出手段を有し、合焦近傍判定を行ってもよい。他の焦点検出手段としては、撮像素子に焦点検出画素を有し位相差検出式の焦点検出を行うものや、カメラから被写体に対して投光し、その反射光を受光することで焦点検出を行うものなどが考えられる。
【００５２】
ステップＳ２０６で合焦近傍判定を行い、ステップＳ２０７で合焦近傍であると判定された場合には、ステップＳ２０８に進み、焦点調節方向は検出不能であると判断する。ステップＳ２０７で合焦近傍ではないと判定された場合には、ステップＳ２０９に進み、フォーカスレンズの駆動方向（焦点調節方向）は無限遠側と判断する。図６に示す通り、第１の焦点評価値が第２の焦点評価値に対して大きく、かつ、現在のフォーカスレンズ位置が合焦位置近傍ではない場合に対応するフォーカスレンズ位置は、常に合焦位置に対して至近側であるため、焦点調節方向は無限遠側であると判断することができる。
【００５３】
ステップＳ２０８、ステップＳ２０９、ステップＳ２１０のいずれかで、焦点調節方向に関する判断を行うと、方向検出処理のサブルーチンを終了し、図３のステップＳ３に進む。
【００５４】
（各色の焦点評価値の信頼性判定処理の説明）
次に、図５のステップＳ２０２で行う各色の評価値の信頼性判定について、図７を用いて、説明する。本サブルーチンで行う信頼性判定処理は、方向検出判定を精度よく行うことが可能な輝度信号を取得できているかを、いくつかの情報を用いて判定する。
【００５５】
ステップＳ２０２１でレンズ駆動状態の取得を行う。一般に、フォーカスレンズの駆動速度が速い場合や、フォーカスレンズの駆動方向を反転する場合に得られる輝度信号や輝度信号から得られる焦点評価値は、フォーカスレンズ位置との対応関係の精度が悪い。そのため、焦点評価値を用いて行う方向検出処理の信頼性も悪くなる。ステップＳ２０２１では、現在のフォーカスレンズ駆動状態として、駆動速度の情報と駆動方向の反転駆動中であるか否かの情報を得る。
【００５６】
次に、ステップＳ２０２２でレンズ駆動状態判定を行う。駆動速度が所定値以上の場合、もしくは、駆動方向の反転駆動中である場合には、駆動状態が通常とは異なると判定し、ステップＳ２０２４に進み、後に行う信頼性判定に用いる閾値として、閾値セット２を設定する。一方で、駆動状態が通常の状態と判定した場合には、ステップＳ２０２３に進み、後に行う信頼性判定に用いる閾値として、閾値セット１を設定する。
【００５７】
閾値セットについて、図８を用いて説明する。後の信頼性判定として、正規化ゲイン判定、正規化ゲイン差判定、Ｙ積分評価値差判定を行う際に用いる閾値（係数）を、１つの閾値群として、あらかじめ、ＥＥＰＲＯＭ２５内に記憶している。ステップＳ２０２３で信頼性閾値として閾値セット１を選択した場合には、図８の閾値Ａ１，Ｂ１，Ｃ１を設定する。一方で、ステップＳ２０２４で信頼性閾値として閾値セット２を選択した場合には、図８の閾値Ａ２，Ｂ２，Ｃ２を設定する。
【００５８】
ステップＳ２０２３もしくは、ステップＳ２０２４を終えると、ステップＳ２０２５に進み、正規化ゲインの大きさが閾値に対して小さいか否かを判定する。正規化ゲインとは、全ライン積分評価値算出の際に行う正規化処理で、乗じる値の大きさのことである。ラインごとに設定されるゲインの焦点検出領域内の平均値を正規化ゲインとする。被写体の輝度分布に応じて、各色の輝度信号に正規化処理で乗じる値は異なるため、輝度信号Ｒ、輝度信号Ｇ、輝度信号Ｂそれぞれの正規化ゲインが設定された閾値に対して小さいかを判定する。正規化ゲインが大きい場合、得られる全ライン積分評価値の値はノイズを多く含むため信頼性が低い。本実施形態の焦点調節方向の検出は、複数の色で算出された全ライン積分評価値の大小関係で行うため、全ライン積分評価値の値がノイズを多く含む場合は、方向検出の信頼性が下がる。ステップＳ２０２５では、各色の輝度信号から得られる全ライン積分評価値の信頼性を正規化ゲインにより判定する。焦点調節方向の検出に用いる色の正規化ゲインが、閾値以上の場合は、ステップＳ２０３０に進み、焦点調節方向の検出結果の信頼性が無いと判定する。
【００５９】
焦点調節方向の検出に用いる色の正規化ゲインが、閾値より小さい場合は、ステップＳ２０２６に進み、各色の全ライン積分評価値の正規化ゲインの差が小さいか否かを判定する。焦点調節方向の検出に用いる色の全ライン積分評価値の正規化ゲインに差がある場合は、被写体の色毎のコントラスト（明暗差）に偏りがあると考えられる。焦点調節方向の検出は、複数の色の全ライン積分評価値の大小関係から行うため、正規化ゲインに差がある場合、互いの全ライン積分評価値の大小関係の判定精度が悪化する。ステップＳ２０２６では、焦点調節方向の検出に用いる全ライン積分評価値の正規化ゲインが、所定の範囲内で等しい場合に信頼性が高いと判定する。ステップＳ２０２６で正規化ゲイン差が閾値以上と判定されるとステップＳ２０３０に進み、焦点調節方向の検出結果の信頼性が無いと判定する。
【００６０】
ステップＳ２０２６で正規化ゲイン差が閾値より小さいと判定されるとステップＳ２０２７に進み、各色のＹ積分評価値の差が小さいか否かを判定する。Ｙ積分評価値は、上述のとおりＡＦ評価範囲内の明るさを表しており、色毎に差がある場合には、色毎の明るさが異なっていることを示している。焦点調節方向の検出は、複数の色の全ライン積分評価値の大小関係から行うため、Ｙ積分評価値に差がある場合、互いの全ライン積分評価値の大小関係の判定精度が悪化する。ステップＳ２０２７では、色毎のＹ積分評価値の差が、所定の範囲内で等しい場合に信頼性が高いと判定する。ステップＳ２０２７でＹ積分評価値差が閾値以上と判定されるとステップＳ２０３０に進み、焦点調節方向の検出結果の信頼性が無いと判定する。
【００６１】
ステップＳ２０２７でＹ積分評価値差が閾値より小さいと判定されるとステップＳ２０２８に進み、複数帯域の評価値の大小関係が一定であるかを判定する。複数帯域の評価値として高域全ライン積分評価値と低域全ライン積分評価値を用いる。評価帯域の異なる焦点評価値は、被写体の空間周波数特性を示しており、色毎に差がある場合には、色毎の空間周波数特性、すなわち被写体パターン（模様）が異なることを示している。焦点調節方向の検出は、複数の色の全ライン積分評価値の大小関係から行うため、被写体の空間周波数特性が色毎に異なる場合、互いの全ライン積分評価値の大小関係の判定精度が悪化する。
【００６２】
図９を用いて、色毎の被写体の空間周波数特性について説明する。図９（ａ）、図９（ｂ）はともに、図６と同様にフォーカスレンズ位置と焦点評価値の関係を示している。図９（ａ）は、輝度信号Ｇから得られた第１の焦点評価値で、高域全ライン積分評価値をＧ焦点評価値Ｈｉｇｈとして、低域全ライン積分評価値をＧ焦点評価値Ｌｏｗとして示している。同様に、図９（ｂ）は、輝度信号Ｒから得られた第２の焦点評価値で、高域全ライン積分評価値をＲ焦点評価値Ｈｉｇｈとして、低域全ライン積分評価値をＲ焦点評価値Ｌｏｗとして示している。図９（ａ）の輝度信号Ｇから得られた第１の焦点評価値では、極大値をとる合焦近傍で、Ｇ焦点評価値Ｈｉｇｈの方が、Ｇ焦点評価値Ｌｏｗよりも大きくなることから、緑色の被写体パターンは、高周波成分が多いことを示している。一方で、図９（ｂ）の輝度信号Ｒから得られた第２の焦点評価値では、合焦近傍で、Ｒ焦点評価値Ｈｉｇｈの方が、Ｒ焦点評価値Ｌｏｗよりも小さくなることから、赤色の被写体パターンは、低周波成分が多いことを示している。図９のように、帯域の異なる焦点評価値の差や比の大小関係を、色毎に比較することにより、色毎の被写体の空間周波数特性の一致度を判定することができる。ステップＳ２０２８では、帯域の異なる焦点評価値の大小関係が、ＲとＧで等しいか否かを閾値と比較して判定する。この判定で用いる焦点評価値の帯域は、２つに限らず、より多くの数の帯域を評価した焦点評価値の大小関係を用いてもよい。より多くの数の帯域の評価値を用いると、演算負荷は増えるが、信頼性の判定精度を向上させることができる。
【００６３】
ステップＳ２０２８で帯域の異なる焦点評価値の大小関係が色毎に異なると判定されるとステップＳ２０３０に進み、焦点調節方向の検出結果の信頼性が無いと判定する。一方で、帯域の異なる焦点評価値の大小関係が色毎に等しいと判定されると、ステップＳ２０２９に進み、焦点調節方向の検出結果の信頼性が有ると判定される。
【００６４】
ステップＳ２０２９もしくはステップＳ２０３０を終えると、各色の評価値の信頼性判定のサブルーチンを終え、図５のステップＳ２０３に進む。本サブルーチンでは、信頼性判定を複数の方法で行ったが、全てを行う必要はない。許容される演算量に応じて、必要な信頼性判定のみを行えばよい。
【００６５】
以上のように、焦点評価値として、ラインごとのコントラストで正規化した評価値を用いることにより、異なる色の焦点評価値の比較による焦点調節方向の検出の信頼性を向上させることができる。また、焦点調節方向の検出結果の信頼性を判定する信頼性判定を行うため、誤った焦点調節方向の検出を行う頻度を低減することができる。さらに、信頼性判定として、正規化の際のゲインの大きさや異なる帯域の焦点評価値などを用いることによって、精度の高い信頼性判定を行うことができる。また、レンズの駆動状態に応じて、信頼性判定を行う閾値を変更するように構成したため、焦点調節方向の検出精度を向上することができる。
【００６６】
本実施形態では、焦点調節方向の検出を、ＡＦ動作開始時に一回行うように構成したが、図３のステップＳ３のＡＦスキャン中に、繰り返し行ってもよい。演算量は増えるが、方向検出の誤検出の早期発見、信頼性の向上を実現できる。また、方向検出処理を行う場合以外は、全ライン積分評価値算出の際の正規化や色毎の焦点評価値の算出は行わなくてもよい。正規化処理や焦点評価値の種類を省くことで、演算量の低減を実現できる。正規化処理や色毎の焦点評価値の算出は、動画時や静止画ＡＦ開始時は行い方向検出を行うが、それ以外の場合には方向検出を行わなくてもよい。
【００６７】
（携帯電話の説明）
上記の実施形態の構成及び動作は、携帯電話にも適用できる。本実施形態の携帯電話は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。画像の撮影に上記の実施形態が適用できる。
【００６８】
携帯電話の通信部は、ユーザが契約した通信キャリアに従う通信方式により他の電話との間で音声データや画像データを通信する。音声処理部は、音声通話時において、マイクロフォンからの音声データを発信に適した形式に変換して通信部に送る。
【００６９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７１】
１：撮像装置、２：ズームレンズ群、３：フォーカスレンズ群、４：絞り、５：撮像素子、１４：スキャンＡＦ処理回路、１５：ＣＰＵ、４１１：正規化回路、４１５，４１８：垂直積分回路、５０４：焦点検出領域
【図１】
2016128890.tif 000003
【図２】
2016128890.tif 000004
【図３】
2016128890.tif 000005
【図４】
2016128890.tif 000006
【図５】
2016128890.tif 000007
【図６】
2016128890.tif 000008
【図７】
2016128890.tif 000009
【図８】
2016128890.tif 000010
【図９】
2016128890.tif 000011