(57)【要約】【課題】ＭＦ操作時にもＡＦ補助光を用いたピント合わせを可能にしたフォーカスアシスト機能を提供する。【解決手段】被写体像を撮像する撮像素子と、被写体像を結像させるための撮像光学系の異なる瞳領域を通過した光により形成される２つの被写体像の位相差に基づいて撮像光学系の焦点状態を検出する検出部と、撮像光学系のフォーカスレンズの移動速度に関する情報を取得する取得部と、取得部により取得された、フォーカスレンズの移動速度に関する情報に基づいて、被写体を照明する補助光の発光を制御する制御部とを備え、制御部は、フォーカスレンズの移動速度に関する情報が第１の閾値より小さい場合に、補助光を発光させながら検出部に、撮像光学系の焦点状態を検出させる。【選択図】  図９
2020012891.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子と、
前記被写体像を結像させるための撮像光学系の異なる瞳領域を通過した光により形成される２つの被写体像の位相差に基づいて前記撮像光学系の焦点状態を検出する検出手段と、
前記撮像光学系のフォーカスレンズの移動速度に関する情報を取得する取得手段と、
前記取得手段により取得された、前記フォーカスレンズの移動速度に関する情報に基づいて、被写体を照明する補助光手段の発光を制御する制御手段と、を備え、
前記制御手段は、前記フォーカスレンズの移動速度に関する情報が第１の閾値より小さい場合に、前記補助光手段を発光させながら前記検出手段に、前記撮像光学系の焦点状態を検出させることを特徴とする撮像装置。
【請求項２】
被写体の輝度を検出する測光手段をさらに備え、前記被写体の輝度が所定の閾値以下の場合に、前記制御手段は、前記補助光手段を発光させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記取得手段は、前記フォーカスレンズがユーザーによりマニュアル操作された場合の前記フォーカスレンズの移動速度に関する情報を取得することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像光学系は、前記撮像装置に対して着脱可能であり、前記取得手段は、前記撮像光学系と通信することにより、前記フォーカスレンズの移動速度に関する情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記撮像素子の露光タイミングに基づいて、前記補助光手段の発光のタイミングを制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記補助光手段は、閃光発光装置であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記閃光発光装置は、前記撮像装置に対して着脱可能であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記検出手段により検出された前記撮像光学系のデフォーカス量が所定の範囲内である場合は、前記制御手段は、前記フォーカスレンズの移動速度に関する情報が、前記第１の閾値よりも小さい第２の閾値以内になった場合に、前記補助光手段を発光させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、前記フォーカスレンズの移動速度に関する情報が、前記第２の閾値よりも小さい第３の閾値以内になった場合に、前記補助光手段の発光を停止させることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子のそれぞれの画素は、前記撮像光学系の異なる瞳領域を通過した光により形成される像をそれぞれ光電変換する複数の光電変換素子を備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像光学系の焦点状態を表示する表示手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記表示手段は、前記補助光手段が発光された場合には、前記焦点状態を第１の表示形態で表示し、前記補助光手段が発光されなかった場合には、第１の表示形態とは異なる第２の表示形態で、前記焦点状態を表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記表示手段は、前記第２の表示形態では、前記補助光手段を次回発光させるタイミングを表す指標を表示することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記指標は、経時的に変化することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記指標は、前記フォーカスレンズの移動量に応じて変化することを特徴とする請求項１３に記載の撮像装置。
【請求項１６】
前記指標は、前記検出手段により検出されたデフォーカス量に応じて変化することを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記検出手段による検出結果の信頼性を算出する信頼性算出手段をさらに備え、前記信頼性算出手段の算出結果に応じて、前記表示手段における前記焦点状態の表示形態を変更することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記表示手段は、前記信頼性算出手段によりされた信頼性の値が低い場合に、焦点状態を表す指標の形状を変更することを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記表示手段は、前記取得手段により取得されたフォーカスレンズの移動速度に関する情報の変化に応じて、焦点状態を表す指標の表示応答性を変更することを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
前記表示手段は、前記検出手段による複数回の検出結果を平均することにより、前記指標の表示応答性を制御することを特徴とする請求項１９に記載の撮像装置。
【請求項２１】
前記表示手段は、前記取得手段により取得されたフォーカスレンズの移動速度に関する情報が所定の閾値以上の場合には、焦点検出結果の平均回数を所定回数以下にすることを特徴とする請求項２０に記載の撮像装置。
【請求項２２】
被写体像を撮像する撮像素子を備える撮像装置を制御する方法であって、
前記被写体像を結像させるための撮像光学系の異なる瞳領域を通過した光により形成される２つの被写体像の位相差に基づいて前記撮像光学系の焦点状態を検出する検出工程と、
前記撮像光学系のフォーカスレンズの移動速度に関する情報を取得する取得工程と、
前記取得工程において取得された、前記フォーカスレンズの移動速度に関する情報に基づいて、被写体を照明する補助光手段の発光を制御する制御工程と、を有し、
前記制御工程では、前記フォーカスレンズの移動速度に関する情報が第１の閾値より小さい場合に、前記補助光手段を発光させながら前記検出工程に、前記撮像光学系の焦点状態を検出させることを特徴とする撮像装置。
【請求項２３】
請求項２２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項２４】
請求項２２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において手動により焦点調節を行う場合の表示制御技術に関する。
【背景技術】
【０００２】
撮像装置において、撮像素子に位相差検出機能を組み込むことにより、撮影レンズのピントずれ量を求めることを可能とする技術が提案されている。
【０００３】
例えば特許文献１では、撮像素子の一部の受光素子において、受光部の感度領域をオンチップマイクロレンズの光軸に対して偏心させることで瞳分割機能を持たせている。そして、これらの受光素子を有する画素を、撮像素子中に所定の間隔で配置することで位相差検出機能を実現している。
【０００４】
また、例えば特許文献２では、撮像素子の一つのマイクロレンズに対応して、Ａ画素及びＢ画素の複数の光電変換素子を設け、Ａ画素出力とＡ＋Ｂ画素出力を読み出している。そして、Ａ＋Ｂ画素出力からＡ画素出力を減算処理することでＢ画素出力を求め、位相差検出機能を実現している。
【０００５】
また、被写体の輝度やコントラストが低い場合には、焦点検出能力が低下し合焦不能となってしまう。そのため低輝度や低コントラストの場合には被写体に補助光を照射することにより、被写体の輝度やコントラストを高めて焦点検出を補助する補助光手段（以下、ＡＦ補助光と称す）について種々の提案がなされている。
【０００６】
例えば特許文献３では、焦点検出用の補助光源を撮影用のフラッシュ装置と兼用し、特定の輝度以下でフラッシュ装置を間欠発光させてＡＦ補助光として用いることが提案されている。
【０００７】
また、近年のフルハイビジョンや４Ｋ画像などに対応した高精細カメラ等では、従来以上に解像力が高いため、撮影者がマニュアルによるフォーカス操作（ＭＦ操作）によりピントを合わせることが困難になっている。そのため、被写体へのより厳密なピント合わせを補助するために、フォーカスアシスト機能についての技術が提案されている。
【０００８】
特許文献４では、安定したフォーカスアシスト表示を実現するために、焦点検出時の信頼性を判定し、信頼性に応じてフォーカスアシスト表示することが提案されている。また、特許文献５では、安定したフォーカスアシスト表示を実現するために、焦点検出領域の移動量に応じて、焦点検出結果を平均処理することが提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２１９９５８号公報
【特許文献２】特開２０１３−１０６１９４号公報
【特許文献３】特開平０５−３４５７７号公報
【特許文献４】特開２０１６−１９７２３１号公報
【特許文献５】特開２０１６−１９７１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、撮像素子に位相差検出機能を組み込んだ焦点検出装置においては、位相差検出用の画素が画像撮影用の画素としても使用されるため、効率良く射出瞳の全領域を通過した光束を受光できるようマイクロレンズ等の設計がなされる。そのため、ＡＦ（オートフォーカス）専用のセンサに比べ被写体像がボケやすく、一度の信号読み出しで検出可能なデフォーカス範囲が狭くなり、デフォーカス量が大きい場合は、レンズを駆動しながら繰り返し焦点検出を行い、合焦まで追い込む必要がある。
【００１１】
また、ＡＦ時には、低輝度下でも、ＡＦ補助光の発光を繰り返しながら合焦まで追い込むことが可能であるが、従来、ＭＦ操作時にはＡＦ補助光を用いてフォーカスアシストを行うシステムがなかった。そのため、ユーザーはＡＦ補助光を用いることができない状態で、目視でピント合わせを行わなければならなかった。
【００１２】
本発明は上述した課題に鑑みてなされたものであり、その目的は、ＭＦ操作時にもＡＦ補助光を用いたピント合わせを可能にしたフォーカスアシスト機能を提供することである。
【課題を解決するための手段】
【００１３】
本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、前記被写体像を結像させるための撮像光学系の異なる瞳領域を通過した光により形成される２つの被写体像の位相差に基づいて前記撮像光学系の焦点状態を検出する検出手段と、前記撮像光学系のフォーカスレンズの移動速度に関する情報を取得する取得手段と、前記取得手段により取得された、前記フォーカスレンズの移動速度に関する情報に基づいて、被写体を照明する補助光手段の発光を制御する制御手段と、を備え、前記制御手段は、前記フォーカスレンズの移動速度に関する情報が第１の閾値より小さい場合に、前記補助光手段を発光させながら前記検出手段に、前記撮像光学系の焦点状態を検出させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ＭＦ操作時にもＡＦ補助光を用いたピント合わせを可能にしたフォーカスアシスト機能を提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラの構成を示す側断面図。
【図２】第１の実施形態における画素配列を示す図。
【図３】第１の実施形態における画素の平面図と断面図。
【図４】第１の実施形態における画素と瞳分割の説明図。
【図５】撮像素子と瞳分割の説明図。
【図６】デフォーカス量と像ずれ量の関係を示す図。
【図７】撮像素子の蓄積タイミングと閃光補助光の発光タイミングを示す図。
【図８】フォーカスアシスト表示の一例を示す図。
【図９】第１の実施形態におけるフォーカスアシスト制御のメインのフローチャート。
【図１０】第１の実施形態におけるデフォーカス量とレンズ速度の関係を示す図。
【図１１】第１の実施形態における焦点検出処理を示すフローチャート。
【図１２】焦点検出領域から得られる像信号の一例を示す図。
【図１３】第１の実施形態における相関演算方法を説明する図。
【図１４】第１の実施形態における相関演算方法を説明する図。
【図１５】第１の実施形態におけるフォーカスアシスト表示制御を示すフローチャート。
【図１６】第２の実施形態におけるフォーカスアシスト表示の一例を示す図。
【図１７】第２の実施形態におけるフォーカスアシスト表示制御を示すフローチャート。
【図１８】第３の実施形態におけるフォーカスアシスト表示の一例を示す図。
【図１９】第３の実施形態におけるフォーカスアシスト表示制御を示すフローチャート。
【図２０】第４の実施形態におけるフォーカスアシスト表示制御を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の実施形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明はそれらの例示に限定されるものではない。
【００１７】
（第１の実施形態）
以下、本発明の第１の実施形態について説明する。
【００１８】
［全体構成］
図１は、本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラの構成を示す側断面図である。図１において、デジタル一眼レフカメラ１００は、カメラ２と、カメラ２に対して交換が可能な（着脱可能な）交換レンズ１と、カメラ２に対して交換が可能なフラッシュ装置５とを備えて構成されている。
【００１９】
交換レンズ１内には撮像光学系１０が収容されている。撮像光学系１０は、複数のレンズや絞りにより構成される。フォーカスレンズ１０ａは、光軸方向に移動可能であり、光軸方向に移動することでピント合わせを行うことができる。レンズ駆動部１１は、後述するレンズ制御部１３の指令によってフォーカスレンズ１０ａを光軸方向に駆動する。レンズ状態検出部１２は、フォーカスレンズ１０ａの位置や、不図示の絞りの状態など、レンズの現在の状態を検出する。ズームレンズの場合はズームポジションを検出可能である。また、フォーカスレンズ１０ａがフォーカスレンズの駆動範囲の端にいるか否かのレンズ端検出も可能である。さらに、検出した情報は、後述のレンズ電気接点１５を介してカメラ制御部４０にレンズ情報として転送することが可能である。
【００２０】
レンズ制御部１３は、後述の電気接点１５を通じてカメラ制御部４０から転送されたカメラ情報、レンズ状態検出部１２によって検出されたレンズ情報、レンズ記憶部１４の情報に基づき、レンズ駆動部１１を制御する。レンズ記憶部１４は、ＲＯＭ等により構成され、交換レンズ１の識別情報や撮像光学系１０の光学情報等の各種情報を記憶している。  電気接点１５は、交換レンズ１とカメラ２との通信を可能としており、レンズ記憶部１４に記憶されている情報や、レンズ状態検出部１２から出力されるフォーカスレンズ１０ａの位置情報などの情報を、カメラ制御部４０に転送することが可能である。
【００２１】
フォーカスレンズ操作部１６は、フォーカスレンズ１０ａをユーザーが手動で操作し（マニュアル操作し）、マニュアルフォーカス（以下、ＭＦ）でピントを合わせることを可能としている。ＭＦでフォーカスレンズ１０ａの操作がされた際にも、レンズ状態検出部１２によって、フォーカスレンズ１０ａの位置を検出し、電気接点１５によりフカメラ２に情報を転送することが可能である。
【００２２】
カメラ２において、ハーフミラーで構成された主ミラー２０は、ユーザーが光学ファインダを通して被写体を観察する光学ファインダ観察時には、図示のように撮影光路内のダウン位置に配置されて撮像光学系１０からの光をピント板３０に向けて反射する。また、主ミラー２０は、背面モニタ４３にライブビュー画像を表示するライブビュー観察時や記録用画像（静止画および動画）を生成する撮影時には、撮影光路から退避するアップ位置に回動する。これにより、撮像光学系１０からの光は、シャッタ２３および撮像素子２４に向かう。
【００２３】
サブミラー２１は、主ミラー２０とともに回動し、ダウン位置に配置された主ミラー２０を透過した光をＡＦセンサユニット２２に導く。また、主ミラー２０がアップ位置に回動すると、サブミラー２１も撮影光路から退避する。
【００２４】
ＡＦセンサユニット２２は、被写体から撮像光学系１０を通り、さらにサブミラー２１で反射されて入射した光を用いて、カメラ２の撮影範囲内に設けられた複数の焦点検出領域において位相差検出方式による焦点状態の検出（焦点検出）を行う。ＡＦセンサユニット２２は、各焦点検出領域からの光から一対の像（被写体像）を形成する２次結像レンズと、その一対の被写体像を光電変換する一対の受光素子列が配置されたエリアセンサ（ＣＣＤ又はＣＭＯＳセンサ）とを含む。エリアセンサの一対の受光素子列は、一対の被写体像の輝度分布に応じた光電変換信号である一対の像信号をカメラ制御部４０に出力する。エリアセンサ上には、複数の焦点検出領域に対応した複数対の受光素子列が２次元配置されている。
【００２５】
シャッタ２３は、光学ファインダ観察時には閉じ、ライブビュー観察時および動画撮影時には開放されて撮像光学系１０により形成された被写体像の撮像素子２４による光電変換（ライブビュー画像および撮影動画の生成）を可能とする。さらに、静止画撮影時には、設定されたシャッタ秒時で開閉し、撮像素子２４の露光を制御する。
【００２６】
撮像素子２４は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサとその周辺回路により構成され、撮像光学系１０により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子２４の各画素部には、撮像用素子と焦点検出用素子を兼用した瞳分割用の複数の副画素が配置されている。これについては、後に詳しく説明する。
【００２７】
ピント板３０は、撮像素子２４と等価な位置である撮像光学系１０の１次結像面に配置されている。光学ファインダ観察時には、ピント板３０上に、被写体像（ファインダー像）が形成される。ペンタプリズム３１は、ピント板３０上に形成された被写体像を正立正像に変換する。接眼レンズ３２は、正立正像をユーザーに観察させる。ピント板３０、ペンタプリズム３１および接眼レンズ３２により光学ファインダが構成される。
【００２８】
ＡＥセンサ３３は、ピント板３０からの光を、ペンタプリズム３１を介して受光し、ピント板３０上に形成された被写体像の輝度を測定する。ＡＥセンサ３３は、複数のフォトダイオードを有し、カメラ２による撮影範囲を分割するように設定された複数の測光領域のそれぞれで輝度を測定することができる。また、被写体像の輝度測定のほかにも、被写体像の形や色などを測定して被写体の状態を判定する被写体検知機能も備える。
【００２９】
カメラ制御部４０は、ＭＰＵ等を含むマイクロコンピュータにより構成され、カメラ２と交換レンズ１からなるカメラシステム全体の動作を制御する。カメラ制御部４０は、ＡＦセンサユニット２２から得られた一対の像信号の位相差を算出し、その位相差から撮像光学系１０の焦点状態（デフォーカス量）を算出する。さらに、カメラ制御部４０は、検出された撮像光学系１０の焦点状態に基づいて、撮像光学系１０の合焦状態を得るためにフォーカスレンズ１０ａを移動させるべき位置である合焦位置を算出する。そして、カメラ制御部４０は、位相差ＡＦにより算出した合焦位置にフォーカスレンズ１０ａを移動させるようレンズ制御部１３にフォーカス指令を送信する。レンズ制御部１３は、受信したフォーカス指令に応じて、レンズ駆動部１１を制御してフォーカスレンズ１０ａを合焦位置に移動させる。これにより、撮像光学系１０の合焦状態が得られる。
【００３０】
デジタル処理部４１は、撮像素子２４からのアナログ撮像信号をデジタル撮像信号に変換し、さらにデジタル撮像信号に対して各種処理を行って画像信号（画像データ）を生成する。撮像素子２４およびデジタル処理部４１により撮像系が構成される。デジタル処理部４１は、撮像素子２４に配置されている瞳分割用の複数の副画素の出力信号に応じた第１焦点検出信号と第２焦点検出信号をそれぞれ生成する像信号生成部４４を有する。第１焦点検出信号と第２焦点検出信号については後述する。
【００３１】
デジタル処理部４１は、像信号生成部４４により生成された第１焦点検出信号および第２焦点検出信号を用いて、位相差検出方式による焦点状態（デフォーカス量）の検出を行うための焦点検出処理部４５を備える。焦点検出処理部４５はさらに、算出した焦点検出結果に基づいて、撮像光学系１０の合焦状態を得るためにフォーカスレンズ１０ａを移動させるべき位置である合焦位置を算出する。この機能を撮像面位相差ＡＦという。また、焦点検出処理部４５は、検出された像信号から、焦点検出結果の信頼性を算出する（信頼性算出）ことも可能である。焦点検出処理の詳細については後述する。
【００３２】
また、デジタル処理部４１は、撮像素子２４の信号から、撮像光学系１０により形成された被写体像の輝度を測定することが可能である。デジタル処理部４１は、さらに、フォーカスレンズ１０ａの移動速度を算出する、レンズ速度算出部４６を備える。フォーカスレンズ１０ａの移動量の情報は、レンズ状態検出部１２によって検出され、電気接点１５によりカメラ制御部４０を介してデジタル処理部４１に転送される。レンズ速度算出部４６は、転送されたフォーカスレンズ１０ａの移動量と、レンズ移動時間とを用いて、フォーカスレンズ１０ａの移動速度を算出する。フォーカスレンズ１０ａの移動速度は、ＡＦ中の速度も、フォーカスレンズ操作部１６を用いてＭＦ操作された時の速度も算出可能である。
【００３３】
また、デジタル処理部４１は、後述する近赤外発光ダイオード６１（第１の発光部）及び光源５３（第２の発光部）を用いたＡＦ補助光機能を制御する補助光発光制御部４７を備える。具体的な制御方法については後述する。また、デジタル処理部４１は、後述するフォーカスアシスト機能において、背面モニタ４３にフォーカスアシストの表示形態を制御するための、フォーカスアシスト表示制御部４８を備える。具体的な制御方法については後述する。
【００３４】
カメラ記憶部４２は、カメラ制御部４０やデジタル処理部４１の動作で用いられる各種データを記憶している。また、カメラ記憶部４２は、生成された記録用画像を保存する。背面モニタ４３は、液晶パネル等の表示素子により構成され、ライブビュー画像、記録用画像および各種情報を表示する。なお背面モニタ４３には、タッチパネル機能が備えられ、ユーザーのタッチ操作によって背面モニタ４３上で任意の操作が可能である。
【００３５】
なお、図１には不図示であるが、カメラ２は、レリーズスイッチをさらに備えている。レリーズスイッチを半押しすることでスイッチＳＷ１がＯＮし、レリーズスイッチを全押しすることでスイッチＳＷ２がＯＮされる。
【００３６】
フラッシュ装置５は、通信インタフェースとなるフラッシュ装置接点５１を通じてカメラ２と通信することで、後述するフラッシュ制御マイクロコンピュータ５２の制御を可能としている。光源５３は、キセノン管等により構成される第２の発光部としての光源であり、電流エネルギを発光エネルギに変換する。本実施形態では、光源５３としてキセノン管を用いている。
【００３７】
フレネルレンズ５４と反射板５５は、それぞれ光源５３からの光を効率良く被写体に向けて照射する役目を持つ。本実施形態の光源５３は、撮像動作時に被写体に照明光を照射する光源であるとともに、ＡＦ時に被写体にＡＦ補助光を照射する第２の発光部としても用いられる。
【００３８】
第１の受光素子５６と第２の受光素子５７は、光源５３の発光量をモニタするために設けられている。本実施形態では、第１の受光素子５６および第２の受光素子５７としてフォトダイオードを用いている。第１の受光素子５６には、光源５３から発せられた光の一部が第１のライトガイド５８及びグラスファイバー５９を介して導かれる。また、第２の受光素子５７には、光源５３から発せられた光の一部が第２のライトガイド６０を介して導かれる。
【００３９】
フラッシュ制御マイクロコンピュータ５２は、第１の受光素子５６からの出力に基づいて、光源５３の予備発光及び本発光での発光量を制御する。予備発光は、撮像動作時に被写体を照明する閃光を発する本発光での発光量を決定するために行われる。また、フラッシュ制御マイクロコンピュータ５２は、第２の受光素子５７からの出力に基づいて、光源５３を所定の発光量で所定時間継続して発光させるフラット発光制御を行う。
【００４０】
近赤外発光ダイオード６１は被写体に照射されるＡＦ補助光となる第１の発光部である。近赤外発光ダイオード６１は、自身の配線パターンを投光することで、ＡＦ補助光をコントラストのあるパターン光として投光している。近赤外発光ダイオード６１の発光動作は、フラッシュ制御マイクロコンピュータ５２により制御される。
【００４１】
投影レンズ６２は、近赤外発光ダイオード６１によるＡＦ補助光を被写体に向けて投影する。本実施形態では、投影レンズ６２は、ＡＦ補助光の投光パターンをそのまま投影する構成になっているが、ＡＦ補助光の投光パターンを分割させるような光学プリズムとして機能させてもよい。なお、本実施形態では近赤外発光ダイオード６１によるＡＦ補助光は、カメラ２とは別のフラッシュ装置５に備えられているが、本発明はこれに限定されず、カメラ２に内蔵されていてもよい。また、フラッシュ装置５とカメラ２の両方に備えられていてもよい。
【００４２】
［撮像素子］
図２は、第１の実施形態における撮像素子２４の画素配列を示す図である。第１の実施形態において、図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。
【００４３】
図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像（焦点検出信号）の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、焦点検出画素の列方向周期ＰＡＦが２μｍ、焦点検出画素数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素の撮像素子として説明を行う。
【００４４】
図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。
【００４５】
図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ２２５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部２２１と光電変換部２２２が形成される。光電変換部２２１と光電変換部２２２が、それぞれ、第１焦点検出画素２０１と第２焦点検出画素２０２に対応する。
【００４６】
光電変換部２２１と光電変換部２２２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。
【００４７】
各画素には、マイクロレンズ２２５と、光電変換部２２１および光電変換部２２２との間に、カラーフィルター２２６が形成される。また、必要に応じて、各副画素毎にカラーフィルターの分光透過率を変えてもよいし、カラーフィルターを省略してもよい。
【００４８】
図３に示した画素２００Ｇに入射した光は、マイクロレンズ２２５により集光され、カラーフィルター２２６で分光されたのち、光電変換部２２１と光電変換部２２２で受光される。光電変換部２２１と光電変換部２２２では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部２２１と光電変換部２２２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ：フローティングディフュージョン部）に転送され、電圧信号に変換される。
【００４９】
図３に示した本実施形態における画素構造と瞳分割との対応関係を示した概略説明図を図４に示す。図３（ａ）に示した本実施形態の画素構造のａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を図４に示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。
【００５０】
図４で、第１焦点検出画素２０１に対応する第１瞳部分領域２５１は、重心が−ｘ方向に偏心している光電変換部２２１の受光面と、マイクロレンズによって、概ね、共役関係になっており、第１焦点検出画素２０１で受光可能な瞳領域を表している。第１焦点検出画素２０１に対応する第１瞳部分領域２５１は、瞳面上で＋Ｘ側に重心が偏心している。
【００５１】
図４で、第２焦点検出画素２０２に対応する第２瞳部分領域２５２は、重心が＋ｘ方向に偏心している光電変換部２２２の受光面と、マイクロレンズによって、概ね、共役関係になっており、第２焦点検出画素２０２で受光可能な瞳領域を表している。第２焦点検出画素２０２に対応する第２瞳部分領域２５２は、瞳面上で−Ｘ側に重心が偏心している。
【００５２】
また、図４で、瞳領域２５０は、光電変換部２２１と光電変換部２２２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００５３】
図５は、本実施形態の撮像素子と瞳分割との対応関係を示した概略図である。第１瞳部分領域２５１と第２瞳部分領域２５２の異なる瞳部分領域を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射し、２×１分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行ってもよい。
【００５４】
本実施形態の撮像素子は、結像光学系の第１瞳部分領域を通過する光束を受光する第１焦点検出画素と、第１瞳部分領域と異なる結像光学系の第２瞳部分領域を通過する光束を受光する第２焦点検出画素と、結像光学系の第１瞳部分領域と第２瞳部分領域を合わせた瞳領域を通過する光束を受光する撮像画素が複数配列されている。本実施形態の撮像素子では、それぞれの撮像画素が第１焦点検出画素と第２焦点検出画素から構成されている。
【００５５】
必要に応じて、撮像画素と第１焦点検出画素、第２焦点検出画素を個別の画素構成とし、撮像画素配列の一部に、第１焦点検出画素と第２焦点検出画素を部分的に配置する構成としてもよい。
【００５６】
本実施形態では、撮像素子の各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第１焦点検出画素２０１と第２焦点検出画素２０２の信号を加算することで、有効画素数Ｎの解像力の撮像信号（撮像画像）を生成する。
【００５７】
［デフォーカス量と像ずれ量の関係］
以下、本実施形態の撮像素子により取得される第１焦点検出信号と第２焦点検出信号の像ずれ量とデフォーカス量の関係について説明する。
【００５８】
図６は、第１焦点検出信号と第２焦点検出信号の像ずれ量とデフォーカス量の関係を模式的に示す図である。撮像面２６０に本実施形態の撮像素子が配置され、図４、図５と同様に、結像光学系の射出瞳が、第１瞳部分領域２５１と第２瞳部分領域２５２に２分割される。
【００５９】
デフォーカス量をｄとした場合、被写体の結像位置から撮像面までの距離は大きさ｜ｄ｜と表され、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）で表すものとする。被写体の結像位置が撮像面（合焦位置）にある合焦状態はｄ＝０である。図６で、被写体２６１は合焦状態（ｄ＝０）の例を示しており、被写体２６２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００６０】
前ピン状態（ｄ＜０）では、被写体２６２からの光束のうち、第１瞳部分領域２５１（第２瞳部分領域２５２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面２６０でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（第２焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面２６０上の重心位置Ｇ１（Ｇ２）に、被写体２６２が幅Γ１（Γ２）にボケた像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００６１】
したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。
【００６２】
なお、撮像面位相差ＡＦにおいては、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量を第１検出デフォーカス量に変換して焦点検出を行う。
【００６３】
［補助光発光制御］
ここで、図１の補助光発光制御部４７によって行われる、補助光発光制御について、図７を用いて説明する。図７は、撮像素子２４における蓄積タイミング（露光タイミング）と閃光補助光の発光タイミングを説明する図である。撮像素子２４では、撮像素子駆動回路が生成する垂直同期信号１００１に応じて、蓄積および信号読み出しが行われる。
【００６４】
撮像素子２４では、ラインごとに信号読み出しを行うため、読み出し開始行（１００６）と読み出し終了行（１００７）の蓄積開始タイミングが異なる。そのため、蓄積時間（１００３）および読み出し時間（１００４）に応じて、撮像素子全体が蓄積されている全開区間（１００５）は、蓄積時間＞読み出し時間のとき、（蓄積時間−読み出し時間）で求めることができる。全開区間スタート（１００６）は、読み出し終了行の蓄積開始のタイミングで始まるため、このタイミングに合わせて閃光発光（１００７）を行うことで、撮像素子全体で均一に受光することができる。
【００６５】
ここで、閃光発光の発光期間は数百分の１秒から数万分の１秒まで制御することが可能である場合が多く、蓄積時間が読み出し時間に比べて十分長ければ、全開区間内で発光を終了させることができる。しかし、蓄積時間が短く、全開区間を十分確保できない場合は、全開区間の長さに応じて、閃光発光の発光期間を制御するようにしてもよい。全ラインの読み出しが完了すると焦点検出処理部４５により、焦点検出処理（１００８）を行う。
【００６６】
［フォーカスアシスト機能の表示形態］
ここで、図１のフォーカスアシスト表示制御部４８において制御される、フォーカスアシスト機能の表示形態について、図８を用いて説明する。本実施形態では、フォーカスアシスト表示の種類は、第１から第４の表示形態の４つとし、表示パーツ３０１〜３１７により、検出された焦点状態を表現する。
【００６７】
図８（ａ）は、第１の表示形態の一例を示し、被写体に合焦していると判定された状態を示す。合焦と判定されている状態では、内向きの表示パーツ３０１と外向きの表示パーツ３０２の位置が一致（ここでは上部で停止）している。また、合焦状態と判定されている場合は、例えば、表示パーツ３０１と表示パーツ３０２を他の表示形態の色（例えば白）と異なる色（例えば緑）で表してもよい。
【００６８】
図８（ｂ）は、第２の表示形態の一例を示し、被写体に合焦していないが、焦点検出結果の信頼度が高い場合に、合焦位置までの方向とデフォーカス量の大きさを示している状態である。例えば被写体よりも無限遠側にピントが合っている（後ピン）場合は、内向きの表示パーツ３０３が上部に停止した状態で、外向きの表示パーツ３０４と３０５が円周上に沿って左右対称に移動する。表示パーツ３０４と表示パーツ３０５の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０３の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０３は表示パーツ３０１に対応し、表示パーツ３０４と３０５が重なった状態が表示パーツ３０２に対応する。
【００６９】
一方、被写体よりも至近側にピントが合っている（前ピン）場合は、外向きの表示パーツ３０６が上部に停止した状態で、内向きの表示パーツ３０７と３０８が円周上に沿って左右対称に移動する。表示パーツ３０７と表示パーツ３０８の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０６の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０６は表示パーツ３０２に対応し、表示パーツ３０７と３０８が重なった状態が表示パーツ３０１に対応する。
【００７０】
以上のように、第２の表示形態では、移動する表示パーツの位置によってデフォーカス量の大きさを示すことができる。また、上部で停止している表示パーツの向きによって合焦位置までの方向（デフォーカス方向）を示すことができる。
【００７１】
図８（ｃ）は、第３の表示形態の一例を示し、焦点検出結果の信頼度が中程度である場合に、合焦位置までの方向のみを示している状態である。ここでは、デフォーカス量に関わらず、各表示パーツ３０９〜３１４が所定位置で固定される。また、後ピンの場合は内向きの表示パーツ３０９が上部で固定され、前ピンの場合は外向きの表示パーツ３１２が上部で固定される。すなわち、第３の表示形態では、デフォーカス量の大きさは示さずに、上部で固定される表示パーツの向きによって合焦位置までの方向を示している。
【００７２】
図８（ｄ）は、第４の表示形態の一例を示し、焦点検出結果の信頼性（信頼性の算出結果）が低い場合を示している。この場合は、デフォーカス量の大きさもデフォーカス方向も示さずに、焦点検出ができないことをユーザーに視認させる。ここでは、各表示パーツ３１５〜３１７を他の表示形態と異なる色（例えばグレー）で表示すると共に、各表示パーツ３１５〜３１７を所定位置で固定する。また、表示パーツ３１６および表示パーツ３１７の形状を他の表示形態と異ならせる。
【００７３】
なお、図８に示すフォーカスアシスト表示は一例であり、本発明はこの表示に限定されるものではない。
【００７４】
上記のように、焦点状態に応じてフォーカスアシストの表示形態を変えることで、ＭＦ操作時の焦点状態をユーザーに分かりやすく表示することができる。また、検出結果の信頼性に応じて、ＭＦ操作時の表示形態を変えることで、信頼度の低い被写体に対する指標の細かいちらつきを抑え、信頼性の状態をユーザーに直感的に表示できるようになる。
【００７５】
［フォーカスアシスト機能］
以下、本実施形態におけるフォーカスアシスト機能について説明する。図９は、本実施形態におけるフォーカスアシスト動作のメインのフローチャートを示している。
【００７６】
Ｓ１０１では撮像素子２４の信号に基づいて、デジタル処理部４１により被写体輝度を算出する。Ｓ１０２では、レンズ速度算出部４６によって、フォーカスレンズ１０ａの駆動速度を算出する。Ｓ１０３では、Ｓ１０１で検出した被写体輝度が閾値ＢＶ＿ＴＨ１以下であるか否かを判定する。
【００７７】
輝度が閾値ＢＶ＿ＴＨ１より大きい場合（Ｓ１０３でＮｏ）は、Ｓ１０４へ進み、補助光発光を行わない焦点検出処理へ進む。焦点検出処理については後述する。焦点検出処理が完了したら、Ｓ１０５へ進み、更新フラグを１にする。更新フラグは、後述するフォーカスアシスト表示制御内で、フォーカスアシスト表示を更新させるか否かを決定させるフラグである。輝度が所定値ＢＶ＿ＴＨ１以下の場合（Ｓ１０３でＹｅｓ）は、Ｓ１０６へ進む。
【００７８】
Ｓ１０６では、前回のデフォーカス検出履歴があるか否かを判断する。前回のフォーカス履歴があれば（Ｓ１０６でＹｅｓ）、Ｓ１０７へ進み、前回のフォーカス履歴がなければ（Ｓ１０６でＮｏ）、Ｓ１０９へ進む。
【００７９】
Ｓ１０７では、前回検出したデフォーカス量が閾値ＤＥＦ＿ＴＨ１以内か否かを判断する。閾値ＤＥＦ＿ＴＨ１は合焦近傍であるか否かを表す閾値であり、合焦近傍と判断されれば（Ｓ１０７でＹｅｓ）、Ｓ１０８へ進み、Ｓ１０２で算出したレンズ速度が、閾値ＴＨ＿Ｌｓ２以下であるか否かを判断する。また、前回検出したデフォーカス量が合焦近傍でなければ（Ｓ１０７でＮｏ）、Ｓ１０９へ進み、Ｓ１０２で算出したレンズ速度が、閾値ＴＨ＿Ｌｓ１以下であるか否かを判断する。ここで、閾値Ｔｈ＿Ｌｓ２は、閾値ＴＨ＿Ｌｓ１よりも小さく、より低速で駆動していることを表す閾値である。
【００８０】
以下、図１０を用いて、閾値ＤＥＦ＿ＴＨ１、閾値ＴＨ＿Ｌｓ１、閾値ＴＨ＿Ｌｓ２の関係について説明する。図１０（ａ）は、デフォーカス量の変化を示す図である。図１０（ｂ）は、レンズ速度変化を表しており、図１０（ａ）と図１０（ｂ）では横軸の時間が対応している。図１０（ａ）では、初期位置からレンズを少しずつ動かして、合焦位置までピント合わせが行われる様子を表しており、縦軸が０になったときがジャストピント状態となる。ここで、閾値ＤＥＦ＿ＴＨ１は合焦近傍を表す閾値であるため、縦軸０から少しの幅を持った閾値となっている。図１０（ｂ）では、図１０（ａ）のようにレンズを動かした時のレンズの速度を表している。デフォーカス量が閾値ＤＥＦ＿ＴＨ１より大きい時、フォーカス検出のための補助光を発光するレンズ速度の閾値は閾値ＴＨ＿Ｌｓ１に設定される。デフォーカス量が閾値ＤＥＦ＿ＴＨ１以内に入ったとき、レンズ速度の閾値はＴＨ＿Ｌｓ２に設定され、閾値Ｔｈ＿Ｌｓ１より小さな閾値となる。なお、レンズ速度がそれぞれの閾値以内の場合に補助光が発光されるものとする。
【００８１】
大ボケ状態からピントを合わせるときには、まずは粗く合焦近傍まで合わせようとするため、ユーザーのレンズ操作速度はある程度速くなる。そのため、補助光発光のための閾値はある程度広めに設定されていることが望ましい。つまり、補助光が発光されやすくなるように設定される。しかし、合焦近傍まで近づくと、ユーザーは合焦位置に慎重に追い込もうとするため、レンズ操作速度が遅くなる。レンズ速度の閾値が広めのままでは、合焦近傍で常に補助光が発光することになるため、電力消費が大きくなってしまう。そのため、大ボケ時のレンズ速度の閾値に対して、合焦近傍の閾値をより厳しく設定することで、合焦まで追い込む際の補助光発光回数を最小限に抑えることが可能となる。
【００８２】
Ｓ１０８で、レンズ速度が閾値Ｔｈ＿Ｌｓ２より大きいと判断された場合（Ｓ１０８でＮｏ）、補助光を発光させずにフォーカスアシスト表示させるため、Ｓ１１０へ進み、更新フラグを０にする。レンズ速度が閾値Ｔｈ＿Ｌｓ２以下であると判断された場合（Ｓ１０８でＹｅｓ）、Ｓ１１１へ進む。
【００８３】
Ｓ１１１では、レンズ速度が閾値Ｔｈ＿Ｌｓ３以上であるか否かを判断する。閾値Ｔｈ＿Ｌｓ３は、レンズ停止相当のレンズ速度か否かを表している。レンズが停止していると判断された場合には（Ｓ１１１でＮｏ）、ユーザーのレンズ操作が一時中断されたものとして、補助光を発光させずにフォーカスアシスト表示させるため、Ｓ１１０へ進み、更新フラグを０にする。レンズ速度が閾値Ｔｈ＿Ｌｓ３以上であれば（Ｓ１１１でＹｅｓ）、ユーザーがピント位置へ追い込んでいる最中であると判断し、補助光を発光させるため、Ｓ１１２へ進む。
【００８４】
Ｓ１１２では、閃光補助光の発光量を決定する。ここでは、まず最小の発光量とする。これは、発光量が大きすぎた場合、被写体が眩しいと感じてしまうことや、被写体が明るくなりすぎて背面モニタ４３での被写体の視認性が悪くなってしまうという問題があるためである。また、輝度が飽和してしまうと焦点検出の結果が思わしくないという問題もある。
【００８５】
Ｓ１１３では、閃光補助光を発光し、Ｓ１１４において焦点検出処理を行う。この時の発光タイミングおよび焦点検出処理タイミングは、前述した補助光発光制御部４７において制御され、焦点検出領域を蓄積するタイミングに合わせて発光が行われる。焦点検出処理が完了したら、Ｓ１１５へ進み、更新フラグを１にする。
【００８６】
Ｓ１１６では、Ｓ１１１と同様に、レンズ速度が閾値Ｔｈ＿Ｌｓ３以上であるか否かを判断する。レンズ速度が閾値Ｔｈ＿Ｌｓ３より小さければ（Ｓ１１６でＮｏ）、補助光を発光させずにフォーカスアシスト表示させるため、Ｓ１１７へ進み、更新フラグを０にする。レンズ速度が閾値Ｔｈ＿Ｌｓ３以上であれば（Ｓ１１６でＹｅｓ）、補助光を発光させるため、Ｓ１１８へ進む。
【００８７】
Ｓ１１８では、Ｓ１１２と同様に、閃光補助光の発光量を決定する。Ｓ１１９では、Ｓ１１３と同様に、閃光補助光を発光し、Ｓ１２０において焦点検出処理を行う。Ｓ１２０で焦点検出処理が完了したら、Ｓ１２１へ進み、更新フラグを１にする。
【００８８】
Ｓ１２２では、フォーカスアシスト表示制御に進む。フォーカスアシスト表示制御については後述する。以上で、フォーカスアシストのメインのフローチャートの動作が終了する。
【００８９】
［焦点検出処理］
ここで、図９のＳ１０５、Ｓ１１４、Ｓ１２０において行われる焦点検出処理について、図１１〜図１４を用いて説明する。図１１は、焦点検出処理を示すフローチャートであり、この動作は、像信号生成部４４および焦点検出処理部４５により行われる。
【００９０】
Ｓ２０１において、像信号生成部４４は、一対のフォーカス用信号を取得する。Ｓ２０２からは焦点検出処理部４５に処理を移し、Ｓ２０１で取得した一対のフォーカス用信号から、相関量を算出する。Ｓ２０３では、Ｓ２０２で算出した相関量から相関変化量を算出する。Ｓ２０４において、Ｓ２０３で算出した相関変化量からピントずれ量を算出する。Ｓ２０５では、Ｓ２０１で取得したフォーカス用信号の信頼度を算出する。この信頼度は、Ｓ２０４で算出したピントずれ量がどれだけ信頼できるのかを表す信頼度に相当する。
【００９１】
Ｓ２０６では、ピントずれ量をデフォーカス量に変換する。なお、デフォーカス量は、合焦位置からの絶対的な距離や、フォーカスレンズ１０ａを合焦位置に移動させるために必要なパルス数で表してもよいし、そういった表現と次元、単位の異なる表現や、相対的な表現であってもよい。すなわち、どれだけ合焦状態から離れていると判断できるか、どれだけフォーカス制御すれば合焦状態に移行できると判断できるかを示すものであればよい。
【００９２】
次に、図１２及び図１３を用いて、図１１で説明した焦点検出処理について詳細に説明する。図１２（ａ）は、撮像素子２４を構成する画素アレイ４０１上に設定された焦点検出領域４０２の一例を示す図である。後述する相関演算を行うために必要なフォーカス用信号を読み出す演算領域４０４は、焦点検出領域４０２と相関演算に必要なシフト領域４０３とを合わせた領域である。図１２（ａ）中のｐ、ｑ、ｓ、ｔは、それぞれｘ軸方向の座標を表し、演算領域４０４はｐからｑの範囲にあり、焦点検出領域４０２はｓからｔの範囲にある。
【００９３】
図１２（ｂ）〜（ｄ）は、図１２（ａ）で設定した演算領域４０４から取得したフォーカス用信号の一例を示す図である。ｓからｔが焦点検出領域４０２に対応し、ｐからｑがシフト量を踏まえた相関量演算に必要な演算領域４０４に対応している。実線５０１はＡ像信号、破線５０２はＢ像信号を示している。
【００９４】
図１２（ｂ）は、シフト前のＡ像信号５０１、Ｂ像信号５０２を波形で表した図である。図１２（ｃ）は、図１２（ｂ）に示すシフト前のＡ像信号５０１、Ｂ像信号５０２の波形に対しプラス方向にシフトした図であり、図１２（ｄ）は、図１２（ｂ）に示すシフト前のＡ像信号５０１、Ｂ像信号５０２の波形に対しマイナス方向にシフトした図である。相関量を算出する際には、それぞれ矢印の方向にＡ像信号５０１、Ｂ像信号５０２を１ビットずつシフトする。
【００９５】
続いて、Ｓ２０２における相関量ＣＯＲの算出法について説明する。まず、図１２（ｃ）と図１２（ｄ）で説明した通り、Ａ像信号５０１とＢ像信号５０２を１ビットずつシフトしていき、各シフト状態において、設定された焦点検出領域４０２におけるＡ像信号５０１とＢ像信号５０２の差の絶対値の和を算出する。ここで、最小シフト数はｐ−ｓ、最大シフト数はｑ−ｔである。また、シフト量をｉで表し、ｘを焦点検出領域の開始座標、ｙを焦点検出領域の終了座標とすると、以下の式（１）によって相関量ＣＯＲを算出することができる。 
【００９６】
【数１】
2020012891.tif 000003
【００９７】
図１３（ａ）は、相関量の変化の一例を示した図であり、グラフの横軸はシフト量、縦軸は相関量を示す。相関量波形６０１において、６０２、６０３は極値周辺を示している。この中でも相関量が小さい方ほど、Ａ像信号５０１とＢ像信号５０２の一致度が高いと言える。
【００９８】
続いて、Ｓ２０３における相関変化量ΔＣＯＲの算出方法について説明する。まず、図１３（ａ）に示す相関量波形より、１シフト飛ばしの相関量の差から相関変化量を算出する。この時、最小シフト数は図１３中のｐ−ｓ、最大シフト数は図１３中のｑ−ｔである。シフト量をｉで表すと、以下の式（２）によって相関変化量ΔＣＯＲを算出することができる。
【００９９】
ΔＣＯＲ［ｉ］＝ΔＣＯＲ［ｉ−１］−ΔＣＯＲ［ｉ＋１］
（ｐ−ｓ＋１）＜ｉ＜（ｑ−t−１）                         …（２）
図１３（ｂ）は、相関変化量ΔＣＯＲの一例を示した図であり、グラフの横軸はシフト量、縦軸は相関変化量を示す。相関変化量波形６０４において、６０５、６０６は相関変化量がプラスからマイナスになる周辺である。この６０５、６０６において相関変化量が０となった状態をゼロクロスと呼び、Ａ像信号５０１とＢ像信号５０２の一致度が最も高く、その時のシフト量に基づいてピントずれ量が得られる。
【０１００】
図１４（ａ）は、図１３（ｂ）の部分６０５を拡大したもので、６０７は相関変化量波形６０４の一部分である。図１４（ａ）を用いて、Ｓ２０４におけるピントずれ量ＰＲＤの算出法について説明する。まず、ピントずれ量ＰＲＤは整数部分βと小数部分αに分けられる。小数部分αは、図１４（ａ）中の三角形ＡＢＣと三角形ＡＤＥの相似の関係から、以下の式（３）によって算出することができる。
【０１０１】
ＡＢ：ＡＤ＝ＢＣ：ＤＥ
ΔＣＯＲ［ｋ−１］：ΔＣＯＲ［ｋ−１］−ΔＣＯＲ［ｋ］
＝α：ｋ−（ｋ−１）          …（３）
α＝ΔＣＯＲ［ｋ−１］／（ΔＣＯＲ［ｋ−１］−ΔＣＯＲ［ｋ］）
一方、整数部分βは、図１４（ａ）より、以下の式（４）によって算出することができる。
【０１０２】
β＝ｋ−１                          …（４）
以上のようにして得られたαとβの和から、ピントずれ量ＰＲＤを算出することができる。
【０１０３】
また、図１３（ｂ）のように複数のゼロクロスが存在する場合は、ゼロクロスでの相関量変化の急峻性ｍａｘｄｅｒ（以下、「急峻性」と呼ぶ）が大きいところを第１のゼロクロスとする。この急峻性は合焦位置の特定のし易さを示す指標で、値が大きいほど合焦位置を特定し易い点であることを示す。急峻性は以下の式（５）によって算出することができる。
【０１０４】
ｍａｘｄｅｒ＝｜ΔＣＯＲ［ｋ−１］｜＋｜ΔＣＯＲ［ｋ］｜    …（５）
以上のように、ゼロクロスが複数存在する場合は、ゼロクロスでの急峻性によって第１のゼロクロスを決定する。
【０１０５】
続いて、Ｓ２０５における像信号の信頼度の算出方法について説明する。これは、デフォーカス量の信頼度に対応するものであるが、以下に示す算出法は一例であり、他の周知の方法により信頼度を算出しても構わない。信頼度は、前述した急峻性や、Ａ像信号とＢ像信号との一致度ｆｎｃｌｖｌ（以下、「２像一致度」と呼ぶ）によって定義することができる。２像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度がよい。
【０１０６】
図１４（ｂ）は、図１３（ａ）の極値付近６０２の部分を拡大した図で、６０８は相関量波形６０１の一部分である。２像一致度は以下の式（６）によって算出することができる。
【０１０７】
(i) ΔＣＯＲ［ｋ−１］×２≦ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ−１］＋ΔＣＯＲ［ｋ−１］／４
(ii) ΔＣＯＲ［ｋ−１］×２＞ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ］−ΔＣＯＲ［ｋ］／４              …（６）
[フォーカスアシスト表示制御]
次に、Ｓ１２２におけるフォーカスアシスト表示制御について、図１５を用いて説明する。図１５は、フォーカスアシスト表示制御部４８が実行するフォーカスアシスト表示制御のメイン処理の手順を示すフローチャートである。
【０１０８】
Ｓ３０１では、図９の処理において、更新フラグが１か否かを判断する。更新フラグが１である場合（Ｓ３０１でＹｅｓ）、焦点検出処理を行っており、最新のピント情報を更新できる状態にあることを意味するため、Ｓ３０２へ進み、フォーカスアシスト表示のパラメータを決定する処理に入る。更新フラグが１でない場合（Ｓ３０１でＮｏ）、焦点検出処理を行っておらず、更新できる最新のピント情報がないため、Ｓ３１４へ進む。
【０１０９】
Ｓ３０２では、デフォーカス量が第１の所定範囲内、且つ、信頼度が予め決められた第１の閾値Ｔｈ＿Ａよりも高いか否かを判別する。デフォーカス量が第１の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａよりも高い場合には（Ｓ３０２でＹｅｓ）、Ｓ３０３へ進み、フォーカスアシスト表示を、図８（ａ）に示す第１の表示形態に設定する。
【０１１０】
なお、第１の所定範囲は、被写体に対してフォーカスレンズ１０ａの位置が合焦範囲に入っているか否かを判別するための範囲であり、例えば、焦点深度に基づいて設定する。ここでは、第１の所定範囲を焦点深度とする。また、デフォーカス量の信頼度として、算出されたデフォーカス量の精度が確かであると判断できるレベルを第１の閾値Ｔｈ＿Ａとして設定する。デフォーカス量の信頼度が第１の閾値Ｔｈ＿Ａよりも高い場合とは、例えば、Ａ像信号及びＢ像信号のコントラストが高く、Ａ像信号とＢ像信号の形が似ている（二像一致度が高い）状態や、すでに主被写体像に合焦している状態にある場合である。
【０１１１】
一方、デフォーカス量が第１の所定範囲外、もしくは信頼度が第１の閾値Ｔｈ＿Ａ以下の場合には（Ｓ３０２でＮｏ）、Ｓ３０４へ進む。
【０１１２】
Ｓ３０４では、デフォーカス量が第２の所定範囲内、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高いか否かを判別する。デフォーカス量が第２の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高い場合には（Ｓ３０４でＹｅｓ）、Ｓ３０５へ進み、フォーカスアシスト表示で、合焦までの方向や量を示す指標を設定するために、デフォーカス方向から指標の向きを算出する。そして、Ｓ３０６へ進み、デフォーカス量から表示パーツを表示する位置を算出する。Ｓ３０６では、フォーカスアシスト表示制御部４８により、検出したデフォーカス量を角度に変換する。変換の一例としては、焦点深度を１°とし、デフォーカス量が焦点深度の何倍かを算出することにより角度指標を算出する。なお、角度への変換方法は、フォーカスリングの敏感度などに応じて変化させるなど、この算出方法に限定されるものではない。ここで表示位置が算出される表示パーツは、図８（ｂ）で説明した第２の表示形態において移動する表示パーツである。そして、Ｓ３０７へ進み、フォーカスアシスト表示を図８（ｂ）に示す第２の表示形態に設定する。
【０１１３】
一方、デフォーカス量が第２の所定範囲外、もしくは信頼度が第１の閾値Ｔｈ＿Ａ以下の場合には（Ｓ３０４でＮｏ）、Ｓ３０８へ進む。
【０１１４】
なお、第２の所定範囲には、被写体に依存せずに検出されるデフォーカス量を設定する。例えば、コントラストが高い被写体とコントラストが低い被写体とでは、検出可能なデフォーカス量が異なってくることが考えられるためである。その場合、被写体によっては、第２の表示形態で表示できる状態が異なってくるため、ユーザーに違和感を抱かせてしまう。そのため、第２の所定範囲を設定することにより、被写体によらず、概ねデフォーカス量が得られる量を設定する。例えば、本実施形態ではデフォーカス量を２ｍｍと設定する。ただし、設定の仕方はこれに限られるものではなく、ピントずれ量を求める際のシフト量によっても異なる。シフト量が、２ｍｍを超えるデフォーカス量を検出できない場合には設定する必要がなく、その場合は第２の所定範囲は限りなく大きくてもよい。
【０１１５】
または、フォーカスアシスト表示の操作性から決めてもよい。第２の表示形態において、移動する表示パーツは、どのくらい合焦状態からズレているかを示すものである。そのため、上部で固定される表示パーツからかけ離れているところまで表示してしまうと、どのくらい合焦位置まで離れているかがユーザーにわかりにくくなる。また、表示方法によっては、画面上のフォーカスアシスト表示の大きさも大きくなり、画面が見づらくなってしまうため、これらの事項を考慮して決定してもよい。
【０１１６】
Ｓ３０８では、信頼度が第２の閾値Ｔｈ＿Ｂより高いか否かを判別する。第２の閾値Ｔｈ＿Ｂは、第１の閾値Ｔｈ＿Ａよりも小さい値である。信頼度が第２の閾値Ｔｈ＿Ｂより高い場合には（Ｓ３０８でＹｅｓ）、Ｓ３０９へ進み、デフォーカス方向からフォーカスアシスト表示の指標の向きを算出し、Ｓ３１０でフォーカスアシスト表示を図８（ｃ）に示す第３の表示形態に設定する。
【０１１７】
このように、信頼度が第１の閾値Ｔｈ＿Ａ以下（閾値以下）で、第２の閾値Ｔｈ＿Ｂより高い（中程度の）場合、合焦位置が存在するであろう方向を示すデフォーカス方向が確かであると判定する。なお、デフォーカス量の信頼度が第１の閾値Ｔｈ＿Ａ以下で、第２の閾値Ｔｈ＿Ｂより高い場合とは、次のような状態である。即ち、焦点検出処理部４５で算出される二像の一致度レベルが所定値よりも低いものの、Ａ像信号、Ｂ像信号を相対的にシフトさせて得られる相関量に一定の傾向があって、デフォーカス方向は信頼できる状態である。たとえば、主被写体に対して小ボケしている状態に多い判定である。
【０１１８】
一方、信頼度が第２の閾値Ｔｈ＿Ｂ以下の場合には（Ｓ３０８でＮｏ）、デフォーカス量及びデフォーカス方向共に信頼できないと判定する。そして、フォーカスアシスト表示を図８（ｄ）に示す第４の表示形態に設定する（Ｓ３１１）。信頼度が第２の閾値Ｔｈ＿Ｂ以下の場合とは、例えば、Ａ像信号、Ｂ像信号のコントラストが低く、二像の一致度レベルも低い状態である。これは、被写体に対して大きくボケている状態のときに多く、デフォーカス量の算出が困難な状態である。
【０１１９】
Ｓ３１２では、上記処理により設定された第１から第４の表示形態のいずれかに基づいて、フォーカスアシスト表示の色情報、指標の向き、位置等のフォーカスアシスト表示に必要なパラメータを設定し、背面モニタ４３に表示する。
【０１２０】
Ｓ３１３では、Ｓ３１２で設定されたフォーカスアシスト表示パラメータを、フォーカスアシスト表示制御部４８内の記憶領域に記憶させる。ここで記憶されたパラメータは、後述するＳ３１５において、前回までのピントの状態をユーザーに表示し続けるために使用される。なお、フォーカスアシスト表示パラメータは、Ｓ３１２において最新のパラメータ設定が行われるたびに更新されていき、フォーカスアシスト表示パラメータが明らかに過去のものから変化したと考えられる場合には、リセットされる。具体的なリセット条件は、カメラの電源がＯＦＦされたり、フォーカスアシストモードを一度抜けたり、交換レンズ１を別のレンズへと交換したり、焦点検出領域の座標位置が大きく移動した場合などである。
【０１２１】
Ｓ３１４では、過去にフォーカスアシスト表示パラメータが記憶されているか否かを判断する。過去にＳ３１３のステップを通り、リセットされることなくフォーカスアシスト表示パラメータが記憶されているのであれば（Ｓ３１４でＹｅｓ）、Ｓ３１５へ進み、記憶されているフォーカスアシスト表示パラメータを設定し、背面モニタ４３に表示する。一方、過去に焦点検出できずにフォーカスアシスト表示パラメータの設定がされていなかったり、何らかのパラメータのリセット条件に入り、パラメータ情報が残っていない場合には（Ｓ３１４でＮｏ）、Ｓ３１１に進む。そして、フォーカスアシスト表示を図８（ｄ）に示す第４の表示形態に設定する。以上でフォーカスアシスト表示制御のフローは完了し、メインフローに戻る。
【０１２２】
（第２の実施形態）
以下、本発明の第２の実施形態におけるフォーカスアシスト表示制御について説明する。なお、第１の実施形態と同じ構成については同じ符号を付して説明を省略する。本実施形態のメインのフローチャートは、第１の実施形態と同じ図９である。
【０１２３】
第１の実施形態では、レンズ速度が閾値ＴＨ＿Ｌｓ１あるいは閾値ＴＨ＿Ｌｓ２以下の時、補助光を発光させて焦点検出処理を行うことで、フォーカスアシスト表示を行う。レンズ速度が閾値より大きい場合には、補助光を発光させず、レンズ速度が閾値以下になるまで、フォーカスアシスト表示は更新されない。この場合、ユーザーが常に閾値より大きい速度でレンズを操作し続けている場合に、表示されているフォーカスアシストの情報が古いことに気づかないまま、さらにレンズ操作を続けてしまう危険がある。そこで、本実施形態では、フォーカスアシスト非更新時の表示形態をさらに設けることにより、適切なタイミングで補助光が投光できるような次回発光タイミングを示すフォーカスアシスト表示を実現する。
【０１２４】
［フォーカスアシスト機能の表示形態］
図１６は、第２の実施形態におけるフォーカスアシスト表示の一例を示す図である。なお、第１〜第４の表示形態については、第１の実施形態の図８（ａ）〜（ｄ）と同様である。本実施形態では、フォーカスアシストが更新されなかった場合（更新フラグが０の時）に、さらに更新推奨ゲージ（３３０ａ〜３３０ｄ）を経時的に変化させながら表示させる。更新推奨ゲージとは、ユーザーに適切なタイミングでレンズ速度を低下させて、フォーカスアシスト表示を更新するように促すことを目的としたゲージである。
【０１２５】
図１６（ａ）は、第１のゲージの一例で、焦点検出処理結果が更新されなくなったときに最初に表示されるゲージである。ゲージ３３０ａは表示更新推奨のタイミングを長さと色で表している。第１のゲージの状態はまだ表示更新推奨のタイミングに対して余裕があるため、ゲージは長く表示されている。
【０１２６】
図１６（ｂ）は、第２のゲージの一例で、焦点検出処理結果が更新されなくなってから第１のゲージの次に表示されるゲージである。ゲージ３３０ｂはゲージ３３０ａより短く表示される。
【０１２７】
図１６（ｃ）は、第３のゲージの一例で、焦点検出処理結果が更新されなくなってから第２のゲージの次に表示されるゲージである。ゲージ３３０ｃはゲージ３３０ｂよりさらに短く表示され、表示更新推奨のタイミングが近づいていることを表している。
【０１２８】
図１６（ｄ）は、第４のゲージの一例で、焦点検出処理結果が更新されなくなってから第３のゲージの次に表示されるゲージである。第４のゲージが表示されるときは、表示更新推奨のタイミングであること（あるいは表示更新推奨のタイミングを超えた状態であること）を表す。ゲージ３３０ｄは最も短く表示され、さらにフォーカスアシストの表示形態も第４の表示形態に変更される。なお、本実施形態でのゲージ３３０ａからゲージ３３０ｄへの表示の変化はリニアに変化していくものとする。
【０１２９】
なお、図１６に示すフォーカスアシスト表示は一例であり、本発明はこの表示に限定されるものではない。また、表示するものはゲージでなくてもよく、たとえば文字や音でユーザーへ表示更新推奨のタイミングを示してもよい。
【０１３０】
［フォーカスアシスト表示制御］
図１７は、第１の実施形態における図１５のフォーカスアシスト表示制御のフローチャートをベースとした、第２の実施形態のフォーカスアシスト表示制御の処理を示すフローチャートである。ここでは、第１の実施形態と異なる部分について説明する。
【０１３１】
Ｓ３０１において、更新フラグが１でないと判断された場合、Ｓ３１４へ進み、過去のフォーカスアシスト表示パラメータがあるか否かを判断する。ここで、過去のフォーカスアシスト表示パラメータがあれば（Ｓ３１４でＹｅｓ）、Ｓ３１５で記憶されているフォーカスアシスト表示パラメータを設定して、背面モニタ４３に表示し、Ｓ３１６へ進む。
【０１３２】
Ｓ３１６では、タイマーＴがスタートしているか否かを判断する。タイマーＴとは、フォーカスアシスト表示制御部４８内に備えられており、更新フラグ１でないと判断されてからの経過時間を計るために用いられる。タイマーＴがスタートしていない場合は（Ｓ３１６でＮｏ）、Ｓ３１７へ進み、タイマーＴをスタートさせる。すでにタイマーＴがスタートしている場合は（Ｓ３１６でＹｅｓ）、Ｓ３１８へ進む。
【０１３３】
Ｓ３１８では、タイマーＴが閾値Ｔｈ＿Ｔ１より大きいか否かを判断する。タイマーＴが閾値Ｔｈ＿Ｔ１以下である場合（Ｓ３１８でＮｏ）、Ｓ３１９へ進み、図１６（ａ）に示した第１のゲージを表示させる。タイマーＴが閾値Ｔｈ＿Ｔ１より大きい場合（Ｓ３１８でＹｅｓ）、Ｓ３２０へ進む。
【０１３４】
Ｓ３２０では、タイマーＴが閾値Ｔｈ＿Ｔ２より大きいか否かを判断する。タイマーＴが閾値Ｔｈ＿Ｔ２以下である場合（Ｓ３２０でＮｏ）、Ｓ３２１へ進み、図１６（ｂ）に示した第２のゲージを表示させる。タイマーＴが閾値Ｔｈ＿Ｔ２より大きい場合（Ｓ３２０でＹｅｓ）、Ｓ３２２へ進む。
【０１３５】
Ｓ３２２では、タイマーＴが閾値Ｔｈ＿Ｔ３より大きい否かを判断する。タイマーＴが閾値Ｔｈ＿Ｔ３以下である場合（Ｓ３２２でＮｏ）、Ｓ３２３へ進み、図１６（ｃ）に示した第３のゲージを表示させる。タイマーＴが閾値Ｔｈ＿Ｔ３より大きい場合（Ｓ３２２でＹｅｓ）、Ｓ３２４へ進み、フォーカスアシストの表示形態を第４の表示形態に設定し、図１６（ｄ）に示した第４のゲージを表示する（Ｓ３２５）。
【０１３６】
なお、メイン処理のフローチャートで再び更新フラグが１になった場合、Ｓ３０１からＳ３２６へ進み、更新推奨ゲージの表示をＯＦＦする。その後、Ｓ３２７において、タイマーＴをＯＦＦさせるとともに、タイマーＴをリセットさせる。その後は、第１の実施形態と同様にフォーカスアシスト表示制御を行う。以上で、第２の実施形態のフォーカスアシスト表示制御フローは完了し、メインフローに戻る。
【０１３７】
なお、本実施形態では、タイマーＴを用いて時間に応じて更新推奨ゲージを制御したが、たとえばフォーカスレンズ１０ａの移動量によって制御してもよい。具体的には、更新フラグが１でないと判断された場合のフォーカスレンズ１０ａの位置（ＦＰＣ１）をフォーカスアシスト表示制御部４８内で記憶しておく。その後、更新フラグが１でないと判断されてから、現在までのフォーカスレンズ１０ａの位置（ＦＰＣ２）を検出し、ＦＰＣ１とＦＰＣ２の差分から、ゲージを変化させるように制御してもよい。
【０１３８】
また、フォーカスレンズ１０ａの移動量をデフォーカス量相当に換算し、デフォーカス量の変化量として制御してもよい。その際、レンズの焦点距離やＦ値によってゲージの変化量が変わることも考えられる。
【０１３９】
（第３の実施形態）
以下、本発明の第３の実施形態におけるフォーカスアシスト表示制御について説明する。なお、第１の実施形態および第２の実施形態と同じ構成については同じ符号を付して説明を省略する。本実施形態のメインのフローチャートは、第１の実施形態と同じ図９である。
【０１４０】
第１の実施形態では、フォーカスアシスト表示制御フロー（図１５）のＳ３０２およびＳ３０４において信頼度判定を行っているが、信頼度をフォーカスアシストの指標に表現させることはしていない。そこで、本実施形態では、フォーカスアシストの指標に信頼度判定結果も表現させることで、現状の信頼度の状態が確認できるフォーカスアシスト表示を実現する。
【０１４１】
［フォーカスアシスト機能の表示形態］
図１８は、第３の実施形態におけるフォーカスアシスト表示の一例を示す図である。なお、第１〜第４の表示形態については、第１の実施形態の図８（ａ）〜図８（ｄ）と同様である。本実施形態では、さらに図１８（ａ）〜図１８（ｃ）に示す第５〜第７の表示形態を備える。
【０１４２】
図１８（ａ）は、第５の表示形態の一例で、信頼度が所定の範囲内である状態で被写体に合焦していると判定された状態を示す。この状態では、内向きの台形型の表示パーツ３７１と、外向きの台形型の表示パーツ３７２の位置が一致（ここでは上部で停止）している。このときの台形型のパーツの短辺の長さは、信頼度の値によって変動する。信頼度が所定の範囲以上であれば、図８（ａ）に示す第１の表示形態となる。
【０１４３】
図１８（ｂ）は、第６の表示形態の一例で、被写体に合焦していないが、焦点検出結果の信頼度が所定の範囲内であるとき、合焦位置までの方向とデフォーカス量の大きさを示す状態である。
【０１４４】
例えば、被写体よりも無限遠側にピントが合っている（後ピン）場合は、内向きの台形型の表示パーツ３７３が上部に停止した状態で、外向きの台形型の表示パーツ３７４と３７５が円周上に沿って左右対称に移動する。表示パーツ３７４と表示パーツ３７５の位置はデフォーカス量の大きさを示し、両者が表示パーツ３７３の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３７３は表示パーツ３７１に対応し、表示パーツ３７４と３７５が重なった状態が表示パーツ３７２に対応する。
【０１４５】
一方、被写体よりも至近側にピントが合っている（前ピン）場合は、外向きの台形型の表示パーツ３７６が上部に停止した状態で、内向きの台形型の表示パーツ３７７と３７８が円周上に沿って左右対称に移動する。表示パーツ３７７と表示パーツ３７８の位置はデフォーカス量の大きさを示し、両者が表示パーツ３７６の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３７６は表示パーツ３７２に対応し、表示パーツ３７７と３７８が重なった状態が表示パーツ３７１に対応する。また、第５の表示形態と同様に、台形型の短辺の長さは、信頼度の値によって変動する。信頼度が所定の範囲以上であれば、図８（ｂ）に示す第２の表示形態となる。
【０１４６】
図１８（ｃ）は、第７の表示形態の一例で、合焦位置から所定の範囲内である場合に、合焦相当の状態であることを示す。ただし、厳密には合焦まで到達していない状態なので、表示パーツ３８０〜３８１、３８３〜３８４は合焦位置までの方向とデフォーカス量の大きさを示すように配置される。デフォーカス量の方向や大きさの表現については、第６の表示形態と同様である。ここでは合焦相当の状態であり、第６の表示形態とは異なるということを表現するために、表示パーツ３７９〜３８４の色を変化させている（たとえば、合焦表示と同じ緑に変化させる）。
【０１４７】
［フォーカスアシスト表示制御］
図１９は、第１の実施形態における図１５のフォーカスアシスト表示制御のフローチャートをベースとした、第３の実施形態のフォーカスアシスト表示制御のフローチャートである。ここでは、第１の実施形態と異なる部分について説明する。
【０１４８】
Ｓ３０１では、更新フラグが１であると判断された場合、Ｓ３０２へ進み、そうでなければＳ３１４へ進む。
【０１４９】
Ｓ３０２では、デフォーカス量が第１の所定範囲内、且つ、信頼度が予め決められた第１の閾値Ｔｈ＿Ａよりも高いか否かを判別する。デフォーカス量が第１の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａよりも高い場合には（Ｓ３０２でＹｅｓ）、Ｓ３５１へ進む。そうでなければ（Ｓ３０２でＮｏ）、Ｓ３０４へ進む。
【０１５０】
Ｓ３５１では、信頼度が第３の閾値Ｔｈ＿ＡＡよりも高いか否かを判別する。閾値Ｔｈ＿ＡＡは、第１の閾値Ｔｈ＿Ａよりもさらに高い信頼性の閾値を表しており、焦点検出結果のばらつき幅も最小限である。すなわち、フォーカスアシスト表示上の表示パーツがばらつきによってちらつくことがほとんどないため、ユーザーにとってもフォーカスガイドによるピント合わせが容易である。閾値Ｔｈ＿ＡＡ以上であれば（Ｓ３５１でＹｅｓ）、Ｓ３０３へ進み、フォーカスアシスト表示を図８（ａ）に示す第１の表示形態に設定する。そうでなければ（Ｓ３５１でＮｏ）、Ｓ３５２へ進む。
【０１５１】
Ｓ３５２では、フォーカスアシスト表示における信頼度の幅を算出する。信頼度の幅とは、第５および第６の表示形態における台形型の表示パーツの短辺の長さを決めるもので、信頼度に反比例する。つまり、信頼度が高ければ短く、信頼度が低ければ長く設定される。信頼度の値から信頼度幅を算出したら、Ｓ３５３へ進み、フォーカスアシスト表示を図１８（ａ）に示す第５の表示形態に設定する。この時、第５の表示形態の台形型の表示パーツの短辺の長さは、Ｓ３５２で算出した長さとなる。
【０１５２】
Ｓ３０４では、デフォーカス量が第２の所定範囲内、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高いか否かを判別する。デフォーカス量が第２の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高い場合には（Ｓ３０４でＹｅｓ）、Ｓ３５４へ進む。
【０１５３】
Ｓ３５４では、信頼度が第３の閾値Ｔｈ＿ＡＡよりも高いか否かを判別する。閾値Ｔｈ＿ＡＡ以上であれば（Ｓ３５４でＹｅｓ）、Ｓ３０５へ進み、フォーカスアシスト表示で、合焦までの方向や量を示す指標を設定するために、デフォーカス方向から指標の向きを算出する。そして、Ｓ３０６へ進み、フォーカスアシスト表示制御部４８において、検出したデフォーカス量を角度に変換する。ここで表示位置が算出される表示パーツは、図８（ｂ）で説明した第２の表示形態において移動する表示パーツである。そして、Ｓ３０７へ進み、フォーカスアシスト表示を図８（ｂ）に示す第２の表示形態に設定する。そうでなければ（Ｓ３５４でＮｏ）、Ｓ３５５へ進む。
【０１５４】
Ｓ３５５では、Ｓ３５２と同様に、フォーカスアシスト表示における信頼度の幅を算出する。信頼度の値から信頼度幅を算出したら、Ｓ３５６へ進み、フォーカスアシスト表示で、合焦までの方向や量を示す指標を設定するために、デフォーカス方向から指標の向きを算出する。そして、Ｓ３５７へ進み、フォーカスアシスト表示制御部４８において、検出したデフォーカス量を角度に変換し、Ｓ３５８へ進む。
【０１５５】
Ｓ３５８では、デフォーカス量が第３の所定範囲外であるか否かを判断する。第３の所定範囲とは、第１の所定範囲より広く、第２の所定範囲より狭い。本実施形態における第３の所定範囲は、第１の所定範囲に、検出されたデフォーカスのばらつきの幅を足した範囲とするが、本発明はこの値に限定されるものではない。
【０１５６】
検出結果のばらつきが大きい状態であると、ユーザーがマニュアルフォーカス操作でジャストピント位置を狙うのは困難である。仮にジャストピント位置に到達したとしても、デフォーカス量が第１の所定範囲前後でばらついてしまった場合、第５の表示形態と第６の表示形態の間でちらついてしまう。そこで、第１の所定範囲内から少し緩和された第３の所定範囲を設定し、合焦相当の表示形態にすることで、ちらつきが最小限に抑えられ、ユーザーもストレスなく、ある程度の合焦範囲内までピントを追い込むことが可能である。
【０１５７】
デフォーカス量が第３の所定範囲外である場合は（Ｓ３５８でＹｅｓ）、Ｓ３５９へ進み、フォーカスアシスト表示を図１８（ｂ）に示す第６の表示形態に設定する。そうでなければ（Ｓ３５８でＮｏ）、Ｓ３６０へ進み、フォーカスアシスト表示を図１８（ｃ）に示す第７の表示形態に設定する。その後は、第１の実施形態と同様にフォーカスアシスト表示制御を行う。以上で、第３の実施形態のフォーカスアシスト表示制御のフローは完了し、メインフローに戻る。
【０１５８】
なお、本実施形態では第５〜第７の表示形態において台形型の指標の短辺の長さを変えることで信頼度を表現していたが、別の表現（たとえば、形状、色、大きさなど）で表現してもよい。
【０１５９】
（第４の実施形態）
以下、本発明の第４の実施形態におけるフォーカスアシスト表示制御について説明する。なお、第１の実施形態から第３の実施形態と同じ構成については同じ符号を付して説明を省略する。
【０１６０】
第１の実施形態では、信頼度が低い状態でフォーカスアシスト表示させた場合、焦点検出処理結果のばらつきが発生するため、フォーカスアシスト表示上の表示パーツがちらついてしまい、ユーザーはピント合わせが難しくなってしまう。しかし、表示の安定性を重視しすぎた制御にしてしまうと、ユーザーがレンズを動かした時の表示パーツの応答性を損なう。そこで、本実施形態では、レンズ操作時の表示応答性を損なわせずに安定性を考慮したフォーカスアシスト表示を実現する。
【０１６１】
図２０は、本実施形態におけるメイン処理のフローチャートである。
【０１６２】
Ｓ４０１では、焦点検出処理を行う。Ｓ４０２では、レンズの速度を算出する。Ｓ４０３では、Ｓ４０１の処理での信頼度が所定閾値Ｔｈ＿Ｃより大きいか否かを判断する。閾値Ｔｈ＿Ｃは、焦点検出処理結果のばらつきの許容範囲を表し、Ｔｈ＿Ｃ以下の信頼度の場合には（Ｓ４０３でＮｏ）、フォーカスアシスト表示の安定性を高めるように制御することが望ましいため、Ｓ４０４へ進む。信頼度がＴｈ＿Ｃより大きい場合は（Ｓ４０３でＹｅｓ）、ばらつきの許容範囲内であるため、Ｓ４０６へ進み、フォーカスアシスト表示制御のフローに入る。
【０１６３】
Ｓ４０４では、Ｓ４０２で算出したレンズ速度が所定閾値ＴＨ＿Ｌｓ４より遅いか否かを判断している。第４の実施形態における所定閾値ＴＨ＿Ｌｓ４とは、ユーザーがレンズを操作させたときに、後述する平均処理を行った際の応答性の遅れに違和感を持ってしまう限界のレンズ駆動速度である。レンズ速度が閾値ＴＨ＿Ｌｓ４より遅い場合（Ｓ４０４でＹｅｓ）、Ｓ４０５へ進み、複数回の焦点検出結果を平均処理する。レンズ速度が閾値ＴＨ＿Ｌｓ４以上（閾値以上）の場合（Ｓ４０４でＮｏ）、平均化処理を行わず、あるいは平均化処理を所定回数以下にして、Ｓ４０６へ進み、フォーカスアシスト制御のフローに入る。このように、レンズ駆動速度に応じて検出結果の平均処理を変えることで、指標の安定性と応答性を両立させることが可能になる。
【０１６４】
Ｓ４０５では、焦点検出結果の平均処理回数を５回として処理する。焦点検出結果の平均処理では、Ｓ４０１で取得した焦点検出処理から算出されたデフォーカス量、信頼度などを所定回数で平均化することで、フォーカスアシスト表示に用いる際のデフォーカス量のばらつきを抑えている。これにより、フォーカスアシスト表示上でのちらつきが抑えられるため、ピント合わせが容易になる。なお、平均化は移動平均で行われる。
【０１６５】
Ｓ４０５では平均回数が５回なので、過去５回分の焦点検出結果を平均化し、フォーカスアシスト表示に用いる。処理が完了したら、Ｓ４０６へ進む。
【０１６６】
Ｓ４０６では、第１の実施形態のＳ３０２と同様に、デフォーカス量が第１の所定範囲内、且つ、信頼度が予め決められた第１の閾値Ｔｈ＿Ａよりも高いか否かを判別する。デフォーカス量が第１の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａよりも高い場合には（Ｓ４０６でＹｅｓ）、Ｓ４０７へ進み、フォーカスアシスト表示を、図８（ａ）に示す第１の表示形態に設定する。一方、デフォーカス量が第１の所定範囲外、もしくは信頼度が第１の閾値Ｔｈ＿Ａ以下の場合には（Ｓ４０６でＮｏ）、Ｓ４０８へ進む。
【０１６７】
Ｓ４０８では、第１の実施形態のＳ３０４と同様に、デフォーカス量が第２の所定範囲内、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高いか否かを判別する。デフォーカス量が第２の所定範囲内であり、且つ、信頼度が第１の閾値Ｔｈ＿Ａより高い場合には（Ｓ４０８でＹｅｓ）、Ｓ４０９へ進み、フォーカスアシスト表示で、合焦までの方向や量を示す指標を設定するために、デフォーカス方向から指標の向きを算出する。そして、Ｓ４１０へ進み、デフォーカス量から表示パーツを表示する位置を算出する。そして、Ｓ４１１へ進み、フォーカスアシスト表示を図８（ｂ）に示す第２の表示形態に設定する。一方、デフォーカス量が第２の所定範囲外、もしくは信頼度が第１の閾値Ｔｈ＿Ａ以下の場合には（Ｓ４０８でＮｏ）、Ｓ４１２へ進む。
【０１６８】
Ｓ４１２では、第１の実施形態のＳ３０８と同様に、信頼度が第２の閾値Ｔｈ＿Ｂより大きいか否かを判別する。信頼度が第２の閾値Ｔｈ＿Ｂより大きい場合には（Ｓ４１２でＹｅｓ）、Ｓ４１３へ進み、デフォーカス方向からフォーカスアシスト表示の指標の向きを算出し、Ｓ４１４でフォーカスアシスト表示を図８（ｃ）に示す第３の表示形態に設定する。一方、信頼度が第２の閾値Ｔｈ＿Ｂ以下の場合には（Ｓ４１２でＮｏ）、デフォーカス量、及びデフォーカス方向も信頼できないと判定する。そして、フォーカスアシスト表示を図８（ｄ）に示す第４の表示形態に設定する（Ｓ４１５）。
【０１６９】
Ｓ４１６では、第１の実施形態のＳ３１２と同様に、上記処理により設定された第１から第４の表示形態のいずれかに基づいて、フォーカスアシスト表示の色情報、及び指標の向き、位置等のフォーカスアシスト表示に必要なパラメータを設定し、背面モニタ４３に表示する。以上でメインフローは終了する。
【０１７０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１７１】
以上説明した実施形態によれば、上記で説明した効果の他に以下のような効果も得られる。
【０１７２】
適切なＡＦ補助光発光制御をさせることで、低輝度下でのＭＦ操作時においてもピント合わせが可能になる。
【０１７３】
また、ＡＦ補助光発光制御時の非発光時の表示形態を変えることで、ＭＦ操作時のＡＦ補助光発光が適切に行われるようにユーザーに分かりやすく表示することができる。
また、検出結果の信頼性に応じて、ＭＦ操作時の表示形態を変えることで、信頼度の低い被写体に対する指標の細かいちらつきを抑え、信頼性の状態をユーザーに直感的に表示できるようになる。
【０１７４】
また、レンズ駆動速度に応じて検出結果の平均回数を変えることで、指標の安定性と応答性を両立させることが可能になる。
【０１７５】
（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【符号の説明】
【０１７６】
１：交換レンズ、２：カメラ、５：フラッシュ装置、１０ａ：フォーカスレンズ、１６：フォーカスレンズ操作部、２４：撮像素子、４１：デジタル処理部、４３：背面モニタ、４４：像信号生成部、４５：焦点検出処理部、４６：レンズ速度算出部、４７：補助光発光制御部、４８：フォーカスアシスト表示制御部
【図１】
2020012891.tif 000004
【図２】
2020012891.tif 000005
【図３】
2020012891.tif 000006
【図４】
2020012891.tif 000007
【図５】
2020012891.tif 000008
【図６】
2020012891.tif 000009
【図７】
2020012891.tif 000010
【図８】
2020012891.tif 000011
【図９】
2020012891.tif 000012
【図１０】
2020012891.tif 000013
【図１１】
2020012891.tif 000014
【図１２】
2020012891.tif 000015
【図１３】
2020012891.tif 000016
【図１４】
2020012891.tif 000017
【図１５】
2020012891.tif 000018
【図１６】
2020012891.tif 000019
【図１７】
2020012891.tif 000020
【図１８】
2020012891.tif 000021
【図１９】
2020012891.tif 000022
【図２０】
2020012891.tif 000023