(57)【要約】【課題】手動焦点調節時に安定したフォーカスアシスト機能を実現しつつ、撮影者の違和感や不快感を軽減可能な表示制御装置および撮像装置を提供すること。【解決手段】撮像手段から取得された像信号に基づいて、焦点状態を検出する焦点検出手段と、撮像手段から出力される映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を検出する主被写体検出手段と、手動操作による焦点調節が行われる際に、主被写体検出手段によって検出された主被写体に対して、焦点検出手段により検出された焦点状態を表す指標を表示手段に表示する表示制御手段と、を有し、表示制御手段は、手動操作による焦点調節が行われる際に主被写体の切り替えを制御する。【選択図】図１０
2018197806.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から取得された像信号に基づいて、焦点状態を検出する焦点検出手段と、
前記撮像手段から出力される映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を検出する主被写体検出手段と、
手動操作による焦点調節が行われる際に、前記主被写体検出手段によって検出された前記主被写体に対して、前記焦点検出手段により検出された焦点状態を表す指標を表示手段に表示する表示制御手段と、を有し、
前記表示制御手段は、前記手動操作による焦点調節が行われる際に前記主被写体の切り替えを制御することを特徴とする表示制御装置。
【請求項２】
前記表示制御手段は、前記手動操作による焦点調節が開始された際に、前記主被写体検出手段が前記主被写体を検出している場合、前記主被写体の切り替えを禁止することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記表示制御手段は、前記手動操作による焦点調節の終了後、前記主被写体検出手段が前記主被写体を検出している間、前記主被写体の切り替えを禁止することを特徴とする請求項１または２に記載の表示制御装置。
【請求項４】
前記表示制御手段は、前記手動操作による焦点調節の終了後、前記主被写体検出手段が前記主被写体を検出しなくなった後、所定時間経過後に前記主被写体の切り替えを許容することを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
【請求項５】
前記表示制御手段は、前記手動操作による焦点調節が開始された際に、前記主被写体検出手段が前記主被写体を検出していない場合、前記手動操作が終了するまで、前記焦点状態を表す指標を前記表示手段に表示しないことを特徴とする請求項１から４のいずれか１項に記載の表示制御装置。
【請求項６】
特定の被写体を前記撮影画面内において認識する特定被写体認識手段を更に有し、
前記主被写体検出手段は、前記特定被写体認識手段により認識した被写体を現在の主被写体として検出し、
前記特定被写体認識手段は、前記手動操作による焦点調節が開始された際に、前記現在の主被写体を特定の被写体として登録することを特徴とする請求項１から５のいずれか１項に記載の表示制御装置。
【請求項７】
前記特定被写体認識手段は、前記手動操作による焦点調節の終了後、前記主被写体検出手段が前記現在の主被写体を検出している場合、前記現在の主被写体に対する登録の解除を禁止することを特徴とする請求項６に記載の表示制御装置。
【請求項８】
前記特定被写体認識手段は、前記手動操作による焦点調節の終了後、前記主被写体検出手段が前記現在の主被写体を検出しなくなった後、所定時間経過後に前記現在の主被写体に対する登録を解除することを特徴とする請求項６または７に記載の表示制御装置。
【請求項９】
前記特定被写体認識手段は、前記手動操作による焦点調節が開始された際に、前記主被写体検出手段が主被写体を検出していない場合、前記手動操作が終了するまで、特定の被写体として登録することを禁止することを特徴とする請求項６から８のいずれか１項に記載の表示制御装置。
【請求項１０】
前記指標は、前記焦点検出手段による、前記主被写体に対応する前記像信号を用いた前記焦点状態の検出結果に基づくことを特徴とする請求項１から９のいずれか１項に記載の表示制御装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の表示制御装置と、
１つのマイクロレンズに対して複数の光電変換部を備えた画素を複数有し、撮像光学系を介して入射する光束を前記複数の光電変換部で受光して一対の像信号を出力する撮像手段と、を有し、
前記焦点検出手段は、前記一対の像信号に基づいて、位相差方式の焦点検出を行って前記焦点状態を検出することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点状態を検出する構成と焦点状態の表示を制御する構成とを備える表示制御装置および撮像装置に関する。
【背景技術】
【０００２】
近年のフルハイビジョンや４Ｋなどに対応した高精細ビデオカメラ等の焦点調節装置は従来以上に解像力が高く、撮影者がマニュアルによるフォーカス操作（ＭＦ操作）で厳密に被写体にピントを合わせることは容易ではない。特に、カメラに搭載されたビューファインダーや表示パネル等で確認しながらフォーカス操作を行う場合、ビューファインダーや表示パネル等では確認できない程度のピントのずれが生じる場合があり、意図した焦点状態となっているかどうかを判断することが難しい。
【０００３】
近年、ＭＦ操作のアシストを行うフォーカスアシスト方法が提案されている。特許文献１では、ＭＦ操作時に合焦評価値を算出して合焦度合いをバー表示する方法が開示されている。特許文献２では、撮像装置におけるフォーカスアシスト方法として、フォーカスレンズの移動に伴う焦点状態の変化を表す複数の表示方法が開示されている。特許文献３では、焦点状態を検出する方法として、背面モニターなどに撮影画像を表示しながら撮影するライブビューモードが考慮された、撮像面位相差検出方式の撮像装置が開示されている。
【０００４】
また、人物の撮影時に複数の人物被写体が存在する場合、顔検出機能を用いて自動的に認識された顔の画面上の位置や大きさ等から主となる顔（主顔）を判定する機能を備えるカメラが提案されている。このカメラは、主顔に対して焦点検出領域を設定し、焦点検出処理を実行する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４８６１５号公報
【特許文献２】特開２００５−１４０９４３号公報
【特許文献３】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の人物被写体が存在する場合に、顔検出機能を用いて、複数の顔の中から主顔を自動的に判定する機能を備えたカメラが、主顔を対象として、主顔に対してフォーカスアシスト機能および表示を制御する場合、以下のような問題がある。
【０００７】
撮影者が主人物被写体を撮影する場合、主人物被写体は画面上の中央に配置されることが多い。また、主人物被写体はカメラに対して他の被写体よりも近い距離に存在することが多いため、主人物被写体のサイズは被写体の中で最も大きくなることが多くなる。したがって、カメラが画面上の中央位置に近く、サイズが大きい顔を主顔として判定することは、撮影者の意図に沿っており、撮影者に違和感を与えない。
【０００８】
しかしながら、例えば、人混みが多い状況で動画撮影をしている際に、カメラの現在の画面内に現在の主顔よりも画面中央位置に近く、サイズが大きい別の顔が入ってきてしまう場合がある。撮影者がフォーカスアシスト機能を活用して、現在の主顔に対してＭＦ操作を行い、ピントを合わせている際にカメラが自動的に主顔を別の顔に切り替えてしまうと、フォーカスアシスト表示を行う対象が別の顔となってしまう。その結果、撮影者が狙った被写体に対して手動によるピント合わせの実現を損なってしまう。
【０００９】
また、人物が多く存在する撮影状況では、画面内に入ってくる顔が多くなり、主顔の切り替わりが頻繁に発生してしまう場合がある。さらに、主顔の前を別の顔が横切ったりすると、主顔が切り替わってしまう場合もある。フォーカスアシスト表示を用いて、主顔にＭＦ操作によるピントを合わせを行っている途中で、主顔が切り替わってしまうと、撮影者に違和感や不快感を与えてしまう。
【００１０】
本発明は、手動焦点調節時に安定したフォーカスアシスト機能を実現しつつ、撮影者の違和感や不快感を軽減可能な表示制御装置および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面としての表示制御装置は、撮像手段から取得された像信号に基づいて、焦点状態を検出する焦点検出手段と、前記撮像手段から出力される映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を検出する主被写体検出手段と、手動操作による焦点調節が行われる際に、前記主被写体検出手段によって検出された前記主被写体に対して、前記焦点検出手段により検出された焦点状態を表す指標を表示手段に表示する表示制御手段と、を有し、前記表示制御手段は、前記手動操作による焦点調節が行われる際に前記主被写体の切り替えを制御することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、手動焦点調節時に安定したフォーカスアシスト機能を実現しつつ、撮影者の違和感や不快感を軽減可能な表示制御装置および撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における撮像システムの概略構成を示すブロック図である。
【図２】撮像素子の画素配列の概略図である。
【図３】第１の実施形態のフォーカスアシスト表示の一例を示す図である。
【図４】第１の実施形態のフォーカスアシスト表示制御方法を示すフローチャートである。
【図５】第１の実施形態の焦点検出処理を示すフローチャートである。
【図６】第１の実施形態の焦点検出領域および焦点検出領域から得られる像信号の一例を示す図である。
【図７】第１の実施形態の相関演算方法の説明図である。
【図８】第１の実施形態の相関演算方法の説明図である。
【図９】第１の実施形態のデフォーカス量とフォーカスアシスト表示の表示パーツの位置との関係図である。
【図１０】第１の実施形態の顔情報取得処理を示すフローチャートである。
【図１１】第１の実施形態の主顔判定処理を示すフローチャートである。
【図１２】第１の実施形態の顔相関判定処理を示すフローチャートである。
【図１３】第１の実施形態の顔情報取得処理の変形例を示すフローチャートである。
【図１４】第２の実施形態の顔情報取得処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
［撮像システムの構成］
図１は、本発明の実施形態に係るフォーカスアシスト機能を備える撮像システム１の概略構成を示すブロック図である。撮像システム１は、レンズユニット１０およびカメラ本体２０を有する。本実施形態では、レンズユニット１０は、カメラ本体２０に着脱可能に取り付けられる構成であるが、カメラ本体２０と一体的に構成されていてもよい。
【００１５】
まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、絞り１０２、フォーカスレンズ１０３、およびズームレンズ（不図示）等により構成される撮像光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節に用いられる。ズームレンズは、ズームレンズ駆動部（不図示）によって駆動され、ズームの調節に用いられる。なお、本実施形態では、レンズユニット１０は、ズームレンズおよびズームレンズ駆動部を有しているが、これらの部材は本発明において必須の構成ではないため、必ずしもこれらの部材を有する必要はない。
【００１６】
レンズ制御部１０６は、レンズユニット１０全体の動作を統括制御し、撮像システム１全体の動作を統括するカメラ制御部２０７とデータを通信する。レンズ制御部１０６は、カメラ制御部２０７から受信した制御命令や制御情報に応じて、絞り駆動部１０４、フォーカスレンズ駆動部１０５、およびズームレンズ駆動部の制御を行うとともに、レンズ情報をカメラ制御部２０７に送信する。レンズ制御部１０６により絞り駆動部１０４、フォーカスレンズ駆動部１０５、およびズームレンズ駆動部が制御されることで、絞り１０２の開口径やフォーカスレンズ１０３およびズームレンズの位置が制御される。また、レンズ制御部１０６は、フォーカスやズームなどの調節を行うために、ユーザによりレンズ操作部１０７に備えられたフォーカスリングやズームリング等が操作されると、ユーザ操作に応じた制御を行う。
【００１７】
次に、フォーカスアシスト機能を備えるカメラ本体２０の構成について説明する。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成され、レンズユニット１０の撮像光学系を通過した光束が撮像素子２０１の受光面上に結像される。形成された被写体像は撮像素子２０１のフォトダイオード（光電変換部）によって入射光量に応じた電荷に光電変換され、蓄積される。各フォトダイオードに蓄積された電荷は、カメラ制御部２０７の指令に従ってタイミングジェネレータ２１０から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子２０１から順次読み出される。なお、撮像素子２０１の詳細構成については後述するが、本実施形態における撮像素子２０１は、通常の撮像信号の他に、位相差方式の焦点検出に用いることができる一対のフォーカス用信号を出力することができる。
【００１８】
撮像素子２０１から読み出された撮像信号およびフォーカス用信号は、ＣＤＳ／ＡＧＣ回路２０２に入力される。ＣＤＳ／ＡＧＣ回路２０２は、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、および信号のデジタル化を行う。ＣＤＳ／ＡＧＣ回路２０２は、処理後の撮像信号をカメラ信号処理部２０３に出力し、処理後のフォーカス用信号をフォーカス信号処理部２０４に出力する。
【００１９】
カメラ信号処理部２０３は、ＣＤＳ／ＡＧＣ回路２０２から出力された撮像信号に対して各種の画像処理を施して、映像信号を生成する。表示部２０５は、ＬＣＤや有機ＥＬ等の表示デバイスであり、カメラ信号処理部２０３から出力された映像信号に基づく画像を表示する。また、カメラ本体２０が撮像信号の記録を行う記録モードに設定されている場合、撮像信号はカメラ信号処理部２０３から記録部２０６に送られ、光ディスク、半導体メモリ、磁気テープ等の記録媒体に記録される。
【００２０】
フォーカス信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力された一対のフォーカス用信号に基づいて相関演算を行って焦点状態を検出する。本実施形態では、フォーカス信号処理部２０４は、相関量、デフォーカス量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）等の焦点状態を算出する。フォーカス信号処理部２０４は、算出したデフォーカス量と信頼性情報をカメラ制御部２０７に出力する。カメラ制御部２０７は、取得したデフォーカス量および信頼性情報に基づいて、これらを算出する設定の変更をフォーカス信号処理部２０４に通知する。
【００２１】
カメラ制御部２０７は、カメラ本体２０内の各構成と情報をやり取りして制御を行う。また、カメラ制御部２０７は、カメラ本体２０内の処理だけでなく、ユーザにより操作されたカメラ操作部２０８からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更および記録を制御する。さらに、カメラ制御部２０７は、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）制御の切り替え、および記録映像の確認等のユーザ操作に応じた様々な機能を実行する。また、カメラ制御部２０７は、レンズ制御部１０６と情報をやり取りし、撮像光学系の制御命令や制御情報を送信したり、レンズユニット１０内の情報を取得したりする。
【００２２】
顔検出処理回路（主被写体検出手段）２０９は、カメラ信号処理部２０３から出力された映像信号に対して顔認識処理を施し、被写体領域として、撮影画面内の主被写体の顔領域を検出する（顔検出処理を実行する）。顔認識処理としては、例えば、映像信号に対応した画像データで表される各画素の階調色から肌色領域を抽出し、あらかじめ用意された顔の輪郭プレートとのマッチング度で顔領域を検出する方法が知られている。また、パターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することを通じて顔領域を検出する方法が知られている。なお、顔認識処理は、上述した方法とは異なる他の方法を用いて実行してもよい。
【００２３】
顔検出処理回路２０９は、被写体位置情報を含む検出結果（顔情報）をカメラ制御部２０７に送信する。被写体位置情報とは、撮影画面内での被写体領域の位置に関する情報である。カメラ制御部２０７は、受信した検出結果に基づいて、撮影画面内の顔領域を含む位置に対して焦点検出に用いられる領域を追加すべく、フォーカス信号処理部２０４に情報を送信する。
【００２４】
また、カメラ制御部２０７は、顔検出処理回路２０９で認識された顔領域を撮影者に通知するために、顔領域の位置およびサイズ等の情報をカメラ信号処理部２０３に送信し、これらの情報に対応した顔枠を映像信号に重畳させて表示部２０５に表示させる。
【００２５】
カメラ操作部２０８は、顔検出処理による制御（顔検出制御）の有効／無効を切り替える機能を有する。顔検出制御が有効となった場合、カメラ制御部２０７は、フォーカスアシスト制御等について顔検出処理の結果に応じた制御を行う。また、カメラ操作部２０８は、特定の被写体に固定したい撮影者の操作入力に従って、被写体を選択指示する機能を有する。撮影者が、十字キーやタッチパネル等の操作部材を用いて特定の顔を選択、指示すると、カメラ制御部２０７は、選択、指示された顔に対して、フォーカスアシスト制御制御等を行う（以下、主顔選択という）。
［撮像素子の構成］
図２は、撮像素子２０１として用いられる２次元ＣＭＯＳセンサの画素配列を４列×４行の範囲（焦点検出画素の配列としては８列×４行の範囲）で示している。
【００２６】
本実施形態では、画素群２００は、２列×２行の画素から構成され、ベイヤー配列のカラーフィルタにより覆われている。画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に配置され、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に配置され、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。撮像素子２０１は撮像面位相差方式の焦点検出を行うため、各画素は１つのマイクロレンズ２１５に対して複数のフォトダイオード（光電変換部）を保持している。本実施形態では、各画素は、２列×１行に配列された２つのフォトダイオード２１１，２１２を保持している。
【００２７】
撮像素子２０１は、２列×２行の画素（４列×２行のフォトダイオード）からなる画素群２００を撮像面上に多数配置することで、撮像信号およびフォーカス用信号を取得することができる。
【００２８】
本実施形態の各画素では、光束はマイクロレンズ２１５により分離され、フォトダイオード２１１，２１２で受光される。フォトダイオード２１１，２１２からの信号を加算した信号（Ａ＋Ｂ像信号）は撮像信号、フォトダイオード２１１，２１２からそれぞれ読み出した２つの信号（Ａ、Ｂ像信号）はフォーカス用信号として用いられる。なお、撮像信号とフォーカス用信号とをそれぞれ読み出してもよいが、処理負荷を考慮して、撮像信号（Ａ＋Ｂ像信号）と、フォトダイオード２１１，２１２からのフォーカス用信号のうち一方の信号（例えばＡ像信号）とを読み出してもよい。他方の信号（例えばＢ像信号）は、上記信号の差分を取ることで取得することができる。
【００２９】
なお、本実施形態では各画素は１つのマイクロレンズ２１５に対して２つのフォトダイオード２１１，２１２を有するが、フォトダイオードの数は２つに限定されず、それ以上であってもよい。また、マイクロレンズ２１５に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。すなわち、結果としてＡ像信号とＢ像信号といった位相差検出可能な位相差検出用の２つの信号が得られる構成であればよい。また、本実施形態では、全ての画素が図２に示されるように複数のフォトダイオードを有しているが、撮像素子２０１を構成する通常画素内に、焦点検出用画素が離散的に設けられていてもよい。
［第１の実施形態］
［フォーカスアシストの表示形態］
図３を参照して、本実施形態におけるフォーカスアシストの表示形態について説明する。本実施形態では、フォーカスアシスト表示の種類は、第１から第４の表示形態の４つとし、表示パーツ３０１〜３１７により、検出された焦点状態を表現する。
【００３０】
図３（ａ）は、第１の表示形態の一例で、被写体に合焦していると判定された状態であり、内向きの表示パーツ３０１と外向きの表示パーツ３０２の位置が一致（ここでは上部で停止）している。また、例えば、表示パーツ３０１と表示パーツ３０２をそれぞれ異なる色（例えば白と緑）で表してもよい。
【００３１】
図３（ｂ）は、第２の表示形態の一例で、被写体に合焦していないが、焦点検出結果の信頼度が高い状態であり、合焦位置までの方向とデフォーカス量の大きさが示されている。例えば、被写体よりも無限遠側にピントが合っている（後ピン）場合、内向きの表示パーツ３０３が上部に停止した状態で、外向きの表示パーツ３０４，３０５が円周上に沿って左右対称に移動する。表示パーツ３０４，３０５の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０３の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０３は表示パーツ３０１に対応し、互いに重なった状態の表示パーツ３０４，３０５が表示パーツ３０２に対応する。
【００３２】
一方、被写体よりも至近側にピントが合っている（前ピン）場合、外向きの表示パーツ３０６が上部に停止した状態で、内向きの表示パーツ３０７と３０８が円周上に沿って左右対称に移動する。表示パーツ３０７，３０８の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０６の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０６は表示パーツ３０２に対応し、互いに重なった状態の表示パーツ３０７，３０８が表示パーツ３０１に対応する。
【００３３】
以上説明したように、第２の表示形態では、移動する表示パーツの位置によってデフォーカス量の大きさを示すことができる。また、上部で停止している表示パーツの向きによって合焦位置までの方向（デフォーカス方向）を示すことができる。
【００３４】
図３（ｃ）は、第３の表示形態の一例で、焦点検出結果の信頼度が中程度である状態であり、合焦位置までの方向のみが示されている。この状態では、デフォーカス量に関わらず、表示パーツ３０９〜３１４は所定位置で固定される。後ピンの場合は内向きの表示パーツ３０９が上部で固定され、前ピンの場合は外向きの表示パーツ３１２が上部で固定されている。すなわち、第３の表示形態では、デフォーカス量の大きさは示さずに、上部で固定されている表示パーツの向きによって合焦位置までの方向を示している。
【００３５】
図３（ｄ）は、第４の表示形態の一例で、焦点検出結果の信頼性が低い状態であり、デフォーカス量の大きさもデフォーカス方向も示さずに、焦点検出ができないことをユーザに視認させている。この状態では、表示パーツ３１５〜３１７は他の表示形態と異なる色（例えばグレー）で表示されるとともに、所定位置で固定される。また、表示パーツ３１６，３１７の形状は、他の表示形態と異なる。
【００３６】
なお、図３に示すフォーカスアシスト表示は一例であり、本発明はこの表示に限定されるものではない。
[フォーカスアシストの表示制御]
図４を参照して、カメラ制御部２０７が実行するフォーカスアシスト表示制御方法について説明する。図４は、フォーカスアシスト表示制御方法を示すフローチャートである。本実施形態のフォーカスアシスト表示制御方法は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムにしたがって所定周期で実行される。例えば、１フレーム（または１フィールド）分の画像を生成するための撮像素子２０１からの撮像信号の読み出し周期（垂直同期期間毎）で実行される。垂直同期期間内で複数回繰り返すようにしてもよい。コンピュータプログラムは、例えば、カメラ制御部２０７内に格納されていてもよいし、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施形態ではカメラ制御部２０７がフォーカスアシスト表示制御方法を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が表示制御装置として本実施形態のフォーカスアシスト表示制御方法を実行してもよい。また、本実施形態のコンピュータプログラムに対応する回路を設け、回路を動作させることで本実施形態のフォーカスアシスト表示制御方法を実行してもよい。
【００３７】
ステップＳ１０１では、カメラ制御部２０７は、顔検出処理回路２０９から顔情報を取得する。
【００３８】
ステップＳ１０２では、カメラ制御部２０７は、ステップＳ２０１で取得した顔情報に基づいて、焦点検出領域を設定する。
【００３９】
ステップＳ１０３では、カメラ制御部２０７は、フォーカス信号処理部２０４において、フォーカス信号が更新されたかどうかを判定する。更新されていると判定した場合、ステップＳ１０４に進み、更新されていないと判定した場合、ステップＳ１１５に進む。
【００４０】
ステップＳ１０４では、カメラ制御部２０７は、フォーカス信号処理部２０４に焦点検出処理を行わさせ、焦点検出処理の結果として、デフォーカス量および信頼度を取得する。
【００４１】
ここで、フォーカス信号処理部２０４が実行する焦点検出処理について説明する。図５は、本実施形態の焦点検出処理を示すフローチャートである。
【００４２】
ステップＳ２０１では、フォーカス信号処理部２０４は、ステップＳ１０２で設定された焦点検出領域から一対のフォーカス用信号を取得する。
【００４３】
ステップＳ２０２では、フォーカス信号処理部２０４は、ステップＳ２０１で取得した一対のフォーカス用信号から相関量を算出する。
【００４４】
ステップＳ２０３では、フォーカス信号処理部２０４は、ステップＳ２０２で算出した相関量から相関変化量を算出する。
【００４５】
ステップＳ２０４では、フォーカス信号処理部２０４は、ステップＳ２０３で算出した相関変化量からピントずれ量を算出する。
【００４６】
ステップＳ２０５では、フォーカス信号処理部２０４は、ステップＳ２０１で取得したフォーカス用信号の信頼度を算出する。信頼度は、ステップＳ２０４で算出したピントずれ量がどれだけ信頼できるのかを表す信頼度に相当する。
【００４７】
ステップＳ２０６では、フォーカス信号処理部２０４は、ピントずれ量をデフォーカス量に変換する。
【００４８】
なお、デフォーカス量は、合焦位置からの絶対的な距離や、フォーカスレンズ１０３を合焦位置に移動させるために必要なパルス数で表してもよいし、そういった表現と次元、単位の異なる表現や、相対的な表現であってもよい。すなわち、どれだけ合焦状態から離れていると判断できるか、どれだけフォーカス制御すれば合焦状態に移行できると判断できるかを示すものであればよい。
【００４９】
以下、図６から図８を参照して、焦点検出処理の詳細について説明する。図６（ａ）は、撮像素子２０１を構成する画素アレイ４０１上に設定された焦点検出領域４０２の一例を示す図である。後述する相関演算を行うために必要なフォーカス用信号を読み出す演算領域４０４は、焦点検出領域４０２と相関演算に必要なシフト領域４０３とを合わせた領域である。図６（ａ）中のｐ、ｑ、ｓ、ｔはそれぞれ、ｘ軸方向の座標を表し、演算領域４０４はｐからｑの範囲にあり、焦点検出領域４０２はｓからｔの範囲にある。
【００５０】
図６（ｂ）〜図６（ｄ）は、図６（ａ）の演算領域４０４から取得したフォーカス用信号の一例を表す図である。各図のｓからｔが焦点検出領域４０２に対応し、ｐからｑがシフト量を踏まえた演算領域４０４に対応している。実線５０１はＡ像信号、破線５０２はＢ像信号を示している。
【００５１】
図６（ｂ）は、シフト前のＡ像信号５０１およびＢ像信号５０２を波形で表した図である。図６（ｃ）は、図６（ｂ）のシフト前のＡ像信号５０１およびＢ像信号５０２の波形に対しプラス方向へシフトした図である。図６（ｄ）は、図６（ｂ）のシフト前のＡ像信号５０１およびＢ像信号５０２の波形に対しマイナス方向へシフトした図である。相関量を算出する際には、Ａ像信号５０１およびＢ像信号５０２をそれぞれ矢印の方向へ１ビットずつシフトさせる。
【００５２】
続いて、図５のステップＳ２０２の相関量ＣＯＲの算出方法について説明する。フォーカス信号処理部２０４は、Ａ像信号５０１とＢ像信号５０２を１ビットずつシフトさせ、各シフト状態において、設定された焦点検出領域４０２におけるＡ像信号５０１とＢ像信号５０２との差の絶対値の和を算出する。ここで、最小シフト数はｐ−ｓ、最大シフト数はｑ−ｔである。また、シフト量をｉで表し、ｘを焦点検出領域の開始座標、ｙを焦点検出領域の終了座標とすると、以下の式（１）によって相関量ＣＯＲは算出される。
【００５３】
【数１】
2018197806.tif 000003
【００５４】
図７（ａ）は、相関量の変化の一例を示した図であり、グラフの横軸はシフト量、縦軸は相関量を表す。相関量波形６０１において、６０２，６０３はそれぞれ極値周辺を示している。相関量が小さいほど、Ａ像信号５０１とＢ像信号５０２との一致度が高い。
【００５５】
続いて、図５のステップＳ２０３の相関変化量ΔＣＯＲの算出方法について説明する。フォーカス信号処理部２０４は、図７（ａ）の相関量波形６０１より、１シフト飛ばしの相関量の差から相関変化量を算出する。このとき、最小シフト数は図７中のｐ−ｓ、最大シフト数は図７中のｑ−ｔである。シフト量をｉで表すと、以下の式（２）によって相関変化量ΔＣＯＲは算出される。
【００５６】
ΔＣＯＲ［ｉ］＝ΔＣＯＲ［ｉ−１］−ΔＣＯＲ［ｉ＋１］
（p−s＋１）＜ｉ＜（ｑ−t−１）                     （２）
図７（ｂ）は、相関変化量ΔＣＯＲの一例を示した図であり、グラフの横軸はシフト量、縦軸は相関変化量を示す。相関変化量波形６０４において、６０５，６０６は相関変化量がプラスからマイナスになる部分である。部分６０５，６０６において相関変化量が０となる状態をゼロクロスと呼ぶ。この状態において、Ａ像信号５０１とＢ像信号５０２との一致度が最も高く、そのときのシフト量に基づいてピントずれ量が算出される。
【００５７】
図８（ａ）は、図７（ｂ）の部分６０５の拡大図で、６０７は相関変化量波形６０４の一部分である。以下、図８（ａ）を参照して、ステップＳ２０４のピントずれ量ＰＲＤの算出方法について説明する。
【００５８】
ピントずれ量ＰＲＤは、整数部分βと小数部分αに分けられる。小数部分αは、図８（ａ）中の三角形ＡＢＣと三角形ＡＤＥとの相似関係から、以下の式（３）によって算出される。
【００５９】
【数２】
2018197806.tif 000004
【００６０】
一方、整数部分βは、図８（ａ）より、以下の式（４）によって算出される。
【００６１】
β＝ｋ−１       （４）
以上のようにして算出された小数部分αと整数部分βとの和から、ピントずれ量ＰＲＤは算出される。
【００６２】
また、図７（ｂ）に示されるように、複数のゼロクロスが存在する場合、ゼロクロスでの相関量変化の急峻性ｍａｘｄｅｒ（以下、「急峻性」という）が大きい部分を第１のゼロクロスとする。急峻性は合焦位置の特定のし易さを示す指標で、値が大きいほど合焦位置を特定し易い点であることを示す。急峻性は、以下の式（５）によって算出される。
【００６３】
ｍａｘｄｅｒ＝｜ΔＣＯＲ［ｋ−１］｜＋｜ΔＣＯＲ［ｋ］｜          （５）
以上のように、複数のゼロクロスが存在する場合、ゼロクロスでの急峻性によって第１のゼロクロスを決定する。
【００６４】
続いて、図５のステップＳ２０５のフォーカス用信号の信頼度の算出方法について説明する。この信頼度は、デフォーカス量の信頼度に対応している。以下の算出方法は一例であり、信頼度は他の方法により算出されてもよい。信頼度は、前述した急峻性や、Ａ像信号とＢ像信号との一致度ｆｎｃ[ｖ]（以下、「二像一致度」という）によって定義することができる。二像一致度はピントずれ量の精度を表す指標で、値が小さいほど精度がよい。
【００６５】
図８（ｂ）は、図７（ａ）の部分６０２の拡大図で、６０８は相関量波形６０１の一部分である。二像一致度は、以下の式（６）によって算出される。
（ｉ）ΔＣＯＲ［ｋ−１］×２≦ｍａｘｄｅｒのとき
ｆｎｃ[ｖ]＝ＣＯＲ［ｋ−１］＋ΔＣＯＲ［ｋ−１］／４
（ｉｉ）ΔＣＯＲ［ｋ-１］×２＞ｍａｘｄｅｒのとき
ｆｎｃ[ｖ]＝ＣＯＲ［ｋ］−ΔＣＯＲ［ｋ］／４            （６）
ステップＳ１０４で焦点検出処理が終了すると、ステップＳ１０５に進む。ステップＳ１０５では、カメラ制御部２０７は、デフォーカス量が第１の所定量より小さい、かつ信頼度が第１の閾値Ｔｈ＿Ａより高いかどうかを判定する。デフォーカス量が第１の所定量より小さい、かつ信頼度が第１の閾値Ｔｈ＿Ａより高い場合、ステップＳ１０６に進み、デフォーカス量が第１の所定量より大きい、または信頼度が第１の閾値Ｔｈ＿Ａより低い場合、ステップＳ１０７に進む。
【００６６】
第１の所定量は、被写体に対してフォーカスレンズ１０３の位置が合焦範囲内であるかどうかを判定するための値である。本実施形態では、第１の所定量は、一例として、焦点深度に基づいて設定されている。また、第１の閾値Ｔｈ＿Ａは、算出されたデフォーカス量の精度が確かであると判断可能なレベルに設定される。信頼度が第１の閾値Ｔｈ＿Ａより高い場合とは、例えば、Ａ像信号およびＢ像信号のコントラストが高く、Ａ像信号およびＢ像信号の形状が似ている（二像一致度が高い）場合や、すでに主被写体像に合焦している場合である。
【００６７】
ステップＳ１０６では、カメラ制御部２０７は、フォーカスアシスト表示を図３（ａ）の第１の表示形態に設定する。
【００６８】
ステップＳ１０７では、カメラ制御部２０７は、デフォーカス量が第１の所定量に比べて小さい第２の所定量より小さい、かつ信頼度が第１の閾値Ｔｈ＿Ａより高いかどうかを判定する。デフォーカス量が第２の所定量より小さい、かつ信頼度が第１の閾値Ｔｈ＿Ａより高い場合、ステップＳ１０８に進み、デフォーカス量が第２の所定量より大きい、または信頼度が第１の閾値Ｔｈ＿Ａより低い場合、ステップＳ１１１に進む。
【００６９】
ステップＳ１０８では、カメラ制御部２０７は、フォーカスアシスト表示で、合焦までの方向や量を示す指標を設定するために、デフォーカス方向から指標の向きを算出する。
【００７０】
ステップＳ１０９では、カメラ制御部２０７は、デフォーカス量に基づいて、図３（ｂ）の第２の表示形態において移動する表示パーツを表示する位置を算出する。
【００７１】
ステップＳ１１０では、カメラ制御部２０７は、フォーカスアシスト表示を図３（ｂ）の第２の表示形態に設定する。
【００７２】
なお、ステップＳ１０７において、第２の所定量は、被写体に依存せずに検出されるデフォーカス量が設定される。例えば、コントラストが高い被写体とコントラストが低い被写体とでは、検出可能なデフォーカス量が異なるためである。その場合、被写体によっては、第２の表示形態で表示できる状態が異なるため、ユーザが違和感を感じてしまう。そのため、第２の所定量は、被写体によらず、概ねデフォーカス量が得られる量が設定される。本実施形態では、一例として、デフォーカス量は２ｍｍに設定される。ただし、設定の仕方はこの限りではなく、ピントずれ量を求める際のシフト量によっても異なる。シフト量が２ｍｍを超えるデフォーカス量を検出できない場合には設定する必要がなく、その場合は第２の所定量は限りなく大きくてもよい。
【００７３】
また、フォーカスアシスト表示の操作性から決めてもよい。第２の表示形態において、移動する表示パーツは、どのくらい合焦状態からズレているかを表す。そのため、上部で固定される表示パーツからかけ離れているところまで表示してしまうと、どのくらい合焦位置まで離れているかがユーザにわかりにくくなる。また、表示方法によっては、画面上のフォーカスアシスト表示のサイズも大きくなると、画面が見づらくなってしまうため、これらの事項を考慮して決定してもよい。
【００７４】
ステップＳ１１１では、カメラ制御部２０７は、信頼度が第２の閾値Ｔｈ＿Ｂ以下であるかどうかを判定する。信頼度が第２の閾値Ｔｈ＿Ｂ以下である場合、ステップＳ１１４に進み、信頼度が第２の閾値Ｔｈ＿Ｂより高い場合、ステップＳ１１２に進む。
【００７５】
ステップＳ１１２では、カメラ制御部２０７は、デフォーカス方向からフォーカスアシスト表示の指標の向きを算出する。
【００７６】
ステップＳ１１３では、カメラ制御部２０７は、フォーカスアシスト表示を図３（ｃ）の第３の表示形態に設定する。
【００７７】
このように、信頼度が第１の閾値Ｔｈ＿Ａより低く、第２の閾値Ｔｈ＿Ｂより高い場合、すなわち信頼度が中程度の場合、合焦位置が存在するであろう方向を示すデフォーカス方向が確かであると判定する。信頼度が中程度の場合とは、フォーカス信号処理部２０４で算出される二像一致度が所定値より低いが、Ａ像信号およびＢ像信号を相対的にシフトさせて得られる相関量に一定の傾向があり、デフォーカス方向は信頼できる状態である。例えば、主被写体に対して小ボケしている状態である。 
【００７８】
ステップＳ１１４では、カメラ制御部２０７は、デフォーカス量およびデフォーカス方向が信頼できないため、フォーカスアシスト表示を図３（ｄ）の第４の表示形態に設定する。信頼度が第２の閾値Ｔｈ＿Ｂ以下の場合とは、例えば、Ａ像信号およびＢ像信号のコントラストが低く、二像一致度も低い状態である。この状態は、被写体に対して大きくボケている状態であり、デフォーカス量の算出が困難な状態である。
【００７９】
ステップＳ１１５では、カメラ制御部２０７は、上記処理により設定された表示形態に基づいて、フォーカスアシスト表示の色情報、および指標の向きや位置等のフォーカスアシスト表示に必要なパラメータを設定し、表示部２０５に通知する。
【００８０】
次に、図９を参照して、図４のステップＳ１０９のフォーカスアシスト表示の表示パーツを表示する位置の算出方法についての一例を説明する。図９は、デフォーカス量とフォーカスアシスト表示の表示パーツの位置（指標位置）との関係図である。図９において、横軸はデフォーカス量、縦軸は指標位置を表している。なお、指標位置は、図３（ｂ）の第２の表示形態において、上部で固定されている表示パーツ（３０３，３０６）を基準とした場合の移動する表示パーツ（３０４，３０５，３０７，３０８）の移動量（角度）である。
【００８１】
検出されたデフォーカス量に関わらず検出精度が一定であれば、図９の点線７０２のようにデフォーカス量と指標位置との関係を線形で表現すると、操作性と表示パーツの表示位置が合致してフォーカス操作しやすい。しかしながら、撮像面位相差検出方式の場合、デフォーカス量が大きくなるにつれて、焦点検出精度が低下する。そのため、検出されたデフォーカス量と線形に対応する位置に表示パーツを表示した場合、検出精度の低下により実際の焦点状態と表示パーツの位置との関係がばらつくことが考えられる。この場合、ユーザが不快感を感じることがあるとともに、操作性が悪くなる。
【００８２】
そのため、図９の実線７０１のように、デフォーカス量が大きくなるにつれて、表示パーツの位置の動きを鈍くするようにする。つまり、デフォーカス量が大きくなるにつれて、デフォーカス量に対する表示パーツの位置変化（変換量）を少なくする。換言すると、デフォーカス量が大きくなるほど、表示パーツの単位角度（単位移動量）あたりの位置変化に相当するデフォーカス量を大きくする。
【００８３】
例えば、実線７０１で表されるフォーカスアシスト表示の場合、表示パーツの位置を角度で表すと、デフォーカス量が０．５ｍｍまでは、１度あたり０．０２ｍｍのデフォーカス量を表す。また、デフォーカス量が１ｍｍまでは、１度あたり０．０４ｍｍのデフォーカス量を表し、デフォーカス量が２ｍｍまでは、１度あたり０．０８ｍｍのデフォーカス量を表す。
【００８４】
また、焦点深度に基づいて１度を表した場合、デフォーカス量が０．５ｍｍまでは、１度が焦点深度を表し、デフォーカス量が１ｍｍまでは、１度あたり焦点深度の２倍を表し、デフォーカス量が２ｍｍまでは、１度あたり焦点深度の４倍を表す。
【００８５】
このように指標位置を制御することにより、デフォーカス量に依らず安定したフォーカスアシスト表示を実現できる。なお、指標位置の制御に関しては、この限りではなく、絞りや撮影シーン等に応じて変更すればよい。
【００８６】
以下、図１０を参照して、図４のステップＳ１０１の顔情報取得処理について説明する。図１０は、顔検出処理回路２０９が検出した複数の顔情報から主顔を選択するとともに、選択した主顔の位置およびサイズの情報を出力する手順を示すフローチャートである。
【００８７】
ステップＳ３０１では、カメラ制御部２０７は、顔検出処理回路２０９により顔が検出されているかどうかを判定する。顔が検出されている場合、ステップＳ３０４に進み、顔が検出されていない場合、ステップＳ３０２に進む。
【００８８】
ステップＳ３０２では、カメラ制御部２０７は、現在画面上に表示されているフォーカスアシスト表示の位置情報を取得する。
【００８９】
ステップＳ３０３では、カメラ制御部２０７は、主顔固定モードをＯＦＦに設定する。
【００９０】
ステップＳ３０４では、カメラ制御部２０７は、主顔固定モードがＯＮに設定されているかどうかを判定する。主顔固定モードがＯＮに設定されている場合、ステップＳ３０９に進み、主顔固定モードがＯＦＦに設定されている場合、ステップＳ３０５に進む。
【００９１】
ステップＳ３０５では、カメラ制御部２０７は、ＭＦ操作中かどうかを判定する。ＭＦ操作中である場合、ステップＳ３０６に進み、ＭＦ操作中でない場合、ステップＳ３０９に進む。
【００９２】
ステップＳ３０６では、カメラ制御部２０７は、前回、つまり１フレーム前の処理の際に、主顔が設定されているかどうかを判定する。主顔が設定されている場合、ステップＳ３０７に進み、主顔が設定されていない場合、ステップＳ３０８に進む。
【００９３】
ステップＳ３０７では、カメラ制御部２０７は、主顔固定モードをＯＮに設定する。主顔固定モードをＯＮに設定することで、主顔を他の被写体の顔に切り替えることが禁止される。
【００９４】
ステップＳ３０８では、カメラ制御部２０７は、ステップＳ３０２と同様に、現在画面上に表示されているフォーカスアシスト表示の位置情報を取得する。
【００９５】
ステップＳ３０９では、カメラ制御部２０７は、主顔判定処理を実行する。
【００９６】
ステップＳ３１０では、カメラ制御部２０７は、主顔と判定された顔の位置およびサイズ情報を取得する。
【００９７】
以下、図１１を参照して、図１０のステップＳ３０９における主顔判定処理について説明する。図１１は、主顔判定処理を示すフローチャートである。主顔判定処理では、カメラ制御部２０７および顔検出処理回路２０９は、撮像手段（撮像素子２０１）から出力された映像信号に基づいて、撮影画面内に含まれる被写体のうち主被写体を判定する主被写体判定手段として機能する。
【００９８】
ステップＳ４０１では、カメラ制御部２０７が、顔検出処理回路２０９による顔検出処理結果に基づいて、顔相関判定処理を行う。具体的には、カメラ制御部２０７は、顔検出処理によって検出された各々の顔に対して顔番号を割り当てる。
【００９９】
ステップＳ４０２では、カメラ制御部２０７は、検出された顔の位置および大きさに応じて、顔の優先順位付けを行い、優先順位が最も高い顔を主顔として設定する。カメラ制御部２０７は、例えば、顔の位置が画面中央に近く、かつ顔の大きさが大きいほど、優先順位が高くなるように、顔の優先順位を決定する。また、カメラ制御部２０７は、前回も検出されていた顔の優先順位を高くしてもよい。これにより、頻繁に検出される顔の切り替えを抑制することができる。顔の優先順位付け方法は、上述したものに限定されない。カメラ制御部２０７は、撮影者が設定された主顔を主顔として相応しいと感じることができる任意の優先順位付け方法を用いることができる。
【０１００】
ステップＳ４０３では、カメラ制御部２０７は、主顔固定モードがＯＮに設定されているかどうかを判定する。主顔固定モードがＯＮに設定されている場合、ステップＳ４０４に進み、主顔固定モードがＯＦＦに設定されている場合、第１優先の顔を主顔として処理を終了する。
【０１０１】
ステップＳ４０４では、カメラ制御部２０７は、今回の顔検出処理結果によって得られた顔に割り当てた顔番号と、登録されている主顔固定顔番号とを比較し、主顔として固定設定されている顔が存在するかどうかを判定する。今回の顔検出処理結果によって得られた顔に割り当てた顔番号のうち、登録されている主顔固定顔番号と一致する顔番号が存在する場合、カメラ制御部２０７は主顔として固定設定されている顔が存在すると判定し、ステップＳ４０５に進む。登録されている主顔固定顔番号と一致する顔番号が存在していない場合、カメラ制御部２０７は主顔として固定設定されている顔が消失したと判定し、ステップＳ４０６に進む。
【０１０２】
ステップＳ４０５では、カメラ制御部２０７が、登録されている主顔固定顔番号に対応する顔を第１優先の顔（主顔）にする。
【０１０３】
ステップＳ４０６では、カメラ制御部２０７は、登録されている主顔固定顔番号をクリアする。
【０１０４】
ステップＳ４０７では、カメラ制御部２０７は、主顔固定モードをＯＦＦに設定する。主顔固定モードをＯＦＦに設定することで、主顔を他の被写体の顔に切り替えることが許容される。
【０１０５】
以下、図１２を参照して、図１１のステップＳ４０１の顔相関判定処理について説明する。図１２は、顔相関判定処理を示すフローチャートである。カメラ制御部２０７は、以下の顔相関判定処理を、検出された顔の数だけ繰り返し実行する。
【０１０６】
ステップＳ５０１では、カメラ制御部２０７は、前回と今回の顔検出処理結果を比較する。
【０１０７】
ステップＳ５０２では、カメラ制御部２０７は、今回検出された顔が前回検出された顔と同じ顔であるかどうかを判定する。今回検出された顔が前回検出された顔と同じである場合、ステップＳ５０３に進み、今回検出された顔が前回検出された顔と異なる場合、ステップＳ５０４に進む。カメラ制御部２０７は、検出された顔の位置および大きさに基づいて各々比較し、前回の顔の位置に対して今回の顔の位置が近ければ近いほど、前回の顔の大きさと今回の顔の大きさが等しいほど、同じ顔であると判断する。より詳細には、カメラ制御部２０７は、顔の位置差と大きさの差とに基づいて、同じ顔がどうかを判定する相関量を算出し、相関量が高い場合に同じ顔であると判定する。
【０１０８】
ステップＳ５０３では、カメラ制御部２０７は、今回検出された顔に対して前回と同じ顔番号を設定する。
【０１０９】
ステップＳ５０４では、カメラ制御部２０７は、今回検出された顔に対して新しい任意の顔番号を設定する。
【０１１０】
これにより、顔が検出され、かつＭＦ操作がされた場合、主顔固定モードがＯＮに設定され、現在の主顔が検出されなくなるまで、主顔固定モードがＯＮ状態になる。そのため、ＭＦ操作の終了後、突然フォーカスアシスト表示制御の対象被写体が切り替わってしまうこともない。また、ＭＦ操作が開始された際に主顔が存在しない（検出されていない）状態である場合、主顔に対してフォーカスアシスト表示制御を行わない。そのため、ＭＦ操作中にフォーカスアシスト表示の対象被写体が切り替わることがなく、主顔に対して安定したピント合わせが可能となる。
【０１１１】
図１３は、図１０の顔情報取得処理において、顔が検出できなくなった後、主顔固定モードをＯＦＦに設定するまでの処理の変形例である。ステップＳ６０２以降（ステップＳ６２０〜ステップＳ６２４）の処理が図１０の顔情報取得処理と異なり、その他の処理は同様であるため詳細な説明は省略する。
【０１１２】
ステップＳ６２０では、カメラ制御部２０７は、ＭＦ操作中かどうかを判定する。ＭＦ操作中である場合、処理を終了し、ＭＦ操作中でない場合、ステップＳ６２１に進む。
【０１１３】
ステップＳ６２１では、カメラ制御部２０７は、主顔固定モードがＯＮ状態、かつＭＦ操作後カウンタが所定カウント値より小さいかどうかを判定する。主顔固定モードがＯＮ状態、かつＭＦ操作後カウンタが所定カウント値より小さい場合、ステップＳ６２２に進み、主顔固定モードがＯＦＦ状態、またはＭＦ操作後カウンタが所定カウント値より大きい場合（所定時間経過後）、ステップＳ６２３に進む。なお、ＭＦ操作後カウンタが所定カウント値と等しい場合にどちらのステップに進むかは任意に設定することができる。
【０１１４】
ステップＳ６２２では、カメラ制御部２０７は、ＭＦ操作後カウンタをカウントアップする
ステップＳ６２３では、カメラ制御部２０７は、主顔固定モードをＯＦＦに設定する。
【０１１５】
ステップＳ６２４では、カメラ制御部２０７は、ＭＦ操作後カウンタをクリアする。
【０１１６】
これにより、一時的に現在の主顔が存在しなくなった場合でも、主顔固定モードがＯＦＦに設定され、主顔が切り替わってしまうことを軽減することができ、安定したフォーカスアシスト表示を用いた、手動調節を行うことが可能となる。
【０１１７】
本実施形態によれば、手動操作時のフォーカスアシスト機能を有する撮影装置において、人物の顔を検出する機能を用いて、人物の顔に対して手動調節を行う際に、手動調節操作が開始された際に、主顔固定モードをＯＮに設定することができる。また、本実施形態では、現在の主顔が存在している間、および現在の顔が存在しなくなった際に、所定時間の間は主顔固定モードをＯＦＦに設定しない。そうすることで、手動操作時に主顔が切り替わり、撮影者が狙った被写体とは異なる被写体にフォーカスアシストの表示が出てしまうことを防止することができる。これにより、手動操作時のフォーカスアシスト表示を安定と操作性を向上をすることができ、撮影者の不快感を軽減することができる。
[第２の実施形態]
図１４は、本実施形態の顔情報取得処理を示すフローチャートである。本実施形態の顔情報取得処理は、図１０の顔情報取得処理の変形例であり、顔検出処理回路２０９が、あらかじめ特定の人物の顔を登録し、人物の顔の中から登録された顔を識別する顔認識処理機能を有する特定被写体認識手段として機能する。以下、相違点について説明し、第１の実施形態と同様の構成および制御については説明を省略する。
【０１１８】
ステップＳ７０１では、カメラ制御部２０７は、顔が検出されているかどうかを判定する。顔が検出されている場合、ステップＳ７０４に進み、顔が検出されていない場合、ステップＳ７０２に進む。
【０１１９】
ステップＳ７０２では、カメラ制御部２０７は、フォーカスアシスト表示の撮影画面上の位置情報を取得する。
【０１２０】
ステップＳ７０３では、カメラ制御部２０７は、主顔固定モードをＯＦＦに設定する。
【０１２１】
ステップＳ７０４では、カメラ制御部２０７は、登録されている認証顔を解除する。
【０１２２】
なお、顔が検出されていない場合、図１２を用いて説明した処理と同様に、ＭＦ操作中またはＭＦ操作後所定時間経過するまでは主顔固定モードのＯＦＦ設定、および認証顔の解除をウエイトさせてもよい。
【０１２３】
ステップＳ７０５では、カメラ制御部２０７は、主顔固定モードがＯＮに設定されているかどうかを判定する。主顔固定モードがＯＮに設定されている場合、ステップＳ７１１に進み、主顔固定モードがＯＦＦに設定されている場合、ステップＳ７０６に進む。
【０１２４】
ステップＳ７０６では、カメラ制御部２０７は、ＭＦ操作中かどうかを判定する。ＭＦ操作中である場合、ステップＳ７０７に進み、ＭＦ操作中でない場合、ステップＳ７１４に進む。
【０１２５】
ステップＳ７０７では、カメラ制御部２０７は、前回主顔が設定されているかどうかを判定する。前回主顔が設定されている場合、ステップＳ７０８に進み、前回主顔が設定されていない場合、ステップＳ７０９に進む。
【０１２６】
ステップＳ７０８では、カメラ制御部２０７は、主顔固定モードをＯＮに設定する。
【０１２７】
ステップＳ７０９では、カメラ制御部２０７は、フォーカスアシスト表示の撮影画面上の位置情報を取得する。
【０１２８】
ステップＳ７１０では、カメラ制御部２０７は、現在の主顔を認証顔として登録する。
【０１２９】
ステップＳ７１１では、カメラ制御部２０７は、顔認証処理を行う。顔認証処理は、現在検出されている顔画像と登録されている顔画像とのマッチングを行い、登録されている顔画像と類似する顔画像を認証顔画像として出力するもので、方法に関してはいずれでも構わない。
【０１３０】
ステップＳ７１２では、カメラ制御部２０７は、認証された顔が存在するかどうかを判定する。認証された顔が存在する場合、ステップＳ７１３に進み、認証された顔が存在しない場合、ステップＳ７１４に進む。
【０１３１】
ステップＳ７１３では、カメラ制御部２０７は、認証された顔を主顔に設定する。
【０１３２】
ステップＳ７１４では、カメラ制御部２０７は、再度主顔判定処理を行った結果を主顔とする。
【０１３３】
ステップＳ７１５では、カメラ制御部２０７は、現在の主顔の位置情報を取得する。
【０１３４】
本実施形態によれば、手動操作時のフォーカスアシスト機能を有する撮影装置において、第１の実施形態に対して、さらに、登録された特定の人物の顔を認識する顔認識機能を用いる。そうすることで、主被写体の前を横切られても再度主被写体を特定することができ、主被写体が切り替わることがなく、安定した機能を実現し、操作性を向上をすることができ、撮影者の不快感を軽減することができる。
［第１および第２の実施形態における利点］
顔検出機能を用いて、人物の顔に対して手動操作による焦点調節をフォーカスアシスト表示を活用して行う際に、複数の自分の顔が存在する場合、撮影者が狙った主被写体が切り替わってしまうことを軽減することが可能となる。
【０１３５】
また、特定の顔認識機能を用いることにより、手動操作による焦点調節を開始した際に、主被写体を登録することで、主被写体の前を横切って主被写体が切り替わってしまうことを軽減することが可能となる。
【０１３６】
これにより、フォーカスアシスト表示制御を用いて安定した手動操作による焦点調節ができ、撮影者の操作性を向上した表示制御装置を提供することが可能となる。
[他の実施形態]
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３８】
２０１    撮像素子（撮像手段）
２０４    フォーカス信号処理部（焦点検出手段）
２０５    表示部（表示手段）
２０７    カメラ制御部（表示制御手段）
２０９    顔検出処理回路（主被写体検出手段）
【図１】
2018197806.tif 000005
【図２】
2018197806.tif 000006
【図３】
2018197806.tif 000007
【図４】
2018197806.tif 000008
【図５】
2018197806.tif 000009
【図６】
2018197806.tif 000010
【図７】
2018197806.tif 000011
【図８】
2018197806.tif 000012
【図９】
2018197806.tif 000013
【図１０】
2018197806.tif 000014
【図１１】
2018197806.tif 000015
【図１２】
2018197806.tif 000016
【図１３】
2018197806.tif 000017
【図１４】
2018197806.tif 000018