(57)【要約】【課題】  撮影画像が実際に合焦しているかを撮影時に判断して、撮影画像を記録する際に、合焦状況に基づいて等級付けする。【解決手段】  カメラコントローラ２１２は、デフォーカス量検出部２１６による第１の焦点検出の結果に基づいて、レンズ群１０１が有するフォーカスレンズの駆動を制御する。当該制御に基づくフォーカスレンズの位置で被写体像に対応する画像データを出力する第１の撮像素子により取得された画像データに基づいて、デフォーカス量検出部２１６は第２の焦点検出を行う。カメラコントローラ２１２は、前記第１の撮像素子の出力に基づく当該画像データの焦点状態を、第２の焦点検出の結果に基づいて評価する評価し、当該評価に関する情報を当該画像データに対応するデータとともに記録するよう制御する。【選択図】  図７
2019086775.tif 000002
【特許請求の範囲】
【請求項１】
被写体に対して第１の焦点検出を行う第１の焦点検出手段と、
前記第１の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、
前記駆動制御手段の制御に基づくフォーカスレンズの位置で、被写体像に対応する画像データを出力する第１の撮像素子により取得された画像データに基づいて、位相差式の第２の焦点検出を行う第２の焦点検出手段と、
前記第１の撮像素子の出力に基づく当該画像データの焦点状態を、前記第２の焦点検出の結果に基づいて評価する評価手段と、
当該評価に関する情報を当該画像データに対応するデータとともに記録するよう制御する制御手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記画像データについて、前記第２の焦点検出手段が焦点検出を行う領域である第１の領域を設定する設定手段を有し、
前記第２の焦点検出は、前記設定手段が当該画像データに対して設定した前記第１の領域に対応する当該画像データの信号に基づく焦点検出であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記第１の焦点検出の際に焦点検出に用いられた位置に対応する画像データの領域に基づいて前記第１の領域を設定する請求項２に記載の画像処理装置。
【請求項４】
画像データから顔を検出する顔検出手段を有し、
前記設定手段は、前記顔検出手段が顔を検出した位置に対応する前記画像データの領域に前記第１の領域を設定することを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記顔検出手段が前記第１の焦点検出の際に顔を検出した領域と対応する前記画像データの領域から顔を検出することができなかった場合には、動きベクトルに基づいて前記第１の領域を選択することを特徴とする請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記第２の焦点検出手段に対応するタイミングにおける被写体の位置に対応する焦点位置を予測する予測手段を有し、
前記設定手段は、前記顔検出手段が前記第１の焦点検出の際に顔を検出した領域と対応する前記画像データの領域から顔を検出することができなかった場合には、前記予測手段が予測した焦点位置から所定範囲内の焦点位置に対応するデフォーカス量が算出された画像データの領域に基づいて、前記第１の領域を設定することを特徴とする請求項３乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記評価手段は、前記第２の焦点検出手段が検出したデフォーカス量の絶対値が所定の閾値未満である場合は、そうでない場合と比較して、焦点状態がより合焦に近いと評価することを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の焦点検出は、前記画像データが有する視差を有する一対の第１の信号と第２の信号の位相差を検出することによる焦点検出であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
被写体に対して第１の焦点検出を行う第１の焦点検出ステップと、
前記第１の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する駆動制御ステップと、
前記駆動制御ステップでの制御に基づくフォーカスレンズの位置で、被写体像に対応する画像データを出力する第１の撮像素子により取得された画像データに基づいて、位相差式の第２の焦点検出を行う第２の焦点検出ステップと、
前記第１の撮像素子の出力に基づく当該画像データの焦点状態を、前記第２の焦点検出の結果に基づいて評価する評価ステップと、
当該評価に関する情報を当該画像データに対応するデータとともに記録するよう制御する制御ステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１０】
請求項９の制御方法における各ステップをコンピュータによって実行させるためのプログラム。
【請求項１１】
請求項１０のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって得られた画像データを、焦点検出結果に基づいて自動分類する技術に関する。
【背景技術】
【０００２】
従来、撮像装置によって撮影された画像を分類する方法として、複数の画像の鮮明さに応じて画像を分類し、記録する方法が知られている。特許文献１では、焦点位置を固定した状態で連続撮影を行う。そして連続撮影によって得られた各画像からＡＦ評価値を取得し、最もＡＦ評価値の高い１枚の画像を自動的に選定して保存用記録領域に記録し、非選定画像を消去用記録領域に記録することを開示している。
【０００３】
また、従来、撮像装置の焦点位置を移動被写体に追従させるため、繰り返し焦点検出を行いながら、過去複数時刻における焦点検出の時刻や検出結果に基づいて、先の時刻における被写体の合焦位置を予測する撮像装置が、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２０４８７号公報
【特許文献２】特公平５−４１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、連続撮影によって得られた複数の画像から、相対的に合焦しているものを記録するため、当該複数の画像から焦点状態の良いものを選別するというユーザの手間を軽減することができる。しかしながら、特許文献１で開示された技術では、適切な合焦画像を選択できない場合もあった。特許文献１では、焦点位置を固定した状態で連続撮影を行うため、画像の高周波成分に基づくＡＦ評価値の最も高い撮影画像が、最も良い焦点状態の画像であると推定できる。しかしながら、ＡＦ評価値が最も高いということはあくまで得られた撮影画像の中で相対的に焦点状態が最も良いというだけで、意図した被写体に合焦しているとは限らない。
【０００６】
以上説明したように、特許文献１では、意図した被写体に合焦していない画像を、最も合焦している画像として選択してしまう場合があった。合焦画像を選択できない場合には、撮影された画像の選別作業の負荷を軽減するという課題を解決することができない。
【０００７】
また、例えば奥行方向に移動する被写体を、焦点位置を移動させながら連写撮影する場合に、焦点位置によって被写体の撮影距離が異なることから、撮影距離の変化に応じて被写体の像倍率が変化する。被写体の像倍率が変化すると、被写体の空間周波数特性が変化し、さらに撮影構図自体も変化するため、画像の高周波成分に基づくＡＦ評価値のレベルが変動してしまい、焦点状態をＡＦ評価値で単純に比較できなくなる。したがって、焦点位置を移動させながら連写撮影する場合であっても、焦点状態が良い画像をＡＦ評価値に基づいて単純に選択できなかった。
【０００８】
そこで、本発明の目的は、撮影された画像データの選別作業の負荷を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一側面は、被写体に対して第１の焦点検出を行う第１の焦点検出手段と、前記第１の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、前記駆動制御手段の制御に基づくフォーカスレンズの位置で、被写体像に対応する画像データを出力する第１の撮像素子により取得された画像データに基づいて、位相差式の第２の焦点検出を行う第２の焦点検出手段と、前記第１の撮像素子の出力に基づく当該画像データの焦点状態を、第２の焦点検出の結果に基づいて評価する評価手段と、当該評価に関する情報を当該画像データに対応するデータとともに記録するよう制御する制御手段と、を有するよう構成したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影された画像データを分類する作業負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。
【図２】撮像部の画素面を入射光側から見た様態を示す模式図である。
【図３】撮像部が有する画素部の構造を示す図である。
【図４】ピントが合ったときの第１の焦点検出画素Ａと第２の焦点検出画素Ｂの像信号の位相差を示す図である。
【図５】ピントが合う前の第１の焦点検出画素Ａと第２の焦点検出画素Ｂの像信号の位相差を示す図である。
【図６】図１における焦点検出ユニットの光学系の様態を示す模式図である。
【図７】第１の実施形態に係るデジタルカメラの撮像動作及び画像の等級付け動作の流れを示すフローチャートである。
【図８】第２の実施形態に係るデジタルカメラの撮像動作及び画像の等級付け動作の流れを示すフローチャートである。
【図９】第３の実施形態に係るＰＣ（画像データの分類装置）の構成を示す図である。
【図１０】第３の実施形態に係る画像の等級付け動作の流れを示すフローチャートである。
【図１１】第４の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。
【図１２】多点の焦点検出ユニットで選択できる複数の焦点検出領域を示す模式図である。
【図１３】第４の実施形態に係るデジタルカメラの撮像動作及び画像の等級付け動作の流れを示すフローチャートである。
【図１４】第５の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。
【図１５】第５の実施形態に係るデジタルカメラの撮像動作及び画像の等級付け動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１３】
［第１の実施形態］
＜デジタルカメラの構成＞
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。
【００１４】
図１において、デジタルカメラは、レンズ部１００とカメラ部２００からなる。レンズ部１００は、不図示のマウント部のレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ送信ライン、データ受信ラインなどからなる通信バスライン用の端子がある。これらにより、レンズ部１００とカメラ部２００が通信可能になっている。
【００１５】
レンズ部１００には、撮像光学系を構成し、フォーカスを行うためのフォーカスレンズやズームを行うためのズームレンズを含むレンズ群１０１、入射光線を制御する絞り１０２が設けられている。また、レンズ群１０１のズームやフォーカスを行うためのステッピングモータからなる駆動系、及び駆動系を制御するレンズ駆動ユニット１０３が設けられている。
【００１６】
また、レンズ部１００には、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を、レンズ駆動ユニット１０３からレンズコントローラ１０４を通じて取得してレンズの位置情報を検出するレンズ位置検出部１０５が設けられている。レンズ群１０１、レンズ駆動ユニット１０３、レンズ位置検出部１０５によって焦点調節手段を構成する。
【００１７】
また、レンズ部１００には、絞り１０２の開口を制御する絞り制御ユニット１０６と、レンズ群１０１のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０７が設けられている。
【００１８】
レンズ駆動ユニット１０３、絞り制御ユニット１０６、および光学情報記録部１０７は、レンズ部１００全体の動作を制御するＣＰＵからなるレンズコントローラ１０４に接続されている。
【００１９】
カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ群１０１のズームやフォーカス、絞り１０２の開口について制御要求を送信し、制御結果を受信する。
【００２０】
入射光線は、レンズ群１０１及び絞り１０２を介して、メインミラー２０１へ導かれる。メインミラー２０１はハーフミラーとなっており、光路上に斜めに設けられている図示状態では、入射光線の半分がピント板２０３へ、もう半分がサブミラー２０２へ導かれる。図１で図示されたように、メインミラー２０１がレンズ部１００からの入射光線の光路上に入った状態は、以後、ミラーダウンと称す。メインミラーは、図１にて両方向矢印の付いた曲線で示すように、上方向に可動する機構となっており、光路上から退避させることができる。メインミラー２０１を光路上から上方に退避させた状態は、以後、ミラーアップと称す。サブミラー２０２も図１にて両方向矢印の付いた曲線で示すようにメインミラー２０１の方向に可動する機構となっており、上述したミラーアップ時、サブミラー２０２は光路に掛からないよう、メインミラー２０１の方向に移動される。
【００２１】
ピント板２０３は、後述する撮像部２１０（本実施形態の第１の撮像素子の一例である）と光学的に共役な位置に配置された拡散板であり、入射した被写体像を結像させる。ピント板２０３を通った光線は、ペンタプリズム２０４にて光路変更されることで正立像に変換され、接眼レンズ２０５を通じてファインダ２０６へ到達する。これにより、撮影者はファインダ２０６を覗くことで、ピント板２０３に結像された被写体像を観察できる。
【００２２】
また、ペンタプリズム２０４で光路変更された光線の一部は、ピント板２０３にて結像された被写体像の輝度を測定するために、光線を改めて結像させる測光用結像レンズ２０７を通じて、被写体像の輝度を測定する測光センサ２０８へ入射する。測光センサ２０８は、不図示の光電変換素子や、得られた電荷から輝度を算出する不図示のプロセッサで構成される。また、測光センサ２０８は、光電変換素子から得られた電荷から２次元の白黒多階調画像を得て、後から各種のモジュールより参照できるようにメモリ２１３へ送信される。
【００２３】
また、ミラーダウン時、サブミラー２０２は、焦点検出ユニット２０９へ入射光線を導かせる。焦点検出ユニット２０９は、焦点検出領域に対応して公知の位相差検出方式の焦点検出を行う。本実施形態では、焦点検出領域として例えば撮影画像の画角における中央部といった特定の２次元平面領域の１カ所に着目する。焦点検出領域を考慮した入射光線の光軸中心や正立像の向きを基準として、焦点検出ユニット２０９の物理的配置が定められている。
【００２４】
一方、ミラーアップ時、入射光線はレンズ群１０１及び絞り１０２を介して、カメラ部２００内における撮像部２１０へ導かれる。撮像部２１０はいわゆる撮像素子であり、電子的な現像演算や輝度補正といった各種の画像処理を行うプロセッサも有している。撮像部２１０について、詳しくは後述する。
【００２５】
また、カメラ部２００には、カメラ部２００へ操作入力を行うための操作スイッチ２１１が設けられている。操作スイッチ２１１は、２段ストロークタイプのスイッチで構成されている。１段目のスイッチ（ＳＷ１）は、撮影準備動作を開始させるためのスイッチである。ＳＷ１の押下によって、メインミラー２０１やサブミラー２０２が初期状態であるミラーダウン状態に制御され、測光センサ２０８を用いた第１の測光や焦点検出ユニット２０９を用いた第１の焦点検出などが実行される。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１０で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。ＳＷ２が押下されている場合は、ＳＷ１も押下状態となる。また、後述するデジタルカメラの撮像動作モードの選択次第で、次の動作も備えている。ＳＷ２が継続的に押下し続けられている場合は、操作スイッチ２１１の押下状態が開放されるまで連続的に撮影（連写）を行うために、上述したＳＷ１乃至ＳＷ２で行われる動作が繰り返し行う。
【００２６】
相関演算部２１４は、焦点検出ユニット２０９又は撮像部２１０から取得した信号に基づいて、相関演算により像シフト量ごとの相関量を算出する。算出された相関量は、位相差検出部２１５で最も相関量が高くなる位相差が算出される。デフォーカス量検出部２１６は、位相差検出部２１５で算出された位相差とレンズ部１００の光学特性に基づいて、公知の位相差検出方式によりデフォーカス量を算出する。
【００２７】
カメラコントローラ２１２は、電気接点ユニット１０８を介してレンズコントローラ１０４と制御情報を送受信し、デフォーカス量検出部２１６で算出されたデフォーカス量に基づいて、レンズ群１０１を駆動制御することで、焦点位置を調節する。
【００２８】
本実施形態におけるデジタルカメラは、撮像部２１０で撮像された被写体像や各種の操作状況を表示する表示部２１７を備える。また、デジタルカメラは、後述する撮像動作モードである静止画ワンショットモード、静止画連写モード、ライブビューモード、および動画記録モードを備え、各撮像動作モードのいずれかに撮像部２１０の動作を切り替えるための、操作部２１８を備える。操作部２１８は、このほか動画記録の開始や終了を操作入力できる。また、本実施形態におけるデジタルカメラは、このほか後述するワンショットＡＦモード、およびサーボＡＦモードの各焦点検出モードを備え、操作部２１８は、各焦点検出モードを選択するための操作入力を行うことができる。
【００２９】
＜撮像部２１０＞
次に、撮像部２１０における画素面を入射光側から見た様態について、図２及び図３を用いて説明する。
【００３０】
撮像部２１０は、図２に示すように水平方向にｈ画素、垂直方向にｖ画素配置された画素部を複数有する（ｈ、ｖは自然数）。各画素部は、被写体像が射出瞳面で分割された１対の光線がそれぞれ入射する第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂを有する。第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂの前面には、集光用にマイクロレンズＭＬが配置されている。各画素部は赤・緑・青のいずれかのカラーフィルタ（不図示）を有している。カラーフィルタは公知のＢａｙｅｒ配列で並べられている。
【００３１】
１つの画素部は、光電変換素子として、第１の焦点検出画素Ａ、第２の焦点検出画素Ｂを有している。第１の焦点検出画素Ａと第２の焦点検出画素Ｂの電荷を加算すると、図３（ｂ）に例示する撮像画素としての電荷を得ることができる。
【００３２】
次に、画素部の構造を、図３を用いて説明する。
【００３３】
図３において、第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂの光入射側には、マイクロレンズＭＬが形成されている。平滑層３０１は、マイクロレンズＭＬを形成するための平面である。遮光層３０２ａ及び３０２ｂは、第１の焦点検出画素Ａと第２の焦点検出画素Ｂに不必要な斜め角度の光線を入射させないようにするために配置されている。
【００３４】
図３に示す構成によれば、撮像光学系を第１の焦点検出画素Ａから見た場合と第２の焦点検出画素Ｂから見た場合とで、撮像光学系の瞳が対称に分割されたことと等価になる。撮像光学系を第１の焦点検出画素Ａから見た場合と第２の焦点検出画素Ｂから見た場合とで、撮像光学系の瞳の位置が異なるため、第１の焦点検出画素Ａが受光する光束と、第２の焦点検出画素Ｂが受光する光束とは、視差を有する。
【００３５】
＜撮像面位相差式の焦点検出の原理＞
１対をなす第１の焦点検出画素列（複数の第１の焦点検出画素Ａの列）と第２の焦点検出画素列（複数の第２の焦点検出画素Ｂの列）には、撮像素子の画素数が多くなるにつれて近似した２像が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素列で形成される一列の像信号（Ａ像信号とも称する）と第２の焦点検出画素列で形成される一列の像信号（Ｂ像信号とも称する）とは、互いに一致する。
【００３６】
これに対して、撮像光学系のピントがずれているならば、第１の焦点検出画素列で形成される一列の像信号と、第２の焦点検出画素列で形成される一列の像信号には、位相差が生じる。その位相差の方向は、予定焦点面に対して結像位置が手前側である前ピン状態と、予定焦点面に対して結像位置が遠側である後ピン状態とで逆になる。
【００３７】
図４は、ある画素部において、ピントが合ったときの第１の焦点検出画素Ａと第２の焦点検出画素Ｂの像信号の位相差を示す図である。図５は、ある画素において、ピントが合う前の第１の焦点検出画素Ａと第２の焦点検出画素Ｂの像信号の位相差を示す図である。図４および図５において、焦点検出画素ＡをＡ、焦点検出画素ＢをＢとして概念的に示している。
【００３８】
被写体上の特定点からの光束は、焦点検出画素Ａに対応する分割瞳を通って該焦点検出画素Ａに入射する光束ΦＬａと、焦点検出画素Ｂに対応する分割瞳を通って該焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図４に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、一対の像信号であるＡ像信号とＢ像信号は互いに一致する。
【００３９】
しかしながら、図５に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、一対の像信号であるＡ像信号とＢ像信号には、位相差が生じる。
【００４０】
一対の像信号であるＡ像信号とＢ像信号との位相差を算出することで、位相差式の焦点検出を行うことができる。
【００４１】
一対の像信号であるＡ像信号とＢ像信号に基づいて像シフト量ごとの相関量を算出し、当該相関量に基づいて位相差が算出することで、位相差式の焦点検出を行うことができる。
【００４２】
＜焦点検出ユニット２０９＞
次に、焦点検出ユニット２０９の光学系の様態について、図６を用いて説明する。
【００４３】
図６において、被写体面６０１から出た被写体像の光線は、レンズ群１０１や絞り１０２を含む撮像光学系６０２とメインミラー２０１を通過し、サブミラー２０２によって反射されて焦点検出ユニット２０９へ入射される。
【００４４】
焦点検出ユニット２０９は、視野マスク６０３、フィールドレンズ６０４、２次光学系絞り６０５、２次結像レンズ６０６、少なくとも一対の光電変換素子列６０７ａおよび光電変換素子列６０７ｂを有する焦点検出用センサ６０８で構成される。
【００４５】
焦点検出ユニット２０９に入射した光線は、予定結像面の近傍に配置された視野マスク６０３と、その先のフィールドレンズ６０４へ至る。視野マスク６０３は、焦点検出視野外の不要な光束がフィールドレンズ６０４乃至光電変換素子列６０７ａおよび６０７ｂへ入射させないようにするための、遮光部材である。フィールドレンズ６０４は、焦点検出視野の周辺部の減光や不鮮明さを抑えるために、撮像光学系６０２からの光線を制御するレンズである。フィールドレンズ６０４を通った光線は、撮像光学系６０２の光軸に対して対象に配置された１対の２次光学系絞り６０５と２次結像レンズ６０６を更に通過する。これにより、撮像光学系を通過する光束のうち異なる１対の光束のうち一方が光電変換素子列６０７ａに、他方が光電変換素子列６０７ｂに結像する。
【００４６】
＜焦点検出ユニット２０９の信号に基づく焦点検出の原理＞
撮像光学系６０２の結像面が予定結像面の前側にある場合、受光素子列６０７ａに入射する光線と光電変換素子列６０７ｂに入射する光線とは、図６にて矢印で示す方向へ互いに近づいた状態となる。また、撮像光学系６０２の結像面が予定結像面の後ろ側にある場合、光電変換素子列６０７ａに入射する光線と光電変換素子列６０７ｂに入射する光線とは、互いに離れた状態となる。このように、光電変換素子列６０７ａに入射する光線と光電変換素子列６０７ｂに入射する光線のずれ量は、撮像光学系６０２の合焦度合いと相関を有する。光電変換素子列６０７ａに入射する光線を光電変換した画像信号と、光電変換素子列６０７ｂに入射する光線を光電変換した画像信号の位相差を求めることで、位相差式の焦点検出を行うことができる。
【００４７】
＜デジタルカメラの動作モード＞
本実施形態のデジタルカメラは、撮像から記録に至る動作の違いによって、静止画ワンショットモードと、静止画連写モードとを有する。以下、各モードについて説明する。
【００４８】
＜静止画ワンショットモード＞
本実施形態の静止画ワンショットモードは、操作スイッチ２１１をＳＷ２まで押下することで、１枚の静止画が得られるモードである。静止画ワンショットモードでは、メインミラー２０１が入射光線の光路上に入る状態、つまりミラーダウンとなるようカメラコントローラ２１２によって制御されて、撮影者がファインダ２０６を覗くことで被写体像を目視できる状態となる。また、サブミラー２０２によって焦点検出ユニット２０９へ光線が導かれる。
【００４９】
静止画ワンショットモードで操作スイッチ２１１のＳＷ１が押下されると、測光センサ２０８を用いて被写体の輝度を測る第１の測光動作を行い、第１の測光結果に基づいて絞り１０２の開口や撮像部２１０の電荷蓄積時間やＩＳＯ感度が定められる。また、静止画ワンショットモードでＳＷ１が押下されると、第１の測光動作に続いて、焦点検出ユニット２０９によって第１の焦点検出が行われ、得られた第１の焦点検出結果に基づいてレンズ群１０１の焦点位置が制御される。
【００５０】
静止画ワンショットモードでＳＷ１押下状態からＳＷ２まで深く押下されると、第１の測光結果から定められた絞り１０２の開口に制御される。また同時に、メインミラー２０１とサブミラー２０２が光路上から退避された状態、つまりミラーアップとなるよう制御される。ミラーアップ制御後、測光結果から定められた電荷蓄積時間やＩＳＯ感度で撮像部２１０が画像信号を取得する撮像動作を行う。撮像部２１０は入射した被写体像を光電変換した撮像信号から、瞳分割された画像データである第１のＲＡＷデータを生成する。ここで、第１のＲＡＷデータとは、射出瞳面で分割された１対の被写体像光をそれぞれ光電変換することにより得られた、瞳分割された画像データである。言い換えると、各画素部の焦点検出画素Ａに対応する信号と焦点検出画素Ｂに対応する信号とを保持したデータである。第１のＲＡＷデータは、カメラコントローラ２１２と接続されているメモリ２１３に一時的に記憶される。
【００５１】
メモリ２１３に一時的に記憶された第１のＲＡＷデータは、カメラコントローラ２１２と接続されている相関演算部２１４へ送られ、瞳分割された画像データに基づく焦点検出である第２の焦点検出に用いられる。
【００５２】
また、カメラコントローラ２１２は、第１のＲＡＷデータを記録用のＲＡＷファイル用の所定のファイルフォーマットに整え、記録用の第２のＲＡＷデータを生成する。第２のＲＡＷデータは第１のＲＡＷデータに相当するデータとともに、撮影動作時の撮影条件（例えば、絞り値等）や属性情報を記録したものである。第２のＲＡＷデータは記録部２１９に記録される。
【００５３】
更に、カメラコントローラ２１２が、第２のＲＡＷデータが有する瞳分割された１対の画素信号それぞれを加算し、公知の現像演算などの画像処理を施す。この処理により、公知のファイルフォーマット（本実施形態では一例としてＪＰＥＧファイル）に編成された記録用の静止画データが得られ、記録部２１９に記録される。
【００５４】
＜静止画連写モード＞
本実施形態の静止画連写モードは、操作スイッチ２１１をＳＷ２まで押下した操作入力状態が続けられることで、操作スイッチ２１１が開放されるまで静止画の取得を繰り返すモードである。これにより、連続撮影された複数の静止画が取得される。
【００５５】
＜ＡＦモード＞
また、デジタルカメラは、焦点検出動作の違いにより、ワンショットＡＦモードとサーボＡＦモードの各焦点検出モードを備える。以下、各モードについて説明する。
【００５６】
ワンショットＡＦモードは、操作スイッチ２１１のＳＷ１が押下されることで、合焦までの焦点位置制御を１回だけ行う焦点検出モードである。焦点位置制御の完了後、ＳＷ１が押下された状態が続く間、焦点位置はそのまま固定される。本実施形態では、静止画ワンショットモード中はワンショットＡＦモードの焦点検出動作を行うようカメラコントローラ２１２が制御する。
【００５７】
一方、サーボＡＦモードは、操作スイッチ２１１のＳＷ１が押下されている間、焦点検出を繰り返し行い、合焦までの焦点位置制御を実施し続ける焦点検出モードである。焦点検出から焦点位置制御までを実施し続けることで、移動する被写体に焦点位置を追従させることができる。ＳＷ１の押下が解除されるかＳＷ２まで深く押下されることで、上記の繰り返し動作を終了する。本実施形態では、静止画連写モード中はサーボＡＦモードの焦点検出動作を行うようカメラコントローラ２１２が制御する。
【００５８】
＜デジタルカメラの動作＞
図７は、本実施形態におけるデジタルカメラの撮像動作及び画像の等級付け動作の流れを示すフローチャートである。これらの動作は、カメラコントローラ２１２が各部を制御することにより実現される。
【００５９】
＜撮像動作（ステップＳ７０１〜ステップＳ７０７）＞
本実施形態のデジタルカメラは、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、撮影者がファインダ２０６を覗くことで被写体像を確認できる状態となっている。はじめに、操作スイッチ２１１のＳＷ１がユーザによって押下されることで、本実施形態の動作が開始され、ステップＳ７０１へ進む。
【００６０】
ステップＳ７０１では、測光センサ２０８が測光を行い、測光結果を得る。測光後、ステップＳ７０２へ進む。
【００６１】
ステップＳ７０２では、焦点検出ユニット２０９がレンズ群１０１のデフォーカス量を検出する第１の焦点検出を行い、第１の焦点検出結果としてデフォーカス量を得る。第１の焦点検出後、ステップＳ７０３へ進む。
【００６２】
ステップＳ７０３では、カメラコントローラ２１２は、ステップＳ７０２で得た第１の焦点検出結果に基づいて、レンズ群１０１の駆動量であるレンズ駆動量を算出する。カメラコントローラ２１２は、算出したレンズ駆動量をレンズコントローラ１０４へ送信する。レンズコントローラ１０４は、受信したレンズ駆動量に基づいて、レンズ群１０１の焦点位置をレンズ駆動ユニット１０３を通じて制御する。焦点位置の制御後、ステップＳ７０４へ進む。
【００６３】
ステップＳ７０３におけるレンズ駆動量の算出にあたっては、レンズコントローラ１０４を通じて、絞り制御ユニット１０６から取得した現在の絞り値を考慮しても良い。また、フォーカス位置ごとに定まる、単位デフォーカス量の焦点位置変更に必要な基準レンズ駆動量や、デフォーカス量が大きくなるにつれて光学的に変化する基準レンズ駆動量の変動倍率を、光学情報記録部１０７から取得して考慮しても良い。
【００６４】
ステップＳ７０４では、カメラコントローラ２１２は、操作スイッチ２１１の操作入力状態を検出し、ＳＷ１が保持し続けられているか否かを判断する。ＳＷ１が保持し続けられていれば、ステップＳ７０５へ進む。ＳＷ１が保持し続けられていなければ、ステップＳ７０６へ進む。
【００６５】
ステップＳ７０５では、焦点検出モードがサーボＡＦモードであるか否かを、カメラコントローラ２１２が判断する。サーボＡＦモードであれば、操作スイッチ２１１のＳＷ１がユーザによって押下されるまで測光、焦点検出および焦点位置の制御を繰り返し行うために、ステップＳ７０１へ戻る。焦点検出モードがワンショットＡＦモードであれば、焦点位置を固定したまま操作スイッチ２１１のＳＷ１保持状態を引き続き監視するため、ステップＳ７０４へ戻る。
【００６６】
ステップＳ７０６では、カメラコントローラ２１２が、操作スイッチ２１１の操作入力状態を検出し、ＳＷ２まで押下されているか判断する。ＳＷ２まで押下されていれば、後述する撮像動作を行うために、ステップＳ７０７へ進む。ＳＷ２まで押下されていなければ、操作スイッチ２１１のＳＷ１とＳＷ２とが解放された状態とみなして、本実施形態の動作を終了する。
【００６７】
ステップＳ７０７では、カメラコントローラ２１２が、被写体像の光線を撮像部２１０へ入射させるべくメインミラー２０１やサブミラー２０２をミラーアップ状態に制御する。撮像部２１０は、ステップＳ７０１での測光結果から定められた電荷蓄積時間やＩＳＯ感度の設定に基づいて、画像信号を取得するための撮像動作を行う。
【００６８】
撮像部２１０は、入射した被写体像を光電変換することで画像信号を取得し、瞳分割された画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、メモリ２１３へ転送される。また、このほかに、カメラコントローラ２１２によって第２のＲＡＷデータや、第２のＲＡＷデータに所定の画像処理を施して公知のファイルフォーマットの静止画データ（例えばＪＰＥＧファイル）が生成される。カメラコントローラ２１２によっては、第２のＲＡＷデータ及び公知のファイルフォーマットの静止画データを記録部２１９に記録するよう制御する。記録後、ステップＳ７０８へ進む。
【００６９】
＜画像の等級づけ（ステップＳ７０８〜ステップＳ７１１）＞
ステップＳ７０８では、焦点検出ユニット２０９が、メモリ２１３に転送された第１のＲＡＷデータを用いて、第２の焦点検出を行う。デフォーカス量検出部２１６は、当該第２の焦点検出の結果に基づき、デフォーカス量を取得する。本実施形態の第２の焦点検出は、ステップＳ７０７の撮像動作の後に行われるため、本フローの１回のシーケンスの中で、ステップＳ７０２で説明した第１の焦点検出結果に基づくステップＳ７０３の焦点位置の制御より後に行われる。
【００７０】
第２の焦点検出動作についてより具体的に説明する。はじめに第１のＲＡＷデータが、カメラコントローラ２１２によりメモリ２１３から相関演算部２１４へ転送される。転送された第１のＲＡＷデータは、相関演算部２１４にて焦点検出領域に対応する画像領域が抽出されて、抽出された画像領域の各焦点検出画素列における位相のシフト量ごとの相関量が算出される。当該シフト量ごとの相関量が算出された後、位相差検出部２１５はそのうち最も相関量が高くなる位相差が算出される。デフォーカス量検出部２１６は、絞り１０２の絞り値ごとに定まる単位位相差あたりの基準デフォーカス量を、光学情報記録部から取得する。取得後、デフォーカス量検出部２１６は、取得した単位位相差あたりの基準デフォーカス量と、位相差検出部２１５で算出された位相差とに基づいて、公知の位相差検出方式によりデフォーカス量を算出する。デフォーカス量の算出後、ステップＳ７０９へ進む。
【００７１】
ステップＳ７０９では、第２の焦点検出結果に基づいて算出されたデフォーカス量が、所定の合焦範囲内であるか否かをカメラコントローラ２１２が判断する。すなわち、ステップＳ７０７で得られた第２のＲＡＷデータ及び静止画データが、意図した被写体に焦点位置が合った画像であるか否かをカメラコントローラ２１２が判断する。
【００７２】
所定の合焦範囲は、例えば、絞り値をＦ、許容錯乱円径をδ［μｍ］とすると、−１Ｆδ乃至＋１Ｆδ［μｍ］といったデフォーカス量で定められる、焦点位置の範囲である。ステップＳ７０８で得られたデフォーカス量が所定の合焦範囲内であれば、ステップＳ７０７で得られた第２のＲＡＷデータ及び静止画データが意図した被写体に焦点位置が合った画像であるとして、ステップＳ７１０へ進む。所定の合焦範囲内でなければ、ステップＳ７０７で得られた第２のＲＡＷデータ及び静止画データが意図した被写体に焦点位置が合っていないボケ画像であるとして、ステップＳ７１１へ進む。なお、デフォーカス量の絶対値が所定の閾値未満であれば合焦と判定し、所定の閾値以上であれば非合焦と判定しても良い。また、あくまで焦点状態に対応する情報に基づいて焦点状態を判断できれば良い。例えば、前述の像ずれ量が所定の範囲内であるか否かを判断することで焦点状態を判断しても良い。
【００７３】
ステップＳ７１０で、カメラコントローラ２１２は、ステップＳ７０７にて記録部２１９へ記録された、第２のＲＡＷデータ及び静止画データに対して、デフォーカス量の絶対値に基づく等級付けを行う。そして、等級付けの結果得られた等級を、第２のＲＡＷデータ及び静止画データの属性領域に記録する。
【００７４】
本実施例の属性領域は、画像ファイルにおいて、バイナリデータからなる画像データ領域ではなく、ユーザが後から編集可能な属性領域に記録される。このような動作を行うことにより、ユーザが後から手作業で等級付けをしたくなった場合や、本発明の撮像装置によって記録された等級を修正したくなった場合に、容易に編集することができ、作業効率を高めることができる。ユーザが後から編集可能な属性領域に記録する方法として、例えば静止画データをＪＰＥＧ方式で保存する場合、下記の参考文献１に基づいて、属性情報を示すＪＰＥＧ方式のマーカーセグメントである“ＡＰＰ１”に記載する方法が挙げられる。このほか、下記の参考文献２に基づいて、Ｅｘｉｆ方式のメーカー独自利用欄“ＭａｋｅｒＮｏｔｅ”に記載する方法も挙げられる。いずれの記載方法でも、ＸＭＬテキストデータで構成された参考文献３記載の記録仕様で等級を記載することで、サードパーティ製の画像編集ソフトウェアにて、一定の互換性を持って等級付け結果を読み出すことができるようになる。なお、ＪＰＥＧファイルフォーマットやＥｘｉｆフォーマットは、２バイトのマーカーを目印にして複数のセグメントに領域分割されていて、用いるマーカーの値に応じて記録される属性情報の内容が識別できるようになっている。このようなマーカーセグメントで各種情報のデータ列を仕切る記録様態は、ＪＰＥＧ方式のほかＴＩＦＦや他の画像ファイルフォーマットでも利用されている。
（参考文献１）ＩＳＯ／ＩＥＣ  １０９１８−１：１９９４
（参考文献２）一般社団法人  カメラ映像機器工業会  デジタルスチルカメラ用画像ファイルフォーマット規格  Ｅｘｉｆ  ２．３１（ＣＩＰＡ  ＤＣ−００８−２０１６）
（参考文献３）“Ｅｘｔｅｎｓｉｂｌｅ  Ｍｅｔａｄａｔａ  Ｐｌａｔｆｏｒｍ（ＸＭＰ）Ｓｐｅｃｉｆｉｃａｔｉｏｎ”Ｐａｒｔ１〜Ｐａｒｔ３，Ａｄｏｂｅ  Ｓｙｓｔｅｍｓ  Ｉｎｃｏｒｐｏｒａｔｅｄ．
【００７５】
本実施形態では等級付け一例として、合焦であれば星２つ設定、非合焦であれば星１つと設定する場合を示す。なお、本実施形態では、等級付け未実施の画像データと区別するため、あえて非合焦を星設定無しとして扱わない。ステップＳ７１０は所定の合焦範囲内である場合なので、カメラコントローラ２１２は属性領域に星２つの等級を記録するよう制御する。記録後、ステップＳ７１２へ進む。
【００７６】
ステップＳ７１１では、第２の焦点検出結果が所定の合焦範囲外なので、カメラコントローラ２１２は属性領域に星１つの等級を記録するよう制御する。このように、本実施形態では、カメラコントローラ２１２が、得られた静止画データの焦点状態に基づいて、静止画データを評価し、評価に応じた情報を静止画データを対応づけて記憶する。記録後、ステップＳ７１２へ進む。
【００７７】
ステップＳ７１２では、撮像動作モードが静止画連写モードであるか否かをカメラコントローラ２１２が判断する。静止画連写モードであれば、連写期間中の次の動作を判断するため、ステップＳ７１３へ進む。他の撮像動作モードであれば、撮影結果を適切に分類して記録し終えたため、本実施形態の動作を終了する。
【００７８】
ステップＳ７１３では、操作スイッチ２１１のＳＷ２が押下されて連写が続行されるよう操作入力されているか、操作スイッチ２１１のＳＷ１が押下されて改めて焦点位置の制御まで行うよう操作入力されているか、カメラコントローラ２１２が判断する。ＳＷ１あるいはＳＷ２が押下されていれば、ステップＳ７０２へ戻って、ミラーダウン状態に遷移されて、第１の焦点検出が再び行われる。
【００７９】
＜効果＞
以上、説明したように、本実施形態では、カメラコントローラ２１２が得られた静止画データの焦点状態に基づいて、静止画データを評価する。このような処理を行うことで、当該評価の情報に基づきユーザが静止画データを分類することができるようになる。これにより、実際に撮影された画像データの焦点状態に応じて画像を分類できるようになる。これにより、撮影された画像データを分類する作業負荷を軽減することができる。
【００８０】
［第２の実施形態］
第１の実施形態では、第２の焦点検出結果と所定の合焦範囲とを比較して、撮影で得られた画像データに対して、焦点状態に応じた等級付けを自動的に行い、画像データと対応付けて記憶していた。これに対し、第２の焦点検出結果と所定の合焦範囲との比較結果に応じて撮影で得られた画像の記録先を焦点状態に応じて変更することによって、画像分類を行っても良い。
【００８１】
以下、図８を用いて説明する。なお、本実施形態と第１の実施形態との共通点については極力説明を省略し、相違点に着目して説明する。
【００８２】
Ｓ８０９において、第１の実施形態と同様に、第２の焦点検出結果が合焦範囲内である場合には、各々ステップＳ８１０へと進む。第２の焦点検出結果が合焦範内ではない場合は、ステップＳ８１１へと進む。
【００８３】
ステップＳ８１０では、記録部２１９へ記録された第２のＲＡＷデータと静止画データが、記録部２１９に設けられた“合焦フォルダ”に格納されるよう、カメラコントローラ２１２が制御する。本実施形態の“合焦フォルダ”は、公知のファイルシステムで構築された記録部２１９のＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅ）内のＴＯＣ（Ｔａｂｌｅ  Ｏｆ  Ｃｏｎｔｅｎｔｓ）に存在が定義されている。また、カメラコントローラ２１２は、記録部２１９が“合焦フォルダ”と、第２のＲＡＷデータや静止画データの先頭アドレスやデータサイズなどの記録情報と、を関連付けられるよう、ＴＯＣを編集する。これらの設定動作の後、ステップＳ８１２へ進む。
【００８４】
ステップＳ８１１では、記録部２１９へ記録された第２のＲＡＷデータと静止画データが、記録部２１９に設けられた“非合焦フォルダ”に格納されるよう、カメラコントローラ２１２が制御する。当該処理の手順は、格納先のフォルダが“合焦フォルダ”ではなく“非合焦フォルダ”である点を除き、ステップＳ８１０と同様の処理である。設定動作の後、各々ステップＳ７１２へ進む。これ以降の処理は、第１の実施形態と同様である。
【００８５】
＜効果＞
以上説明したように、第２の実施形態では、カメラコントローラ２１２が、得られた静止画データの焦点状態に基づいて、静止画データの記録先となる格納フォルダを自動で変更する。このような処理を行うことで、当該評価の情報に基づき静止画データが分類される。
【００８６】
これにより、撮影された画像データを分類する作業負荷を軽減することができる。
【００８７】
［第３の実施形態］
第１の実施形態では、第２の焦点検出をデジタルカメラの内部で行うようカメラコントローラ２１２が制御する例を説明した。これに対し本実施形態では、デジタルカメラの外部の装置においてソフトウェアを実行することにより第２の焦点検出を行い、焦点検出結果に基づいて画像データに対して焦点状態に応じた等級付けを行う例を説明する。本実施形態では、デジタルカメラの記録部２１９を外部ＰＣに接続させて、外部のコンピュータ上のソフトウェアから第２のＲＡＷデータに基づく焦点検出を行い、焦点検出結果に応じてソフトウェアを通じて画像の等級付けを実行する。
【００８８】
本実施形態では、着脱可能な記憶媒体である記録部２１９に、第１の実施形態と同様に瞳分割された焦点検出画素の信号を有する第２のＲＡＷデータが格納されている。さらに、第２のＲＡＷデータと対応付けて、撮影時の絞り値、記録時の焦点位置における基準レンズ駆動量と記録時の焦点位置における変動倍率がともに格納されている。
【００８９】
＜画像データの分類装置の構成＞
本実施形態のＰＣの構成を説明する。図９は本実施形態のＰＣ及びその周辺機器を説明するブロック図である。
【００９０】
システム制御部９５０は、ユーザによるマウス、キーボード、タッチパネルなどの操作部９２０の操作によって、記録部２１９からの画像読み込みを受け付ける。これに応じて、記録インタフェース（Ｉ／Ｆ）９０２を介して、ＰＣ９００に着脱可能な記録部２１９に記録された画像データを画像メモリ９０３へ読み込む。
【００９１】
システム制御部９５０は、記録部２１９から読み込んだ画像データが圧縮符号化されたデータの場合は、画像メモリ９０３の画像データをコーデック部９０４へ送信する。
【００９２】
コーデック部９０４は、圧縮符号化された画像データを復号し、復号した画像データを画像メモリ９０３へ出力する。
【００９３】
システム制御部９５０は画像メモリ９０３に蓄積した復号後の画像データ、もしくは、ベイヤーＲＧＢ形式（ＲＡＷ形式）など非圧縮の画像データを画像処理部９０５へ出力する。
【００９４】
システム制御部９５０は、画像処理部９０５は、画像データに対して画像処理を行い、画像処理結果を画像メモリ９０３に格納する。
【００９５】
また、システム制御部９５０は、画像処理後の画像を画像メモリ９０３から読み出し、外部モニタインタフェース（Ｉ／Ｆ）９０６を介して、モニタ２００へ出力する。
【００９６】
なお、図９に示すように、ＰＣ９００は電源スイッチ９２１、電源部９２２、電気的に消去・記録可能な不揮発性メモリ９２３、各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ９２４を含む。更に、システム制御部９５０の動作用の定数、変数、不揮発性メモリ９２３から読みだしたプログラム等を展開するシステムメモリ９２５を有する。
【００９７】
＜ソフトウェアの動作＞
図１０は、本実施形態における外部のコンピュータ上のソフトウェアの画像への等級付け動作の流れを示すフローチャートである。以下に説明する動作は、不揮発性メモリ９２３から読みだしたソフトウェアをシステムメモリ９２５が展開し、ソフトウェアの各動作工程を行うようシステム制御部９５０が制御することにより実現される。説明を簡便にするために、一部、ソフトウェアを主語として説明する。
【００９８】
本実施形態では、起動直後の初期状態において外部のソフトウェアとデジタルカメラの記録部２１９とが電気的に接続されて通信可能な状態であり、ソフトウェアは記録部２１９に記録された各種のデータを読み出すことができる。
【００９９】
はじめに、ユーザによりソフトウェア上で画像の等級付けを開始させる操作入力が行われると、ステップＳ１００１へ進む。
【０１００】
ステップＳ１００１では、ソフトウェア上の操作入力により指定された画像データの第２のＲＡＷデータへのリンクが全て読み出され、外部のコンピュータ上にある不図示のメモリに一時記憶される。そして、ソフトウェアは、記録部２１９に一時記憶された第２のＲＡＷデータの個数を計数する。計数後、ステップＳ１００２へ進む。
【０１０１】
ステップＳ１００２では、ソフトウェアが、一時記憶した第２のＲＡＷデータへのリンクに基づき、第２のＲＡＷデータの１つに着目して、着目した１つの第２のＲＡＷデータを読み出す。そして、ソフトウェアは、着目した第２のＲＡＷデータに公知の現像処理といった各種の画像処理を施して、着目した第２のＲＡＷデータに対応する公知のファイルフォーマットの静止画データを生成する。生成後、ステップＳ１００３へ進む。
【０１０２】
ステップＳ１００３では、着目した第２のＲＡＷデータに対して焦点検出を行う。具体的には、ソフトウェアは、着目した第２のＲＡＷデータに格納された、瞳分割された焦点検出画素の信号、記録時の絞り値、基準レンズ駆動量、基準レンズ駆動量の変動倍率とを読み出す。そして、着目した第２のＲＡＷデータから焦点検出領域に対応する画像領域が抽出され、抽出された画像領域の各焦点検出画素列における位相のシフト量ごとの相関量が算出される。当該シフト量ごとの相関量が算出された後、そのうち最も相関量が高くなる位相差（像ずれ量とも称する）が算出される。位相差が算出された後、位相差の値と絞り値と基準デフォーカス量に基づいて、公知の位相差検出方式によりデフォーカス量が算出される。デフォーカス量を算出した後、ステップＳ１００４へ進む。
【０１０３】
ステップＳ１００４では、着目した第２のＲＡＷデータに対応して算出されたデフォーカス量が、所定の合焦範囲内であるか否かが判断される。本実施形態では一例として、所定の合焦範囲は、絞り値をＦ，許容錯乱円径をδ［μｍ］とすると、−１Ｆδ乃至＋１Ｆδ［μｍ］といったデフォーカス量で定められる、焦点位置の範囲である。所定の合焦範囲内であれば、ステップＳ１００５へ進む。所定の合焦範囲内でなければ、ステップＳ１００６へ進む。
【０１０４】
ステップＳ１００５で、システム制御部９５０は、着目した第２のＲＡＷデータと対応する静止画データとに対して、ステップＳ１００３で算出されたデフォーカス量の絶対値に基づく等級付けを行う。そして、等級付けの結果得られた等級を、第２のＲＡＷデータ及び静止画データの属性領域に記録する。本実施例の属性領域の一例としては、実施例１における図７のステップＳ７１０で説明した領域であり、ユーザーが後から容易に編集可能な領域である。本実施形態では等級付けの一例として、合焦であれば星２つ設定、非合焦であれば星１つと設定する場合を示す。なお、本実施形態では、等級付け未実施の画像データと区別するため、あえて非合焦を星設定無しとして扱わない。ステップＳ１００６は所定の合焦範囲内である場合なので、システム制御部９５０は属性領域に星２つの等級を記録するよう制御する。記録後、ステップＳ１００７へ進む。
【０１０５】
ステップＳ１００６では、ステップＳ１００３で算出されたデフォーカス量が所定の合焦範囲外なので、システム制御部９５０は属性領域に星１つの等級を記録する。このように、本実施形態では、システム制御部９５０が、得られた静止画データの焦点状態に基づいて、静止画データを評価し、評価に応じた情報を静止画データを対応づけて記憶する。記録後、ステップＳ１００７へ進む。
【０１０６】
ステップＳ１００７では、焦点検出を終えた第２のＲＡＷデータのカウンタｎに値１が加算される。加算後、ステップＳ１００８へ進む。
【０１０７】
ステップＳ１００８では、焦点検出を終えた第２のＲＡＷデータのカウンタｎと、ステップＳ１００１で計数された第２のＲＡＷデータの個数つまり計数値との、大小関係が判断される。カウンタｎが計数値より小さければ、未だ着目していない第２のＲＡＷデータに対して画像処理や焦点検出を行うため、ステップＳ１００２に戻る。そして、上述の処理を一時記憶されたすべての第２のＲＡＷデータに対して行う。
【０１０８】
カウンタｎが計測値以上であれば、デジタルカメラの記録部２１９の指定フォルダ内に格納された第２のＲＡＷデータを全て読み出し終えたため、本実施形態の動作を終了する。
【０１０９】
＜効果＞
本実施形態では、デジタルカメラの外部装置において第２の焦点検出を行い、当該第２の焦点検出の結果に基づいて等級付けを行う。等級付けに係る処理をデジタルカメラではなく外部装置において行うことで、デジタルカメラによる撮影中は処理負荷を軽減するとともに、第１の実施形態同様、当該評価の情報に基づきユーザが静止画データを分類するという効果を得ることができる。実際に撮影された画像データの焦点状態に応じて画像を分類できるようになるため、撮影された画像データを分類する作業負荷を軽減することができる。
【０１１０】
［第４の実施形態］
上述した実施形態では、図１における焦点検出ユニット２０９の焦点検出領域を、例えば撮影画像の画角における中央部といった、１カ所に固定した様態を例示した。しかし、この様態に限らずとも良い。本実施形態では、撮影画像の画角における複数の焦点検出領域で焦点検出を行う構成において、等級付けの処理を行う例を説明する。
【０１１１】
＜デジタルカメラの構成＞
図１１は、本実施形態の第４の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。なお、第１の実施形態における図１と同じ構成要素には同じ図番を付与している。
【０１１２】
図１との差異は、図１に備わっていた焦点検出ユニットに代わって、複数の焦点検出領域に対して焦点検出を行う多点の焦点検出ユニット１２０１を有する点である。
【０１１３】
また、この他、複数の焦点検出領域から撮影者が選択できるよう操作入力を受け付ける焦点検出領域入力部１２０２や、後述する被写体の画像領域を特定して画像平面上の位置を追尾する追尾部１２０３を有する。また、この他、焦点検出領域入力部１２０２の操作入力結果や追尾部１２０３の追尾結果に基づいて、焦点検出時の焦点検出領域を最終的に選択する焦点検出領域選択部１２０４を有している。
【０１１４】
また、この他、手振れや構図変更に起因する本実施形態のデジタルカメラの移動を検出する変位検出部１２０５を有している。変位検出部１２０５は、公知の加速度センサや角速度センサや角加速度センサで構成され、例えば｛ヨー、ピッチ、ロール、前後、左右、上下｝の６軸におけるデジタルカメラの変位を検出できる。
【０１１５】
＜焦点検出ユニット１２０１の焦点検出領域＞
図１２は、多点の焦点検出ユニット１２０１で選択できる複数の焦点検出領域を示す模式図である。撮像により記録される２次元の撮像平面１３０１において、網掛けの矩形で示された複数の各焦点検出領域１３０２が配置されている。撮像平面１３０１のうち、焦点検出領域１２０２に被写体像が掛かっていれば、多点の焦点検出ユニット１２０１を用いて被写体に対して焦点検出を行うことができる。
【０１１６】
また、撮像部２１０の撮像領域における入射光線の光軸中心と正立像の向きに基づいて、複数の各焦点検出領域１３０２にそれぞれ対応する撮像部２１０の画像信号を用いて焦点検出が行われる。
【０１１７】
＜デジタルカメラの動作＞
図１３は、本実施形態におけるデジタルカメラの画像の等級付け動作の流れを示すフローチャートである。本動作は、カメラコントローラ２１２が各部を制御することにより実現される。
【０１１８】
本実施形態のデジタルカメラは、電源投入直後の初期状態において、静止画ワンショットモードか静止画連写モードが設定されている。また、ミラーダウン状態であり、撮影者がファインダ２０６を覗くことで被写体像を確認できる状態となっている。
【０１１９】
はじめに、ユーザによって操作スイッチ２１１のＳＷ１が押下されることで、本実施形態の動作が開始され、ステップＳ１４０１へ進む。
【０１２０】
ステップＳ１４０１では、測光センサ２０８が第１の測光を行い、第１の測光結果を得るとともに、２次元の白黒多階調画像がメモリ２１３に一時記憶される。一時記憶後、ステップＳ１４０２へ進む。
【０１２１】
ステップＳ１４０２では、カメラコントローラ２１２は、焦点検出領域選択部１２０４によって焦点検出領域が未選択であるか否か（初期の選択状態か否か）を判断する。すでに選択が行われていれば、ステップＳ１４０３へ進む。未だ選択が行われていなければ、ステップＳ１４０５へ進む。
【０１２２】
ステップＳ１４０３では、追尾部１２０３は、前回選択された焦点検出領域にある被写体像が、現在どこに位置しているか追尾する公知の演算を行う。静止画ワンショットモードや静止画連写モードでは、ミラーダウン状態であるため、レンズ群１０１乃至絞り１０２を通った入射光線の一部が、測光用結像レンズ２０７により測光センサ２０８に結像される。測光センサ２０８では、不図示の光電変換素子により、２次元の白黒多階調画像が得られて、メモリ２１３にて一時記憶される。追尾部１２０３は、ステップＳ１４０１にてメモリ２１３に一時記憶された直近の白黒多階調画像とさらに１つ前に一時記憶された白黒多階調画像とを取得する。そして、前回選択された焦点検出領域にある被写体像に着目した公知のパターンマッチング方式の追尾演算を行う。追尾部１２０３は、追尾演算の結果として、着目した被写体像の移動ベクトルを算出する。算出後、ステップＳ１４０４へ進む。
【０１２３】
ステップＳ１４０４では、着目した被写体像の移動ベクトルに基づいて、多点の各焦点検出領域１３０２のうち移動先に最も近い焦点検出領域を、焦点検出領域選択部１２０４が最終的に焦点検出する領域として選択する。選択後、ステップＳ１４０８へ進む。
【０１２４】
ステップＳ１４０５では、焦点検出領域選択部１２０４において焦点検出領域が最終的に選択されていない状態である。このため、焦点検出領域選択部１２０４が焦点検出領域を最終的に選択するための判断材料として、撮影者が焦点検出領域入力部１２０２を通じて焦点検出領域を選択する操作入力を行ったか否かを判断する。このために焦点検出領域入力部１２０２にて操作入力状態の検出が行われる。操作入力が行われていれば、ステップＳ１４０６へ進む。操作入力されていなければ、ステップＳ１４０７へ進む。
【０１２５】
ステップＳ１４０６では、撮影者により焦点検出領域入力部１２０２を通じて焦点検出領域が選択されているため、焦点検出領域選択部１２０４は撮影者が選択した焦点検出領域を最終的に選択する。選択後、ステップＳ１４０８へ進む。
【０１２６】
ステップＳ１４０７では、焦点検出領域選択部１２０４によって焦点検出領域が選択されていない状態であり、かつ、焦点検出領域入力部１２０２にて操作入力状態が検出されなかった状態である。この場合は、撮影者が撮像平面１３０１の中央付近に被写体を配置していると仮定して、焦点検出領域選択部１２０４は多点の各焦点検出領域１３０２のうち中央の焦点検出領域を最終的に選択する。選択後、ステップＳ１４０８へ進む。
【０１２７】
ステップＳ１４０８では、焦点検出領域選択部１２０４が選択した焦点検出領域と、当該焦点検出領域に隣接する焦点検出領域において、焦点検出ユニット１２０１が第１の焦点検出を行い、第１の焦点検出結果を得る。第１の焦点検出後、ステップＳ１４０９へ進む。
【０１２８】
ステップＳ１４０９では、ステップＳ１４０８で選択された焦点検出領域に対応する焦点検出結果と、選択された焦点検出領域に隣接する焦点検出領域のそれぞれに対応する焦点検出結果のうち、最有力な焦点検出結果をカメラコントローラ２１２が判断する。判断方法は公知の多点自動焦点制御で行われている方法で良い。例えば、最も至近である焦点検出結果を最有力と判断しても良い。また、第１の焦点検出の結果のうち最も平均的な焦点検出結果を最有力と判断しても良い。最有力な焦点検出結果が判断された後、ステップＳ１４１０へ進む。
【０１２９】
ステップＳ１４１０では、最有力な焦点検出結果に基づいて、レンズ群１０１の焦点位置が制御される。具体的には、カメラコントローラ２１２はレンズコントローラ１０４を通じて、現在の絞り値を取得する。さらに、基準レンズ駆動量や、基準レンズ駆動量の変動倍率を、レンズコントローラ１０４を通じて取得する。カメラコントローラ２１２は、ステップＳ１４０８で得た第１の焦点検出結果、および取得した絞り値と基準レンズ駆動量とその変動倍率に基づいて、合焦となるフォーカス実駆動量を算出して、レンズコントローラ１０４へ送信する。レンズコントローラ１０４は、受信したフォーカス実駆動量に基づいて、レンズ群１０１の焦点位置をレンズ駆動ユニット１０３を通じて制御する。焦点位置の制御後、ステップＳ１４１１へ進む。
【０１３０】
ステップＳ１４１１では、操作スイッチ２１１の操作入力状態をカメラコントローラ２１２が検出して、ＳＷ１が保持し続けられているか判断する。ＳＷ１が保持し続けられていれば、ステップＳ１４１２へ進む。ＳＷ１が保持し続けられていなければ、ステップＳ１４１３へ進む。
【０１３１】
ステップＳ１４１２では、焦点検出モードがサーボＡＦであるか否かを、カメラコントローラ２１２が判断する。サーボＡＦモードであれば、操作スイッチ２１１のＳＷ２が押下されるまで測光と焦点検出領域の判断と焦点検出と焦点位置制御を繰り返し行うために、ステップＳ１４０１へ戻る。焦点検出モードがワンショットＡＦモードであれば、焦点位置を固定したまま操作スイッチ２１１のＳＷ１保持状態を引き続き監視するため、ステップＳ１４１１へ戻る。
【０１３２】
ステップＳ１４１３では、操作スイッチ２１１の操作入力状態をカメラコントローラ２１２が検出して、ＳＷ２まで深く押下されているか判断する。ＳＷ２まで押下されていれば、後述する撮像動作を行うために、ステップＳ１４１４へ進む。ＳＷ２まで押下されていなければ、ステップＳ１４１１にてＳＷ１が保持されていないとの判断されたことから、操作スイッチ２１１はＳＷ１やＳＷ２が解放された初期状態に戻されているので、本フローの動作を終了する。
【０１３３】
ステップＳ１４１４では、カメラコントローラ２１２が、被写体像の光線を撮像部２１０へ入射させるべくメインミラー２０１やサブミラー２０２をミラーアップ状態に制御する。撮像部２１０は、ステップＳ７０１での測光結果から定められた電荷蓄積時間やＩＳＯ感度の設定に基づいて、記録用の画像データを取得するための撮像動作を行う。
【０１３４】
撮像部２１０は、入射した被写体像を光電変換して撮像信号を取得し、瞳分割された画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、メモリ２１３へ転送される。また、このほかに、第２のＲＡＷデータや、公知のファイルフォーマットの静止画データ（例えばＪＰＥＧファイル）が生成される。カメラコントローラ２１２は、第２のＲＡＷデータ及び公知のファイルフォーマットの静止画データを、記録部２１９に記録するよう制御する。記録後、ステップＳ１４１５へ進む。
【０１３５】
＜画像の等級付け（ステップＳ１４１５〜ステップＳ１４１８）＞
ステップＳ１４１５では、メモリ２１３に転送された第１のＲＡＷデータを用いて、焦点検出領域選択部１２０４が選択した焦点検出領域とその隣接する焦点検出領域に対して、それぞれ第２の焦点検出が行われる。第２の焦点検出後、ステップＳ１４１６へ進む。
【０１３６】
ステップＳ１４１６では、第２の焦点検出結果のうち少なくとも１つが、所定の合焦範囲内であるか否かをカメラコントローラ２１２が判断する。少なくとも１つの焦点検出結果が所定の合焦範囲内に含まれていれば、合焦被写体が存在することを意味するので、ステップＳ１４１７へ進む。含まれていなければ、合焦被写体が存在しないことを意味するので、ステップＳ１４１８へ進む。
【０１３７】
ステップＳ１４１７で、カメラコントローラ２１２は、第２のＲＡＷデータ及び静止画データに対して、第２の焦点検出結果に基づいて算出された各焦点検出領域ごとのデフォーカス量の絶対値のうち最も小さな値に基づく等級付けを行う。そして、等級付けの結果得られた等級を、第２のＲＡＷデータ及び静止画データの属性領域に記録する。本実施例の属性領域の一例としては、実施例１における図７のステップＳ７１０で説明した領域であり、ユーザーが後から容易に編集可能な領域である。本実施形態では等級付けの一例として、合焦であれば星２つ設定、非合焦であれば星１つと設定する場合を示す。なお、本実施形態では、等級付け未実施の画像データと区別するため、あえて非合焦を星設定無しとして扱わない。本ステップは各焦点検出領域ごとのデフォーカス量の絶対値のうち最も小さな値が所定の合焦範囲内である場合なので、カメラコントローラ２１２は属性領域に星２つの等級を記録するよう制御する。記録後、ステップＳ１４１９へ進む。
【０１３８】
ステップＳ１４１８では、第２の焦点検出結果に基づいて算出された各焦点検出領域ごとのデフォーカス量の絶対値のうち最も小さな値が所定の合焦範囲外である場合なので、カメラコントローラ２１２は、属性領域に星１つの等級を記録する。記録後、ステップＳ１４１９へ進む。
【０１３９】
ステップＳ１４１９では、撮像動作モードが静止画連写モードであるか否かをカメラコントローラ２１２が判断する。静止画連写モードであれば、連写期間中の次の動作を判断するため、ステップＳ１４２０へ進む。他の撮像動作モードであれば、撮影結果を適切に分類して記録し終えたため、本実施形態の動作を終了する。
【０１４０】
ステップＳ１４２０では、操作スイッチ２１１のＳＷ２が押下されて連写が続行されるよう操作入力されているか、操作スイッチ２１１のＳＷ１が押下されて改めて焦点位置の制御まで行うよう操作入力されているか、カメラコントローラ２１２が判断する。ＳＷ１あるいはＳＷ２が押下されていれば、ステップＳ１４０１へ戻って、ミラーダウン状態に遷移されて、第１の測光が再び行われる。
【０１４１】
＜効果＞
以上説明したように、上述した実施形態では、追尾結果に基づいて選択された焦点検出領域に対して、第１の焦点検出が行われる。画像データを取得すると、当該画像データについて、第１の焦点検出で選択された焦点検出領域に対応する領域と、当該領域に隣接する領域とに対して第２の焦点検出を行う。そして、得られた複数の第２の焦点検出結果の中から好適な結果を用いて、第２のＲＡＷデータ及び静止画データに対して、デフォーカス量の絶対値に基づく等級付けを行う。これにより、第２の焦点検出のタイミングでの被写体の撮像平面上の位置が、第１の焦点検出のタイミングでの位置から変化してしまった場合でも、意図した被写体に対する焦点状態に基づいて画像データに対する等級付けを行うことができる。
【０１４２】
［第５の実施形態］
第４の実施形態では、被写体の追尾処理を行って、追尾先に対応する焦点検出領域およびその隣接領域から、最有力な第２の焦点検出結果を判断して、画像データの焦点状態に応じた画像の等級付けを行っていた。これにより、前述のような効果が得られるものの、課題が生じる場面もあり得る。例えば追尾処理の精度が低下する場面において、選択する焦点検出領域として人物ではなく背景等の物体に対応する焦点検出領域を選択してしまう場合が考えられる。この場合、意図した被写体に対応する焦点状態を検出することができないことから、適切に等級付けを行うことができない可能性がある。これに対し、本実施形態では、追尾処理の精度が低下してしまった場合であっても、適切に等級付けを行うことができる。以下、より具体的に説明する。
【０１４３】
＜デジタルカメラの構成＞
図１４は、本実施形態の第５の実施形態に係る撮像装置の一例であるデジタルカメラの構成を示す図である。なお、第４の実施形態における図１１と同じ構成要素には同じ図番を付与している。
【０１４４】
図１１との差異は、ピント板２０３で結像された被写体像から第１の測光を行うための測光センサ２０８で得られる像信号を用いて、被写体像から顔を検出する第１の顔検出部１６０１を有する点である。また、この他、撮像部２１０で得られる像信号を用いて、被写体像から顔を検出する第２の顔検出部１６０２を有する点でも異なる。
【０１４５】
＜デジタルカメラの動作＞
図１５は、本実施形態におけるデジタルカメラの画像の等級付け動作の流れを示すフローチャートである。本動作は、カメラコントローラ２１２が各部を制御することにより実現される。
【０１４６】
本実施形態のデジタルカメラは、電源投入直後の初期状態において、静止画ワンショットモードか静止画連写モードが設定されている。また、ミラーダウン状態であり、撮影者がファインダ２０６を覗くことで被写体像を確認できる状態となっている。
【０１４７】
はじめに、操作スイッチ２１１のＳＷ１が押下されることで、本実施形態の動作が開始され、ステップＳ１７０１へ進む。
【０１４８】
ステップＳ１７０１では、測光センサ２０８が第１の測光を行い、第１の測光結果を得るとともに、２次元の白黒多階調画像がメモリ２１３に一時記憶される。一時記憶後、ステップＳ１７０２へ進む。
【０１４９】
ステップＳ１７０２では、第１の顔検出部１６０１が、第１の測光結果から顔の検出を行う。第１の顔検出部１６０１における顔の検出範囲は、図１２を用いて説明した複数の各焦点検出領域１３０２が配置されている視野範囲に略一致されたものである。顔検出後、ステップＳ１７０３へ進む。
【０１５０】
ステップＳ１７０３では、第１の顔検出部１６０１が、顔が未検出か否かを判断する。顔が検出された場合は、ステップＳ１７０４へ進む。顔が検出されなかった場合は、ステップＳ１７０５へ進む。
【０１５１】
ステップＳ１７０４では、第１の顔検出部１６０１にて検出された顔の位置および大きさに基づいて、図１２を用いて説明した複数の各焦点検出領域１３０２のうち、顔に最も適切に対応する焦点検出領域が、焦点検出領域選択部１２０４にて選択される。
【０１５２】
なお、顔の大きさが所定の閾値以上であれば、顔中心が低コントラストで焦点検出しづらい鼻である可能性が高まるため、左右どちらかの目の位置に対応する焦点検出領域が最適と判断されて選択される。顔の大きさが所定の閾値未満であれば、顔中心に高コントラストで焦点検出しやすい目や眉や口が含まれる可能性が高まるため、顔中心に対応する焦点検出領域が最適と判断されて選択される。顔の大きさと比較される所定の閾値は、上述したように、焦点検出領域の視野が顔中心に略一致させた際に、焦点検出領域の視野に高コントラストな顔の部位が含まれるほど小さい顔サイズか否かに基づいて、値があらかじめ決定されている。焦点検出領域の選択後、ステップＳ１７１１へ進む。
【０１５３】
ステップＳ１７０５〜Ｓ１７１０は、第１の顔検出部１６０１で顔が検出されなかった場合に実行される動作であり、図１５のステップＳ１４０２〜１４０７に対応する動作であるため、ここでは説明を省略する。
【０１５４】
ステップＳ１７１１では、焦点検出領域選択部１２０４が選択した焦点検出領域と、その隣接する焦点検出領域において、焦点検出ユニット１２０１が第１の焦点検出を行い、第１の焦点検出結果を得る。第１の焦点検出後、ステップＳ１７１２へ進む。
【０１５５】
ステップＳ１７１２では、焦点検出領域選択部１２０４が選択した焦点検出領域と、その隣接する焦点検出領域のうち、最有力な焦点検出結果が判断される。判断方法は公知の多点自動焦点制御で行われている方法で差し支えない。具体的には、例えば最も至近である焦点検出結果を最有力と判断しても良い。また、別例としては第１の焦点検出の結果のうち最も平均的な焦点検出結果を最有力と判断しても良い。最有力と判断された第１の焦点検出結果は、後述するステップＳ１７２４の動作のために、最大で過去５回分がメモリ２１３に記憶保持される。最有力な焦点検出結果が判断された後、ステップＳ１７１３へ進む。
【０１５６】
ステップＳ１７１３では、最有力な焦点検出結果に基づいて、レンズ群１０１の焦点位置が制御される。具体的な方法は、図１３のステップＳ１４１０で説明した通りであるので、ここでは説明を省略する。焦点位置の制御後、ステップＳ１７１４へ進む。
【０１５７】
ステップＳ１７１４〜Ｓ１７１６は、図１３のステップＳ１４１１〜Ｓ１４１３に対応する動作であるため、ここでは説明を省略する。
【０１５８】
ステップＳ１７１７では、図１３のＳ１４１４に対応する動作が行われる。なお、本実施形態では、メモリ２１３が後述するステップＳ１７２４の動作のために、第１のＲＡＷデータを最大で過去２枚分保持する。記録後、ステップＳ１７１８へ進む。
【０１５９】
ステップＳ１７１８では、第２の顔検出部１６０２が、メモリ２１３に転送された第１のＲＡＷデータを用いて、第２の顔検出部１６０２にて顔検出を行う。第２の顔検出部１６０２における顔の検出範囲は、図１２を用いて説明した複数の各焦点検出領域１３０２が配置されている視野範囲に略一致する範囲である。顔検出後、ステップＳ１７１９へ進む。
【０１６０】
ステップＳ１７１９では、第２の顔検出部１６０２にて、顔が検出されたかをカメラコントローラ２１２が判断する。顔が検出された場合はステップＳ１７２０へ進む。顔が検出されなかった場合はステップＳ１７２１へ進む。
【０１６１】
ステップＳ１７２０では、焦点検出領域選択部１２０４は、第２の顔検出部１６０２にて検出された顔の位置および大きさに基づく第１のＲＡＷデータの領域を、第２の焦点検出のための焦点検出領域として選択する。選択後、ステップＳ１７２３へ進む。
【０１６２】
ステップＳ１７２１は、第２の顔検出部１６０２にて顔が検出されなかった場合であるここではさらに、第１の顔検出部１６０１にて顔が検出されていたかをカメラコントローラ２１２が判断する。顔が検出されていた場合はステップＳ１７２２へ進む。顔が検出されていなかった場合はステップＳ１７２４へ進む。
【０１６３】
ステップＳ１７２２は、第１の顔検出部１６０１および第２の顔検出部１６０２の両方で顔を検出しなかった場合に行われる動作である。具体的には、焦点検出領域選択部１２０４は、ステップＳ１７１２にて最有力な焦点検出結果と判断された第１の焦点検出における焦点検出領域に対応する位置の焦点検出領域を、第２の焦点検出のために選択する。選択後、ステップＳ１７２３へ進む。
【０１６４】
ステップＳ１７２３では、メモリ２１３に転送された第１のＲＡＷデータを用いて、焦点検出領域選択部１２０４が選択した焦点検出領域とその隣接する焦点検出領域それぞれに対して、第２の焦点検出が行われる。第２の焦点検出により各焦点検出領域のデフォーカス量を算出後、ステップＳ１７３０へ進む。
【０１６５】
ステップＳ１７２４は、第２の顔検出部１６０２では顔が検出されなかったが、第１の顔検出部１６０１では顔が検出された場合の処理である。例えば、激しく動く人物を撮影しており、第１の焦点検出のタイミングでは顔がデジタルカメラ２００側を向いていたものの、第２の焦点検出のタイミングでは顔が後ろを向いてしまい、顔を検出できなかった場合などが考えられる。このような場合、本実施形態では、過去の顔検出結果に基づいて、第１のＲＡＷデータが撮像され時刻における顔位置を推定する。本ステップで、顔位置の推定のために追尾部１１０３は、ステップＳ１７１７でメモリ２１３にて記憶された過去の第１のＲＡＷデータを用いて、第１の顔検出部１６０１での顔検出位置の周辺の動きベクトルと当該動きベクトルの相関信頼性とを算出する。ここで、顔検出位置の周辺とは、第１の顔検出部１６０１での顔検出位置に対応する、焦点検出領域と、当該焦点検出領域を基準として隣接する焦点検出領域を加えた領域である。動きベクトルは、各焦点検出領域に対応して算出される。また、相関信頼性とは、撮像時刻の異なる２つのＲＡＷデータに対して、公知のテンプレートマッチング方式で最も像信号の差分値の小さくなる移動量を算出し当該差分値の符号を反転して負値に変換したものである。２つのＲＡＷデータの顔検出位置に対応する像信号の差分値が小さくなり、一致度が高まるほど、相関信頼性が高くなる。得られた相関信頼性は、メモリ２３１へ一時記憶される。動きベクトルの算出後、ステップＳ１７２５へ進む。
【０１６６】
ステップＳ１７２５で、相関演算部２１４は、メモリ２１３に転送された第１のＲＡＷデータを用いて、ステップ１７２４で着目した各焦点検出領域に対してそれぞれ第２の焦点検出を行う。焦点検出後、ステップＳ１７２６へ進む。
【０１６７】
ステップＳ１７２６で、カメラコントローラ２１２は、ステップ１７１２の動作によってメモリ２１３にて記録保持された過去の焦点検出結果に基づいて、公知の多次式の予測演算によって、撮像時刻における被写体の焦点位置を予測する。予測演算後、ステップＳ１７２７へ進む。
【０１６８】
ステップＳ１７２７で、カメラコントローラ２１２は、ステップ１７２４で着目した各焦点検出領域において、ステップＳ１７２６で予測した被写体の焦点位置を基準に、焦点位置が所定範囲内となる焦点検出結果が得られた焦点検出領域を抽出する。続いて、抽出された焦点検出領域において、ステップＳ１７２５でメモリ２１３に一時記憶された各焦点検出領域に対応する動きベクトルの信頼性をそれぞれ比較して、最も信頼性の高い動きベクトルを判定する。判定後、ステップＳ１７２８へ進む。
【０１６９】
ステップＳ１７２８で、カメラコントローラ２１２は、第１の顔検出部１６０１で検出された顔位置と、ステップ１７２７にて最も信頼性が高いと判定された動きベクトルに基づいて、第１のＲＡＷデータが得られた時刻における顔位置を推定する。そして、推定された顔位置に最も近い焦点検出領域を選択する。選択後、ステップＳ１７２９へ進む。
【０１７０】
ステップＳ１７２９で、相関演算部２１４は、ステップＳ１７２９にて選択された焦点検出領域に隣接する焦点検出領域のうち、ステップＳ１７２５にて焦点検出されていない焦点検出領域に対して、ステップＳ１７２５と同様に第２の焦点検出を行う。焦点検出後、ステップＳ１７３０へ進む。
【０１７１】
ステップＳ１７３０では、第２の焦点検出結果のうち少なくとも１つが、所定の合焦範囲内であるか否かをカメラコントローラ２１２が判断する。少なくとも１つの焦点検出結果が所定の合焦範囲内に含まれていれば、合焦被写体が存在することを意味するので、ステップＳ１７３１へ進む。含まれていなければ、合焦被写体が存在しないことを意味するので、ステップＳ１７３２へ進む。
【０１７２】
ステップＳ１７３１〜１７３４の処理は図１３のＳ１４１７〜Ｓ１４２０と同様であるので、ここでは説明を省略する。
【０１７３】
＜効果＞
以上、上述した実施形態は、第１の焦点検出に対応するタイミングの顔検出結果と第２の焦点検出に対応するタイミングの顔検出結果とに基づいて、第２の焦点検出の焦点検出領域を選択する。こうして選択された焦点検出領域における第２の焦点検出結果に基づいて、等級付け処理を行う。これにより、例えば移動する被写体を撮影してる場合であっても、意図した被写体の焦点状態に応じて適切に等級付けを行うことができる。
【０１７４】
［変形例］
＜フォルダ分類の変形例＞
第３の実施形態〜第５の実施形態では、第２の焦点検出結果と所定の合焦範囲とを比較して、撮影で得られた画像データの等級付けを、焦点状態に応じて自動で変更していた。これに対し、第２の実施形態で説明したように、第２の焦点検出結果と所定の合焦範囲との比較結果に応じて撮影で得られた画像の記録先を変更することによって、画像分類を行っても良い。
【０１７５】
より具体的には、各々の実施形態のステップＳ１００５、Ｓ１４１６，Ｓ１７３１において、Ｓ８１０と同様の処理を行っても良い。また、Ｓ１００６、Ｓ１４１８、Ｓ１７３２において、Ｓ８１１と同様の処理を行っても良い。
【０１７６】
このような処理を行うことで、撮影で得られた画像の記録先となる格納フォルダを、焦点状態に応じて自動で変更し、画像を分類できるようになる。これにより、撮影された画像データを分類する作業負荷を軽減することができる。所定の合焦範囲外だった撮影画像のみ、例えば“非合焦フォルダ”という名前のサブフォルダに格納するよう、記録部２１９に要求しても良い。このような動作を行うことにより、所定の合焦範囲内だった撮影画像は、従来と同じフォルダ構成の記録先に格納され、撮影者は従来通りのフォルダ展開操作により合焦の撮影画像から閲覧できるようになる。
【０１７７】
また、合焦閾値を複数段階設けて、第２の焦点検出結果に基づいて多段階に等級付けするように分類しても良い。これにより、例えば｛ボケていない画像、若干ボケた画像、明確にボケた画像、非合焦｝といった順に分類できるため、撮影者がよりボケていない撮影画像から優先的に確認できる環境を構築でき、画像の確認作業を効率化できるようになる。上述した実施形態では、等級である星の数が１つ乃至２つと設定される等級付けを行っていたが、上記の様態に限られたものではない。例えば、星５つを最高の等級とすると、デフォーカス量の絶対値が０．５Ｆδ［μｍ］以内であれば最良の星５つ設定とする。そして、以降、デフォーカス量の絶対値が０．５Ｆδ［μｍ］増すごとに等級が下がり、２Ｆδ［μｍ］超であれば最悪の星１つ設定とする、といったような設定動作であっても良い。
【０１７８】
また、記録部２１９へ記録される第２のＲＡＷデータや公知のファイルフォーマットの静止画データにおけるファイル名に連番が用いられていた場合、新しいフォルダに分類することで連番が崩れてしまい、撮影順序が分からなくなる可能性があった。そこで、上述した実施形態に加えて、本実施形態の動作で新しいフォルダが生成されてその中に画像が保存される場合は、連番をリセットしないように制御しても良い。このような動作を行うことにより、ファイル名を参照することで撮影順序を後から分かるようにすることができる。
【０１７９】
また、所定以上大きい手振れを検出した場合には、ボケ画像が得られてしまう可能性が高い。そこで、変位検出部１２０５で本実施形態のデジタルカメラの変位を検出することで撮影画像を一律的に別フォルダに画像分類しても良い。このような動作を行うことにより、合焦である可能性がより高い画像から撮影者が確認作業を進めることができるようになる。
【０１８０】
また、不図示の顔検出部で顔の大きさを検出して、カメラコントローラ２１２（判定手段の一例である）が顔の大きさに応じて異なる制御にしても良い。具体的には、別フォルダに分類しても良い。例えば第２の焦点検出結果に所定以上の差があるものの、検出された顔が例えば焦点検出領域の半分程度しか占めていないといったように所定より小さければ、焦点検出に遠近競合が発生する可能性があるためである。また、主被写体は顔に限らず公知の被写体領域の検出機構によって、物体を含めた被写体の撮像画像に占める大きさに基づいて、画像分類しても良い。上述した動作を行うことにより、遠近競合の心配のある画像と心配のない画像とを分けることができ、撮影者は遠近競合の心配のない良い画像から閲覧確認を進めることができるようになる。
【０１８１】
＜ミラーアップ時の処理に関する変形例＞
上述した実施形態で説明した静止画ワンショットモード及び静止画連写モードは、第１の焦点検出をミラーダウン状態で行うモード（第１のモード）であった。ここで更に、第１の焦点検出をミラーアップ状態で行うモード（第２のモード）を有していても良い。第１の焦点検出をミラーアップ状態で行うライブビューモード及び動画撮影モードは、メインミラー２０１とサブミラー２０２がミラーアップした状態を維持するよう制御される点で静止画ワンショットモード及び静止画連写モードとは異なる。
【０１８２】
操作部２１８の操作入力によりライブビューモードに切り替えられると、メインミラー２０１とサブミラー２０２がミラーアップとなるよう制御される。また、ライブビューモードでは、例えば１秒間に６０回といった所定の周期で撮像部２１０が連続的に撮像動作を行い、得られた撮像信号を用いて表示部２１７で被写体像が表示される。ライブビューモードで操作スイッチ２１１のＳＷ１が押下されると、撮像部２１０の撮像信号を用いて被写体像の輝度を測る第１の測光動作が行われ、第１の測光結果に基づいて絞り１０２の開口や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。また、ライブビューモードでＳＷ１が押下されると、第１の測光動作に続いて、瞳分割された撮像信号データに基づく焦点検出である第１の焦点検出が行われて、第１の焦点検出結果に基づいてレンズ群１０１の焦点位置が制御される。ライブビューモードでＳＷ１押下状態からＳＷ２まで深く押下されると、撮像部２１０が記録用の撮像動作を行い、撮像部２１０は入射した被写体像を光電変換した撮像信号から、瞳分割された画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、カメラコントローラ２１２にて所定のＲＡＷ用のファイルフォーマットに整えられて、記録用の第２のＲＡＷデータが得られ、記録部２１９に記録される。第２のＲＡＷデータは、瞳分割された画像データが格納されている。また、生成された第１のＲＡＷデータは、瞳分割された１対の画素信号それぞれがカメラコントローラ２１２にて加算された上で公知の現像演算といった画像処理が施されて、公知のファイルフォーマットの静止画データが得られ、記録部２１９に記録される。また、生成された第１のＲＡＷデータは、メモリ２１３へ転送され、瞳分割された画像データに基づく焦点検出である第２の焦点検出に用いられる。また、撮像部２１０の撮像信号を用いて被写体像の輝度を測る第２の測光動作が行われ、第２の測光結果に基づいて絞り１０２の開口や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。
【０１８３】
操作部２１８の操作入力により動画記録モードに切り替えられると、メインミラー２０１とサブミラー２０２がミラーアップとなるよう制御される。また、動画記録モードでは、例えば１秒間に６０回といった所定の周期で撮像部２１０が連続的に撮像動作を行い、得られた撮像信号を用いて表示部２１７で被写体像が表示される。動画記録モードで操作部２１８に動画記録開始の操作入力が行われると、撮像部２１０は撮像信号から、瞳分割された画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、瞳分割された１対の画素信号それぞれがカメラコントローラ２１２にて加算された上で公知の現像演算といった画像処理が施されて、公知のファイルフォーマットの動画データが得られ、記録部２１９に記録される。また、生成された第１のＲＡＷデータは、メモリ２１３へ転送され、瞳分割された画像データに基づく焦点検出である第１の焦点検出に用いられる。また、撮像部２１０の撮像信号を用いて被写体像の輝度を測る第２の測光動作が行われ、第２の測光結果に基づいて絞り１０２の開口や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。
【０１８４】
静止画ワンショットモード及び静止画連写モードでは、焦点位置の制御目標を定めるための第１の焦点検出を、ミラーダウン状態にて焦点検出ユニット２０９を用いて行っていた。しかし、ライブビューモード及び動画撮影モードでは、これに限らず、撮像動作モードがライブビューモードであった場合、ミラーアップ状態にて撮像信号を用いて第１の焦点検出を行い、その結果に基づいて、焦点位置の制御目標が定められる。この場合、上述した第２のＲＡＷデータや静止画データにおいて記録された被写体像の焦点位置は、１つ前の撮像動作で得られた撮像信号を用いて焦点検出が行われて、その検出結果に基づいてレンズ群１０１が制御された焦点位置であることを意味する。
【０１８５】
また、上述した実施形態では、撮像動作の電荷蓄積時間やＩＳＯ感度を定めるための第１の測光を、ミラーダウン状態にて測光センサ２０８を用いて行っていた。しかし、これに限らず、撮像動作モードがライブビューモードであった場合、ミラーアップ状態にて撮像信号を用いて第１の測光を行い、その結果に基づいて、撮像動作の電荷蓄積時間やＩＳＯ感度が定められる。この場合、上述した第２のＲＡＷデータや静止画データにおいて記録された被写体像の露光量は、１つ前の撮像動作で得られた撮像信号を用いて測光された結果に基づく露光量であることを意味する。
【０１８６】
また、撮像動作モードがライブビューモードであった場合、ミラーアップ状態にて撮像信号を用いてメモリ２１３へ撮像信号を一時記憶しながら追尾演算を行う。そして、撮信号を用いた追尾結果に基づいて、多点の各焦点検出領域１３０２のうち被写体の移動先に最も近い焦点検出領域を、焦点検出領域選択部１２０４が最終的に焦点検出する領域として選択する。
【０１８７】
＜第２の焦点検出のための焦点検出領域の選択に関する変形例＞
また、上述の実施形態では、第２の焦点検出において、焦点検出領域選択部１２０４が選択した焦点検出領域とその隣接する焦点検出領域とで焦点検出が行われて、これらの焦点検出結果のいずれかが所定の合焦範囲内であるか否かで、画像の分類を行っていた。しかし、これに限らず、絞り１０２の絞り値が所定より開放側である場合、選択した焦点検出領域と、その隣接する焦点検出領域の各焦点検出結果との間に、所定以上の差が算出されるか否かをカメラコントローラ２１２が算出と判断を行う。そして、判断結果に応じて画像分類を行っても良い。例えば所定以上の差が算出された場合は、ピント差の大きな構図の撮影画像が得られたことから、“大きいボケ味”といったフォルダ名に分類する。また、例えば所定以上の差が算出されなかった場合は、ピント差の小さな構図の撮影画像が得られたことから、小さいボケ味”といったフォルダ名に分類する。このような動作を行うことにより、撮影者の意図した撮影画像だったか否かに応じて画像分類を行うことができるようになる。
【０１８８】
＜焦点検出回数を増やした場合の変形例＞
上述した実施形態では、撮影のタイミングに先立つ時刻で第１の焦点検出が行われ、第１の焦点検出に基づいて焦点位置が制御された後、記録用の撮影動作が行われていた。しかし、これに限らず、第１の焦点検出に基づいて焦点位置が制御された後、改めて焦点検出を行って、そのタイミングにおける焦点状態を確認するようにしても差し支えない。このような動作を行うことにより、改めて焦点検出した結果が焦点状態でなかった場合、焦点位置の制御をやり直すことができ、記録用の撮影における焦点位置が合焦である可能性を高めることができる。なお、ここで、焦点位置の制御後に改めて焦点検出を行うタイミングと、その後の記録用の撮影タイミングとはやはり時間差が生じる。このため、撮影画像がボケてしまう可能性が残ってしまう。したがって、上述した実施形態で説明した通り、記録用の撮影画像を用いた第２の焦点検出を行うことで、撮影画像の焦点状態をより精度よく検出することができる。
【０１８９】
＜焦点検出方式に関する変形例＞
また、上述した実施形態では、第１の焦点検出や第２の焦点検出として位相差検出方式の焦点検出を行っていた。しかし、これに限らず、例えば特開２０１６−１８１１６号公報で開示されている公知のＤＦＤ方式やその他の焦点検出方式を用いても差し支えない。このような動作を行うことにより、上述した実施形態と同様の効果を得ることができる。
【０１９０】
また、撮像制御モードがライブビューモード又は動画撮影モードであれば、第１の焦点検出や第２の焦点検出として被写体像の高周波成分に基づくコントラスト評価方式の焦点検出を行っても差し支えない。この場合、第１の焦点検出におけるコントラスト評価レベルを一時記憶しておき、第２の焦点検出の検出結果が前記コントラスト評価レベル前後、例えば９５％以上１１０％以下といったレベルであるか否かが、カメラコントローラ２１２で判断される。第２の焦点検出の検出結果が前記コントラスト評価レベル前後であれば、合焦範囲内と判断して、“合焦フォルダ”と関連付けられるよう記録部２１９で制御される。第２の焦点検出の検出結果が前記コントラスト評価レベル前後でなければ、“非合焦フォルダ”と関連付けられるよう記録部２１９で制御される。ここで、もし、第１の焦点検出と第２の焦点検出の画像データの画素数が異なる、つまり空間周波数が異なる様態の場合は、空間周波数の相違に応じた係数を、第１の焦点検出におけるコントラスト評価レベルに積算する。これにより、合焦判断の正確性を高めることができる。このような動作を行うことにより、上述した実施形態と同様の効果を得ることができる。
【０１９１】
＜その他の変形例＞
また、第３の実施形態では、デジタルカメラの記録部２１９と外部のコンピュータとを電気的に接続して通信可能な状態を構築していた。しかし、これに限らず、デジタルカメラの記録部２１９からデータを読み出す読み出し機器と、外部のコンピュータとを電気的に接続して通信可能な状態を構築する構成でも差し支えない。また、これに限らず、デジタルカメラの記録部２１９や、それを読み出せる読み出し機器や、外部のコンピュータに無線通信手段を設けて、電気的な接続なく通信可能な状態を構築する構成でも差し支えない。上述した構成を備えることで、同様の効果を得ることができる。
【０１９２】
また、本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み取り実行する処理でも実現できる。更に、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
【０１９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１９４】
２０９  焦点検出ユニット
２１０  撮像部
２１２  カメラコントローラ
【図１】
2019086775.tif 000003
【図２】
2019086775.tif 000004
【図３】
2019086775.tif 000005
【図４】
2019086775.tif 000006
【図５】
2019086775.tif 000007
【図６】
2019086775.tif 000008
【図７】
2019086775.tif 000009
【図８】
2019086775.tif 000010
【図９】
2019086775.tif 000011
【図１０】
2019086775.tif 000012
【図１１】
2019086775.tif 000013
【図１２】
2019086775.tif 000014
【図１３】
2019086775.tif 000015
【図１４】
2019086775.tif 000016
【図１５】
2019086775.tif 000017