(57)【要約】【課題】連続撮像により取得された複数の画像データの焦点状態の評価をより適切に行う。【解決手段】画像処理装置２１２は、連続撮像により取得された複数の画像データのそれぞれの焦点状態を第１の評価条件で評価し、また、複数の画像データのそれぞれの焦点状態を、第１の評価条件とは異なる第２の評価条件で評価する。画像処理装置は、第１の評価条件での評価結果を示す第１の評価情報と第２の評価条件での評価結果を示す第２の評価情報を記録する。【選択図】図１
2019193256.tif 000002
【特許請求の範囲】
【請求項１】
連続撮像により取得された複数の画像データのそれぞれの焦点状態を第１の評価条件で評価する第１の評価手段と、
前記複数の画像データのそれぞれの前記焦点状態を、前記第１の評価条件とは異なる第２の評価条件で評価する第２の評価手段と、
前記第１の評価条件での評価結果を示す第１の評価情報と前記第２の評価条件での評価結果を示す第２の評価情報を記録する記録手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の評価条件における評価段階の数は、前記第２の評価条件における評価段階の数より多いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の評価手段は、前記第２の評価条件を変更可能に設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の評価手段は、前記第１の評価条件での評価結果を用いて前記第２の評価条件を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の評価手段は、前記第１の評価条件での評価結果の統計値を用いて前記第２の評価条件を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の評価手段は、前記第１の評価条件における評価段階の範囲のうち一部において前記第２の評価条件における評価段階の範囲を変更可能に設定することを特徴とする請求項３から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記記録手段は、前記第１の評価情報を第１の記録方式で記録し、前記第２の評価情報を前記第１の記録方式とは異なる第２の記録方式で記録することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第２の記録方式は、前記第１の記録方式よりも互換性が高い記録方式であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第２の記録方式は、前記第２の評価情報を、ＪＰＥＧ方式におけるマーカーセグメントのＡＰＰ１領域に、ＡｄｏｂｅＸＭＰ規格におけるＸＭＬ方式のテキストフォーマットで記録する記録方式であり、
前記第１の記録方式は、前記第１の評価情報を、前記ＡＰＰ１領域とは異なるＡＰＰ１領域に、前記ＸＭＬ方式のテキストフォーマットとは異なるフォーマットで記録する記録方式であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２の評価手段は、前記複数の画像データが動画撮像により取得された複数のフレーム画像データである場合に、所定の時間周期で前記第２の評価条件での評価を行うことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記複数の画像データは、前記連続撮像において撮像光学系の焦点位置が連続して移動しながら取得された画像データであることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記複数の画像データは、前記連続撮像において同一絞り値の撮像光学系を通して取得された画像データであることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１３】
前記焦点状態は、位相差検出方式により検出され、
前記第２の評価手段は、前記連続撮像において前記位相差検出方式において用いられた一対の位相差像信号の特徴および前記一対の位相差像信号の相関値のいずれかに関する指標に応じて前記第２の評価条件を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項１４】
前記焦点状態が、主被写体と背景のそれぞれに対して検出されている場合に、
前記第２の評価手段は、前記主被写体の焦点状態と前記背景の焦点状態との差に応じて前記第２の評価条件を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項１５】
連続撮像を行う撮像素子と、
請求項１から１４のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１６】
連続撮像により取得された複数の画像データのそれぞれの焦点状態を第１の評価条件で評価するステップと、
前記複数の画像データのそれぞれの前記焦点状態を、前記第１の評価条件とは異なる第２の評価条件で評価するステップと、
前記第１の評価条件での評価結果を示す第１の評価情報と前記第２の評価条件での評価結果を示す第２の評価情報を記録するステップとを有することを特徴とする画像処理方法。
【請求項１７】
コンピュータに、請求項１６に記載の画像処理方法を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により取得された画像データを、焦点検出結果に基づいて自動分類する技術に関する。
【背景技術】
【０００２】
撮像により取得された複数の画像を鮮明さに応じて分類し、記録する方法が提案されている。特許文献１には、焦点位置を固定した状態で複数回の静止画連写を行い、得られた複数の静止画のうち高周波成分に応じたＡＦ評価値が最も高い１つの画像を自動的に選定して保存用記録領域に記録する撮像装置が開示されている。この撮像装置では、選定しなかった静止画を消去用記録領域に記録する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２０４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１にて開示された撮像装置では、連写によって得られた複数の静止画のうち相対的に合焦している静止画を記録するため、複数の静止画から焦点状態が良い静止画をユーザが選別する必要がない。しかしながら、この撮像装置では、ユーザが意図した静止画が選択されない場合がある。すなわち、この撮像装置は焦点位置を固定した状態で連写を行うため、ＡＦ評価値が最も高い静止画が最も良い焦点状態の静止画であると推定する。しかし、ＡＦ評価値が最も高いことは撮像により取得された複数の静止画の中で相対的に焦点状態が最も良いというだけであり、必ずしもユーザが意図した被写体に対して合焦しているとは限らない。
【０００５】
また、奥行方向に移動する被写体に対して焦点位置を移動させながら連写する際に、焦点位置によって被写体距離（撮像距離）が異なることから、撮像距離の変化に応じて被写体の像倍率が変化する。被写体の像倍率が変化すると、被写体の空間周波数特性が変化し、さらに撮像の構図自体も変化するため、静止画のＡＦ評価値のレベルが変動し、焦点状態をＡＦ評価値で単純に比較できなくなる。
【０００６】
本発明は、連続撮像により取得された複数の画像データの焦点状態をより適切に評価することができる画像処理技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、連続撮像により取得された複数の画像データのそれぞれの焦点状態を第１の評価条件で評価する第１の評価手段と、複数の画像データのそれぞれの焦点状態を、第１の評価条件とは異なる第２の評価条件で評価する第２の評価手段と、第１の評価条件での評価結果を示す第１の評価情報と第２の評価条件での評価結果を示す第２の評価情報を記録する記録手段とを有することを特徴とする。
【０００８】
また、連続撮像を行う撮像素子と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【０００９】
また、本発明の他の一側面としての画像処理方法は、連続撮像により取得された複数の画像データのそれぞれの焦点状態を第１の評価条件で評価するステップと、複数の画像データのそれぞれの焦点状態を、第１の評価条件とは異なる第２の評価条件で評価するステップと、第１の評価条件での評価結果を示す第１の評価情報と第２の評価条件での評価結果を示す第２の評価情報を記録するステップとを有することを特徴とする。
【００１０】
なお、コンピュータに、上記画像処理方法を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１１】
本発明によれば、連続撮像により取得された複数の画像データの焦点状態を互いに異なる２つの評価条件で評価することで、より適切な焦点状態の評価を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１であるデジタルカメラの構成を示す図。
【図２】実施例１のデジタルカメラの撮像面を光入射から見て示す図。
【図３】実施例１の撮像面内の画素部の構造を示す図。
【図４】実施例１において合焦状態で焦点検出画素から得られた位相差像信号の位相差を示す図。
【図５】実施例１において非合焦状態で焦点検出画素から得られた位相差像信号の位相差を示す図。
【図６】図１における焦点検出ユニットの光学系を示す図。
【図７】ＪＰＥＧ画像データの構成例を示す図。
【図８】実施例１のデジタルカメラが実行する処理を示すフローチャート。
【図９】実施例１における第１の等級付けの処理を示すフローチャート。
【図１０】実施例１の第１の等級付け処理におけるデフォーカス量絶対値と等級との関係を示す図。
【図１１】実施例１における第２の等級付けの処理を示すフローチャート。
【図１２】実施例１におけるデフォーカス量に基づく第１の等級の分布の例を示す図。
【図１３】実施例１における第１の等級付けの結果の分布の中心値と重心値に基づく第２の等級付けの例を示す図。
【図１４】本発明の実施例２のデジタルカメラにおける第２の等級付けモードを説明する図。
【図１５】実施例２のデジタルカメラが実行する処理を示すフローチャート。
【図１６】本発明の実施例３のデジタルカメラが行う処理を示すフローチャート。
【図１７】実施例３において焦点検出信頼度に応じて第２の等級付けで着目する合焦度の区分範囲を移動させる例を示す図。
【図１８】本発明の実施例４であるデジタルカメラの構成を示す図。
【図１９】実施例４において焦点検出ユニットで選択できる複数の焦点検出領域を示す図。
【図２０】実施例４のデジタルカメラが実行する処理を示すフローチャート。
【図２１】実施例４のデジタルカメラが行う第１の等級付けの処理を示すフローチャート。
【図２２】本発明の実施例５であるコンピュータ（画像処理装置）の構成を示す図。
【図２３】実施例５のコンピュータが実行する処理を示すフローチャート。
【図２４】実施例６のデジタルカメラが実行する処理を示すフローチャート。
【図２５】実施例６における第２の等級付けの処理におけるデフォーカス量絶対値と等級との関係を示す図。
【図２６】本発明の実施例６のデジタルカメラにおける第２の等級付けモードを説明する図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
＜デジタルカメラの構成＞
図１は、本発明の実施例１である撮像装置としてのデジタルカメラの構成を示す。デジタルカメラは、レンズユニット部１００とカメラ部２００とを有する。レンズユニット部１００は、不図示のマウント部に設けられたレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ送信ライン、データ受信ライン等を含む通信バスライン用端子が設けられており、該通信バスライン用端子によりレンズユニット部１００とカメラ部２００とが通信可能になっている。
【００１５】
レンズユニット部１００は、撮像光学系を有する。撮像光学系は、それぞれ光軸方向に移動して変倍（ズーム）および焦点調節（フォーカス）を行うズームレンズおよびフォーカスレンズを含むレンズ部１０１と、光量を制御する絞り１０２とを含む。また、レンズユニット部１００には、ズームレンズおよびフォーカスレンズを移動させるステッピングモータを駆動源とする駆動系および該駆動源を駆動する電気回路を含むレンズ駆動ユニット１０３が設けられている。レンズユニット部１００には、レンズ駆動ユニット１０３内のステッピングモータの位相を示す信号の波形をレンズコントローラ１０４を通じて取得してズームレンズやフォーカスレンズの位置を検出するレンズ位置検出部１０５が設けられている。レンズ部１０１、レンズ駆動ユニット１０３およびレンズ位置検出部１０５によって焦点調節手段が構成される。
【００１６】
さらにレンズユニット部１００には、絞り１０２を制御する絞り制御ユニット１０６と、レンズ部１０１と絞り１０２の各種光学設計値が記録された光学情報記録部１０７とが設けられている。レンズ駆動ユニット１０３、絞り制御ユニット１０６および光学情報記録部１０７は、レンズユニット部１００全体の動作を制御するＣＰＵ等のレンズコントローラ１０４に接続されている。
【００１７】
カメラ部２００は、レンズユニット部１００と電気接点ユニット１０８を介して通信を行い、レンズ部１０１のズームやフォーカスおよび絞り１０２の制御要求をレンズユニット部１００に送信し、制御結果をレンズユニット部１００から受信する。
【００１８】
撮像光学系に入射した光束は、レンズ部１０１および絞り１０２を通過してカメラ部２００内のメインミラー２０１に導かれる。メインミラー２０１はハーフミラーにより構成されており、図１に示すように撮像光学系からの光路上に斜めに配置された状態（以下、ミラーダウン状態という）では、入射光束の半分をピント板２０３に向けて反射し、他の半分をサブミラー２０２に向けて透過させる。また、メインミラー２０１は、図１にて両矢印曲線で示すように上方向に移動して光路から退避することができる（以下、この状態をミラーアップ状態という）。サブミラー２０２も、同図にて両矢印曲線で示すように、ミラーアップ状態にて光路外に退避する。
【００１９】
ピント板２０３は、後述する撮像部２１０と光学的に共役な位置に配置された拡散板であり、撮像光学系からの光束がこのピント板２０３上に被写体像を形成する。ピント板２０３を透過した光束（被写体像）は、ペンタプリズム２０４にて正立像に変換され、接眼レンズ２０５を通過してファインダ２０６に到達する。ユーザはファインダ２０６および接眼レンズ２０５を通じてピント板２０３上に形成された被写体像を観察することができる。
【００２０】
また、ペンタプリズム２０４に入射した光束の一部は、測光用結像レンズ２０７を通過して被写体像の輝度を測定する測光センサ２０８に入射する。測光センサ２０８は、不図示の光電変換素子や、該光電変換素子にて得られた電荷から輝度を算出する不図示のプロセッサで構成されている。また、測光センサ２０８は、光電変換素子から得られた電荷から２次元の白黒多階調画像データを得る。この白黒多階調画像データは、後から各種モジュールより参照できるようにメモリ２１３に保存される。
【００２１】
ミラーダウン状態において、サブミラー２０２は、反射した光束を焦点検出ユニット２０９に導く。焦点検出ユニット２０９は、焦点検出領域において位相差検出方式による焦点検出を行う。焦点検出領域は、撮像画角の中央部等の１カ所の領域である。
【００２２】
一方、ミラーアップ状態において、撮像光学系に入射した光束は、レンズ部１０１および絞り１０２を通過してカメラ部２００内の撮像部２１０に到達する。撮像部２１０は、二次元光電変換素子としての撮像素子と、該撮像素子から出力された撮像信号から画像データを生成したり該画像データの輝度補正等の各種画像処理を行ったりするプロセッサを含む。撮像部２１０の詳しい構成については後述する。
【００２３】
また、カメラ部２００には、ユーザにより操作される操作スイッチ２１１が設けられている。操作スイッチ２１１は、２段ストロークタイプのスイッチであり、１段目（ＳＷ１）のオン操作により、ミラーダウン状態にて測光およびフォーカス等の撮像準備動作が開始される。また、２段目（ＳＷ２）のオン操作によりメインミラー２０１およびサブミラー２０２がミラーアップ状態に移動して撮像動作が開始される。後述する静止画連写モードにおいてＳＷ２のオン操作が継続されると、複数回の撮像動作（連写）が行われる。
【００２４】
相関演算部２１４は、焦点検出ユニット２０９又は撮像部２１０から取得した一対の位相差像信号（２像信号）に対して相関演算を行って該２像信号間のシフト量ごとの相関値を算出する。位相差検出部２１５は、算出された相関値が最も高い相関を示すシフト量、すなわち位相差（像ずれ量）を算出する。デフォーカス量検出部２１６は、位相差検出部２１５で算出された位相差と撮像光学系の光学特性とに基づいて撮像光学系のデフォーカス量を算出する。
【００２５】
カメラコントローラ２１２は、電気接点ユニット１０８を介してレンズコントローラ１０４との間で制御情報を送受信し、デフォーカス量検出部２１６で算出されたデフォーカス量に基づいてレンズ部１０１を駆動制御する。これにより、撮像光学系の焦点位置を調節する（すなわちＡＦを行う）。
【００２６】
本実施例のデジタルカメラは、撮像部２１０で撮像された被写体像や各種操作状況を表示する表示部２１７を有する。また、デジタルカメラは、撮像動作モードである静止画ワンショットモード、静止画連写モード、ライブビューモードおよび動画記録モードを備えており、ユーザが撮像動作モードを切り替えるために操作する操作部２１８を有する。操作部２１８は、動画記録の開始や終了の指示を入力することもできる。また、デジタルカメラは、後述するワンショットＡＦモードおよびサーボＡＦモードを含む焦点検出モードを備えており、ユーザは操作部２１８を通じて焦点検出モードを選択することができる。
【００２７】
＜撮像部２１０＞
撮像部２１０における撮像素子の撮像面の構成について図２および図３を用いて説明する。図２は、光入射側から見た撮像面を示している。撮像部２１０は、複数の画素部（水平方向ｈ画素部×垂直方向ｖ画素部）を有する。
【００２８】
図３（ａ）は、１つの画素部の構成を示している。各画素部は、撮像光学系の射出瞳面で分割された一対の光束のそれぞれが入射する第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂを有する。第１の焦点検出画素Ａおよび第２の焦点検出画素Ｂの前面には、集光用の１つのマイクロレンズＭＬが配置されている。各画素部は、Ｂａｙｅｒ配列の赤、緑、青のいずれかのカラーフィルタ（不図示）を有している。
【００２９】
画素部において、平滑層３０１は、マイクロレンズＭＬを形成するための平面である。遮光層３０２ａ,３０２ｂは、第１の焦点検出画素Ａと第２の焦点検出画素Ｂに不必要な斜め角度の光束を入射させないようにするために配置されている。第１の焦点検出画素Ａと第２の焦点検出画素Ｂはそれぞれ、撮像光学系の射出瞳のうち互いに異なる、かつ画素部の中心Ｃについて対称な瞳領域からの光束を互いに視差を持って受光して電荷（画素信号）を出力する。第１の焦点検出画素Ａの電荷と第２の焦点検出画素Ｂの電荷とを加算することで、図３（ｂ）に示すように撮像画素Ｃとしての電荷（撮像信号）を得ることができる。
【００３０】
＜撮像面位相差検出方式による焦点検出の原理＞
撮像素子において複数の第１の焦点検出画素Ａが配列された第１の焦点検出画素列と複数の第２の焦点検出画素Ｂが配列された第２の焦点検出画素列は互いに対をなす。これら対の第１および第２の焦点検出画素列上には、撮像素子の画素数が多くなるにつれて近似した一対の被写体像（２像）が形成されるようになる。第１の焦点検出画素列の複数の第１の焦点検出画素Ａのそれぞれからの画素信号が結合されることで一列の位相差像信号（以下、Ａ像信号という）が生成される。また、第２の焦点検出画素列の複数の第２の焦点検出画素Ｂのそれぞれからの画素信号が結合されることで一列の位相差像信号（以下、Ｂ像信号ともいう）が生成される。撮像光学系が被写体に対してピントが合っている合焦状態では、Ａ像信号とＢ像信号は互いに一致する。
【００３１】
これに対して、撮像光学系のピントが被写体に対してずれている非合焦状態では、Ａ像信号とＢ像信号との間には位相差が生じる。その位相差の方向は、予定焦点面に対して結像位置が手前側である前ピン状態と、予定焦点面に対して結像位置が遠側である後ピン状態とで逆になる。
【００３２】
図４は、ある画素部における合焦状態でのＡ像信号とＢ像信号間の位相差を示す。図５は、ある画素部における非合焦状態でのＡ像信号とＢ像信号の位相差を示す。図４および図５では、第１の焦点検出画素ＡをＡとして、第２の焦点検出画素ＢをＢとして示している。
【００３３】
被写体（一点）からの光束は、第１の焦点検出画素Ａに対応する瞳領域を通って該第１の焦点検出画素Ａに入射する光束ΦＬａと、第２の焦点検出画素Ｂに対応する瞳領域を通って該第２の焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系の合焦状態では、図４に示すように同一のマイクロレンズＭＬに入射角θ１で入射してこれを通過し、撮像素子上の１点に到達する。したがって、Ａ像信号とＢ像信号は互いに一致する。
【００３４】
しかし、図５に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズＭＬへの入射角がθ１からθ２に変化する分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、Ａ像信号とＢ像信号間には位相差が生じる。この場合、Ａ像信号とＢ像信号に対して上述した相関演算を行うことで位相差を算出しし、該位相差からデフォーカス量を算出する撮像面位相差検出方式による焦点検出を行うことができる。
【００３５】
＜焦点検出ユニット２０９＞
焦点検出ユニット２０９の光学系について、図６を用いて説明する。図６において、被写体面６０１から出射した光束は、レンズ部１０１および絞り１０２を含む撮像光学系６０２とメインミラー２０１を通過してサブミラー２０２により反射されて焦点検出ユニット２０９に入射する。焦点検出ユニット２０９は、視野マスク６０３、フィールドレンズ６０４、２次光学系絞り６０５、２次結像レンズ６０６および少なくとも一対の光電変換素子列６０７ａ，６０７ｂを有する焦点検出用センサ６０８を含む。
【００３６】
焦点検出ユニット２０９に入射した光束は、予定結像面の近傍に配置された視野マスク６０３を通過してフィールドレンズ６０４に入射する。視野マスク６０３は、焦点検出領域外の不要な光束がフィールドレンズ６０４から光電変換素子列６０７ａ,６０７ｂに入射するのを防ぐための遮光部材である。フィールドレンズ６０４は、焦点検出領域内の周辺部分の減光や不鮮明さを抑えるために、撮像光学系６０２からの光束を制御するレンズである。フィールドレンズ６０４を通過した光束は、撮像光学系６０２の光軸に対して対称に配置された一対の２次光学系絞り６０５と２次結像レンズ６０６を更に通過する。これにより、撮像光学系６０２を通過する光束のうち一部（対の一方）の光束が光電変換素子列６０７ａに入射し、他の一部（対の他方）の光束が光電変換素子列６０７ｂに入射する。
【００３７】
＜焦点検出ユニット２０９の信号に基づく焦点検出の原理＞
撮像光学系６０２の結像面が予定結像面の前側にある場合は、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束は、図６にて矢印で示す方向に互いに近づいた状態となる。また、撮像光学系６０２の結像面が予定結像面の後側にある場合は、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束は互いに離れた状態となる。このように、光電変換素子列６０７ａに入射する光束と光電変換素子列６０７ｂに入射する光束とのずれ量は、撮像光学系６０２の合焦度合いと相関を有する。光電変換素子列６０７ａに入射する光束を光電変換することで得られた信号（Ａ像信号）と光電変換素子列６０７ｂに入射する光束を光電変換して得られた信号（Ｂ像信号）との間の位相差を求めれば、該位相差からデフォーカス量を算出することができる。これにより、位相差検出方式の焦点検出を行うことができる。
【００３８】
＜画像データの属性情報の記録方式＞
図７は、撮像により得られた画像データをＪＰＥＧ方式で保存する場合における画像データの構成例を示す。ＪＰＥＧ方式の画像データは、バイト列で表されたマーカーセグメントで各種情報のデータ列を仕切ることで、データ列の内容を把握できるようになっている。図７に示すように、ＪＰＥＧ方式の画像データは、圧縮データの開始を示すマーカーセグメント“ＳＯＩ”が先頭に記述され、続いて画像データの属性情報を示すマーカーセグメント“ＡＰＰ１”が記述される。このほか圧縮画像データの量子化テーブルやハフマンテーブル等の各種情報が、“ＡＰＰ１”とは別のマーカーセグメントが記述される。最後部には、圧縮符号化された画像のデータ列と、圧縮データの終了を示すマーカーセグメント“ＥＯＩ”とが記述される。
【００３９】
画像データの属性情報を示すマーカーセグメント“ＡＰＰ１”は、下記の参考文献１に記載されたＥｘｉｆ方式により“ＭａｋｅｒＮｏｔｅ”（メーカー独自利用）欄やその他の属性情報を記述することができる。“ＭａｋｅｒＮｏｔｅ”欄は、メーカーが画像ファイルフォーマットの規格を崩さない限りにおいて自由な方式で各種情報を記述することができる。ただし、記述の自由度がある一方で、他メーカーとの互換性が低くなる特徴を持っている。この記録方式は、第１の記録方式に相当する。
【００４０】
（参考文献１）一般社団法人  カメラ映像機器工業会  デジタルスチルカメラ用画像ファイルフォーマット規格  Ｅｘｉｆ  ２．３１  （ＣＩＰＡ  ＤＣ−００８−２０１６）
また、マーカーセグメント“ＡＰＰ１”は、下記の参考文献２に記載のＸＭＰ方式（ＡｄｏｂｅＸＭＰ規格）により“Ｒａｔｉｎｇ”（等級）欄やその他の属性情報を記述することができる。“Ｒａｔｉｎｇ”欄は、規格としての値である０〜５と、明示的に等級付けをしないことを示す値である−１の計７種類の等級（評価結果）を記述することができる。このような等級付けを利用することで、例えば多数の撮像画像を含む画像群から、高い等級の一部画像を抽出して優先的に取り扱うことができるようになる。記述の様態や“Ｒａｔｉｎｇ”欄の等級数等が予め定められていて自由度が少ない一方で、他メーカーとの互換性が高いという特徴を有する。この記録方式は、第２の記録方式に相当する。上述した第１の記録方式は、この第２の記録方式よりも等級数（評価段階数）が多い記録方式である。
【００４１】
（参考文献２）“Extensible Metadata Platform (XMP) Specification” Part1~Part3, Adobe Systems Incorporated.
マーカーセグメント“ＡＰＰ１”は、Ｅｘｉｆ方式の記述とＸＭＰ方式の記述を併用することができ、その場合は同じマーカーセグメント“ＡＰＰ１”が記述方式ごとに個別に設けられる。このようなマーカーセグメントで各種情報のデータ列を仕切る記録様態は、ＪＰＥＧ方式のほかＴＩＦＦや他の画像ファイルフォーマットでも利用されている。
【００４２】
なお、所定の選別基準に従って画像データを選別する場合に、参考文献２にて開示されているように既存の規格で選別結果を記録することで、他メーカーの機器と高い互換性で情報をやり取りできるが、選別数が限られるという問題がある。選別数を増加させるために参考文献１にて開示されているようにメーカー独自の記録領域を利用する方法があるが、その互換性の低さのために他メーカーの機器と情報をやり取りする上で支障となる。選別数が少ないと、選別指標の設定によっては偏った選別結果が生ずるおそれがある。
【００４３】
＜デジタルカメラの撮像動作モード＞
本実施例のデジタルカメラは、撮像から記録に至る動作が互いに異なる静止画ワンショットモードと静止画連写モードとを有する。以下、各モードについて説明する。
【００４４】
＜静止画ワンショットモード＞
本実施例における静止画ワンショットモードは、操作スイッチ２１１のＳＷ２のオン操作に応じて１つの静止画が得られるモードである。静止画ワンショットモードでは、メインミラー２０１がミラーダウン状態となるようカメラコントローラ２１２によって制御され、ユーザがファインダ２０６を覗くことで被写体像を目視できる状態となる。また、サブミラー２０２によって被写体からの光束が焦点検出ユニット２０９に導かれる。
【００４５】
静止画ワンショットモードにおいて操作スイッチ２１１のＳＷ１がオン操作されると、測光センサ２０８を用いて被写体像の輝度を測定する第１の測光動作を行い、その測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が定められる。また、第１の測光動作に続いて焦点検出ユニット２０９によって第１の焦点検出が行われ、得られた焦点検出結果（第１の焦点検出結果）に基づいて合焦状態が得られるようにレンズ部１０１の焦点位置が制御される。
【００４６】
静止画ワンショットモードでＳＷ２がオン操作されると、絞り１０２が第１の測光動作による測光結果に基づいて定められた開口径に制御される。またこれと同時に、メインミラー２０１とサブミラー２０２がミラーアップ状態に移動される。ミラーアップ状態において、第１の測光動作による測光結果から定められた電荷蓄積時間やＩＳＯ感度で撮像部２１０が撮像信号を取得する撮像動作が行われる。
【００４７】
撮像部２１０は、撮像光学系により形成された被写体像を光電変換して得られた撮像信号から、瞳分割画像データである第１のＲＡＷデータを生成する。第１のＲＡＷデータは、射出瞳面で分割された一対の被写体光束をそれぞれ光電変換することにより得られ、各画素部の第１の焦点検出画素Ａに対応する信号と第２の焦点検出画素Ｂに対応する信号（一対の画素信号）を保持した画像データである。第１のＲＡＷデータは、カメラコントローラ２１２と接続されているメモリ２１３に一時的に記憶される。
【００４８】
メモリ２１３に一時的に記憶された第１のＲＡＷデータは、カメラコントローラ２１２と接続されている相関演算部２１４に送られ、該第１のＲＡＷデータに基づく第２の焦点検出に用いられる。
【００４９】
また、カメラコントローラ２１２は、第１のＲＡＷデータを記録用ＲＡＷファイル用のファイルフォーマットに整えて記録用の第２のＲＡＷデータを生成する。第２のＲＡＷデータは、第１のＲＡＷデータ（瞳分割画像データ）に相当するデータとともに、撮像条件（絞り値等）や属性情報を記録したものである。第２のＲＡＷデータは、記録部２１９に記録される。
【００５０】
さらに、カメラコントローラ２１２は、第２のＲＡＷデータが含むＡ像信号とＢ像信号を画素部ごとに加算して撮像信号を生成し、該撮像信号に対して現像演算等の画像処理を行う。この画像処理により、所定のファイルフォーマット（本実施例ではＪＰＥＧファイル）に編成された記録用の静止画データが得られ、該静止画データは記録部２１９に記録される。
【００５１】
＜静止画連写モード＞
本実施例における静止画連写モードは、操作スイッチ２１１のＳＷ２のオン操作が継続されることで、該ＳＷ２のオン操作が停止されるまで静止画撮像を繰り返すモードである。これにより、複数の静止画が取得される。
【００５２】
＜ＡＦモード＞
本実施例のデジタルカメラは、焦点検出モードとしてワンショットＡＦモードとサーボＡＦモードを備える。以下、これら焦点検出モードについて説明する。
【００５３】
ワンショットＡＦモードは、操作スイッチ２１１のＳＷ１のオン操作に応じて、合焦状態を得るための焦点位置の制御（以下、焦点位置制御という）を１回のみ行う焦点検出モードである。焦点位置制御の完了後は、ＳＷ１がオン操作された状態が継続する間は焦点位置がそのまま固定される。本実施例では、カメラコントローラ２１２は、静止画ワンショットモード中はワンショットＡＦモードでの焦点位置制御を行う。
【００５４】
サーボＡＦモードは、操作スイッチ２１１のＳＷ１のオン操作が継続されている間、焦点位置制御を繰り返し行う焦点検出モードである。これにより、移動する被写体に焦点位置を追従させることができる。ＳＷ１のオン操作が解除されるかＳＷ２がオン操作されることに応じて焦点位置制御が終了される。本実施例では、カメラコントローラ２１２は、静止画連写モード中はサーボＡＦモードでの焦点位置制御を行う。
【００５５】
＜デジタルカメラの動作＞
図８のフローチャートは、本実施例におけるデジタルカメラが行う処理（撮像動作および画像等級付け動作）を示している。カメラコントローラ２１２は、コンピュータプログラムに従って本処理を実行する。カメラコントローラ２１２は、画像処理装置に相当する。
【００５６】
・撮像動作（ステップＳ８０１〜ステップＳ８０７）
本実施例のデジタルカメラは、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態となっている。まず、操作スイッチ２１１のＳＷ１がユーザによってオン操作されることでステップＳ８０１からの撮像動作のための処理が実行される。
【００５７】
ステップＳ８０１では、カメラコントローラ２１２は、測光センサ２０８に測光を行わせて測光結果を得る。この後、カメラコントローラ２１２はステップＳ８０２に進む。
【００５８】
ステップＳ８０２では、カメラコントローラ２１２は、焦点検出ユニット２０９に撮像光学系（レンズ部１０１）のデフォーカス量を検出する第１の焦点検出を行わせて第１の焦点検出結果としてのデフォーカス量を得る。この後、カメラコントローラ２１２はステップＳ８０３に進む。
【００５９】
ステップＳ８０３では、カメラコントローラ２１２は、ステップＳ８０２で得た第１の焦点検出結果に基づいて、レンズ部１０１のフォーカスレンズの駆動量であるフォーカス駆動量を算出する。カメラコントローラ２１２は、算出したフォーカス駆動量をレンズコントローラ１０４に送信する。レンズコントローラ１０４は、受信したフォーカス駆動量に基づいて、レンズ駆動ユニット１０３を通じてフォーカスレンズを移動させてレンズ部１０１の焦点位置を制御する。この後、カメラコントローラ２１２は、ステップＳ８０４に進む。
【００６０】
ステップＳ８０３でのフォーカス駆動量の算出においては、レンズコントローラ１０４を通じて絞り制御ユニット１０６から取得した現在の絞り値を用いてもよい。また、フォーカスレンズの位置ごとに定まるフォーカス敏感度（単位デフォーカス量分の焦点位置移動に必要なフォーカス駆動量）や、デフォーカス量の増加とともに光学的に変化する基準フォーカス駆動量の変動倍率を光学情報記録部１０７から取得して用いてもよい。
【００６１】
ステップＳ８０４では、カメラコントローラ２１２は、操作スイッチ２１１の操作状態を検出し、ＳＷ１のオン操作が保持されているか否かを判断する。カメラコントローラ２１２は、ＳＷ１のオン操作が保持されている場合はステップＳ８０５に進み、そうでなければステップＳ８０６に進む。
【００６２】
ステップＳ８０５では、カメラコントローラ２１２は、焦点検出モードがサーボＡＦモードであるか否かを判断する。サーボＡＦモードであれば、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２がオン操作されるまで測光および第１のＡＦを繰り返し行うためにステップＳ８０１に戻る。一方、焦点検出モードがサーボＡＦモードではなくワンショットＡＦモードであれば、カメラコントローラ２１２は、焦点位置を固定したまま操作スイッチ２１１のＳＷ１のオン操作の保持状態を引き続き監視するためにステップＳ８０４に戻る。
【００６３】
ステップＳ８０６では、カメラコントローラ２１２は、操作スイッチ２１１の操作状態を検出し、ＳＷ２がオン操作されたか否かを判断する。カメラコントローラ２１２は、ＳＷ２がオン操作された場合はステップＳ８０７に進み、そうでなければ操作スイッチ２１１のＳＷ１とＳＷ２がともにオン操作されてないとみなして本処理を終了する。
【００６４】
ステップＳ８０７では、カメラコントローラ２１２は、メインミラー２０１およびサブミラー２０２をミラーアップ状態に制御する。そしてカメラコントローラ２１２は、撮像部２１０に、ステップＳ８０１での測光結果から定められた電荷蓄積時間やＩＳＯ感度の設定に基づいて撮像信号を取得するための撮像動作を行わせる。撮像部２１０は、被写体像を光電変換することで撮像信号を取得し、瞳分割画像データである第１のＲＡＷデータを生成する。生成された第１のＲＡＷデータは、メモリ２１３に転送される。
【００６５】
また、カメラコントローラ２１２は、第２のＲＡＷデータや、第２のＲＡＷデータに所定の画像処理を行うことにより所定のファイルフォーマットの静止画データ（ＪＰＥＧファイル等を生成する。カメラコントローラ２１２は、これら第２のＲＡＷデータおよび静止画データを記録部２１９に記録させる。この後、カメラコントローラ２１２はステップＳ８０８に進み、画像処理装置としての動作を行う。
【００６６】
・第１の等級付け（ステップＳ８０８、ステップＳ９０１〜ステップＳ９０３）
ステップＳ８０８では、第１の評価手段としてのカメラコントローラ２１２は、焦点検出ユニット２０９に、メモリ２１３に転送された第１のＲＡＷデータを用いた第２の焦点検出を行わせる。デフォーカス量検出部２１６は、該第２の焦点検出の結果（第２の焦点検出結果）からデフォーカス量を算出する。第２の焦点検出は、ステップＳ８０７の撮像動作の後に行われるため、本処理の１回のシーケンスの中でステップＳ８０２で説明した第１の焦点検出結果に基づくステップＳ８０３の焦点位置制御より後に行われる。
【００６７】
第２の焦点検出について、図９を用いてより具体的に説明する。まずステップＳ９０１において、カメラコントローラ２１２は、第１のＲＡＷデータをメモリ２１３から相関演算部２１４に転送させる。相関演算部２１４は、転送された第１のＲＡＷデータから焦点検出領域に対応する画像領域を抽出し、抽出された画像領域内の一対の焦点検出画素列から得られた２像信号のシフト量ごとの相関値を算出する。位相差検出部２１５は該シフト量ごとの相関値のうち最も高い相関を示す相関値から位相差を算出する。デフォーカス量検出部２１６は、絞り１０２の絞り値ごとに定まる単位位相差あたりの基準デフォーカス量を光学情報記録部１０７から取得する。デフォーカス量検出部２１６は、取得した単位位相差あたりの基準デフォーカス量と位相差検出部２１５で算出された位相差とに基づいてデフォーカス量を算出する。この後、カメラコントローラ２１２はステップＳ９０２に進む。
【００６８】
ステップＳ９０２では、カメラコントローラ２１２は、第２の焦点検出結果から算出されたデフォーカス量に基づいて第１の等級付け（第１の評価条件または第１の評価方式での評価）を行う。具体的には、カメラコントローラ２１２は、まず第２の焦点検出結果に基づいて算出されたデフォーカス量における遠近方向を示す符号を取り除いて絶対値表現にしたデフォーカス量絶対値Ｄ［μｍ］を算出する。次に、デフォーカス量絶対値Ｄをあらかじめ定められた合焦度Ｊと比較し、この比較結果に応じて等級を決定する。合焦度Ｊは、撮像により取得された画像データ（撮像画像）における許容錯乱円径δ［μｍ］と絞り値Ｆの積を単位量とする倍率を表す。この倍率が大きくなるにつれて合焦度合いが下がり、ボケ像が大きいことを表す。
【００６９】
図１０は、合焦度Ｊ［Ｆδ］と、第２の焦点検出結果に基づいて算出されたデフォーカス量絶対値Ｄ［μｍ］と、それに対応する等級との関係を示す。例えば、絞り１０２の絞り値Ｆが２．８で許容錯乱円径δが１０［μｍ］である条件下において、デフォーカス量絶対値Ｄが７．０［μｍ］である場合、対応する合焦度Ｊ［Ｆδ］は以下の式（１）の計算により求められる。
【００７０】
Ｊ＝７．０／（２．８×１０）＝０．２５        …（１）
本実施例での第１の等級付けは、図１０に示した合焦度Ｊに基づく値１〜９の１０段階の等級と、等級付けを行っていないことを示す初期値０の等級と、等級付けを行っていないこと又は等級付けができなかったことを示す値−１の等級との計１２種類を用いる。なお、本実施例では、合焦度Ｊに基づく等級を１０段階としているが、より少ない又はより多い等級数を設定してもよい。等級数を多くすることで、より広いデフォーカス量の範囲に対して、合焦度に基づく等級付けを行うことができる。また、等級間の合焦度の差を小さくすることで、より詳細な合焦度に基づく等級付けを行うことができる。第１の等級付けによる等級の決定後、カメラコントローラ２１２はステップＳ９０３に進む。
【００７１】
ステップＳ９０３では、記録手段としてのカメラコントローラ２１２は、第１の等級付けの結果（第１の評価情報）を、対応する画像（静止画）データの属性情報領域に記録する。具体的には、図７で第１の記録方式として説明したように、画像データのマーカーセグメント“ＡＰＰ１”にＥｘｉｆ方式の情報記述領域を作成し、“ＭａｋｅｒＮｏｔｅ”欄を設ける。そして、その欄に図１０に示した合焦度Ｊに基づく値１〜９の１０段階の等級を記録する。このような等級付けの記録方式を採用することにより、他メーカーとの互換性が低いものの、参考文献２に記載のＸＭＰ方式に基づく等級付けよりも多等級数で、微小な合焦度合いの差で異なる等級を記録することができる。第１の等級付けの結果を記録したカメラコントローラ２１２は第１の等級付けを終了する。この後、カメラコントローラ２１２は図８のステップＳ８０９に進む。
【００７２】
ステップＳ８０９では、カメラコントローラ２１２は、撮像動作モードが静止画連写モードであるか否かを判断する。カメラコントローラ２１２は、撮像動作モードが静止画連写モードであれば、連写期間中の次の動作を判断するためステップＳ８１０に進み、他の撮像動作モードであれば撮像により得られた画像データを適切に分類して記録し終えたために本処理を終了する。
【００７３】
ステップＳ８１０では、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２のオン操作が継続されている（連写の続行が指示されている）か、操作スイッチ２１１のＳＷ１が改めてオン操作されて焦点位置制御を行うように指示されているかを判断する。カメラコントローラ２１２は、ＳＷ２またはＳＷ１のオン操作が行われている場合はステップＳ８０１に戻る。これにより、カメラコントローラ２１２は、メインミラー２０１とサブミラー２０２をミラーダウン状態に移行させ、測光および第１のＡＦを行う。カメラコントローラ２１２は、ＳＷ２およびＳＷ１のいずれのオン操作も行われていなければステップＳ８１１に進む。本ステップの動作は、ＳＷ２押下開始から操作スイッチ２１１の押下状態が解放されるまでの連写期間において撮影された複数枚の画像データ（以下、単に画像ともいう）に対して、本発明の等級付けを行うことを意味する。
【００７４】
・第２の等級付け（ステップＳ８１１、ステップＳ１１０１〜ステップＳ１１０３）
ステップＳ８１１では、第２の評価手段としてのカメラコントローラ２１２は、他メーカーとの互換性が低い一方で、自由度が高く等級数が多い等級付けである第１の等級付けの結果に基づいて、第１の等級付けよりも等級数が少ない第２の等級付けを行う。すなわち、第２の等級付けの条件（第２の評価条件）は、第１の等級付けの結果に応じて変更可能に設定される。
【００７５】
第２の等級付け（第２の評価条件または第２の評価方式による評価）について、図１１のフローチャートと、図１２および図１３を用いて、より具体的に説明する。まずステップＳ１１０１において、カメラコントローラ２１２は、図８のステップＳ８０１〜Ｓ８１０に示した撮像動作により得られた画像データごとの第１の等級付けの結果から、等級の分布を解析する。そして、該分布の統計値としての中心値と重心値を算出する。中心値は等級の分布の最大値と最小値の中間をとる値である。また、重心値は等級の分布から公知の重心演算で求められる値である。
【００７６】
図１２は、デフォーカス量に基づく第１の等級付けにおける等級の分布状況を星印で示している。この図では、合焦度Ｊ［Ｆδ］を区分する閾値を０．２５［Ｆδ］として、計１１の画像に対して第１の等級付けがなされている。図１２において、星印が縦に２つ並んでいるのは、その合焦度に適合する画像が２つ存在することを意味する。
【００７７】
図１３は、合焦度と第１の等級付けの結果とを用いて行われた、分布の中心値に基づく第２の等級付けの例と分布の重心値に基づく第２の等級付けの例を示す。図１３の最上段は、閾値０．２５［Ｆδ］ごとに区分された合焦度Ｊ［Ｆδ］である。２段目は、区分された合焦度Ｊ［Ｆδ］の区分範囲ごとの代表値を示している。代表値は区分範囲の中央値を算出したものである。合焦度の区分範囲の代表値は、第１の等級付けの結果が存在する限り、閾値に基づいて算出される。図１３では、分布数がある少なくとも０≦Ｊ≦１．７５における合焦度Ｊの各区分範囲において代表値が算出される。
【００７８】
図１３の３段目は、合焦度Ｊごとの第１の等級付けの結果である。４段目は、第１の等級付けにおける等級の分布数を示す例である。５段目は、第１の等級付けの結果の分布の中心値に基づいて第２の等級付けを行った例であり、７段目はその等級の分布数である。４段目の第１の等級付けにおける等級の分布数から、第１の等級付けの分布範囲の最小代表値は０．１２５であり、最大代表値は１．６２５である。したがって、それらの中央値０．８７５を中心値として決定している。
【００７９】
６段目は、重心値に基づいて第２の等級付けを行った例であり、８段目はその分布数である。重心値は、区分された合焦度ごとの代表値と分布数とを乗じた値の総数を分布総数で除した値であり、図１３では０．６２５となる。重心値０．６２５が当てはまる合焦度Ｊの区分範囲は０．５０＜Ｊ≦０．７５となる。こうして統計値を算出したカメラコントローラ２１２は、ステップＳ１１０２に進む。
【００８０】
ステップＳ１１０２では、カメラコントローラ２１２は、第１の等級付けの結果をＸＭＰ方式に収まる値０〜５の６段階に収めた場合に、等級の分布の中心値と重心値のうちどちらが等級の偏りが少ないかを判断する。等級の偏りとは、特定の１つの等級に分布が集中することを意味する。つまり、カメラコントローラ２１２は、中心値と重心値のうち、等級ごとの分布数の最大値が低くなる方を判断する。この際、他機器との互換性の高いＸＭＰ方式の等級付けを考慮して、等級付けの初期値であって等級付けを行っていないことを意味する値０を除き、等級の値１〜５の５段階を用いることとして、判断する合焦度の区分範囲数は５つとする。
【００８１】
図１３において、第１の等級付けの結果の中心値が値０．８７５であることから、合焦度０．７５＜Ｊ≦１．００の区分範囲を中心に、合焦度０．５０＜Ｊ≦１．５０の計５つの各区分範囲における分布数を算出する。算出の結果、図１３の分布例では、合焦度０．５０＜Ｊ≦０．７５の区分範囲において、分布数の最大値が６となる。
【００８２】
また、図１３において、第１の等級付けの結果の重心値が値０．６２５であることから、合焦度０．５０＜Ｊ≦０．７５の区分範囲を中心に、合焦度０≦Ｊ≦１．２５の計５つの区分範囲における分布数を算出する。算出の結果、図１３の分布例では、合焦度０．２５＜Ｊ≦０．５０の区分範囲において、分布数の最大値が４となる。
【００８３】
第１の等級付けの結果の中心値と重心値の分布を比較すると、分布数の最大値は重心値の方が小さくなるので、重心値を採用した方が等級の偏りが少ないことになる。したがって、カメラコントローラ２１２は、図１３の分布例では、分布数の重心値に基づいた第２の等級付けを最終的に採用すると判断する。この判断を行ったカメラコントローラ２１２は、ステップＳ１１０３に進む。
【００８４】
ステップＳ１１０３では、記録手段としてのカメラコントローラ２１２は、ステップＳ１１０２で算出および採用の判断を行った合焦度Ｊの計５つの区分範囲に対応する第２の等級付けの結果（第２の評価情報）を、対応する画像データの属性領域に記録する。具体的な記録動作としては、図７で第２の記録方式として説明したように、画像データにおけるマーカーセグメント“ＡＰＰ１”にＸＭＰ方式の情報記述領域を作成して、“Ｒａｔｉｎｇ”欄を設け、その欄に第２の等級付けの結果を記述する。このような等級付けの記録方式を採用することにより、他メーカーとの互換性を高く保ちつつ、等級の偏りを生じにくい等級付け結果を記録することができる。こうして第２の等級付けの結果を記録したカメラコントローラ２１２は、第２の等級付けを終了する。また、図８におけるステップＳ８１１を終了する。
【００８５】
本実施例によれば、等級付けの結果が偏って実質的に等級分けできていない状況を回避しやすくなり、ユーザが合焦度がより高い画像の再生や閲覧を行うことができるようになる。
【００８６】
なお、第１の等級付けにおける等級間の合焦度の差（またはデフォーカス量の差）と第２の等級付けにおける等級間の合焦度の差が同じである場合について説明したが、これらは互いに異なっていてもよい。
【実施例２】
【００８７】
実施例１では、合焦度における第１の等級付けの結果の分布状況に基づいて、第２の等級付けを行う合焦度の範囲を決定した。これに対し、本発明の実施例２では、予め第２の等級付けを行う合焦度の範囲を選択できる等級付けモードを備えている。
【００８８】
実施例２について、図１４と図１５に示すフローチャートとを用いて説明する。なお、ここでは本実施例と実施例１との相違点について説明し、共通点については説明を省略する。
【００８９】
本実施例のデジタルカメラは、等級付けモードとして、第１の等級付けの結果に対して、合焦状態に近い狭いデフォーカス量範囲（合焦度範囲）の分布に着目して第２の等級付けを行う狭範囲モードを有する。また、第１の等級付けの結果に対して、合焦状態から離れた広いデフォーカス量範囲の分布に着目して第２の等級付けを行う広範囲モードも備える。すなわち、第２の等級付けにおける等級の範囲（評価段階の範囲）が、第１の等級付けにおける等級の範囲内において変更可能に設定される。
【００９０】
図１４は、等級付けモードの設定例を示す。図１４に示すように、狭範囲モードでは、合焦度Ｊ［Ｆδ］−１．２５≦Ｊ≦＋１．２５の範囲を対象に第２の等級付けを行う。また、広範囲モードでは、合焦度Ｊ［Ｆδ］−２．００≦Ｊ＜−０．７５の範囲と＋０．７５＜Ｊ≦＋２．００の範囲を対象に第２の等級付けを行う。なお、狭帯域モードと広帯域モードはそれぞれ任意の合焦度Ｊの範囲を設定できるものとする。設定例としては、高精細なグラビア印刷出力を想定して狭帯域モードの合焦度Ｊの範囲を設定し、新聞紙等の粗い網点印刷出力を想定して狭帯域モードよりデフォーカス側に範囲を広げた広帯域モードの合焦度Ｊの範囲を設定する。
【００９１】
本実施例のデジタルカメラが行う等級付け動作は、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態で行われる。ここでは、予め狭範囲モードと広範囲モードのいずれかがユーザ操作によって選択されているものとする。
【００９２】
まず、ユーザにより操作スイッチ２１１のＳＷ１のオン操作が行われることに応じて、カメラコントローラ２１２は、図８を用いて説明したステップＳ８０１からステップＳ８１０の動作を行う。ステップＳ８１０にて操作スイッチ２１１のＳＷ１やＳＷ２のオン操作がなされていなければ、カメラコントローラ２１２はステップＳ１５０１に進む。
【００９３】
ステップＳ１５０１では、カメラコントローラ２１２は、選択されている等級付けモードを判断し、広範囲モードが選択されていればステップＳ１５０２に進み、狭範囲モードが選択されていればステップＳ１５０３に進む。
【００９４】
ステップＳ１５０２では、カメラコントローラ２１２は、合焦度Ｊ［Ｆδ］を区分する閾値を０．２５［Ｆδ］に設定し、第１の等級付けの結果を広範囲モードに対応するように閾値を境界として計５つの区分範囲に区分する。そして、該５つの区分範囲のそれぞれにおいて第２の等級付けを行う。なお、広範囲モードで着目するデフォーカス領域の外に合焦度の分布がある場合は、最も近い合焦度Ｊの区分範囲に含めるようにする。第２の等級付けを完了したカメラコントローラ２１２は、本実施例の処理を終了する。
【００９５】
ステップＳ１５０３では、カメラコントローラ２１２は、合焦度Ｊ［Ｆδ］を区分する閾値を０．２５［Ｆδ］に設定して、第１の等級付けの結果を狭範囲モードに対応するように閾値を境界として計５つの区分領域に区分する。そして、該５つの区分範囲のそれぞれにおいて第２の等級付けを行う。なお、狭範囲モードで着目するデフォーカス領域の外に合焦度の分布がある場合は、最も近い合焦度Ｊの区分範囲に含めるようにする。第２の等級付けを完了したカメラコントローラ２１２は、本実施例の処理を終了する。
【００９６】
本実施例によれば、画像出力解像度等の画像出力先の特徴を踏まえて等級付けの着目範囲を指定することができ、ユーザがより着目したい合焦度の画像から再生や閲覧を行うことができる。具体例としては、図１３乃至図１４で説明した、高精細なグラビア印刷出力を想定した狭帯域モードの合焦度Ｊの範囲を設定する。また、新聞紙等の粗い網点印刷出力を想定した広帯域モードの合焦度Ｊの範囲を設定する。高精細なグラビア印刷出力では、微小なデフォーカス量の違いが視認されやすい。一方、新聞紙等の粗い網点印刷出力では、少なくとも網点の間隔より細かな解像ができず、微小なデフォーカス量の違いが視認されない。上述したような設定を行うことで、高精細なグラビア印刷出力では、最高品質レベルの合焦度Ｊが−０．２５＜Ｊ＜０．２５［Ｆδ］範囲内に狭まり、最高品質レベルに相応しい画像を厳選することができる。さらに、品質不良レベルの合焦度Ｊが−１．２５＜Ｊ［Ｆδ］および１．２５＞Ｊ［Ｆδ］の範囲内と厳しくすることができる。逆に、画像出力先の特徴を踏まえてないと、例えば高精細なグラビア印刷出力向けの等級付けでは、合焦度Ｊの悪い画像と最高品質の画像とに同じ等級を設定してしまう可能性が生じる。また、例えば新聞紙等の粗い網点印刷出力向けの等級付けでは、最高品質レベルが若干悪くても支障がなく、無駄に最高品質レベル辺りで細かく等級付けしてしまう可能性が生じる。参考文献２で例示したような表現可能な等級数が少なく限られる方式で等級を記録する場合は、画像出力先の特徴に応じた有益な等級差を表現しきれない可能性が生じる。上述した動作を行うことにより、各種の印刷出力の目的に沿って必要な等級判断を可能にしつつ、不要な等級判断を行わないようにできる。
【００９７】
＜変形例＞
実施例２では、等級付けモードを広範囲モードと狭範囲モードの２種類を選択可能とした場合について説明した。しかし、３種類以上の等級付けモードを選択可能にしてもよい。また、それらの等級付けモードでの合焦度の範囲は、互いに一部が重なっていてもよい。
【００９８】
また、実施例２では、図１４に示すように広範囲モードや狭範囲モードといった等級付けモードにおいて、等級１つ差あたりのデフォーカス量の差、つまり１等級あたりのデフォーカス量の分解能を、同一にしていた。しかし、図２６に示すように広範囲モードと狭範囲モードとで異ならせても良い。例えば、新聞紙等の粗い網点印刷出力向けの広範囲モードの分解能は、微小なデフォーカス量差異が視認できないため、高精細なグラビア印刷出力向けの狭範囲モードの分解能に比べて粗くして良く、このようにすることで分解能を不用意に細かくさせないようにできる。図２６において、各等級付けモードの矢印線の先端における合焦度Ｊと矢印上の黒丸印が等級付けの境界を表し、等級付けの分解能の高低を表している。また、このようにすることで、等級差を付けられる合焦度の範囲が適切に広がるようになる。
【実施例３】
【００９９】
実施例１では、撮像画像のデフォーカス量に基づく合焦度の分布に基づいて、高い互換性を有するように第２の等級付けを行った。これに対し、本発明の実施例３では、焦点検出に係る所定の指標に基づいたデフォーカス量の信頼度に応じて、第２の等級付けにおける合焦度の着目範囲を変更する。
【０１００】
実施例３について、図１６に示すフローチャートを用いて説明する。なお、ここでは本実施例と実施例１との相違点について説明し、共通点については説明を省略する。
【０１０１】
本実施例のデジタルカメラの等級付け動作は、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態で行われる。まず、ユーザにより操作スイッチ２１１のＳＷ１のオン操作が行われることに応じて、カメラコントローラ２１２は、図８を用いて説明したステップＳ８０１からステップＳ８０８の動作を行う。
【０１０２】
ステップＳ８０８からステップＳ１６０１に進んだカメラコントローラ２１２は、図９を用いて説明したステップＳ９０１での第１の焦点検出における所定の指標に基づいて、デフォーカス量の信頼度合いを示す焦点検出信頼度を一時記憶する。  所定の指標の例としては、第１の焦点検出に用いた画像のＩＳＯ感度がある。画像のＩＳＯ感度が高ければ、焦点検出における位相差像信号にノイズが混入して相関演算の精度が低下するため、焦点検出精度が低下する。したがって、本実施例では、例えば、ＩＳＯ感度の最低感度から最高感度までの露光段数を焦点検出信頼度の最高値として設定する。仮に、ＩＳＯ感度がＩＳＯ１００からＩＳＯ６４００まで制御可能であれば、焦点検出信頼度の最高値は値６と設定する。そして、画像のＩＳＯ感度が露光１段分高くなるにつれて、焦点検出信頼度を最高値から１点減点するように信頼度の値を設定する。焦点検出信頼度の最高値は、例えば値１０など所定値となるように正規化してもよい。
【０１０３】
また、所定の指標の別の例としては、図６に示した光電変換素子列６０７ａ，６０７ｂから得られた位相差像信号の最大値と最小値の差分値の大きさである。該差分値が小さいと、位相差像信号におけるノイズの割合が相対的に大きくなり、相関演算の精度が低下するため、焦点検出精度が低下する。したがって、本実施例では、例えば、焦点検出信頼度の最高値を値１０としておき、露光３段分の輝度変動量を基準として、それよりも上記差分値が小さい場合は以下の式（２）を用いて焦点検出信頼度を設定する。
【０１０４】
焦点検出信頼度＝差分値／露光３段分の輝度変動量×最高値１０    …（２）
このような設定を行うことにより、上記差分値の低下によりノイズの影響度が増大する比率だけ、焦点検出信頼度を低下させることができる。
【０１０５】
また、所定の指標のさらに別の例としては、図６に示した光電変換素子列６０７ａ，６０７ｂから得られた位相差像信号の微分値の最大値または２次微分値の最大値である。位相差像信号に被写体像のエッジが大きく含まれているほど、相関演算の精度が高まる。逆に、被写体像のエッジが小さいほど、相関演算の精度が下がる。したがって、本実施例では、所定の基準値を設けて、焦点検出信頼度の最高値を値１０としておき、上記微分値または２次微分値の最大値が所定の基準値を下回れば、以下の式（３）を用いて焦点検出信頼度を設定する。
【０１０６】
焦点検出信頼度＝微分値または２次微分値／基準値×最高値１０    …（３）
このような設定を行うことにより、微分値または２次微分値の低下によってノイズの影響度が増大する比率だけ、焦点検出信頼度を低下させることができる。
【０１０７】
また、所定の指標のさらに別の例としては、相関演算において一対の位相差像信号（２像信号）の相関が最も高くなるシフト量（位相差）を１画素分前後させたときの相関値の変化分としての相関変動量である。相関変動量が高いほど、２像信号がより明確に一致することを示しており、相関演算の精度が高いことを意味する。本実施例では、相関演算において２像信号の相関が最も高くなったときの相関値を最高相関値と称し、この最高相関値が得られるシフト量から１画素分前後させたときの相関値を隣接相関値と称する。最高相関値に対して隣接相関値との差分が小さい場合は、２像信号の一致度の変化が小さいことを示すため、ノイズにより相関値がばらつきやすく、相関演算の精度が低いことを意味する。したがって、本実施例では、所定の基準値を設けて、焦点検出信頼度を値１０としておき、相関変動量が所定の基準値より低い場合に、以下の式（４）を用いて焦点検出信頼度を設定する。
【０１０８】
焦点検出信頼度＝相関変動量／基準値×最高値１０    …（４）
このような設定を行うことにより、相関が最も高くなる２像信号間の位相差における相関のノイズ耐性の特性に応じて、焦点検出信頼度を低下させることができる。
【０１０９】
さらに所定の指標の別の例として、上述した指標を複数用いて総合的な焦点検出信頼度を決定してもよい。
【０１１０】
カメラコントローラ２１２は、上述した方法で算出した焦点検出信頼度をメモリ２１３に一時記憶した後、図８を用いて説明したステップＳ８０９およびステップＳ８１０の動作を行う。なお、本実施例では、実施例１と異なり、ステップＳ８１０にて操作スイッチ２１１のＳＷ１またはＳＷ２がオン操作されていなければ、図１６のステップＳ１６０２に進む。
【０１１１】
ステップＳ１６０２では、カメラコントローラ２１２は、メモリ２１３に一時記憶されていた焦点検出信頼度に基づいて、合焦度の着目範囲を決定する。具体的には、例えば、値１０といった焦点検出信頼度がとり得る最高値に対して、実際の焦点検出信頼度の低さだけ、着目する合焦度Ｊの区分範囲をデフォーカス方向に移動させる。
【０１１２】
図１７は、その合焦度Ｊの区分範囲の移動例を示す。図１７において、焦点検出信頼度が最大値１０であった場合は、焦点検出の微小なデフォーカス量まで高精度に検出できている可能性が高い。このため、第１の等級の最高値から等級５つ分の合焦度Ｊの範囲に対して第２の等級付けを行う。
【０１１３】
また、焦点検出信頼度が最大値１０より１だけ低い９である場合は、−０．２５≦Ｊ≦＋０．２５［Ｆδ］の合焦度Ｊの範囲は焦点検出ばらつきの影響で区分する意味を為さないと判断する。このときは、−１．５０≦Ｊ＜−０．２５および＋０．２５＜Ｊ≦＋１．５０の合焦度Ｊの範囲に対して第２の等級付けを行う。焦点検出信頼度が例えば値７以下というように低い値であれば、図１７の８段目および１２段目に示すように、一律に同じ等級付けを行っても差し支えない。こうして合焦度Ｊの着目範囲を決定したカメラコントローラ２１２は、ステップＳ１６０３に進む。
【０１１４】
ステップＳ１６０３では、カメラコントローラ２１２は、決定した合焦度Ｊの着目範囲に応じて、図１７に示すような第２の等級付けを行い、該第２の等級付けの結果を、対応する画像データの属性領域に記録する。具体的な記録動作は、実施例１で図７を用いて説明した通りであり、この等級付けの記録方式を採用することにより、他メーカーとの互換性を高く保ちつつ、等級の偏りを生じにくい等級付け結果を記録することができる。第２の等級付けの結果を記録したカメラコントローラ２１２は、第２の等級付けを終了する。
【０１１５】
本実施例によれば、焦点検出信頼度に基づいて、無駄な等級付け階調を抑えた効率的な等級付けを行うことができる。これにより、ユーザは、実質的な合焦度が高い画像から再生や閲覧を行うことができる。
【実施例４】
【０１１６】
実施例３では、焦点検出信頼度に基づいて、着目する合焦度の区分範囲を移動させながら、効率的に等級付けを行う場合について説明した。本発明の実施例４では、着目する焦点検出領域以外に背景と推測する領域でも焦点検出を行い、主被写体と背景との焦点検出結果の差異に基づく遠近分離度合いに応じて第２の等級付けにおける合焦度の着目範囲を変更する。本実施例は、主被写体と背景の焦点位置が接近している場合に、主被写体が被写界深度内に含まれているものの微小なデフォーカス量を有する画像に対して、主被写体に厳密に合焦している画像の等級を高めることを目的とする。
図１８から図２１を用いて実施例４について説明する。なお、ここでは本実施例と実施例１との相違点について説明し、共通点については説明を省略する。
【０１１７】
＜デジタルカメラの構成＞
図１８は、本実施例のデジタルカメラの構成を示す。本実施例のデジタルカメラは、焦点検出ユニット２０９の代わりに、多点焦点検出ユニット１８０１を備える点で実施例１（図１）のデジタルカメラと異なる。実施例１では、焦点検出ユニット２０９の焦点検出領域を、撮像画角の中央部等の１カ所に固定する。これに対して、本実施例では、多点焦点検出ユニット１８０１は、撮影画角内に複数の焦点検出領域を設けている。
【０１１８】
＜多点焦点検出ユニット１８０１の焦点検出領域＞
図１９は、多点焦点検出ユニット１８０１で選択可能な複数の焦点検出領域を示す。撮像により記録される２次元の撮像範囲１９０１内に、網掛け矩形で示された複数の焦点検出領域１９０２が配置されている。撮像範囲１９０１のうちいずれかの焦点検出領域１９０２に被写体が含まれれば、多点焦点検出ユニット１８０１を用いて該被写体に対して焦点検出を行うことができる。また、撮像部２１０の撮像面のうち、複数の焦点検出領域１９０２のそれぞれ対応する領域からの２像信号を用いて焦点検出が行われる。
【０１１９】
＜デジタルカメラの動作＞
図２０のフローチャートは、本実施例のデジタルカメラにおける画像の等級付け動作を示す。
【０１２０】
本実施形態におけるデジタルカメラの等級付け動作は、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、撮影者がファインダ２０６を覗くことで被写体像を確認できる状態となっている。はじめに、操作スイッチ２１１のＳＷ１がユーザによって押下されることで、本実施形態の動作が開始され、図８を用いて説明したステップＳ８０１乃至ステップＳ８０７と同様の動作を行う。なお、本実施形態では第１の実施形態と異なり、ステップＳ８０７の動作の後、ステップＳ２００１に進む。
【０１２１】
本実施例のデジタルカメラにおける等級付け動作は、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態で行われる。まず、ユーザにより操作スイッチ２１１のＳＷ１のオン操作が行われることに応じて、カメラコントローラ２１２は、図８を用いて説明したステップＳ８０１からステップＳ８０７の動作を行う。そして、ステップＳ８０７からステップＳ２００１に進む。
【０１２２】
ステップＳ２００１では、カメラコントローラ２１２は、多点焦点検出ユニット１８０１に、メモリ２１３に転送された第１のＲＡＷデータを用いて、複数の焦点検出領域における第２の焦点検出を行わせる。デフォーカス量検出部２１６は、第２の焦点検出の結果に基づいてデフォーカス量を取得する。本実施例における第２の焦点検出は、ステップＳ８０７の撮像動作の後に行われるため、図２０に示す１回のシーケンスの中でステップＳ８０２にて説明した第１の焦点検出の結果に基づくステップＳ８０３の焦点位置制御より後に行われる。
【０１２３】
第２の焦点検出について、図２１を用いてより具体的に説明する。まずステップＳ２１０１では、カメラコントローラ２１２は、第１のＲＡＷデータをメモリ２１３から相関演算部２１４に転送する。相関演算部２１４は、転送された第１のＲＡＷデータから、複数の焦点検出領域１９０２のそれぞれに対応する画像領域を抽出し、抽出した画像領域ごとに２像信号の相関値を算出する。位相差検出部２１５は、焦点検出領域ごとの相関値のうちに最も高い相関を示す相関値を特定し、その相関値を与える２像信号のシフト量から位相差を算出する。
【０１２４】
デフォーカス量検出部２１６は、絞り１０２の絞り値ごとに定まる単位位相差あたりの基準デフォーカス量を光学情報記録部１０７から取得する。そして、デフォーカス量検出部２１６は、取得した単位位相差あたりの基準デフォーカス量と、位相差検出部２１５で算出された位相差とに基づいて焦点検出領域ごとのデフォーカス量を算出する。この後、カメラコントローラ２１２はステップＳ２１０２に進む。
【０１２５】
ステップＳ２１０２では、カメラコントローラ２１２は、複数の焦点検出領域１９０２から主被写体を含む主被写体焦点検出領域と背景を含む背景焦点検出領域とを特定する。例えば、カメラコントローラ２１２は、最も至近寄りの焦点検出領域を主被写体焦点検出領域として特定し、最も無限遠寄りの焦点検出領域を背景焦点検出領域として特定する。また、２次元の撮像範囲１９０１の中心に近い２以上の焦点検出領域のうち、全焦点検出領域１９０２で算出される平均焦点位置より至近寄りである焦点検出領域を主被写体焦点検出領域として特定してもよい。また、背景焦点検出領域を特定する際に、空中の雲等の無限遠被写体を除いて最も無限遠寄りの被写体（背景）を含む焦点検出領域を背景焦点検出領域として特定してもよい。この後、カメラコントローラ２１２はステップＳ９０２に進む。
【０１２６】
ステップＳ９０２およびステップＳ９０３では、カメラコントローラ２１２は、図９で説明したステップＳ９０２およびステップＳ９０３と同じように第１の等級付けとＭａｋｅｒＮｏｔｅ項目欄への独自方式での入力を行う。この後、カメラコントローラ２１２はステップＳ２００２に進む。
【０１２７】
ステップＳ２００２では、カメラコントローラ２１２は、ステップＳ２１０１で特定した主被写体および背景焦点検出領域のそれぞれで算出したデフォーカス量を、メモリ２１３に一時記憶させる。この後、カメラコントローラ２１２はステップＳ８０９に進む。
【０１２８】
ステップＳ８０９およびステップＳ８１０では、カメラコントローラ２１２は、図８で説明したステップＳ８０９およびステップＳ８１０と同じ動作を行う。なお、本実施例では、ステップＳ８１０にて操作スイッチ２１１のＳＷ１またはＳＷ２のオン操作がなされていなければ、カメラコントローラ２１２はステップＳ２００３に進む。
【０１２９】
ステップＳ２００３では、カメラコントローラ２１２は、ステップＳ２００２で一時記憶させた主被写体および背景のそれぞれのデフォーカス量に基づいて、着目する合焦度の区分範囲を決定する。例えば、主被写体のデフォーカス量が０．１［Ｆδ］で背景のデフォーカス量が１．０［Ｆδ］である場合は、それらのデフォーカス量の差は０．９［Ｆδ］である。主被写体と背景の遠近分離度合いの閾値を１．０［Ｆδ］とおくと、上記デフォーカス量の差は閾値以内であるため、遠近分離度合いが小さい。この場合は、カメラコントローラ２１２は、デフォーカス量の小さな合焦度の区分範囲に着目するように決定する。閾値は多段階で設定してもよい。上述した例において閾値を１．０［Ｆδ］刻みで設定し、閾値の段階に応じて着目する合焦度の区分範囲を移動させてもよい。逆に、デフォーカス量の差が閾値より大きい場合は、カメラコントローラ２１２は、実施例１から３で説明したように合焦度の区分範囲に着目する動作を行う。着目する合焦度の区分範囲を決定したカメラコントローラ２１２はステップＳ２００４に進む。
【０１３０】
ステップＳ２００４では、カメラコントローラ２１２は、ステップＳ２００３で決定した着目する合焦度の区分範囲に応じて第２の等級付けを行い、該第２の等級付けの結果を対応する画像データの属性領域に記録する。具体的な記録動作は、実施例１で図７を用いて説明した通りであり、この等級付けの記録方式を採用することにより、他メーカーとの互換性を高く保ちつつ、等級の偏りを生じにくい等級付け結果を記録することができる。第２の等級付けの結果を記録したカメラコントローラ２１２は、第２の等級付けを終了する。
【０１３１】
本実施例によれば、主被写体と背景との遠近分離度合いに基づいて適切な等級付けの数を決定することができる。これにより、ユーザは、背景から合焦度によって分離されたて実質的な合焦度が高い主被写体の画像の再生や閲覧を行うことができる。
【実施例５】
【０１３２】
実施例１〜４では、第２の焦点検出をデジタルカメラの内部で行う場合について説明した。これに対して本発明の実施例５では、デジタルカメラの外部の画像処理装置（コンピュータ）がコンピュータプログラムに従って処理を実行することにより第２の焦点検出を行い、該第２の焦点検出の結果に基づいて画像データに対して等級付けを行う。実施例５では、デジタルカメラの記録部２１９を外部のコンピュータに接続し、該コンピュータが第２のＲＡＷデータを用いた焦点検出を行い、該焦点検出の結果に応じて画像の等級付けを実行する。
【０１３３】
また、本実施例では、着脱可能な記憶媒体である記録部２１９に、実施例１と同様に、瞳分割画像データを含む第２のＲＡＷデータが格納されている。さらに、記録部２１９には、第２のＲＡＷデータと対応付けて、撮像時の絞り値や、撮像時の装着レンズにおける基準フォーカス駆動量およびその変動倍率の情報が格納されている。
【０１３４】
＜画像処理装置の構成＞
本実施例における画像処理装置としてのコンピュータの構成を図２２に示す。システム制御部２２１０は、ユーザがマウス、キーボードおよびタッチパネル等により構成される操作部２２１１を操作することに応じて、記録部２１９からの画像読み込みを受け付ける。これに応じて、システム制御部２２１０は、記録インタフェース（Ｉ／Ｆ）２２０２を介して、コンピュータ２２００に着脱可能な記録部２１９に記録された画像データを画像メモリ２２０３に記録させる。
【０１３５】
システム制御部２２１０は、記録部２１９から読み込んだ画像データが圧縮符号化されたデータである場合は、画像メモリ２２０３に記録された画像データをコーデック部２２０４に送信する。コーデック部２２０４は、圧縮符号化された画像データを復号し、復号された画像データを画像メモリ２２０３に出力する。システム制御部２２１０は、画像メモリ２２０３に蓄積された復号後の画像データまたはベイヤーＲＧＢ形式（ＲＡＷ形式）等の非圧縮の画像データを画像処理部２２０５に出力する。
【０１３６】
画像処理部２２０５は、非圧縮の画像データに対して画像処理を行い、その結果として得られた処理済み画像データを画像メモリ２２０３に格納する。また、システム制御部２２１０は、処理済み画像データを画像メモリ２２０３から読み出して、外部モニタインタフェース（Ｉ／Ｆ）２２０６を介してモニタ２２０７に出力する。
【０１３７】
なお、図２２に示すように、コンピュータ２２００は電源スイッチ２２１２、電源部２２１３、コンピュータプログラムを記憶した不揮発性メモリ２２１４を含む。また、コンピュータ２２００は、各種制御に用いる時間や内蔵タイマによりカウントされた時間を計測するシステムタイマ２２１５を有する。さらに、コンピュータ２２００は、システム制御部２２１０の動作用の定数、変数を記憶したり不揮発性メモリ２２１４から読み出したコンピュータプログラムを展開したりするシステムメモリ２２１６を含む。
【０１３８】
＜画像処理装置の動作＞
図２３のフローチャートは、本実施例のシステム制御部２２１０が実行する処理（等級付け動作）を示す。システム制御部２２１０は、不揮発性メモリ２２１４から読み出してシステムメモリ２２１６に展開したコンピュータプログラムに従って本処理を実行する。コンピュータ２２００とデジタルカメラとは電気的に接続されて通信可能であり、コンピュータ２２００はデジタルカメラの記録部２１９に記録された各種データを読み出すことができる。システム制御部２２１０は、第１の評価手段、第２の評価手段および記録手段として機能する。
【０１３９】
まず、ユーザにより画像の等級付けを開始させる操作指示が行われることに応じて、システム制御部２２１０はステップＳ２３０１に進む。ステップＳ２３０１では、システム制御部２２１０は、ユーザの操作により指定される画像データの第２のＲＡＷデータに対するリンクを全て読み出し、コンピュータ２２００内の画像メモリ２２０３に一時記憶させる。そして、システム制御部２２１０は、記録部２１９に一時記憶された第２のＲＡＷデータの数を計数する。この後、システム制御部２２１０はステップＳ２３０２に進む。
【０１４０】
ステップＳ２３０２では、システム制御部２２１０は、記録部２１９に一時記憶された１つ以上の第２のＲＡＷデータのうち上記リンクに対応する１つの第２のＲＡＷデータ（以下、着目第２のＲＡＷデータという）を記録部２１９から読み出す。そして、システム制御部２２１０は、着目第２のＲＡＷデータに対して各種画像処理を行って所定のファイルフォーマットの静止画データを生成する。この後、システム制御部２２１０はステップＳ２３０３に進む。
【０１４１】
ステップＳ２３０３では、システム制御部２２１０は、着目第２のＲＡＷデータを用いて焦点検出を行う。具体的には、着目第２のＲＡＷデータに含まれる２像信号、記録時の絞り値、基準フォーカス駆動量およびその変動倍率を読み出す。そして、システム制御部２２１０は、着目第２のＲＡＷデータから焦点検出領域に対応する画像領域を抽出し、抽出した画像領域の２像信号のシフト量ごとの相関値を算出する。システム制御部２２１０は、算出した相関値のうち最も高い相関を示す相関値を特定し、その相関値を与える２像信号のシフト量から位相差を算出する。
【０１４２】
位相差を算出したシステム制御部２２１０は、該位相差と絞り値と基準デフォーカス量とに基づいてデフォーカス量を算出する。この後、システム制御部２２１０はステップＳ２３０４に進む。
【０１４３】
ステップＳ２３０４では、システム制御部２２１０は、算出したデフォーカス量に基づいて第１の等級付けを行う。本ステップでの第１の等級付けは、図９のステップＳ９０２で説明した第１の等級付けと同じであり、デフォーカス量絶対値と合焦度Ｊとの比較により等級を決定する。この後、システム制御部２２１０はステップＳ２３０５に進む。
【０１４４】
ステップＳ２３０５では、システム制御部２２１０は、第１の等級付けの結果を、対応する画像データの属性情報領域に記録する。具体的には、図７で説明したように、画像データにおけるマーカーセグメント“ＡＰＰ１”にＥｘｉｆ方式の情報記述領域を作成して、“ＭａｋｅｒＮｏｔｅ”欄を設ける。そして、その欄に図１０に示した合焦度Ｊに基づく値１乃至９の１０段階の等級を記録する。このような等級付けの記録方式を採用することにより、他メーカーとの互換性は低いが、参考文献２に記載のＸＭＰ方式に基づく等級付けよりも多い等級数で等級を記録することができる。この後、システム制御部２２１０はステップＳ２３０６に進む。
【０１４５】
ステップＳ２３０６では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｍに値１を加算する。この後、システム制御部２２１０はステップＳ２３０７に進む。
【０１４６】
ステップＳ２３０７では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｍの値とステップＳ２３０１で計数された第２のＲＡＷデータの計数値との大小を判断する。カウンタｍの値が計数値より小さければ、未着目の第２のＲＡＷデータに対して画像処理や焦点検出を行うために、システム制御部２２１０はステップＳ２３０２に戻る。そして、ステップＳ２３０２からステップＳ２３０６の動作を一時記憶されたすべての第２のＲＡＷデータに対して行う。カウンタｍの値が計測値に達した場合は、システム制御部２２１０は、記録部２１９内に格納された着目第２のＲＡＷデータを全て読み出し終えているため、ステップＳ２３０８に進む。
【０１４７】
ステップＳ２３０８では、システム制御部２２１０は、全ての着目第２のＲＡＷデータそれぞれに対応する第１の等級付けの結果から、等級の分布を解析して、分布の統計値としての中心値や重心値を算出する。この後、システム制御部２２１０はステップＳ２３０９に進む。
【０１４８】
ステップＳ２３０９では、システム制御部２２１０は、第１の等級付けの結果をＸＭＰ方式に収まる値０〜５の６段階の等級付けに収めた場合に、等級の分布の中心値と重心値のうちどちらが等級の偏りが少ないかを判断する。等級の偏りについては、図１１のステップＳ１１０２で説明した通りであり、システム制御部２２１０は、中心値と重心値のうち、等級ごとの分布数の最大値が低くなる方を判断する。判断する合焦度の区分範囲数は、互換性の高いＸＭＰ方式の等級付けを考慮して、等級付けの初期値であって等級付けが行われていないことを意味する値０を除き、等級の値１〜５の５段階を用いて５つの区分範囲とする。この後、システム制御部２２１０はステップＳ２３１０に進む。
【０１４９】
ステップＳ２３１０では、システム制御部２２１０は、合焦度の５つの区分範囲に対応する第２の等級付けの結果を、対応する画像データの属性領域に記録する。具体的な記録動作は、実施例１で図７を用いて説明した通りであり、この等級付けの記録方式を採用することにより、他メーカーとの互換性を高く保ちつつ、等級の偏りを生じにくい等級付け結果を記録することができる。この後、システム制御部２２１０はステップＳ２３１２に進む。
【０１５０】
ステップＳ２３１１では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｎに値１を加算する。この後、システム制御部２２１０はステップＳ２３１２に進む。
【０１５１】
ステップＳ２３１２では、システム制御部２２１０は、焦点検出を終えた第２のＲＡＷデータのカウンタｎの値とステップＳ２３０１で計数された第２のＲＡＷデータの計数値との大小を判断する。カウンタｎの値が計数値より小さければ、未着目の第２のＲＡＷデータに対して第２の等級付けを行うため、システム制御部２２１０はステップＳ２３０９に戻る。そして、ステップＳ２３０９からステップＳ２３１１の動作を一時記憶されたすべての第２のＲＡＷデータに対して行う。カウンタｎの値が計測値以上であれば、システム制御部２２１０は、記録部２１９内に格納された着目第２のＲＡＷデータを全てに対して第２の等級付けを終えているため、本処理を終了する。
【０１５２】
本実施例では、デジタルカメラとは異なる外部装置において第２の焦点検出を行い、該第２の焦点検出の結果に基づいて等級付けを行う。この等級付けに係る処理をデジタルカメラではなく外部装置において行うことで、デジタルカメラによる撮像中の処理負荷を軽減することができる。さらに、ユーザが外部装置よる等級付けの結果に基づいて静止画データをできるだけ偏りを抑えて等級付けすることが可能となり、実際の撮像により得られた画像データの焦点状態（デフォーカス量）に基づく等級に応じて画像を分類することができる。これにより、撮像により得られた画像データを分類するユーザの負荷を軽減することができる。
【実施例６】
【０１５３】
実施例２では、図１３に示すように、等級数の多い第１の等級付けを行い、第１の等級の分布の中心値や重心値を基準に、第２の等級付けを行っていた。これに対して、本発明の実施例６では、予め第２の等級付けを行う合焦度の範囲を選択できる等級付けモードの選択状況と合焦度Ｊに基づいて、直接的に第２の等級付けを行う。
【０１５４】
実施例６について、図２４に示すフローチャートと、図２５に示す第２の等級処理におけるデフォーカス量絶対値と等級との関係を示す図とを用いて説明する。なお、ここでは本実施例と実施例２との相違点について説明し、共通点については説明を省略する。
【０１５５】
本実施例のデジタルカメラは、実施例２で説明した図１４の等級付けモードの設定例に示すような、等級付けモードとしての、狭帯域モードと広帯域モードを備える。等級付けモードにおける本実施例と実施例２との差異は、撮像で得られた画像の合焦度を実施例２の動作と同様に算出した後、合焦状態に近い狭いデフォーカス量範囲（合焦度範囲）の分布に着目して、合焦度から直接的に第２の等級付けを行う点である。
【０１５６】
本実施例のデジタルカメラが行う等級付け動作は、電源投入直後の初期状態において、ミラーダウン状態で静止画ワンショットモードあるいは静止画連写モードが設定されており、ユーザがファインダ２０６を覗くことで被写体像を確認できる状態で行われる。ここでは、予め狭範囲モードと広範囲モードのいずれかがユーザ操作によって選択されているものとする。
【０１５７】
まず、ユーザにより操作スイッチ２１１のＳＷ１のオン操作が行われることに応じて、カメラコントローラ２１２は、図８を用いて説明したステップＳ８０１からステップＳ８０７の動作を行う。ステップＳ８０７にて撮像動作を行った後、カメラコントローラ２１２はステップＳ２５０１に進む。
【０１５８】
ステップＳ２５０１では、カメラコントローラ２１２は、撮像動作モードが静止画連写モードであるか否かを判断する。カメラコントローラ２１２は、撮像動作モードが静止画連写モードであれば、連写期間中の次の動作を判断するためステップＳ２５０２に進み、他の撮像動作モードであれば撮像により得られた画像データを適切に分類して記録し終えたために本処理を終了する。
【０１５９】
ステップＳ２５０２では、カメラコントローラ２１２は、操作スイッチ２１１のＳＷ２のオン操作が継続されている（連写の続行が指示されている）か、操作スイッチ２１１のＳＷ１が改めてオン操作されて焦点位置制御を行うように指示されているかを判断する。カメラコントローラ２１２は、ＳＷ２またはＳＷ１のオン操作が行われている場合はステップＳ８０１に戻る。これにより、カメラコントローラ２１２は、メインミラー２０１とサブミラー２０２をミラーダウン状態に移行させ、測光および第１のＡＦを行う。カメラコントローラ２１２は、ＳＷ２およびＳＷ１のいずれのオン操作も行われていなければステップＳ２５０３に進む。本ステップの動作は、ＳＷ１押下開始から操作スイッチ２１１の押下状態が解放されるまでの連写期間において撮影された複数枚の画像に対して、本発明の等級付けを行うことを意味する。
【０１６０】
ステップＳ２５０３では、カメラコントローラ２１２は、選択されている等級付けモードを判断し、広範囲モードが選択されていればステップＳ２５０４に進み、狭範囲モードが選択されていればステップＳ２５０５に進む。
【０１６１】
ステップＳ２５０４では、カメラコントローラ２１２は、合焦度Ｊ［Ｆδ］を区分する閾値を０．２５［Ｆδ］に設定し、合焦度Ｊの判定結果を広範囲モードに対応するように閾値を境界として計５つの区分範囲に区分する。そして、該５つの区分範囲のそれぞれにおいて、合焦度Ｊから直接的に第２の等級付けを行う。なお、広範囲モードで着目するデフォーカス領域の外に合焦度の分布がある場合は、最も近い合焦度Ｊの区分範囲に含めるようにする。本実施例での第２の等級付け動作は、図２５を用いて後述する。第２の等級付けを完了したカメラコントローラ２１２は、本実施例の処理を終了する。
【０１６２】
ステップＳ２５０５では、カメラコントローラ２１２は、合焦度Ｊ［Ｆδ］を区分する閾値を０．２５［Ｆδ］に設定して、合焦度Ｊの判定結果を狭範囲モードに対応するように閾値を境界として計５つの区分領域に区分する。そして、該５つの区分範囲のそれぞれにおいて、第１の等級付けを行うことなく直接的に、第２の等級付けを行う。なお、狭範囲モードで着目するデフォーカス領域の外に合焦度の分布がある場合は、最も近い合焦度Ｊの区分範囲に含めるようにする。本実施例での第２の等級付け動作は、図２５を用いて後述する。本実施例での第２の等級付け動作は後述する。第２の等級付けを完了したカメラコントローラ２１２は、本実施例の処理を終了する。
【０１６３】
図２５は、第２の等級処理におけるデフォーカス量絶対値と等級との関係を示す図である。図２５の最上段は、閾値０．２５［Ｆδ］ごとに区分された合焦度Ｊ［Ｆδ］である。２段目は、区分された合焦度Ｊ［Ｆδ］の区分範囲ごとの画像の分布数を示す例である。３段目は、等級付けモードが狭範囲モードに選択された場合の等級付けの例であり、合焦度ＪがＪ＜−１．２５あるいは１．２５＜Ｊ［Ｆδ］であった場合は、等級付けしていない等級０を除く最低等級の１が付与されている。本実施例における狭範囲モードは、高精細なグラビア印刷出力を想定しており、最高等級の５が付与される合焦度Ｊが狭く設定されている。４段目は、等級付けモードが広範囲モードに選択された場合の等級付けの例であり、合焦度Ｊが−１．００≦Ｊ≦１．００［Ｆδ］であった場合は、最高等級の５が付与されている。本実施例における広範囲モードは、新聞紙等の粗い網点印刷出力を想定しており、最高等級の５が付与される合焦度Ｊが広く設定されているとともに、−１．７５≦Ｊ＜−０．７５あるいは０．７５＜Ｊ≦１．７５［Ｆδ］の範囲では狭範囲モードと比べて相対的に高い等級が付与されている。図２５の５段目は、合焦度Ｊの区分範囲ごとの分布数に基づいて、狭範囲モードにおける第２の等級の等級ごとの分布数を示す例である。６段目は、同様に広範囲モードにおける第２の等級の等級ごとの分布数を示す例である。図２５に示すように、ステップＳ２５０４あるいはステップＳ２５０５における第２の等級付けは、撮像された画像における所定の焦点検出領域の合焦度とその区分範囲に基づいて、他の値に変換することなく直接的に、第２の等級付けが行われる。
【０１６４】
なお、ステップＳ２５０４あるいはステップＳ２５０５にて、第２の等級付け結果を第１の等級として代入しても良い。
【０１６５】
本実施例によれば、画像出力解像度等の画像出力先の特徴を踏まえた等級付けを、実施例２の動作と比べてさらに簡略的かつ高速に行うことができ、ユーザがより着目したい合焦度の画像から再生や閲覧を行うことができる。
［変形例］
＜等級付けを行う連写画像の範囲＞
実施例１乃至４および実施例６では、ＳＷ１押下開始から操作スイッチ２１１の押下状態が解放されるまでの連写期間において撮影された複数枚の画像データ（以下、単に画像ともいう）に対して、本発明の等級付けを行っていた。しかし、これに限らず、時間的に前後に隣接する２枚の画像の各撮影時刻あるいは撮影時刻の時間間隔を記憶しておく。そして、操作スイッチ２１１のＳＷ１やＳＷ２の押下状況によらず、所定の閾値より短い時間間隔で撮影された画像を一群としてまとめて扱って、本発明の等級付けを行っても良い。このような動作を行うことで、連写操作が途中で瞬間的に中断される操作入力が行われても、本来の連写画像のまとまりを維持しながら、他メーカーとの互換性を高く保ちつつ、等級の偏りを生じにくい等級付け結果を記録することができる。
【０１６６】
また、そのほか、電源入から電源切までの複数の撮影を一群としてまとめて扱ったり、あるいは、記録先フォルダの切り替えが行われるタイミングで同一フォルダ内に記録されている複数の画像を一群としてまとめて扱ったりしても良い。この場合、操作スイッチ２１１のＳＷ１やＳＷ２の操作と敢えて連動させずに、操作者の電源操作や記録先フォルダ選択操作といった撮像に係る操作入力とは別の操作入力に応じて、等級付けを行うまとまりを手動制御できるようになる。
【０１６７】
＜主被写体の特定例＞
実施例４では、図２１のステップＳ２１０２での主被写体焦点検出領域の特定方法として、最も至近寄りの焦点検出領域を主被写体焦点検出領域とすることについて説明した。ただし、例えば人物の顔を検出する不図示の顔検出部を設け、顔の大きさが最も大きい等の指標に基づいて顔全体やそのうちの左右のいずれかの眼を主被写体として特定するようにしてもよい。また、例えば画像内の色を検出する不図示の色検出部を設け、ユーザ操作により指定された色や色相等の指標に基づいて主被写体焦点検出領域を特定してもよい。
【０１６８】
＜等級の分布を解析する対象画像＞
実施例１では、図１１のステップＳ１１０１において、第１の等級付けの結果の分布を解析し、該分布の統計値である中心値や重心値に応じてそのうちどちらに基づいて第２の等級付けを行うかを変える場合について説明した。また実施例１では、分布を解析する対象である一纏まりの撮像画像は、ＳＷ２のオン操作中に所定の時間間隔（時間周期）での連写により得られる複数の静止画像や、記録の開始から停止までの１シーンの連続撮像により得られる動画像（複数のフレーム画像データ）である。
【０１６９】
しかし、撮像光学系の光学特性が変化する間の撮像により得られる一纏まりの撮像画像（複数の画像データ）に対して第１および第２の等級付けを行ってもよい。例えば焦点位置制御によって焦点位置が移動している間において所定範囲内での焦点位置での撮像により得られる画像や、絞り１０２の絞り値が変化している間において同一絞り値での撮像により得られる画像の一纏まりに対して第１および第２の等級付けを行ってもよい。この場合、異なる光学特性での撮像により得られた画像を含まないため、合焦度の分布の偏りを低減することが可能となり、ひいては適切な画像の分類を行うことが可能となる。
【０１７０】
＜ミラーアップ時の処理に関する変形例＞
上述した各実施例で説明した静止画ワンショットモードおよび静止画連写モードは、第１の焦点検出をミラーダウン状態で行うモード（第１のモード）である。ただし、第１の焦点検出をミラーアップ状態で行うモード（第２のモード）を有していてもよい。第１の焦点検出をミラーアップ状態で行うライブビューモードおよび動画撮像モードは、メインミラー２０１とサブミラー２０２がミラーアップした状態を維持するように制御される点で静止画ワンショットモードおよび静止画連写モードとは異なる。
【０１７１】
操作部２１８におけるユーザ操作よりライブビューモードが設定されると、メインミラー２０１とサブミラー２０２がミラーアップ状態となるよう制御される。また、ライブビューモードでは、例えば１秒間に６０回等の所定周期で撮像部２１０が連続的に撮像動作を行い、得られた撮像信号を用いて表示部２１７にて画像が表示される。
【０１７２】
ライブビューモードにおいて操作スイッチ２１１のＳＷ１がオン操作されると、撮像部２１０の撮像信号を用いて被写体像の輝度を測定する第１の測光動作が行われる。そして、該第１の測光動作により得られた測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。また、第１の測光動作に続いて、撮像部２１０からの２像信号を用いて第１の焦点検出が行われ、第１の焦点検出結果に基づいて撮像光学系の焦点位置制御が行われる。
【０１７３】
またライブビューモードにおいてＳＷ２がオン操作されると、撮像部２１０が記録用の撮像動作を行い、撮像部２１０は撮像信号から瞳分割画像データである第１のＲＡＷデータを生成する。そして、第１のＲＡＷデータが所定のＲＡＷ用のファイルフォーマットに整えられることで記録用の第２のＲＡＷデータが得られ、記録部２１９に記録される。第２のＲＡＷデータは瞳分割画像データを含んでいる。
【０１７４】
また、第１のＲＡＷデータに対して、瞳分割により得られた一対の画素信号が加算された上で所定の画像処理が行われることにより静止画データが得られ、記録部２１９に記録される。また、第１のＲＡＷデータはメモリ２１３に転送され、瞳分割画像データに基づく第２の焦点検出に用いられる。また、撮像部２１０からの撮像信号を用いて被写体像の輝度を測定する第２の測光動作が行われ、該第２の測光動作の結果に基づいて、絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。
【０１７５】
操作部２１８のユーザ操作により動画記録モードが設定されると、メインミラー２０１とサブミラー２０２がミラーアップ状態となるよう制御される。また、動画記録モードでは、例えば１秒間に６０回等の所定周期で撮像部２１０が連続的に撮像動作（連続撮像）を行い、得られた撮像信号を用いて表示部２１７に画像が表示される。
【０１７６】
動画記録モードにおいて操作部２１８に動画記録の開始を指示するユーザ操作が行われると、撮像部２１０は撮像信号から瞳分割画像データである第１のＲＡＷデータを生成する。第１のＲＡＷデータに対して、瞳分割により得られた一対の画素信号が加算された上で所定の画像処理が行われて動画データが得られ、記録部２１９に記録される。また、生成された第１のＲＡＷデータは、メモリ２１３に転送され、瞳分割画像データに基づく第１の焦点検出に用いられる。また、撮像部２１０の撮像信号を用いて被写体像の輝度を測定する第２の測光動作が行われ、該第２の測光動作による測光結果に基づいて絞り１０２の開口径や撮像部２１０の電荷蓄積時間やＩＳＯ感度が制御される。
【０１７７】
静止画ワンショットモードおよび静止画連写モードでは、焦点位置制御の目標焦点位置を定めるための第１の焦点検出をミラーダウン状態にて焦点検出ユニット２０９を用いて行う。しかし、ライブビューモードでは、ミラーアップ状態にて撮像信号を用いて第１の焦点検出を行い、第１の焦点検出結果に基づいて焦点位置制御の目標焦点位置が定められる。この場合、上述した第２のＲＡＷデータや静止画データに記録された被写体像の焦点位置は、１つ前の撮像動作で得られた撮像信号を用いて焦点検出が行われてその結果に基づいてレンズユニット部１００（撮像光学系）が制御された焦点位置であることを意味する。
【０１７８】
また、上述した各実施例では、撮像動作における電荷蓄積時間やＩＳＯ感度を定めるための第１の測光動作をミラーダウン状態にて測光センサ２０８を用いて行う。しかし、ライブビューモードでは、ミラーアップ状態にて撮像信号を用いて第１の測光動作を行い、その結果に基づいて撮像動作の電荷蓄積時間やＩＳＯ感度が定められる。この場合、上述した第２のＲＡＷデータや静止画データに記録された被写体像の露光量は、１つ前の撮像動作で得られた撮像信号を用いて測光された結果に基づく露光量であることを意味する。
【０１７９】
また、ライブビューモードでは、ミラーアップ状態にて撮像信号を用いてメモリ２１３に撮像信号を一時記憶しながら焦点位置の追尾演算を行う。そして、その追尾結果に基づいて複数の焦点検出領域１９０２のうち被写体の移動先に最も近い焦点検出領域が最終的に焦点検出を行う焦点検出領域として選択される。
【０１８０】
＜実施例５の変形例＞
実施例５では、デジタルカメラの記録部２１９と外部装置としてのコンピュータ２２００とを電気的に接続して通信可能な状態を構築する。しかし、デジタルカメラの記録部２１９からデータを読み出す読出し機器と外部のコンピュータとを電気的に接続して通信可能な状態を構築する構成でもよい。また、デジタルカメラの記録部２１９や、記録部２１９からデータを読み出す読出し機器や、外部のコンピュータに無線通信手段を設けて、電気的な接続なく通信可能な状態を構築する構成でもよい。これらの構成においても、実施例５と同様の効果を得ることができる。
【０１８１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１８２】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１８３】
２０９  焦点検出ユニット
２１０  撮像部
２１２  カメラコントローラ
【図１】
2019193256.tif 000003
【図２】
2019193256.tif 000004
【図３】
2019193256.tif 000005
【図４】
2019193256.tif 000006
【図５】
2019193256.tif 000007
【図６】
2019193256.tif 000008
【図７】
2019193256.tif 000009
【図８】
2019193256.tif 000010
【図９】
2019193256.tif 000011
【図１０】
2019193256.tif 000012
【図１１】
2019193256.tif 000013
【図１２】
2019193256.tif 000014
【図１３】
2019193256.tif 000015
【図１４】
2019193256.tif 000016
【図１５】
2019193256.tif 000017
【図１６】
2019193256.tif 000018
【図１７】
2019193256.tif 000019
【図１８】
2019193256.tif 000020
【図１９】
2019193256.tif 000021
【図２０】
2019193256.tif 000022
【図２１】
2019193256.tif 000023
【図２２】
2019193256.tif 000024
【図２３】
2019193256.tif 000025
【図２４】
2019193256.tif 000026
【図２５】
2019193256.tif 000027
【図２６】
2019193256.tif 000028