(57)【要約】【課題】撮像後に出力画像の合焦度を評価するための閾値を容易に設定する。【解決手段】撮像装置２０は、被写体像を撮像する撮像素子２０１から出力される撮像信号から、撮像素子の解像度とは異なる解像度を有する出力画像を生成する。撮像装置は、撮像素子から撮像面位相差検出方式の焦点検出に用いられる対の焦点検出信号を取得して、該対の焦点検出信号の位相差を算出し、位相差と閾値とを比較して、出力画像の合焦度を評価する。評価において、出力画像の解像度に応じて閾値を変更する。【選択図】図１
2020064208.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子と、
前記撮像素子から出力される撮像信号から、前記撮像素子の解像度とは異なる解像度を有する出力画像を生成する画像生成手段と、
前記撮像素子から撮像面位相差検出方式の焦点検出に用いられる対の焦点検出信号を取得して、該対の焦点検出信号の位相差を算出する撮像面焦点検出手段と、
前記位相差と閾値とを比較して、前記出力画像の合焦度を評価する評価手段とを有し、
前記評価手段は、前記出力画像の解像度に応じて前記閾値を変更することを特徴とする撮像装置。
【請求項２】
前記出力画像を表示する表示手段を有しており、
前記評価手段は、前記出力画像とともに前記合焦度を示す指標を前記表示手段に表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記評価手段は、前記出力画像の合焦度として、前記出力画像が合焦画像か非合焦画像かを評価することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記閾値は、前記出力画像の解像度において該出力画像が合焦画像と判定できる前記撮像素子上でのぼけ量であることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記変換手段は、ユーザ操作に応じて前記出力画像の解像度を変更し、
前記評価手段は、変更された前記出力画像の解像度に応じて前記閾値を変更することを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
【請求項６】
前記評価手段は、前記出力画像の解像度にかかわらず、ユーザ操作に応じて前記閾値を変更することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記評価手段は、前記出力画像とともに前記撮像素子上でのぼけ量を示す指標を前記表示手段に表示することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記撮像素子とは別に設けられ、位相差検出方式の焦点検出に用いられる対の焦点検出信号を生成する焦点検出センサと、
前記撮像素子による撮像前に、前記焦点検出センサにより生成された前記対の焦点検出信号の位相差を算出し、該位相差に応じてフォーカス制御を行うフォーカス制御手段とを有することを特徴とする請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
被写体像を撮像する撮像素子を有する撮像装置の制御方法であって、
前記撮像素子から出力される撮像信号から、前記撮像素子の解像度とは異なる解像度を有する出力画像を生成するステップと、
前記撮像素子から撮像面位相差検出方式の焦点検出に用いられる対の焦点検出信号を取得して、該対の焦点検出信号の位相差を算出するステップと、
前記位相差と閾値とを比較して、前記出力画像の合焦度を評価する評価ステップとを有し、
前記評価ステップにおいて、前記出力画像の解像度に応じて前記閾値を変更することを特徴とする撮像装置の制御方法。
【請求項１０】
被写体像を撮像する撮像素子を有する撮像装置のコンピュータに、請求項９に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出専用センサと撮像素子とを用いた焦点検出を行う撮像装置に関する。
【背景技術】
【０００２】
一眼レフデジタルカメラでは、交換レンズからの光をミラーにより光学ファインダに反射してユーザに被写体像を観察させる際に、該ミラーのうちハーフミラー部を透過した光を焦点検出専用センサ（ＡＦセンサ）に導く。そして、ＡＦセンサによる位相差検出方式での焦点検出とその結果に基づくフォーカスレンズの駆動、すなわちＡＦを行う。また、交換レンズからの光路からミラーが退避した撮像時に、撮像素子に設けられた焦点検出画素を用いた撮像面位相差検出方式による焦点検出を行うことができる。
【０００３】
ＡＦセンサを用いたＡＦから撮像までの間に被写体またはカメラが動くと、撮像によって非合焦画像が得られることになる。撮像時に撮像素子を用いた焦点検出を行うことによって、撮像後の画像出力時において出力画像が合焦画像か非合焦画像かを確認することができる。特許文献１には、撮像素子を用いた焦点検出による合焦／非合焦判定のための閾値をユーザが可変設定できるようにした撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０９４５０ 号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記閾値をユーザが決めることは実際には難しい。閾値が高すぎると、被写体またはカメラがほとんど動いていなくても撮像により得られた画像が非合焦画像と判定される。一方、閾値が低すぎると、明らかな非合焦画像も合焦画像と判定される。
【０００６】
本発明は、撮像後に出力画像の合焦度を評価するための閾値を容易に設定できるようにした撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、被写体像を撮像する撮像素子と、撮像素子から出力される撮像信号から、撮像素子の解像度とは異なる解像度を有する出力画像を生成する画像生成手段と、撮像素子から撮像面位相差検出方式の焦点検出に用いられる対の焦点検出信号を取得して、該対の焦点検出信号の位相差を算出する撮像面焦点検出手段と、位相差と閾値とを比較して、出力画像の合焦度を評価する評価手段とを有する。評価手段は、出力画像の解像度に応じて閾値を変更することを特徴とする。
【０００８】
また、本発明の他の一側面としての制御方法は、被写体像を撮像する撮像素子を有する撮像装置に適用される。該制御方法は、撮像素子から出力される撮像信号から、撮像素子の解像度とは異なる解像度を有する出力画像を生成するステップと、撮像素子から撮像面位相差検出方式の焦点検出に用いられる対の焦点検出信号を取得して、該対の焦点検出信号の位相差を算出するステップと、位相差と閾値とを比較して、出力画像の合焦度を評価する評価ステップとを有する。評価ステップにおいて、出力画像の解像度に応じて閾値を変更することを特徴とする。
【０００９】
なお、撮像装置のコンピュータに上記制御方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１０】
本発明によれば、撮像後に出力画像の合焦度を評価するための閾値を容易に設定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１であるカメラシステムの構成を示すブロック図。
【図２】実施例１における撮像素子の画素配列を示す図。
【図３】実施例１における撮像処理を示すフローチャート。
【図４】実施例１における静止画撮像処理を示すフローチャート。
【図５】実施例１における像ずれ量の算出例を示すグラフ。
【図６】実施例１における焦点検出領域を示す図。
【図７】実施例１における表示例を示す図。
【図８】本発明の実施例２における動画撮像処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１３】
図１は、本発明の実施例１である撮像装置としての一眼レフデジタルカメラ（以下、単にカメラという）２０と、該カメラ２０に着脱可能に装着された交換レンズ１０とにより構成されるレンズ交換型カメラシステムの構成を示している。カメラ２０に搭載されたカメラ制御部２１２と交換レンズ１０に搭載されたレンズ制御部１０６は相互に通信することができる。
【００１４】
交換レンズ１０は、被写体側から順に配置された固定レンズ１０１、絞り１０２およびフォーカスレンズ１０３を含む撮像光学系を有する。また交換レンズ１０は、絞り駆動部１０４、フォーカスレンズ駆動部１０５、前述したレンズ制御部１０６およびレンズ操作部１０７を有する。
【００１５】
絞り１０２は、絞り駆動部１０４によって駆動されて、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって撮像光学系の光軸方向に駆動されて焦点調節を行う。レンズ制御部１０６は、カメラ制御部２１２から受信した駆動命令に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御して絞り１０２やフォーカスレンズ１０３を駆動させる。
【００１６】
レンズ操作部１０７は、ユーザにより操作されるスイッチやダイヤル等の操作部材を含む。レンズ制御部１０６は、レンズ操作部１０７におけるユーザ操作に応じて交換レンズ１０における様々な制御を行う。またレンズ制御部１０６は、交換レンズ１０の識別（ＩＤ）情報および撮像光学系の光学情報等のレンズ情報をカメラ制御部２１２に送信する。
【００１７】
一方、カメラ２０は、撮像光学系からの光路に対して出入り可能なクイックリターンミラー２５２を有する。光路内に配置されたクイックリターンミラー２５２は、撮像光学系からの光束の一部を反射して、ペンタプリズム２５１および接眼レンズ２５６により構成される光学ファインダを介してユーザの眼に到達する。これにより、ユーザは、光学ファインダを通して被写体像（ファインダ像）を観察することができる。クイックリターンミラー２５２の中央部はハーフミラー部として形成されている。光路内においてハーフミラー部を透過した光束は、クイックリターンミラー２５２の背後に配置されたサブミラー２５３で反射されて焦点検出センサ（焦点検出専用センサ）としてのＡＦセンサ２５４に導かれる。ＡＦセンサ２５４は、図６（ａ）に示すように、撮影画面（ファインダー像）７００内の複数（例えば１１個）の焦点検出領域７０１で焦点検出を行うことができる。
【００１８】
ＡＦセンサ２５４は、それぞれ複数のフォトダイオードを含む複数対のラインセンサを有し、各対のラインセンサからその出力信号としての対の焦点検出信号を取得する。焦点検出回路２５５は、対の焦点検出信号に対する相関演算を行って、該対の焦点検出信号間の位相差（像ずれ量）を算出し、該像ずれ量をカメラ制御部２１２に出力する。
【００１９】
クイックリターンミラー２５２が光路外に退避すると、撮像光学系からの光束は、赤外カットおよびローパス作用を有する光学フィルタ２５９と開状態のフォーカルプレーンシャッタ２５８を通過して撮像素子２０１上に被写体像を形成する。撮像素子２０１は、ＣＭＯＳセンサ等の光電変換素子であり、被写体像を撮像（光電変換）する。フォーカルプレーンシャッタ２５８は、撮像素子２０１の露光量を制御するために開閉動作する。
【００２０】
撮像素子２０１の受光面である撮像面上には、複数の撮像画素が二次元に配置されている。各撮像画素は。入射光量に応じた電荷を発生および蓄積する。各撮像画素に蓄積された電荷は、カメラ制御部２１２からの指令に対してタイミングジェネレータ２１５から供給される駆動パルスに応じて、電荷量に応じた電圧信号として読み出される。
【００２１】
図２は、撮像素子２０１における撮像画素の配列を示している。２画素行×２画素列の４つの撮像画素を画素ユニットとし、多数の画素ユニットが撮像面上に二次元配列されている。画素ユニットの４つの撮像画素のうち２つは緑（Ｇ）のカラーフィルタを備えたＧ画素であり、他の２つは赤（Ｒ）のカラーフィルタを備えたＲ画素と青（Ｂ）のカラーフィルタを備えたＢ画素である。
【００２２】
さらに撮像素子２０１においては、撮像面位相差検出方式での焦点検出を行うことができるように、各撮像画素が１つのマイクロレンズ２９３と２つ（対）のフォトダイオード（焦点検出画素）２９１，２９２を有する。撮像光学系からの光束をマイクロレンズ２９３により分離して、対のフォトダイオード２９１，２９２により受光および光電変換することで、該対のフォトダイオード２９１，２９２から対の焦点検出信号が得られる。
【００２３】
図６（ｂ）は、撮像素子２０１（撮像画面７１０）上において撮像面位相差検出方式での焦点検出を行うことができる複数（例えば３１個）の焦点検出領域７１１を示している。各焦点検出領域７１１内の複数対の焦点検出画素からの出力信号を合成することで、対の焦点検出信号が得られる。複数の焦点検出領域７１１は、表示部（表示手段）２０６に被写体像に重畳表示される。なお、焦点検出領域７１１の数（３１個）はＡＦセンサ２５４の焦点検出領域７０１の数（１１個）とは異なるが、３１個のうち１１個の焦点検出領域７１１は焦点検出領域７０１と重なっている。
【００２４】
このようにして撮像素子２０１から得られた対の焦点検出信号に対してその相関値を得るための相関演算を行うことにより、該対の焦点検出信号の位相差としての像ずれ量が得られ、該像ずれ量からデフォーカス量を算出（検出）することができる。また、撮像画素ごとに対のフォトダイオード２９１，２９２からの出力信号を加算し、全撮像画素からの加算出力信号を合成することで撮像信号が得られる。
【００２５】
撮像素子２０１から読み出された対の焦点検出信号および撮像信号はそれぞれ、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２に入力される。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、対の焦点検出信号および撮像信号に対してリセットノイズを除去するための相関二重サンプリング、ゲイン調整およびＡ／Ｄ変換を行い、デジタル信号としての対の焦点検出信号および撮像信号を生成する。ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された対の焦点検出信号および撮像信号は、画像生成手段としての画像処理部２０３に入力される。画像処理部２０３は、撮像信号に対してγ変換やカラー補間処理等の各種画像処理を行って画像信号（画像データ）を生成し、これをＳＤＲＡＭ２０９に格納する。また、画像処理部２０３は、対の焦点検出信号をＡＦ信号処理部２０４に出力する。
【００２６】
ＳＤＲＡＭ２０９に格納された画像データはバス２１を介して表示制御部２０５に入力され、表示制御部２０５は画像データを表示部２０６に表示する。画像データを記録する場合には、画像データは記録媒体制御部２０７により記録媒体２０８に記録される。ＲＯＭ２１０には、バス２１を介して接続されたカメラ制御部２１２が実行するコンピュータプログラムや制御に必要な各種データ等が格納されている。フラッシュＲＯＭ２１１には、ユーザが設定した設定値等のカメラ２０の動作に関する各種設定情報が格納されている。
【００２７】
撮像面焦点検出手段としてのＡＦ信号処理部２０４は、対の焦点検出信号に対する画素加算処理を行い、さらに該画素加算処理後の対の焦点検出信号に対する相関演算を行って対の焦点検出信号間の位相差である像ずれ量を算出する。また、ＡＦ信号処理部２０４は、対の焦点検出信号の信頼度（一致度、急峻度、コントラスト等）を算出する。ＡＦ信号処理部２０４は、算出した像ずれ量と信頼度をカメラ制御部２１２に出力する。
【００２８】
カメラ制御部２１２は、像ずれ量や信頼度に応じて、これらを算出する条件の変更をＡＦ信号処理部２０４に通知する。例えば、像ずれ量が大きい場合には相関演算を行う領域を広げたり、コントラストに応じてバンドパスフィルタの種類を変更したりする。相関演算の詳細については後述する。
【００２９】
なお、本実施例では、対の焦点検出信号と撮像信号を撮像素子２０１から取得する。ただし、対の焦点検出信号のうち一方と撮像信号を撮像素子２０１から取得して、画像処理部２０３により撮像信号から上記一方の焦点検出信号を差し引くことで他方の焦点検出信号を取得してもよい。
【００３０】
カメラ制御部２１２は、カメラ２０全体の制御を司り、カメラ操作部２１４からの入力（ユーザ操作）に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、静止画／動画撮像（記録）の開始と停止、ＡＦの実行、出力画像の生成および表示等の様々な動作を制御する。出力画像は、撮像信号から生成される画像であって最終的に記録媒体２０８に保存されたり表示部２０６に表示されたりする画像である。
【００３１】
またカメラ制御部２１２は、前述したようにレンズ制御部１０６からレンズ情報を通信により取得したり、レンズ制御部１０６に対して各種駆動命令を送信したりする。さらにカメラ制御部２１２は、評価手段として、後述する画像レーティング処理を行う。
【００３２】
図３のフローチャートは、カメラ制御部２１２がコンピュータプログラムに従って実行する撮像処理を示す。以下の説明において、「Ｓ」はステップを示す。
【００３３】
まずＳ３０１では、カメラ制御部２１２は、カメラ２０の初期化処理を行う。次にＳ３０２では、カメラ制御部２１２は、カメラ操作部２１４においてユーザが静止画撮像モードを選択（指示）しているか否かを判断する。静止画撮像モードが選択されている場合はＳ３０３に進み、そうでなければＳ３０４に進む。
【００３４】
Ｓ３０３では、カメラ制御部２１２は、静止画撮像処理を行う。その後、Ｓ３０２に戻る。静止画撮像処理の詳細については後述する。
【００３５】
Ｓ３０４では、カメラ制御部２１２は、カメラ操作部２１４においてユーザが動画撮像モードを選択（指示）しているか否かを判断する。動画撮像モードが選択されている場合はＳ３０５に進み、そうでなければＳ３０６に進む。
【００３６】
Ｓ３０５では、カメラ制御部２１２は動画撮像処理を行う。その後、Ｓ３０２に戻る。動画撮像処理の詳細については後の実施例４にて説明する。
【００３７】
Ｓ３０６では、カメラ制御部２１２は、カメラ操作部２１４においてユーザが画像閲覧モードを選択（指示）しているか否かを判断する。画像閲覧モードが選択されている場合はＳ３０７に進み、そうでなければＳ３０８に進む。
【００３８】
Ｓ３０７では、カメラ制御部２１２は、画像閲覧処理を行う。その後、Ｓ３０２に戻る。画像閲覧処理については後述する。
【００３９】
Ｓ３０８では、カメラ制御部２１２は、カメラ操作部２１４においてユーザが電源オフを指示しているか否かを判断する。電源オフが指示されている場合は本処理を終了し、そうでなければＳ３０２に戻る。
【００４０】
図４のフローチャートは、図３のＳ３０４で行われる静止画撮像処理を示している。Ｓ４０１では、カメラ制御部２１２は、カメラ操作部２１４においてユーザによりシャッタスイッチの半押し操作（ＳＷ１オン）が行われたかどうかを判断する。ＳＷ１オンが行われるまでＳ４０１の判断を繰り返し、ＳＷ１オンが行われた場合はＳ４０２に進む。
【００４１】
Ｓ４０２では、カメラ制御部２１２は、測光を行う。具体的には、カメラ制御部２１２は、撮像光学系からクイックリターンミラー２５２を介してペンタプリズム２５１を通過した光束を不図示の測光センサに測定させ、その結果を取得する。カメラ制御部２１２は、測光結果に応じて適正露出が得られる絞り値を設定する。
【００４２】
次にＳ４０３では、カメラ制御部２１２は、サブミラー２５３で反射された光束を受光するＡＦセンサ２５４と焦点検出回路２５５に焦点検出を行わせる。カメラ制御部２１２は、焦点検出回路２５５から検出（算出）された像ずれ量を取得する。
【００４３】
次にＳ４０４では、カメラ制御部２１２は、焦点検出回路２５５から取得した像ずれ量を用いて撮像光学系のデフォーカス量を焦点検出結果として算出し、デフォーカス量に応じて合焦状態を得るためのフォーカスレンズ１０３の駆動量（フォーカス駆動量）を算出する。そしてカメラ制御部２１２は、レンズ制御部１０６にフォーカス駆動量を送信する。レンズ制御部１０６は、受信したフォーカス駆動量に応じてフォーカスレンズ駆動部１０５を介してフォーカスレンズ１０３を駆動する。こうして、カメラ制御部２１２は、フォーカス制御手段として、ＡＦセンサ２５４を用いた位相差検出方式のＡＦ（焦点検出およびフォーカス制御）を撮像素子２０１による撮像前に行う。
【００４４】
次にＳ４０５では、カメラ制御部２１２は、カメラ操作部２１４においてユーザによりシャッタスイッチの全押し操作（ＳＷ２オン）が行われたかどうかを判断する。ＳＷ２オンが行われるまでＳ４０５の判断を繰り返し、ＳＷ２オンが行われた場合はＳ４０６に進む。
【００４５】
Ｓ４０６では、カメラ制御部２１２は、不図示のミラー駆動回路を通じてクイックリターンミラー２５２およびサブミラー２５３を光路外に退避させる。
【００４６】
次にＳ４０７では、カメラ制御部２１２は、Ｓ４０２で設定した絞り値を含む絞り駆動命令をレンズ制御部１０６に送信する。レンズ制御部１０６は、受信した絞り駆動命令に応じて絞り駆動部１０４を通じて絞り１０２を設定した絞り値まで絞り込む。
【００４７】
次にＳ４０８では、カメラ制御部２１２は、不図示のシャッタ駆動回路を通じてフォーカルプレーンシャッタ２５８を開動作させる。そしてカメラ制御部２１２は、所定のシャッタ秒時の経過に応じてＳ４０９でシャッタ駆動回路を通じてフォーカルプレーンシャッタ２５８を閉動作させる。さらにカメラ制御部２１２は、次回の開動作に備えてシャッタ駆動回路を通じてフォーカルプレーンシャッタ２５８にチャージ動作を行わせる。
【００４８】
次にＳ４１０では、カメラ制御部２１２は、画像処理部２０３に、撮像素子２０１から対の焦点検出信号としてのＡ像信号とＢ像信号を取得させる。
【００４９】
次にＳ４１１では、カメラ制御部２１２は、画像処理部２０３に、撮像素子２０１から撮像信号を取得させる。
【００５０】
次にＳ４１２では、カメラ制御部２１２は、レンズ制御部１０６に絞り１０２を開放するよう指示する。レンズ制御部１０６は、該開放指示に応じて絞り駆動部１０４を介して絞り１０２を開放動作させる。
【００５１】
次にＳ４１３では、カメラ制御部２１２は、ミラー駆動回路を通じてミラー２５２を光路内に移動させる。
【００５２】
次にＳ４１４では、カメラ制御部２１２は、ＡＦ信号処理部２０４に、Ｓ４１０で画像処理部２０３に取得させたＡ像信号とＢ像信号間の位相差である像ずれ量を算出させる。これにより、撮像素子２０１を用いた撮像面位相差検出方式による焦点検出が行われる。Ａ像およびＢ像信号間の像ずれ量の算出方法については後述する。
【００５３】
次にＳ４１５では、カメラ制御部２１２は、撮像素子２０１の解像度と現在設定されている出力画像（静止画）の解像度である出力解像度とを用いて許容ぼけ量を算出する。許容ぼけ量およびその算出方法については後述する。
【００５４】
次にＳ４１６（評価ステップ）では、カメラ制御部２１２は、出力画像の合焦度を評価する画像レーティング処理を行う。具体的には、カメラ制御部２１２は、Ｓ４１４で算出した像ずれ量とＳ４１５で算出した閾値としての許容ぼけ量とを比較して、像ずれ量が許容ぼけ量より小さいか否かを判定する。像ずれ量が許容ぼけ量より小さければ、出力画像は合焦度が高い合焦画像になるとしてレートを１とする。一方、像ずれ量が許容ぼけ量以上であれば、出力画像は合焦度が低い非合焦画像になるとしてレートを０とする。
【００５５】
次にＳ４１７では、カメラ制御部２１２は、画像処理部２０３に、Ｓ４１１で取得した撮像信号に対してその解像度を現在設定されている出力解像度に変換する加算・縮小処理を行わせて出力画像を生成させる。さらに、カメラ制御部２１２は、画像処理部２０３に、出力画像に対する圧縮処理を行わせ、圧縮された出力画像を記録媒体制御部２０７に出力させる。このとき、カメラ制御部２１２は、Ｓ４１６で出力画像を評価した結果としてのレートを記録媒体制御部２０７に出力する。記録媒体制御部２０７は、圧縮された出力画像とレートとを対応付けて記憶媒体２０８に記録する。
【００５６】
図５（ａ）〜（ｆ）を用いて、図４のＳ４１４で行われる像ずれ量の算出について説明する。図５（ａ）の上段には、合焦状態において撮像素子２０１の撮像面上に形成された被写体像５００を示している。この被写体像５００のうち白丸が、図５（ａ）の中段に示すように、撮像素子２０１における撮像画素群（１つの正方形の枠が１つの撮像画素を示す）５０１のうち１つの撮像画素上に形成されている。なお、各撮像画素には、図２に示したように１つのマイクロレンズと対のフォトダイオードが含まれている。撮像画素群における一方のフォトダイオードからの出力信号が合成されてＡ像信号が生成され、他方のフォトダイオードからの出力信号が合成されてＢ像信号が生成される。
【００５７】
図５（ａ）の下段には、撮像画素群５０１のうち矢印５０３が通る撮像画素から得られるＡ像信号５０４とＢ像信号５０５を示している。なお、図５（ａ）は合焦状態を示しているので、実際はＡ像信号５０４とＢ像信号５０５は重なり合っている（像ずれ量は０である）が、図では見やすいようにこれらを若干ずらして示している。
【００５８】
図５（ｂ）の上段には、非合焦（デフォーカス）状態において撮像素子２０１の撮像面上に形成されたぼけた被写体像５１０を示している。このぼけた被写体像５１０のうち白丸が、図５（ｂ）の中段に示すように、撮像素子２０１における撮像画素群５１１のうち６つの撮像画素上に広がっている。図５（ｂ）の下段には、撮像画素群５１１のうち矢印５１３が通る２つの撮像画素から得られるＡ像信号５１４とＢ像信号５１５を示している。非合焦状態であるので、Ａ像信号５１４とＢ像信号５１５は像ずれ量ｄを有する。
【００５９】
図５（ｃ），（ｄ）はそれぞれ、図５（ａ），（ｂ）に示した像ずれ量のグラフを示している。具体的には、Ａ像信号（５０４，５１４）とＢ像信号（５０５，５１５）とを相対的に１画素分ずつシフトさせながら得られる、図５（ｅ）に斜線で示すＡ像信号とＢ像信号の差分ＸＯＲの変化をグラフに示している。図５（ｃ），（ｄ）において、横軸はシフト量（画素数）を示し、縦軸がＸＯＲを示している。
【００６０】
図５（ａ）に示す合焦状態では、図５（ｃ）に示すようにシフト量０においてＸＯＲが最小（＝０）となる。このときのシフト量０が像ずれ量０を示す。一方、図５（ｂ）に示すように１画素分の大きさの被写体像が２画素分にぼけた非合焦状態では、図５（ｄ）に示すようにシフト量１または−１でＸＯＲが最小となる。このときのシフト量−１または１が像ずれ量−１または１を示す。
【００６１】
図５（ｆ）は、シフト量の補間処理を示す。図５（ｂ）に示したようにちょうど整数画素分ではないぼけ量のぼけが生じている場合にこの補間処理を行う。例えば図５（ｆ）に示すようにシフト量−１，０，１，２における４つのＸＯＲの値が得られた場合は、これら４点を通る近似曲線５２０を求め、該近似曲線５２０が示すＸＯＲが最小値となるシフト量ｓを求める。また、図に示すように上記４点のうち２点ずつを結んだ２つの直線の交点５２２に対応するシフト量をｓとして求めてもよい。これにより、ぼけ量が整数画素分ではなくてもシフト量、つまりは像ずれ量を求めることができる。
【００６２】
次に、図４のＳ４１５で行われる許容ぼけ量の算出方法について説明する。例えば撮像素子２０１が８Ｋ動画を出力できる７６８０×４３２０＝３２Ｍ個の撮像画素を有する場合において、カメラ２０の画像出力モードがユーザにより３８４０×２１６０＝８Ｍ画素の出力画像としての静止画を出力（記録）するモードに設定されているものとする。このとき、撮像素子２０１により撮像画像として得られる３２Ｍ画素の静止画を、縦横とも１／２に加算・縮小して出力画像としての８Ｍ画素の静止画を生成する。このため、仮に１画素分の大きさの被写体像が２画素分にぼけていたとしても、出力される静止画は合焦画像となる。このため、この画像出力モードでは、２画素分のぼけ量が許容されることになる。つまり、許容ぼけ量は２画素となる。許容ぼけ量は、出力画像の解像度において該出力画像が合焦画像と判定できる撮像素子上でのぼけ量である。
【００６３】
撮像画像として取得される静止画（３２Ｍ画素）と出力画像である静止画（８Ｍ画素）のアスペクト比が同じであるとする。この場合において、許容ぼけ量は、撮像素子２０１の水平解像度（横方向の撮像画素数）を撮像解像度とし、出力画像の水平解像度（横方向の画素数）を出力解像度とするとき、以下の式（１）ように算出される。
許容ぼけ量＝撮像解像度／出力解像度      （１）
図７（ａ）は、図３のＳ３０７で行われる画像閲覧処理による表示部２０６での表示例を示している。表示部２０６には、出力画像である２つの静止画８０１，８０２が表示されている。各静止画の下には撮像日付が表示され、一方の静止画８０２の下には１つの星マーク８０３が表示されている。静止画８０１の下には星マークは表示されていない。星マークは、図４のＳ４１６で行われた画像レーティング処理の結果としてのレートを示す指標である。星マーク有りはレートが１であることを示し、星マーク無しはレートが０であることを示す。なお、星マークに代えて、数字や星マーク以外の記号等、他の指標を用いてもよい。
【００６４】
静止画８０１は、Ｓ４１４で算出された像ずれ量がＳ４１５（式（１））で算出された許容ずれ量を超える非合焦画像である。このため、星マークは表示されていない。一方、静止画８０２は、現在設定されている出力解像度では、Ｓ４１４で算出された像ずれ量がＳ４１５で算出された許容ずれ量以下である合焦画像である。このため、星マーク８０３が表示されている。ユーザは、表示された小さな静止画８０１，８０２を詳細に見てそれらのピント状態を確認しなくても、星マーク８０３の有無から各静止画が合焦画像か非合焦画像かを容易に判断することができる。
【００６５】
本実施例によれば、撮像後において出力画像の合焦度（合焦画像か非合焦画像か）をユーザに容易に確認させることができる。また、ユーザがカメラの出力解像度を指定すれば、出力画像の合焦度を評価するための閾値（許容ずれ量）が自動的に設定される。
【実施例２】
【００６６】
次に、本発明の実施例２について説明する。本実施例は、許容ずれ量の算出を除き、実施例１と同一の構成および制御を行う。
【００６７】
実施例１では、図４のＳ４１５において式（１）により許容ぼけ量をユーザにより設定された出力解像度に応じて自動的に算出および設定される場合について説明した。しかし、設定された画像出力モードに対応する許容ぼけ量とユーザが意図している許容ぼけ量とが異なる場合もある。一方、前述したように具体的な閾値である許容ぼけ量をユーザが設定することは困難である。このため、実施例２では、カメラ２０において設定可能な複数の画像出力モードのそれぞれに対応する複数の許容ぼけ量から、使用する許容ぼけ量を、ユーザが現在の画像出力モード（つまりは出力解像度）にかかわらず選択できるようにする。
【００６８】
本実施例でも、撮像素子２０１が８Ｋ動画を出力できる７６８０×４３２０＝３２Ｍ個の撮像画素を有する場合を例として説明する。また、カメラ２０において設定可能な画像出力モードとこれらに対応する許容ぼけ量が、
モードＨ：７６８０×４３２０＝３２Ｍ画素  許容ぼけ量＝１画素
モードＭ：３８４０×２１６０＝８Ｍ画素    許容ぼけ量＝２画素
モードＬ：１９２０×１０８０＝２Ｍ画素    許容ぼけ量＝４画素
の３つある場合について説明する。
【００６９】
上記３つの許容ぼけ量のうちいずれかをユーザ操作により選択させるユーザインターフェース（「レーティング設定」）の表示例を図７（ｂ）に示す。ユーザインターフェースは、画像レーティング処理のＯＮ／ＯＦＦと、ユーザが選択した許容ぼけ量（矢印がモードＨ，Ｍ，Ｌに対応する許容ぼけ量を示す）を示す。
【００７０】
本実施例によれば、撮像後の出力画像の合焦度（合焦画像か非合焦画像か）をユーザに容易に確認させることができるとともに、許容ぼけ量を出力解像度にかかわらずユーザが任意に選択することができる。
【実施例３】
【００７１】
次に、本発明の実施例３について説明する。本実施例は、許容ずれ量の算出を除き、実施例１と同一の構成および制御を行う。
【００７２】
実施例１のように画像出力モードに応じて設定された許容ぼけ量や、実施例２のようにユーザが選択した許容ぼけ量によって出力画像の合焦度の評価が決まると不便な場合がある。具体的には、ＲＡＷ画像を後に現像したり、後述する実施例にて説明するように動画から静止画を切り出したりする等、最終的に保存する出力画像の解像度を後から決めることができるようにすることが好ましい場合がある。
【００７３】
本実施例でも、実施例２と同様に撮像素子２０１が８Ｋ動画を出力できる７６８０×４３２０＝３２Ｍ個の撮像画素を有し、実施例２で説明した３つの画像出力モードとそれに対応する許容ぼけ量が設定されているものとする。
【００７４】
本実施例では、図４のＳ４１６の画像レーティング処理における像ずれ量に応じてレートを低い方から０〜３のいずれかとする。具体的には、出力画像の元となる撮像画像のぼけ量（つまりは撮像素子２０１上でのぼけ量）と出力画像のレート０〜３を示す星マークの数との関係は以下の通りである。
ぼけ量＝１画素の場合：星マーク３つ（★★★）
ぼけ量＝２画素の場合：星マーク２つ（★★）
ぼけ量＝４画素の場合：星マーク１つ（★）
ぼけ量＞４画素の場合：星マーク無し
本実施例における画像レーティング処理の表示例を図７（ｃ）に示す。２つの静止画８１２，８１３はモードＬで生成された出力画像である。左側の静止画８１２には１つの星マーク８１０が表示され、静止画８１２よりも元の撮像画像のぼけ量が少ない右側の静止画８１３には２つの星マーク８１１が表示されている。これは、静止画８１３をより高解像度の画像出力モード（モードＭ）でも合焦画像として出力可能であることを示す。
【００７５】
本実施例によれば、撮像後の出力画像の合焦度（合焦画像か非合焦画像か）だけでなく、合焦画像として出力可能な出力画像の解像度をユーザに容易に確認させることができる。
【実施例４】
【００７６】
次に、本発明の実施例４について説明する。本実施例では、実施例１と同一の構成において動画撮像を行い、さらに動画から静止画を切り出すことができるようにする。図８のフローチャートは、本実施例における動画撮像処理を示している。
【００７７】
Ｓ９０１では、カメラ制御部２１２は、カメラ操作部２１４においてユーザにより動画撮像モードが選択されることに応じて、ミラー制御回路を通じてクイックリターンミラー２５２を光路外に退避させる。
【００７８】
次にＳ９０２では、カメラ制御部２１２は、シャッタ駆動回路を通じてフォーカルプレーンシャッタ２５８を開放させる。これにより、撮像光学系からの光束が撮像素子２０１に常に到達するようになる。
【００７９】
次にＳ９０３では、カメラ制御部２１２は、カメラ操作部２１４においてユーザにより動画記録の開始が指示されたか否かを判断する。動画記録の開始が指示されるまでＳ９０３の判断を繰り返し、動画記録の開始が指示された場合はＳ９０４に進む。
【００８０】
Ｓ９０４では、カメラ制御部２１２は、画像処理部２０３に、撮像素子２０１からの撮像信号から画像信号（動画データ）を生成させ、該動画データを表示制御部２０５に出力させる。表示制御部２０５は、動画データに対応する動画を表示部２０６に表示させる。
【００８１】
次にＳ９０５では、カメラ制御部２１２は、ＡＦ信号処理部２０４に、撮像素子２０１からの対の焦点検出信号としてのＡ像信号とＢ像信号を画像処理部２０３から取得させる。
【００８２】
次にＳ９０６では、カメラ制御部２１２は、ＡＦ信号処理部２０４に、Ａ像信号とＢ像信号間の像ずれ量を算出させる。
【００８３】
さらにＳ９０７では、カメラ制御部２１２は、算出された像ずれ量を用いてデフォーカス量を算出し、算出したデフォーカス量から合焦状態を得るためのフォーカス駆動量を算出する。カメラ制御部２１２は、レンズ制御部１０６にフォーカス駆動量を送信する。レンズ制御部１０６は、受信したフォーカス駆動量に応じてフォーカスレンズ駆動部１０５を介してフォーカスレンズ１０３を駆動する。これにより、撮像面位相差検出方式によるＡＦが行われる。
【００８４】
次にＳ９０８では、カメラ制御部２１２は、動画データを記録媒体制御部２０７を通じて記録媒体２０８に記録する。このとき、カメラ制御部２１２は、Ｓ９０６で算出した像ずれ量を動画データのフレームごとに記録する。
【００８５】
次にＳ９０９では、カメラ制御部２１２は、ユーザにより動画記録の停止が指示されたか否かを判断する。動画記録の停止が指示されるまではＳ９０９の判断を繰り返しつつ動画撮像を続行し、動画記録の停止が指示されるとＳ９１０に進む。
【００８６】
Ｓ９１０では、カメラ制御部２１２は、動画撮像を終了してフォーカルプレーンシャッタ２５８を閉動作させる。そしてＳ９１１では、カメラ制御部２１２はクイックリターンミラー２５２を光路内に移動させ、本処理を終了する。
【００８７】
図７（ｄ）は、動画から静止画を切り出す場合に図３のＳ３０７で行われる画像閲覧処理による表示部２０６での表示例を示している。表示部２０６はタッチパネル機能を有する。表示部２０６には、再生される動画とともに、動画再生ボタン８２１、一時停止ボタン８２０、早送りボタン８２５および早戻しボタン８２６が表示されている。
【００８８】
ユーザが再生ボタン８２１、早送りボタン８２５または早戻しボタン８２６をタッチすると、動画が再生、早送りまたは早戻しされる。ユーザが任意の１フレームにて一時停止ボタン８２０をタッチすると、その１フレームにて動画再生が停止して該１フレームのフレーム画像８２３が表示部２０６に表示される。そして、その状態でユーザがカメラ操作部２１４におけるシャッタスイッチを全押し操作すると、表示されているフレーム画像８２３が出力画像としての静止画として記録媒体２０８に記録される。
【００８９】
カメラ制御部２１２は、一時停止ボタン８２０により一時停止が指示されることに応じて、表示されるフレーム画像８２３に対して、図４のＳ４１６と同様に画像レーティング処理を行う。これにより、像ずれ量が許容ぼけ量より小さければ、図７（ｄ）に示すように表示部２０６に星マーク８２２が表示され、像ずれ量が許容ぼけ量以上であれば星マークは表示されない。
【００９０】
本実施例によれば、動画撮像後に動画から静止画（フレーム画像）を切り出す際に、フレーム画像ごとに合焦度（合焦画像か非合焦画像か）をユーザに容易に確認させることができる。
【００９１】
なお、上記各実施例では、１つの閾値を用いて、出力画像の合焦度として、合焦画像か非合焦画像かのみを評価する場合について説明した。しかし、複数の閾値を用いて出力画像の合焦の程度（例えば、ジャストピントや概ね合焦）や非合焦の程度（例えば、小ぼけや大ぼけ）を評価してもよい。
【００９２】
なお、上記各実施例ではレンズ（撮像光学系）の交換が可能でミラーを有するレンズ交換型一眼レフカメラについて説明した。しかし、レンズの交換が可能でミラーを有さないレンズ交換型ミラーレスカメラや、レンズを一体に有するレンズ一体型カメラも、本発明の実施例に含まれる。
【００９３】
さらに上記各実施例では、フォーカスレンズ１０３を光軸方向に駆動してＡＦを行う場合について説明したが、撮像素子２０１をフォーカス素子として用い、これを光軸方向に駆動することでＡＦを行ってもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００９５】
２０  カメラ
１０３  フォーカスレンズ
２０１  撮像素子
２０４  ＡＦ信号処理部
２１２  カメラ制御部
２５４  ＡＦセンサ
【図１】
2020064208.tif 000003
【図２】
2020064208.tif 000004
【図３】
2020064208.tif 000005
【図４】
2020064208.tif 000006
【図５】
2020064208.tif 000007
【図６】
2020064208.tif 000008
【図７】
2020064208.tif 000009
【図８】
2020064208.tif 000010