(57)【要約】【課題】被写体シーンの切り替わりを跨ぐ場合であっても、正確かつ円滑にオートフォーカスを実行する撮像制御装置を提供する。【解決手段】撮像制御装置は、撮像部が出力した第１画像信号と、第１画像信号より後に撮像部が出力した第２画像信号とを取得して、第１画像信号が表わす第１画像の比較領域に対する第２信号が表わす第２画像の比較領域の回転量、シフト量および拡大縮小量に関する第１評価値を演算する第１演算部と、第２画像信号に基づいて第２画像の設定領域におけるコントラストに関する第２評価値を演算する第２演算部と、第１評価値および第２評価値に基づいて、第２画像信号よりも後に撮像部が出力する第３画像信号を得るためのオートフォーカスを制御する制御部とを備える。【選択図】図３
2020046489.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が出力した第１画像信号と、前記第１画像信号より後に前記撮像部が出力した第２画像信号とを取得して、前記第１画像信号が表わす第１画像の比較領域に対する前記第２画像信号が表わす第２画像の前記比較領域の回転量、シフト量および拡大縮小量に関する第１評価値を演算する第１演算部と、
前記第２画像信号に基づいて前記第２画像の設定領域におけるコントラストに関する第２評価値を演算する第２演算部と、
前記第１評価値および前記第２評価値に基づいて、前記第２画像信号よりも後に前記撮像部が出力する第３画像信号を得るためのオートフォーカスを制御する制御部と
を備える撮像制御装置。
【請求項２】
前記第１画像信号および前記第２画像信号の非飽和画素比率に関する第３評価値を演算する第３演算部を備え、
前記制御部は、前記第１評価値、前記第２評価値および前記第３評価値に基づいて、前記オートフォーカスを制御する請求項１に記載の撮像制御装置。
【請求項３】
前記第１演算部は、前記撮像部が出力する画像信号が表わす画像の全体領域を前記比較領域と定め、
前記第２演算部は、前記全体領域を前記設定領域と定める請求項１または２に記載の撮像制御装置。
【請求項４】
前記第１演算部は、前記撮像部が出力する画像信号が表わす画像の全体領域を前記比較領域と定め、
前記第２演算部は、前記画像のうち指定された合焦領域を含む部分領域を前記設定領域と定める請求項１または２に記載の撮像制御装置。
【請求項５】
前記第１演算部は、前記撮像部が出力する画像信号が表わす画像のうち指定された合焦領域を含む第１部分領域を前記比較領域と定め、
前記第２演算部は、前記合焦領域を含む第２部分領域を前記設定領域と定める請求項１または２に記載の撮像制御装置。
【請求項６】
前記制御部は、前記第２評価値が低コントラストと判断される範囲に含まれる場合には、前記第１評価値を用いずに前記オートフォーカスを制御する請求項１から４のいずれか１項に記載の撮像制御装置。
【請求項７】
前記撮像部と、
請求項１から６のいずれか１項に記載の撮像制御装置と
を備える撮像装置。
【請求項８】
撮像部が出力した第１画像信号と、前記第１画像信号より後に前記撮像部が出力した第２画像信号とを取得して、前記第１画像信号が表わす第１画像の比較領域に対する前記第２画像信号が表わす第２画像の前記比較領域の回転量、シフト量および拡大縮小量に関する第１評価値を演算する第１演算ステップと、
前記第２画像信号に基づいて前記第２画像の設定領域におけるコントラストに関する第２評価値を演算する第２演算ステップと、
前記第１評価値および前記第２評価値に基づいて、前記第２画像信号よりも後に前記撮像部が出力する第３画像信号を得るためのオートフォーカスを制御する制御ステップと
をコンピュータに実行させる撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、撮像装置および撮像制御プログラムに関する。
【背景技術】
【０００２】
ビデオカメラやスマートフォンに搭載されたカメラユニットなどの撮像装置では、オートフォーカス（以下、「ＡＦ」と記す場合がある）としてコントラスト方式が広く利用されている。コントラスト方式では、撮像素子が出力する画像信号から算出されるコントラスト評価値がＡＦ制御に用いられる。より具体的には、コントラスト評価値は、合焦となるフォーカス位置で最大となる山型分布になるので、フォーカスレンズは、コントラスト評価値が山型分布の頂点となるように移動される。この場合のフォーカスレンズは、コントラスト評価値が増加する方向を探索しつつ段階的に山型分布の頂点へ向かうように移動される。このような方式は、いわゆる山登り方式として広く知られている。
【０００３】
このようなコントラスト方式を採用する撮像装置において、加速度センサを利用することにより、被写体とカメラの相対的な動きによるピントずれを補正する技術が知られている（例えば、特許文献１を参照）。また、画像間の動きベクトルを利用して得た遠近データを利用してフォーカス制御を補助する技術（例えば、特許文献２を参照）や、ＡＦ領域における飽和画素の割合を参照してフォーカスレンズの移動を行わない技術（例えば、特許文献３を参照）が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３１２２７号公報
【特許文献２】特開平５−７３２５号公報
【特許文献３】特開２００６−２１５３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
被写体シーンの切り替わり時に、合焦に至っていないにも関わらずコントラスト評価値が高い値を示すことがあり、山登り方式によるＡＦ制御が正常に動作しないことがあった。
【０００６】
本発明は、このような問題を解決するためになされたものであり、被写体シーンの切り替わりを跨ぐ場合であっても、正確かつ円滑にオートフォーカスを実行する撮像制御装置等を提供するものである。
【課題を解決するための手段】
【０００７】
本発明の第１の態様における撮像制御装置は、撮像部が出力した第１画像信号と、第１画像信号より後に撮像部が出力した第２画像信号とを取得して、第１画像信号が表わす第１画像の比較領域に対する第２画像信号が表わす第２画像の比較領域の回転量、シフト量および拡大縮小量に関する第１評価値を演算する第１演算部と、第２画像信号に基づいて第２画像の設定領域におけるコントラストに関する第２評価値を演算する第２演算部と、第１評価値および第２評価値に基づいて、第２画像信号よりも後に撮像部が出力する第３画像信号を得るためのオートフォーカスを制御する制御部とを備える。
【０００８】
また、本発明の第２の態様における撮像装置は、撮像部と上記の撮像制御装置とを備える。さらに、本発明の第３の態様における撮像制御プログラムは、撮像部が出力した第１画像信号と、第１画像信号より後に撮像部が出力した第２画像信号とを取得して、第１画像信号が表わす第１画像の比較領域に対する第２画像信号が表わす第２画像の比較領域の回転量、シフト量および拡大縮小量に関する第１評価値を演算する第１演算ステップと、第２画像信号に基づいて第２画像の設定領域におけるコントラストに関する第２評価値を演算する第２演算ステップと、第１評価値および第２評価値に基づいて、第２画像信号よりも後に撮像部が出力する第３画像信号を得るためのオートフォーカスを制御する制御ステップとをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明により、被写体シーンの切り替わりを跨ぐ場合であっても、正確かつ円滑にオートフォーカスを実行する撮像制御装置等を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る撮像装置の構成を示すブロック図である。
【図２】コントラスト評価値の補正の概念を説明する説明図である。
【図３】制御部の機能ブロック図である。
【図４】ＡＦ処理の処理フロー図である。
【図５】他の実施例における評価領域の説明図である。
【図６】更に他の実施例における評価領域の説明図である。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【００１２】
図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、例えばハンディタイプのビデオカメラである。本実施形態に係る撮像装置１００は、フォーカスレンズ１１２を光軸方向へ移動させてオートフォーカスを行うための制御部１５０を含む撮像制御装置を内蔵する。撮像装置は、撮像部を含む本体ユニットに対してオートフォーカスを行うための撮像制御ユニットが装着される構成であっても構わない。また、以下においては、動画像の撮像を前提として説明するが、静止画像の撮像機能を主たる機能とする撮像装置であっても構わない。
【００１３】
光学系１１０は、ズームレンズ１１１、フォーカスレンズ１１２および補正レンズ１１３を含む。ズームレンズ１１１は、光学系１１０の焦点距離を変更するように光軸方向に移動する。フォーカスレンズ１１２は、特定距離の被写体にピントが合うように光軸方向に移動する。補正レンズ１１３は、撮像素子１３０に結像する被写体像のブレが軽減するように光軸に直交する平面方向へ移動する。
【００１４】
被写体像は光学系１１０を通過して撮像素子１３０の結像面に結像する。なお、図においてはズームレンズ１１１、フォーカスレンズ１１２、補正レンズ１１３の順に示しているが、レンズ要素の配置はこの順に限らない。また、ひとつのレンズが複数の機能を担う構成であっても構わない。
【００１５】
撮像素子１３０は、被写体像である光学像を光電変換する素子であり、例えばＣＭＯＳセンサが用いられる。撮像素子１３０で光電変換された被写体信号は、アナログフロントエンド（ＡＦＥ）１３２を介してデジタル信号に変換され、バスライン１３１へ送られる。メモリ１３３は、例えばＳＲＡＭなどの揮発性メモリであるワークメモリと、例えばＳＳＤなどの不揮発性記録媒体であるシステムメモリとを含む。ワークメモリは、ＡＦＥ１３２から受け取った被写体信号をフレーム単位の画像信号として画像処理部１３４へ引き渡したり、画像処理部１３４が画像処理する途中段階において一時的な記憶領域を提供したりする。システムメモリは、撮像装置１００の動作時に必要な定数、変数、設定値、制御プログラム等を保持する。
【００１６】
画像処理部１３４は、設定されている撮像モードやユーザからの指示に即して、画像データを特定の画像フォーマットに従った画像ファイルに変換する。例えば、動画像としてＭＰＥＧファイルを生成する場合、連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部１３４は、例えば液晶ディスプレイであるモニタ１３６で表示する映像信号を、画像ファイルへの変換に並行して、あるいは画像ファイルへの変換を行うことなく単独で生成する。表示処理部１３５は、受け取った映像信号をモニタ１３６で表示するための表示信号に変換する。
【００１７】
画像処理部１３４によって処理された動画像ファイルは、出力処理部１３７および記録媒体ＩＦ１３８を介して、記録媒体２０１に記録される。記録媒体２０１は、フラッシュメモリ等により構成される、撮像装置１００に対して着脱可能な不揮発性メモリである。また、出力処理部１３７は、通信ＩＦ１３９を介して、外部機器へ動画像ファイルを送信することもできる。通信ＩＦ１３９は、例えばインターネットへ接続するための無線ＬＡＮユニットである。
【００１８】
撮像装置１００は、ユーザからの操作を受け付ける操作部材１４０を複数備えている。制御部１５０は、これら操作部材１４０が操作されたことを検知し、操作に応じた動作を実行する。制御部１５０は、例えばＣＰＵであり、撮像装置１００を構成する各要素を直接的または間接的に制御する。制御部１５０による制御は、メモリ１３３から読みだされた制御プログラム等によって実現される。制御部１５０は、細分化された処理のそれぞれを実行する機能演算部としての機能も担う。具体的な機能演算部としての処理については、後に詳述する。
【００１９】
補正レンズ駆動部１６１は、補正レンズ１１３を移動させるボイスコイルモータを含む。制御部１５０は、振れ検出センサで検出されたブレを打ち消すように補正レンズ１１３を目標位置へ移動させるための駆動信号を補正レンズ駆動部１６１へ送信する。フォーカス駆動部１６２は、フォーカスレンズ１１２を光軸方向へ移動させるためのモータを含む。フォーカス駆動部１６２は、連続して取得される画像信号のコントラスト情報に基づいて制御部１５０が生成するＡＦ制御信号を受信してフォーカスレンズ１１２を移動させる。具体的には、後に詳述する。ズーム駆動部１６３は、ズームレンズ１１１を光軸方向へ移動させるためのモータを含む。ズーム駆動部１６３は、ユーザの指示に基づいて制御部１５０が生成するズーム制御信号を受信してズームレンズ１１１を移動させる。
【００２０】
図２は、コントラスト評価値の補正の概念を説明する説明図である。撮像装置１００のＡＦ制御は、撮像素子１３０が出力する画像信号から算出されるコントラスト評価値が最大となるようにフォーカスレンズ１１２を移動させるいわゆる山登り方式を採用する。
【００２１】
従来のように画像信号から画像の周波数情報のみを用いて算出したコントラスト評価値は、被写体シーンの切り替わり時に、合焦に至っていないにも関わらず高い値を示すことがあった。つまり、従来の撮像装置は、被写体シーンの切り替わり時に山登り方式によるＡＦ制御が機能せず、正しく合焦しないことがあった。そこで、本実施形態における撮像装置１００は、被写体シーンの切り替わりを考慮して、コントラスト評価値を補正する。
【００２２】
図２の上図は、撮像素子１３０が時刻Ｔ＝ｔ−１に出力した画像信号が表わすフレーム画像ｆｒ（ｔ−１）を示す。画像の上部に斜線で示される領域は、飽和画素領域を表わし、いわゆる白飛びを起こした領域である。なお、飽和画素は、一般的には許容量を超えた入射光を受けて上限の電圧値を出力する画素であるが、ここでは、８ｂｉｔによってＡ／Ｄ変換された場合の輝度値２２０以上の画素を飽和画素として扱う。また、輝度値２２０未満の画素を非飽和画素と扱う。
【００２３】
図２の下図は、撮像素子１３０が時刻Ｔ＝ｔに出力した画像信号が表わすフレーム画像ｆｒ（ｔ）を示す。撮像素子１３０が例えば３０フレーム／秒で画像信号を出力する場合は、時刻Ｔ＝ｔは、時刻Ｔ＝ｔ−１の１／３０秒後である。なお、撮像素子１３０のフレームレートが高速である場合には、フレーム画像ｆｒ（ｔ−１）とフレーム画像ｆｒ（ｔ）は、必ずしも連続するフレーム画像でなくても良い。フレーム画像ｆｒ（ｔ）の上部にも、斜線で示すように飽和画素領域が存在する。
【００２４】
撮像中の多くの期間においては、時間差が僅かであるフレーム画像ｆｒ（ｔ−１）とフレーム画像ｆｒ（ｔ）は、被写体シーンの切り替わりが生じない限り、互いに似通った画像となる。この間に生じる画像の変化は、主に、被写体像の回転、シフト（平行移動）および拡大縮小と、飽和画素領域の変化である。これらの変化は、主に、被写体自体が動くことと、撮像装置１００の向きや状態が変更されることによって生じる。図の例では、時刻Ｔ＝ｔ−１から時刻Ｔ＝ｔの間に、被写体像が反時計回りに回転すると共に右方向へシフトしている。
【００２５】
被写体シーンの切り替わりが生じていなければ、フレーム画像ｆｒ（ｔ−１）とフレーム画像ｆｒ（ｔ）の画像間で演算される被写体像の回転量、シフト量および拡大縮小量と、飽和画素領域の変化量は、微小である。一方で、被写体シーンの切り替わりが生じていれば、画像間の相関が大きく崩れることになるので、これらの値は大きくなる。そこで、制御部１５０は、コントラスト評価値を、前後するフレーム画像間の、被写体像の回転量、シフト量および拡大縮小量と、飽和画素領域の変化量を用いて補正する。
【００２６】
コントラスト評価値の補正の手順について説明する。図３は、制御部１５０の内部を、処理ごとの機能演算部として模式的に表わした機能ブロック図である。制御部１５０は、ＡＦ制御に関して、主に、非飽和画素選別部１５１、アフィン評価値演算部１５２、非飽和率評価値演算部１５３、コントラスト評価値演算部１５４およびＡＦ制御信号生成部１５５を有する。
【００２７】
非飽和画素選別部１５１は、画像処理部１３４から、Ｔ＝ｔ−１の画像信号ｆｒ（ｔ−１）と、Ｔ＝ｔの画像信号ｆｒ（ｔ）を取り込む。非飽和画素選別部１５１は、画像信号ｆｒ（ｔ−１）から、輝度値２２０未満の画素を非飽和画素として選別、抽出して画像信号ｆｒ’（ｔ−１）を生成する。同様に、画像信号ｆｒ（ｔ）から、輝度値２２０未満の画素を非飽和画素として選別、抽出して画像信号ｆｒ’（ｔ）を生成する。輝度値２２０以上の画素は、飽和画素として除外される。非飽和画素選別部１５１は、画像信号ｆｒ’（ｔ−１）とｆｒ’（ｔ１）をアフィン評価値演算部１５２と非飽和率評価値演算部１５３へ引き渡し、画像信号ｆｒ’（ｔ１）をコントラスト評価値演算部１５４へ引き渡す。
【００２８】
アフィン評価値演算部１５２は、画像信号ｆｒ’（ｔ−１）が表わす第１画像に対するｆｒ’（ｔ１）が表わす第２画像の回転量、シフト量および拡大縮小量に関するアフィン評価値を演算する。ここでは、画像間で比較する比較領域を画像の全体である全体領域とする。
【００２９】
アフィン評価値について説明する。前後するフレーム画像間の、被写体像の回転量、シフト量および拡大縮小量の算出手法については、論文「古い映像フィルムの損傷の検出と修復」（電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．８  ｐｐ．１９１２−１９１９  １９９８年８月）に詳しい。本実施形態においては、この算出手法を踏襲する。要部を簡単に説明する。
【００３０】
第１画像の座標（ｘ，ｙ）が、第２画像の（ｘ’，ｙ’）へ移ったとすると、幾何変換に関する変数ａ，ｂ，ｃ，ｄとシフトに関する変数ｅ，ｆを用いて、
【数１】
2020046489.tif 000003
と表わされる。第１画像が取得された時刻と第２画像が取得された時刻が近ければ、幾何変換は事実上、回転と拡大縮小で表現されるので、式（１）は、拡大縮小の倍率を表わす変数Ｅと回転角θ、水平移動を表わす変数ｉと垂直移動を表わす変数ｊを用いて、以下のように書き換えることができる。
【００３１】
【数２】
2020046489.tif 000004
すると、
【数３】
2020046489.tif 000005
【数４】
2020046489.tif 000006
となる。画像間のマッチング処理を行うことにより、変数Ｅ、θ、ｉ、ｊの値が確定する。アフィン評価値演算部１５３は、画像信号ｆｒ’（ｔ−１）が表わす第１画像と画像信号ｆｒ’（ｔ１）が表わす第２画像の画像間でマッチング処理を行い、アフィン評価値としてのＥ、θ、ｉ、ｊの値を演算する。
【００３２】
非飽和率評価値演算部１５３は、有効画素数に対する画像信号ｆｒ’（ｔ−１）の画素数の割合ｎ（ｔ−１）と、有効画素数に対する画像信号ｆｒ’（ｔ）の画素数の割合ｎ（ｔ）を演算する。そして、画像信号ｆｒ’（ｔ−１）および画像信号ｆｒ’（ｔ）の非飽和画素比率に関する評価値ｎを、ｎ＝ｎ（ｔ−１）×ｎ（ｔ）と定義する。ただし、ｎ（ｔ−１），ｎ（ｔ）の少なくともいずれかが０．６未満である場合には、ｎ＝０とする。
【００３３】
コントラスト評価値演算部１５４は、画像信号ｆｒ’（ｔ）の画像全体を演算対象として、閾値を超える高周波成分の信号値を積算したコントラスト評価値Ｐｃを演算する。コントラスト評価値Ｐｃの演算手法は、一般的に知られたコントラスト方式におけるコントラスト評価値の演算手法と同様である。
【００３４】
ＡＦ制御信号生成部１５５は、コントラスト評価値演算部１５４が演算したコントラスト評価値Ｐｃを、アフィン評価値演算部１５２が演算したアフィン評価値Ｅ、θ、ｉ、ｊと非飽和率評価値演算部１５３が演算した非飽和率評価値ｎを用いて補正する。具体的には、Ｅ、θ、ｉ、ｊ、ｎからそれぞれ信頼係数を算出してコントラスト評価値Ｐｃに掛け合わせることにより、画像間の相関が高い場合には大きな値に、低い場合には小さな値になるように、補正コントラスト評価値Ｐｃ’を算出する。画像間の相関が低い場合、すなわち被写体シーンが切り替わるような場合には、補正コントラスト評価値Ｐｃ’は小さな値になるので、ＡＦ制御信号生成部１５５は、合焦と判断することなくＡＦ制御を継続することになる。
【００３５】
Ｅ、θ、ｉ、ｊから算出される信頼係数はｋＥ，ｋθ，ｋｉ、ｋｊであり、これらは全体として被写体像の変化度合の小ささを表わす。ｎから算出される信頼係数はｋｎであり、これは対象画像そのものの信頼度合の大きさを表わす。具体的には、
【数５】
2020046489.tif 000007
【数６】
2020046489.tif 000008
（θの単位はｄｅｇ）
【数７】
2020046489.tif 000009
（Ｗは、予め設定される観測窓の幅を表わす）
【数８】
2020046489.tif 000010
（Ｈは、予め設定される観測窓の高さを表わす）
【数９】
2020046489.tif 000011
と定める。すると、補正コントラスト評価値Ｐｃ’は、
【数１０】
2020046489.tif 000012
と、算出される。ＡＦ制御信号生成部１５５は、補正された評価値Ｐｃ’を用いて、Ｔ＝ｔより後に撮像素子１３０が出力する画像信号を得るためのＡＦ制御信号を生成し、フォーカス駆動部１６２へ送信する。フォーカス駆動部１６２は、このＡＦ制御信号に従ってフォーカスレンズ１１２を光軸方向へ移動させる。
【００３６】
図４は、ＡＦ処理の処理フロー図である。図示するフローは、ＡＦ制御が開始された時点から合焦が完了するまでの上記機能演算部が関わる主な処理を表わす。
【００３７】
非飽和画素選別部１５１は、ステップＳ１０１で、時刻Ｔ＝ｔ−１に撮像素子１３０が出力した画像信号ｆｒ（ｔ−１）を取得し、非飽和画素を選別、抽出して画像信号ｆｒ’（ｔ−１）を生成する。更に非飽和画素選別部１５１は、ステップＳ１０２で、時刻Ｔ＝ｔに撮像素子１３０が出力した画像信号ｆｒ（ｔ）を取得し、非飽和画素を選別、抽出して画像信号ｆｒ’（ｔ）を生成する。
【００３８】
コントラスト評価値演算部１５４は、ステップＳ１０３で、画像信号ｆｒ’（ｔ）からコントラスト評価値Ｐｃを算出する。そして、ステップＳ１０４へ進み、算出したコントラスト評価値Ｐｃが予め設定された閾値Ｐｃ０を上回るか否かを判断する。上回ると判断したらステップＳ１０５へ進み、そうでないと判断したらステップＳ１０５、Ｓ１０６をスキップしてステップＳ１０７へ進む。
【００３９】
ステップＳ１０５へ進んだ場合は、アフィン評価値演算部１５２は、画像信号ｆｒ’（ｔ−１）、ｆｒ’（ｔ）からアフィン評価値Ｅ、θ、ｉ、ｊを算出する。ステップＳ１０６へ進み、非飽和率評価値演算部１５３は、非飽和率評価値ｎを算出して、ステップＳ１０７へ進む。なお、ステップＳ１０５とステップＳ１０６の順序は逆であっても良い。
【００４０】
ステップＳ１０７へ進んだら、ＡＦ制御信号生成部１５５は、ステップＳ１０５、Ｓ１０６を経由した場合は、Ｅ、θ、ｉ、ｊ、ｎから信頼係数ｋＥ，ｋθ，ｋｉ、ｋｊ、ｋｎを算出し、補正された評価値Ｐｃ’を算出してＡＦ制御信号を生成する。ステップＳ１０５、Ｓ１０６をスキップした場合は、評価値Ｐｃを用いてＡＦ制御信号を生成する。そして、生成したＡＦ制御信号をフォーカス駆動部１６２へ出力し、ＡＦ制御を実行する。
【００４１】
ステップＳ１０８では、制御部１５０は、合焦が完了したか否かを判断する。合焦が完了していなければ、ステップＳ１０１へ戻る。ただし、次のタイミングで取得される画像信号を画像信号ｆｒ（ｔ）とすると、先の画像信号ｆｒ（ｔ）は画像信号ｆｒ（ｔ−１）となるので、重複する処理を省くことができる。ステップＳ１０８で合焦が完了したと判断したら、一連のＡＦ制御を終了する。
【００４２】
なお、ステップＳ１０４の判断は、コントラスト評価値Ｐｃが低コントラストと判断される範囲に含まれる場合に、コントラスト評価値Ｐｃの補正を行うことなくＡＦ制御を行うための処理である。すなわち、そもそも大きくぼけている画像に対しては、回転、シフトおよび拡大縮小を評価することが難しく、たとえ評価値を算出できたとしても非合焦状態と判断されることに違いはないので、評価値Ｐｃの補正を行わずにＡＦ制御を実行する。なお、ステップＳ１０５、Ｓ１０６をスキップする場合には、評価値Ｐｃに０から１の範囲の一定値を掛けて補正された評価値Ｐｃ’を算出しても良い。
【００４３】
また、ステップＳ１０４の判断を行わずに、いずれの場合もステップＳ１０５、Ｓ１０６の処理を行っても良い。その場合には、ステップＳ１０３、Ｓ１０５、Ｓ１０６の処理順序は、どのような順序であっても構わない。
【００４４】
以上のようにＡＦ制御を行えば、被写体シーンの切り替え時には補正された評価値Ｐｃ’が急激に小さくなるので、誤検出によって焦点調整が停止してしまうなどの不具合が生じる可能性を低減することができる。なお、上記の実施形態においては、非飽和比率評価値も加味してコントラスト評価値Ｐｃを補正しているが、採用する露出制御アルゴリズムや撮像素子１３０のセンサ特性によってはそもそも非飽和画素の発生を抑制できる。そのような場合には、非飽和比率評価値を採用しなくても良い。また、非飽和画素比率に関する評価値ｎを、ｎ＝ｎ（ｔ−１）×ｎ（ｔ）と定義したが、定義式はこれに限らない。例えば、一方に重み付け計数を掛け合わせても良い。
【００４５】
また、演算された評価値Ｅ、θ、ｉ、ｊ、ｎを信頼係数ｋＥ，ｋθ，ｋｉ、ｋｊ、ｋｎへ変換する変換式は、上記の変換式に限らない。どの評価値の寄与を大きくするかなどのチューニングに従って変更しても良いし、判定された被写体シーンに応じて動的に変化するように構成しても良い。
【００４６】
以上説明した実施形態においては、フレーム画像ｆｒ（ｔ−１）の全体領域とフレーム画像ｆｒ（ｔ）の全体領域の間で、それぞれに写る被写体像の回転量、シフト量および拡大縮小量を演算した。すなわち、画像間で比較する比較領域を全体領域とした。また、コントラスト評価値Ｐｃを演算するための設定領域をフレーム画像ｆｒ（ｔ）の全体領域とした。パンフォーカスが好まれるビデオ撮影においては、一般的に、このように評価領域である比較領域と設定領域を全体領域に定めることにより、画像全体のバランスを最適化することが好ましい。この場合、全体領域は、必ずしも有効画素領域の全体でなくても良く、例えば１割程度の周辺領域を除いた領域としても良い。
【００４７】
一方で、撮影モードの設定や解析された被写体シーンに応じて、評価領域を変化させても良い。評価領域をどのように定めるかについて、他の実施例を説明する。
【００４８】
図５は、他の実施例における評価領域の説明図である。例えば、撮影モードが「顔優先モード」である場合には、被写体シーンから顔領域が抽出され、抽出された顔領域を包含する領域が合焦領域として定められる。この場合、合焦領域のコントラストが最も大きくなるようにオートフォーカスを行えば良いので、コントラスト評価値Ｐｃを算出するための領域である設定領域は、全体領域ではなく、少なくとも合焦領域を含む部分領域であることが好ましい。図においては、設定領域を合焦領域と一致させている様子を示している。
【００４９】
一方で、被写体シーンの切り替わりに対してアフィン評価値を大きく変動させるためには、全体領域を比較領域として回転量、シフト量および拡大縮小量を演算することが好ましい。このように、比較領域を全体領域と定め、設定領域を合焦領域を含む部分領域と定めることにより、設定された撮影モードや被写体シーンに好ましいＡＦ制御を実現することができる。
【００５０】
図６は、更に他の実施例における評価領域の説明図である。図示するように、走行する乗用車を流し撮りするようなシーンにおいては、背景は乗用車の走行方向に沿って流れているので、背景領域を比較領域および設定領域に含めることは好ましくない。そこで、例えばユーザによって予め指定された合焦領域を、比較領域および設定領域と定める。このように、比較領域および設定領域を、合焦領域を含む部分領域と定めることにより、設定された撮影モードや被写体シーンに好ましいＡＦ制御を実現することができる。
【符号の説明】
【００５１】
１００  撮像装置、１１０  光学系、１１１  ズームレンズ、１１２  フォーカスレンズ、１１３  補正レンズ、１３０  撮像素子、１３１  バスライン、１３２  ＡＦＥ、１３３  メモリ、１３４  画像処理部、１３５  表示処理部、１３６  モニタ、１３７  出力処理部、１３８  記録媒体ＩＦ、１３９  通信ＩＦ、１４０  操作部材、１５０  制御部、１５１  非飽和画素選別部、１５２  アフィン評価値演算部、１５３  非飽和率評価値演算部、１５４  コントラスト評価値演算部、１５５  ＡＦ制御信号生成部、１６１  補正レンズ駆動部、１６２  フォーカス駆動部、１６３  ズーム駆動部
【図１】
2020046489.tif 000013
【図２】
2020046489.tif 000014
【図３】
2020046489.tif 000015
【図４】
2020046489.tif 000016
【図５】
2020046489.tif 000017
【図６】
2020046489.tif 000018