(57)【要約】【課題】  比較的少ない露光回数で、複数のピント位置の被写体にピントの合った動画を得ること。【解決手段】  撮影レンズと、被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、該撮像素子から得られた信号により画像データを生成する撮像部と、前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、前記焦点検出手段から得た第１の焦点調節状態で得られた第１の画像データと、前記焦点検出手段から得た第２の焦点調節状態で得られた第２の画像データと、前記第１の焦点調節状態は、前記第２の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする。【選択図】  図１
2013105052.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズと、
被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、
該撮像素子から得られた信号により画像データを生成する撮像部と、
前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、
前記焦点検出手段から得た第１の焦点調節状態で得られた第１の画像データと、
前記焦点検出手段から得た第２の焦点調節状態で得られた第２の画像データと、
前記第１の焦点調節状態は、前記第２の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする撮像装置。
【請求項２】
前記第１の焦点調節状態を得る前記画像データ中の領域である第１の焦点検出領域と、前記第２の焦点調節状態を得る前記画像データ中の領域である第２の焦点検出領域は、少なくとも一部が異なることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点検出領域で時系列に得られる焦点検出結果、被写体位置情報の少なくとも一つから、前記焦点検出領域を変更することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の焦点検出領域で得られた焦点検出結果が、所定の閾値より大きい場合に、前記撮影レンズの絞り開口を閉じる方向に変化させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の焦点検出領域で得られた焦点検出結果が、所定の閾値より大きい場合に、第２の画像データを取得する間隔を長くすることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第１の画像データの前記第１の焦点検出領域から、前記第１の焦点調節状態を得るための焦点調節の補正値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
複数の前記第１の画像データから、第１の動画像を生成し、複数の前記第２の画像データから、第２の動画像を生成することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、ビデオカメラ、銀塩カメラなどの焦点合わせを行う焦点調節装置を備えた撮像装置に関する。
【背景技術】
【０００２】
高速で複数の画像を取得し、複数の被写体のうちの任意の被写体にフォーカスを合わせた動画像を得る技術が、特許文献１に記載されている。
【０００３】
また、動画像に焦点検出データを合わせて保存し、再生時に、焦点検出データを利用する技術が、特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８９５１号公報
【特許文献２】特開２０１０−２５８９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術によれば、フォーカス状態の異なる複数の画像を集合体として扱い、撮影後に、所望のフォーカス状態の画像を選択し動画像として構成することにより、撮影者が意図する任意のフォーカス位置の動画像を得ることができる。
【０００６】
しかしながら、集合体を構成する複数の画像を撮影する必要があるため、画像を記憶しておくメモリが必要となり、装置のコストアップが避けられない。また、構成する動画像の一定のフレームレート内で複数の画像を撮影するため、１枚当たりの画像の露光時間が短くなるという課題がある。
【０００７】
また、特許文献２に記載された技術によれば、撮像素子上に設けられた焦点検出用画素を用いて、焦点検出を行い、動画像の各フレームに対応した焦点検出データを保存することができ、後に焦点検出データを修正することができる。しかしながら、一度記録した動画像の焦点検出位置を変えることはできず、複数のピント位置の被写体に対応した動画記録は行えないという課題がある。
【０００８】
本発明は上記課題に鑑みてなされたものであり、比較的少ない露光回数で、複数のピント位置の被写体にピントの合った動画を得ることを目的とする。
【課題を解決するための手段】
【０００９】
撮影レンズと、被写体の光学像を前記撮影レンズを通じて、受光する撮像素子と、該撮像素子から得られた信号により画像データを生成する撮像部と、前記撮像素子に組み込まれた瞳分割位相差方式による焦点検出画素により焦点検出を行う焦点検出手段と、前記焦点検出手段から得た第１の焦点調節状態で得られた第１の画像データと、前記焦点検出手段から得た第２の焦点調節状態で得られた第２の画像データと、前記第１の焦点調節状態は、前記第２の画像データに含まれる前記焦点検出画素の出力から得ることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、不要な露光動作を必要とせず、複数のピント位置の被写体に対応した複数の動画を得ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】動画撮影時のシーケンスを示すフローチャート
【図２】本実施形態のデジタルカメラのブロック図
【図３】焦点検出領域の設定を説明する図
【図４】焦点検出領域の更新設定方法を説明する図
【図５】第１の実施形態における焦点調節処理のサブルーチン
【図６】第２の実施形態で想定する被写体状況の一例を示す図
【図７】第１の実施形態における焦点調節処理のサブルーチン
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１３】
［第１実施形態］
以下、本発明の第１の実施形態による、本発明の撮像装置を、レンズ交換可能な一眼レフタイプのデジタルカメラに適用した例について説明する。
【００１４】
図２は本実施形態のデジタルカメラのブロック図である。本実施形態のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０と接続される。レンズユニット１００は、請求項中の撮影レンズと対応する。
【００１５】
レンズユニット１００は、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むと共に被写体の像を形成する撮影レンズを有する。
【００１６】
第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ１０２は、請求項中の絞り開口と対応する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体として光軸方向ＯＡに進退し、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４は、光軸方向の進退により焦点調節を行う。
【００１７】
駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。
【００１８】
ズームアクチュエータ１１１は、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。
【００１９】
フォーカスアクチュエータ１１３で、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。フォーカスアクチュエータ１１３は、フォーカスレンズ１０４の現在位置を検出する位置検出部としての機能が備わっている。
【００２０】
ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。シャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。
【００２１】
フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、フォーカスレンズ１０４を光軸方向ＯＡに進退駆動して焦点調節を行なう。
【００２２】
レンズＭＰＵ１１７は、撮影レンズに係る全ての演算、制御を行い、ズーム駆動回路１１４、シャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズメモリ１１８を制御する。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。レンズメモリ１１８には自動焦点調節に必要な光学情報を記憶する。
【００２３】
カメラ本体１２０は、光学的ローパスフィルタ１２１、撮像素子１２２、駆動／制御系を有する。
【００２４】
光学的ローパスフィルタ１２１と撮像素子１２２はレンズユニット１００からの光束によって被写体像を形成する撮像光学系として機能する。
【００２５】
光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。
【００２６】
撮像素子１２２はＣ−ＭＯＳセンサとその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に１つの光電変換素子が配置される。撮像素子１２２は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出（撮像面位相差ＡＦ）が可能となっている。
【００２７】
撮像素子１２２は、請求項中の撮像素子と対応する。より具体的には、撮像素子１２２は、被写体の像を形成する撮影レンズの射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、撮像素子１２２は、各々が撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影レンズの射出瞳の全域を通る光を受光することができる。例えば、撮像素子１２２は、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮影用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。
【００２８】
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を有する。
【００２９】
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮などを行う。撮像素子駆動回路１２３、画像処理回路１２４は、請求項中の撮像部と対応する。
【００３０】
カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行い、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作ＳＷ１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を制御する。カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット１００に固有の光学情報を取得したりする。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。
【００３１】
更に、カメラＭＰＵ１２５は、ＲＯＭ１２５ａに格納したプログラムにより焦点検出処理を実行する。焦点検出処理の詳細は後述する。また、カメラＭＰＵ１２５は、撮像面位相差ＡＦにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。
【００３２】
表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前や動画撮影中のライブビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施形態のメモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００３３】
撮像面位相差焦点検出部１２９は、撮像素子１２２に埋め込まれた焦点検出用画素の像信号により位相差ＡＦ方式での焦点検出処理を行う。より具体的には、撮像面位相差焦点検出部１２９は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像のずれ量に基づいて撮像面位相差ＡＦを行う。撮像面位相差ＡＦの原理は、特開２００９−００３１２２号公報の図５〜７、図１６などにおいて説明されているものと同様である。撮像面位相差焦点検出部１２９は、請求項中の焦点検出手段と対応する。
【００３４】
ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分によりコントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理は、フォーカスレンズ１０４を移動してコントラスト評価値がピークとなるフォーカスレンズ位置を検出する。
【００３５】
このように、本実施形態は撮像面位相差ＡＦとＴＶＡＦを組み合わせており、いずれの焦点検出手段も撮像面上の情報に基づくため、位相差ＡＦとＴＶＡＦを組み合わせるよりも焦点検出精度を向上することができる。
【００３６】
本実施形態では、複数の被写体が認識された場合に、撮像面位相差焦点検出部１２９を用いて、複数の焦点検出領域の焦点検出を順次行い、複数の被写体に合焦した画像を順次取得し、被写体のピント位置毎に一つの動画像の作成を行う。これにより、撮影者が意図する被写体にピントが合った動画を確実に得ることや、被写体毎にピントが合った動画像を得ることを実現することができる。
【００３７】
次に、動画データ保存時の動作について説明する。図１は、動画撮影時のシーケンスを示すフローチャートである。図１においては、動画撮影処理が開始されると、ステップＳ１００で、撮像素子１２２から撮像データを取得する。次に、ステップＳ１０１で撮像データから、画像データ、焦点検出データを取得する。本実施形態では、上述した通り、撮像素子１２２は、撮影画像取得用画素に加えて、焦点検出データ取得用の画素が配置されており、一度に両方のデータが取得可能になっている。
【００３８】
次に、ステップＳ１０２で、被写体認識処理を行う。公知の人物の顔の位置や数の認識を行う。ここで、複数の被写体が認識された場合には、認識被写体のコントラスト、大きさ、画面中心からの距離などの情報を用いて、優先順位を設定する。本実施形態では、優先順位の最も高い被写体から、第１優先被写体、第２優先被写体と呼ぶこととする。
【００３９】
次に、ステップＳ１０３で、第１優先被写体の画面内の位置の焦点検出データを用いて焦点調節処理を行う。また、被写体認識により被写体が認識されていない場合は、撮影者が事前に設定している焦点調節を行う対象領域の焦点検出データを用いた焦点調節処理を行う。
【００４０】
次に、ステップＳ１０４で、取得した画像データをもとに、表示器１２６に、ライブビュー表示を行う。
【００４１】
次に、ステップＳ１０５で、動画撮影が開始されたか否かの判定を行っている。不図示の撮影開始ボタンの押下げ動作などにより、動画撮影の開始指示がされた場合には、次のステップＳ１０６に進む。ステップＳ１０５で、動画撮影が開始されていない場合には、ステップＳ１００に復帰し、ライブビュー表示を続行する。
【００４２】
ステップＳ１０６では、複数ピント位置の撮影を行うか否かの判定を行う。ここでは、撮像開始直前のステップＳ１０２で行われる被写体認識処理で、複数の被写体が認識されているかを判定し、複数の被写体が認識されている場合には、複数ピント位置撮影を行うものとして、ステップＳ１０７に進む。ここで認識された複数の被写体は、被写体認識処理で得られた複数の被写体でもよいし、撮影者が指定した複数の焦点検出領域でもよい。一方で、撮像開始直前のステップＳ１０２で行われる被写体認識処理で、複数の被写体が認識されていない場合や、撮影者により焦点検出領域が一つだけ指定されている場合には、複数ピント位置撮影は行わず、ステップＳ２００に進む。
【００４３】
ステップＳ１０６でＹＥＳの場合、ステップＳ１０７に進み、フレームカウンタＦＣの初期化を行う。フレームカウンタは、動画像を記録する際の１フレームの画像の枚数を数えるためのカウンタである。
【００４４】
次に、ステップＳ１０８でステップＳ１００と同様に、撮像素子１２２から撮像データを取得する。そして、ステップＳ１０９でステップＳ１０１と同様に撮像データから、画像データ、焦点検出データを取得する。続いて、ステップＳ１１０では、ステップＳ１０２と同様に、被写体認識処理を行う。本実施形態では、ステップＳ１０２にて、被写体として、第１優先被写体と第２優先被写体が認識された場合の説明を行うが、被写体の数に制限はなく、後程説明するステップＳ１１１での分岐の数を、増やして対応すればよい。
【００４５】
ステップＳ１１０では、事前に認識した第１優先被写体と第２優先被写体の位置や大きさの更新を行う。
【００４６】
次に、ステップＳ１１１では、フレームカウンタＦＣが、偶数であるか、奇数であるかの判定を行う。これは、第１優先被写体と第２優先被写体の動画記録処理を交互に行うためのもので、より多くの被写体に対応する場合は、フレームカウンタＦＣを対応する被写体の数で除算した場合の剰余で場合分けを行えばよい。本実施形態では、フレームカウンタＦＣが、偶数の場合は、第１優先被写体を記録する動画ファイル、奇数の場合は、第２優先被写体を記録する動画ファイルを保存するように構成している。
【００４７】
ステップＳ１１１でＹＥＳの場合、ステップＳ１１２に進み第２の焦点検出領域設定を行う。ここで、焦点検出領域の設定について、図３を用いて説明する。
【００４８】
図３（ａ）は、撮像素子１２２で取得した画像データを示している。Ｔａｒｇｅｔ１およびＴａｒｇｅｔ２は、いずれも被写体認識処理にて、被写体として認識された被写体領域を示している。被写体認識処理では、Ｔａｒｇｅｔ１の方が、コントラストが高く、画面の中心近傍に位置し、大きいため、Ｔａｒｇｅｔ１を第１優先被写体、Ｔａｒｇｅｔ２を第２優先被写体として認識している。動画撮影開始前の焦点調節においては、第１優先被写体に対して焦点調節が行われるため、Ｔａｒｇｅｔ１にピントが合った画像が得られている。
【００４９】
図３（ｂ）は、図３（ａ）で得られた画像に対して、焦点検出領域を重ねて表示したものである。本実施形態では、撮像素子１２２に焦点検出用画素が、全体的に所定の割合で配置されている。そのため、焦点検出領域を設定する自由度が高く、Ｔａｒｇｅｔ１やＴａｒｇｅｔ２の位置や大きさに合わせて焦点検出領域を設定することができる。図１のステップＳ１１２の第２の焦点検出領域は、図３（ｂ）において、２０２で示されるＴａｒｇｅｔ２の焦点検出を行うための焦点検出領域である。一方で、図３（ｂ）では、Ｔａｒｇｅｔ１の焦点検出を行うための第１の焦点検出領域は、２０１で示されている。動画撮影の場合、１フレームの画像記録の度に、焦点検出領域を設定しなおして、焦点調節を行うが、複数回の焦点検出領域の設定の間に、被写体が移動し、誤った領域を焦点検出領域としてしまう恐れがある。本実施形態では、複数の被写体各々の位置の連続性やデフォーカス量の連続性を鑑みて、焦点検出領域を設定する。詳細は後述する。ここで、第１、第２の焦点検出領域は、請求項中の第１、第２の焦点検出領域と対応する。
【００５０】
図１のステップＳ１１２で、第２の焦点検出領域設定を終えると、ステップＳ１１３に進み焦点調節処理を行う。ここでは、第２の焦点検出領域に対して焦点調節を行うため、第２優先被写体に対してピントが合うように焦点調節を行う。
【００５１】
次に、ステップＳ１１４で、ステップＳ１０９で得られた画像データをもとに、ライブビュー表示を行う。続いて、ステップＳ１１５に進み、ステップＳ１０９で得られた画像データの第１の動画ファイルとして保存する。本実施形態では、第１優先被写体にピントが合った画像データをつなぎ合わせた画像ファイルとして、第１の動画ファイルを構成する。第１の動画ファイルは、請求項中の第１の画像データと対応する。
【００５２】
一方で、ステップＳ１１１でＮｏの場合、ステップＳ１２０に進み、第１の焦点検出領域の設定を行う。ここでの処理は、図３で説明した第２の焦点検出領域の設定と同様である。第１の焦点検出領域の設定を行う際の画像は、第２優先被写体（Ｔａｒｇｅｔ２）にピントが合った画像で、行われるため、第１優先被写体（Ｔａｒｇｅｔ１）は、ピントがずれた状態である。
【００５３】
続いて、ステップＳ１２１では、焦点調節処理を行う。ここでは、第１の焦点検出領域に対して焦点調節を行うため、第１優先被写体に対してピントが合うように焦点調節を行う。
【００５４】
次に、ステップＳ１２２に進み、ステップＳ１０９で得られた画像データの第２の動画ファイルとして保存する。本実施形態では、第２優先被写体にピントが合った画像データをつなぎ合わせた画像ファイルとして、第２の動画ファイルを構成する。第２の動画ファイルを取得する際に、ＬＶ表示処理を行わないため、撮影者に、２つの被写体の間をピントが揺れ動く様子が気づかれず、使用感を損なわないように構成できる。第２の動画ファイルは、請求項中の第２の画像データと対応する。
【００５５】
ステップＳ１１５やＳ１２２で動画ファイルの保存を終えると、ステップＳ１１６に進み、撮像終了指示があったか否かを判定する。撮像終了が支持されておらず、継続して撮像を行う場合には、ステップＳ１１９に進み、フレームカウンタを、カウントアップし、ステップＳ１０６に戻り、処理を続ける。
【００５６】
ステップＳ１０６で、複数ピント位置の撮影を行わない、すなわち、事前の被写体認識処理で、被写体が１つであった場合には、ステップＳ２００に進む。ステップＳ２００では、ステップＳ１００と同様に、撮像素子１２２から撮像データを取得する。そして、ステップＳ２０１でステップＳ１０１と同様に撮像データから、画像データ、焦点検出データを取得する。続いて、ステップＳ２０２では、ステップＳ１０２と同様に、被写体認識処理を行う。ここでは、事前に認識された１つの被写体の位置、大きさなどの更新を行う。
【００５７】
次に、ステップＳ２０３で、ステップＳ１０３と同様に、被写体の画面内の位置の焦点検出データを用いて焦点調節処理を行う。また、被写体認識により被写体が認識されていない場合は、撮影者が事前に設定している焦点調節を行う対象領域の焦点検出データを用いた焦点調節処理を行う。
【００５８】
次に、ステップＳ２０４で、取得した画像データをもとに、表示器１２６に、ライブビュー表示を行う。続いて、ステップＳ２０５では、ステップＳ２０１で得られた画像データを記録し、動画ファイルの保存を行う。
【００５９】
ステップＳ２０５を終えると、ステップＳ２０６に進み、撮像終了指示があったか否かを判定する。撮像終了が支持されておらず、継続して撮像を行う場合には、ステップＳ２００に戻り、処理を続ける。本実施形態では、１つの被写体について動画撮影を行うフローでは、フレームカウンタを用いなかったが、実施形態はこれに限らない。
【００６０】
ステップＳ１１６もしくは、Ｓ２０６で撮像終了と判定された場合、ステップＳ１１７に進み、動画ファイル保存の完了処理を行う。ステップＳ１０６でＹＥＳの場合は、複数の動画ファイルについて完了処理を行い、ステップＳ１０６でＮｏの場合は、一つの動画ファイルについて完了処理を行う。
【００６１】
次に、ステップＳ１１８で、動画撮影処理を終了するか否かを判定する。引き続き、動画撮影処理を行う場合は、ステップＳ１００に戻り処理を続行する。ステップＳ１１８でＹｅｓの場合は、動画撮影処理を終了する。
【００６２】
上述した動画撮影処理においては、ステップＳ１１３やステップＳ１２１で行う焦点調節処理を、第２の焦点検出領域や第１の焦点検出領域に対して行う。その際に、例えば、ステップＳ１１３では、レンズ駆動のための第２の焦点検出領域のデフォーカス量を得ると同時に、第１の焦点検出領域のデフォーカス量も取得し、事後の焦点調節の際の補正値として記憶することも可能である。ステップＳ１１３でレンズ駆動を伴う焦点調節を行う前の状態では、第１の焦点検出領域の被写体は、事前の焦点調節処理で検出されたデフォーカス量に基づくレンズ駆動によって、ほぼ、合焦状態にある。しかし、事前の焦点調節処理で検出されたデフォーカス量が大きい場合、検出誤差が大きい可能性がある。その誤差を補正するために、ほぼ合焦状態にある状況で、再度、第１の焦点検出領域のデフォーカス量を検出することにより、検出誤差の小さいデフォーカス量を得ることができ、事前のデフォーカス量が大きい場合の検出誤差を補正する補正値を算出することができる。以降の第１の焦点検出領域における焦点検出に、補正値を用いることにより、より高精度な焦点調節を行うことができる。
【００６３】
図４を用いて、被写体の位置の連続性やデフォーカス量の連続性を考慮した焦点検出領域の更新設定方法について説明する。
【００６４】
図４は、二つの被写体が時系列に移動している様子を示しているもので、図４（ａ）、（ｂ）、（ｃ）の順に、被写体であるＴａｒｇｅｔ１とＴａｒｇｅｔ２が移動している様子を示している。図３と異なり撮像装置で撮像される画像ではないため、被写体のデフォーカス状態によるボケは、図中では表現されていない。本発明では、まず図４（ａ）の被写体状況で、第１優先被写体と第２優先被写体を設定する。ここでは、Ｔａｒｇｅｔ１の方が、撮像装置に距離が近く、撮像範囲の中で中心に近いことから、Ｔａｒｇｅｔ１を第１優先被写体、Ｔａｒｇｅｔ２を第２優先被写体と設定する。その後、図４（ｂ）では、Ｔａｒｇｅｔ１が後方に、Ｔａｒｇｅｔ２が前方に移動した様子を示している。また、図４（ｃ）では、さらに、Ｔａｒｇｅｔ１が後方に、Ｔａｒｇｅｔ２が前方に移動した様子を示している。このような状況で、撮影の度に、第１優先被写体、第２優先被写体の設定を行うと、図４（ｃ）の状況では、Ｔａｒｇｅｔ２の方が、撮像装置に距離が近く、撮像範囲の中で中心に近いことから、Ｔａｒｇｅｔ２を第１優先被写体と設定してしまう。本発明では、第１優先被写体にピントが合った動画、第２優先被写体にピントが合った動画を、それぞれ保存を行うため、第１優先被写体が、撮影中に、Ｔａｒｇｅｔ１からＴａｒｇｅｔ２に切り替わることは望ましくない。そこで、本発明では、撮像データを得るごとに、第１優先被写体、第２優先被写体の位置とデフォーカス量の連続性を記憶しておき、不用意な被写体の乗り移りを防ぐ。図４の例では、撮像データを得る度に得られるデフォーカス量とレンズユニット１００の焦点距離情報から、被写体距離を算出し、第１優先被写体であるＴａｒｇｅｔ１が、徐々に後方に移動していることを検出する。一方で、同様に第２優先被写体であるＴａｒｇｅｔ２が、徐々に前方に移動していることを検出する。これにより、図４（ｃ）のような状況でも、事前の状況を鑑み、優先被写体の乗り移りを防ぐことができる。ここで、デフォーカス量の連続性は、請求項中の焦点検出結果と対応し、被写体の位置の連続性は、請求項中の被写体位置情報と対応する。
【００６５】
図５を用いて、焦点調節処理のサブルーチンについて説明する。図５において、ステップＳ１０００で、焦点調節モードが、連続的にピントを合わせ続けるＳＥＲＶＯ  ＡＦモードであるか否かの判定を行う。ステップＳ１０００において、焦点調節モードがＳＥＲＶＯ  ＡＦモードに設定されていると判定された場合には、次のステップＳ１００１に移行する。ステップＳ１００１では、デフォーカス量を算出し、合焦状態であるか否かの判定を行い、合焦状態である場合には、メインルーチンに復帰する。一方ステップＳ１００１で合焦状態ではないと判定された場合には、ステップＳ１００２に進み、検出したデフォーカス量に基づきレンズ駆動を実施し、メインルーチンに復帰する。
【００６６】
ステップＳ１０００において、焦点調節モードがＳＥＲＶＯ  ＡＦモードではないと判定された場合には、ステップＳ１００３に進む。ステップＳ１００３では、合焦ロック状態であるというフラグが設定されているか否かを判定する。合焦ロック状態の場合は、フラグに１が設定されており、合焦状態がロックされていると判断し、メインルーチンに復帰する。ステップＳ１００３で合焦フラグが１でない場合、合焦ロック状態でないと判定し、ステップＳ１００４に進む。ステップＳ１００４では、デフォーカス量を算出し、合焦状態であるか否かの判定を行う。合焦状態であると判定された場合、ステップＳ１００５に進み、合焦ロック状態を示す合焦フラグに１を設定する。その後、メインルーチンに復帰する。ステップＳ１００４で合焦状態でないと判定された場合、ステップＳ１００６に進み、検出したデフォーカス量に基づき、レンズ駆動を実施し、メインルーチンに復帰する。
【００６７】
以上説明したように、本実施形態の構成をとることにより、認識した被写体毎に動画ファイルを作成し、それぞれの動画ファイルに、被写体毎にピント調整を行った画像が保存される。本実施形態では、ある被写体（Ｔａｒｇｅｔ１）の動画記録中に、次の動画記録のピント位置として、もう一方の被写体（Ｔａｒｇｅｔ２）のピント位置を検出するため、無駄なピント位置での撮影を必要としない。そのため、比較的少ない露光回数で、複数のピント位置での画像記録が可能となり、公知技術のようにフォーカスブラケット撮影することに比べて、画像記録の露光時間を長くすることができ、設定の自由度を高めることができる。また、複数の被写体のピント位置で交互に画像記録し、ピント位置毎に動画ファイルを作成するようにしたため、複数のピント位置の被写体に対応した動画記録ができる。これにより、撮影者が意図する被写体の動画の撮り逃しを防いだり、より多くの被写体に対応した動画記録を行ったりすることができる。これらは、請求項中の「前記第１の焦点調節状態は、前記第２の画像データに含まれる前記焦点検出画素の出力から得ること」により実現することが可能となっている。
【００６８】
本実施形態では、２つの被写体に対して、交互にピント位置を移動させながら、各々のピント位置にあった動画を作成するように構成したが、３つ以上の被写体に対しても、順次ピント位置を変化させながら動画像を記録していくことにより、同様に構成することが可能である。しかしながら、撮影するピント位置が多くなるにつれ、一つの動画像におけるフレームレートが遅くなったり、１つのピント位置での露光時間の上限が短くなったりといった課題が発生する。それを解決するため、第１優先被写体の動画記録を優先し、第１優先被写体→第２優先被写体→第３優先被写体→第１優先被写体・・・といった第１優先被写体の動画記録の間に他の被写体の動画記録をすることも可能である。その場合、例えば、第１優先被写体のフレームレートを再生のフレームレートと合わせると、第２、第３優先被写体のフレームレートが落ちるが、第１優先被写体の記録画像の品質を落とすことなく、複数の被写体に対応した動画を記録することができる。
【００６９】
［第２実施形態］
以下に図６、図７を参照して、本発明の第２の実施形態について説明する。第２の実施形態と第１の実施形態の違いは、被写体の数が多い場合に、記録するピント位置の省略を図る点である。第２の実施形態の構成によれば、より少ないピント位置での動画記録で、より多くの被写体にピントが合った動画を記録することができる。なお、第１の実施形態における撮像装置の構成を示すブロック図（図２）、動画撮影処理を行うフローチャート（図１）に関しては、第２の実施形態においても同様の構成であり、同様の動作を行うため、説明は省略する。
【００７０】
図６は、第２の実施形態で想定する被写体状況の一例を示す図である。撮像装置が認識している被写体が３つある場合を示している。
【００７１】
図６（ａ）は、撮像素子１２２で取得した画像データを示している。Ｔａｒｇｅｔ１〜Ｔａｒｇｅｔ３は、いずれも被写体認識処理にて、被写体として認識された被写体領域を示している。被写体認識処理では、Ｔａｒｇｅｔ１が最もコントラストが高く、画面の中心近傍に位置し、大きいため、Ｔａｒｇｅｔ１を第１優先被写体として認識している。次いで、同様に、Ｔａｒｇｅｔ２を第２優先被写体、Ｔａｒｇｅｔ３を第３優先被写体として認識している。動画撮影開始前の焦点調節においては、第１優先被写体に対して焦点調節が行われるため、Ｔａｒｇｅｔ１にピントが合った画像が得られている。
【００７２】
図６（ｂ）は、図６（ａ）で得られた画像に対して、焦点検出領域を重ねて表示したものである。本実施形態では、撮像素子１２２に焦点検出用画素が、全体的に所定の割合で配置されている。そのため、焦点検出領域を設定する自由度が高く、Ｔａｒｇｅｔ１〜Ｔａｒｇｅｔ３の位置や大きさに合わせて焦点検出領域を設定することができる。図６（ｂ）では、Ｔａｒｇｅｔ１〜Ｔａｒｇｅｔ３の焦点検出を行うための焦点検出領域は、３０１〜３０３で示されている。事前に設定された記録する動画像のフレームレートや、一つのピント位置での露光にかかる時間、各ピント位置間の移動に要する時間によるが、記録するピント位置が増えれば増えるほど、これらの条件に制約が発生する。そのため、第２の実施形態では、第１優先被写体以外の被写体は、一つのピント位置で撮影できるよう被写界深度を調節、すなわち、レンズユニット１００の絞り兼用シャッタ１０２の開口を制御して、撮影する。
【００７３】
図１のステップＳ１１２の第２の焦点検出領域は、第２優先被写体と第３優先被写体の焦点検出領域３０２と３０３として設定される。
【００７４】
図７を用いて、第２の実施形態における焦点調節処理のサブルーチンについて、説明する。図６で示すような焦点検出領域として、複数の被写体の焦点検出領域が設定されている場合について、説明する。図７のフローチャートにおいて、第１の実施形態の図５で示した焦点調節処理のサブルーチンと同様の処理を行う部分に関しては、同じ番号を付している。
【００７５】
図７において、ステップＳ１０００で、焦点調節モードが、連続的にピントを合わせ続けるＳＥＲＶＯ  ＡＦモードであるか否かの判定を行う。ステップＳ１０００において、焦点調節モードがＳＥＲＶＯ  ＡＦモードに設定されていると判定された場合には、次のステップＳ１００１に移行する。ステップＳ１００１では、デフォーカス量を算出し、合焦状態であるか否かの判定を行う。ここで、焦点検出領域として、複数の焦点検出領域が設定されている場合、複数の焦点検出結果の平均値を、デフォーカス量として設定し、この平均値と各焦点検出結果の差分の最大値を記憶しておく。ステップＳ１００１で合焦状態である場合には、ステップＳ２０００に進む。一方ステップＳ１００１で合焦状態ではないと判定された場合には、ステップＳ１００２に進み、検出したデフォーカス量の平均値に基づきレンズ駆動を実施し、ステップＳ２０００に進む。
【００７６】
ステップＳ１０００において、焦点調節モードがＳＥＲＶＯ  ＡＦモードではないと判定された場合には、ステップＳ１００３に進む。ステップＳ１００３では、合焦ロック状態であるというフラグが設定されているか否かを判定する。合焦ロック状態の場合は、フラグに１が設定されており、合焦状態がロックされていると判断し、ステップＳ２０００に進む。ステップＳ１００３で合焦フラグが１でない場合、合焦ロック状態でないと判定し、ステップＳ１００４に進む。ステップＳ１００４では、複数の焦点検出結果の平均値を、デフォーカス量として設定し、各焦点検出結果の平均値から差分の最大値を記憶しておく。さらに、デフォーカス量の平均値から、合焦状態であるか否かの判定を行う。合焦状態であると判定された場合、ステップＳ１００５に進み、合焦ロック状態を示す合焦フラグに１を設定する。その後、ステップＳ２０００に進む。
【００７７】
ステップＳ１００４で合焦状態でないと判定された場合、ステップＳ１００６に進み、検出したデフォーカス量に基づき、レンズ駆動を実施し、ステップＳ２０００に進む。ステップＳ２０００では、記憶された各焦点検出結果の平均値から差分の最大値を用いて、撮影する絞り値を設定する。図６のような状況では、焦点検出領域３０２，３０３から検出されるデフォーカス量の平均値により駆動されるレンズ位置は、Ｔａｒｇｅｔ２とＴａｒｇｅｔ３の概ね中心になる。そのため、Ｔａｒｅｇｔ２及び、Ｔａｒｇｅｔ３いずれも、焦点検出結果の平均値からのデフォーカス量の差分を同等に有する。一般に許容錯乱円をδ（μｍ）と設定すると、レンズのＦ値と合わせて、デフォーカス量がＦδ（μｍ）以内であれば、ボケが認識できないとされている。本実施形態では、Ｔａｒｇｅｔ２およびＴａｒｇｅｔ３のデフォーカス量がＦδ以内となるように、絞り兼用シャッタ１０２の開口を閉じる方向に変更し、Ｆ値を調節する。
【００７８】
以上のように構成することにより、図１のフローにおける第１の動画ファイルには、第１優先被写体が、撮影者の意図するレンズのＦ値条件での動画像が記録される。一方、第２の動画ファイルには、第２優先被写体、第３優先被写体が、いずれもピントが合うよう撮像装置が判断したＦ値条件での動画像が記録される。これにより、事前に設定された記録する動画像のフレームレートや、一つのピント位置での露光にかかる時間、各ピント位置間の移動に要する時間による制約を、比較的受けることなく、複数の被写体に対応した動画ファイルを記録することができる。
【符号の説明】
【００７９】
１００  レンズユニット
１０２  絞り兼用シャッタ
１２２  撮像素子
１２３  撮像素子駆動回路
１２４  画像処理回路
１２９  撮像面位相差焦点検出部
【図１】
2013105052.tif 000003
【図２】
2013105052.tif 000004
【図３】
2013105052.tif 000005
【図４】
2013105052.tif 000006
【図５】
2013105052.tif 000007
【図６】
2013105052.tif 000008
【図７】
2013105052.tif 000009