(57)【要約】【課題】複数枚合成における背景ぼかし撮像装置において、主被写体が動いた場合においても、背景ぼかしと主被写体のフォーカス追従性の両立することを可能とした撮像装置を提供すること。【解決手段】ステップＳ４０９にてＡＦ評価値検出部１０４により取得したＡＦ評価値を、ステップＳ４１１にてＡＦ評価値と制御部１０８に設計値として格納されているＡＦ期待値を比較して条件から外れた場合に、ステップＳ４１９にてステップＳ４０９でのＡＦ評価値を元にのフォーカスレンズ制御をした後に、ステップＳ４１８にてフォーカス情報が得やすい撮像条件となるよう制御部１０８からの制御で光学機構部１０１１を制御し、ＡＦ評価値を取得できる回数を増やすことを特徴とする。【選択図】図４
2017009943.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子からなる撮像素子と、
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第１の撮像モードと、
背景をぼかした画像を得る第２の撮像モードと、
フォーカス情報を得るのに適した画像を得る第３の撮像モードと、
第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、
画像データからフォーカス情報を検出するフォーカスデータ検出手段と、
得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、
得られるフォーカス情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。
【請求項２】
前記第１の撮像モードは、前記フォーカス部を制御することにより空間周波数が高い画像を得ることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の撮像モードは、前記フォーカス部によるフォーカスボケ、もしくは前記光学絞り部による被写界深度の変更、もしくは前記撮像素子の読み出し駆動を前記第１の撮像モード時よりさらに間引きまたは加算読み出しとすることにより、空間周波数が低い画像を得る前記請求項１に記載の撮像装置。
【請求項４】
前記第３の撮像モードは、フォーカス情報を得やすくするために前記光学絞り部を変更することにより被写界深度を深くするか、前記フォーカス部をフォーカスが合うように制御することにより空間周波数が高い画像を得ることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記フォーカスデータ検出手段は、前記撮像素子から得られる画像データのコントラスト情報から得るか、もしくは被写体の位相差情報から得ることを特徴とする請求項１に記載の撮像装置。
【請求項６】
複数の光電変換素子からなる撮像素子と、
焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、
前記撮像素子及び前記光学ユニットを駆動する駆動部と、
主被写体となる合焦した画像を得る第１の撮像モードと、
背景をぼかした画像を得る第２の撮像モードと、
フォーカス情報を得るのに適した画像を得る第３の撮像モードと、
第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、
被写体もしくは撮像装置の移動状態を検知する移動検出部と、
前記移動検出部から得られる移動情報に基づいて撮像条件を決定する制御手段とを備え、
得られる移動情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする撮像装置。
【請求項７】
前記第１の撮像モードは、前記フォーカス部を制御することにより空間周波数が高い画像を得ることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２の撮像モードは、前記フォーカス部によるフォーカスボケ、もしくは前記光学絞り部による被写界深度の変更、もしくは前記撮像素子の読み出し駆動を前記第１の撮像モード時よりさらに間引きまたは加算読み出しとすることにより、空間周波数が低い画像を得る前記請求項６に記載の撮像装置。
【請求項９】
前記第３の撮像モードは、フォーカス情報を得やすくするために前記光学絞り部を変更することにより被写界深度を深くするか、前記フォーカス部をフォーカスが合うように制御することにより空間周波数が高い画像を得ることを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記移動検出部は、得られる画像から被写体を画像認識して被写体の移動を検知するか、移動検出センサにより撮像装置の移動量から移動を検知することを特徴とする請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆるブラケット撮影により得られた複数の動画から合成動画を生成する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラを用いた動画撮影が一般的に行われるようになってきている。これらの撮影装置において主被写体を強調する手法として、背景をぼかして動画撮影を行うことがある。
【０００３】
背景をぼかした動画の取得手法としては、大きなイメージセンサを利用して被写界深度を浅く撮影する手法や、主被写体に対しては被写界深度が異なる画像をブラケット撮影して複数のフレームを合成する手法がある。
【０００４】
特許文献１では、複数の動画からフレーム同士を合成して合成動画を生成する画像処理装置であり、空間周波数特性と動き量に応じて合成率を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、背景ぼかしを取得している画像では空間周波数が低いためフォーカス情報を得にくくピントずれが発生しやすい。またフレーム間で被写体が移動したときなどのフォーカス追従性に課題があった。
【０００７】
そこで、本発明の目的は、複数枚合成における背景ぼかし撮像装置において、フォーカス対象もしくは撮像装置が動いた場合は背景ぼかし画像取得を止めてオートフォーカス（ＡＦ）に適した撮像動作をすることを可能とした撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
複数の光電変換素子からなる撮像素子と、焦点調整を行うフォーカス部と光量を制御する光学絞り部を有する光学ユニットと、前記撮像素子及び前記光学ユニットを駆動する駆動部と、主被写体となる合焦した画像を得る第１の撮像モードと、背景をぼかした画像を得る第２の撮像モードと、フォーカス情報を得るのに適した画像を得る第３の撮像モードと、第１の撮像モードから得られる画像と第２の撮像モードから得られる画像を合成する合成手段と、画像データからフォーカス情報を検出するフォーカスデータ検出手段と、得られるフォーカス情報に基づいて撮像条件を決定する制御手段とを備え、得られるフォーカス情報が期待値から外れた場合、第２の撮像モードを前記第３の撮像モードに変更して得られるフォーカス情報から前記フォーカス部を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数枚合成での背景ぼかし画像を取得する撮像動作において、フォーカス情報を取得する回数を増やすことにより、被写体が移動するなどフォーカスポイントがフレーム間で変化する際にも合焦点に素早く追従することができる撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の構成を示すブロック図
【図２】本発明の実施例１に係る合成処理部の構成を示すブロック図
【図３】本発明の実施例１に係るタイミング図
【図４】本発明の実施例１に係るフロー図
【図５】本発明の実施例２に係るタイミング図
【図６】本発明の実施例２に係るフロー図
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［実施例１］
図１は本発明の実施形態にかかわるＣＭＯＳセンサを用いた撮像装置のブロック図である。本実施形態の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどに応用可能である。
【００１２】
図１に示す撮像装置は、光学鏡筒１０１、光学鏡筒１０１内に構成される光学機構部１０１１、撮像素子１０２、駆動回路１０３、ＡＦ評価値検出部１０４、画像合成部１０５、信号処理部１０６、圧縮伸張部１０７、制御部１０８、操作部１０９、画像表示部１１０、画像記録部１１１、及び移動検出部１１２を備える。
【００１３】
光学鏡筒１０１は、被写体からの光を撮像素子１０２に集光するためのレンズと、光学機構部１０１１を構成するＡＦ機構やズーム駆動機構、メカニカルシャッタ機構、絞り機構などから構成されている。これらのうち、光学機構部１０１１は制御部１０８からの制御信号に基づいて駆動回路１０３により駆動される。
【００１４】
ＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどからなる撮像素子１０２は、制御部１０８からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しやリセットなどのタイミングを制御され、対応する撮像信号を出力する。
【００１５】
撮像素子１０２は、ここでは図示しない画素部、ＣＤＳ部、ＡＧＣ処理部、及びＡＤコンバータにより構成されるＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが用いられる。そして、制御部１０８からの制御信号に応じて動作する駆動回路１０３により、露光や信号読み出しやリセットなどの撮像動作が実施され、対応する撮像信号を出力する。
【００１６】
ＡＦ評価検出部１０４は撮像素子から得られた画像データからコントラスト情報や位相差情報を元に、制御部１０８で制御されるタイミングでＡＦ評価値の検出を行う。画像合成部１０５は、撮像素子１０２から得られる複数枚の撮像信号を合成処理し、１フレームの画像として出力する。
【００１７】
信号処理部１０６は、制御部１０８の制御の下で、撮像素子１０２からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。圧縮伸張部１０７は、制御部１０８の制御の下で動作し、信号処理部１０６からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部１０８から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。
【００１８】
制御部１０８は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部１０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部１０８に出力する。
【００１９】
画像表示部１１０は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなり、制御部１０８から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
【００２０】
画像記録部１１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現され、圧縮伸張部１０７により符号化された画像データファイルを制御部１０８から受け取って記憶する。また、制御部１０８からの制御信号を基に指定されたデータを読み出し、制御部１０８に出力する。
【００２１】
移動検出部１１２は、例えば加速度センサやジャイロセンサ、もしくは画像認識回路などから構成され、制御部１０８からの制御に従って撮像装置の速度情報や位置変化、対象となる被写体の画面内での移動を検出し、検出結果を制御部１０８にフィードバックすることにより撮像制御情報に用いる。
【００２２】
ここで、上記の撮像装置における基本的な動作について説明する。本実施例においては、背景をぼかした動画像を得るために、同じ対象を異なる空間周波数画像による撮影にて得られた複数の画像から、対応するフレーム同士を合成することによって１つの合成動画を生成する撮像装置およびその制御方法について説明する。
【００２３】
撮像動作前において、ここでは図示しない撮像素子１０２内に構成される画素部、ＣＤＳ部、ＡＧＣ処理部、及びＡＤコンバータにより、光入力からデジタル電気信号へと変換される。撮像動作においては、撮像素子１０２内の画素部により光入力から電気信号へと変換された画像信号が順次、ＣＤＳ処理、ＡＧＣ処理、アナログ−デジタル変換処理を経て、デジタル画像信号に変換される。
【００２４】
このデジタル画像信号は、ＡＦ評価値検出部１０４と画像合成部１０５へと入力される。ＡＦ評価値検出部１０４ではＡＦ評価値に基づいて光学機構部１０１１の制御量を決定し、この制御量を駆動回路１０３に出力して光学機構部１０１１を駆動回路１０３によって動作させる。
【００２５】
一方、画像合成部１０５へと入力された画像信号は空間周波数の異なる複数の動画像から１フレーム分の動画像を作成する。ここで図２を用いて画像合成部１０５について説明する。
【００２６】
画像合成回路１０５１は撮像素子１０２で変換された電気信号を、所定の撮像データ読み出し回数に応じて、逐次累算処理を行う画像合成回路であり、合成された電気信号をスイッチＳ１０５３を経由して記録手段であるフレームメモリ１０５２に記録する。スイッチＳ１０５３は制御部１０８の制御に従って、画像合成回路１０５１の出力先を、信号処理部１０６へ切り換える。
【００２７】
画像合成部１０５から出力された合成画像は信号処理部１０６により、画質補正処理を施し、カメラスルー画像の信号として、制御部１０８を通じて画像表示部１１０に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。
【００２８】
この状態で、ユーザーによる操作によって操作部１０９の撮影ボタンが押下されると、制御部１０８の制御により、撮像素子１０２、画像合成部１０５と経た撮像信号が、信号処理部１０６に取り込まれる。信号処理部１０６は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１０７に供給する。圧縮伸張部１０７は、入力された画像信号を圧縮符号化し、生成した符号化データを制御部１０８を通じて画像記録部１１１に供給する。これにより、撮像されたデータファイルが画像記録部１１１に記録される。
【００２９】
次に図３を用いて本実施例の特徴的な動作であるＡＦ動作の切り替えタイミングについて説明する。背景ぼかし動画モードに入ると、ＡＦデータ取得用に画像を取得し、主被写体のＡＦ評価値を取得する（期間Ｔａ０〜Ｔａ１）。
【００３０】
次に撮影同期信号に同期して駆動回路１０３からのタイミング制御に従い撮像素子１０２から画像の取得を行い、主被写体となる画像の取得を行う（期間Ｔ１）。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部１０１１内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。
【００３１】
ここでＡＦ評価検出部１０４は、制御回路１０８から出力されるＡＦ評価値検出タイミングに従い、期間Ｔ１で取得した画像を用いて、期間Ｔ１内にてＡＦ評価値検出を行う。
期間Ｔ１で取得された主被写体画像データは期間Ｔ１時にフレームメモリ１０５２に入力される。図３における期間Ｔ１から得られる画像では、ＡＦ評価値がＡＦ期待値を得られているため、期間Ｔ２においてはこのまま背景ぼかし画像の取得へと移行する。
なお、ＡＦ期待値に関する説明は後の図４の説明内で述べる。
【００３２】
一方で、背景となるぼかし画像は空間周波数が低い画像を得るようにする（期間Ｔ２）。本実施例においては、ぼかし画像を得る手段として、光学機構部１０１１内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。
【００３３】
期間Ｔ２で得る画像データは空間周波数が低い画像となるためＡＦ評価値の検出、及びＡＦ駆動動作を行わない。このようにして期間Ｔ１、Ｔ２で得られた画像は画像合成部１０５にて合成され、動画画像の１フレーム分のデータとして出力される（合成出力期間Ｃ１）。
【００３４】
次に被写体が移動するなど、フォーカスポイントが随時変化していく場合について説明する。期間Ｔ３で得られる画像のＡＦ評価にて、主被写体のＡＦ評価値が期待値を得られないと、得られたＡＦ評価値を元に期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御をおこなう。ＡＦ評価値ＮＧになった合成出力期間Ｃ２ではぼかし画像の取得は行わず、ＡＦに適した動作をおこなう（期間Ｔ４）。
【００３５】
具体的にはＡＦ評価値を得られやすいように光学機構部１０１１内の絞り機構部にて絞り制御を行うことにより、フォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間Ｔ４で得られた画像データからＡＦ評価値検出を得られるようにする。このとき、期間Ｔ４において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。
【００３６】
また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。そして、期間Ｔ４で得られる画像データは、ＡＦに適した撮像素子駆動とすることにより期間Ｔ３で得られる主被写体画像とは画角が変化するため、期間Ｔ３で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。
【００３７】
次に被写体のフォーカスポイントが、変化していく状況から定常状態となる際のタイミングについて説明する。期間Ｔ（ｎ−１）から期間Ｔ（ｎ）に掛けて被写体が静止すると、期間Ｔ（ｎ−１）で得られる画像データでのＡＦ評価値からＡＦ期待値を得られるであろう予測フォーカスポイントまでフォーカスレンズ制御を期間Ｔ（ｎ−１）にて行う。期間Ｔ（ｎ）で得られる画像データのＡＦ評価値がＡＦ評価検出され期待値が得られたら、期間Ｔ（ｎ＋１）では光学機構部１０１１内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。
【００３８】
次に図４を用いてＡＦ動作の切り替えについて、フローチャートにて説明する。まず、図３での期間Ｔａ０、Ｔａ１におけるフローについて図４でのステップＳ４０１〜Ｓ４０６を用いて説明する。動画ぼかしモードに入ると（Ｓ４０１）、まず主被写体のＡＦ評価用画像取得を行う（Ｓ４０２）。
【００３９】
ステップＳ４０２で取得された画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する（Ｓ４０３）。ステップＳ４０４では、ステップＳ４０３で取得したＡＦ評価値ＡＦ_ＫがＡＦ期待値であるＫ_min及びＫ_ｍａｘに対して、下記式を満たすかを判定する。
【００４０】
Ｋ_min＜ＡＦ_Ｋ＜Ｋ_ｍａｘ  ・・・・式１
ここでＫ_ｍｉｎ、Ｋ_ｍａｘは期待されるＡＦ評価値の最小値と最大値を指しており、あらかじめ設計時もしくは調整時の結果から制御部１０８内に格納している。
【００４１】
ステップＳ４０４でのＡＦ評価値ＡＦ_Ｋが式１を満たさない場合、ステップＳ４０５へと移行し、ステップＳ４０４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップＳ４０６にてＡＦ評価用の画像取得を行い、ステップＳ４０３へと戻る。
【００４２】
次に図３での期間Ｔ１におけるフローについて図４でのステップＳ４０７〜Ｓ４１１を用いて説明する。
【００４３】
ステップＳ４０４でのＡＦ評価値ＡＦ_Ｋの比較にて式１を満たす場合は、ステップＳ４０７へと進み、空間周波数が高い撮影条件に撮像装置を制御する。
【００４４】
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部１０１１内の絞り機構部にて小絞り側に制御し被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。
【００４５】
ステップＳ４０７にて空間周波数が高い状態にした後に、ステップＳ４０８にて主被写体となる画像データ（Ｉｍａｇｅ_Ｓ）を取得する。ステップＳ４０８で得られた画像データＩｍａｇｅ_Ｓは、フローとしてはステップＳ４０９、ステップＳ４１０にそれぞれ分かれる。ステップＳ４０９では画像データＩｍａｇｅ_Ｓからの出力を元に、ＡＦ評価値検出部１０４によって、ＡＦ評価値ＡＦ_Ｋを得る。ステップＳ４１０では、画像データＩｍａｇｅ_Ｓを画像合成部１０５内に構成されるフレームメモリ１０５２に記録する。ステップＳ４１１ではステップＳ４０９で取得した画像データＩｍａｇｅ_ＳのＡＦ評価値ＡＦ_Ｋが式１を満たすか判定する。
【００４６】
次に図３での期間Ｔ２におけるフローについて、図４でのステップＳ４１２〜Ｓ４１６を用いて説明する。
【００４７】
期間Ｔ２ではぼかし画像取得をする動作となるため、ステップＳ４１１においてはＡＦ評価値ＡＦ_Ｋが式１を満たす状態となる。
【００４８】
ステップＳ４１１で式１を満たすとき、ステップＳ４１２では空間周波数が低い撮影条件を得るために、光学機構部１０１１内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。
【００４９】
ステップＳ４１３では、ステップＳ４１２での空間周波数が低い状態で背景ぼかし画像となる画像データＩｍａｇｅ_Ｂを取得する。
【００５０】
ステップＳ４１４では、ステップＳ４１０でフレームメモリ１０５２に記録した主被写体画像データＩｍａｇｅ_Ｓと、ステップＳ４１３で得られた背景ぼかし画像データＩｍａｇｅ_Ｂとを画像合成部１０５内の画像合成回路１０５１にて画像合成し、ステップＳ４１５にて合成画像として出力する。
【００５１】
ステップＳ４１５にて合成画像出力した後にステップＳ４１６に進み、操作部１０９でのユーザー操作などにより記録終了した場合はステップＳ４２５に進み待機状態となり、記録を続ける場合はステップＳ４０７へとフローを戻す。
【００５２】
次に図３での期間Ｔ４におけるフローについて、図４でのステップＳ４１７〜Ｓ４２４を用いて説明する。ステップＳ４１１にてＡＦ評価値ＡＦ_Ｋが式１を満たさない時は、ステップＳ４１７に進み、ステップＳ４１１で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。
【００５３】
続いてステップＳ４１８では、ステップＳ４０７同様に空間周波数が高い撮影条件とし、ステップＳ４１９にてその状態でのＡＦ評価値検出用画像を取得する。ステップＳ４２０では、ステップＳ４１９にて取得したＡＦ評価用画像から、ＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。
【００５４】
ステップＳ４２１では画像合成を行わずステップＳ４１０にて記録した主被写体画像データＩｍａｇｅ_Ｓを画像合成せずに出力する。続いてステップＳ４２２では、ステップＳ４２０にて取得したＡＦ評価値ＡＦ_Ｋが式１を満たすか判定する。ステップＳ４２２で式１を満たす場合は、後に述べるＳ４２４へと遷移する。
【００５５】
一方、式１を満たさない場合は、ステップＳ４２３へと遷移し、ステップＳ４２０にて取得したＡＦ評価値ＡＦ_Ｋを元に制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップＳ４２４では、ステップＳ４２２で式１を満たすかステップＳ４２３の処理後、操作部１０９でのユーザー操作などにより記録終了した場合はステップＳ４２５に進み待機状態となり、記録を続ける場合はステップＳ４０７へとフローを戻す。
【００５６】
以上のように、動作させることにより背景ぼかし動画として動作している際においてもフォーカス追従性を上げることができる。
【００５７】
［実施例２］
以下、図５、図６を参照して、本発明の第２の実施例による移動検出部１１２を用いたＡＦ追従性能向上について説明する。
【００５８】
本発明の第２の実施形態に係る撮像装置は、その構成（図１及び図２）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
【００５９】
図５は図３での説明と同じく、ＡＦ動作の切り替えタイミングについて説明する図である。背景ぼかし動画モードに入ると、実施例１同様にＡＦデータ取得用に画像を取得し、主被写体のＡＦ評価値を取得する（期間Ｔａ０〜Ｔａ１）。
【００６０】
次に撮影同期信号に同期して駆動回路１０３からのタイミング制御に従い撮像素子１０２から画像の取得を行い、主被写体となる画像の取得を行う（期間Ｔ６１）。このとき主被写体としてはフォーカスのあった、つまり空間周波数が高い画像を得やすくしたいため、光学機構部１０１１内の絞り機構部にて絞り制御することで被写界深度を深くしたり、フォーカスを合わすなど空間周波数が高い画像を得るようにする。
【００６１】
ここでＡＦ評価検出部１０４は、制御回路１０８から出力されるＡＦ評価値検出タイミングに従い、期間Ｔ６１で取得した画像を用いて、期間Ｔ６１内にてＡＦ評価値検出を行う。期間Ｔ６１で取得された主被写体画像データは期間Ｔ６１内にてフレームメモリ１０５２に入力される。
【００６２】
また、図５における期間Ｔ６２までは撮像装置や被写体の移動を移動検出部１１２はある閾値以上の移動量を検知していないため、移動検出信号をＬレベルとして出力している。なお、移動量に関する説明は後の図６の説明内で述べる。
【００６３】
図５における期間Ｔ６１から得られる画像ではＡＦ評価値がＡＦ期待値を得られており、かつ移動検出信号がＬレベルのため、期間Ｔ６２においてはこのまま背景ぼかし画像の取得へと移行する。期間Ｔ６２では背景となるぼかし画像は空間周波数が低い画像を得るようにする。
【００６４】
本実施例においては、ぼかし画像を得る手段として、光学機構部１０１１内の絞り機構部により被写界深度を変更して得るものとするが、フォーカスポイントをずらしたり、撮像駆動において加算読み出しや間引き読み出しにより得られる画像の空間周波数を下げる手法を取ってもよい。期間Ｔ６２で得る画像データは空間周波数が低い画像となるためＡＦ評価値の検出、及びＡＦ駆動動作を行わない。このようにして期間Ｔ６１、Ｔ６２で得られた画像は画像合成部１０５にて合成され、動画画像の１フレーム分のデータとして出力される（合成出力期間Ｃ６１）。
【００６５】
次に被写体が移動、もしくはユーザーが撮像装置を移動（フレーミング動作など）させるなど、移動検出部１１２が移動検出した場合について説明する。期間Ｔ６３で被写体、または撮像装置が移動し始めると、閾値以上の移動量を検知した移動検出部１１２は制御部１０８に移動検出信号をＨレベルとして出力する。移動検出信号がＨレベルとして出力されている間、制御部１０８はＡＦ優先として動作を開始する。
【００６６】
具体的には、移動検出信号がＨレベルとなっている合成出力期間Ｃ６２での、ぼかし画像の取得は行わず、ＡＦに適した動作をおこなう（期間Ｔ６４）。具体的にはＡＦ評価値を得られやすいように光学機構部１０１１内の絞り機構部にて絞り側にすることによりフォーカスの得られやすい被写界深度の深い画像を得るように変更し、期間Ｔ６４で得られた画像データから期間Ｔ６４内にてＡＦ評価検出部１０４を用いＡＦ評価値を得られるようにする。
【００６７】
このとき、期間Ｔ６４において、画素信号読み出し駆動において水平方向は間引かずに垂直方向は間引くなど一定方向の空間周波数情報を高く得られるようにして、フレームレートの向上やデータ量圧縮を行うことも可能である。また、空間周波数情報が低下しない範囲で、画素信号読み出し駆動を間引き動作や加算動作に変更してもよい。
【００６８】
そして、期間Ｔ６４で得られる画像データは、ＡＦに適した撮像素子駆動とすることにより期間Ｔ６３で得られる主被写体画像とは画角が変化するため、期間Ｔ６３で得られる主被写体画像との合成処理は行わず、主被写体のみを画像出力することとする。
【００６９】
次に被写体、もしくは撮像装置が移動から静止に移行する際のタイミングについて説明する。期間Ｔ（ｍ）中に被写体が静止すると、移動検出部１１２は移動検出信号をＨレベルからＬレベルへと変化させる。そのＬレベルとなった移動検出信号を受けた制御部１０８は、期間Ｔ（ｍ＋１）では光学機構部１０１１内の絞り機構部にて開放側にし、被写界深度が浅い画像を得るようにしてぼかし画像を得る動作に切り替える。
【００７０】
次に図６を用いてＡＦ動作の切り替えについて、フローチャートにて説明する。まず、図５での期間Ｔａ０、Ｔａ１におけるフローについて、図６でのステップＳ６０１〜Ｓ６０６を用いて説明する。動画ぼかしモードに入ると（Ｓ６０１）、まず主被写体のＡＦ評価用画像取得を行う（Ｓ６０２）。
【００７１】
ステップＳ６０２で取得された画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する（Ｓ６０３）。ステップＳ６０４では、ステップＳ６０３で取得したＡＦ評価値ＡＦ_Ｋが実施例１同様に式１を満たすかどうか判定する。ステップＳ６０４でのＡＦ評価値ＡＦ_Ｋが式１を満たさない場合、ステップＳ６０５へと移行し、ステップＳ６０４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。続いて、ステップＳ６０６にてＡＦ評価用の画像取得を行い、ステップＳ６０３へと戻す。
【００７２】
次に図５での期間Ｔ６１におけるフローについて、図６でのステップＳ６０７〜Ｓ６１３を用いて説明する。ステップＳ６０４でのＡＦ評価値ＡＦ_Ｋの比較にて式１を満たす場合は、ステップＳ６０７へと進み、空間周波数が高い撮影条件に撮像装置を制御する。
【００７３】
ここでいう空間周波数が高い撮影条件を得るためには、光学機構部１０１１内の絞り機構部にて小絞り側にして被写界深度を深くしたり、撮像素子駆動により全画素読み出しなどの解像感を得られやすい駆動に変更するなど少なくとも一つ以上の手段を用いる。ステップＳ６０７にて空間周波数が高い状態にした後に、ステップＳ６０８にて主被写体となる画像データ（Ｉｍａｇｅ_Ｓ）を取得する。ステップＳ６０９では、画像データＩｍａｇｅ_Ｓを画像合成部１０５内に構成されるフレームメモリ１０５２に記録する。
【００７４】
ステップＳ６１０ではステップＳ６０８で取得した画像データＩｍａｇｅ_ＳからＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。ステップＳ６１１ではステップＳ６１０から得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動する。ステップＳ６１２では移動検出部１１２において移動量Ｐｏｓ_Ｋを取得する。
【００７５】
移動量Ｐｏｓ_Ｋは、移動検出部１１２内に構成されている加速度センサやジャイロセンサ、により撮像装置の加速度／角速度情報から計出したり、もしくは画像認識回路により主被写体を画像認識し、主被写体が画角内において変化している画角比を検出することにより移動量をＰｏｓ_Ｋを割り出すことにより情報を取り出す。ステップＳ６１３ではステップＳ６１２で取得した移動量Ｐｏｓ_Ｋが移動したとみなす閾値Ｐｏｓ_ｍａｘを超えているかどうかを判定する。
【００７６】
すなわち、ステップＳ６１３は次式にてこのように表わされる。
Ｐｏｓ_Ｋ  ＞  Ｐｏｓ_ｍａｘ・・・・式２
ここで閾値Ｐｏｓ_ｍａｘは事前に設計値もしくは調整値情報として割り出しており、制御部１０８内にその値を格納している。
【００７７】
次に図５での期間Ｔ６２におけるフローについて、図６でのステップＳ６１４〜Ｓ６１８を用いて説明する。
期間Ｔ６２ではぼかし画像取得をする動作となるため、ステップＳ６１３においては式２を満たさない状態となる。
ステップＳ６１３で式２を満たさない時、ステップＳ６１４では空間周波数が低い撮影条件を得るために、光学機構部１０１１内の絞り機構部にて開放側にして被写界深度を浅くしたり、フォーカス制御によりフォーカスポイントをずらしたり、撮像素子駆動により間引き読み出しや画素加算読み出しをするなど、いずれかの手段を用いて得られる画像に対して空間周波数が低い画像を得るようにする。
【００７８】
ステップＳ６１５では、ステップＳ４１２での空間周波数が低い状態で背景ぼかし画像となる画像データＩｍａｇｅ_Ｂを取得する。ステップＳ６１６では、ステップＳ６０９でフレームメモリ１０５２に記録した主被写体画像データＩｍａｇｅ_Ｓと、ステップＳ６１５で得られた背景ぼかし画像データＩｍａｇｅ_Ｂとを画像合成部１０５内の画像合成回路１０５１にて画像合成し、ステップＳ６１７にて合成画像として出力する。
【００７９】
ステップＳ６１７にて合成画像出力した後にステップＳ６１８に進み、記録終了した場合はステップＳ６２６に進み待機状態となり、記録を続ける場合はステップＳ６０７へとフローを戻す。
【００８０】
次に図５での期間Ｔ４におけるフローについて、図６でのステップＳ６１９〜Ｓ６２６を用いて説明する。ステップＳ６１３にて移動量Ｐｏｓ_Ｋが式２を満たす時は、ステップＳ６１９に進む。
【００８１】
ステップＳ６１９では、ステップＳ６０７同様に空間周波数が高い撮影条件とし、ステップＳ６２０にてその状態でのＡＦ評価用画像を取得する。ステップＳ６２１では画像合成を行わずステップＳ６０９にてフレームメモリに記録した主被写体画像データＩｍａｇｅ_Ｓを画像合成せずに出力する。ステップＳ６２２では、ステップＳ６１２同様に移動検出部１１２において移動量Ｐｏｓ_Ｋを取得する。
【００８２】
ステップＳ６２３では、ステップＳ６２２で得られた移動量Ｐｏｓ_Ｋが式２を満たすか判定し、満たす場合はステップＳ６２４へと遷移し、満たさない場合はステップＳ６２６へと遷移する。ステップＳ６２４ではステップＳ６２０で得られたＡＦ検出用画像からＡＦ評価値検出部１０４にてＡＦ評価値ＡＦ_Ｋを取得する。
【００８３】
ステップＳ６２５ではステップＳ６２４で得られたＡＦ評価値ＡＦ_Ｋから制御部１０８にてフィードバック制御量を決め、制御部１０８からの制御信号に基づいて駆動回路１０３を駆動することにより光学機構部内のフォーカスレンズを駆動し、ステップＳ６２６へと遷移する。
【００８４】
ステップＳ６２６では、記録終了した場合はステップＳ６２７に進み待機状態となり、記録を続ける場合はステップＳ６０７へと戻す。
【００８５】
以上のように、動作させることにより背景ぼかし動画として動作している際においても被写体、及び撮像装置の移動を検知することによりフォーカス追従性を上げることができる。
【００８６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８７】
１０１  光学鏡筒、１０１１ 光学機構部、１０２  撮像素子、１０３  駆動回路、
１０４  ＡＦ評価値検出部、１０５  画像合成部、１０６  信号処理部、
１０７  圧縮伸張部、１０８  制御部、１０９  操作部、１１０  画像表示部、
１１１  画像記録部、１１２  移動検出部、１０５１  画像合成回路、
１０５２  フレームメモリ
【図１】
2017009943.tif 000003
【図２】
2017009943.tif 000004
【図３】
2017009943.tif 000005
【図４】
2017009943.tif 000006
【図５】
2017009943.tif 000007
【図６】
2017009943.tif 000008