(57)【要約】【課題】比較的に簡易な演算によってライビュー表示等の間にレンズ駆動が行われた場合の表示画像の劣化を抑制することが可能な撮像装置を提供すること。【解決手段】撮像装置１は、被写体を複数回撮像して被写体に係る複数の画像データを取得する撮像素子２０２と、フォーカスレンズを有し、撮像素子２０２に被写体の像を形成するための撮影レンズ１０２と、フォーカスレンズの駆動を制御することによって撮影レンズ１０２の焦点状態を制御するＡＦ制御部２１４３と、フォーカスレンズの駆動の間の複数回の撮像によって撮像素子２０２で得られた複数の画像データのうち、現在フレームの画像データのぼけ量の大きな領域に、前フレームの画像データのぼけ量の小さな領域を合成する画像合成部２０４１と、画像合成部２０４１によって合成された画像を表示する表示部２０６とを備える。【選択図】図１
2017228913.tif 000002
【特許請求の範囲】
【請求項１】
被写体を複数回撮像して前記被写体に係る複数の画像データを取得する撮像素子と、
フォーカスレンズを有し、前記撮像素子に前記被写体の像を形成するための撮影レンズと、
前記フォーカスレンズの駆動を制御することによって前記撮影レンズの焦点状態を制御するＡＦ制御部と、
前記フォーカスレンズの駆動の間の前記複数回の撮像によって前記撮像素子で得られた複数の画像データのうち、現在フレームの画像データのぼけ量の大きな領域に、前記現在フレームの画像データよりも前に得られた前フレームの画像データのぼけ量の小さな領域を合成する画像合成部と、
前記画像合成部によって合成された画像を表示する表示部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記画像合成部は、対応するぼけ量の大きな領域との画像特徴量の類似度が低いぼけ量の小さな領域を前記合成の対象から除外することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像合成部は、対応するぼけ量の大きな領域との画像特徴量の類似度に応じた重み付けをして前記ぼけ量の小さな領域を合成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記フォーカスレンズの駆動に伴って前記撮像素子で得られた複数の画像データにおける前記被写体の動きを検出する動き検出部をさらに具備し、
前記画像合成部は、前記現在フレームの画像データと前フレームの画像データとを前記動きに応じて位置合わせしてから前記合成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ＡＦ制御部は、前記フォーカスレンズをウォブリング駆動させることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＦ機能を有する撮像装置に関する。
【背景技術】
【０００２】
撮像装置に備えられた撮影レンズの自動焦点調節技術として、コントラストＡＦ方式が知られている。コントラストＡＦ方式は、撮影レンズを介して撮像素子で受光された光束に応じて生成された画像信号から算出されるコントラスト値に基づいてフォーカスレンズの焦点調節を行う方式である。コントラストＡＦ方式では、合焦に向かうフォーカスレンズの駆動方向を判断するために、例えばウォブリング駆動が行われる。ウォブリング駆動は、フォーカスレンズを至近及び無限方向に微小駆動しつつ、至近方向に駆動したときと無限方向に駆動したときのコントラスト値を比較することによって合焦に向かうフォーカスレンズの駆動方向を判断する技術である。近年の撮像装置では、ライブビュー表示中等でもウォブリング駆動を伴うコントラストＡＦが行われることがある。ウォブリング駆動では、コントラスト値の比較のためにコントラスト値の低下する方向、すなわちぼけの大きくなる方向にもフォーカスレンズが駆動される。このため、ライブビュー表示中にウォブリング駆動等のレンズ駆動が行われると、レンズ駆動に伴うぼけが画像として表示されてしまうことがある。特許文献１の撮像装置は、このようなライブビュー表示中にウォブリング駆動を伴うＡＦが行われる場合において、ウォブリング駆動に伴う画像のぼけを修復する処理を行うようにしている。具体的には、特許文献１の撮像装置は、ぼけを修復する処理として、ウォブリングに関する各種の情報からぼけを表すぼけ関数を生成し、ぼけ関数に対してデコンボリューション処理を施すことでぼけを修復している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４３６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ぼけ関数の生成やデコンボリューション処理といった比較的に演算量の大きい処理によってぼけの修復が行われる。このような処理を画像の全体に対して行おうとすると、回路負荷がかかり易い。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、比較的に簡易な演算によってライビュー表示等の間にレンズ駆動が行われた場合の表示画像や撮像動作の間にレンズ駆動が行われた場合の記録画像の劣化を抑制することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の一態様の撮像装置は、被写体を複数回撮像して前記被写体に係る複数の画像データを取得する撮像素子と、フォーカスレンズを有し、前記撮像素子に前記被写体の像を形成するための撮影レンズと、前記フォーカスレンズの駆動を制御することによって前記撮影レンズの焦点状態を制御するＡＦ制御部と、前記フォーカスレンズの駆動の間の前記複数回の撮像によって前記撮像素子で得られた複数の画像データのうち、現在フレームの画像データのぼけ量の大きな領域に、前記現在フレームの画像データよりも前に得られた前フレームの画像データのぼけ量の小さな領域を合成する画像合成部と、前記画像合成部によって合成された画像を表示する表示部とを具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、比較的に簡易な演算によってライビュー表示等の間にレンズ駆動が行われた場合の表示画像や撮像の間にレンズ駆動が行われた場合の記録画像の劣化を抑制することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の各実施形態に係る撮像装置の撮影処理について示すフローチャートである。
【図３】第１の実施形態における画像合成処理について示すフローチャートである。
【図４】コントラスト変化大領域の抽出処理を説明するための図である。
【図５】画像合成について説明するための図である。
【図６】図５の例において画像合成が行われたときと行われていないときとのコントラストを比較して示した図である。
【図７】第２の実施形態における画像合成処理について示すフローチャートである。
【図８】変形例について説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
【００１０】
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１に示す撮像装置１は、交換レンズ１００と、撮像装置本体２００とを有している。交換レンズ１００は、撮像装置本体２００に着脱されるように構成されている。交換レンズ１００が撮像装置本体２００に装着されたときに、交換レンズ１００と撮像装置本体２００とが通信自在に接続される。なお、撮像装置１は、必ずしもレンズ交換式の撮像装置でなくてよい。例えば、撮像装置１は、レンズ一体型の撮像装置であってもよい。
【００１１】
交換レンズ１００は、撮影レンズ１０２と、フォーカスレンズ制御部１０４と、通信部１０６とを有している。
【００１２】
撮影レンズ１０２は、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像装置本体２００の撮像素子２０２に入射させる。撮影レンズ１０２は、合焦状態を調節するためのフォーカスレンズを含んでいる。
【００１３】
フォーカスレンズ制御部１０４は、撮像装置本体２００の制御部２１４による制御の下、フォーカスレンズを光軸方向に駆動することによって撮影レンズ１０２の合焦状態を調節する。
【００１４】
通信部１０６は、交換レンズ１００が撮像装置本体２００に装着されたときに撮像装置本体２００の通信部２１２と接続され、交換レンズ１００と撮像装置本体２００との間の通信を仲介する。
【００１５】
撮像装置本体２００は、撮像素子２０２と、画像処理部２０４と、表示部２０６と、記録部２０８と、動き検出部２１０と、通信部２１２と、制御部２１４とを有している。
【００１６】
撮像素子２０２は、被写体を撮像し、被写体に係る画像データを取得する。
【００１７】
画像処理部２０４は、撮像素子２０２で得られた画像データに対して種々の画像処理を施す。この画像処理は、ホワイトバランス処理、階調補正処理等を含む。また、画像処理部２０４は、画像合成部２０４１を含む。画像合成部２０４１は、複数の画像データを合成する画像合成処理を行う。
【００１８】
表示部２０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像素子２０２で取得された画像データに基づく画像等の各種の画像を表示する。
【００１９】
記録部２０８は、フラッシュメモリ等の不揮発性メモリであり、各種のデータを記録するための記録媒体である。記録部２０８には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部２０８には、撮像装置本体２００の制御に用いられるプログラムが記録される。
【００２０】
動き検出部２１０は、撮像素子２０２で得られた複数フレームの画像データの間の被写体の動きを検出する。被写体の動きは、例えば複数フレームの画像データの間の動きベクトルを検出することによって検出される。
【００２１】
通信部２１２は、交換レンズ１００が撮像装置本体２００に装着されたときに交換レンズ１００の通信部１０６と接続され、交換レンズ１００と撮像装置本体２００との間の通信を仲介する。
【００２２】
制御部２１４は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置本体２００の動作を統括的に制御する。制御部２１４は、撮像制御部２１４１としての機能と、表示制御部２１４２としての機能と、ＡＦ制御部２１４３としての機能とを有している。ここで、制御部２１４の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部２１４と別個に設けられていてもよい。
【００２３】
撮像制御部２１４１は、撮像素子２０２による被写体の撮像動作及び撮像素子２０２からの画像データの読み出し動作を制御する。表示制御部２１４２は、表示部２０６に各種の画像を表示するときの制御をする。ＡＦ制御部２１４３は、例えばウォブリング駆動を伴うコントラストＡＦ方式（以下、ウォブリングＡＦ制御（Ｗｏｂ  ＡＦ）と言う）によってＡＦ制御をする。ウォブリングＡＦ制御は、フォーカスレンズを至近及び無限方向に微小駆動しつつ、至近方向に駆動したときの振幅の至近端と無限方向に駆動したときの振幅の無限端でのコントラスト値を比較することによって合焦に向かうフォーカスレンズの駆動方向を判断する技術である。ＡＦ制御部２１４３は、位相差ＡＦ方式によってＡＦ制御をするように構成されていてもよい。
【００２４】
次に、本実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置の撮影処理について示すフローチャートである。図２の処理は、制御部２１４が主体となって行われる。ここで、撮像装置１は、撮影モードとして静止画モードと動画モードとを有しているものとする。静止画モードは、静止画を記録するための撮影モードである。動画モードは、動画を記録するための撮影モードである。これらの撮影モードの設定は、ユーザによる図示しない操作部の操作によってなされる。なお、撮像装置は、撮影モード以外のモード、例えば再生モードを有していてもよい。
【００２５】
図２の処理は、例えば撮像装置１の電源がオンされることによって開始される。ステップＳ１において、制御部２１４は、撮像装置１の動画撮影を開始するか否かを判定する。例えば、動画撮影の開始を指示する図示しない操作部材が操作された場合には動画撮影を開始すると判定される。ステップＳ１において、動画撮影を開始しない、すなわち、静止画撮影を開始すると判定されたときには、処理はステップＳ２に移行する。ステップＳ１において、動画撮影を開始すると判定されたときには、処理はステップＳ３に移行する。
【００２６】
ステップＳ２において、制御部２１４は、静止画用の撮影処理を行う。静止画用の撮影処理については簡単に説明する。静止画用の撮影処理では、制御部２１４は、ＷｏｂＡＦ等により、フォーカスレンズを合焦位置まで駆動する。その後、ユーザの静止画撮影の開始操作を受けて、制御部２１４は、撮像素子２０２を動作させて静止画撮影を実行し、静止画撮影によって得られた静止画ファイルを記録部２０８に記録する。静止画用の撮影処理の後、図２の処理は終了する。
【００２７】
ステップＳ３において、制御部２１４は、現在のぼけ量が大きいか否かを判定する。コントラストＡＦ方式では、ぼけ量は被写体のコントラストを示すコントラスト値によって表される。コントラスト値は、撮影領域に設定されるＡＦエリア内に対応する画像データの高周波成分を積算することによって算出される。このコントラスト値が大きいほど、被写体のコントラストが高い状態（ぼけ量が小さい状態）であることを示す。したがって、ステップＳ３では、例えばコントラスト値が閾値以下であるか否かが判定される。ステップＳ３においてコントラスト値が閾値以下である、すなわちぼけ量が大きい状態（たとえば非合焦状態）であると判定されたときには、ウォブリングＡＦ制御では合焦までに時間がかかるので、処理はステップＳ４に移行する。ステップＳ３においてコントラスト値が閾値を超えている、すなわちぼけ量が小さい状態（たとえば合焦状態）であると判定されたときには、ウォブリングＡＦ制御を行うために、処理はステップＳ６に移行する。なお、閾値は、電源オン時に所定の初期値が設定される。後述するスキャンフォーカス制御を実行した後に取得される合焦とみなされるピーク値を置き換えて記憶させ閾値としてもよい。
【００２８】
ステップＳ４において、制御部２１４は、スキャンフォーカス制御を行う。スキャンフォーカス制御において、制御部２１４は、至近方向及び無限方向のうちでコントラスト値が増加する方向に連続的にフォーカスレンズを駆動するようにフォーカスレンズ制御部１０４に指示を送る。そして、制御部２１４は、連続的なフォーカスレンズの駆動に伴って撮像素子２０２によって得られる画像データからコントラスト値を算出する。そして、制御部２１４は、コントラスト値がピークとなる位置（ピーク位置）を合焦位置としてフォーカスレンズを停止させるようにフォーカスレンズ制御部１０４に指示を送る。ここで、ピーク位置は、離散的に取得されるコントラスト値の増加から減少への変化が検出されたときに離散的なコントラスト値のピーク値に対応するレンズ位置とその前後のレンズ位置に基づいて補間演算により算出される。
【００２９】
ステップＳ５において、制御部２１４は、コントラスト値のピーク値を図示しない一時記憶部に記憶させる。その後、処理はステップＳ１２に移行する。
【００３０】
ステップＳ３において、ぼけ量が小さい、即ち合焦している場合は、ステップＳ６において、制御部２１４は、撮像素子２０２による撮像動作を実行させる。そして、制御部２１４は、撮像動作により得られた画像データを図示しない一時記憶部に記憶させる。ステップＳ７において、制御部２１４は、撮像素子２０２によって得られる画像データからコントラスト値を算出する。
【００３１】
ステップＳ８において、制御部２１４は、ステップＳ５において一時記憶されたコントラスト値のピーク値からの算出されたコントラスト値の変化があったか否かを判定する。ここで、一時記憶されているコントラスト値のピーク値は、スキャンフォーカス制御により取得されたピーク値であり、合焦している状態でのコントラスト値として記憶されている。ステップＳ８において、コントラスト値の変化があったと判定されたとき、すなわち合焦状態から非合焦状態に変化したと判定されたときには、処理はステップＳ９に移行する。ステップＳ８において、コントラスト値の変化がないと判定されたとき、すなわち、合焦状態が維持されていると判定されたときには、処理はステップＳ１２に移行する。
【００３２】
ステップＳ９において、制御部２１４は、ウォブリングＡＦ制御を開始させる。すなわち、制御部２１４は、至近方向及び無限方向へのフォーカスレンズの微小駆動を開始させるようにフォーカスレンズ制御部１０４に指示を送る。そして、制御部２１４は、フォーカスレンズを微小駆動させ、微小駆動の振幅の至近端と無限端において撮像素子２０２によって得られる画像データからそれぞれコントラスト値を算出する。そして、制御部２１４は、両者のコントラスト値の比較によってフォーカスレンズの駆動方向を判断する。さらに、コントラスト値の比較によって、両者のコントラスト値がほぼ等しいと検出することによりピーク位置が検出されたときには、制御部２１４は、フォーカスレンズを停止させるようにフォーカスレンズ制御部１０４に指示を送る。フォーカスレンズの駆動方向の判断後、処理はステップＳ１０に移行する。ここで、本実施形態のウォブリングＡＦ制御におけるフォーカスレンズの駆動周期は、例えば２フレームに一度は駆動方向の判断ができる程度の駆動周期である。
【００３３】
ステップＳ１０において、制御部２１４は、画像合成処理を行う。画像合成処理の後、処理はステップＳ１１に移行する。ウォブリングＡＦ制御が開始されているときには、レンズ駆動のために表示画像や動画記録画像の画質劣化の可能性がある。この画質劣化を抑制するために、画像合成処理が行われる。画像合成処理の詳細については後で説明する。
【００３４】
ステップＳ１１において、制御部２１４は、画像合成処理の結果として得られた画像データに基づく画像をライブビュー画像として表示部２０６に表示させる。その後、ステップＳ１６において、制御部２１４は、動画記録を行う。すなわち、制御部２１４は、画像合成処理された画像データを記録部２０８に生成された動画ファイルに記録していく。動画記録の後、処理はステップＳ３に戻る。
【００３５】
ステップＳ１２において、制御部２１４は、画像処理部２０４を用いて通常画像処理を行う。通常画像処理は、画像合成処理を伴わない画像処理であって、例えばホワイトバランス処理、階調補正処理といった画像表示に必要な処理を含む。通常画像処理の後、処理はステップＳ１３に移行する。通常画像処理が行われるのは、例えばフォーカスレンズが合焦位置にあるときである。この場合には、ウォブリングＡＦ制御に伴うレンズ駆動がないので、通常画像処理が行われる。
【００３６】
ステップＳ１３において、制御部２１４は、通常画像処理の結果として得られた画像データに基づく画像をライブビュー画像として表示部２０６に表示させる。その後、処理はステップＳ１４に移行する。
【００３７】
ステップＳ１４において、制御部２１４は、動画記録を行う。すなわち、制御部２１４は、撮像素子２０２から得られる画像データを記録部２０８に生成された動画ファイルに記録していく。動画記録の後、処理はステップＳ１５に移行する。
【００３８】
ステップＳ１５において、制御部２１４は、撮像装置１の動画撮影を終了するか否かを判定する。例えば、動画撮影の終了を指示する図示しない操作部材が操作された場合には動画撮影を終了すると判定される。ステップＳ１５において、動画撮影を終了しないと判定されたときには、処理はステップＳ３に戻る。ステップＳ１５において、動画撮影を終了すると判定されたときには、図２の処理は終了する。
【００３９】
図３は、第１の実施形態における画像合成処理について示すフローチャートである。ステップＳ１０１において、制御部２１４は、１フレーム前のステップＳ６において得られた画像データを取得する、すなわち、一時記憶部に記憶されている画像データを読み出す。
【００４０】
ステップＳ１０２において、制御部２１４は、動き検出部２１０を用いて現在フレームの画像データと１フレーム前の画像データとの間の被写体の動きベクトルを検出する。
【００４１】
ステップＳ１０３において、制御部２１４は、現在フレームの画像データと１フレーム前の画像データとを動きベクトルに応じて位置合わせした後で、現在フレームの画像データと１フレーム前の画像データとを比較して現在フレームの画像データにおけるコントラスト値の変化の大きな領域を抽出する。例えば、制御部２１４は、フレーム前の画像データのコントラスト値に対して、１０％以上のコントラスト値の変化のある領域を現在フレームの画像データの全領域から抽出する。ウォブリングＡＦ制御中には、フォーカスレンズの位置が時々刻々に変化する。そして、これに伴って図４（ａ）の領域３０２及び図４（ｂ）の領域３０４で示すような被写体のコントラストが変化する。ステップＳ１０３では、図４（ａ）の領域３０２及び図４（ｂ）の領域３０４といった領域が抽出される。これらの領域に被写体が存在していると推定される。
【００４２】
ステップＳ１０４において、制御部２１４は、現在フレームの画像データと１フレーム前の画像データとの間の画像特徴点マッチング処理をする。そして、制御部２１４は、現在フレームの画像データと１フレーム前の画像データとの間で類似度の低い領域を後の画像合成の際の除外対象に設定する。画像特徴点マッチングは、２フレームの画像データの対応する画素同士の画像特徴量（例えば画素値）の差を算出することによって行われる。この差が小さい場合には、画素同士の類似度が高いことになる。
【００４３】
ステップＳ１０５において、制御部２１４は、現在フレームの画像データが合焦状態にあるか否かを判定する。すなわち、制御部２１４は、ウォブリングＡＦ制御によってピーク位置が検出されているか否かを判定する。ステップＳ１０５において、現在フレームの画像データが合焦状態にあると判定されたときには、処理はステップＳ１０６に移行する。ステップＳ１０５において、現在フレームの画像データが合焦状態にないと判定されたときには、処理はステップＳ１０７に移行する。
【００４４】
ステップＳ１０６において、制御部２１４は、ステップＳ１０７で説明する画像合成を行わずに通常画像処理のみを行う。その後、図３の処理は終了する。ステップＳ１０６では、画像にぼけが発生していないのでぼけを抑制する画像合成は不要である。
【００４５】
ステップＳ１０７において、制御部２１４は、画像処理部２０４を用いて画像合成を行う。その後、図３の処理は終了する。以下、画像合成について説明する。図５は、画像合成について説明するための図である。以下の例において、ユーザは飛び立って行く鳥を被写体として動画撮影しようとしている。
【００４６】
図５（ａ）はウォブリングＡＦ制御中の時間経過に対する被写体位置と、レンズ位置（レンズ位置に対応した撮影距離）と、ぼけ量との関係を示す図である。ウォブリングＡＦ制御の開始時点では、フォーカスレンズは被写体である鳥に合焦している。このため、ぼけ量はない。その後、鳥が飛び立つことで、図５（ａ）に示すように、被写体位置は時間経過に伴って遠距離側に変化していく。これにより、コントラスト値の変化が生じるので、鳥の動きに追従するようにウォブリングＡＦ制御が行われる。図５（ａ）に示すように、ウォブリングＡＦ制御では至近方向と無限方向の両方にレンズ駆動が行われながら最終的に被写体に合焦するようにレンズ駆動がされる。このため、図５（ａ）に示すようにレンズ位置の変化に伴ってぼけ量も変化する。すなわち、被写体位置とレンズ位置との差が大きければぼけ量は「大」きくなり、被写体位置とレンズ位置との差が小さければぼけ量は「小」さくなり、被写体位置とレンズ位置との差がなければぼけ量は「なし」となる。
【００４７】
図５（ｂ）は、ウォブリングＡＦ制御中の撮像のタイミングを示す図である。ウォブリングＡＦ制御中の撮像は、レンズ駆動のタイミングに同期している撮像同期信号に基づいて行われる。したがって、ぼけ量が大きいタイミングで撮像が行われると、それによって得られる画像データのぼけ量は大きく、ぼけ量が小さいタイミングで撮像が行われると、それによって得られる画像データのぼけ量は小さくなる。図５の例ではぼけの状態が連続的に変わる。したがって、ライブビュー画像においても連続的にぼけの状態が変化する。このため、ユーザに違和感を与えることになる。
【００４８】
図５（ｃ）は、画像合成の概念を示す図である。画像合成は、現在フレームの画像データのぼけている領域を前フレームの画像データのぼけていない領域で置き換えることで行われる。したがって、画像合成は、２フレーム目以後から行われる。なお、画像データにおけるぼけている領域及びぼけていない領域は、図３のステップＳ１０３においてコントラスト値の変化の大きな領域として抽出されている。
【００４９】
例えば、図５（ｃ）の２フレーム目の画像データに対する画像合成について説明すると、２フレーム目の画像データから抽出された領域と１フレーム目の画像データから抽出された領域とを比較したとき、１フレーム目の画像データから抽出された領域のほうが２フレーム目の画像データから抽出された領域よりもぼけ量が小さい。したがって、画像処理部２０４は、基本的には、２フレーム目の画像データから抽出されたぼけ量の大きな領域を、１フレーム目の画像データから抽出されたぼけ量の小さな領域で置き換える。しかしながら、２フレーム目の画像データから抽出された領域と１フレーム目の画像データから抽出された領域とを比較したとき、２フレーム目と１フレーム目とで鳥の羽ばたきの状態が異なっている。したがって、鳥の羽の部分については、図３のステップＳ１０４において画像合成の際の除外対象に設定されている。このため、画像処理部２０４は、図５（ｃ）に示すように、鳥の羽だけを１フレーム目の画像データから抽出された領域によって置き換えずに、それ以外の領域を１フレーム目の画像データから抽出された領域によって置き換える。
【００５０】
また、図５（ｃ）の３フレーム目の画像データに対する画像合成について説明すると、３フレーム目の画像データから抽出された領域と２フレーム目の画像データから抽出された領域とを比較したとき、２フレーム目の画像データから抽出された領域のほうが３フレーム目の画像データから抽出された領域よりもぼけ量が小さい。したがって、画像処理部２０４は、基本的には、３フレーム目の画像データから抽出されたぼけ量の大きな領域を、２フレーム目の画像データから抽出されたぼけ量の小さな領域で置き換える。２フレーム目の画像データに対する画像合成のときとは異なり、３フレーム目の画像データから抽出された領域と２フレーム目の画像データから抽出された領域とを比較したとき、３フレーム目と２フレーム目とで鳥の状態は略同一である。したがって、画像処理部２０４は、図５（ｃ）に示すように、３フレーム目の画像データから抽出されたすべての領域を、２フレーム目の画像データから抽出された領域によって置き換える。
【００５１】
一方、図５（ｃ）の４フレーム目及び５フレーム目の画像データに対する画像合成では、現在フレームの画像データのほうが前フレームの画像データよりもぼけ量が小さい。したがって、画像処理部２０４は、画像合成を行わない。
【００５２】
図６は、図５の例において画像合成が行われたときと行われていないときとのコントラストを比較して示した図である。図６に示すように、画像合成により、２フレーム目と３フレーム目のコントラスト（すなわち、ぼけ）が改善される。
【００５３】
以上説明したように本実施形態によれば、ＡＦの間にもライブビュー表示が行われる場合において、ぼけのある画像が表示されることになるときには、現在フレームにおけるぼけのある部分が前フレームにおけるぼけのない画像によって置き換えられる画像合成が行われる。このような簡易な処理により、ＡＦの間に表示されるライブビュー表示のぼけ量を小さくすることが可能である。
【００５４】
また、２フレームの画像データの比較の結果、画像特徴量の異なる部分についてはぼけ量が大きくとも、画像合成の対象から除外される。これにより、画像全体としてのぼけを抑制しつつ、置き換えによってさらに画像が不自然となってしまうことが生じにくい。
【００５５】
ここで、前述した実施形態における画像合成は、置き換え処理である。これに対し、現在フレームの画像データと前フレームの画像データとの加算平均をとるように合成してもよい。また、ぼけ量に応じた重み付け加算によって合成してもよい。この重み付け加算の重み係数は、例えば０から１の値を取る。そして、２フレームの画像データのうちでぼけ量が小さいほうの画像データに対する重み係数の値は大きくなり、ぼけ量が大きいほうの画像データに対する重み係数の値は小さくなるように設定される。
【００５６】
また、前述の例では、現在フレームの画像データと１フレーム前の画像データとの間の２フレームの画像合成について説明している。しかしながら、現在フレームの画像データと２フレーム前までの画像データといったように、３フレーム以上の画像合成が行われてもよい。
【００５７】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、画像合成処理の変形例である。第１の実施形態では、２フレームの画像データの比較の結果、画像特徴量の異なる部分については一律的に画像合成の対象から除外されるようになっている。これに対し、第２の実施形態は、画像特徴量の類似度に応じた重み付け加算によって画像合成が行われる例である。
【００５８】
図７は、第２の実施形態における画像合成処理について示すフローチャートである。ここで、図７において、図３と同一の部分については説明を省略する。すなわち、図７のステップＳ２０１−Ｓ２０６は、図５のステップＳ１０１−１０６と同一であるので説明を省略する。
【００５９】
ステップＳ２０５において現在フレームの画像データが合焦状態にないと判定されたときのステップＳ２０７において、制御部２１４は、現在フレームの画像データから抽出された領域と前フレームの画像データから抽出された領域とが類似しているか否かを判定する。２フレームの画像データが類似しているかの判定は、例えば２フレームの間の類似度（例えば画像特徴量の差から算出される）が所定値以上であるか否かを判定することによって行われる。類似度が所定値以上であれば、２フレームの画像データは類似していると判定される。ステップＳ２０７において、現在フレームの画像データから抽出された領域と前フレームの画像データから抽出された領域とが類似していると判定されたときに、処理はステップＳ２０８に移行する。ステップＳ２０７において、現在フレームの画像データから抽出された領域と前フレームの画像データから抽出された領域とが類似していないと判定されたときに、処理はステップＳ２０９に移行する。
【００６０】
ステップＳ２０８において、制御部２１４は、画像処理部２０４を用いて画像合成を行う。その後、図７の処理は終了する。この画像合成は、第１の実施形態のステップＳ１０７の画像合成と同一である。したがって、説明を省略する。
【００６１】
ステップＳ２０９において、制御部２１４は、画像処理部２０４を用いて類似度に応じた画像合成を行う。その後、図７の処理は終了する。この画像合成は、類似度に応じた重み付け加算によって行われる。この重み付け加算の重み係数は、例えば０から１の値を取る。そして、類似度が低いほどに現在フレームの画像データに対する重み係数の値が大きくなり、前フレームの画像データに対する重み係数の値が小さくなるように設定される。すなわち、類似度が低い場合には現在フレームの画像データが優先される。そして、現在フレームの画像データから抽出された領域と前フレームの画像データから抽出された領域とがまったく類似していないときには、合成対象から除外される。
【００６２】
以上説明したように本実施形態によれば、画像特徴量が異なる場合の画像合成処理として類似度に応じた画像合成を併用している。これにより、合成された被写体のずれや被写体の状態変化による画像への影響をより抑えることが可能である。
【００６３】
［その他の変形例］
前述した実施形態の変形例を説明する。図８は、変形例の画像合成について説明するための図である。図８においては、合焦している時間をなるべく長くとるため、２フレームに１回のレンズ駆動が行われるようになっている。このような駆動は、被写体の動きが少ない場合に有効である。
【００６４】
ウォブリング駆動では、レンズは至近側と無限側の双方に駆動される。したがって、１フレームに１回のレンズ駆動が行われると、ぼけ量の状態が頻繁に変わることになる。これに対し、図８のような駆動では、特に被写体の動きが少ない状態においては、ぼけ量の状態が頻繁に変わることがない。
【００６５】
一方、ぼけ量の状態が頻繁に変わることがないので、図５の例とは異なり、図８の例では、ぼけ量の状態が同じ画像データ同士が合成されることがあり得る。ここで、図８のように被写体の動きが小さい場合には、深度外の画像データ同士の画像合成により生成される比較的にぼけ量の大きな深度内の画像データ（図では黒三角で示す）及び深度外の画像データと深度内の画像データとの画像合成により生成される比較的にぼけ量の小さな深度内の画像データ（図では白丸で示す）とが生成され得る。そして、２フレームに１回のレンズ駆動が行われる場合には、３フレームに１回、深度内の画像データが生成される。このように深度外の画像データと深度内の画像データとが規則的に生成される場合、それらをライブビュー表示させたときに人間の脳の機能による補間効果によって画像におけるぼけが平均化される。
【００６６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述の実施形態は、ウォブリング駆動を伴うＡＦを例にしている。これに対し、本実施形態の技術は、ライブビュー表示中にレンズ駆動を伴う各種のＡＦ処理に対して適用可能である。例えば、本実施形態の技術は位相差ＡＦにも適用され得る。
【００６７】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００６８】
また、上述した実施形態による各処理は、コンピュータである制御部２１４に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部２１４は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００６９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００７０】
１  撮像装置、１００  交換レンズ、１０２  撮影レンズ、１０４  フォーカスレンズ制御部、１０６  通信部、２００  撮像装置本体、２０２  撮像素子、２０４  画像処理部、２０６  表示部、２０８  記録部、２１０  動き検出部、２１２  通信部、２１４  制御部  ２０４１  画像合成部、２１４１  撮像制御部、２１４２  表示制御部、２１４３  ＡＦ制御部。
【図１】
2017228913.tif 000003
【図２】
2017228913.tif 000004
【図３】
2017228913.tif 000005
【図４】
2017228913.tif 000006
【図５】
2017228913.tif 000007
【図６】
2017228913.tif 000008
【図７】
2017228913.tif 000009
【図８】
2017228913.tif 000010