(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを取得する撮像部と、
レンズを移動させて焦点位置を制御するレンズ制御部と、
上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出部と、
上記レンズ制御部に指示を出す撮影指示部と、
上記間隔変動検出部で検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出部と、
上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整部と、
を具備し、
上記撮影指示部は、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示することを特徴とする撮像装置。
【請求項２】
上記間隔変動検出部は、撮像装置の位置の変化を検出することで間隔変動を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記間隔変動検出部は、撮像される被写体の像倍率の変化を検出することで上記間隔変動を推定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記各目標焦点面における複数の画像データを使用して、焦点深度を拡大した画像データを合成する画像合成部をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記レンズ光軸方向への間隔変動を抑制するように撮像部を光軸方向に移動する撮像移動部をさらに具備し、
上記撮影指示部は、上記間隔変動検出部の検出結果に加えて上記撮像移動部の移動情報とから撮影指示を変更する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
被写体を撮像して画像データを取得する撮像部と、レンズを移動させて焦点位置を制御するレンズ制御部と、を有する撮像装置の制御方法において、
上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出ステップと、
上記レンズ制御部に指示を出す撮影指示ステップと、
上記間隔変動検出ステップで検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出ステップと、
上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整ステップと、
を有し、
上記撮影指示ステップは、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示することを特徴とする撮像装置の制御方法。
【請求項７】
被写体を撮像して画像データを取得する撮像部と、レンズを移動させて焦点位置を制御するレンズ制御部と、を有する撮像装置のコンピュータを実行させるためのプログラムであって、
上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出ステップと、
上記レンズ制御部に指示を出す撮影指示ステップと、
上記間隔変動検出ステップで検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出ステップと、
上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整ステップと、
を有し、
上記撮影指示ステップは、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示する、
ことをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカスレンズの焦点位置を変更しながら、複数の画像データを取得する撮像装置、撮像装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、複数の画像データを取得し、１枚の画像では表現できない画質を実現する機能を搭載したものがある。例えば、フォーカスレンズの焦点位置を変更して撮像した複数の画像データの特徴点を抽出し、複数の画像間で対応する画素の先鋭度の高い画素の重みを大きくするように加重平均して、画素毎の合成することにより、被写界深度を深くした画像（深度合成画像）を得る技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６７８６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術によれば、被写界深度の高い画像を合成することができるが、手持ち撮影の場合、特に被写体が近距離にある場合には、手ブレの影響を受け、カメラ側で予め設定した焦点位置からずれた位置で撮影が行われる。このため、合焦している部分が連続的でなくなり、深度合成画像が部分的にボケた不自然な画像となることがある。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、手ブレが有る場合でも、被写体に対する焦点位置を安定した変化幅に収めて撮影できるようにした撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係る撮像装置は、被写体を撮像して画像データを取得する撮像部と、レンズを移動させて焦点位置を制御するレンズ制御部と、上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出部と、上記レンズ制御部に指示を出す撮影指示部と、上記間隔変動検出部で検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出部と、上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整部と、を具備し、上記撮影指示部は、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示する。
【０００７】
第２の発明に係る撮像装置は、上記第１の発明において、上記間隔変動検出部は、撮像装置の位置の変化を検出することで間隔変動を検出する。
第３の発明に係る撮像装置は、上記第１の発明において、上記間隔変動検出部は、撮像される被写体の像倍率の変化を検出することで上記間隔変動を推定する。
【０００８】
第４の発明に係る撮像装置は、上記第１の発明において、上記各目標焦点面における複数の画像データを使用して、焦点深度を拡大した画像データを合成する画像合成部をさらに具備する。
【００１０】
第５の発明に係る撮像装置は、上記第１の発明において、上記レンズ光軸方向への間隔変動を抑制するように撮像部を光軸方向に移動する撮像移動部をさらに具備し、上記撮影指示部は、上記間隔変動検出部の検出結果に加えて上記撮像移動部の移動情報とから撮影指示を変更する。
【００１１】
第６の発明に係る撮像装置の制御方法は、被写体を撮像して画像データを取得する撮像部と、レンズを移動させて焦点位置を制御するレンズ制御部と、を有する撮像装置の制御方法において、上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出ステップと、上記レンズ制御部に指示を出す撮影指示ステップと、上記間隔変動検出ステップで検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出ステップと、上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整ステップと、を有し、上記撮影指示ステップは、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示する。
【００１２】
第７の発明に係るプログラムは、被写体を撮像して画像データを取得する撮像部と、レンズを移動させて焦点位置を制御するレンズ制御部と、を有する撮像装置のコンピュータを実行させるためのプログラムであって、上記被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出ステップと、上記レンズ制御部に指示を出す撮影指示ステップと、上記間隔変動検出ステップで検出した上記被写体と上記撮像部のレンズ光軸方向への間隔変動と、上記レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出ステップと、上記複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整ステップと、を有し、上記撮影指示ステップは、上記被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得し、上記被写体と上記撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、上記レンズ制御部にレンズの焦点位置の制御を指示する、ことをコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、手ブレが有る場合でも、被写体に対する焦点位置を安定した変化幅に収めて撮影できるようにした撮像装置、撮像装置の制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて、カメラと被写体の位置関係を示す図である。
【図３】本発明の一実施形態に係るカメラ１０において、カメラと被写体の位置関係が変化した場合の像倍率の変化を示す図である。
【図４】本発明の一実施形態に係るカメラにおいて、深度合成用に複数の撮影を行った場合（手ブレがない場合）のレンズ焦点位置、被写体位置、コントラストの関係を示すグラフである。
【図５】本発明の一実施形態に係るカメラにおいて、深度合成用に複数の撮影を行った場合（手ブレがある場合）のレンズ焦点位置、被写体位置、コントラストの関係を示すグラフである。
【図６】本発明の一実施形態に係るカメラにおいて、深度合成用に複数の撮影を行った場合（手ブレがある場合）のレンズ焦点位置、被写体位置、コントラストの関係を示すグラフである。
【図７】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図８】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図９】本発明の一実施形態に係るカメラの撮影の動作を示すフローチャートである。
【図１０】本発明の一実施形態に係るカメラの画像処理の動作を示すフローチャートである。
【図１１】本発明の一実施形態に係るカメラの撮影の動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１６】
また、このカメラは、深度合成モードが設定されている場合には、フォーカスレンズの焦点位置を順次移動させ、深度合成用に複数の画像を取得する。深度合成用に複数の画像を取得するにあたって、手ブレ等の影響で撮影レンズの光軸方向に移動した場合に、この移動を検出し、この検出結果に基づいて移動の影響を打ち消すように、撮影レンズのフォーカスレンズの焦点位置の制御を行う。
【００１７】
図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００１８】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。
【００１９】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。
【００２０】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。マイクロコンピュータ２０７とドライバ２０５等は、撮影レンズ内のフォーカスレンズを移動させて焦点位置を制御するレンズ制御部として機能する。
【００２１】
マイクロコンピュータ２０７は、フォーカスレンズの焦点位置を図示しないフォーカス位置検出部から取得し、またズームレンズのズーム位置を図示しないズーム位置検出から取得する。この取得した焦点位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。
【００２２】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２３】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２４】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体を撮像して画像データを取得する撮像部として機能する。また、撮像部は被写体を複数回撮像して複数の画像データを取得する。
【００２５】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。
【００２６】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。
【００２７】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、間隔変動検出部１１５、撮影指示部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。
【００２８】
画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂと、画像サイズ調整部１０９ｃを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、画像合成部１０９ｂ、および画像サイズ調整部１０９ｃを使用する。
【００２９】
基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタや深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。
【００３０】
画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカスレンズの焦点位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。この画像合成部１０９ｂは、各目標焦点面における複数の画像データを使用して、焦点深度を拡大した画像データを合成する画像合成部として機能する。
【００３１】
画像サイズ調整部１０９ｃは、複数の画像の画像サイズを調整する。この画像サイズ調整部１０９ｃは、画像合成部１０９ｂで深度合成を行う前に、合成精度を向上させるために、複数の画像の像倍率を同等に揃えるように、画像サイズを調整する。画像サイズの調整は、像倍率を算出し（図３、図１０のＳ１２３、Ｓ１２７参照）この算出された像倍率を画像に乗算し、画像サイズを同じにする。画像サイズ調整部１０９ｃは、間隔変動検出部で検出した被写体と撮像部のレンズ光軸方向への間隔変動と、レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出部として機能する。また、画像サイズ調整部１０９ｃは、複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整部として機能する（図１０のＳ１２９参照）。
【００３２】
なお、図示しないが、画像処理部１０９内には、画像圧縮部と画像伸張部が設けられている。画像圧縮部は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部おいて伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。
【００３３】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３４】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。
【００３５】
間隔変動検出部１１５は、被写体と撮影レンズ２０１の間において、レンズ光軸方向への間隔変動を検出する。具体的には、間隔変動検出部１１５は、加速度センサ等を有し、撮影レンズ２０１の光軸方向へのカメラ本体の移動量を検出する。なお、画像サイズ調整部１０９ｃによって検出される像倍率の変動から、間隔変動を推定するようにしてもよい。この場合には、画像サイズ調整部１０９ｃが間隔変動検出部１１５の機能を兼用する。
【００３６】
この間隔変動検出部１１５は、被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出部として機能する。また、間隔変動検出部は、撮像装置の位置の変化を検出することで間隔変動を検出する（例えば、加速度センサによる加速度変化を積分することによって位置変化検出や、ＧＰＳによる位置変化等）（詳しくは、図２参照）。また、間隔変動検出部は、撮像される被写体の像倍率の変化を検出することで間隔変動を推定する（詳しくは、図３参照）。
【００３７】
撮影指示部１１７は、間隔変動検出部１１５における検出結果を受け、手ブレや被写体の動きによる間隔変動を抑制するように、レンズ制御部に対して焦点位置を指示し、撮像部に対して、撮像を指示する。撮影指示部１１７は、撮像部とレンズ制御部に撮影指示を出す撮影指示部として機能する。この撮影指示部は、間隔変動検出部の検出結果に応じて、撮影指示を変更する。また、撮影指示部は、被写体と撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、レンズ制御部にレンズの焦点位置の制御を指示する（図４〜図６、図９のＳ１０９等参照）。また、撮影指示部は、被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得する（図９のＳ１０１、Ｓ１１５等参照）。
【００３８】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３９】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００４０】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４１】
動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。
【００４２】
メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。
【００４３】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。
【００４４】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。
【００４５】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。
【００４６】
表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。
【００４７】
表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。
【００４８】
次に、図２および図３を用いて、本実施形態におけるカメラにおいて、深度合成用に複数の画像を撮影する際に、カメラと被写体の間の間隔距離の変化が及ぼす影響について説明する。
【００４９】
図２は、カメラ１０が被写体２０を撮影している様子を示している。図２（ａ）は手ブレのない状態を示す。この図２（ａ）において、撮像面Ｕにカメラ１０が配置され、被写体に対する目標焦点面Ｖに被写体２０が位置している。目標焦点面Ｖは、カメラ１０の撮影レンズ２０１のレンズ焦点位置Ｆにあることから、この状態でカメラ１０が被写体２０を撮影すると、ピントの合った画像を撮影することができる。
【００５０】
図２（ａ）の状態において、手ブレが生じ、図２（ｂ）に示すように、カメラ１０が手ブレ量ｄだけ光軸Ｏの方向に移動したとする。このとき、カメラ１０は撮像面Ｕ’（光軸方向の手ブレによりズレた撮像面Ｕ’）に移動する。カメラ１０のレンズ焦点位置Ｆが変わらないとすると、目標焦点面Ｖ’にピントが合う状態となり、目標焦点面Ｖにある被写体２０はボケた画像となる。
【００５１】
そこで、本実施形態においては、図２（ｃ）に示すように、カメラ１０の目標焦点面を、手ブレ量ｄだけ補正したレンズ焦点位置Ｆ’に変更する。すなわち、カメラ１０の光軸Ｏの方向の手ブレ量ｄを検出し、目標焦点面を手ブレ量ｄで補正する。このため、光軸Ｏの方向に手ブレがあっても、ピントの合った画像を得ることができる。
【００５２】
図３は、カメラ１０が手ブレによって光軸方向に移動した場合の像倍率の変化を示す。図３（ａ）において、カメラ１０は撮像面Ｕに配置されており、被写体２０は目標焦点面Ｖにある。この場合、カメラ１０から目標焦点面Ｖまでの距離はｘであり、このときカメラ１０は、図３（ｂ）に示される大きさＸで被写体を撮像することができる。
【００５３】
図３（ｂ）のように撮像される状態から、カメラ１０が手ブレ量ｄにより光軸方向に移動したとする。この移動は相対的な変化であることから、図３（ａ）においては、焦点面Ｖが焦点面Ｖ’に移動したとして描いてある。この場合には、カメラ１０と被写体２０の間は、近づくことから被写体２０は、カメラ１０から焦点面Ｖ’までの距離はｘ−ｄとなり、また、図３（ｃ）に示されるように、大きさがＸ’に拡大された画像が撮像される。なお、光軸Ｏを中心に角度＋θ、−θの範囲内が撮像される被写体の大きさが同じになる範囲である。
【００５４】
今、焦点面Ｖにある被写体２０の大きさをＸ、焦点面Ｖ’にある場合の大きさをＸ’とすると、大きさＸ’は下記式（１）により算出することができる。なお、下記式（１）中の＊は乗算を意味する。
Ｘ’＝Ｘ＊ｘ／（ｘ−ｄ）  ・・・（１）
【００５５】
上述の式（１）から、被写体の像倍率の変化をＸとＸ’を用いることで、下記式（２）より、光軸方向のズレ量ｄを算出することができる。
ｄ＝（Ｘ’−Ｘ）・ｘ／Ｘ’  ・・・（２）
【００５６】
なお、撮影レンズ２０１のレンズ特性によっては、焦点位置によりレンズの像倍率が変動することがある。この場合は、レンズの像倍率変動も考慮してズレ量を算出する必要がある。また、厳密には、撮像素子１０３のサイズ等も影響してくる。ここでの説明は、分かり易いように基本的な考え方に留めている。
【００５７】
このように、図２に示した例は、撮影レンズ２０１の光軸方向のズレ量ｄが分かる場合であり、この場合には、撮影レンズ２０１の目標焦点面をズレ量ｄで補正すればよい。また図３に示した例は、画像の大きさの変化に基づく像倍率変動から光軸方向のズレ量ｄを算出している。ズレ量ｄが分かれば、このズレ量ｄを用いて目標焦点面の位置を補正することができる。
【００５８】
次に、図４ないし図６を用いて、本実施形態に係るカメラにおいて、深度合成用に複数の画像データを得るための撮影について説明する。
【００５９】
図４（ａ）〜（ｃ）は、深度合成用に複数の画像データを得るために撮影を繰り返し行っている間、撮影レンズの光軸方向（Ｚ軸方向）に手ブレがない場合の様子を示す。図４（ａ）は、横軸に時間、縦軸にレンズの焦点位置を示し、図４（ｂ）は、横軸に時間、縦軸に被写体位置を示す。図４（ａ）（ｂ）の例では、時刻ｔ１、ｔ２、ｔ３、ｔ４において、撮影レンズの焦点位置はリニアに変化し、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の各点にあり、また被写体位置もリニアに変化し、被写体距離Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４にある。この状態で、時刻ｔ１、ｔ２、ｔ３、ｔ４の各タイミングにおいて、撮影を行う。すなわち、撮影指示部１１７が、レンズ焦点位置を目標の位置（Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４）にずらしながら撮影を行う。
【００６０】
図４（ｃ）は、縦軸に被写体位置を、また横軸に画像のコントラストを示している。図４に示す例では、手ブレなどの外乱要因がないので、被写体に対する焦点面位置は目標通りに撮影される。各被写体距離Ｌ１１、Ｌ１２、Ｌ１３、Ｌ１４において撮影した各画像のコントラストは、図４（ｃ）から分かるように、互いに重複しており、いずれの被写体位置においても閾値Ｔｈも高くなり、被写体位置に対して、コントラストが必要以上（閾値Ｔｈ）得られる部分が連続する。このような４枚の画像を用いて、深度合成を行うと、手前から奥までピントの合った画像を生成することができる。
【００６１】
図５（ａ）〜（ｄ）は、深度合成用に複数の画像データを得るために撮影を繰り返し行っている間、撮影レンズの光軸方向（Ｚ軸方向）に手ブレが有る場合の様子を示す。
【００６２】
図５（ａ）も、横軸に時間、縦軸にレンズの焦点位置を示し、図５（ｂ）も、横軸に時間、縦軸に被写体位置を示す。図５（ａ）の例では、図４（ａ）の場合と同様に、時刻ｔ１、ｔ２、ｔ３、ｔ４において、撮影レンズの焦点位置はリニアに変化し、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４の各点にある。しかし、カメラの位置が光軸方向で移動してしまうことから、図５（ｂ）に示すように、各時刻においてカメラ１０からの被写体位置はリニアに変化せず、被写体距離Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４となる。このときの光軸方向の手ブレ量を図５（ｄ）に示す。図５（ｂ）に示す例では、このときの手ブレ量分だけ、被写体位置が目標位置からずれてしまう。
【００６３】
この状態で、時刻ｔ１、ｔ２、ｔ３、ｔ４の各タイミングにおいて、撮影を行うと、レンズの焦点位置を目標通りに制御しても、被写体に対する焦点面の位置はずれることになる。図５（ｃ）は、図４（ｃ）と同様に、縦軸に被写体位置を、また横軸に画像のコントラストを示している。各被写体距離Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４において撮影した各画像のコントラストは、図５（ｃ）から分かるように、互いに重複しているが、一部の領域（図中のＡの領域）では、コントラストが閾値Ｔｈも低くなる。このため、この４枚の画像を用いて、深度合成を行うと、Ａの領域の被写体距離においてピントが合っておらず、深度合成の画質が劣化してしまう。
【００６４】
そこで、本実施形態においては、光軸方向の手ブレを間隔変動検出部１１５の加速度センサ等のセンサで検出し、この手ブレをキャンセルするようにレンズ焦点位置の制御を行うようにする。すなわち、手ブレ情報をレンズ焦点位置制御に反映させる。
【００６５】
図６（ａ）も横軸を時間、縦軸をレンズ焦点位置とし、図６（ｂ）も横軸を時間、縦軸を被写体位置とし、図６（ｄ）に光軸方向の手ブレ量の変化を示す。図６に示す例では、間隔変動検出部１１５によって検出された手ブレ量（図６（ｄ）参照）に応じて、目標焦点面と一致するようにレンズ焦点位置を補正し、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４とする。この補正した位置Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４をレンズ焦点位置とすることにより、図６（ｂ）に示すように、被写体位置はＰ１１、Ｐ１２、Ｐ１３、Ｐ１４となり、カメラと被写体の間の距離は、目標通りとなる。この結果、図６（ｃ）から分かるように、いずれの被写体位置においてもコントラストは閾値Ｔｈよりも高くなり、各被写体位置でコントラストが必要以上（閾値Ｔｈ）得られる部分が連続する。このような４枚の画像を用いて、深度合成を行うと、手前から奥までピントの合った画像を生成することができる。
【００６６】
次に、図７および図８に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図７、図８、および後述する図９乃至図１１に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。
【００６７】
操作部１２３の内の電源釦が操作され、電源オンとなると、図７に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。
【００６８】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。
【００６９】
ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。
【００７０】
ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定可能である。また、マクロモードが設定可能である。ここで、マクロモードは近距離の被写体を撮影するに適した撮影モードである。
【００７１】
ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。
【００７２】
ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。
【００７３】
ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。
【００７４】
ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。
【００７５】
一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。
【００７６】
ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。
【００７７】
ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００７８】
ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００７９】
また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のフォーカス位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行い、合焦位置に移動させる。その後、ステップＳ３７へ進む。
【００８０】
ステップＳ３３における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００８１】
ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。
【００８２】
また、深度合成モードが設定されている場合には、Ｎ枚の目標焦点面を設定し、この目標点に向けて撮影レンズ２０１のフォーカスレンズを移動させる。このとき、間隔変動検出部１１５（具体的には、加速度センサ）が、光軸Ｏ方向のズレ量を検出し、このズレ量に基づいて、目標焦点面の位置を補正し、この補正された目標焦点面に達すると撮影を行い、画像データを取得する。Ｎ枚の画像データを取得するとステップＳ４３における撮影を終了する。この撮影の詳しい動作については、図９を用いて後述する。
【００８３】
ステップＳ４３においては、撮影を行うと画像処理を行う（Ｓ４５）。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、深度合成モードが設定されている場合には、ステップＳ４３において、取得した複数の画像データを用いて深度合成を行う。この画像処理の詳しい動作については、図１０を用いて後述する。
【００８４】
画像処理を行うと、次に静止画記録を行う（Ｓ４７）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定可能）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。
【００８５】
ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。
【００８６】
ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。
【００８７】
電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。
【００８８】
基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。
【００８９】
ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。
【００９０】
ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。
【００９１】
このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能であり（Ｓ９）、深度合成モードが設定された場合には、ステップＳ４３において、光軸Ｏ方向のズレ量を検出し、このズレ量に基づいて、目標焦点面の位置を補正し、この補正された目標焦点面に達すると撮影を行い、深度合成用に画像データを取得する。
【００９２】
次に、図９に示すフローチャートを用いて、ステップＳ４３の撮影の詳しい動作について説明する。撮影のフローに入ると、まず、Ｎ枚の目標焦点面を設定する（Ｓ１０１）。ここでは、撮影指示部１１７が、深度合成を行うに適した目標焦点面を設定する。すなわち、交換式レンズ２００の焦点距離、絞り２０３の絞り値、近接撮影か否か等に基づいて、深度合成を行うに過不足のない目標焦点面を複数個所、設定し、また移動の順番も設定する。この設定されたフォーカス位置に基づいて、レンズ制御部（マイクロコンピュータ２０７、ドライバ２０５等）がフォーカスレンズの位置を制御し、また撮像部（撮像素子１０３等）によって撮影を行う。
【００９３】
ステップＳ１０１においてＮ枚の目標焦点面を設定すると、次に、ｎ＝１とする（Ｓ１０３）。このｎは、撮影した回数をカウントするための変数であり、後述するステップＳ１１５における判定に使用され、またステップＳ１１７においてカウントアップされる。
【００９４】
ステップＳ１０３においてｎを１とすると、次に、ｎ番目の目標焦点面を設定する（Ｓ１０５）。ここでは、ステップＳ１０１において設定された目標焦点面の内のｎ番目の目標焦点面を設定する。
【００９５】
ステップＳ１０５においてｎ番目の目標焦点面を設定すると、次に、加速度センサから光軸方向のブレを検出する（Ｓ１０７）。ここでは、間隔変動検出部１１５内の加速度センサの出力に基づいて、撮影レンズ２０１の光軸方向のズレ量を検出する。なお、光軸方向のズレ量の検出にあたっては、加速度センサに限らず、ジャイロ等、他のセンサでもよく、また、図３を用いて説明したように、画像データから像倍率の変化を検出し、式（２）を用いてズレ量ｄを算出することによって求めてもよい。
【００９６】
ステップＳ１０７において光軸方向のブレを検出すると、次に、ブレによる焦点面のズレを補正しながらｎ番目の目標焦点面になるようレンズ焦点位置を制御する（Ｓ１０９）。ここでは、ステップＳ１０５において設定したｎ番目の目標焦点面を、ステップＳ１０７において検出したズレ量によって補正しながら、撮影レンズ２０１内のフォーカスレンズの駆動制御を行う。すなわち、被写体と撮像部の間隔変動が発生する被写体に対する目標焦点面からのズレを補正するように、レンズ制御部にレンズの焦点位置の制御を指示している
【００９７】
ステップＳ１０９においてレンズ焦点位置の制御を行うと、次に、撮影を行う（Ｓ１１３）。ここでは、ステップＳ１０９において補正された目標焦点面に対応するレンズ焦点位置に達すると、ステップＳ３５で算出された露出制御値で、撮影を行い、撮像素子１０３から画像データを取得する。ここでの撮影にあたって、露光時間はメカシャッタ１０１によって制御するが、撮像素子１０３の電子シャッタによって制御するようにしてもよい。撮影で取得した画像データは、ＳＤＲＡＭ１２７等に一時記憶する。また、撮影時のブレ情報（ズレ量等）と、レンズ焦点位置を、画像データに関連付けてＳＤＲＡＭ１２７等に一時記憶する。
【００９８】
ステップＳ１１３において撮影を行うと、次に、変数ｎがＮと等しいか否かを判定する（Ｓ１１５）。ここでは、ステップＳ１０１において設定したＮ枚の画像を撮影したか否かを判定する。
【００９９】
ステップＳ１１５における判定の結果、ｎ＝Ｎでなければ、ｎ＝ｎ＋１、すなわち変数ｎに１を加算する（Ｓ１１７）。ステップＳ１１７において変数ｎのカウントアップを行うと、ステップＳ１０５に進み、Ｎ枚の撮影を行うまで、撮影を繰り返す。
【０１００】
ステップＳ１１５における判定の結果、ｎ＝Ｎであれば、撮影のフローを終了し、元のフローに戻る。
【０１０１】
このように、本実施形態における撮影のフローにおいて、複数の目標焦点面に向けてフォーカスレンズを駆動する際に、間隔変動検出部１１５からの光軸方向のズレ量に基づいて、目標焦点面のズレを補正しながらレンズ焦点位置の制御を行う（Ｓ１０９参照）。このため、深度合成用に複数枚の撮影を行う際に、手ブレ等によって、カメラと被写体との間の距離が変動したとしても、当初、予定していた通りに目標焦点面で被写体を撮影することができる。
【０１０２】
次に、図１０に示すフローチャートを用いて、ステップＳ４５の画像処理の詳しい動作について説明する。なお、図１０に示す画像処理のフローでは、深度合成用の処理を中心に説明する。画像処理のフローに入ると、まず、合成枚数をＮ枚に設定する（Ｓ１２１）。ここでは、ＳＤＲＡＭ１２７に記憶されている撮影枚数Ｎに基づいて設定する。
【０１０３】
ステップＳ１２１において合成枚数を設定すると、次に、１番目の撮影時のブレ情報とレンズ焦点位置から１番目の像倍率を算出する（Ｓ１２３）。ステップＳ１１３における撮影の際に、画像データと共にブレ情報やレンズ焦点位置の情報が一緒に記録されていることから、これらの情報を用いて１番目の像倍率を算出する。像倍率を算出するのは、深度合成用の画像は、撮影時の目標焦点面が異なっていることから、それぞれの画像の像倍率が異なっており、このため、被写体の大きさが異なっている。被写体の大きさが異なったままで、深度合成すると、画質が劣化することから、像倍率を用いて被写体の大きさを揃えてから、深度合成を行うようにしている。また、像倍率の算出にあたって、レンズ焦点位置の情報を加味するのは、レンズ焦点位置によって像倍率が変動するレンズがあるためである。
【０１０４】
ステップＳ１２３において１番目の像倍率を算出すると、次に、変数ｎ＝２とする（Ｓ１２５）。
【０１０５】
ステップＳ１２５においてｎ＝２とすると、次に、ｎ番目の撮影時のブレ情報とレンズ焦点位置からｎ番目の像倍率を算出する（Ｓ１２７）。ステップＳ１１３における撮影の際に、画像データと共にブレ情報やレンズ焦点位置の情報が一緒に記録されていることから、これらの情報を用いてｎ番目の像倍率を算出する。
【０１０６】
ステップＳ１２７において像倍率を算出すると、次に、ｎ番目の像倍率が１番目の像倍率に等しくなるように、ｎ番目の撮影画像をサイズ調整する（Ｓ１２９）。ここでは、画像サイズ調整部１０９ｃが、ステップＳ１２７において算出された像倍率を用いて、画像のサイズを１番目の画像の大きさに揃える。
【０１０７】
ステップＳ１２９において画像のサイズ調整を行うと、次に、ｎ−１番目までの合成画像とｎ番目の撮影画像を合成し、ｎ番目までの合成画像を生成する（Ｓ１３１）。ここでは、画像合成部１０９ｂが、ｎ−１番目までの合成画像とｎ番目の画像の位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、被写界深度の画像を生成する。
【０１０８】
ステップＳ１３１において合成画像を生成すると、次に、ｎ＝Ｎか否かの判定を行う（Ｓ１３３）。ここでは、ステップＳ１２１において設定したＮ枚の画像の全てを用いて、深度合成を行ったか否かを判定する。
【０１０９】
ステップＳ１３３における判定の結果、ｎ＝Ｎでなければ、ｎ＝ｎ＋１、すなわち変数ｎに１を加算する（Ｓ１３５）。ステップＳ１３５において変数ｎのカウントアップを行うと、ステップＳ１２７に進み、Ｎ枚の合成が終了するまで、画像合成を繰り返す。
【０１１０】
ステップＳ１３３における判定の結果、ｎ＝Ｎであれば、画像処理のフローを終了し、元のフローに戻る。
【０１１１】
このように、本実施形態における画像処理のフローにおいて、各画像において像倍率を算出し（Ｓ１２３、Ｓ１２７）、この像倍率を用いて、画像のサイズが揃うように画像のサイズ調整を行っている（Ｓ１２９）。深度合成にあたっては、画像のサイズが揃っているので、高画質の深度合成画像を生成することができる。
【０１１２】
以上、説明したように、本発明の一実施形態においては、撮影時に光軸方向の手ブレの影響を補正して目標焦点面に対応したレンズ焦点位置に撮影レンズ２０１の駆動制御している（図９のＳ１０９）。このため、ブレが有る場合でも、被写体に対する焦点位置を安定した変化幅に収めて撮影できる。
【０１１３】
次に、図１１を用いて、ステップＳ４３の撮影の動作の変形例について説明する。本発明の一実施形態においては、撮像素子１０３は光軸方向への駆動部を有していないが、本変形例においては、撮像素子１０３を光軸方向に駆動する撮像移動部を有している。このため、深度合成用に複数の画像を撮影する際に検出した光軸方向のズレ量を打ち消すように、撮像素子１０３を光軸方向に移動すれば、目標焦点面で撮影することができる。但し、この場合でも完全にズレ量を補正しきれない場合がある。そこで、本変形例においては、残存するズレ量を算出し、目標焦点面になるようにレンズ焦点位置を制御するようにしている。
【０１１４】
本変形例の構成は、図１に示したブロック図に撮像素子１０３を光軸方向に駆動する撮像移動部を設け、マイクロコンピュータ１２１は撮像移動部の駆動制御を行う。この撮像移動部は、レンズ光軸方向への間隔変動を抑制するように撮像部を光軸方向に移動させる。また、撮影指示部１１７は、間隔変動検出部１１５の検出結果に加えて撮像移動部の移動情報とから撮影指示を変更する。これ以外の構成は、図１のブロック図と同様であるので、図面は省略する。
【０１１５】
本変形例における撮影のフローは、図９の撮影のフローにおいて、ステップＳ１０９を、ステップＳ１０８〜Ｓ１１２に置き換える点以外は同様であるので、この相違点を中心に説明する。
【０１１６】
撮影のフローに入り、ステップＳ１０７において光軸方向のブレを検出すると、次に、ブレ補正装置を作動する（Ｓ１０８）。ここでは、撮像移動部が、光軸方向のブレ量を打ち消すように、撮像素子１０３をブレ方向と反対方向に移動させる。
【０１１７】
ブレ補正装置を作動させると、次に、検出したブレ量とブレ補正装置で補正できたブレ量から残存するブレ量を算出する（Ｓ１１０）。ブレ補正装置は、機械的に撮像素子１０３をレンズの光軸方向に移動させ、このとき完全にブレ補正ができない場合がある。このときの残存するブレ量を算出する。
【０１１８】
ステップＳ１１０において残存するブレを算出すると、次に、残存するブレによる焦点面のズレを補正しながらｎ番目の目標焦点面になるようレンズ焦点位置を制御する（Ｓ１１２）。
【０１１９】
ステップＳ１１２において、レンズ焦点位置を制御すると、次に、撮影を行う（Ｓ１１３）。以下の動作は、図９に示した撮影のフローと同様であることから、詳しい説明は省略する。
【０１２０】
このように、本変形例においては、光軸方向のブレを検出すると、このブレ量に基づいて撮像素子１０１の光軸方向の位置を制御し（Ｓ１０８）、残存ブレ量に基づいて目標焦点面になるようにレンズ焦点位置の制御を行う（Ｓ１１０、Ｓ１１２）ことよって、残存ブレを除去している。このため、高画質の深度合成画像を得ることができる。
【０１２１】
以上説明したように、本発明の一実施形態や変形例においては、被写体を撮像して画像データを取得する撮像部（例えば、撮像素子１０３等）と、レンズを移動させて焦点位置を制御するレンズ制御部（例えば、ドライバ２０５、マイクロコンピュータ２０７等）と、被写体と撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出部（例えば、間隔変動検出部１１５）と、撮像部とレンズ制御部に撮影指示を出す撮影指示部（例えば、撮影指示部１１７）を有し、撮影指示部は、間隔変動検出部の検出結果に応じて、撮影指示を変更している（例えば、図９のＳ１０９等）。このため、手ブレが有る場合でも、被写体に対する焦点位置を安定した変化幅に収めて撮影できる。すなわち、被写体と撮像部の間の距離が変動したとしても、この間隔を検出し、レンズの焦点位置を変更していることから、手ブレがある場合でもピントの合った画像を取得することができる。
【０１２２】
また、本発明の一実施形態や変形例においては、間隔変動検出部（例えば、図１の間隔変動部１１５等）は、撮像装置の位置の変化を検出することで間隔変動を検出している。手ブレ補正用に設けられているジャイロや加速度センサ等の出力の内の光軸方向のセンサ出力を利用することで、撮像装置の位置の変化を検出することが可能となる。
【０１２３】
また、本発明の一実施形態や変形例においては、間隔変動検出部は、撮像される被写体の像倍率の変化を検出することで間隔変動を推定している（例えば、図３、図１の間隔変動部１１５等）。このため、画像データを用いて間隔変動を推定するので、ジャイロや加速度センサ等のセンサを設ける必要がない。
【０１２４】
また、本発明の一実施形態や変形例においては、撮影指示部は、被写体と撮像部の間隔変動で発生する被写体に対する目標焦点面からのズレを補正するように、レンズ制御部にレンズの焦点位置の制御を指示している（例えば、図５、図９のＳ１０９）。このため、撮像部と被写体の間の不用意な間隔変動の影響をキャンセルしながら、被写体に対して狙いの焦点面で撮影するように制御できる。
【０１２５】
また、本発明の一実施形態や変形例においては、撮影指示部は、被写体に対する目標焦点を予め複数個設定し、各目標焦点面になるようにレンズの焦点位置の制御を指示することで、複数の画像データを取得している（例えば、図９のＳ１０１、Ｓ１１３、Ｓ１１５等）。このため、深度拡大用に目標焦点面を変えながら、複数の画像データを取得することができる。
【０１２６】
また、本発明の一実施形態や変形例においては、各目標焦点面における複数の画像データを使用して、焦点深度を拡大した画像データを合成する画像合成部（例えば、図１の画像合成部１０９ｂ等）を有している。このため、深度拡大用の深度合成画像を生成することができる。
【０１２７】
また、本発明の一実施形態や変形例においては、間隔変動検出部で検出した被写体と撮像部のレンズ光軸方向への間隔変動と、レンズ制御部が制御したレンズの焦点位置から、撮像される被写体の像倍率を算出する像倍率算出部（例えば、図１の画像サイズ調整部１０９ｃ）と、複数の画像データにおける被写体の像倍率がそれぞれ同等となるように画像サイズを調整する画像サイズ調整部（例えば、図１の画像サイズ調整部１０９ｃ、図１０のＳ１２９等参照）を有している。このため、撮影画像の像倍率変動を補正することができるので、高画質の深度合成を生成することができる。
【０１２８】
また、本発明の変形例においては、レンズ光軸方向への間隔変動を抑制するように撮像部を光軸方向に移動する撮像移動部を有し、撮影指示部は、間隔変動検出部の検出結果に加えて上記撮像移動部の移動情報とから撮影指示を変更している（図１１のＳ１１０、Ｓ１１２等参照）。手ブレ補正装置を別途設けている場合であっても、その補正情報を加味してレンズの焦点位置制御を行っていることから、精度の高い焦点位置制御を行うことができる。
【０１２９】
また、本発明の一実施形態や変形例においては、被写体と上記撮像部のレンズ光軸方向への間隔変動を検出する間隔変動検出ステップ（例えば、図９のＳ１０７等参照）と、撮像部とレンズ制御部に撮影指示を出す撮影指示ステップ（図９のＳ１１３）を有し、撮影指示ステップは、間隔変動検出ステップの検出結果に応じて、撮影指示を変更している（Ｓ１０９）。
【０１３０】
なお、本発明の一実施形態や変形例においては、カメラに手ブレが発生し、このためカメラと被写体の間の間隔変動が発生した場合について説明したが、これに限らず、被写体の移動し、このためカメラと被写体の間の間隔変動が発生する場合にも適用できる。
【０１３１】
また、本発明の一実施形態や変形例においては、間隔変動検出部１１５、撮影指示部１１７、画像処理部１０９、ＡＥ処理部１１１、ＡＦ処理部１１３等を、マイクロコンピュータ１２１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１２１によって実行するようにしても勿論かまわない。
【０１３２】
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮影開始指示に応じて焦点位置を変えて複数の画像データを取得する機器であれば適用できる。
【０１３３】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１３４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１３５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３６】
１０・・・カメラ、２０・・・被写体、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、画像サイズ調整部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・間隔変動検出部、１１７・・・撮影指示部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ
【図１】
0006296914.tif 000002
【図２】
0006296914.tif 000003
【図３】
0006296914.tif 000004
【図４】
0006296914.tif 000005
【図５】
0006296914.tif 000006
【図６】
0006296914.tif 000007
【図７】
0006296914.tif 000008
【図８】
0006296914.tif 000009
【図９】
0006296914.tif 000010
【図１０】
0006296914.tif 000011
【図１１】
0006296914.tif 000012