(57)【要約】【課題】カメラ本体側で焦点位置の制御を行うことができないレンズが装着された場合や、マニュアルフォーカスの場合でも、焦点位置の異なる複数の画像を撮影し、深度合成画像を生成可能な撮像装置、撮像装置の露光制御方法を提供する。【解決手段】撮像部と撮影レンズのピント合わせを行うフォーカスリングを有しており、フォーカスリングの操作中に、露光のタイミングを判定する露光間隔制御ステップ（Ｓ１１３）と、露光間隔制御ステップにおいて、露光のタイミングと判定されると、撮像部によって被写体像を撮像して画像データを取得する画像取得ステップ（Ｓ１１５）を有しており、所定枚数に達するまで、露光間隔制御ステップと画像取得ステップを繰り返す（Ｓ１１７）。【選択図】  図４
2015231192.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像データを取得する撮像部と、
撮影レンズのピント合わせを行うためのフォーカスリングと、
上記フォーカスリングの操作中に、露光間隔を制御し、上記撮像部によって複数の画像データを取得させる制御部と、
上記制御部による露光間隔の制御時に取得した上記複数の画像データを用いて合成画像データを生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項２】
上記制御部は、上記フォーカスリングの移動中は、上記露光間隔を一定の時間間隔に制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記制御部は、上記フォーカスリングの移動中は、上記画像データのコントラストに基づいて、上記露光間隔を制御することを特徴とする請求項１に記載の撮像装置。
【請求項４】
さらに、露光中は、フォーカスの移動に合わせて撮像部の撮像素子を上記撮影レンズの光軸方向に移動させる撮像移動部を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
さらに、上記撮影レンズのフォーカス位置を取得するレンズ情報取得部を有し、
上記制御部は、上記フォーカス位置に基づいて、上記複数の画像データの取得枚数を制御することを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記制御部は、上記露光間隔を一定の時間間隔に設定する第１設定と、上記露光間隔を上記画像データのコントラストに基づいて設定する第２設定を、選択的に設定可能であることを特徴とする請求項１に記載の撮像装置。
【請求項７】
上記制御部は、上記フォーカスリングの移動を、上記画像データの変化に基づいて検出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
上記画像合成部は、単写に比べ被写体の深度を変更する合成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項９】
被写体像を撮像して画像データを取得する撮像部と、
撮影レンズのピント合わせを手動で行うための手動操作部と、
上記手動操作部の手動操作中に、露光間隔を制御し、上記撮像部によって複数の画像データを取得させる制御部と、
を有することを特徴とする撮像装置。
【請求項１０】
撮像部と、撮影レンズのピント合わせを手動で行うためのフォーカスリングを有する撮像装置の露光制御方法において、
上記フォーカスリングの操作中に、露光のタイミングを判定する露光間隔制御ステップと、
上記露光間隔制御ステップにおいて、露光のタイミングと判定されると、上記撮像部によって被写体像を撮像して画像データを取得する画像取得ステップと、
を有し、
所定枚数に達するまで、上記露光間隔制御ステップと上記画像取得ステップを繰り返すことを特徴とする撮像装置の露光制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス位置を変更しながら、複数の画像データを取得する撮像装置、撮像装置の露光制御方法に関する。
【背景技術】
【０００２】
最近のデジタルカメラ等の撮像装置においては、複数の画像を撮影し、１枚の画像では表現できない画質を実現する機能が搭載されたものがある。例えば、特許文献１には、予め定められた移動量でフォーカス位置を移動して撮影した複数の画像を用い、被写体の位置合わせを行って画像を合成することにより、全焦点画像やボケをコントロールした画像（深度合成画像ともいう）を作成することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に開示のカメラにおいては、予め定められた移動量でフォーカス位置を移動させているが、カメラ本体側でフォーカス位置の制御を行うことのできないレンズが装着された場合、またはマニュアルフォーカス（ＭＦともいう）で撮影した場合には、深度合成画像を生成することができない。また、深度幅を決めることができない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、カメラ本体側で焦点位置の制御を行うことができないレンズが装着された場合や、マニュアルフォーカスの場合でも、焦点位置の異なる複数の画像を撮影し、深度合成画像を生成可能な撮像装置、撮像装置の露光制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係る撮像装置は、被写体像を撮像して画像データを取得する撮像部と、撮影レンズのピント合わせを行うためのフォーカスリングと、上記フォーカスリングの操作中に、露光間隔を制御し、上記撮像部によって複数の画像データを取得させる制御部と、上記制御部による露光間隔の制御時に取得した上記複数の画像データを用いて合成画像データを生成する画像合成部と、を有する。
【０００７】
第２の発明に係る撮像装置は、上記第１の発明において、上記制御部は、上記フォーカスリングの移動中は、上記露光間隔を一定の時間間隔に制御する。
第３の発明に係る撮像装置は、上記第１の発明において、上記制御部は、上記フォーカスリングの移動中は、上記画像データのコントラストに基づいて、上記露光間隔を制御する。
【０００８】
第４の発明に係る撮像装置は、上記第１の発明において、さらに、露光中は、フォーカスの移動に合わせて撮像部の撮像素子を上記撮影レンズの光軸方向に移動させる撮像移動部を有する。
第５の発明に係る撮像装置は、上記第１の発明において、さらに、上記撮影レンズのフォーカス位置を取得するレンズ情報取得部を有し、上記制御部は、上記フォーカス位置に基づいて、上記複数の画像データの取得枚数を制御する。
【０００９】
第６の発明に係る撮像装置は、上記第１の発明において、上記制御部は、上記露光間隔を一定の時間間隔に設定する第１設定と、上記露光間隔を上記画像データのコントラストに基づいて設定する第２設定を、選択的に設定可能である。
第７の発明に係る撮像装置は、上記第１の発明において、上記制御部は、上記フォーカスリングの移動を、上記画像データの変化に基づいて検出する。
第８の発明に係る撮像装置は、上記第１の発明において、上記画像合成部は、単写に比べ被写体の深度を変更する合成を行う。
【００１０】
第９の発明に係る撮像装置は、被写体像を撮像して画像データを取得する撮像部と、撮影レンズのピント合わせを手動で行うための手動操作部と、上記手動操作部の手動操作中に、露光間隔を制御し、上記撮像部によって複数の画像データを取得させる制御部と、を有する。
【００１１】
第１０の発明に係る撮像装置の露光制御方法は、撮像部と、撮影レンズのピント合わせを手動で行うためのフォーカスリングを有する撮像装置の露光制御方法において、上記フォーカスリングの操作中に、露光のタイミングを判定する露光間隔制御ステップと、上記露光間隔制御ステップにおいて、露光のタイミングと判定されると、上記撮像部によって被写体像を撮像して画像データを取得する画像取得ステップと、を有し、所定枚数に達するまで、上記露光間隔制御ステップと上記画像取得ステップを繰り返す。
【発明の効果】
【００１２】
本発明によれば、カメラ本体側で焦点位置の制御を行うことができないレンズが装着された場合や、マニュアルフォーカスの場合でも、焦点位置の異なる複数の画像を撮影し、深度合成画像を生成可能な撮像装置、撮像装置の露光制御方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図３】本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。
【図４】本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図６】本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図８】本発明の一実施形態に係るカメラにおいて、撮影時の様子を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。ユーザはライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１５】
また、このカメラは、深度合成モードが設定されている場合には、レリーズ操作時に、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得する。フォーカス位置を順次移動させて撮影を行うにあたっては、ユーザが撮影レンズのフォーカスリングを移動させている間、露光間隔を一定時間間隔にして撮影を行う方式（露光時間間隔一定方式）（図４、図５参照）と、画像データのコントラストに基づいて露光間隔を決めて撮影を行う方式（露光時間間隔コントラスト方式）（図６、図７参照）の２種類を用意しておき、ユーザが適宜選択する。
【００１６】
図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００１７】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。なお、この交換式レンズ２００は、カメラ本体１００から制御できるタイプである。カメラ本体１００から制御できないタイプでは、後述するドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９等を有していないか、または、これらを有していても、カメラ本体１００から、撮影レンズ２０１のフォーカス位置を制御することができないタイプである。
【００１８】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。
【００１９】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２０】
マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置を図示しないフォーカス位置検出部から取得し、またズームレンズのズーム位置を図示しないズーム位置検出から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。
【００２１】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性（例えば、フォーカス位置毎の撮影倍率情報）や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２２】
なお、図１には示されていないが、交換式レンズ２００の鏡筒の外周には、回転自在のフォーカスリング２１１が設けられている（図８参照）。ユーザがフォーカスリング２１１を回転操作すると、これに連動して撮影レンズ２０１のフォーカスレンズが移動し、手動でピント合わせを行うことができる。このフォーカスリング２１１は、撮影レンズのピント合わせを手動で行うための手動操作部として機能する。
【００２３】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２４】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体を撮像して画像データを取得する撮像部として機能する。
【００２５】
撮像移動部１０４は、撮像素子１０３を撮影レンズ２０１（フォーカスレンズを含む）の光軸方向に移動させる。後述するように、本実施形態においては、像倍率変動が生ずると、深度合成画像の生成にあたって画質が劣化してしまうことから、深度合成用に撮影を行う際に像倍率が一定となるように、撮像移動部１０４が撮像素子１０３の光軸方向の位置を調整する。この撮像移動部１０４は、露光中は、フォーカスの移動に合わせて撮像部の撮像素子を上記撮影レンズの光軸方向に移動させる撮像移動部として機能する（例えば、図４のＳ１１５、図５のＳ１２５、図６のＳ１１５、図７のＳ１２５等参照）。
【００２６】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。
【００２７】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００２８】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮部１１５、画像伸張部１１７マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。
【００２９】
画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、および画像合成部１０９ｂを使用する。
【００３０】
基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタや深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。
【００３１】
画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。この画像合成部１０９ｂは、撮像部からの画像データに基づいて合成用画像データを合成する画像合成部として機能する。すなわち、画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。画像合成部１０９ｂは、制御部による露光間隔の制御時に取得した上記複数の画像データを用いて合成画像データを生成する画像合成部として機能する。画像合成部は、単写に比べ被写体の深度を変更する合成を行う。
【００３２】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００３３】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。
【００３４】
画像圧縮部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部おいて伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。
【００３５】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００３６】
マイクロコンピュータ１２１は、フォーカスリングの操作中に露光間隔を制御し、撮像部によって複数の画像データを取得させる制御部として機能する（例えば、図４のＳ１０９、Ｓ１１５、図５のＳ１２５、図６のＳ１０９、Ｓ１１５、図７のＳ１２５等参照）。また、制御部は、フォーカスリングの移動中は、露光間隔を一定の時間間隔に制御する（例えば、図４のＳ１１３、図６のＳ１１３等参照）。制御部は、フォーカスリングの移動中は、画像データのコントラストに基づいて露光間隔を制御する（例えば、図５のＳ１２３、図７のＳ１２３等参照）。また、マイクロコンピュータ１２１とマイクロコンピュータ２０７等は、撮影レンズのフォーカス位置を取得するレンズ情報取得部としての機能を有する（例えば、図６のＳ１１２、図７の１２２参照）。マイクロコンピュータ１２１は、フォーカス位置に基づいて、複数の画像データの取得枚数を制御する制御部として機能する（例えば、図６のＳ１１８、Ｓ１１９、図７のＳ１２８、Ｓ１３１参照）。また、マイクロコンピュータ１２１は、手動操作部の手動操作中に、露光間隔を制御し、撮像部によって複数の画像データを取得させる制御部として機能する。
【００３７】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３８】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００３９】
動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。
【００４０】
メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。また、深度合成モードが選択された場合には、露光間隔制御方式を選択できる。この露光間隔制御方式としては、本実施形態においては、ユーザが撮影レンズのフォーカスリングを移動させている間、露光間隔を一定時間間隔にして撮影を行う方式（露光時間間隔一定方式）と、画像データのコントラストに基づいて露光間隔を決めて撮影を行う方式（露光時間間隔コントラスト方式）がある。何も選択しない場合には、いずれか一方の方式がデフォルトモードとして設定される。
【００４１】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。
【００４２】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。
【００４３】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。
【００４４】
表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。
【００４５】
表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。
【００４６】
次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４乃至図７に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。
【００４７】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。
【００４８】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。
【００４９】
ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。
【００５０】
ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定可能である。深度合成モードが設定された場合には、露光関間隔制御方式として、露光間隔を一定時間間隔にして撮影を行う露光時間間隔一定方式と、画像データのコントラストに基づいて露光間隔を決めて撮影を行う露光時間間隔コントラスト方式のいずれかを設定することができる。
【００５１】
ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。
【００５２】
ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。
【００５３】
ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。
【００５４】
ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。
【００５５】
一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。
【００５６】
ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。
【００５７】
ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００５８】
ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００５９】
また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のフォーカス位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行い、合焦位置に移動させる。その後、ステップＳ３７へ進む。
【００６０】
ステップＳ３３における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００６１】
ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影・画像処理を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力され、ＳＤＲＡＭ１２７に一時記憶される。
【００６２】
また、深度合成モードが設定されている場合には、フォーカス位置を順次変更しながら、複数の撮影を行って、複数の画像データを取得する。フォーカス位置の変更にあたっては、本実施形態においては、カメラ本体１００側において、交換式レンズ２００内の撮影レンズ２０１のフォーカス位置を制御することができない場合がある。そこで、露光間隔制御方式として、露光時間間隔一定方式が設定されている場合には、一定時間間隔で撮影を行い、また露光時間間隔コントラスト方式が設定されている場合には、画像データのコントラスト値に基づいて撮影のタイミングを決める。
【００６３】
また、ステップＳ４３においては、撮影を行うと画像処理も行う。この画像処理では、撮像素子１０３で取得されたＲＡＷデータをＳＤＲＡＭ１２７から読出し、画像処理部１０９によって画像処理を行う。また、深度合成モードが設定されている場合には、設定された露光間隔の方式に従って取得した複数の画像データを用いて深度合成を行う。ステップＳ４３における撮影・画像処理の詳しい動作については、図５乃至図７を用いて後述する。
【００６４】
撮影・画像処理を行うと、次に静止画記録を行う（Ｓ４５）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定可能）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。
【００６５】
ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。
【００６６】
ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。
【００６７】
電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。
【００６８】
基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。
【００６９】
ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。
【００７０】
ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。
【００７１】
このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能であり（Ｓ９）、深度合成モードが設定された場合には、ステップＳ４３において、露光時間間隔一定方式が設定されている場合には、一定時間間隔で撮影を行い、また露光時間間隔コントラスト方式が設定されている場合には、画像データのコントラスト値に基づいて撮影のタイミングを決める。
【００７２】
次に、図４乃至図７に示すフローチャートを用いて、ステップＳ４３における撮影・画像処理の詳しい動作について説明する。本実施形態に係るカメラ本体１００には、カメラ本体１００側で制御できない交換式レンズ２００が装着される場合や、カメラ本体１００側で制御できる交換式レンズ２００が装着される場合がある。そこで、図４および図５にはカメラ本体１００側で制御できない交換式レンズ２００が装着された場合について、また図６および図７にはカメラ本体１００側で制御できる交換式レンズ２００が装着された場合について示す。
【００７３】
図４および図５に示す例は、カメラ本体１００側で制御できない交換式レンズであり、この場合には、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９が設けられていないか、または設けられていても、カメラ本体１００からの指示に従って、撮影レンズ２０１のフォーカス位置を駆動制御することができない。
【００７４】
図４に示す撮影・画像処理のフローに入ると、まず、深度合成が設定されているか否かについて判定する（Ｓ１０１）。深度合成モードは、ステップＳ９のカメラ設定においてユーザが設定可能である。
【００７５】
ステップＳ１０１における判定の結果、深度合成モードが設定されていなかった場合には、撮影を行う（Ｓ１０３）。ここでは、レリーズ釦が半押しされ、ステップＳ３５において決定した露出制御値および合焦位置において、撮像素子１０３で撮像を行い、画像データを取得する。
【００７６】
一方、ステップＳ１０１における判定の結果、深度合成モードが設定されていた場合には、露光間隔制御方式の選択を行う（Ｓ１０５）。露光間隔制御方式は、ステップＳ９のカメラ設定において深度合成モードが選択される際に設定可能であり、本実施形態においては、露光時間間隔一定方式と露光時間間隔コントラスト方式のいずれかが設定可能である。なお、ステップＳ９のカメラ設定以外に、このステップにおいても設定できるようにしてもよい。
【００７７】
ステップＳ１０５において露光間隔制御方式の選択を行うと、次に、撮影を行う（Ｓ１０７）。ここでは、深度合成用の１枚目の画像を取得する。すなわち、撮像素子１０３で撮像を行い、画像データを取得し、ＳＤＲＡＭ１２７に一時記憶する。
【００７８】
ステップＳ１０７において１枚目の撮影を行うと、次に、ユーザによるフォーカスリング移動を行う（Ｓ１０９）。ここでは、ユーザが交換式レンズ２００に設けられたフォーカスリングを手動で回転操作する。なお、本実施形態においては、このステップでは、フォーカスリングが手動で回転操作され、フォーカスレンズ位置が変化していると推測し、特段何もしない。しかし、フォーカスレンズの位置が移動すると、フォーカス位置の変化に応じて画像が変化するので、この画像の変化に基づいて、フォーカスリングの回転操作を検知するようにしてもよい。
【００７９】
続いて、一定の時間で露光間隔を制御するか否かの判定を行う（Ｓ１１１）。ここでは、ステップＳ９のカメラ設定において、露光間隔制御方式として、露光時間間隔一定方式が選択されたか否かを判定する。
【００８０】
ステップＳ１１１における判定の結果、一定の時間で露光間隔を制御、すなわち露光時間間隔一定方式が設定されていた場合には、一定の時間が経過したか否かについて判定する（Ｓ１１３）。ステップＳ１０７における撮影が終了するとタイマによる計時動作がスタートし、２枚目の撮影以降も撮影が終了する毎に計時動作をスタートするので、このステップでは、このタイマが所定時間に達したか否かを判定する。なお、本実施形態においては、撮影（露光）が終了してから次の撮影（露光）が開始するまでの時間が一定となるようにしているが、撮影（露光）の開始から次の撮影（露光）の開始までの時間が一定となるように計時動作を行ってもよい。
【００８１】
ステップＳ１１３における判定の結果、一定の時間が経過していない場合には、ステップＳ１０９に戻り、一定の時間が経過するのを待つ。一方、ステップＳ１１３における判定の結果、一定の時間が経過すると、撮影を行い、撮像素子をＺ軸方向移動する（Ｓ１１５）。撮影倍率は、フォーカス位置等によって変化するので、このステップでは、撮像素子１０３を撮影レンズ２０１の光軸方向（Ｚ軸方向）に撮影倍率が変動しないように移動させる。撮像素子をＺ軸方向に移動して一定の撮影倍率とすると、２枚目以降の撮影、すなわち撮像素子１０３で撮像を行い、画像データを取得する。
【００８２】
なお、撮影倍率は、繰り返し撮影した複数の画像中の同一の被写体の大きさを検出し、この大きさが一定にするための倍率を算出すればよい。このため、ステップＳ１０７、Ｓ１１５における撮影と撮影の間でも、撮像素子１０３から画像を取得し、撮影倍率を算出することが好ましい。
【００８３】
ステップＳ１１５において、撮影を行うと、次に、所定枚数撮影を行ったか否かを判定する（Ｓ１１７）。深度合成用に撮影できる枚数は、ＳＤＲＡＭ１２７等のメモリ容量等から制限があり、またユーザが制限値以内で撮影枚数を設定することも可能である。このステップでは、これらの条件によって決まる所定枚数について、撮影を行ったか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１０９に戻り、深度合成用の撮影を続ける。
【００８４】
ステップＳ１１１における判定の結果、一定の時間で露光間隔を制御でない場合には、コントラスト検出によって露光間隔を制御するか否かを判定する（Ｓ１２１）。ここでは、ステップＳ９のカメラ設定において、露光間隔制御方式として、露光時間間隔コントラスト方式が選択されたか否かを判定する。
【００８５】
ステップＳ１２１における判定の結果、コントラスト検出よって露光間隔を制御する場合には、次に、一定のコントラストを検出したか否かを判定する（Ｓ１２３）。一定のコントラスとしては、例えば、コントラスト値が予め決められた閾値以上である場合や、またコントラスト値のピークを検出した場合等がある。
【００８６】
ステップＳ１２３における判定の結果、一定のコントラストを検出した場合には、ステップＳ１１５と同様に、撮影を行い、撮像素子をＺ軸方向移動する（Ｓ１２５）。ここでは、撮像素子１０３を撮影レンズ２０１の光軸方向（Ｚ軸方向）に撮影倍率が変動しないように移動させ、２枚目以降の撮影、すなわち撮像素子１０３で撮像を行い、画像データを取得する。
【００８７】
ステップＳ１２５において、撮影を行うと、次に、ステップＳ１１７と同様に、所定枚数撮影を行ったか否かを判定する（Ｓ１２７）。ここでは、所定枚数の撮影を行ったか否かを判定する。
【００８８】
ステップＳ１２７における判定の結果、所定枚数に達していない場合、またはステップＳ１２３における判定の結果、一定のコントラストを検出していない場合には、所定時間が経過したか否かを判定する（Ｓ１２９）。露光間隔制御方式として、露光時間間隔一定方式は、一定時間間隔で必ず撮影がなされ、最終的には所定枚数の撮影が行われる。しかし、露光時間間隔コントラスト方式の場合には、一定のコントラストとならないと撮影が行われないので、被写体によっては、相当長い時間が経過しても、所定枚数の撮影が行われない可能性がある。そこで、このステップでは、通常想定される深度合成撮影にかかる時間（所定時間）が経過したか否かを判定する。この判定の結果、所定時間が経過していない場合には、ステップＳ１０９に戻り、深度合成用の撮影を続ける。
【００８９】
ステップＳ１２９における判定の結果、所定時間が経過した場合には、所定枚数を変更する（Ｓ１３１）。ここでは、深度合成撮影にかかる時間を経過したことから、撮影を終了し、「所定枚数」を、これまでに撮影した撮影枚数に変更する。
【００９０】
ステップＳ１３１において所定枚数を変更すると、またはステップＳ１２７における判定の結果、所定枚数に達すると、またはステップＳ１１７における判定の結果、所定枚数に達すると、撮影処理を終了し、以後、合成処理を行う。
【００９１】
合成処理として、まず、位置合わせを行う（Ｓ１４１）。このステップでは、画像合成部１０９ｂが、撮影した合成用の画像の座標ズレを補正する位置合わせを行う。位置合わせとしては、例えば、１枚の画像をブロック分割し、ブロック毎の相関値が最も少ない座標へ移動量を算出し、移動量に合わせて位置合わせを行う。これ以外にも、画像全体の移動量を算出してもよい。画像全体の移動量を算出する方法は、演算時間を短縮できるが、精度が低下する。
【００９２】
位置合わせを行うと、次に、深度合成を行う（Ｓ１４３）。ここでは、画像合成部１０９ｂが、被写界深度を拡大する効果を得るための画像合成を行う。例えば、各画像の高周波成分を画素毎に抽出し、抽出された高周波成分の高い方の画素を採用して、画素毎に高周波成分を合成し、深度合成画像を生成する。
【００９３】
深度合成を行うと、次に、所定枚数か否かを判定する（Ｓ１４５）。ここでは、ステップＳ１１７、Ｓ１２７、Ｓ１３１において判定に使用された所定枚数の合成用の撮影画像の処理が終了したか否かを判定する。この判定の結果、処理が終了していない場合には、次の合成用の撮影画像を読み出し、ステップＳ１４１以下の処理を繰り返す。
【００９４】
ステップＳ１４５における判定の結果、所定枚数の処理が終わると、または、ステップＳ１２１における判定の結果、コントラスト検出によって露光間隔を制御しない場合、またはステップＳ１０３において撮影を行うと、次に、基本画像処理を行う（Ｓ１４７）。ここでは、ステップＳ１４３において深度合成処理を施した画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の基本画像処理を施す。基本画像処理を行うと、撮影・画像処理のフローを終了し、元のフローに戻る。
【００９５】
このように、カメラ本体１００側で制御できない交換式レンズ２００が装着された場合には、一定の時間間隔で撮影行い（Ｓ１１３、Ｓ１１５参照）、または一定のコントラストを検出すると撮影を行っている（Ｓ１２３、Ｓ１２５）。このため、ユーザがマニュアルでフォーカスリングを回転操作させるような場合であっても、深度合成画像を生成することができる。
【００９６】
次に、図６および図７に示すフローチャートを用いて、カメラ本体１００側で制御できる交換式レンズ２００が装着された場合の撮影・画像処理の動作について説明する。この場合の交換式レンズ２００は、図１の交換式レンズ２００と同様であり、この交換式レンズ２００からは、カメラ本体１００に対して、フォーカス位置や像倍率情報等のレンズ情報が送信される。図６および図７に示すフローチャートは、図４および図５に示すフローチャートにステップＳ１１２、Ｓ１１８、Ｓ１１９、Ｓ１２２、Ｓ１２８を追加してこと以外は同様である。そこで、この相違点を中心に説明する。
【００９７】
図６に示すフローに入り、ステップＳ１１１における判定の結果、一定の時間で露光間隔を制御、すなわち露光時間間隔一定方式が設定されていた場合には、レンズ情報の取得を行う（Ｓ１１２）。ここでは、カメラ本体１００内のマイクロコンピュータ１２１が、交換式レンズ２００内のマイクロコンピュータ２０７とＩ／Ｆ１９９を介して通信を行い、撮影レンズ２０１のフォーカス位置や像倍率情報等、種々のレンズ情報を取得する。
【００９８】
ステップＳ１１２においてレンズ情報を取得すると、一定の時間が経過したか否かを判定し（Ｓ１１３）、一定の時間が経過した場合には、撮像移動部１０４が撮像素子１０３を、像倍率を一定に保つようにＺ軸方向（光軸方向）に移動させ、撮影を行う（Ｓ１１５）。なお、Ｚ軸方向への移動にあたっては、ステップＳ１１２において取得した像倍率情報を用いてＺ軸方向の位置制御を行うことができる。この場合には、画像データより像倍率を算出するよりは短時間で制御することができる。撮影を行うと、所定枚数に達したか否かを判定する（Ｓ１１７）。
【００９９】
ステップＳ１１７における判定の結果、所定枚数に達していない場合には、次に、撮影レンズ２０１が光学無限遠に達しているか、または至近端に達しているか否かを判定する（Ｓ１１８）。ここでは、ステップＳ１１２において取得したレンズ情報の内、フォーカス位置情報等に基づいて、撮影レンズ２０１のフォーカスレンズが光学無限遠または至近端に達しているか否かを判定する。この判定の結果、光学無限遠または至近端に達していない場合には、ステップＳ１０９に戻り、一定の時間間隔で撮影を行う。
【０１００】
一方、ステップＳ１１８における判定の結果、光学無限遠または至近端に達している場合には、所定枚数変更を行う（Ｓ１１９）。フォーカスレンズが光学無限遠または至近端に達している場合には、これ以上、フォーカスレンズが移動することがないことから、深度合成用の撮影を終了する。このステップでは、これまでに撮影した撮影枚数に所定枚数を変更する。所定枚数変更を行うと、ステップ１４１に進み、深度合成画像生成のための画像処理を行う。
【０１０１】
ステップＳ１１１における判定の結果、一定の時間で露光間隔を制御でない場合には、コントラスト検出によって露光間隔を制御するか否かを判定する（Ｓ１２１）。この判定の結果、コントラスト検出よって露光間隔を制御する場合には、ステップＳ１１２と同様に、レンズ情報の取得を行う（Ｓ１２２）。ここでは、カメラ本体１００内のマイクロコンピュータ１２１が、交換式レンズ２００から撮影レンズ２０１のフォーカス位置や像倍率情報等、種々のレンズ情報を取得する。
【０１０２】
ステップＳ１２２においてレンズ情報を取得すると、一定のコントラストを検出したか否かを判定し（Ｓ１２３）。この判定の結果、一定音コントラストを検出した場合には、撮像素子をＺ軸方向に移動し、撮影を行う（Ｓ１２５）。この場合には、前述したように、ステップＳ１２２において取得した像倍率情報を用いることにより、迅速にＺ軸方向の移動を制御することができる。続いて、所定枚数に達したか否かを判定する（Ｓ１２７）。
【０１０３】
ステップＳ１２７における判定の結果、所定枚数に達していない場合には、ステップＳ１１８と同様に、撮影レンズ２０１が光学無限遠に達しているか、または至近端に達しているか否かを判定する（Ｓ１２８）。ここでは、ステップＳ１２２において取得したレンズ情報の内、フォーカス位置情報等に基づいて、撮影レンズ２０１のフォーカスレンズが光学無限遠または至近端に達しているか否かを判定する。この判定の結果、光学無限遠または至近端に達していない場合には、ステップＳ１２９に進み、所定時間が経過したか否かを判定する。
【０１０４】
一方、ステップＳ１２８における判定の結果、光学無限遠または至近端に達している場合には、所定枚数変更を行う（Ｓ１３１）。フォーカスレンズが光学無限遠または至近端に達している場合には、これ以上、フォーカスレンズが移動することがないことから、深度合成用の撮影を終了する。このステップでは、これまでに撮影した撮影枚数に所定枚数を変更する。所定枚数変更を行うと、ステップ１４１に進み、深度合成画像生成のための画像処理を行う。
【０１０５】
このように、カメラ本体１００側で制御できる交換式レンズ２００が装着された場合にも、一定の時間間隔で撮影行い（Ｓ１１３、Ｓ１１５参照）、または一定のコントラストを検出すると撮影を行っている（Ｓ１２３、Ｓ１２５）。このため、ユーザがマニュアルでフォーカスリングを回転操作させるような場合であっても、深度合成画像を生成することができる。
【０１０６】
また、カメラ本体１００側で制御できる交換式レンズ２００が装着されていることから、カメラ本体１００側が交換式レンズ２００のレンズ情報を取得することができる。このとき得られた像倍率情報を用いて、Ｚ軸方向の移動制御を迅速に行うことができ、また光学無限遠または至近端に達している場合には深度合成のための撮影を終了することができる。
【０１０７】
これ以外にも、フォーカス位置の変化を検出することにより、ユーザがフォーカスリングを回転操作しているか否かを判定することができる。このとき、フォーカスリングを回転操作していないと判定した場合には、回転操作を再開するまで撮影を停止するようにしてもよい。上記のように、カメラ本体１００側で制御できる交換式レンズ２００が装着されている場合、即ち、カメラ本体１００側が交換式レンズ２００のレンズ情報を取得することができる場合には、交換式レンズ２００からレンズ情報を取得してフォーカス位置の変化を検出する。一方、カメラ本体１００側で制御できる交換式レンズ２００が装着されていない場合、即ち、カメラ本体１００側が交換式レンズ２００のレンズ情報を取得することができない場合には、撮像素子１０３で撮像を行って取得した画像データの変化からフォーカス位置が変化したことを検出し、この変化に基づいてフォーカスリングの移動を検出する。この場合、マイクロコンピュータ１２１は、フォーカスリングの移動を、上記画像データの変化に基づいて検出する制御部として機能する。
【０１０８】
なお、カメラ本体１００側で制御できる交換式レンズ２００である否かに応じて、図４および図５のフローチャートを使用するか、図６および図７に示すフローチャートを使用するか切り分けていたが、カメラ本体１００側から交換式レンズ２００に通信等を行って、いずれのレンズタイプであるかを判定し、図４および図５のフローにするか、図６および図７のフローにするかを選択するようにしてもよい。また、メニュー画面等において、ユーザが設定できるようにしてもよい。この場合には、マイクロコンピュータ１２１が、露光間隔を一定の時間間隔に設定する第１設定と、露光間隔を画像データのコントラストに基づいて設定する第２設定を、選択的に設定可能とする制御部として機能する。
【０１０９】
次に、図８を用いて、本実施形態における深度合成用の撮影について説明する。ユーザが交換式レンズ２００のフォーカスリング２１１を回転操作すると、撮影レンズ２０１中のフォーカスレンズのピント位置が変化する。フォーカスリング２１１の回転操作に応じて、フォーカスレンズのピント位置移動し、一定量フォーカス移動した場合に、露光を行う。例えば、前景にある被写体Ｑ１にピントの合う位置Ｐ１、主要被写体である被写体Ｑ２にピントの合うＰ２、背景にある被写体Ｑ３にピントの合う位置Ｐ３と、順次、一定量フォーカス移動すると露光（撮影）を行う。
【０１１０】
本実施形態においては、一定の時間、または一定のコントラスト検出毎に露光間隔を制御している。ユーザが一定の回転速度でフォーカスリングを回転操作している場合には、一定の距離間隔で露光（撮影）を行うことができる。また、コントラスト値が閾値以上の場合に露光（撮影）を行えば、ピントの合った状態の画像を取得できる。また、コントラスト値がピークとなる場合に露光（撮影）を行えば、それぞれの距離にある被写体（図８では、被写体Ｑ１〜Ｑ３）に対してピントのあった画像を取得することができる。
【０１１１】
また、本実施形態においては、露光中はフォーカスの移動に合わせて撮像素子１０３をＺ軸方向に移動させている。このため、露光中のブレを防ぐことができる。
【０１１２】
以上説明したように、本発明の一実施形態においては、撮像部と撮影レンズのピント合わせを行うフォーカスリングを有しており、フォーカスリングの操作中に、露光のタイミングを判定する露光間隔制御ステップ（例えば、図４のＳ１１３、図５のＳ１２３、図６のＳ１１３、図７のＳ１２３等参照）と、露光間隔制御ステップにおいて、露光のタイミングと判定されると、撮像部によって被写体像を撮像して画像データを取得する画像取得ステップ（例えば、図４のＳ１１５、図５のＳ１２５、図６のＳ１１５、図７のＳ１２５等参照）を有しており、所定枚数に達するまで、露光間隔制御ステップと画像取得ステップを繰り返している（例えば、図４のＳ１１７、図５のＳ１２７、図６のＳ１１７、図７のＳ１２７等参照）。このため、カメラ本体側で焦点位置の制御を行うことができないレンズが装着された場合や、マニュアルフォーカスの場合でも、焦点位置の異なる複数の画像を撮影し、深度合成画像を生成することが可能となる。
【０１１３】
なお、本発明の一実施形態においては、深度合成画像を複数の静止画像を合成することにより静止画の深度合成画像を生成していた。しかし、これに限らず、動画やライブビュー画像にも適用することができる。たとえば、現在より所定フレーム前の動画やライブビュー画像を複数枚用いて、深度合成するようにしてもよい。また、複数の画像を合成することで、１枚の撮影画像とは異なる画像を生成する機能があれば、本実施形態において示した手法を適用することができる。
【０１１４】
また、本発明の一実施形態においては、交換レンズ側にフォーカスリングを設けていたが、これに限らず、例えば、パワーフォーカス用の操作釦を有するようにしてもよい。また、露光間隔制御方式として２方式設けたが、これに限らず、いずれか一方のみでもよく、また他の方式を設けてもよい。
【０１１５】
また、本発明の一実施形態においては、カメラ本体側に深度合成処理を行う画像処理部を設けていた。しかし、これに限らず、深度合成用に撮影を行い画像データを取得するまでをカメラ側で行い、深度合成処理は、別の機器、例えば、パーソナルコンピュータで行うようにしてもよい。
【０１１６】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。
【０１１７】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１１８】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１１９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２０】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０４・・・撮像移動部、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮部、１１７・・・画像伸張部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、２１１・・・フォーカスリング
【図１】
2015231192.tif 000003
【図２】
2015231192.tif 000004
【図３】
2015231192.tif 000005
【図４】
2015231192.tif 000006
【図５】
2015231192.tif 000007
【図６】
2015231192.tif 000008
【図７】
2015231192.tif 000009
【図８】
2015231192.tif 000010