(57)【要約】【課題】撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けない撮像装置、撮像方法、データ記録装置、及びプログラムを提供する。【解決手段】画像データを取得する撮像素子１０３と、画像データを一時記憶するＳＤＲＡＭ１２７と、一時記憶された画像データを画像合成する画像合成部１０９ｃと、一時記憶された画像データの少なくとも一部の退避データを記録可能な記録媒体１３１と、退避データを管理するための管理情報を記憶する管理情報記憶部と、退避データを記録媒体１３１に記憶させる際に、管理情報を用いて退避データの管理を行うマイクロコンピュータ１２１を有する。【選択図】  図１
2015177221.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得部と、
上記画像データを一時記憶する一時記憶部と、
上記一時記憶された画像データを画像処理する画像処理部と、
上記一時記憶された画像データの少なくとも一部の退避データを記録可能な記録媒体と、
上記退避データを管理するための管理情報を記憶する管理情報記憶部と、
上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行う制御部と、
を有することを特徴とする撮像装置。
【請求項２】
上記制御部は、上記画像処理部によって画像処理を行う際に、上記退避データを上記記録媒体に記録させ、その際、上記記録媒体に記録させた記録位置を示す管理情報を管理情報記憶部に記憶するが、上記記録媒体には上記管理情報を記録させないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
さらに、上記撮像装置は、上記一時記憶部から上記退避データを上記記録媒体に送信するための通信部を有し、
上記通信部を介して上記退避データと共に、削除時間情報を上記記録媒体側の制御部に送信することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記制御部は、上記削除時間経過後に上記記録媒体に一時記憶された上記退避データを削除することを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮像装置から出力された画像データを記録するための画像データ記録装置において、
退避データを削除時間と共に通信部を介して取得するデータ取得部と、
上記退避データを記録可能な記録媒体と、
上記削除時間を記憶する管理情報記憶部と、
上記通信部を介する通信路が確立しなくなってから上記削除時間が経過した場合に、上記退避データを消去する制御部と、
を有することを特徴とする画像データ記録装置。
【請求項６】
被写体を撮像して画像データを得る撮像部と、
上記画像データを一時記憶する記憶部と、
複数の画像データを合成し、合成した画像データを生成する画像合成部と、
データ記録を制御する記録制御部と、
撮像装置を制御する制御部と、
を有し、
上記制御部は、上記撮像部に対して連続して複数の画像データを取得するように指示し、上記複数の画像データの少なくとも一部を上記記録制御部に対して第１の記録方式で記録するように指示し、上記複数の画像データを上記画像合成部で合成するように指示し、上記画像合成部で生成した画像データを上記記録制御部に対して第２の記録方式で記録するように指示することを特徴とする撮像装置。
【請求項７】
上記第１の記録方式は、少なくとも所定時間経過後に、ファイルとして見えないように画像データを記録し、
上記第２の記録方式は、少なくとも所定時間経過後に、ファイルとして存在するように画像データを記録する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
さらに不揮発性メモリを有し、
上記記録制御部は、上記不揮発性メモリに対するデータ記録を制御し、
上記第１の記録方式は、上記不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にはファイルとしての情報を記録せず、
上記第２の記録方式は、上記不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にファイルとしての管理情報を記録する、
ことを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
さらにファイル削除制御部を有し、
上記第１の記録方式は、異常検出後削除するまでのタイムアウト時間を指定してデータを記録し、
上記第２の記録方式は、上記タイムアウト時間の指定を行わずにデータを記録し、
上記ファイル削除制御部は、異常を検出した後、上記タイムアウト時間経過のファイルを削除する、
ことを特徴とする請求項６又は７に記載の撮像装置。
【請求項１０】
画像データを取得し、
上記画像データを一時記憶し、
上記一時記憶された画像データの少なくとも一部を退避データとして退避させ、
上記退避データを管理するための管理情報を記憶し、
上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行い、
退避させた上記退避データを用いて画像処理する、
ことを特徴とする撮像方法。
【請求項１１】
撮像装置内のコンピュータを実行させるためのプログラムにおいて、
画像データを取得し、
上記画像データを一時記憶し、
上記一時記憶された画像データの少なくとも一部を退避データとして退避させ、
上記退避データを管理するための管理情報を記憶し、
上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行い、
退避させた上記退避データを用いて画像処理する、
ことをコンピュータに実行させる特徴とするプログラム。
【請求項１２】
撮像装置から出力された画像データを記録するための画像データ記録装置におけるコンピュータを実行するためのプログラムにおいて、
退避データを削除時間と共に取得し、
上記退避データと上記削除時間を記憶し、
上記退避データを入力する通信路が確立しなくなってから上記削除時間が経過した場合に、上記退避データを消去する、
ことをコンピュータに実行させる特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理する際に複数の画像データを一時記憶し、この一時記憶された画像データを用いて画像処理を行う撮像装置、撮像方法、データ記録装置、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置においては、複数の画像を撮影し、１枚の画像では表現できない画質を実現する画像処理機能を搭載したものがある。例えば、特許文献１には、焦点位置を移動して撮影した複数の画像データを用い、被写体の位置合わせを行い、画像合成することによって、全焦点画像やぼけをコントロールした画像を生成するようにした撮像装置が提案されている。
【０００３】
特許文献２には、階調の異なる複数の画像を撮影し、複数の画像を合成することにより、単体の画像では再現できない階調特性を再現するＨＤＲ（High Dynamic Range）効果技術が提案されている。特許文献３には、複数の画像を合成して元の画像よりも解像度の高い画像を生成する技術が提案されている。
【０００４】
また、デジタルカメラ等の撮像装置においては、フラッシュメディア等の不揮発性メモリに画像ファイルを記録している。フラッシュメディアにデータを記録する場合には、クラスタ単位でデータを書き込み、いずれのクラスタに記録したかを管理するテーブル（以下、ＦＡＴ（ファイルアロケーションテーブル））に記録させるのが一般的である。
【０００５】
フラッシュメモリに記録されているデータを管理するためのＦＡＴやディレクトリ情報は、ファイルの変更に伴い頻繁に読み書きするためファイルの書き換え性能が劣化してしまう。そこで、特許文献４には、管理情報を記録するための異なる種類の不揮発性メモリを用い、劣化による速度低下を防止することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２７１２４０号公報
【特許文献２】特開２０１１−００４３５３号公報
【特許文献３】特許第４３２５６２５号公報
【特許文献４】特開２００５−１０８３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像を合成する場合には、一般に合成に使用する画像枚数を多くするほど良好な結果が得られる。このため、画質の観点からは撮影枚数を可能な限り多くすることが望ましい。一方、デジタルカメラ等の撮像装置に搭載されている一時記憶用のメモリ（例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory））は容量が限られているため、同時に記憶できる画像の数が限られている。
【０００８】
そこで、ＳＤＲＡＭより低速であるが大容量の不揮発性記録媒体へ一時的にデータをファイルとして記録して退避させ、必要な処理の際に再度読み込む技術を利用することが考えらえる。しかし、不揮発性記録媒体へファイルとして記録すると、撮像装置がバッテリ切れ等で異常終了した場合や、記録媒体と撮像装置の接続や通信が切断された場合に、記録媒体にファイルとして残ってしまう問題がある。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けない撮像装置、撮像方法、データ記録装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため第１の発明に係る撮像装置は、画像データを取得する画像データ取得部と、上記画像データを一時記憶する一時記憶部と、上記一時記憶された画像データを画像処理する画像処理部と、上記一時記憶された画像データの少なくとも一部の退避データを記録可能な記録媒体と、上記退避データを管理するための管理情報を記憶する管理情報記憶部と、上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行う制御部と、を有する。
【００１１】
第２の発明に係る撮像装置は、上記第１の発明において、上記制御部は、上記画像処理部によって画像処理を行う際に、上記退避データを上記記録媒体に記録させ、その際、上記記録媒体に記録させた記録位置を示す管理情報を管理情報記憶部に記憶するが、上記記録媒体には上記管理情報を記録させない。
【００１２】
第３の発明に係る撮像装置は、上記第１の発明において、さらに、上記撮像装置は、上記一時記憶部から上記退避データを上記記録媒体に送信するための通信部を有し、上記通信部を介して上記退避データと共に、削除時間情報を上記記録媒体側の制御部に送信する。
第４の発明に係る撮像装置は、上記第３の発明において、上記制御部は、上記削除時間経過後に上記記録媒体に一時記憶された上記退避データを削除する。
【００１３】
第５の発明に係る画像データ記録装置は、撮像装置から出力された画像データを記録するための画像データ記録装置において、退避データを削除時間と共に通信部を介して取得するデータ取得部と、上記退避データを記録可能な記録媒体と、上記削除時間を記憶する管理情報記憶部と、上記通信部を介する通信路が確立しなくなってから上記削除時間が経過した場合に、上記退避データを消去する制御部と、を有する。
【００１４】
第６の発明に係る撮像装置は、被写体を撮像して画像データを得る撮像部と、上記画像データを一時記憶する記憶部と、複数の画像データを合成し、合成した画像データを生成する画像合成部と、データ記録を制御する記録制御部と、撮像装置を制御する制御部と、を有し、上記制御部は、上記撮像部に対して連続して複数の画像データを取得するように指示し、上記複数の画像データの少なくとも一部を上記記録制御部に対して第１の記録方式で記録するように指示し、上記複数の画像データを上記画像合成部で合成するように指示し、上記画像合成部で生成した画像データを上記記録制御部に対して第２の記録方式で記録するように指示する。
【００１５】
第７の発明に係る撮像装置は、上記第６の発明において、上記第１の記録方式は、少なくとも所定時間経過後に、ファイルとして見えないように画像データを記録し、上記第２の記録方式は、少なくとも所定時間経過後に、ファイルとして存在するように画像データを記録する。
【００１６】
第８の発明に係る撮像装置は、上記第６又は第７の発明において、さらに不揮発性メモリを有し、上記記録制御部は、上記不揮発性メモリに対するデータ記録を制御し、上記第１の記録方式は、上記不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にはファイルとしての情報を記録せず、上記第２の記録方式は、上記不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にファイルとしての管理情報を記録する。
【００１７】
第９の発明に係る撮像装置は、上記第６又は第７の発明において、さらにファイル削除制御部を有し、上記第１の記録方式は、異常検出後削除するまでのタイムアウト時間を指定してデータを記録し、上記第２の記録方式は、上記タイムアウト時間の指定を行わずにデータを記録し、上記ファイル削除制御部は、異常を検出した後、上記タイムアウト時間経過のファイルを削除する。
【００１８】
第１０の発明に係る撮像方法は、画像データを取得し、上記画像データを一時記憶し、上記一時記憶された画像データの少なくとも一部を退避データとして退避させ、上記退避データを管理するための管理情報を記憶し、上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行い、退避させた上記退避データを用いて画像処理する。
【００１９】
第１１の発明に係るプログラムは、撮像装置内のコンピュータを実行させるためのプログラムにおいて、画像データを取得し、上記画像データを一時記憶し、上記一時記憶された画像データの少なくとも一部を退避データとして退避させ、上記退避データを管理するための管理情報を記憶し、上記退避データを上記記録媒体に記憶させる際に、上記管理情報を用いて上記退避データの管理を行い、退避させた上記退避データを用いて画像処理する、ことをコンピュータに実行させる。
【００２０】
第１２の発明に係るプログラムは、撮像装置から出力された画像データを記録するための画像データ記録装置におけるコンピュータを実行するためのプログラムにおいて、退避データを削除時間と共に取得し、上記退避データと上記削除時間を記憶し、上記退避データを入力する通信路が確立しなくなってから上記削除時間が経過した場合に、上記退避データを消去する、ことをコンピュータに実行させる。
【発明の効果】
【００２１】
本発明によれば、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けない撮像装置、データ記録装置、撮像方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。
【図４】本発明の第１実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図５】本発明の第１実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図６】本発明の第１実施形態に係るカメラにおいて、ＳＤＡＲＡＭからのデータ退避の動作を説明する図である。
【図７】本発明の第１実施形態に係るカメラにおいて、記録媒体へのデータ構造を説明する図である。
【図８】本発明の第１実施形態に係るカメラにおいて、記録媒体へのデータ退避の動作を説明する図である。
【図９】本発明の第２実施形態にカメラと通信可能な外部機器の構成を示すブロック図である。
【図１０】本発明の第２実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。
【図１１】本発明の第２実施形態に係る外部機器のメイン動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００２４】
また、第１実施形態におけるデジタルカメラは、概略、データ記録のためのＦＡＴを制御でき、記録媒体のどの位置（どのクラスタ等）に退避データを記録したかを、カメラ内の一時記憶用メモリ（ＳＤＲＡＭ）に記憶させることができる。しかし、記録媒体には退避データを記録した位置（どのクラスタ等）を記録しない。このため、記録媒体におけるＦＡＴからは、退避データがどの位置（どのクラスタ）に記録されているかを識別することができ、退避データが記録媒体に残ったとしても、データ管理上、退避データが記録されていないと扱われ、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の通信が切断された等の場合であっても、実質的に、退避データ（ファイル）が残り続けることがない。
【００２５】
図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。
【００２６】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。
【００２７】
撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。
【００２８】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２９】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００３０】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００３１】
撮像素子１０３は、撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。
【００３２】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。
【００３３】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。
【００３４】
Ａ／Ｄ変換部１０７は、ＲＡＷデータ圧縮部１０８に接続されており、このＲＡＷデータ圧縮部１０８は、Ａ／Ｄ変換部１０７から出力されたＲＡＷデータの圧縮を行い、基準画像以外のＲＡＷデータの取り込み時に使用する。基準画像は、複数枚の画像データを合成する際に、基準とする画像をいう。ＲＡＷデータ圧縮部１０８は、Ａ／Ｄ変換されたＲＡＷデータに対して、折れ線またはテーブルを用い、入力データよりもデータ量の小さいデータに変換する。単純な下位ビット切り落としや、１未満の係数を乗じるような変換方法でもよいが、画像処理部１０９におけるガンマ変換を考慮し、折れ線やテーブルを用いた変換の方が、画質劣化を少なくすることができる。
【００３５】
バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７とＲＡＷデータ圧縮部１０８の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮部１１５、画像伸張部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３、通信部１４１が接続されている。
【００３６】
画像処理部１０９は、圧縮されたＲＡＷデータを伸張するＲＡＷデータ伸張部１０９ａと、通常の画像処理を行う基本画像処理部１０９ｂと、画像合成を行う画像合成部１０９ｃを有する。複数の画像を合成する場合には、ＲＡＷデータ伸張部１０９ａ、基本画像処理部１０９ｂ、および画像合成部１０９ｃを使用する。
【００３７】
基準画像以外の画像データは、ＲＡＷデータ圧縮部１０８によって圧縮されており、ＲＡＷデータ伸張部１０９ａは、圧縮されたＲＡＷデータの伸張を行う。ＲＡＷデータ伸張部１０９ａは、ＲＡＷデータ圧縮部１０８の逆特性を適用し、Ａ／Ｄ変換直後と同様のデータに変換する。圧縮が可逆であれば、同一のデータになり、また不可逆圧縮であれば、同様のデータに変換する。一般には、Ａ／Ｄ変換後のデータは、露光量に対してリニアな特性のため、ＳＤＲＡＭに記憶されている圧縮されたＲＡＷデータをリニアなＲＡＷデータに変換する。
【００３８】
基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつ特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。
【００３９】
画像合成部１０９ｃは、設定されている合成モード等応じて種々の画像合成を行う。本実施形態においては、ＨＤＲ合成、深度合成、および超解像合成の３種類の合成モードが設定可能である。ＨＤＲ合成モードが設定されている場合には、画像合成部１０９ｃは、複数の露光量で撮影した複数の画像データに対し、基準画像に対して位置合わせと合成を行うことで、単写よりも広いダイナミックレンジの画像を生成する。
【００４０】
また、深度合成モードが設定されている場合には、画像合成部１０９ｃは、複数のフォーカス位置で撮影した複数の画像データに対し、基準画像に対して位置合わせと合成を行うことで、単写とは異なる被写界深度の画像を生成する。超解像合成モードが設定されている場合には、画像合成部１０９ｃは、複数の画像データに対し、基準画像に対して位置合わせと合成を行うことがで、単写よりも解像感のある画像を生成する。
【００４１】
ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。
【００４２】
ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。
【００４３】
画像圧縮部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。
【００４４】
また、画像伸張部１１７は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。
【００４５】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。
【００４６】
操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００４７】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４８】
動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。
【００４９】
メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、ＨＤＲ合成、深度合成、および超解像合成等の合成モードがある。
【００５０】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムや、ホワイトバランスゲインやカラーマトリックスなどの画像処理に必要なパラメータ等を記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。
【００５１】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９、画像圧縮部１１５、画像伸張部１１７等において処理された画像データを一時記憶する。
【００５２】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００５３】
表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像伸張部１１７によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。
【００５４】
表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。
【００５５】
通信部１４１は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行い、ライブビュー画像や記録媒体１３１から読み出した再生画像を、ＰＣ（パーソナルコンピュータ）、スマートフォンやテレビ等の外部の表示部に送信する。また、通信部１４１は、画像合成部１０９ｃにおいて複数の画像を用いて画像合成を行う際に、一時記憶する画像データの全てまたは一部を外部の記憶媒体（例えば、ＰＣ、スマートフォン、ネットワーク上のサーバ等の記憶部）との間で画像データの送受信を行う。
【００５６】
次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４、図５、図１０に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。
【００５７】
操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。
【００５８】
初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。
【００５９】
ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このメニュー釦が押されたか否かに基づいて判定する。
【００６０】
ステップＳ７における判定の結果、メニュー釦が押された場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、撮影モードとしては、通常撮影、ＨＤＲ合成、深度合成、超解像合成等のモードが設定可能である。また、静止画記録モードとしては、ＪＰＥＧ記録、ＴＩＦＦ記録、ＪＰＥＧ−ＲＡＷ記録、ＲＡＷ記録等のモードが設定可能である。動画記録モードとしては、Ｍｏｔｉｏｎ  ＪＰＥＧ記録、Ｈ．２６４記録等のモードの設定が可能である。画質モードとしては、ファイン（Fine）、ノーマル（Normal）等のモードが設定可能である。
【００６１】
ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。
【００６２】
ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。
【００６３】
ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。
【００６４】
ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。
【００６５】
一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。
【００６６】
ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。
【００６７】
ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。
【００６８】
ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。
【００６９】
また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３７へ進む。
【００７０】
ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。
【００７１】
ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影・画像処理を行う（Ｓ４３）。ここでは、ステップＳ３５において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。
【００７２】
また、ステップＳ４３においては、撮影を行うと画像処理を行う。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、画像合成モードが設定されている場合には、このステップにおいて、画像合成モードに応じて複数回の撮影が行われ、画像合成の際に使用する画像データが記録媒体１３３等に一時的に退避する。この撮影・画像処理の詳しい動作については、図４および図５を用いて後述する。
【００７３】
撮影・画像処理を行うと、次に静止画記録を行う（Ｓ４５）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部１１５においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部１４１を介して外部の機器へ記録するようにしてもよい。
【００７４】
ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。
【００７５】
ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。
【００７６】
電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ｂによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。
【００７７】
基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。
【００７８】
ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。
【００７９】
ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。
【００８０】
このように本発明の第１実施形態におけるメインフローにおいては、画像合成モード等の設定が可能であり（Ｓ９）、画像合成モードが設定されると、撮影・画像処理において、画像合成モードに応じて複数回、撮影が行われ（Ｓ４３）、合成された画像データが記録される（Ｓ４５）。画像合成の際に、画像データの少なくとも一部を記録媒体１３３等に一時的に退避可能である。
【００８１】
次に、図４および図５に示すフローチャートを用いて、ステップＳ４３の撮影・画像処理の詳しい動作について説明する。撮影・画像処理のフローに入ると、まず、適正露出撮影を行う（Ｓ１０１）。ここでは、レリーズ釦が半押しされた際に、ステップＳ３５において算出された露出条件で撮影を行う。なお、撮影モード等によっては、このステップでの撮影は適正露光としなくてもよい。
【００８２】
適正露出撮影を行うと、次に、ＲＡＷ取り込みを行う（Ｓ１０３）。ステップＳ１０１における撮影は基準画像であり、画質を優先するために、ＲＡＷデータ圧縮部１０８によってデータ圧縮を行うことなく、非圧縮でＲＡＷ画像データを取り込みＳＤＲＡＭ１２７に記憶する。
【００８３】
ＲＡＷ取り込みを行うと、次に、ＨＤＲ合成か否かを判定する（Ｓ１０５）。ステップＳ９のカメラ設定において、撮影モードとしてＨＤＲ合成モードが設定されたか否かを判定する。ＨＤＲ合成モードは、前述したように、異なる露光量で順次撮影することによって取得した複数の画像データを用いて、単写よりも広いダイナミックレンジの画像を生成するモードである。
【００８４】
ステップＳ１０５における判定の結果、ＨＤＲ合成の場合には、露光量変更を行う（Ｓ１１１）。露光量を、例えば、ステップＳ３５で決定した適正露光条件に対して、−１段（適正露光条件に対して露光量が半分）、＋１段（適正露光条件に対して露光量が２倍）と順次変更する。露光量を変更すると、撮影を行う（Ｓ１１３）。ここでは、ステップＳ１１１において変更した露光量に従って撮影を行う。
【００８５】
撮影を行うと、ＲＡＷ圧縮取り込みを行う（Ｓ１１５）。露光量を変更して撮影した画像は基準画像でないことから、多少の画質の劣化は許容される。そこで、画像データの容量を小さくするために、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮する。
【００８６】
ＲＡＷ圧縮取り込みを行うと、次に、所定枚数か否かを判定する（Ｓ１１７）。ここでは、ＨＤＲ合成を行うために設定されている枚数、例えば、基準画像以外の撮影画像の枚数が２枚に達したか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１１１に戻り、ＨＤＲ合成のための撮影を続行する。
【００８７】
ステップＳ１０５における判定の結果、ＨＤＲ合成でない場合には、次に、深度合成か否かを判定する（Ｓ１２１）。ステップＳ９のカメラ設定において、撮影モードとして深度合成モードが設定されたか否かを判定する。深度合成モードは、前述したように、異なるフォーカス位置で順次撮影することによって取得した複数の画像データを用いて、単写とは異なる被写界深度の画像を生成するモードである。
【００８８】
ステップＳ１２１における判定の結果、深度合成の場合には、フォーカス移動を行う（Ｓ１２３）。ここでは、交換式レンズ２００内のマイクロコンピュータ２０７に対して、撮影レンズ２０１を所定フォーカス位置に順次移動させるように指示する。所定位置としては、例えば、至近側から無限遠まで１／８ステップずつ変更させた位置でもよい。
【００８９】
フォーカス移動を行うと、次に、適正露出撮影を行う（Ｓ１２５）。ここでは、露光量を、ステップＳ３５で決定した適正露光条件に従って、撮影を行う。適正露出撮影を行うと、次に、ステップＳ１１５と同様に、ＲＡＷ圧縮取り込みを行う（Ｓ１２７）。ここでは、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮する。
【００９０】
ＲＡＷ圧縮取り込みを行うと、次に、所定枚数か否かを判定する（Ｓ１２９）。ここでは、深度合成を行うために設定されている枚数、例えば、フォーカス位置のステップ数を１／８に設定した場合には、基準画像以外の撮影画像の枚数が８枚に達したか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１２３に戻り、深度合成のための撮影を続行する。
【００９１】
ステップＳ１２１における判定の結果、深度合成でない場合には、次に、超解像合成か否かを判定する（Ｓ１３１）。ステップＳ９のカメラ設定において、撮影モードとして超解像合成モードが設定されたか否かを判定する。超解像合成モードは、前述したように、複数の画像データを用いて、単写よりも解像感のある画像を生成するモードである。具体的には、センサ手振れ補正の場合にはセンサ（撮像素子１０３）を、またレンズ手振れ補正の場合には補正用レンズを、所定画素数分（例えば、センサの１画素分）ずらしながら、順次複数の撮影を行う。複数の画像データを取得すると、これらの画像データを用いて、単写とは異なる解像度の高い画像を生成するモードである。
【００９２】
ステップＳ１３１における判定の結果、超解像合成の場合には、光軸微移動を行う（Ｓ１３３）。ここでは、センサ手振れの場合には、撮像素子１０３を、例えば、１画素分移動させるように、センサの位置を光軸と直交する面内で微移動させる。また、レンズ手振れ補正の場合には補正用のレンズの状態を、例えば光軸がセンサ上において１画素分移動するよう微修正する。
【００９３】
光軸微移動を行うと、ステップＳ１２５と同様に、適正露出撮影を行う（Ｓ１３５）。ここでは、露光量を、ステップＳ３５で決定した適正露光条件に従って、撮影を行う。適正露出撮影を行うと、次に、ステップＳ１１５と同様に、ＲＡＷ圧縮取り込みを行う（Ｓ１３７）。ここでは、読み出された画像データを、ＲＡＷデータ圧縮部１０８によってデータ圧縮する。
【００９４】
ＲＡＷ圧縮取り込みを行うと、次に、所定枚数か否かを判定する（Ｓ１３９）。ここでは、超解像合成を行うために設定されている所定枚数、例えば、基準画像以外に、基準画像を撮影した位置から、左へ１画素、下へ１画素、左下へ各１画素、ずらした３枚の画像を撮影したか否かを判定する。この判定の結果、所定枚数に達していない場合には、ステップＳ１３３に戻り、超解像合成のための撮影を続行する。
【００９５】
ステップＳ１１７、Ｓ１２９、Ｓ１３９における判定の結果、所定枚数に達すると、次に、データ退避を行う（Ｓ１４１）。撮像素子１０３から読み出されたＲＡＷデータは、非圧縮のままで、または圧縮された後、ＳＤＲＡＭ１２７に記憶される。画像合成部１０９ｃは、ＳＤＲＡＭ１２７に記憶されている複数の画像データ（ＲＡＷデータ）を用いてＨＤＲ合成等の画像合成を行うが、その際、ＳＤＲＡＭ１２７に画像合成に必要なメモリ領域を確保するために、ＳＤＲＡＭ１２７に記憶されている画像データ（ＲＡＷデータ）の少なくとも一部を、記憶媒体１３１に退避させる。このデータ退避の詳しい動作については、図７および図８を用いて後述する。
【００９６】
データ退避を行うと、ステップＳ１５１以下において画像合成を行う。まず、ステップＳ１０５と同様に、ＨＤＲ合成か否かを判定する（Ｓ１５１）。この判定の結果、ＨＤＲ合成であった場合には、次に、ＲＡＷ取得と伸張を行う（Ｓ１５３）。基準画像のＲＡＷデータと合成用画像のＲＡＷデータをＳＤＲＡＭ１２７または退避先の記録媒体１３１から取得する。この場合、基準画像のＲＡＷデータは非圧縮であるが、合成用画像のＲＡＷデータは圧縮されているので、合成用画像のＲＡＷデータについては、ＲＡＷデータ伸張部１０９ａにおいて伸張処理を行う。取得した基準画像のＲＡＷデータと、伸張した合成用画像のＲＡＷデータを、ＳＤＲＡＭ１２７の作業用領域に記憶させる。
【００９７】
ＲＡＷ取得と伸張を行うと、次に、位置合わせを行う（Ｓ１５５）。ここでは、ステップＳ１５３において取得した基準画像のＲＡＷデータと合成用画像のＲＡＷデータをＳＤＲＡＭ１２７から読み出し、画像合成部１０９ｃが読み出された基準画像と合成用画像の部分部分で位置合わせを行う。
【００９８】
位置合わせを行うと、次に、ＨＤＲ合成を行う（Ｓ１５７）。ここでは、画像合成部１０９ｃが、基準画像のＲＡＷデータに対して、またはここの繰り返し処理における２回目以後の合成であれば直前の合成結果に対して、異なる露光量で順次撮影された合成用のＲＡＷデータを合成し、単写よりも広いダイナミックレンジの画像を生成する。
【００９９】
ＨＤＲ合成を行うと、次に、ステップＳ１１７と同様に、所定枚数に達したか否かを判定する（Ｓ１５９）。ここでは、合成用画像の枚数、すなわち、ＨＤＲ合成用に撮影された枚数について、ＨＤＲ合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１５３に戻り、ＨＤＲ合成を続行する。
【０１００】
ステップＳ１５１における判定の結果、ＨＤＲ合成でなかった場合には、次に、ステップＳ１２１と同様に、深度合成か否かを判定する（Ｓ１６１）。この判定の結果、深度合成の場合には、ステップＳ１５３と同様にＲＡＷ取得と伸張を行う（Ｓ１６３）。続いて、ステップＳ１５５と同様に、位置合わせを行う（Ｓ１６５）。
【０１０１】
位置合わせを行うと、次に、深度合成を行う（Ｓ１６７）。ここでは、基準画像のＲＡＷデータに対して、またはここの繰り返し処理における２回目以後の合成であれば直前の合成結果に対して、異なるフォーカス位置で順次撮影された合成用のＲＡＷデータを合成し、単写とは異なる被写界深度の画像を生成する。
【０１０２】
深度合成を行うと、次に、ステップＳ１２９と同様に、所定枚数に達したか否かを判定する（Ｓ１６９）。ここでは、合成用画像の枚数、すなわち、深度合成用に撮影された枚数について、深度合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１６３に戻り、深度合成を続行する。
【０１０３】
ステップＳ１６１における判定の結果、深度合成でなかった場合には、次に、ステップＳ１３１と同様に、超解像合成か否かを判定する（Ｓ１７１）。この判定の結果、超解像合成の場合には、ステップＳ１５３と同様にＲＡＷ取得と伸張を行う（Ｓ１７３）。続いて、ステップＳ１５５と同様に、位置合わせを行う（Ｓ１７５）。
【０１０４】
位置合わせを行うと、次に、超解像合成を行う（Ｓ１７７）。ここでは、基準画像のＲＡＷデータに対して、またはここの繰り返し処理における２回目以後の合成であれば直前の合成結果に対して、異なる光軸位置で順次撮影された合成用のＲＡＷデータを合成し、単写とは異なる解像感の画像を生成する。
【０１０５】
超解像合成を行うと、次に、ステップＳ１３９と同様に、所定枚数に達したか否かを判定する（Ｓ１７９）。ここでは、合成用画像の枚数、すなわち、超解像合成用に撮影された枚数について、超解像合成を行ったか否かを判定する。この判定の結果、所定枚数に達していなかった場合には、ステップＳ１７３に戻り、超解像合成を続行する。
【０１０６】
ステップＳ１５９、Ｓ１６９、Ｓ１７９における判定の結果、所定枚数であれば、次に、基本画像処理を行う（Ｓ１８１）。ここでは、ステップＳ１５７、Ｓ１６７、Ｓ１７７において合成されたＲＡＷデータに対して、基本画像処理部１０９ｂが基本画像処理、すなわちＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の画像を行う。基本画像処理を行うと、撮影・画像処理のフローを終了し、元のフローに戻る。なお、基本画像処理に使用するホワイトバランスゲインやカラーマトリクス、ガンマなどの各種画像処理パラメータは、各合成モードにおいて変更してもよい。
【０１０７】
このように、本実施形態における撮影・画像処理のフローにおいては、設定された撮影モード（合成モード）に沿った撮影を行うと（Ｓ１０１〜Ｓ１３９）、一旦、ＲＡＷデータを記録媒体１３１へ退避している（Ｓ１４１）。これによって、ＳＤＲＡＭ１２７に画像合成用のメモリ領域を確保し、この確保したメモリ領域を用いて画像合成を行うようにしている。このため、画像合成用に多数の画像を取得することができ、合成画像の画質を向上させることができる。
【０１０８】
なお、本実施形態においては、合成用画像データは、ＲＡＷデータ圧縮部１０８において圧縮した後（Ｓ１１５、Ｓ１２７、Ｓ１３７）、ＳＤＲＡＭ１２７に記憶し、画像合成時にＲＡＷデータ伸張部１０９ａにおいて伸張していた（Ｓ１５３、Ｓ１６３、Ｓ１７３）。しかし、合成用画像データについても非圧縮でＳＤＲＡＭ１２７に記憶し、画像合成時にそのまま使用するようにしてもよい。この場合には、メモリ容量を多く必要とするが、圧縮と伸張に要する時間を短縮することができる。
【０１０９】
次に、図６ないし図８を用いて、データ退避について説明する。図６は、ＳＤＲＡＭ１２７内のデータの記憶状態を説明する。なお、図６では、プログラム領域等は除き、データ部分のみを示している。
【０１１０】
図６（ａ）は、撮影前のデータ領域のデータ記憶状態を示しており、ＲＡＷデータは記憶されていない。図６（ｂ）は、ＳＤＲＡＭ１２７内での撮影後のＲＡＷデータの記憶状態を示しており（図、図６（ｂ）の例では、基準ＲＡＷデータ、合成用ＲＡＷデータＡ〜合成用ＲＡＷデータＧの計８データが記憶されている。なお、撮影時（図４のＳ１１３、Ｓ１２５、Ｓ１３５）は、可能な限り短時間で合成用の画像の撮影を完了させるたほうが、被写体のブレ等による合成の失敗を防ぐことができる。
【０１１１】
図６（ｃ）は、ＳＤＲＡＭ１２７に記憶されているＲＡＷデータの一部が記録媒体１３１にデータ退避した状態を示す。すなわち、ＳＤＲＡＭ１２７に記憶されていた合成用ＲＡＷデータＤ〜Ｇが、記録媒体１３１にデータ退避することにより、合成に必要な作業領域１２７ａが空いた状態となる。作業領域１２７ａが空くと、画像合成部１０９ｃは、作業領域１２７ａにおいて設定されている撮影モード（合成モード）に応じた合成処理を実行する。なお、合成用ＲＡＷデータの退避は合成用のＲＡＷデータを撮影する処理と並行して行ってもよい。
【０１１２】
図６（ｄ）は、画像合成部１０９ｃによって、基準ＲＡＷデータと合成用ＲＡＷデータＡ〜Ｃを用いて画像合成を行った状態を示す。この状態では、基準ＲＡＷデータが記憶されていた領域に、基準ＲＡＷデータと合成用ＲＡＷデータＡ〜Ｃを用いて生成された合成ＲＡＷデータが記憶される。
【０１１３】
図６（ｅ）は、記録媒体１３１に退避していた合成用ＲＡＷデータＤを、ＳＤＲＡＭ１２７の空き領域に戻した状態を示す。この状態では、画像合成部１０９ｃは、作業領域１２７ａにおいて、合成ＲＡＷデータと合成用ＲＡＷデータＤの合成処理を行い、合成後の合成ＲＡＷデータに置き換える。なお、記録媒体１３１に退避した合成用ＲＡＷデータを戻すのと、合成処理を時系列的に処理してもよく、また両者を並行して処理してもよい。また、図６（ｅ）に示す例では、合成用ＲＡＷデータＤのみを空き領域に戻しているが、合成ＲＡＷデータＤに限らず合成用ＲＡＷデータＥ、Ｆ等、複数の合成用ＲＡＷデータを戻すようにしてもよい。
【０１１４】
図６（ｆ）は、画像合成が完了した状態を示す。すなわち、図６（ｅ）に示す状態において、記録媒体１３１からＳＤＲＡＭ１２７に合成用ＲＡＷデータを順次戻して画像合成を繰り返し、全ての合成用ＲＡＷデータを用いて画像合成を行うと、図６（ｆ）に示すように、合成完了ＲＡＷデータが生成される。
【０１１５】
図７は、記録媒体１３１のデータの記録領域を示す図である。図７に示すように、記録媒体１３１の記録領域としては、ファイルアロケーションテーブル（ＦＡＴ）領域１３１ａ、ディレクトリエントリ記録領域１３１ｂ、データ記録領域１３１ｃを有する。
【０１１６】
ファイルアロケーションテーブル（ＦＡＴ）領域１３１ａは、ファイルにおけるデータを記録するにあたって、１つ以上のどのクラスタをどの順番で使用して記録している管理する領域である。また、ディレクトエントリ記憶領域１３１は、どのようなファイルが記録されているかを示す領域である。データ記録領域１３１ｃは、データを記録するための領域であり、クラスタごとに記録される。
【０１１７】
ＦＡＴでは、データ記録領域において、記録する単位であるクラスタをどのように使っているかを示すデータが記録されている。１つのクラスタに記録できる最大容量が決まっているために、１つのクラスタに記録しきれない場合には、空いているクラスタを検索し、空いているクラスタへ続いて記録していることを示す情報をＦＡＴに記録する。これ以上クラスタの続きがない場合には、ないことを示す数値を記録する。データがどのようにクラスタを使用しているかを示すクラスタのつながり情報をクラスタチェーンと呼ぶ。クラスタチェーンの先頭は、ディレクトリエントリのファイルに対する先頭クラスタ番号で判別できる。
【０１１８】
データ領域１３１ｃにデータを記録する場合には、ＦＡＴ内を検索して未使用のクラスタを検出し、データを書き込む。そのクラスタにデータが大きく全てを書き込むことができない場合には、次の空きクラスタを検索し、ＦＡＴに空きクラスタへデータが続くことを記録し、空きクラスタへデータを書き込む。この処理を繰り返し、データの全てが書き込むことができると、ＦＡＴにこれ以上クラスタが繋がらないことを示すデータを書き込む（図８では、ＥＮＤ）。その後、ディレクトリエントリにファイル名情報、データサイズ、先頭クラスタ番号を記録する。
【０１１９】
データ領域１３１ｃからデータを読み込む場合には、ディレクトエントリ記録領域１３１ｂに記録されているファイル名からサイズと先頭クラスタを取得する。先頭クラスタが分かると、データ記録領域１３１ｃから先頭クラスタに対応するデータを読み出し、サイズに達していない場合には、ＦＡＴから次のクラスタを取得して読み込むことを繰り返す。
【０１２０】
一般に、記録媒体への書き込みは時間がかかるため、ＦＡＴ記録領域やディレクトエントリ記録領域のデータは、一旦カメラ内のＳＤＲＡＭに読み込み、必要な編集を行って記録媒体に書き込む。
【０１２１】
本実施形態においては、図８に示すように、退避するデータを記録媒体に書き込む場合には、カメラ内のＦＡＴ１２７ｔ（ＳＤＲＡＭ１２７に記録されている）には、従来と同様、クラスタチェーンを記録するが、この記録に加えて、退避データのクラスタチェーンであることが分かる管理情報を記録する。図８に示す例では、記録媒体１３１のデータ記録領域のクラスタ番号９〜１１に退避データが記録され、管理情報としてマスクビット１２７ｕとして“１”を記録する。なお、退避データが記録されていないクラスタには、マスクビット１２７ｕとして“０”を記録する。
【０１２２】
また、ＳＤＲＡＭ１２７内のディレクトエントリ１２７ｖには、データが記録されているクラスタ番号、ファイル名、サイズが記録されている。しかし、退避したデータはディレクトエントリではなく、退避データのエントリ領域１２７ｗに記憶して管理する。記録媒体１３１では、ＦＡＴは退避データが記録されているクラスタは空クラスとしてディレクトリエントリ１３１ｖに記録し、退避データ用エントリは記録しない。
【０１２３】
記録媒体１３１に退避したデータを読み込む場合には、退避データ用エントリ１２７ｗから必要なデータが記録されている先頭クラスタ（図８の例ではクラスタ９）を取得し、ＳＤＲＡＭ内のＦＡＴ１２７ｔを参照しながら、ＥＮＤまでデータを、記録媒体１３１から読み込む。図８に示す例では、クラスタ９、１０、１１に記録されているデータを読み込む。
【０１２４】
このように、退避データの管理情報をＳＤＲＡＭ１２７に記憶すると共に、記録媒体１３１にデータを退避させるが管理情報を記録していない。このため、記録媒体１３１における管理情報としては、退避データを記録したファイルは存在しないことになる。すなわち、記録媒体１３１におけるディレクトリ１３１ｖやＦＡＴ１３１ｔには、退避データを記録したファイルに関する情報は記録されておらず、そのため、異常終了（カメラの電池切れ、記録媒体の着脱等）しても、記録媒体１３１にユーザが意図していないファイルが残る問題を回避できる。
【０１２５】
本実施形態においては、撮影を複数回行いことにより、複数の画像データをＳＤＲＡＭ１２７に一時記憶し（図３のＳ４３，図４のＳ１０１〜Ｓ１３９）、この一時記憶した複数の画像データを用いて画像合成を行うにあたって（図５のＳ１５１〜Ｓ１７９）、複数の画像データの少なくとも一部を記録媒体１３１に退避させ（図５のＳ１４１）、画像合成時には、退避データをＳＤＲＡＭ１２７に戻して使用している（図５のＳ１５３、Ｓ１６３、Ｓ１７３、図６の（ｅ）等参照）。このため、ＳＤＲＡＭ１２７の容量が小さくても、多数の画像データを用いて、画像合成することができ、合成画像の画質を向上させることができる。
【０１２６】
また、画像データを記録媒体１３１に退避させるたにあたって、退避用の管理情報（退避データエントリ１２７ｗとＦＡＴ１２７ｔにおけるマスクビット１２７ｕに１が設定されている部分）をＳＤＲＡＭ１２７内に記憶するが、記録媒体１３１には記録していない。このため、カメラが異常終了し、退避データがＳＤＲＡＭ１２７に戻された場合であっても、記録媒体１３１には、退避データの管理情報が記録されていないことから、実質的に退避データが残り続けることはない。
【０１２７】
次に、図９ないし図１１を用いて、本発明の第２実施形態について説明する。第１発明においては、カメラ内の記録媒体１３１のファイルシステムに直接アクセスできることから、退避データの管理情報（退避データ用エントリ１２７ｗやＦＡＴ１２７ｔ、マスクビット１２７ｕにおける情報）を制御可能であった。これに対して、第２実施形態においては、記録媒体は通信部１４１を介して接続される外部データ記録装置である。カメラ外部の機器に対しては、カメラは直接、ファイルにアクセスすることができず、カメラ本体が退避データの管理情報を制御することができない。そこで、カメラと外部データ記録装置との間で接続が途絶えた場合には、一定時間後に退避データを自動消去するようにしている。すなわち、外部データ記録装置側で、データ受信、転送、ファイル削除を実行させるようにしている。
【０１２８】
本実施形態におけるカメラ側の構成は、図１に示した第１実施形態におけるカメラと同様である。また、外部データ記録装置は、ＰＣ、スマートフォン、ネットワークストレージで等ある。図９を用いて、外部データ記録装置の一例の構成を説明する。
【０１２９】
外部記録装置３００は、通信部３０１、メモリ３０３、制御部３０５、ユーザインターフェース３０７を有する。通信部３０１は、カメラ本体１００内の通信部１４１と、有線通信または無線通信等によって、データの送受信を行うことができる。
【０１３０】
メモリ３０３は、電気的に書き換え可能な揮発性または不揮発性のメモリであり、通信部３０１を介して入力した画像データを記録することができる。また、外部データ記録装置を制御するためのプログラム等が記憶されている。このメモリ３０３は、図７および図８に示した記録媒体１３１と同様の記録領域を有している。
【０１３１】
制御部３０５は、メモリ３０３に記憶されているプログラムに従って外部記録装置３００の全体制御を行う。ユーザインターフェース３０７は、表示部や操作部等を有し、ユーザに情報等を表示すると共にユーザから指示を入力する。なお、外部記録装置３００が単なるメモリであり、通信等によって制御できるのであれば、ユーザインターフェース３０７を設けなくてもよい。
【０１３２】
次に、図１０および図１１を用いて、本実施形態における動作について説明する。カメラにおけるメイン動作は、図２および図３に示したフローチャートと同様であることから詳しい説明は省略する。ただし、図３のステップＳ４５では、後述の削除時間を指定することなく、後述の外部データ記録装置３００に記録する静止画像データを送信し、外部データ記録装置３００では所定時間経過後も削除しない形式でファイルとして記録する。また、図３のステップＳ４３における撮影・画像処理における動作は、図４および図５に示したフローチャートの内、図５を図１０に置き換える点で相違する（図４に示したフローチャートは同様である）。そこで、図１０を用いて相違点を中心に説明する。
【０１３３】
図１０に示すフローチャートは、図５に示したフローチャートにおいて、ステップＳ１５４、Ｓ１６４、Ｓ１７４を追加したのみであり、その他のステップは、図５のフローチャートと同様である。そこで、この相違点を中心に説明する。
【０１３４】
本実施形態において、撮影・画像処理の動作を開始すると、まず、図４のＳ１０１〜Ｓ１３９において、撮影を行い、複数の画像データを取得する。複数の画像データを取得すると、データ退避を行う（Ｓ１４１）。ここでは、一旦データを外部データ記録装置３００内のメモリ３０３に退避させ、合成に必要なメモリ領域を確保する。すなわち、通信部１４１と通信部３０１を経由して、外部データ記録装置、例えば、ネットワーク上のストレージ、スマートフォン、ＰＣに、データを退避する。
【０１３５】
ステップＳ１４１においてデータ退避を行い際に、カメラ本体１００と外部データ記録装置３００との通信が途絶えたのち、退避データを削除しても良い状況までの時間を指定し、この削除時間の情報を併せて送信する。外部データ記録装置３００は、カメラ本体１００から入力した削除時間をメモリ３０３に記憶する。図１０および図１１に示す例では、退避したデータを受け取る際に、通信が途絶えた場合の復旧までのタイムアウトを３０秒としているため、削除時間は、このタイムアウト時間（３０秒）以上の時間（例えば、４０秒）とする。タイムアウト時間未満を指定すると、復旧してもファイルが存在しない状況となる。なお、合成にかかる処理時間が長い場合にはその長さを考慮し、合成処理にて使用するＲＡＷデータの順番等に応じて削除時間を変更してもよい。
【０１３６】
ステップＳ１４１においてデータ退避を行うと、ＨＤＲ合成か否かを判定し（Ｓ１５１）、この判定の結果、ＨＤＲ合成であった場合には、ＲＡＷ取得と伸張を行う（Ｓ１５３）。ＲＡＷ取得と伸張を行うと、次に、失敗か否かの判定を行う（Ｓ１５４）。外部データ記録装置３００へ通信する場合、カメラ本体１００内の記録媒体１３１へデータ退避を行う場合に比較し、通信エラーを起こしやすい。そこで、本実施形態においては、ＲＡＷ取得と伸張を成功したか否かによって、通信エラーが起きたかを判定している。
【０１３７】
ステップＳ１５４における失敗か否かの判定は、ＲＡＷ取得時に、退避データを送信した外部データ記録装置３００と通信できない場合には、所定時間（例えば、３０秒）待機し、通信路が確立できなかった場合に失敗と判定する。
【０１３８】
ステップＳ１５４における判定の結果、失敗であった場合には、エラー表示を行う（Ｓ１８３）。このステップでは、表示パネル１３５に合成に失敗したことを示す文字やアイコン等を表示し、撮影者に対して合成に失敗したことを伝える。エラー表示を行うと、元のフローに戻る。一方、ステップＳ１５４における判定の結果、失敗でなかった場合には、ステップＳ１５５に進み、第１実施形態と同様に、ＨＤＲ合成を行う。
【０１３９】
ステップＳ１６１において深度合成と判定された場合には、ステップＳ１６３において、ステップＳ１５４と同様に、通信路が確立できない状態でタイムアウト時間が経過したかに基づいて失敗か否かの判定を行い、失敗であった場合には、エラー表示を行い（Ｓ１８３）、エラー表示を行うとし、元のフローに戻る。一方、ステップＳ１６４における判定の結果、失敗でなかった場合には、ステップＳ１６５に進み、第１実施形態と同様に、深度合成を行う。
【０１４０】
ステップＳ１７１において超解像合成と判定された場合には、ステップＳ１７３において、ステップＳ１５４と同様に、通信路が確立できない状態でタイムアウト時間が経過したかに基づいて失敗か否かの判定を行い、失敗であった場合には、エラー表示を行い（Ｓ１８３）、エラー表示を行うと、元のフローに戻る。一方、ステップＳ１７４における判定の結果、失敗でなかった場合には、ステップＳ１７５に進み、第１実施形態と同様に、超解像合成を行う。
【０１４１】
このように、本実施形態における撮影・画像処理のフローにおいては、第１実施形態と同様、画像合成のためにデータ退避を行っていることから、ＳＤＲＡＭ１２７の容量が小さくても大容量の画像データを取得することができる。このため、合成画像の画質を向上させることができる。
【０１４２】
次に、図１１を用いて、外部データ記録装置３００におけるデータ退避の動作について説明する。図１１に示す外部データ記録装置のメインフローがスタートすると、まず、通信可能か否かの判定を行う（Ｓ２０１）。ここでは、通信可能か状態か否かをチェックする。無線通信や有線通信であれば、通信路が確立されているかどうかを判定する。なお、同一機器内にメモリ３０３が配置されている場合であっても、本方式を採用することができ、その場合には、カメラ機能が動作しているか否かをチェックする。
【０１４３】
ステップＳ２０１における判定の結果、通信可能であれば、次に、データ受信か否かを判定する（Ｓ２０３）。ここでは、カメラ本体１００からデータを受信できたか否かを判定する。同一機器内の場合には、データ退避要求が有ったか否かについて判定する。
【０１４４】
ステップＳ２０３における判定の結果、データを受信した場合には、次に、退避データを受信する（Ｓ２０５）。データ受信を行うと、次に、ファイル記録を行う（Ｓ２０７）。ここでは、外部データ記録装置３００内のメモリ３０３に退避データを記録する。ファイル名は、重複しなければ任意のファイル名を使用してもよい。
【０１４５】
ファイル記録を行うと、次に、削除時間有か否かを判定する（Ｓ２０９）。図１０のＳ１４１のデータ退避のステップにおいて、通信が途絶えた場合の復旧までのタイムアウト時間に応じて決まる削除時間（図１０の例では、４０秒）が、カメラ本体１００から外部データ記録装置３００に対して送信されてくる。このステップでは、カメラ本体１００から削除時間が送信されてきたか否かを判定する。ステップＳ２０９における判定の結果、削除時間有の場合には、削除時間を記憶する（Ｓ２１１）。
【０１４６】
ステップＳ２０３における判定の結果、データ受信がない場合には、データ要求があった否かを判定する（Ｓ２１３）。カメラ本体１００は、画像合成にあたって、外部データ記録装置３００のメモリ３０３に退避させたデータを使用する場合には、外部データ記録装置３００に対してデータ要求を送信する。このステップでは、このデータ要求信号が有るか否かを判定する。
【０１４７】
ステップＳ２１３における判定の結果、データ要求があった場合には、データ転送を行う（Ｓ２１５）。ここでは、データ要求のあった合成用ＲＡＷデータを読み出し、カメラ本体１００に送信する。
【０１４８】
データ転送を行うと、次にファイル削除を行う（Ｓ２１７）。ここでは、読み出し、カメラ本体１００に送信した合成用ＲＡＷデータをメモリ３０３から削除する。ファイル削除を行うと、合成用ＲＡＷデータに付随して出力された削除時間を削除する（Ｓ２１９）。
【０１４９】
ステップＳ２０１における判定の結果、通信可能状態でない場合には、削除時間をチェックする（Ｓ２２１）。退避させたデータの数に応じて削除時間が記憶されているため、各削除時間に対して、通信不可能になってからその時間が経過したか否かを確認する。
【０１５０】
削除時間をチェックすると、指定された削除時間が経過したか否かを判定する（Ｓ２２３）。このステップでは、通信不能となってから指定された削除時間が経過したか否かを判定する。
【０１５１】
ステップＳ２２３における判定の結果、指定時間が経過すると、ファイル削除を行う（Ｓ２２５）。指定時間が経過したことから、通信不能となり、メモリ３０３に記録した合成用ＲＡＷデータの全てを削除する。ステップＳ２２５において、ファイル削除を行うと、次に、削除時間を削除する（Ｓ２２７）。
【０１５２】
ステップＳ２２７において削除時間を削除すると、またステップＳ２２３における判定の結果、指定時間が経過すると、またステップＳ２１９において削除時間を削除すると、またステップＳ２１３における判定の結果、データ要求がなかった場合、またはステップＳ２０９における判定の結果、削除時間がなかった場合、またはステップＳ２１１において削除時間を記憶すると、次に、終了か否かを判定する（Ｓ２２９）。終了条件としては、ユーザが何らかの操作部材等によって終了指示を行ったとき、外部機器の電源がオフまたは再起動しようとしている場合等がある。この判定の結果、終了でない場合には、ステップＳ２０１に戻り、動作を続行し、一方、終了の場合には、メインフローの動作を終了する。
【０１５３】
このように、第２実施形態においては、カメラ本体１００側において、メモリ３０３のファイルシステムを制御できないことから、外部データ記録装置３００とのリンクが切れた場合には、一定時間後（削除時間後）に、外部データ記録装置３００内の合成用ＲＡＷデータを自動的に消去するようにしている。
【０１５４】
例えば、カメラ本体１００において、複数枚連続撮影し（例えば８枚撮影）、そのうちの一部のデータ（４枚）をカメラ本体１００内のＳＤＲＡＭ１２７に記録し、他の一部のデータ（４枚）を外部データ記録装置３００内のメモリ３０３に退避させる。カメラ本体１００から退避データを外部データ記録装置３００に退避データを送信する際に、削除時間も送信し、この削除時間を用いて、カメラ本体１００が異常終了等によって通信が終了してしまった場合には、外部データ記録装置３００は退避データを削除するようにしている。
【０１５５】
以上説明したように、本発明の各実施形態においては、画像データを取得する画像データ取得部（例えば、撮像素子１０３）と、画像データを一時記憶する一時記憶部（例えば、ＳＤＲＡＭ１２７）と、一時記憶された画像データを画像処理する画像処理部（例えば、画像合成部１０９ｃ）と、一時記憶された画像データの少なくとも一部の退避データを記録可能な記録媒体（例えば、記録媒体１３１、メモリ３０３）と、退避データを管理するための管理情報を記憶する管理情報記憶部（例えば、退避データ用エントリ１２７ｗ）と、退避データを記録媒体に記憶させる際に、管理情報を用いて退避データの管理を行う制御部（例えば、マイクロコンピュータ１２１）を有している。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１５６】
また、本発明の実施形態においては、制御部（例えば、マイクロコンピュータ１２１）は、画像処理部によって画像処理を行う際に、退避データを記録媒体に記録させ、その際、記録媒体に記録させた記録位置を示す管理情報を管理情報記憶部（例えば、ＳＤＲＡＭ１２７の退避データ用エントリ１２７ｗ）に記憶するが、記録媒体（例えば、記録媒体１３１）には管理情報を記録させていない（例えば、図８参照）。すなわち、記録媒体（例えば、記録媒体１３１、メモリ３０３）には、管理上、ファイルが存在していない。
【０１５７】
また、本発明の実施形態においては、撮像装置は、一時記憶部（例えば、ＳＤＲＡＭ１２７）から退避データを記録媒体（例えば、メモリ３０３）に送信するための通信部（例えば、通信部１４１）を有しており、通信部を介して退避データと共に、削除時間情報（例えば、図１０のＳ１４１）を記録媒体側の制御部（例えば、制御部３０５）に送信している。このため、記録媒体が撮影装置の外部にある場合に、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１５８】
また、本発明の実施形態においては、制御部（例えば、制御部３０５）は、削除時間経過後に記録媒体（例えば、メモリ３０３）に一時記憶された退避データを削除するようにしている（例えば、図１１のＳ２２５）。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが削除されるので、残り続けることがない。
【０１５９】
また、本発明の実施形態においては、画像データ記録装置（例えば、画像データ記録装置３００）は、撮像装置（例えば、カメラ本体１００）から出力された画像データを記録する。また、退避データを削除時間と共に通信部を介して取得するデータ取得部（例えば、通信部３０１）と、退避データを記録可能な記録媒体（例えば、メモリ３０３）と、削除時間を記憶する管理情報記憶部（例えば、メモリ３０３、なお、メモリ３０３と別体としてもよい）と、通信部を介する通信路が確立しなくなってから削除時間が経過した場合に、退避データを消去する制御部（例えば、制御部３０５）を有している。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の通信が切断された等の場合であっても、画像データ記録装置に、ファイルが残り続けることがない。
【０１６０】
また、本発明の各実施形態においては、被写体を撮像して画像データを得る撮像部（例えば、撮像素子１０３）と、画像データを一時記憶する記憶部（例えば、ＳＤＲＡＭ１２７）と、複数の画像データを合成し、合成した画像データを生成する画像合成部（例えば、画像合成部１０９ｃ）と、データ記録を制御する記録制御部（例えば、マイクロコンピュータ１２１）と、撮像装置を制御する制御部（例えば、マイクロコンピュータ１２１）を有し、制御部は、撮像部に対して連続して複数の画像データを取得するように指示し（例えば、図４のＳ１０１〜Ｓ１３９）、複数の画像データの少なくとも一部を記録制御部に対して第１の記録方式で記録するように指示し（例えば、図８の記録媒体１３１における記録方式）、複数の画像データを画像合成部で合成するように指示し、画像合成部で生成した画像データを記録制御部に対して第２の記録方式で記録するように指示している（例えば、図８のＳＤＲＡＭ１２７における記録方式）。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けることがない。なお、第１の記録方式は、少なくとも所定時間経過後に、ファイルとして見えないように画像データを記録する方式であり、第２の記録方式は、少なくとも所定時間経過後に、ファイルとして存在するように画像データを記録する方式である。
【０１６１】
また、本発明の各実施形態においては、不揮発性メモリ（例えば、記録媒体１３１）を有し、記録制御部は、不揮発性メモリに対するデータ記録を制御し、第１の記録方式は、不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にはファイルとしての情報を記録せず（例えば、図８の記録媒体１３１における記録方式）、第２の記録方式は、不揮発性メモリのデータ記録用のクラスタに対してデータを記録し、管理領域にファイルとしての管理情報の記録を行っている。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１６２】
また、本発明の実施形態においては、ファイル削除制御部を有し、第１の記録方式は、異常検出後削除するまでの削除時間を指定してデータを記録し（例えば、図１１のＳ２１１）、第２の記録方式は、削除時間の指定を行わずにデータを記録し、ファイル削除制御部は、異常を検出した後、削除時間経過のファイルの削除を行っている（図１１のＳ２２５）。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１６３】
また、本発明の各実施形態においては、画像データを取得し（例えば、図４のＳ１０１、Ｓ１１３、Ｓ１２５、Ｓ１３５）、画像データを一時記憶し（例えば、図４のＳ１０３、Ｓ１１５、Ｓ１２７、Ｓ１３７、図６（ｂ））、一時記憶された画像データの少なくとも一部を退避データとして退避させ（例えば、図５のＳ１４１、図６（ｃ）〜図６（ｅ））、退避データを管理するための管理情報を記憶し（例えば、図８の退避データ用エントリ１２７ｗ）、退避データを記録媒体に記憶させる際に、管理情報を用いて退避データの管理を行い（例えば、図８）、退避させた退避データを用いて画像処理を行っている（例えば、図６（ｃ）〜（ｅ））。このため、撮像装置が異常終了した場合や、記録媒体と撮像装置の間の接続や通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１６４】
また、本発明の実施形態においては、退避データを削除時間と共に取得し（例えば、図１１のＳ２０５）、退避データと削除時間を記憶し（例えば、図１１のＳ２０７、Ｓ２１１）、退避データを入力する通信路が確立しなくなってから削除時間が経過した場合に、退避データを消去している（例えば、図１１のＳ２２３、Ｓ２２５）。このため撮像装置と画像データ記録装置の通信が切断された等の場合であっても、ファイルが残り続けることがない。
【０１６５】
なお、本発明の第１実施形態においては、記録媒体１３１はカメラ本体１００内に配置されていたが、カメラ本体１００で外部の記録媒体のファイル管理を行うことができれば、記録媒体１３１の位置はカメラ本体外であってもよい。また、本発明の第２実施形態においては、メモリ３０３はカメラ本体１００外に配置されていたが、カメラ本体１００内で外部の記録媒体（メモリ３０３）のファイル管理を行うことができれば、メモリ３０３はカメラ本体内にあってもよい。また、本発明の第１実施形態で説明した退避データに関する管理情報は記録しないファイルの管理方法を、本発明の第２実施形態で説明した外部データ記録装置３００で行ってもよい。
【０１６６】
また、本発明の各実施形態においては、撮影を複数回行い、この時取得した複数の画像データを用いて画像合成を行っていたが、１回の撮影で取得した１つの画像データを複数に分割して画像合成を行うようにしてもよい。また、複数のＲＡＷデータを用いて画像合成していたが、ＲＡＷデータに限らず、一旦、ＪＰＥＧデータ等に変換した後に画像合成するようにしてよい。また、複数の画像データを用いて画像合成していたが、画像合成に限らず、複数の画像データを処理する画像処理であればよい。
【０１６７】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数の画像データを用いて画像処理を行う機器であれば、本発明を適用することができる。
【０１６８】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１６９】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１７０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１７１】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・ＲＡＷデータ伸張部、１０９ｂ・・・基本画像処理部、１０９ｃ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮部、１１７・・・画像伸張部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１４１・・・通信部、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・画像データ記録装置、３０１・・・通信部、３０３・・・メモリ、３０５・・・制御部、３０７・・・ユーザインターフェース
【図１】
2015177221.tif 000003
【図２】
2015177221.tif 000004
【図３】
2015177221.tif 000005
【図４】
2015177221.tif 000006
【図５】
2015177221.tif 000007
【図６】
2015177221.tif 000008
【図７】
2015177221.tif 000009
【図８】
2015177221.tif 000010
【図９】
2015177221.tif 000011
【図１０】
2015177221.tif 000012
【図１１】
2015177221.tif 000013