(57)【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得部と、
前記複数の画像の中から基準画像を決定する基準画像決定部と、
前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成部と、
を有することを特徴とする撮影装置。
【請求項２】
請求項１記載の撮影装置において、
前記置換領域を示す情報に従って前記合成画像を前記基準画像で置換した合成置換画像を生成する合成置換画像生成部をさらに有する撮影装置。
【請求項３】
請求項２記載の撮影装置において、
前記画像ファイルと前記合成置換画像の各出力の有無を設定する出力設定部をさらに有する撮影装置。
【請求項４】
請求項１ないし３のいずれか１項記載の撮影装置において、
前記複数の画像は、同一の被写体について撮影条件を変えながら連続的に撮影したものである撮影装置。
【請求項５】
請求項１ないし４のいずれか１項記載の撮影装置において、
前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものである撮影装置。
【請求項６】
複数の画像が入力する画像入力部と、
前記複数の画像の中から基準画像を決定する基準画像決定部と、
前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、
前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成部と、
を有することを特徴とする画像ファイル生成装置。
【請求項７】
複数の画像と、前記複数の画像の中から決定した基準画像を示す情報と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を示す情報と、を有する画像ファイルが入力する画像ファイル入力部と、
前記画像ファイル中の前記複数の画像並びに前記基準画像及び前記置換領域を示す情報の少なくとも一部を選択してこれに改変を加えることができるパラメータ改変部と、
前記パラメータ改変部による改変の有無を受けて、前記パラメータ改変部による複数の画像を合成して合成画像を得る画像合成部と、
前記パラメータ改変部による改変の有無を受けて、前記合成画像の少なくとも一部を、前記パラメータ改変部による置換領域に従って、前記パラメータ改変部による基準画像で置換する画像置換部と、
を有することを特徴とする画像ファイル処理装置。
【請求項８】
複数の画像の中から基準画像を決定する基準画像決定ステップと、
前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、
前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、複数の撮像デバイスのばらつきによる画質劣化を低減するとともに、高速に高解像度画像を合成することを目的とした画像合成装置が開示されている。
【０００３】
この画像合成装置は、複数の画像データを合成することにより合成画像データを生成し、複数の画像データのうちの１つを基準画像データとして選択し、合成画像データと基準画像データのそれぞれに対して分割領域の画質を比較して合成画像データの画質が向上している分割領域が含まれている合成処理範囲を選択し、合成処理範囲の合成画像データに対して合成処理範囲外の基準画像データを合成することにより高解像度化画像を生成するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像合成装置は、画像合成を行う度に、基準画像データの選択と合成処理範囲の選択を繰り返すことが必須である。このため、画像合成処理の重複が生じて、処理時間が長くなる、ＣＰＵ資源の無駄が大きくなるといった問題がある。
【０００６】
また、近年では、カメラの高機能化や多機能化に伴って、非常に多岐に亘る撮影者の撮影趣向が存在するようになっている。例えば、複数の画像データ、基準画像データ、合成処理範囲等の各種パラメータに微妙な改変を加えたオリジナルの合成画像を得たいという撮影者の撮影趣向が存在する。この点、特許文献１の画像合成装置は、一律的かつ機械的な処理フローで画像合成を行っているので、このような撮影者の撮影趣向に柔軟に対応することができない。
【０００７】
本発明は、以上の問題意識に基づいてなされたものであり、簡単な構成で、撮影者の撮影趣向に柔軟に対応することができる撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮影装置は、複数の画像を取得する画像取得部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成部と、を有することを特徴としている。
【０００９】
本発明の撮影装置は、前記置換領域を示す情報に従って前記合成画像を前記基準画像で置換した合成置換画像を生成する合成置換画像生成部をさらに有することができる。
【００１０】
本発明の撮影装置は、前記画像ファイルと前記合成置換画像の各出力の有無を設定する出力設定部をさらに有することができる。
【００１１】
前記複数の画像は、同一の被写体について撮影条件を変えながら連続的に撮影したものとすることができる。
【００１２】
前記複数の画像は、撮影光学系により形成された被写体像を電気的な画素信号に変換するイメージセンサにより撮影したものであり、且つ、前記撮影光学系の少なくとも一部をなす光学要素と前記イメージセンサの少なくとも一方を移動部材とし、この移動部材を前記撮影光学系の光軸と異なる方向に移動させながら、各移動後の被写体光束を前記イメージセンサの検出色の異なる複数の画素に入射させて撮影したものとすることができる。
【００１３】
本発明の画像ファイル生成装置は、複数の画像が入力する画像入力部と、前記複数の画像の中から基準画像を決定する基準画像決定部と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出部と、前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成部と、を有することを特徴としている。
【００１４】
本発明の画像ファイル処理装置は、複数の画像と、前記複数の画像の中から決定した基準画像を示す情報と、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を示す情報と、を有する画像ファイルが入力する画像ファイル入力部と、前記画像ファイル中の前記複数の画像並びに前記基準画像及び前記置換領域を示す情報の少なくとも一部を選択してこれに改変を加えることができるパラメータ改変部と、前記パラメータ改変部による改変の有無を受けて、前記パラメータ改変部による複数の画像を合成して合成画像を得る画像合成部と、前記パラメータ改変部による改変の有無を受けて、前記合成画像の少なくとも一部を、前記パラメータ改変部による置換領域に従って、前記パラメータ改変部による基準画像で置換する画像置換部と、を有することを特徴としている。
【００１６】
本発明のプログラムは、複数の画像の中から基準画像を決定する基準画像決定ステップと、前記複数の画像を合成した合成画像の少なくとも一部を前記基準画像で置換するための置換領域を算出する置換領域算出ステップと、前記複数の画像並びに前記基準画像及び前記置換領域を示す情報を含む画像ファイルを生成する画像ファイル生成ステップと、をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、簡単な構成で、撮影者の撮影趣向に柔軟に対応することができる撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラムが得られる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態のデジタルカメラ（撮影装置）の要部構成を示すブロック図である。
【図２】像振れ補正装置の要部構成を示すブロック図である。
【図３】像振れ補正装置の構成を示す側面図である。
【図４】図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。
【図５】ＤＳＰ（画像ファイル生成装置）の内部構成を示す機能ブロック図である。
【図６】置換領域算出部が算出した合成画像データの基準画像置換領域と非置換領域の一例を示す図である。
【図７】画像ファイル生成部が生成した特殊画像ファイルのデータ構造を示す図である。
【図８】本実施形態のデジタルカメラによる撮影処理を示すフローチャートである。
【図９】本実施形態のデジタルカメラが出力した特殊画像ファイルを画像処理する外部アプリケーションとしての画像ファイル処理装置を示す機能ブロック図である。
【発明を実施するための形態】
【００１９】
図１〜図９を参照して、本実施形態による撮影システム（画像処理システム）について説明する。
【００２０】
図１は、デジタルカメラ（撮影装置）１０の要部構成を示すブロック図である。デジタルカメラ１０は、ボディ本体２０と、このボディ本体２０に着脱可能（レンズ交換可能）な撮影レンズ３０とを備えている。撮影レンズ３０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、撮影レンズ群（撮影光学系、移動部材、振れ補正部材）３１と、絞り（撮影光学系）３２とを備えている。ボディ本体２０は、被写体側（図１中の左側）から像面側（図１中の右側）に向かって順に、シャッタ（撮影光学系）２１と、イメージセンサ（画像取得部、移動部材、振れ補正部材）２２とを備えている。またボディ本体２０は、撮影レンズ３０への装着状態で絞り３２とシャッタ２１を駆動制御する絞り／シャッタ駆動回路２３を備えている。撮影レンズ群３１から入射し、絞り３２とシャッタ２１を通った被写体光束による被写体像が、イメージセンサ２２の受光面上に形成される。イメージセンサ２２の受光面上に形成された被写体像は、マトリックス状に配置された検出色の異なる多数の画素によって、電気的な画素信号に変換され、画像データ（後述する複数のＲＡＷ画像データ）としてＤＳＰ（画像ファイル生成装置）４０に出力される。ＤＳＰ４０は、イメージセンサ２２から入力した画像データに所定の画像処理を施して、これをＬＣＤ２４に表示し、画像メモリ２５に記憶する。なお、図１では、撮影レンズ群３１が単レンズからなるように描いているが、実際の撮影レンズ群３１は、例えば、固定レンズ、変倍時に移動する変倍レンズ、フォーカシング時に移動するフォーカシングレンズなどの複数枚のレンズを有している。
【００２１】
図示は省略しているが、イメージセンサ２２は、パッケージと、このパッケージに収納される固体撮像素子チップと、この固体撮像素子チップを密封保護するようにパッケージに固定される蓋部材とを含む複数の構成要素からなる。本明細書において、「イメージセンサ２２を駆動する」とは、「イメージセンサ２２の複数の構成要素のうち被写体光束が通過する少なくとも一部を駆動する」ことを意味する。
【００２２】
撮影レンズ３０は、撮影レンズ群３１の解像力（ＭＴＦ）情報や絞り３２の開口径（絞り値）情報などの各種情報を記憶した通信用メモリ３３を搭載している。撮影レンズ３０をボディ本体２０に装着した状態では、通信用メモリ３３が記憶した各種情報がＤＳＰ４０に読み込まれる。
【００２３】
ボディ本体２０は、ＤＳＰ４０に接続させて、撮影操作スイッチ２６を備えている。撮影操作スイッチ２６は、電源スイッチやレリーズスイッチなどの各種スイッチからなる。
【００２４】
ボディ本体２０は、ＤＳＰ４０に接続させて、ジャイロセンサ（振れ検出部）２７を備えている。ジャイロセンサ２７は、ボディ本体２０に加わる移動角速度（Ｘ軸とＹ軸周り）を検出することで、該ボディ本体２０の光軸直交平面内の振れを示す振れ検出信号を検出する。
【００２５】
図１〜図３に示すように、イメージセンサ２２は、撮影光学系の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に像振れ補正装置５０に搭載されている。像振れ補正装置５０は、ボディ本体２０のシャーシなどの構造物に固定される固定支持基板５１と、イメージセンサ２２を固定した、固定支持基板５１に対してスライド可能な可動ステージ５２と、固定支持基板５１の可動ステージ５２との対向面に固定した磁石Ｍ１、Ｍ２、Ｍ３と、固定支持基板５１に可動ステージ５２を挟んで各磁石Ｍ１、Ｍ２、Ｍ３と対向させて固定した、各磁石Ｍ１、Ｍ２、Ｍ３との間に磁気回路を構成する磁性体からなるヨークＹ１、Ｙ２、Ｙ３と、可動ステージ５２に固定した、前記磁気回路の磁界内において電流を受けることにより駆動力を発生する駆動用コイルＣ１、Ｃ２、Ｃ３を有している。駆動用コイルＣ１、Ｃ２、Ｃ３に交流駆動信号（交流電圧）を流す（印加する）ことにより、固定支持基板５１に対して可動ステージ５２（イメージセンサ２２）が光軸直交平面内で駆動するようになっている。駆動用コイルＣ１、Ｃ２、Ｃ３に流す交流駆動信号は、ＤＳＰ４０による制御の下、イメージセンサ駆動回路６０によって生成される。
【００２６】
本実施形態では、磁石Ｍ１、ヨークＹ１及び駆動用コイルＣ１からなる磁気駆動手段と、磁石Ｍ２、ヨークＹ２及び駆動用コイルＣ２からなる磁気駆動手段（２組の磁気駆動手段）とがイメージセンサ２２の長手方向（水平方向、Ｘ軸方向）に所定間隔で配置され、磁石Ｍ３、ヨークＹ３及び駆動用コイルＣ３からなる磁気駆動手段（１組の磁気駆動手段）がイメージセンサ２２の長手方向と直交する短手方向（鉛直（垂直）方向、Ｙ軸方向）に配置されている。
【００２７】
さらに固定支持基板５１には、各駆動用コイルＣ１、Ｃ２、Ｃ３の近傍（中央空間部）に、磁石Ｍ１、Ｍ２、Ｍ３の磁力を検出して可動ステージ５２（イメージセンサ２２）の光軸直交平面内の位置を示すホール出力信号（位置検出信号）を出力（検出）するホールセンサ（位置検出部）Ｈ１、Ｈ２、Ｈ３が配置されている。ホールセンサＨ１、Ｈ２により可動ステージ５２（イメージセンサ２２）のＹ軸方向位置及び傾き（回転）が検出され、ホールセンサＨ３により可動ステージ５２（イメージセンサ２２）のＸ軸方向位置が検出される。ＤＳＰ４０は、イメージセンサ駆動回路６０を介して、ジャイロセンサ２７が検出したボディ本体２０の光軸直交平面内の振れを示す振れ検出信号と、ホールセンサＨ１、Ｈ２、Ｈ３が出力したイメージセンサ２２の光軸直交平面内の位置を示すホール出力信号とに基づいて、像振れ補正装置５０によってイメージセンサ２２を光軸直交平面内で駆動する。これにより、イメージセンサ２２上への被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。
【００２８】
本実施形態のデジタルカメラ１０は、像振れ補正装置５０を利用して、イメージセンサ２２（イメージセンサユニット）を撮影光学系の光軸Ｚと直交する平面内で微細に移動させながら複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モードを搭載している。以下ではこの撮影モードを「ＲＲＳ（リアル・レゾリューション・システム）撮影モード」と呼ぶ。「ＲＲＳ撮影モード」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。
【００２９】
図４（Ａ）〜図４（Ｄ）は本実施形態の「ＲＲＳ撮影モード」の一例を示す概念図である。同図において、イメージセンサ２２は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（色帯域）の光を光電変換し、その強さ（輝度）に応じた電荷を蓄積する。より具体的に、図４（Ａ）の基準位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ下方に移動させた図４（Ｂ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ右方に移動させた図４（Ｃ）の位置で１枚の画像を撮影し、そこからイメージセンサ２２を１画素ピッチだけ上方に移動させた図４（Ｄ）の位置で１枚の画像を撮影し、最後に図４（Ａ）の基準位置に戻る。このように、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら撮影した４枚の画像が、ＲＡＷ画像データとして、ＤＳＰ（画像ファイル生成装置）４０に入力される。
【００３０】
図５は、ＤＳＰ（画像ファイル生成装置）４０の内部構成を示す機能ブロック図である。このＤＳＰ４０は、イメージセンサ２２が「ＲＲＳ撮影モード」で撮影（取得）した４枚（複数枚）のＲＡＷ画像データに対して各種の処理を施すものである。
【００３１】
ＤＳＰ（画像ファイル生成装置）４０は、画像入力部４０Ａと、画像合成部４０Ｂと、基準画像決定部４０Ｃと、置換領域算出部（基準画像置換領域算定部）４０Ｄと、基準画像置換部４０Ｅと、合成置換画像生成部（合成処理済画像ファイル生成部）４０Ｆと、合成前複数フレーム画像統合部４０Ｇと、付加情報生成部４０Ｈと、画像ファイル生成部（合成前複数フレーム画像ファイル生成部）４０Ｉと、画像ファイル保存部４０Ｊとを有している。
【００３２】
画像入力部４０Ａは、イメージセンサ２２からの４枚（複数枚）のＲＡＷ画像データが入力されるものである。
【００３３】
画像合成部４０Ｂは、画像入力部４０Ａに入力した４枚のＲＡＷ画像データを合成して画像処理し、合成画像データを得る。
【００３４】
基準画像決定部４０Ｃは、画像入力部４０Ａに入力した４枚のＲＡＷ画像データの中から１枚を選択してこれを基準画像データに決定する。例えば、基準画像決定部４０Ｃは、イメージセンサ２２が最初（１枚目）または最後（４枚目）に撮影したＲＡＷ画像データを基準画像データに決定する。
【００３５】
置換領域算出部４０Ｄは、画像合成部４０Ｂによる合成画像データの少なくとも一部を基準画像決定部４０Ｃが決定した基準画像データで置換するための置換領域を算出する。置換領域算出部４０Ｄは、画像合成部４０Ｂによる合成画像データの品質が所定の水準を満足しているか否か、すなわち手振れや被写体の動き、蛍光灯のちらつき（フリッカー）の悪影響を受けているか否か等に基づいて、置換領域を算出する。
【００３６】
より具体的に、置換領域算出部４０Ｄは、基準画像データと他の合成前フレーム画像データとを画素ごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、各合成前フレーム画像データをブロック化し、基準画像データと他の合成前フレーム画像データとをブロックごとに比較することにより、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、輝度データや色差データにより差分情報を得て、この差分情報に基づいて、置換領域を算出する。あるいは、置換領域算出部４０Ｄは、高周波成分の検出を行ってその高周波成分が閾値を超えているか否かを判定することにより、置換領域を算出する。このように、置換領域算出部４０Ｄが置換領域を算出する態様には自由度があり、種々の設計変更が可能である。
【００３７】
図６は、置換領域算出部４０Ｄが算出した合成画像データの基準画像置換領域と非置換領域の一例を示す図である。合成画像データの基準画像置換領域は、合成画像データの品質が所定の水準を満足しないために基準画像データでの置換が指定される領域であり、非置換領域は、合成画像データの該当部分をそのまま適用（使用）する領域である。
【００３８】
基準画像置換部４０Ｅは、置換領域算出部４０Ｄが算出した置換領域（図６）に従って、画像合成部４０Ｂによる合成画像データを、基準画像決定部４０Ｃが決定した基準画像データで置換する。
【００３９】
合成置換画像生成部４０Ｆは、基準画像置換部４０Ｅが置換した合成置換画像データを所定のファイル形式（例えばＪＰＥＧ形式）で生成する。
【００４０】
合成前複数フレーム画像統合部４０Ｇは、画像入力部４０Ａに入力した４枚のＲＡＷ画像データを合成前複数フレーム画像として統合する。
【００４１】
付加情報生成部４０Ｈは、基本付加情報（例えばＥｘｉｆ等、ＲＡＷ画像データ用画像処理パラメータを含む）に、基準画像決定部４０Ｃが決定した基準画像データ及び置換領域算出部４０Ｄが算出した置換領域を統合した付加情報を生成する。基本付加情報のＲＡＷ画像データ用画像処理パラメータは、例えば、通常ＲＡＷデータに備わる色情報など、置換領域に関わる補足としてのＡＦ領域やレンズ情報を含んでおり、置換領域もそれらの情報を使って、複数レベルを記憶することが可能である。
【００４２】
画像ファイル生成部４０Ｉは、合成前複数フレーム画像統合部４０Ｇからの合成前複数フレーム画像（４枚のＲＡＷ画像データ）及び付加情報生成部４０からの付加情報を統合した特殊画像ファイルを生成する。
【００４３】
図７は、画像ファイル生成部４０Ｉが生成した特殊画像ファイルのデータ構造を示す図である。この特殊画像ファイルは、図中の上方から下方に向かって順に、基本付加情報（例えばＥｘｉｆ等）、基準画像フレーム指定情報（基準画像決定部４０Ｃが決定した基準画像データを示す情報）、基準画像置換領域情報（置換領域算出部４０Ｄが算出した置換領域を示す情報）、及び、合成前複数フレーム画像（４枚（ｎ枚（ｎは正の整数））のＲＡＷ画像データ）を階層化して統合したデータ構造を有している。なお、特殊画像ファイルの階層化構造は図７に示したものに限定されず種々の設計変更が可能である。
【００４４】
画像ファイル保存部４０Ｊは、合成置換画像生成部４０Ｆが所定のファイル形式（例えばＪＰＥＧ形式）で生成した合成置換画像データ、及び、画像ファイル生成部４０Ｉが生成した特殊画像ファイル（図７）を対応付けて保存する。
【００４５】
画像ファイル保存部４０Ｊに保存された合成置換画像データと特殊画像ファイルの各出力の有無は、以下に示す４つの出力モード１〜出力モード４のいずれかに設定される。デジタルカメラ１０は、これら４つの出力モード１〜出力モード４のいずれかを選択的に設定するＲＲＳ撮影モード設定部（出力設定部）２８（図１）を有している。
出力モード１：合成置換画像データと特殊画像ファイルの双方を出力する。
出力モード２：合成置換画像データと特殊画像ファイルの双方を出力しない。
出力モード３：合成置換画像データを出力し特殊画像ファイルを出力しない。
出力モード４：特殊画像ファイルを出力し合成置換画像データを出力しない。
【００４６】
図８のフローチャートを参照して、本実施形態のデジタルカメラ１０によるＲＲＳ撮影処理を説明する。この撮影処理は、ＤＳＰ（画像ファイル生成装置）４０のコンピュータに所定のプログラムを実行させることにより実現される。
【００４７】
ステップＳ１では、イメージセンサ２２が４枚（複数枚）のＲＡＷ画像データを取得してこれが画像入力部４０Ａに入力される。
【００４８】
ステップＳ２では、画像合成部４０Ｂが、画像入力部４０Ａに入力した４枚のＲＡＷ画像データを合成して合成画像データを得る。
【００４９】
ステップＳ３では、基準画像決定部４０Ｃが、画像入力部４０Ａに入力した４枚のＲＡＷ画像データの中から１枚を選択してこれを基準画像データに決定する。
【００５０】
ステップＳ４では、置換領域算出部４０Ｄが、画像合成部４０Ｂによる合成画像データの少なくとも一部を基準画像決定部４０Ｃが決定した基準画像データで置換するための置換領域を算出する。
【００５１】
ステップＳ５では、基準画像置換部４０Ｅが、置換領域算出部４０Ｄが算出した置換領域に従って、画像合成部４０Ｂによる合成画像データを、基準画像決定部４０Ｃが決定した基準画像データで置換する。また合成置換画像生成部４０Ｆが、基準画像置換部４０Ｅが置換した合成置換画像データを所定のファイル形式（例えばＪＰＥＧ形式）で生成する。
【００５２】
ステップＳ６では、画像ファイル保存部４０Ｊが、合成置換画像生成部４０Ｆが所定のファイル形式（例えばＪＰＥＧ形式）で生成した合成置換画像データを保存する。
【００５３】
ステップＳ７では、ＤＳＰ４０が、特殊画像ファイルの保存設定がされているか否か、すなわちＲＲＳ撮影モード設定部（出力設定部）２８による出力モードが上述した出力モード１または出力モード４に設定されているか否かを判定する。ＤＳＰ４０は、特殊画像ファイルの保存設定がされていない場合（ステップＳ７：ＮＯ）には処理を終了し、特殊画像ファイルの保存設定がされている場合（ステップＳ７：ＹＥＳ）にはステップＳ８に進む。
【００５４】
ステップＳ８では、付加情報生成部４０Ｈが、基本付加情報（例えばＥｘｉｆ等）に、基準画像決定部４０Ｃが決定した基準画像データ及び置換領域算出部４０Ｄが算出した置換領域を統合した付加情報（基準画像置換用付加情報）を生成する。
【００５５】
ステップＳ９では、合成前複数フレーム画像統合部４０Ｇが、画像入力部４０Ａに入力した４枚のＲＡＷ画像データを合成前複数フレーム画像として統合する。
【００５６】
ステップＳ１０では、画像ファイル生成部４０Ｉが、合成前複数フレーム画像統合部４０Ｇからの合成前複数フレーム画像（４枚のＲＡＷ画像データ）及び付加情報生成部４０からの付加情報を統合した特殊画像ファイル（図７）を生成する。
【００５７】
ステップＳ１１では、画像ファイル保存部４０Ｊが、画像ファイル生成部４０Ｉが生成した特殊画像ファイルを保存する。
【００５８】
図９は、本実施形態のデジタルカメラ１０が出力した特殊画像ファイル（図７）を画像処理する外部アプリケーションとしての画像ファイル処理装置７０を示す機能ブロック図である。
【００５９】
画像ファイル処理装置７０は、特殊画像ファイル入力部７１と、パラメータ改変部７２と、画像合成部７３と、画像置換部７４とを有している。
【００６０】
特殊画像ファイル入力部７１は、デジタルカメラ１０が出力した特殊画像ファイル（図７）が入力されるものである。画像ファイル処理装置７０に入力した画像ファイルは、例えばそのヘッダ情報によって、通常画像ファイルであるのか、特殊画像ファイルであるのかが判別され、特殊画像ファイルだけが特殊画像ファイル入力部７１に入出力される。特殊画像ファイル入力部７１に入力した特殊画像ファイルは個々のファイル構成要素に分解される。
【００６１】
パラメータ改変部７２は、特殊画像ファイル入力部７１に入力した特殊画像ファイル（図７）のうち、基本付加情報（ＲＡＷ画像データ用画像処理パラメータを含む）、基準画像フレーム指定情報（基準画像決定部４０Ｃが決定した基準画像データを示す情報）、基準画像置換領域情報（置換領域算出部４０Ｄが算出した置換領域を示す情報）、及び、合成前複数フレーム画像（４枚（ｎ枚（ｎは正の整数））のＲＡＷ画像データ）の少なくとも一部を選択してこれに改変を加えることができる。
【００６２】
画像合成部７３は、パラメータ改変部７２による改変の有無を受けて、パラメータ改変部７２による複数の画像データを合成し、パラメータ改変部７２によるＲＡＷ画像データ用画像処理パラメータにより画像処理を行って、合成画像データを得る。
【００６３】
画像置換部７４は、パラメータ改変部７２による改変の有無を受けて、画像合成部７３による合成画像データの少なくとも一部を、パラメータ改変部７２による置換領域に従って、パラメータ改変部７２による基準画像データで置換する。
【００６４】
以上のように、本実施形態の撮影システム（画像処理システム）によれば、画像ファイル生成部４０Ｉが複数の画像並びに基準画像及び置換領域を示す情報を含む特殊画像ファイル（図７）を生成するので、その後の画像合成処理において重複する演算を行う必要が無い（演算を省略できる）。このため、処理時間を短くし、ＣＰＵ資源の無駄を小さくして、装置の構成を簡単化することができる。
【００６５】
また、外部アプリケーションである画像ファイル処理装置７０によって、画像ファイル中の複数の画像並びに基準画像及び置換領域を示す情報の少なくとも一部に改変を加えることで、撮影者の撮影趣向に柔軟に対応したオリジナルの合成画像を得ることができる。デジタルカメラ１０内のＣＰＵで実行可能な処理には自ずと限界があるので、デジタルカメラ１０内で各種のパラメータを改変することは現実的ではない。この点、複数の画像並びに基準画像及び置換領域を示す情報を含む特殊画像ファイル（図７）を外部アプリケーションで改変可能な態様で出力できる本実施形態は極めて有用である。
【００６６】
以上の実施形態では、ＲＲＳ撮影モードにおいて、イメージセンサ２２を光軸直交平面内で１画素ピッチの正方形を描くように駆動しながら撮影した４枚の画像を「複数の画像」とした場合を例示して説明した。しかし、イメージセンサ２２の駆動軌跡及び駆動ピッチ並びに「複数の画像」の枚数には自由度があり、種々の設計変更が可能である。またイメージセンサ２２を駆動する方向は、撮影光学系の光軸と直交する平面内に限定されず、撮影光学系の光軸と異なる方向であればよい。さらに「複数の画像」は、ＲＲＳ撮影モードで撮影（取得）したものに限定されず、同一の被写体について撮影条件を変えながら連続的に撮影したものであればよい（例えばＨＤＲ撮影）。
【００６７】
以上の実施形態では、イメージセンサ２２を「移動部材」として、このイメージセンサ２２を光軸直交平面内で駆動する態様を例示して説明したが、本発明はこれに限定されるものではない。例えば、撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素を「移動部材」として、この光学要素を撮影レンズ３０内に設けたボイスコイルモータによって光軸直交平面内で駆動する態様も可能である。あるいは、イメージセンサ２２と撮影レンズ群（撮影光学系）３１の少なくとも一部をなす光学要素の双方を「移動部材」として、これらを光軸直交平面内で駆動する態様も可能である。
【００６８】
以上の実施形態では、ＤＳＰ４０とイメージセンサ駆動回路６０を別々の構成要素（ブロック）として描いているが、これらを単一の構成要素（ブロック）として実現する態様も可能である。
【００６９】
以上の実施形態では、像振れ補正装置５０の構成として、固定支持基板５１に磁石Ｍ１、Ｍ２、Ｍ３及びヨークＹ１、Ｙ２、Ｙ３を固定し、可動ステージ５２に駆動用コイルＣ１、Ｃ２、Ｃ３を固定した場合を例示して説明したが、この位置関係を逆にして、可動ステージに磁石及びヨークを固定し、固定支持基板に駆動用コイルを固定する態様も可能である。
【００７０】
以上の実施形態では、ボディ本体２０と撮影レンズ３０を着脱可能（レンズ交換可能）とする態様を例示して説明したが、ボディ本体２０と撮影レンズ３０を着脱不能（レンズ交換不能）とする態様も可能である。
【符号の説明】
【００７１】
１０  デジタルカメラ（撮影装置）
２０  ボディ本体
２１  シャッタ（撮影光学系）
２２  イメージセンサ（画像取得部、移動部材、振れ補正部材）
Ｒ  Ｇ（Ｇｒ、Ｇｂ）  Ｂ  カラーフィルタ
２３  絞り／シャッタ駆動回路
２４  ＬＣＤ
２５  画像メモリ
２６  撮影操作スイッチ
２７  ジャイロセンサ（振れ検出部）
２８  ＲＲＳ撮影モード設定部（出力設定部）
３０  撮影レンズ
３１  撮影レンズ群（撮影光学系、移動部材、振れ補正部材）
３２  絞り（撮影光学系）
３３  通信用メモリ
４０  ＤＳＰ（画像ファイル生成装置）
４０Ａ  画像入力部
４０Ｂ  画像合成部
４０Ｃ  基準画像決定部
４０Ｄ  置換領域算出部（基準画像置換領域算定部）
４０Ｅ  基準画像置換部
４０Ｆ  合成置換画像生成部（合成処理済画像ファイル生成部）
４０Ｇ  合成前複数フレーム画像統合部
４０Ｈ  付加情報生成部
４０Ｉ  画像ファイル生成部（合成前複数フレーム画像ファイル生成部）
４０Ｊ  画像ファイル保存部
５０  像振れ補正装置
５１  固定支持基板
５２  可動ステージ
Ｍ１  Ｍ２  Ｍ３  磁石
Ｙ１  Ｙ２  Ｙ３  ヨーク
Ｃ１  Ｃ２  Ｃ３  駆動用コイル
Ｈ１  Ｈ２  Ｈ３  ホールセンサ（位置検出部）
６０  イメージセンサ駆動回路
７０  画像ファイル処理装置（外部アプリケーション）
７１  特殊画像ファイル入力部
７２  パラメータ改変部
７３  画像合成部
７４  画像置換部
【図１】
0006485204.tif 000002
【図２】
0006485204.tif 000003
【図３】
0006485204.tif 000004
【図４】
0006485204.tif 000005
【図５】
0006485204.tif 000006
【図６】
0006485204.tif 000007
【図７】
0006485204.tif 000008
【図８】
0006485204.tif 000009
【図９】
0006485204.tif 000010