(57)【要約】【課題】画像合成処理の効果が分かりやすい情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供する。【解決手段】同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（Ｓ１５、Ｓ２１、Ｓ２７）、撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し（Ｓ２１）、この取得した複数の撮影画像データを用いて第１の画像合成を行い（Ｓ２３）、第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、換算データに基づいてメタデータを作成している（Ｓ２５）。【選択図】  図７
2019036885.tif 000002
【特許請求の範囲】
【請求項１】
同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
上記画像データ取得部によって、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
上記第１画像合成部によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成するメタデータ作成部と、
を有することを特徴とする画像処理装置。
【請求項２】
上記メタデータ作成部は、光学系の焦点距離ｆ、許容錯乱円径δ、近点距離Ｓｆおよび遠点距離Ｓｎに基づいて上記換算データを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記換算データは、換算絞り値Ｆであり、該Ｆを、
Ｆ＝ｆ２（Ｓｆ−Ｓｎ）／（２δ×Ｓｆ×Ｓｎ）  
によって算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記メタデータ作成部は、上記画像データ取得部によって行った撮影の回数と、各撮影時の絞り値に基づいて、換算絞り値Ｆを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部を有し、
上記メタデータ作成部は、上記第２画像合成部により上記第２の画像合成を行う場合には、上記同一の露出条件に基づいて、メタデータを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記画像データ取得部は、更に露出条件を異ならせて複数の撮影画像データを取得可能であり、
上記画像処理装置は、更に、上記画像データ取得部によって異なる露出条件で取得した複数の撮影画像データを用いて第３の画像合成を行う第３画像合成部を有し、
上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第３の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、
上記画像データ取得部によって、同一の露出条件、かつ異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、
上記画像データ取得部によって、同一の露出条件、かつピント位置を異ならせることなく複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、
上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、
を有し、
上記メタデータ作成部は、上記第１の画像合成を行う場合は、換算した露出条件に基づいてメタデータを作成し、一方上記第２の画像合成を行う場合は、上記同一の露出条件を用いてメタデータを作成することを特徴とする画像処理装置。
【請求項８】
同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、
上記撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行い、
上記第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ピント位置を変えながら撮影を行う等、撮影条件を切り換えて、複数コマの画像データを取得し、この取得した画像データに合成処理を施し、この合成処理を施した画像データを記録することが可能な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
撮影の際に複数コマの画像データを取得し、この取得した複数の画像データに合成処理を施し記録することは従来より種々提案されている、例えば、特許文献１には、撮像方向を変位させながら複数のフレー画像データを取得し、この取得した画像データにパノラマ画像処理を施し、パノラマ画像データを生成する画像処理装置が記載されている。この画像処理装置では、全周パノラマ画像と判断される場合に、パノラマ画像データと全周パノラマ画像であることを示す情報を関連付けて記録されている。
【０００３】
また、写真用のメタデータを含む画像ファイルフォーマットとしてエクスチェンジャブル・イメージ・ファイル・フォーマット（Ｅｘｉｆ）が使用されている。このＥｘｉｆ情報として、シャッタ速度、絞り値（Ｆ値）、ＩＳＯ感度等の情報が画像データと共に記録される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１５６５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数コマの画像データを用いて行う合成処理は、パノラマ合成処理以外にも、深度合成処理、超高解像合成処理、ハイダイナミックレンジ合成処理（ＨＤＲ）等、種々の処理がある。この内、深度合成処理の際には、撮影距離を変えて取得した複数の画像を用いて画像処理を行うために、個々の画像の被写界深度と合成された画像の被写界深度が異なっているが、前述の特許文献１には、このような効果に関連した記録については何ら記載されていない。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、画像合成処理の効果が分かりやすい情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係る画像処理装置は、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、上記画像データ取得部によって、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、上記第１画像合成部によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成するメタデータ作成部と、を有する。
【０００８】
第２の発明に係る画像処理装置は、上記第１の発明において、上記メタデータ作成部は、光学系の焦点距離ｆ、許容錯乱円径δ、近点距離Ｓｆおよび遠点距離Ｓｎに基づいて上記換算データを算出する。
第３の発明に係る画像処理装置は、上記第２の発明において、上記換算データは、換算絞り値Ｆであり、該Ｆを、  Ｆ＝ｆ２（Ｓｆ−Ｓｎ）／（２δ×Ｓｆ×Ｓｎ）  によって算出する。
第４の発明に係る画像処理装置は、上記第１の発明において、上記メタデータ作成部は、上記画像データ取得部によって行った撮影の回数と、各撮影時の絞り値に基づいて、換算絞り値Ｆを算出する。
【０００９】
第５の発明に係る画像処理装置は、上記第１の発明において、上記画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部を有し、上記メタデータ作成部は、上記第２画像合成部により上記第２の画像合成を行う場合には、上記同一の露出条件に基づいて、メタデータを生成する。
【００１０】
第６の発明に係る画像処理装置は、上記第１の発明において、上記画像データ取得部は、更に露出条件を異ならせて複数の撮影画像データを取得可能であり、上記画像処理装置は、更に、上記画像データ取得部によって異なる露出条件で取得した複数の撮影画像データを用いて第３の画像合成を行う第３画像合成部を有し、上記メタデータ作成部は、上記第１の画像合成を行う場合と、上記第３の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成する。
【００１１】
第７の発明に係る画像処理装置は、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部と、上記画像データ取得部によって、同一の露出条件、かつ異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部と、上記画像データ取得部によって、同一の露出条件、かつピント位置を異ならせることなく複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部と、上記第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部と、を有し、上記メタデータ作成部は、上記第１の画像合成を行う場合は、換算した露出条件に基づいてメタデータを作成し、一方上記第２の画像合成を行う場合は、上記同一の露出条件を用いてメタデータを作成する。
【００１２】
第８の発明に係る画像処理方法は、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し、上記撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行い、上記第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、上記換算データに基づいてメタデータを作成する。
【発明の効果】
【００１３】
本発明によれば、画像合成処理の効果が分かりやすい情報を作成し、画像データに関連付けを行うようにした画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおける深度合成処理を説明する図である。
【図３】本発明の一実施形態に係るカメラにおける超高解像合成処理を説明する図である。
【図４】本発明の一実施形態に係るカメラにおけるハイダイナミックレンジ合成処理（ＨＤＲ）を説明する図である。
【図５】本発明の一実施形態に係るカメラにおけるノイズリダクション（ＮＲ）合成処理を説明する図である。
【図６】本発明の一実施形態に係るカメラにおける電子手振れ防止処理を説明する図である。
【図７】本発明の一実施形態におけるカメラのカメラ制御動作を示すフローチャートである。
【図８】本発明の一実施形態におけるカメラのカメラ制御動作を示すフローチャートである。
【図９】本発明の一実施形態におけるカメラにおいて、メタデータの表示の例を示す図である。
【図１０】本発明の一実施形態における深度合成の動作を示すフローチャートである。
【図１１】本発明の一実施形態において、深度合成を行うために撮影する際の個々の撮影距離を示す図である。
【図１２】本発明の一実施形態において、深度合成を行うために撮影する際の個々の光学系の光路を示す図である。
【図１３】本発明の一実施形態において、深度合成を行った際の換算距離を算出するための説明図である。
【図１４】本発明の一実施形態において、深度合成を行った際の換算距離の別の算出を説明するための図である。
【図１５】本発明の一実施形態における深度合成の変形例の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態としてデジタルカメラ（以下、「カメラ」と称す）に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にスルー画表示する。撮影者はスルー画表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１６】
また、本実施形態に係るカメラは、複数コマの画像データを取得し、この複数コマの画像データを用いて行う合成処理を行うことができる。深度合成モードが設定されている場合、撮影レンズのピント位置を移動させては撮影を行い、複数のピント位置で撮影を繰り返して行うことにより、複数コマの画像データを取得し、深度合成処理を行う（後述する図１０等参照）。また、複数のピント位置の少なくとも一部を用いて、深度合成処理された画像の被写界深度に相当する換算ＦＮｏを算出し（後述する図７のＳ２５，Ｓ６３、式（６）等参照）、この換算ＦＮｏに基づく換算データを画像データと共に記録する。このように、その画像処理が行われた結果に現れる効果を効果換算データとして記載することで、その機能の効果を画像と共に積極的に伝えることが可能となる。ここではＦＮｏを例にしているが、同様の考え方は、シャッタースピードや、撮像センサの感度などにも活用することが可能である。また、画素を少しずつ分割して使うような超解像のような技術でも利用可能である。
【００１７】
図１は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、制御部１０１、撮像部１０２、記録部１０５、表示部１０６、操作部１０７、通信部１０８を有する。
【００１８】
撮像部１０２は、光学系１０２ａ、撮像素子１０２ｂ、ピント変更部１０２ｃ、露出変更部１０２ｄ、および撮像位置変更部１０２ｄを有する。なお、ピント変更部１０２ｃ、露出変更部１０２ｄおよび撮像位置変更部１０２ｄは、設定可能なモードに応じて、適宜、省略してもよい。
【００１９】
光学系１０２ａは、フォーカスレンズ等の光学レンズを有し、被写体像を形成することができる。光学系１０２ａのピント位置は、後述するピント変更部１０２ｃによって移動制御される。
【００２０】
撮像素子１０２ｂは、ＣＣＤイメージセンサ、ＣＭＯＳイメーセンサ等のイメージセンサを有する。この撮像素子１０２ｂは、光学系１０２ａによって被写体像が形成される位置付近に配置され、撮像制御部１０３ｂからの制御に従って、被写体像を画像データに変換し出力する。撮像素子１０２ｂは、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得可能な画像データ取得部として機能する。また、画像データ取得部は、露出条件を異ならせて複数の撮影画像データを取得可能である（例えば、図４のＨＤＲモード、図７のＳ１５等参照）。
【００２１】
ピント変更部１０２ｃは、光学系１０２ａの内のフォーカスレンズを光軸方向に移動する駆動機構および駆動回路を有する。ピント変更部１０２ｃは、制御部１０３からのピント合わせ信号に基づいてフォーカスレンズを合焦位置に移動させる。また、ピント変更部１０２ｃは、深度合成モードが設定された場合に、現在のフォーカスレンズのピントを検出し、フォーカスレンズを所定の異なるピント位置に順次移動させる。それぞれのピント位置で撮像素子１０２ｂが画像データを取得する。
【００２２】
露出変更部１０２ｄは、撮影時の露出条件を変更させる。露出変更部１０２ｄは、絞りおよび絞り制御回路、シャッタおよびシャッタ制御回路、ＩＳＯ感度変更回路等の内の少なくとも１つを有し、またこれらの露出制御値を検出する。すなわち、露出変更部１０２ｄは、絞り値、シャッタ速度値、およびＩＳＯ感度の内の少なくとも１つを変更することにより、露出条件を変更する。また、露出変更部１０２ｄは、ハイダイナミックレンジ合成（ＨＤＲ）モードが設定された場合に、所定の異なる露出条件で順次撮影を行う。それぞれの露出条件で画像データが取得される。
【００２３】
撮像位置変更部１０２ｅは、撮像素子１０２ｂを光軸と直交する面内で移動させる移動機構および移動回路を有する。撮像位置変更部１０２ｅは、超高解像合成モードが設定された場合に、撮像素子１０２ｂを光学系１０２ａの光軸と直交する面内で所定の異なる撮像位置に撮像素子１０２ｂを順次移動させ、それぞれの撮像位置で画像データが取得される。
【００２４】
制御部１０１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有したＡＳＩＣ（Application Specific Integrated Circuit）で構成される。ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１００内の各部を制御することによってカメラの全体を実行する。制御部１０１は、モード制御部１０１ｂ、表示制御部１０１ｃ、通信制御部１０１ｄ、および画像処理部１０３を有する。これらの各部の一部の機能は、ＣＰＵとプログラムによって実現され、また他の一部の機能は周辺回路によって実現される。
【００２５】
モード制御部１０１ｂは、ユーザによって設定されたモード等に応じて、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ、画像合成部１０３ｄ等による制御を実行させる。
【００２６】
表示制御部１０１ｃは、表示部１０６における表示の制御を行う。表示としては、撮像素子１０２ｂによって取得された画像データに基づくスルー画表示、記録部１０５に記録された画像の再生画像表示、メニュー画面表示等、種々の表示がある。また、記録部１０５に記録された際の画像表示の際には、画像データに関連して記録されているメタデータの表示を行うようにしてもよい（後述する図９参照）。
【００２７】
通信制御部１０１ｄは、通信部１０８を介して行う外部との無線（赤外線等を含む）通信、または有線通信の制御を行う。本実施形態においては、後述するように、記録部１０５に記録された画像データ等は外部装置に通信可能である（図８のＳ４５、Ｓ４７参照）。
【００２８】
画像処理部１０３は、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ、画像合成部１０３ｄ、記録制御部１０３ｅ、メタデータ作成部１０４を有する。
【００２９】
撮像制御部１０３ｂは、撮像制御回路を有し、撮像素子１０２ｂから画像データの取得の制御を行う。すなわち、撮像制御部１０３ｂは、撮像素子１０２ｂの光電変換時間や画像データの読出しを制御し、読み出した画像データを制御部１０１に出力させる。
【００３０】
撮影制御変更部１０３ｃは、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード等の設定されたモードに応じて、ピント変更部１０２ｂ、露出変更部１０２ｃ、撮像位置変更部１０２ｄを制御し、設定されたモードに応じた撮影制御を実行する。
【００３１】
画像合成部１０３ｄは、画像合成回路や画像処理回路等を有し、深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モード、ノイズリダクションモード、電子手振れ防止モード等に応じて、取得した複数コマの画像データに対して、画像処理を施す。深度合成処理モード、ハイダイナミックレンジ合成処理（ＨＤＲ）モード、超高解像合成処理モードにおける画像処理については、図２ないし図４を用いて後述する。
【００３２】
画像合成部１０３ｄは、画像データ取得部によって、異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する（例えば、図２、図７のＳ２３、図１０に示す深度合成等参照）。また、画像合成部１０３ｄは、画像データ取得部によって、同一の露出条件、かつ異なるピント位置で複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第１の画像合成を行う第１画像合成部として機能する（例えば、図２、図７のＳ２３、図１０に示す深度合成等参照）。
【００３３】
画像合成部１０３ｄは、画像データ取得部によって、同一の露出条件、かつ露出以外の条件を異ならせて複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する（例えば、図３の超解像合成、図５のノイズリダクション合成、図６の電子手振れ防止合成等参照）。また、画像合成部１０３ｄは、画像データ取得部によって、同一の露出条件、かつピント位置を異ならせることなく複数の撮影画像データを取得し、この取得した複数の撮影画像データを用いて第２の画像合成を行う第２画像合成部として機能する（例えば、図３の超解像合成、図５のノイズリダクション合成、図６の電子手振れ防止合成等参照）。
【００３４】
画像合成部１０３ｄは、画像データ取得部によって異なる露出条件で取得した複数の撮影画像データを用いて第３の画像合成を行う第３画像合成部として機能する（例えば、図４のＨＤＲモード、図７のＳ１５）。
【００３５】
記録制御部１０３ｅは、画像処理部１０３によって画像処理が施された画像データを、記録部１０５に記録する際の記録制御を行う。後述するように、画像データは、メタデータ作成部１０４によって生成されたメタデータと関連付けられ、記録部１０５に記録される。画像合成モードに応じて、実施データ、参考データ、または換算データのいずれかが関連付けられる（図７のＳ１３、Ｓ１９、Ｓ２５、Ｓ２９参照）。
【００３６】
メタデータ作成部１０４は、画像データに付随した情報を生成する。本実施形態においては、メタデータ作成部１０４は実施データ作成部１０４ａ、参考データ作成部１０４ｂ、および換算データ作成部１０４ｃをそれぞれ作成する。実施データ作成部１０４ａは、複数コマの画像データを取得した際の実際の撮影（露出）条件に基づいてメタデータを生成する。
【００３７】
参考データ作成部１０４ｂは、複数コマの画像データを取得した際の実際の複数の撮影（露出）条件から参考となる撮影（露出）条件を算出し、この撮影（露出）条件に基づいてメタデータを生成する。換算データ作成部１０４ｃは、複数コマの画像データを取得した際の実際の撮影（露出）条件から、合成された画像の撮影（露出）データの換算値を生成する。
【００３８】
例えば、本実施形態においては、ＨＤＲ合成モードが設定された際には、この実際の露出データに基づいて算出された参考データを参考にして撮影を行うことにより、類似の画像で撮影することが可能である。一方、深度合成モード設定時の換算データは、単なる換算値であることから、この換算データに応じた露出データ（絞り値、ＦＮｏ）で撮影しても、類似の画像で撮影できない。ただし、画像が有する効果に関しては、分かりやすく伝えることが出来、同様の撮影を行う時に、通常の設定では出来ない事から、こうした機能による補助が必要であることが伝えられる。
【００３９】
メタデータ作成部１０４は、第１画像合成部によって合成された合成画像データにおける絞り値の換算データを算出し、換算データに基づいてメタデータを作成するメタデータ作成部として機能する（例えば、図７のＳ２５、図１０等参照）。このメタデータ作成部は、光学系の焦点距離ｆ、許容錯乱円径δ、近点距離Ｓｆおよび遠点距離Ｓｎに基づいて上記換算データを算出する（例えば、後述する（６）式参照）。また、換算データは、換算絞り値Ｆであり、該Ｆを、  Ｆ＝ｆ２（Ｓｆ−Ｓｎ）／２δＳｆＳｎ  によって算出する（例えば、後述する（６）式参照）。メタデータ作成部は、画像データ取得部によって行った撮影の回数と、各撮影時の絞り値に基づいて、換算絞り値Ｆを算出する（例えば、図１０のＳ６３参照）。
【００４０】
メタデータ作成部１０４は、第２画像合成部により第２の画像合成を行う場合には、複数枚の撮影を行った際の同一の露出条件に基づいて、メタデータを生成するメタデータ作成部として機能する（例えば、図７のＳ２７〜Ｓ２９参照）。また、メタデータ作成部１０４は、第１の画像合成を行う場合と、第３の画像合成を行う場合で、異なる露出条件を示す単一のメタデータを作成するメタデータ作成部として機能する（例えば、図７のＳ２５、Ｓ２９参照）。
【００４１】
メタデータ作成部１０４は、第１画像合成部または第２画像合成部によって合成された合成画像データを表すメタデータを作成するメタデータ作成部として機能し、このメタデータ作成部は、第１の画像合成を行う場合は、換算した露出条件に基づいてメタデータを作成し（例えば、図７のＳ２５参照）、一方第２の画像合成を行う場合は、複数の撮影時における同一の露出条件を用いてメタデータを作成する（例えば、図７のＳ２９参照）。
【００４２】
記録部１０５は、電気的に書き換え可能な不揮発性メモリを有する記録媒体である。記録部１０５には、画像データ１０５ｂと、この画像データ１０５ｂに関連付けられたメタデータ１０５ｃが記録可能である。記録部１０５に記録される画像データやメタデータ等は、例えば、Ｅｘｉｆ等の規格に従って記録される。
【００４３】
表示部１０６は、カメラの背面等に配置された表示ディスプレイを有し、表示ディスプレイには、スルー画表示、再生表示、メニュー画面等、種々の画像が表示される。
【００４４】
操作部１０７は、電源釦、レリーズ釦、再生釦、ＯＫ釦、タッチパネル等の種々の操作部材を有する。電源釦、レリーズ釦、再生釦、ＯＫ釦等の操作に応じてオンとなるスイッチを有し、操作部１０７は、スイッチの操作状態を検出し、制御部１０１に出力する。
【００４５】
通信部１０８は、外部機器やインターネット等と通信を行うための通信回路を有する。通信部１０８を介して、撮像素子１０２ｂによって取得され、記録部１０５に記録されたメタデータ付き画像データが外部に送信される。
【００４６】
次に、図２を用いて、深度合成モードが設定された場合の撮影方法と画像合成方法について説明する。図２（ａ）は、ユーザ１０がカメラ２０を用いて被写体３０を、深度合成モードで撮影する様子を示す。被写体３０の上部３０ａと下部３０ｂは、カメラ２０からの距離が異なるため、上部３０ａと下部３０ｂの両方にピントを合わせるのは困難な場合がある。このような状況で、深度合成モードが設定されると、ピントの位置を変えながら複数コマを撮影し、撮影された画像内の部分を比較し、ピントの合った部分を合成してピントの合った画像を作成する。
【００４７】
図２（ｂ）は、撮影タイミングとピントの合っている部分を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１〜ｔ２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒、絞り値ＦＮｏは１６であり、また撮影画像の内、黒塗りの部分Ｆ１（上部３０ａに相当）にピント合っている。撮影が終わると、時刻ｔ２〜ｔ３の間に、ピント変更部１０２ｃによって光学系１０２ａのピント位置を移動させる。
【００４８】
続いて、時刻ｔ４〜ｔ４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳも１／１００秒であり、絞り値ＦＮｏは１６であり、また撮影画像の内、黒塗りの部分Ｆ２（下部３０ｂに相当）にピント合っている。１回目および２回目に撮影された２つの撮影画像に深度合成処理を施すと、黒塗りの部分Ｆ１およびＦ２（上部３０ａおよび下部３０ｂ）にピントが合った画像を得ることができる。
【００４９】
図２（ｃ）において、画像４１は１枚目の撮影画像を示し、この撮影により被写体３０の上部３０ａ（図２（ｂ）のＦ１参照）にピントを合わせた画像データを取得する。次に、画像４２は２枚目の撮影画像を示し、この撮影により被写体３０の下部３０ｂ（図２（ｂ）のＦ２参照）にピントを合わせた画像データを取得する。
【００５０】
画像４１および画像４２の画像データを取得すると、次に、画像合成部１０３ｄは、両画像データを深度合成する。この深度合成処理は、画像ごとに、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域の画像データを合成する。これにより、上部３０ａおよび下部３０ｂの両方にピントがあった画像４３の画像データを生成する。深度合成処理を行うことにより、単写よりも深い被写界深度の画像データを生成することができる。
【００５１】
また、画像合成部１０３ｄが深度合成処理によって画像データを生成すると、メタデータ生成部１０４は、メタデータも生成する。深度合成を行うための１回目の撮影と、２回目の撮影と、露出は２回行われている。１回目と２回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一である。深度合成することにより、実際に撮影された個々の画像の被写界深度とは異なり、深度が深くなる。そこで、メタデータ作成部１０４は、２つの撮影のデータを用いて、換算絞り値（ＦＮｏ）を算出し、これを換算データ１０４ｃとする。メタデータ４４としては、図２（ｄ）に示すように、絞り値の換算データを記録し、実施データおよび参考データは記録しない。ユーザは、換算された絞り値を知ることができる。
【００５２】
次に、図３を用いて、超解像合成モードが設定された場合の撮影方法と画像合成方法について説明する。図３（ａ）は、ユーザ１０がカメラ２０を用いて被写体３１を、超解像合成モードで撮影する様子を示す。被写体３１は、遠方にあり、通常の焦点距離で撮影しても被写体３１は小さく写り、拡大表示（拡大プリント）しても十分な解像度の表示とはならない。
【００５３】
このような図３（ａ）に示す状況で、超解像合成モードが設定されると、撮像位置変更部１０２ｅは、光学系１０２ａの光軸と直交する面内で撮像素子１０２ｂの位置を変えながら複数コマを撮影する。そして、１回目の撮影で取得した画像における画素と画素の中間位置を、２回目から４回目の撮影において撮像素子１０２ｂの位置を変えて撮影した画像を用いて、補間により画像合成を行う。この画像合成により、実質的に画素数が増加したことになり、解像度の高い画像が生成される。超解像合成で画像４５が生成されると、図３（ｂ）に示すように、拡大画像４６の解像度は高く、拡大鑑賞が可能となる。また、メタデータ４７としては、シャッタ速度ＳＳ、絞りＦＮｏの他に、換算画素数が記録される。
【００５４】
図３（ｃ）は、超解像撮影時のタイミングチャートと撮像素子１０２ｂの移動を示す。時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ１１〜ｔ１２の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ１にある。時刻ｔ１２において撮影が終わると、撮像位置変更部１０２ｅは、時刻ｔ１３までの間に撮像素子１０２ｂを位置Ｐ２まで移動させる。
【００５５】
次に、時刻ｔ１３〜ｔ１４の間に２回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ２にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子１０２ｂの位置Ｐ２は図３（ｃ）に示すように、右下に所定量だけ移動している。この所定量は、画素間隔（画素ピッチ）よりも小さな値（例えば、画素ピッチの１／２）である。時刻ｔ１４において撮影が終わると、撮像位置変更部１０２ｅは、時刻ｔ１５までの間に撮像素子１０２ｂを位置Ｐ３まで移動させる。
【００５６】
次に、時刻ｔ１５〜ｔ１６の間に３回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ３にある。このタイミングにおいて位置Ｐ１は破線で示しており、撮像素子１０２ｂの位置Ｐ３は図３（ｃ）に示すように、右上に所定量だけ移動している。
【００５７】
以後、時刻ｔ１７〜ｔ１８において４回目の撮影がなされ、時刻ｔ１９〜ｔ２０において５回目の撮影がなされる。これらタイミングでもシャッタ速度ＳＳは１／１００秒であり、また撮像素子１０２ｂは位置Ｐ４、Ｐ５と、位置Ｐ１よりも左下、左上に所定量だけ移動している。
【００５８】
複数の画像データを取得すると、画像合成部１０３ｄは超解像合成処理を施す。すなわち、撮像素子１０２ｂの位置Ｐ１を基準として、画素が所定量移動した際の画像データを用いて、画素間の画素値を補間して合成処理する。例えば、撮像素子１０２ｂの移動量が画素ピッチの１／２であれば、画素の前後左右１／２ピッチずれた位置の画素値を補間することができ、画素数が所定数倍（例えば、１．５倍）相当の高解像の画像データとなる。この所定数は、超解像合成処理の際の補間演算のやり方により、異ならせることができる。
【００５９】
画像合成部１０３ｄが超解像合成処理によって画像データを生成すると、メタデータ生成部１０４は、メタデータも生成する。超解像合成を行うために、撮像素子１０２ｂの位置をずらしながら撮影を行い、露出は５回行われている。１回目から５回目の露出条件はいずれもシャッタ速度ＳＳが１／１００秒であり、絞りはＦＮｏ．１６で同一であるので、露出データは、実施データとなる。そこで、メタデータ４７としては、図３（ｄ）に示すように、この共通の露出条件である実施データを記録し、参考データや換算データは記録しない。
【００６０】
すなわち、複数枚の画像データが生成されると、画像合成部１０３ｄは、超解像合成処理を施し、超解像成画像データを生成する。メタデータ作成部１０４は、実施データ１０４ａとして、図３に示した例では、１回の撮影の際の露出条件であるシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ．１６を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。他のユーザは、この実施データを使用することにより、超解像合成画像と同様の明るさの画像を得ることができる。なお、本実施形態においては、複数の画像データを用いて超解像合成を行うことにより、画素数が所定数倍、増加したような画像データを合成している。そこで、メタデータ４７としては、所定数倍増加した画素数を換算データとして記録し、実施データおよび参考データは記録しないようにしてもよい。
【００６１】
次に、図４を用いて、ハイダイナミックレンジ合成処理（ＨＤＲ）モードが設定された場合の撮影方法と画像合成方法について説明する。図４（ａ）は、ユーザ１０がカメラ２０を用いて、被写体である人物３２および桜の木３３を撮影する様子を示す。これらの被写体は晴天の下にあり、桜の木３３は非常に明るく、一方人物は逆光のため非常に暗くなっている。すなわち、撮像素子１０２ｂが明暗を再現できる範囲が非常に広くないと、両方の被写体の明暗を適正に表現することができない。このような場合に、ＨＤＲモードに設定して撮影を行う。
【００６２】
図４（ｃ）は、ＨＤＲモードに設定されたときの撮影のタイミングチャートである。図４（ａ）の状態で撮影する際の標準露出（適正露出）、すなわち、被写体３２、３３の両方を考慮した標準露出は、シャッタ速度１／１００秒、絞り値ＦＮｏ＝１６とする。ＨＤＲモードが設定されると、この標準露出よりオーバ露光となる露出条件で１回目の撮影を行い、続いて、アンダ露光となる露出条件で２回目の撮影を行う。
【００６３】
本実施形態においては、図４（ｃ）に示すように、時刻ｔ０において、レリーズ釦が操作され撮影が開始すると時刻ｔ２１〜ｔ２３の間に１回目の撮影がなされる。この時のシャッタ速度ＳＳは１／１００秒の２倍の露出時間（ＳＳは２／１００秒）である。続いて、時刻ｔ２４〜ｔ２５の間に２回目の撮影がなされる。このときのシャッタ速度ＳＳは１／１００の１／２倍の露出時間（ＳＳは１／２００秒）である。なお、光学系１０２ａのピント位置は１回目と２回目の撮影において同じである。
【００６４】
１回目の撮影で取得した露出オーバの画像データと、２回目の撮影で取得した露出アンダの画像データを用いて、画像合成部１０３ｄはＨＤＲ合成を行い、暗部から明部までの明暗の再現に優れた画像データを生成する。このＨＤＲ合成にあたっては、それぞれの画像（被写体）で適正露出となっている部分を繋ぎ合わせることによって、画面全体で白飛びや黒つぶれがない画像データを合成する。
【００６５】
図４（ｂ）は、ＨＤＲ合成処理を施さない画像４８と、ＨＤＲ合成処理を施した画像４９を示す。ＨＤＲ合成処理を施していない画像４８は、桜の木３３は白飛びとなっており、一方人物３２は黒つぶれとなっている。これに対して、ＨＤＲ合成処理を施した画像４９は、桜の木３３および人物３２は適正に明暗が表現されている。
【００６６】
ＨＤＲ合成処理を施した画像４９のメタデータ５０は、図４（ｂ）に示すように、シャッタ速度ＳＳ＝１／１００秒、絞り値ＦＮｏ＝１６である。前述したように、ＨＤＲ合成モードでは、露出は２回行われているが、各々異なる露出量であることから、メタデータ５０としては、実施データ（ＳＳ：１／５０、１／２００）１０４ａおよび換算データ１０４ｃを記録せず、参考データ（ＳＳ：１／１００）１０４ｂを記録する（図４（ｄ）参照）。
【００６７】
すなわち、複数枚の画像データが生成されると、画像合成部１０３ｄは、ＨＤＲ合成処理を施し、ＨＤＲ合成画像データを生成する。メタデータ作成部１０４は、参考データ１０４ｂとして、図４に示した例では、ＨＤＲ合成によって生成された画像の露出条件に相当するシャッタ速度ＳＳ＝１／１００秒、また絞り値ＦＮｏ＝１６を生成する。ここで生成されたメタデータ（参考データ１０４ｂ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。この参考データで撮影すれば、色表現などを除けば、同様の明るさの画像を得ることができる。
【００６８】
次に、図５を用いて、ノイズリダクションモード（ＮＲモード）が設定された場合の撮影タイミングについて説明する。ＩＳＯ感度を高感度に設定すると、画像にノイズが増加し、見苦しくなる。そこで、同一の露出条件で複数コマの撮影を行い、各画像の対応する画素の出力値を平均化することにより、ノイズを低減させた画像を合成することができる。
【００６９】
ＮＲモードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ３１〜ｔ３２、ｔ３３〜ｔ３４、ｔ３５〜ｔ３６、ｔ３７〜ｔ３８、ｔ３９〜ｔ４０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、ＮＲモードの際の撮影回数は、適宜、最適な回数を選択すればよい。
【００７０】
複数枚の画像データが生成されると、画像合成部１０３ｄは、対応する画素の画素値の平均値を算出し、ＮＲ合成画像データを生成する。メタデータ作成部１０４は、実施データ１０４ａとして、図５に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。なお、ＮＲ合成画像データは、ノイズが軽減されており、メタデータ作成部１０４は、この軽減されたＩＳＯ感度に応じた換算ＩＳＯ感度を算出し、実施データ１０４ａではなく、換算データ１０４ｃを記録部１０５にメタデータとして記録するようにしてもよい。
【００７１】
次に、図６を用いて、電子手振れ防止モードが設定された場合の撮影タイミングについて説明する。カメラを保持するユーザの手が振れていると、画像がぶれてしまい、見苦しい画像となってしまう。そこで、同一の露出条件で複数コマの撮影を行い、各画像の画素位置を手振れ量に応じてずらし、対応する画素の出力値を平均化することにより、手振れを軽減させた画像データを得ることができる。
【００７２】
電子手振れ防止モードが設定された状態で、レリーズ釦が操作され撮影が開始すると、時刻ｔ４１〜ｔ４２、ｔ４３〜ｔ４４、ｔ４５〜ｔ４６、ｔ４７〜ｔ４８、ｔ４９〜ｔ５０の間で、撮影が行われる。このときの露出条件は、いずれもシャッタ速度ＳＳは１／１００秒であり、ＩＳＯ感度は６４００である。なお、手振れ量が所定量以上の場合には（図６の時刻ｔ４３〜ｔ４４の撮影参照）、手振れ補正が困難な場合が多いので、手振れ防止合成処理の対象画像から除外する。電子手振れ防止モードの際の撮影回数は、適宜、最適な回数を選択すればよい。
【００７３】
複数枚の画像データが生成されると、画像合成部１０３ｄは、手振れ量を検出し、この手振れ量に応じて、画素の位置をずらして、対応する画素の画素値の平均値を算出し、電子手振れ防止画像データを生成する。手振れ量は、ジャイロ等のセンサ出力を利用してもよく、また２つの画像データの相関演算により手振れ量を算出してもよい。
【００７４】
メタデータ作成部１０４は、実施データ１０４ａとして、図６に示した例では、各撮影の際の露出条件、すなわちシャッタ速度ＳＳとして１／１００秒、ＩＳＯ感度６４００を生成する。ここで生成されたメタデータ（実施データ１０４ａ）は、記録部１０５内にメタデータ１０５ｃとして画像データに関連付けて記録される。
【００７５】
図２ないし図６を用いて説明したように、本実施形態においては、複数コマの露出を行い、この露出によって取得した画像データを用いて画像合成部１０３ｄが画像合成を行っている。メタデータ生成部１０４は、画像合成の種類に応じて、実施データ１０４ａ、参考データ１０４ｄ、換算データ１０４ｃのいずれかを作成し、記録部１０５内にメタデータ１０５ｃを記録するようにしている。
【００７６】
メタデータの作成にあたっては、複数コマのそれぞれのコマでの露出条件が同じ場合には、実際に制御した露出条件を実施データ１０４ａとして作成している。また、複数コマのそれぞれのコマでの露出条件が異なる場合には、合成処理によって生成された画像に相当する露出条件を算出して、この露出条件を参考データ１０４ｂとして作成している。また、複数のコマでの露出条件が同じでも、撮影距離が異なる等により撮影条件が異なる場合には、合成処理によって生成された画像の露出制御値（深度合成モードの場合には、絞り値）の換算値を算出して、この露出制御値を換算データ１０４ｃとして作成している。
【００７７】
また、メタデータとして、メタデータ作成部１０４は、合成処理を区別するための情報も作成し、この合成処理を区別するための情報を記録部１０５に記録するようにしてもよい。この場合、メタデータ作成部１０４で作成したデータが、実施データであるか、参考データであるか、換算データであるかを区別できるような情報であってもよい。
【００７８】
なお、画像合成処理としては、上述した深度合成処理、超解像合成処理、ＨＤＲ合成処理、ＮＲ合成処理、電子手振れ防止合成処理に限らず、例えば、比較明合成処理、比較暗合成処理、平均加算合成処理、ライブバルブ合成処理等、複数コマの画像データを用いて合成処理を行うものであればよい。この場合、例えば、比較明合成処理の場合には、トータルの露出時間を実施データとしてメタデータとして記録すればよい。
【００７９】
次に、図７および図８に示すフローチャートを用いて、本実施形態におけるカメラ制御について説明する。このフローチャート（後述する図１０および図１５に示すフローチャート含む）は、制御部１０１内のＣＰＵがメモリに記憶されたプログラムに従って、カメラ内の各部を制御することにより、実行する。なお、図７および図８に示すフローにおいては、主として、画像合成を行うモードが設定されている場合について説明する。
【００８０】
カメラ制御のフローに入ると、まず、撮影モードか否かを判定する（Ｓ１）。カメラのモードは、ユーザが再生モード等他のモードに設定しなければ、デフォルトとして撮影モードに設定されている。このステップでは、モードの設定状態を検出し、その検出結果に基づいて判定する。
【００８１】
ステップＳ１における判定の結果、撮影モードであれば、次に、スルー画用撮像を行う（Ｓ３）。ここでは、撮像素子１０２ｂによって取得された画像データを取得する。この画像データは所定のフレームレートで繰り返し取得される。
【００８２】
スルー画用撮像を行うと、次に、スルー画表示、ピント合わせ、標準露出を設定する（Ｓ５）。ステップＳ３において取得した画像データに対して、画像処理部１０３においてスルー画表示用の画像処理を施し、この処理された画像データに基づいて、表示部１０６にスルー画表示を行う。スルー画表示は所定のフレームレートで更新される。また、取得した画像データのコントラスト値を算出し、このコントラスト値がピークとなるように、光学系１０２ａのフォーカスレンズの位置を調整する。なお、ピント合わせは、前述のコントラストＡＦ以外にも位相差ＡＦ等、他の方法によって行ってもよい。また、画像データから輝度情報等を算出し、この輝度情報に基づいて、シャッタ速度、絞り値、ＩＳＯ感度等の標準露出を設定する。
【００８３】
続いて、モード切換があったか否かを判定する（Ｓ７）。操作部１０７の操作部材によってモードの切換を行うことができる。ここでのモードは、前述した撮影モード、再生モードの他、深度合成モード、超解像合成モード、ＨＤＲ合成モード等、複数コマの露出を行い、合成処理を行うモードを含む。
【００８４】
ステップＳ７における判定の結果、モード切換があった場合には、モード設定を行う（Ｓ９）。ここでは、操作部１０７によるモードに切換に応じて、モード制御部１０１ｂにおけるモードを設定する。
【００８５】
ステップＳ９においてモード設定を行うと、またはステップＳ７における判定の結果、モード切換がなかった場合には、次に、レリーズスイッチが操作されたか否かを判定する（Ｓ１１）。レリーズ釦が操作されると、レリーズスイッチの状態が変化する。ここでは、レリーズスイッチの状態変化に基づいて判定する。この判定の結果、レリーズスイッチが操作されていない場合には、ステップＳ１に戻る。
【００８６】
ステップＳ１１における判定の結果、レリーズスイッチが操作された場合には、次に、設定されている合成モードの種類を判定する（Ｓ１３）。ここでは、最初に設定されているモード、またはステップＳ９において設定されたモードに基づいて判定する。合成モードして、ＨＤＲ合成モード、深度合成モード、またはその他の合成モードが設定されているか否かを判定する。ここでは、メタデータとして、実施データ、参考データ、メタデータのいずれを記録するかに応じて、合成モードの判定を行っている。ステップＳ１３での合成モードの判定は、メタデータに応じた変更するようにしてもよい。なお、合成モードが設定されていない場合には、通常の撮影を実行すればよく、図７のフローにおいては通常撮影動作を省略している。
【００８７】
ステップＳ１３における判定の結果、ＨＤＲ合成モードが設定されている場合には、標準露出から長秒時、短秒時に変更して複数枚の撮影を行う（Ｓ１５）。この場合は、複数コマの撮影を行う際に、それぞれのコマで露出条件が異なる場合である。図４を用いて説明したＨＤＲ合成モードでは、１コマ目では標準露出（ステップＳ５において設定）よりも露出オーバとなるように、シャッタ速度を長秒時に設定し、２コマ目では標準露出よりも露出アンダとなるようにシャッタ速度を短秒時に設定し、撮影している。
【００８８】
続いて、画像合成を行う（Ｓ１７）。ここでは、ステップＳ１５において取得した複数の画像データに対して、画像合成部１０３ｄが設定されているモードに従って、画像合成処理を施す。
【００８９】
画像合成を行うと、次に、画像データとメタデータ（参考露出）を記録する（Ｓ１９）。ここでは、メタデータ作成部１０４が参考データ１０４ｂを作成する。参考データ１０４ｂは、前述したように、画像合成によって生成された画像の効果に相当する露出条件を示すデータである。この作成された参考データ１０４ｂは、ステップＳ１７において合成された画像データに関連付けられて記録部１０５の画像データ１０５ｂおよびメタデータ１０５ｃとして記録される。データの記録を行うと、ステップＳ１に戻る。
【００９０】
ステップＳ１３に戻り、このステップでの判定の結果、合成モードとして、深度合成モードが設定されていた場合には、標準露出でピント位置を変更して複数枚の撮影を行う（Ｓ２１）。ここでは、深度合成モードが設定されている場合には、ピント位置を変更し、変更したピント位置で撮影を行い、所定枚数に達するまで撮影を繰り返し、複数の画像データを取得する。
【００９１】
続いて、画像合成を行う（Ｓ２３）。ここでは、ステップＳ２１において取得した、ピント位置が異なる複数の画像データを用いて、画像合成部１０３ｄが深度合成処理を施す。これによって、被写界深度が深い画像の画像データを生成することができる。深度合成処理の詳しい動作については、図１０を用いて後述する。
【００９２】
画像合成を行うと、次に、画像データとメタデータ（換算露出）を記録する（Ｓ２５）。ここでは、メタデータ作成部１０４が換算データ１０４ｃを作成する。換算データ１０４ｃは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータとは異なり、複数の画像データによって生成された合成画像の露出条件（ここでは、絞り値ＦＮｏ）の換算データである。この作成された換算データ１０４ｃは、ステップＳ２３において合成された画像データに関連付けられて記録部１０５の画像データ１０５ｂおよびメタデータ１０５ｃとして記録される。データの記録を行うと、ステップＳ１に戻る。
【００９３】
ステップＳ１３における判定の結果、合成モードがＨＤＲ合成モードおよび深度合成モードでない場合には、その他の合成モードとして、合成にモードに応じて複数枚撮影を行う（Ｓ２７）。その他の合成モードとしては、例えば、超解像合成モード（図３参照）、ＮＲ合成モード（図５参照）、電子手振れ防止モード（図６参照）等がある。超解像合成モードの場合には、撮像素子１０２ｂを光軸と垂直な方向に移動させながら、撮影を繰り返す。このときの露出条件は、ステップＳ５において算出された標準露出である。また、ＮＲ合成モードや電子手振れ防止モードの場合には、撮像素子１０２ｂを移動させることなく、同一の露出条件で撮影を繰り返す。
【００９４】
複数枚の撮影を行うと、次に、画像合成を行う（Ｓ２８）。ここでは、設定されている合成モードに応じた画像合成（例えば、超解像合成モード、ＮＲ合成モード、電子手振れ防止モード）を行う。
【００９５】
画像合成を行うと、次に、画像データとメタデータ（実施露出）を記録する（Ｓ２９）。ここでは、メタデータ作成部１０４が実施データ１０４ａを作成する。実施データ１０４ａは、前述したように、複数コマの撮影を行った際の各コマにおいて実際に露出制御された露出条件を示すデータである。この作成された実施データ１０４ａは、ステップＳ２８において合成された画像データに関連付けられて記録部１０５の画像データ１０５ｂおよびメタデータ１０５ｃとして記録される。データの記録を行うと、ステップＳ１に戻る。
【００９６】
ステップＳ１に戻り、この判定の結果、撮影モードでない場合には、再生モードか否かを判定する（Ｓ３１）。ユーザが操作部１０７の再生釦等の操作部材を操作することにより、再生モードを設定することができる。このステップにおける判定の結果、再生モードでない場合には、その他のモードに移行する。
【００９７】
ステップＳ３１における判定の結果、再生モードの場合には、次に、アイコン一覧を表示する（Ｓ３３）。ここでは、記録部１０５に記録されている画像データのサムネイルデータに基づいて、記録画像のアイコンを表示部１０６に表示する。
【００９８】
次に、画像が選択されたか否かについて判定する（Ｓ３５）。ユーザは表示部１０６に表示された一覧表示されたアイコンの中から拡大表示したいアイコンをタッチ、または十字釦等によって選択する。このステップでは、ユーザによってアイコンが選択されたか否かを判定する。
【００９９】
ステップＳ３５における判定の結果、画像が選択されていない場合には、戻るか否かを判定する（Ｓ３７）。ユーザが再生モードを終了したい場合には、操作部１０７の内の戻る釦を操作するか、戻るアイコンをクリックする（総称して戻り操作）。ここでは、戻り操作がなされたか否かに基づいて判定する。この判定の結果、戻り操作がなされていない場合には、ステップＳ３３に戻る。一方、戻り操作がなされた場合には、ステップＳ１に戻る。
【０１００】
ステップＳ３５における判定の結果、画像が選択された場合には、拡大表示を行う（Ｓ３９）。ここでは、選択されたアイコンの画像データを読出し、表示部１０６に拡大表示を行う。
【０１０１】
拡大表示を行うと、次に、詳細表示を行うか否かの判定を行う（Ｓ４１）。ユーザが選択した画像に関連付けて記録されているメタデータを表示させたい場合には、操作部１０７の内の詳細釦を操作するか又は詳細アイコンをクリックする（総称して詳細表示操作）。ここでは、詳細表示操作がなされたか否かに基づいて判定する。
【０１０２】
ステップＳ４１における判定の結果、詳細表示操作がなされていた場合には、メタデータを表示する（Ｓ４３）。ここでは、画像データに関連付けて記録されたメタデータ１０５ｃを記録部１０５から読み出し、表示部１０６に表示する。表示例については図９を用いて後述する。
【０１０３】
ステップＳ４３においてメタデータを表示すると、またはステップＳ４１における判定の結果、詳細表示操作がなされていない場合には、外部送信か否かを判定する（Ｓ４５）。ユーザが記録部１０５に記録された画像データを、インターネット等を介して、無線また有線通信等によって送信した場合には、操作部１０７の送信釦を操作し、または送信アイコンをタッチ操作する（総称して外部送信操作）。このステップでは、外部送信操作がなされたか否かに基づいて判定する。
【０１０４】
ステップＳ４５における判定の結果、外部送信操作がなされた場合には、設定先に送信する（Ｓ４７）。ここでは、設定された送信先に、ステップＳ３５において選択された画像の画像データおよび関連付けされたメタデータを送信する。送信先では、受信した画像データに基づく画像およびメタデータを表示させることができる。この時の表示例については図９を用いて後述する。
【０１０５】
ステップＳ４７において設定先に送信すると、またはステップＳ４５における判定の結果、外部送信操作がされていない場合には、戻るか否かを判定する（Ｓ４９）。ユーザが再生モードを終了したい場合には、戻り操作を行う。ここでは、この戻り操作がなされたか否かに基づいて判定する。この判定の結果、戻り操作がなされていない場合には、ステップＳ３９に戻る。一方、戻り操作がなされた場合には、ステップＳ１に戻る。
【０１０６】
このように、本実施形態におけるカメラ制御のフローにおいては、レリーズ操作がなされた際に、露出変更を伴うＨＤＲ合成モード露出変更を伴うモードが設定されている場合には（Ｓ１３→ＨＤＲ）、メタデータとして、参考データを作成し記録している（Ｓ１９）。一方、露出変更を伴わないモードであって、撮影距離が変更されながら撮影がなされる深度合成モードが設定されている場合には（Ｓ１３→深度合成）、メタデータとして露出値を換算した換算データを作成し記録している（Ｓ２５）。また、露出変更を伴わないモードであって、撮影距離等の撮影条件が変更されないで撮影が繰り返しなされるその他のモードが設定されている場合には（Ｓ１３→その他）、メタデータとして実施データを作成し記録している（Ｓ２９）。
【０１０７】
すなわち、露出変更および撮影条件の変更を伴わない場合には実際に露出制御された制御値が記録され（Ｓ２９）、露出変更を伴うが撮影条件が変更しない場合には参考露出が記録され（Ｓ１９）、露出変更を伴わないが撮影条件が変更する場合には、撮影条件による影響を考慮して換算した露出制御値（ここでは換算絞り値ＦＮｏ）が記録される。このため、ユーザがメタデータを見た際に、どのような制御がなされたかが分かり易いという効果がある。
【０１０８】
なお、ステップＳ１９、Ｓ２５、およびＳ２７においては、メタデータとしては、参考データ、実施データ、および換算データのいずれか一つのみを作成し、記録するようにしていた。いずれか一つのみを記録することにより、メタデータ１０５ｃの容量を小さくすることができ、また単純化することにより、処理が容易となる。しかし、ステップＳ１９、Ｓ２５およびＳ２７において、参考データ、実施データ、可能なら換算データを作成し、これをメタデータ１０５ｃとして記録するようにしてもよい。この場合には、例えば、メタデータの記録領域の内、Ｅｘｉｆ規格のメーカノートのように、製造元が記録可能としている領域を利用してもよい。
【０１０９】
次に、図９を用いて、メタデータの表示について説明する。この表示は、図８のステップＳ４３、およびステップＳ４７で送信された送信先で行われる。
【０１１０】
図９（ａ）は、図２で示したような深度合成モードが設定された場合の表示例である。この場合には、深度合成された画像４３と、実施データとして記録されたシャッタ速度、および換算データとして記録された絞り値を示すメタデータが表示される。なお、図９（ａ）においては、換算データであることを明示するために、「換算」が表示される。このために、メタデータ１０５ｃに、換算データであることを示す情報も併せて記録しておく。
【０１１１】
図９（ｂ）は、図３で示したような超解像合成モードが設定された場合の表示例である。この場合には、深度合成された画像４６と、実施データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。
【０１１２】
図９（ｃ）は、図４で示したようなＨＤＲ合成モードが設定された場合の表示例である。この場合には、ＨＤＲ合成された画像４９と、参考データとして記録されたシャッタ速度および絞り値を示すメタデータが表示される。なお、図９（ｃ）においては、参考データであることを明示するために、「参考」が表示される。このために、メタデータ１０５ｃに、参考データであることを示す情報も併せて記録しておく。
【０１１３】
このように、記録された画像に加えて、メタデータを表示することにより、撮影画像の露出条件を確認することが簡単にできる。また、この表示の際に、露出変更を伴わない場合には各コマを撮影した際の実際の露出値が表示され、露出変更を伴う場合には、合成画像の効果に相当する露出値が表示されるようしたので、分かり易い表示となる。撮影者以外の他のユーザは、このメタデータに基づく露出値を参考にすることにより、類似の写真を撮影することが容易となる。
【０１１４】
また、露出変更を伴わない場合であっても、撮影条件が変更されることにより画像効果として露出値が変更されたような影響がある場合には、換算露出値（この場合は絞り値ＦＮｏ）（換算データ）を算出し表示するようにしたので、ユーザにとって分かり易い表示となる。
【０１１５】
なお、図９においては、参考データの場合には「参考」と表示し、換算データの場合には「換算」と表示したが、この表示を消去しておいてもよい。また、実施データの場合にも、実施データであることを明示するような表示を付加してもよい。また、図９においては、メタデータを画像の外側で表示していたが、画像に重畳して表示するようにしてもよい。
【０１１６】
次に、図１０に示すフローチャートを用いてステップＳ２３（図７参照）の深度合成の詳しい動作について説明する。
【０１１７】
深度合成のフローに入ると、まず、現在のピント位置Ｐ１と、ＦＮｏを判定する（Ｓ５１）。このステップでは、ピント変更部１０２ｃがフォーカスレンズの現在のピント位置Ｐ１を検出し、また露出変更部１０２ｄが現在設定されている絞り値ＦＮｏを検出する。
【０１１８】
続いて、レンズ性能判定を行う（Ｓ５３）。撮像部１０２の記憶部（不図示）には、光学系１０２ａの焦点距離、許容錯乱円等の種々のレンズ性能が記憶されている。このステップでは、許容錯乱円等の種々のレンズ性能に関するデータを読み出す。
【０１１９】
続いて、基準撮影を行う（Ｓ５５）。深度合成モードが設定され、レリーズスイッチが操作された場合には、基準位置で撮影を行い１コマ分の画像データを取得する。基準位置としては、フォーカスレンズの現在位置Ｐ１を使用する。しかし、現在位置Ｐ１以外にも、所定のフォーカス位置等であってもよい。
【０１２０】
基準撮影を行うと、次に、所定回数だけ撮影を行ったか否かについて判定する（Ｓ５７）。深度合成のための撮影回数は、予めユーザが設定しておくので、このステップでは、予め設定された回数の撮影がなされたか否かについて判定する。なお、所定回数としては、ユーザが設定する以外にも、撮影条件に応じて適宜カメラが自動設定するようにしてもよい。
【０１２１】
ステップＳ５７における判定の結果、所定回数に達していない場合には、ピント位置Ｐ１でカバーできないピント位置にずらして撮影を行う（Ｓ５９）。ステップＳ５３において許容錯乱円を読出しているので、このデータを用いて、深度合成処理によってピントの合った画像を生成できる程度のピント範囲となるように、ピント変更部１０２ｃはフォーカスレンズを移動させる。フォーカスレンズを移動させるとその位置で、絞り値ＦＮｏおよびシャッタ速度ＳＳは、ステップＳ５５における基準撮影時の同じ値で露出制御を行い、撮像素子１０２ｂによって画像データを取得する。なお、２回目以降の撮影の際には、ピント位置Ｐ１から、次のフォーカスレンズ位置を基準にしてフォーカスレンズを移動させる。撮影を行うと、ステップＳ５７に戻る。
【０１２２】
ステップＳ５７における判定の結果、所定回数に達すると、次に、ピントの合った部分を選んで合成する（Ｓ６１）。ここでは、ステップＳ５５およびＳ５９において取得した複数の画像データを用いて、深度合成処理を行う。すなわち、各画像データの中で、コントラスト（先鋭度）値の高い部分を抽出し、これら抽出された部分を合成することにより、ピントの合った、言い換えるとコントラストの高い画像データを生成する。
【０１２３】
続いて、回数×ＦＮｏを算出し、換算ＦＮｏとする（Ｓ６３）。ここでは、ステップＳ５７において判定した撮影の回数に、ステップＳ５１で判定した絞り値ＦＮｏを乗算することにより、換算ＦＮｏを算出する。例えば、絞り値ＦＮｏ＝８で、５回撮影を行った場合には、換算ＦＮｏとしては５×８＝４０、すなわち換算ＦＮｏはＦ＝４０となる。なお、換算ＦＮｏは、この方法以外にもあり、他の方法については、図１１乃至図１３を用いて後述する。換算ＦＮｏを算出すると、元のフロー（図７のＳ２３）に戻る。
【０１２４】
このように、深度合成のフローにおいては、レンズ性能（例えば、許容錯乱円）を考慮してフォーカスレンズの移動を移動させて、その位置で画像データを取得し、これを所定回数繰り返すことにより複数の画像データを取得している（Ｓ５５、Ｓ５７、Ｓ５９）。所定回数の撮影が終わると、取得した複数の画像データを用いて深度合成を行っている（Ｓ６３）。また、深度合成処理を行うと、深度合成処理によって得られた生成された画像データの換算ＦＮｏを算出している（Ｓ６３）。ここで、算出された換算ＦＮｏは、画像データと共にメタデータとして記録される（Ｓ２５参照）。深度合成された画像は、実際の撮影時の絞り値ＦＮｏとは異なっている。換算ＦＮｏを表示することにより、ユーザは合成された画像の絞り値ＦＮｏを簡単に知ることができる。
【０１２５】
次に、図１１ないし図１３を用いて、深度合成の際の換算ＦＮｏの算出の他の例について説明する。なお、図１１および図１２は、図１０に示す本発明の一実施形態と共通する。
【０１２６】
図１１は、カメラ２０によって被写体３１を、深度合成モードで撮影する様子を示す。まず、被写体距離Ｓｎにおいて、第１回目の撮影を行う（ステップＳ５５の基準撮影に相当する）。その後、被写体距離を変えながら、第２回目の撮影（２ｎｄ  Ｓｈｏｔ）、第３回目の撮影（３ｒｄ  Ｓｈｏｔ）、第４回目の撮影（４ｔｈ  Ｓｈｏｔ）を行い、被写体距離Ｓｆにおいて第５回目の撮影（５ｔｈ  Ｓｈｏｔ）を行う。それぞれの撮影における被写体深度はＤ１〜Ｄ５である。なお、それぞれの被写体深度Ｄ１〜Ｄ５は、端部において隣接しているが、必ずしも隣接しなくてもよく、隙間が空いていてもよい。
【０１２７】
５回の撮影で得られた画像データを用いて深度合成処理を行うと、深度Ｄepの画像が合成され、また合成画像のピントは仮想撮影距離Ｌvirとなる。厳密には、被写界深度Ｄｎ１とＤｆ５も、深度合成後の深度内となるが、Ｄｎ１およびＤｆ５を無視し、演算を簡略化する。
【０１２８】
図１２は、深度合成時のフォーカスレンズ位置、被写体位置、許容錯乱円、焦点深度の関係を示す光路図である。図１２において、ＬＰ１、ＬＰ２は、フォーカスレンズ位置を示し、ＦＰは焦点面位置を示し、δは許容錯乱円直径、Ｆは絞り値ＦＮｏ、Ｘは深度合成ピッチ係数を表す。
【０１２９】
光路ＯＰ１ｎは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓｎの物体の光路を示す。図から分かるように、被写体距離Ｓｎにある物体は焦点面ＦＰより後方、ＸＦδの位置にピントが合い、焦点面ＦＰでは許容錯乱円直径（Ｘδ）内で画像が広がっており、画像がぼけている。
【０１３０】
光路ＯＰ１ｓは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓの物体の光路を示す。図から分かるように、被写体距離Ｓにある物体は焦点面ＦＰの位置にピントが合い、焦点面ＦＰでは一点に画像が集中している。
【０１３１】
光路ＯＰ１ｆは、フォーカスレンズが位置ＬＰ１にあり、被写体距離Ｓｆ（被写体距離Ｓｎより遠方にある）の物体の光路を示す。図から分かるように、被写体距離Ｓｆにある物体は焦点面ＦＰより前方、ＸＦδの位置にピントが合い、焦点面ＦＰでは許容錯乱円直径（Ｘδ）内で画像が広がっており、画像がぼけている。
【０１３２】
光路ＯＰ２ｎ〜光路ＯＰ２ｆは、フォーカスレンズが位置ＬＰ２にある場合において、被写体距離Ｓ’ｎ、Ｓ’、Ｓ’ｆ、に対する光路を示す。
【０１３３】
このように、フォーカスレンズが位置ＬＰ１にある際に撮影画像データを取得し、取得後にフォーカスレンズを位置ＬＰ２に移動して撮影画像データを取得する。そして取得した画像データを用いて、深度合成するとことにより、被写体距離ＳｎからＳ’ｆまでの間の被写体に対して、ピントの合った画像データを生成することができる。図１２に示す例では、許容錯乱円直径δにピッチ係数Ｘを乗算しており、係数Ｘ＝１の場合には、許容錯乱円内のぼけた画像となる。高精度の深度合成画像を生成するには係数Ｘは１に近い方がよいが、係数Ｘ＝３〜５程度の値でも十分鑑賞に堪える合成画像をえることができる。
【０１３４】
次に、図１３を用いて、換算ＦＮｏの算出について説明する。まず、図１３における符号を説明する。
ｆ：レンズ焦点距離［ｍｍ］
ｓ：被写体距離［ｍｍ］
ｔ：レンズから結像面までの距離［ｍｍ］
Ｆ：Ｆ値（撮影時の絞り）
ε：焦点深度の二分の一［ｍｍ］
δ：許容錯乱円直径［ｍｍ］
Ｓｎ：近点距離［ｍｍ］
Ｓｆ：遠点距離［ｍｍ］
Ｄｎ：前方被写界深度［ｍｍ］
Ｄｆ：後方被写界深度［ｍｍ］
【０１３５】
図１３において、ε＝δＦとする。近点距離Ｓｎおよび遠点距離Ｓｆは、下記（１）（２）式より算出される。
Ｓｎ＝ｓｆ２／（ｆ２＋εｓ）    ・・・（１）
Ｓｆ＝ｓｆ２／（ｆ２−εｓ）    ・・・（２）
【０１３６】
上記（１）式を変形すると、下記（３）式が得られる。
Ｓｎ（ｆ２＋εｓ）＝ｓｆ２ 
Ｓｎｆ２＋εＳｎｓ＝ｓｆ２
Ｓｎｆ２＝ｓ（ｆ２−εＳｎ）
ｓ＝Ｓｎｆ２／（ｆ２−εＳｎ）  ・・・（３）
【０１３７】
また、上記（２）式を変形すると、下記（４）式が得られる。
Ｓｆ（ｆ２−εｓ）＝ｓｆ２ 
Ｓｆｆ２−εＳｆｓ＝ｓｆ２
Ｓｆｆ２＝ｓ（ｆ２−εＳｆ）
ｓ＝Ｓｆｆ２／（ｆ２＋εＳｆ）  ・・・（４）
【０１３８】
上記（３）（４）式より、εを示す下記（５）式を算出できる。
Ｓｎｆ２／（ｆ２−εＳｎ）＝Ｓｆｆ２／（ｆ２＋εＳｆ）
Ｓｎ（ｆ２＋εＳｆＳｎ）＝Ｓｆ（ｆ２−εＳｎ）
Ｓｎｆ２＋εＳｆＳｎ＝Ｓｆｆ２−εＳｆＳｎ
２εＳｆＳｎ＝Ｓｆｆ２−Ｓｎｆ２
２εＳｆＳｎ＝ｆ２（Ｓｆ−Ｓｎ）
ε＝ｆ２（Ｓｆ−Ｓｎ）／２ＳｆＳｎ  ・・・（５）
【０１３９】
前述したように、ε＝δＦとしていることから、上述の（５）式より、絞り値Ｆを示す下記（６）式を算出できる。
Ｆδ＝ｆ２（Ｓｆ−Ｓｎ）／２ＳｆＳｎ
Ｆ＝ｆ２（Ｓｆ−Ｓｎ）／２δＳｆＳｎ  ・・・（６）
【０１４０】
上述の（６）式より、絞り値Ｆは、以下のパラメータから算出できることが分かる。
焦点距離：ｆ
撮影システムの許容錯乱円直径：δ
近点距離：Ｓｆ
遠点距離：Ｓｎ
【０１４１】
上述の（６）式を、深度合成後の画像に応用すると、近点距離Ｓｆと遠点距離Ｓｎを、以下のように置き換えることにより、合成後の換算ＦＮｏを算出することができる。
近点距離Ｓｆ→深度合成の際の一番奥側の撮影距離（図１１の５回目の撮影時（５ｔｈ  Ｓｈｏｔ）の撮影距離）
遠点距離Ｓｎ→深度合成の際の一番カメラ側の撮影距離（図１１の１回目の撮影時（１ｓｔ  Ｓｈｏｔ）の撮影距離）
【０１４２】
従って、深度合成処理後の換算ＦＮｏは、以下のパラメータを用いて、上述の（６）式によって算出することができる。
焦点距離：ｆ
許容錯乱円直径：δ
合成前画像中の最遠撮影距離：Ｓｆ
合成前画像中の最近接撮影距離：Ｓｎ
【０１４３】
なお、（６）式の分子に、焦点距離の２乗があることから、望遠レンズになると被写界深度が浅くなるため、広角レンズと同一の被写界深度になるように深度合成を行うと合成撮影枚数が増え、合成ＦＮｏは大きくなる。
【０１４４】
図１１ないし図１３を用いて説明したように、深度合成処理後の換算ＦＮｏは、焦点距離：ｆ、許容錯乱円直径：δ、合成前画像中の最遠撮影距離：Ｓｆ、合成前画像中の最近接撮影距離：Ｓｎを用いて算出することができる（上記（６）式参照）。なお、焦点距離ｆは光学系１０２ａがズームレンズの場合には、このズームレンズの設定焦点距離を求め、許容錯乱円直径は撮像部１０２の記憶部に記憶された値を読出し、最遠撮影距離および最近接撮影距離は、フォーカスレンズの位置から求めればよい。
【０１４５】
次に、図１４を用いて、撮影距離の算出方法の一例について説明する。図１４において、横軸はフォーカスレンズ（ピント合わせレンズ）のレンズ繰り出し位置（ＬＤ）に相当する。また、図１４の縦軸は、ピントが合う撮影距離の逆数を示し、原点側が無限遠方向である。また、グラフ中のラインＬ１〜Ｌ３（例示であり、ライン数はこれよりも多くても少なくてもよい）は、ズーム位置に応じたレンズ繰り出し位置と撮影距離の逆数の関係を示す。
【０１４６】
今、ピント合わせレンズ繰り出し位置の初期位置はＬＤｓｔａｒｔであり、また深度合成のためにフォーカスレンズの１回あたりの移動量をΔＬＤとすると、深度合成のためのフォーカスレンズの駆動後のレンズ位置は、ＬＤｓｔａｒｔ＋ΔＬＤ×ｎとなる。焦点距離が決まれば、図１４中のラインＬ１〜Ｌ３のいずれかに決まり、このラインより、撮影開始時および撮影終了時の距離（上記（６）式の合成前画像中の最遠撮影距離：Ｓｆ、合成前画像中の最近接撮影距離：Ｓｎ）を算出することができる。
【０１４７】
従って、初期のフォーカスレンズの位置（ＬＤ）と、フォーカスレンズの繰り出し量（ΔＬＤ）、撮影回数（ｎ）、および焦点距離が分かれば、図１４に示すグラフより、撮影開始時および撮影終了時の距離を算出することができる。
【０１４８】
図１４に示すグラフは、曲線で表されているが、比較的狭い範囲に限れば、下記（７）式に示す直線近似で、撮影距離Ｌを算出することができる。
１／Ｌ＝α×ＬＤ＋β  ・・・（７）
（７）式において、α、βは焦点距離、距離に応じた定数であり、ＬＤはＬＤｓｔａｒｔ、またはΔＬＤ×ｎ＋ＬＤｓｔａｔである。
【０１４９】
次に、図１５に示すフローチャートを用いて、図１０に示した深度合成の変形例について説明する。前述した本発明の一実施形態における深度合成は、複数の画像の中からピントの合った部分を選択して合成し、画面全体としてピントの合った画像を生成していた。これに対して、本変形例における深度合成は、ピントのあっていない部分は更にピンボケとなるような合成を行う。この深度合成を行うことにより、主被写体に対してはピントが合っており、一方、背景に対してはぼかしたような画像を得ることができる。この画像処理により、一眼カメラ（一眼レフカメラ）で絞り値を小さくして撮影したような画像となる。
【０１５０】
図１５に示すフローチャートは、図１０に示すフローチャートと比較し、ステップＳ６１およびＳ６３を、ステップＳ６５およびＳ６７に置き換えた以外は、同じであるので、相違点を中心に説明する。
【０１５１】
ステップＳ５１〜Ｓ５９において、フォーカスレンズの位置を変更して撮影を繰り返し行い、所定回数の撮影が終了すると、次に、ピントぼけた所で、更にぼければ採用または強調を行う（Ｓ６５）。主被写体（背景）でない部分において、基準撮影によって取得した画像のコントラスと、基準撮影より後で撮影した画像のコントラストを比較し、コントラストが低下した部分を選択して、画像を合成するか、または更にコントラストを低下させた画像を用いて合成を行う。これによって、主被写体でない部分のコントラストを低く、すなわちぼかすことができ、被写界深度を浅くした画像を合成することができる。
【０１５２】
ステップＳ６５において深度合成処理を行うと、次に、ＦＮｏを明るくして換算ＦＮｏを算出する（Ｓ６７）。ここでは、被写界深度を浅くした画像の換算ＦＮｏを算出する。例えば、ステップＳ５１で検出したＦＮｏを、ステップＳ５７における所定回数で除算、また所定回数の平方根で除算する。換算ＦＮｏを算出すると、元のフロー（図７のＳ２３）に戻る。
【０１５３】
以上説明したように、本発明の一実施形態や変形例においては、同一の対象物に対し、撮影条件を切り換えて複数の撮影画像データを取得し（例えば、図７のＳ１５、Ｓ２１、Ｓ２７参照）、撮影画像の取得の際に、異なるピント位置で複数の撮影画像データを取得し（例えば、図７のＳ２１参照）、この取得した複数の撮影画像データを用いて第１の画像合成を行い（例えば、図７のＳ２３参照）、第１画像合成によって合成された合成画像データにおける絞り値の換算データを算出し、換算データに基づいてメタデータを作成している（例えば、図７のＳ２５参照）。
【０１５４】
このため、本発明の一実施形態や変形例においては、画像合成処理に応じて適切な情報を作成し、画像データに関連付けを行うことができる。すなわち、異なるピント位置で撮影した複数の画像を合成した合成画像の被写界深度は深くなり、個々の撮影時の絞り値で決まる被写界深度とは異なっている。この点、本発明の一実施形態や変形例においては、換算した絞り値を算出し、これに基づいてメタデータを作成していることから、ユーザが合成画像を見る際に、画像合成処理の操作や効果に応じた情報を容易に理解することができる。
【０１５５】
なお、本発明の一実施形態や変形例においては、合成モードを判定し（図７のＳ１３参照）、この結果に応じた画像合成を行い、合成モードに応じてメタデータとして実施データ、換算データ、または参考データのいずれかを記録するようにしている。しかし、これに限らず、画像合成を行うために複数回の撮影を行う際に、露出条件の変更を伴うか否か、撮影距離の変更を伴うか否か、撮像素子の位置の変更を伴うか否か等、条件に応じて、メタデータの種類を適宜決定するようにしてもよい。
【０１５６】
また、本発明の一実施形態や変形例においては、合成モードに応じて、メタデータとして実施データ、換算データ、または参考データのいずれかを記録するようにしている。しかし、これに限らず、実施データ、換算データ、または参考データのいずれか２つ又は全てを生成し、これらを記録するようにしてもよい。
【０１５７】
また、本発明の一実施形態や変形例においては、ピント変更部１０２ｃ、露出変更部１０２ｄ、撮像位置変更部１０２ｅ等は、ＣＰＵおよびメモリに記憶したプログラムによってソフトウエアでその機能を実現してもよく、また制御部１０１内のＣＰＵとメモリに記憶したプログラムでその機能を実現するようにしても勿論かまわない。
【０１５８】
また、本発明の一実施形態においては、撮像制御部１０３ｂ、撮影制御変更部１０３ｃ等の各部の機能の全部または一部をＣＰＵ（Central Processing Unit）と周辺回路およびプログラムによって実現していたが、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。
【０１５９】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、画像データと共にメタデータを記録する撮影のための機器であれば、本発明を適用することができる。
【０１６０】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１６１】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１６２】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１６３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１６４】
１０・・・ユーザ、２０・・・カメラ、１０１・・・制御部、１０１ｂ・・・モード制御部、１０１ｃ・・・表示制御部、１０１ｄ・・・通信制御部、１０２・・・撮像部、１０２ａ・・・光学系、１０２ｂ・・・撮像素子、１０２ｃ・・・ピント変更部、１０２ｄ・・・露出変更部、１０２ｅ・・・撮像位置変更部、１０３・・・画像処理部、１０３ｂ・・・撮像制御部、１０３ｃ・・・撮影制御変更部、１０３ｄ・・・画像合成部、１０３ｅ・・・記録制御部、１０４・・・メタデータ作成部、１０４ａ・・・実施データ、１０４ｂ・・・参考データ、１０４ｃ・・・換算データ、１０５・・・記録部、１０５ａ・・・画像データ、１０５ｂ・・・メタデータ、１０６・・・表示部、１０７・・・操作部、１０８・・・通信部
【図１】
2019036885.tif 000003
【図２】
2019036885.tif 000004
【図３】
2019036885.tif 000005
【図４】
2019036885.tif 000006
【図５】
2019036885.tif 000007
【図６】
2019036885.tif 000008
【図７】
2019036885.tif 000009
【図８】
2019036885.tif 000010
【図９】
2019036885.tif 000011
【図１０】
2019036885.tif 000012
【図１１】
2019036885.tif 000013
【図１２】
2019036885.tif 000014
【図１３】
2019036885.tif 000015
【図１４】
2019036885.tif 000016
【図１５】
2019036885.tif 000017