(57)【要約】【課題】複数の撮影条件で撮影された１コマの画像の撮影条件を簡単に処理することができる画像処理装置及び画像処理方法を提供する。【解決手段】１回の撮影の際に、画像領域毎に撮影条件を異ならせて撮影を行い（Ｓ１〜Ｓ２３）、１コマの画像データを記憶し（Ｓ２５）、１コマの画像データについて、画像関連情報を抽出し（Ｓ３１、Ｓ３３）、１コマの画像データと、画像領域毎の画像関連情報の関連付けを行い（Ｓ３１〜Ｓ３５）、撮影画像に画像領域毎の画像関連情報を重畳して行う（Ｓ３９、Ｓ４１）。【選択図】  図２
2017220892.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記録する記録部と、
複数の撮影条件で撮影された１コマの上記画像データについて、異なる撮影条件で撮影を行う画像領域に関する画像領域情報と、上記画像領域の画像関連情報を関連付けて処理する画像関連情報処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
上記画像領域情報及び上記画像関連情報を上記画像データに重畳して表示する表示部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像素子を備え、
上記複数の撮影条件で撮影された１コマの画像データは、上記撮像素子で撮像された画像データであることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記撮像素子は、画素毎または、ライン毎にシャッタ速度を可変にすることが可能であって、上記画像関連情報として、シャッタ速度を処理することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記画像関連情報は、上記画像領域毎の撮影条件であってシャッタ速度、ＩＳＯ感度、焦点距離、露出制御値の少なくとも１つであることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項６】
上記画像関連情報は、上記画像領域毎に含まれる画素出力より算出される値であって、画素出力の統計値、露出ずれ量、被写体距離の少なくとも１つであることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項７】
画素毎または、ライン毎に画像出力にゲインを印加するゲイン印加部を備え、上記画像関連情報として、ゲイン値を処理することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
【請求項８】
複数コマの画像データを合成する画像合成部を備え、
上記複数の撮影条件で撮影された１コマの画像データは、上記画像合成部で合成された画像データであることを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
【請求項９】
上記画像関連情報処理部で画像データと関連付けられた上記画像領域情報と、上記画像領域の画像関連情報を、上記画像データのメタデータとして記録する画像データ生成部を備えることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
【請求項１０】
撮影者からの撮影条件の入力を受け付ける撮影条件入力部を備え、
上記撮影条件入力部からの信号に応じて、複数の上記画像領域毎に、撮影条件を設定することを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
【請求項１１】
上記撮像素子は、複数の撮影条件で１コマの画像データを撮影する本撮影動作を行い、
上記本撮影前のライブビュー画像データに、上記本撮影動作時の上記画像領域情報及び上記画像関連情報を重畳して表示する、
ことを特徴とする請求項３または４記載の画像処理装置。
【請求項１２】
撮影条件を異ならせて撮影を行い、１コマの画像データを記憶し、
上記１コマの画像データについて、画像関連情報を抽出し、
上記１コマの画像データと、画像領域毎の上記画像関連情報の関連付けを行う、
ことを特徴とする画像処理方法。
【請求項１３】
上記１コマの画像データは、１回の撮影の際に、上記画像領域毎に撮影条件を異ならせることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
上記１コマの画像データは、複数回の撮影によって取得した画像データを画像合成することにより生成することを特徴とする請求項１２に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データと、この画像データに関する画像関連情報を関連付けて処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置においては、１コマ撮影を行う際の撮影条件（例えば、シャッタ速度、絞り値、ＩＳＯ感度等）は１つであった。しかし、近年では、特許文献１に示されるように、撮像素子の画素毎またはライン毎に露光時間を変えることによって、画素毎または領域毎に異なるシャッタ速度で撮影を行うことが提案されている。また、特許文献２は、撮影した１コマの画像に対して、画素毎または画像領域毎に異なる画像処理ゲインを印加し、実質的に異なる感度（ＩＳＯ感度）で撮影した画像を生成する撮像装置が提案されている。このように、１コマを複数の撮影条件で撮影することが提案されている。
【０００３】
また、複数枚の画像を合成し、１コマの画像を生成することも行われている。例えば、シャッタ速度やピント位置などの撮影条件を異ならせながら、複数の画像を取得し、この複数の画像を合成することにより、ダイナミックレンジを拡張したＨＤＲ合成や、焦点深度を深くした深度合成等の機能を備えた撮像装置が市販に供されている。このように様々な撮影条件で１コマの画像データを撮像したり、合成することにより、通常の撮影では得られない効果を付与した画像を得ることができる。
【０００４】
また、市販のデジタルカメラや、デジタルカメラの画像を処理する画像処理装置等においては、撮影条件などの画像に関する情報を、画像データの関連情報（メタデータ）として、処理を施し、記録することができる。さらに、デジタルカメラにおいては、ライブビュー画像や、撮影済みの画像を再生表示する際に、これらの関連情報を重畳させて、表示させるものもある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０４４９６６号公報
【特許文献２】特開２０１１−１３０１６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したように、１コマ撮影にあたって、複数の撮影条件で行うことが提案されているが、複数の撮影条件をどのように、表示し、また記録するかについては、従来何ら考慮されていなかった。このため、ユーザは撮影条件がどのように設定されているか、また記録されたか等について確認することができなかった。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、複数の撮影条件で撮影された１コマの画像の撮影条件を簡単に処理することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係る画像処理装置は、画像データを記録する記録部と、複数の撮影条件で撮影された１コマの上記画像データについて、異なる撮影条件で撮影を行う画像領域に関する画像領域情報と、上記画像領域の画像関連情報を関連付けて処理する画像関連情報処理部と、を備える。
【０００９】
第２の発明に係る画像処理装置は、上記第１の発明において、上記画像領域情報及び上記画像関連情報を上記画像データに重畳して表示する表示部を備える。
第３の発明に係る画像処理装置は、上記第１または２の発明において、撮像素子を備え、上記複数の撮影条件で撮影された１コマの画像データは、上記撮像素子で撮像された画像データである。
第４の発明に係る画像処理装置は、上記第３の発明において、上記撮像素子は、画素毎または、ライン毎にシャッタ速度を可変にすることが可能であって、上記画像関連情報として、シャッタ速度を処理する。
【００１０】
第５の発明に係る画像処理装置は、上記第１ないし第４の何れかの発明において、上記画像関連情報は、上記画像領域毎の撮影条件であってシャッタ速度、ＩＳＯ感度、焦点距離、露出制御値の少なくとも１つである。
第６の発明に係る画像処理装置は、上記第１ないし第４の何れかの発明において、上記画像関連情報は、上記画像領域毎に含まれる画素出力より算出される値であって、画素出力の統計値、露出ずれ量、被写体距離の少なくとも１つである。
【００１１】
第７の発明に係る画像処理装置は、上記第１ないし第６の何れかの発明において、画素毎または、ライン毎に画像出力にゲインを印加するゲイン印加部を備え、上記画像関連情報として、ゲイン値を処理する。
第８の発明に係る画像処理装置は、上記第１ないし第７の何れかの発明において、複数コマの画像データを合成する画像合成部を備え、上記複数の撮影条件で撮影された１コマの画像データは、上記画像合成部で合成された画像データである。
【００１２】
第９の発明に係る画像処理装置は、上記第１ないし第８の何れかの発明において、上記画像関連情報処理部で画像データと関連付けられた上記画像領域情報と、上記画像領域の画像関連情報を、上記画像データのメタデータとして記録する画像データ生成部を備える。
第１０の発明に係る画像処理装置は、上記第１ないし第９の何れかの発明において、撮影者からの撮影条件の入力を受け付ける撮影条件入力部を備え、上記撮影条件入力部からの信号に応じて、複数の上記画像領域毎に、撮影条件を設定する。
第１１の発明に係る画像処理装置は、上記第３または第４の発明において、上記撮像素子は、複数の撮影条件で１コマの画像データを撮影する本撮影動作を行い、上記本撮影前のライブビュー画像データに、上記本撮影動作時の上記画像領域情報及び上記画像関連情報を重畳して表示する。
【００１３】
第１２の発明に係る画像処理方法は、撮影条件を異ならせて撮影を行い、１コマの画像データを記憶し、上記１コマの画像データについて、画像関連情報を抽出し、上記１コマの画像データと、画像領域毎の上記画像関連情報の関連付けを行う。
【００１４】
第１３の発明に係る画像処理方法は、上記第１１の発明において、上記１コマの画像データは、１回の撮影の際に、上記画像領域毎に撮影条件を異ならせる。
第１４の発明に係る画像処理方法は、上記第１１の発明において、上記１コマの画像データは、複数回の撮影によって取得した画像データを画像合成することにより生成する。
【発明の効果】
【００１５】
本発明によれば、複数の撮影条件で撮影された１コマの画像の撮影条件を簡単に処理することができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラの動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラにおける先幕電子シャッタ、これと同等の効果を付与するゲイン印加を説明する図である。
【図４】本発明の第１実施形態に係るカメラにおいて、複数の撮影条件の表示の一例を示す図である。
【図５】本発明の第１実施形態に係るカメラにおいて、複数の撮影条件で撮影する際の画像出力情報処理の一例を示す図である。
【図６】本発明の第１実施形態に係るカメラにおいて、複数の撮影条件で撮影する際の画像出力情報処理の他の例を示す図である。
【図７】本発明の第１実施形態に係るカメラにおいて、複数の撮影条件で撮影した場合の関連情報の記録を説明する図である。
【図８】本発明の第２実施形態に係るカメラの動作を示すフローチャートである。
【図９】本発明の第２実施形態に係るカメラにおいて、複数の撮影条件の表示の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の好ましい実施形態としてデジタルカメラに適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１８】
また、このカメラは電子シャッタを有し、撮像素子面で所定の領域毎に、シャッタ速度（言い換えると、露光時間）を異ならせることができる（後述する図３参照）。すなわち、１コマの撮影を行うにあたって、複数の撮影条件で撮影を行うことができる。本実施形態においては、ライブビュー表示を行う際には、それぞれの領域毎に撮影条件を表示することができる（後述する図４参照）。また、画像データに撮影条件を記録するにあたっても、領域毎に撮影条件を記録することができる（後述する図７参照）。
【００１９】
図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１０、画像処理部２０、システム制御部２１、およびバス３０とこれに接続された各部等を有する。なお、本実施形態においては、撮像部１０に含まれるレンズ１２と絞り１３は、カメラ本体と一体に構成されているが、一体型の構成に限らず、レンズ交換式カメラに対応する交換レンズ内に設けても勿論かまわない。
【００２０】
撮像部１０内には、レンズ１２、絞り１３、シャッタ１４、イメージセンサ１５を備える。レンズ１２は、光学像を結像するための光学レンズであり、フォーカスレンズやズームレンズを有する。レンズ１２の光軸上に絞り１３が設けられている。この絞り１３は、開口径が駆動制御部１１によって変化させられ、絞り１３を通過する光量を制御する。また、レンズ１２の光軸上にはシャッタ１４が設けられている。このシャッタ１４は機械式のシャッタであり、シャッタ１４はレンズ１２を通過した光束の通過時間、すなわちイメージセンサ１５への入射時間（露光時間、シャッタ速度）を制御する。なお、ライブビュー表示を行う際には、シャッタ１４は開放状態とする。また、絞り１３は、通常、開放Ｆ値に設定される。
【００２１】
イメージセンサ１５は、レンズ１２の光軸上であって、被写体の光学像を結像する位置付近に設けられている。イメージセンサ１５は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に画素信号に変換し、この画素信号を、バス３０に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。イメージセンサ１５は、撮像素子として機能する。この撮像素子は、画素毎または、ライン毎にシャッタ速度を可変にすることが可能である（後述する図３参照）。
【００２２】
レンズ１２、絞り１３、シャッタ１４、イメージセンサ１５は、駆動制御部１１と接続されている。駆動制御部１１は、システム制御部２１からの制御信号に従って、レンズ１２のフォーカスレンズの駆動制御を行い、絞り１３の絞り値制御を行い、シャッタ１４の開閉制御（シャッタ速度制御）を行う。また、駆動制御部１１は、イメージセンサ１５の撮像制御回路を有し、イメージセンサ１５の電荷蓄積制御、画素信号の読み出し制御等を行う。
【００２３】
画像処理部２０は、バス３０に接続され、画像関連情報処理部２００、ゲイン印加部２６、画像合成部２７、現像処理部２８、表示画像生成部２９を備える。画像関連情報処理部２００は、領域情報処理部２０１、撮影条件処理部２０２、画像出力情報処理部２０３、画像データ生成部２０４を備える。
【００２４】
画像関連情報処理部２００は、複数の撮影条件で撮影された１コマの画像データについて、異なる撮影条件で撮影を行う画像領域に関する画像領域情報（例えば、図４（ｂ）、図５（ａ）の境界線ＬＩＮＥによって決まる画像領域、図６（ａ）、図７（ａ）に示すブロックで決まる画像領域）と、画像領域の画像関連情報を関連付けて処理する画像関連情報処理部として機能する。複数の撮影条件で撮影された１コマの画像データは、撮像素子で撮像された画像データである。画像関連情報として、シャッタ速度を処理する（後述する図３参照）。画像関連情報は、画像領域毎の撮影条件であってシャッタ速度、ＩＳＯ感度、焦点距離、露出制御値（ＥＶ値）の少なくとも１つである。画像関連情報は、画像領域毎に含まれる画素出力より算出される値であって、画素出力の統計値（ヒストグラム、ＥＶ値）、露出ずれ量（ＥＶ値）、被写体距離の少なくとも１つである。
【００２５】
領域情報処理部２０１は、イメージセンサ１５の撮像面を自動的またはユーザに指示に従って複数の領域に分割することができる。１コマの画像データ（後述する第２実施形態においては、合成画像含む）において、画素のアドレスまたは画像の領域毎に撮影条件や画像出力情報が異なる場合には、これらの画素のアドレスまたは画像の領域の情報を抽出し、撮影条件や画像出力情報と関連付ける。
【００２６】
撮影条件処理部２０２は、１コマの画像データ（後述する第２実施形態においては、合成画像含む）において、画素のアドレスまたは画像の領域毎に撮影条件が異なる場合には、これらの画素のアドレスまたは画像の領域毎の撮影条件を抽出する。撮影条件処理部２０２は、撮影条件として、シャッタ速度、感度（ゲイン）、焦点距離（ズーム情報）、絞り値等を抽出し、また、撮影日、フラッシュ発光あり／なし、露出制御情報（アンダー／適正／オーバー）、アートフィルタの設定、ＷＢ（ホワイトバランス）設定値も撮影条件として抽出してもよい。これらの撮影条件は、システム制御部２１が、領域毎に被写体輝度等に基づいて算出するので、撮影条件処理部２０２は、システム制御部２１によって算出された撮影条件を抽出する。撮影条件処理部２０２が抽出した撮影条件の例については、図４を用いて後述する。
【００２７】
画像出力情報処理部２０３は、１コマの画像データ（後述する第２実施形態においては、合成画像含む）において、画素のアドレスまたは画像の領域毎に画像出力情報が異なる場合に、これらの画素のアドレスまたは画像の領域毎の画像出力情報を抽出する。画像出力情報として、被写体輝度値の分布を示すヒストグラム情報、露出（適正露出からのずれ、ＥＶ値）と抽出し、またＡＦ（Auto Focus）として、像面位相差ＡＦを採用していれば、被写体距離の情報を抽出できる。画像出力情報処理部２０３が抽出した画像出力情報の例については、図５を用いて後述する。
【００２８】
画像データ生成部２０４は、領域情報と、撮影条件・画像出力情報を関連付け、この関連付けたデータを、画像データと一緒に外部メモリ２３に記録する。画像データと、これに関連付けたデータのデータ構造については、図７を用いて後述する。画像データ生成部２０４は、画像情報関連処理部で画像データと関連付けられた画像領域情報と、画像領域の画像関連情報を、画像データのメタデータとして記録する画像データ生成部として機能する。
【００２９】
ゲイン印加部２６は、ゲイン印加回路を有し、イメージセンサ１５より出力された画像データにゲイン値を印加する。ゲイン値に応じて画素出力が増倍される。ゲイン印加部２６は、１コマの画像データの全画素に一律にゲイン値を印加するだけでなく、領域情報処理部２０１によって分割された領域毎に異なるゲイン値を印加することもできる。ゲイン印加部２６は、画素毎または、ライン毎に画像出力にゲインを印加するゲイン印加部として機能し、画像関連情報として、ゲイン値を処理する。
【００３０】
なお、画像データへのゲイン値の印加は、ゲイン印加部２６で行うに限らず、イメージセンサ１５において行ってもよい。すなわち、イメージセンサ１５の内部にゲイン印可回路を備え、イメージセンサ１５において、画素信号にゲイン値を印加するようにしても良い。
【００３１】
画像合成部２７は、画像合成回路を有し、複数コマの画像データを合成する。この合成処理としては、加算合成処理、平均合成処理、比較明合成処理、比較暗合成処理、ＨＤＲ合成処理（露出量を変更しながら撮影した画像の合成）、深度合成処理（ピント位置をずらしながら撮影した画像の合成）、複数の画像データを画像の領域に張り付けて一コマの組み写真を合成する（フォトストーリー）などがある。画像合成部２７は、複数コマの画像データを合成する画像合成部として機能し、複数の撮影条件で撮影された１コマの画像データは、画像合成部で合成された画像データである。
【００３２】
現像処理部２８は、イメージセンサ１５から読み出された画像データ、または内部メモリ２２に一時保存された画像データに対して、現像処理を施す。現像処理としては、デモザイキング処理、ノイズ除去処理、ＷＢバランス処理、輪郭強調処理等がある。また、現像処理部２８は、ＪＰＥＧやＭＰＥＧなどの画像データ圧縮伸張処理も行う。イメージセンサ１５と表示部２４の画素数が異なる場合は、表示部２４の画素数に合うように画素数を増減させるリサイズ処理も行う。
【００３３】
表示画像生成部２９は、ライブビュー画像や、撮影画像の再生表示用の画像を生成し、また操作メニュー画像等を生成する。この生成された画像は、表示部２４に表示される。さらに、本実施形態では、ライブビューや再生画像に、画像出力情報処理部２０３が抽出した撮影関連情報を重畳した画像を生成し、表示部２４に表示する。
【００３４】
なお、画像処理部２０は、本実施形態においては、画像処理演算を行う演算回路とＣＰＵ（Central Processing Unit）とプログラムを記憶したメモリで構成する専用の画像処理プロセッサである。このうち、ゲイン印加部２６、画像合成部２７、現像処理部２８、表示画像生成部２９は、演算回路で構成し、残りはＣＰＵがプログラムによって実行する。しかし、この構成に限らずに、例えば画像処理演算を画像処理プログラムに基づいて、デジタル信号プロセッサ（ＤＳＰ）等の汎用の信号処理プロセッサに展開する構成であってもよい。また、後述するシステム制御部２１がプログラムに従って実行するようにしてもよい。
【００３５】
内部メモリ２２は、電気的に書き換え可能な揮発性のメモリ、例えば、ＤＲＡＭや、電気的に書き換え可能な不揮発性メモリ、例えば、フラッシュメモリを有する。内部メモリ２２は、画像データやカメラ全体の制御を行う制御プログラムなどを記録し、保持する。内部メモリ２２は、画像データを記録する記録部として機能する。
【００３６】
外部メモリ２３は、ＳＤカードやＣＦカードなどの可搬性のメモリ媒体を有し、このメモリ媒体は、カメラ本体に着脱自在である。外部メモリ２３に画像データの記録を行うことができ、また前述の画像データに関連付けたデータも一緒に記録される。本装置の利用者は外部メモリ２３をカメラ本体から取り出して、他の装置で画像データの再生を行うことができる。
【００３７】
表示部２４は、カメラ本体の背面部に配置されたＴＦＴ（Thin Film Transistor）液晶ディプレイや、接眼部を介して観察可能なＥＶＦ（電子ビューファインダ：Electronic View Finder）であって、本装置の操作に関する情報や、画像データ、画像データに関する情報などを表示する。表示部２４は、画像領域情報及び画像関連情報を画像データに重畳して表示する表示部として機能する。
【００３８】
入力部２５は、ボタン、スイッチ類やタッチパネル等の操作部材を有し、この操作部材の操作状態を検出し、検出結果をシステム制御部２１に出力する。システム制御部２１は、この入力部２５への入力状態に応じて、カメラの制御を行う。タッチパネル等によって、後述する領域の指定を行うことができる。また、領域毎に、撮影条件の設定（例えば、シャッタ速度、ＩＳＯ感度の設定）や、画像処理の設定（ＷＢの設定、ノイズリダクション処理、アートフィルタ）も行うことができる。入力部２５は、撮影者からの撮影条件の入力を受け付ける撮影条件入力部として機能し、撮影条件入力部からの信号に応じて、複数の画像領域毎に、撮影条件を設定する。
【００３９】
システム制御部２１は、ＣＰＵ（Central Processing Unit）とその周辺回路およびメモリ等を有する。ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１内の各部を制御することによってカメラの全体を実行する。
【００４０】
次に、図２に示すフローチャートを用いて、本実施形態に係るカメラの動作について説明する。このフローチャートは、システム制御部２１内のＣＰＵが、内部メモリ２２に記憶されたプログラムに従って、カメラ内の各部を制御することにより実現する。
【００４１】
図２のフローチャートを開始すると、まず、ライブビューを表示する（Ｓ１）。ここでは、絞り１３を開放絞り値とし、またシャッタ１４を開放状態にして、イメージセンサ１５からの画像データに基づいて、被写体像を表示部２４に表示する。駆動制御部１１が行うイメージセンサ１５の読出しは通常モードで行う。
【００４２】
次に、ＡＥ及びＡＦ（測距）を行う（Ｓ３）。ここでは、ＡＥ（Auto Exposure：自動露出制御）を行うために、イメージセンサ１５からの画像データに基づいて、被写体輝度を検出する。また、ＡＦ（Auto Focus）を行う。イメージセンサ１５が、像面位相差イメージャを採用している場合には、全画素領域で測距を行う。被写体輝度や測距は、次ステップで指定する領域毎に関連付けられるような単位で行う。
【００４３】
ＡＥ・ＡＦを行うと、次に、領域指定を行う（Ｓ５）。イメージセンサ１５の撮像面に対応する画面内を複数の領域に分割する。分割は、ユーザがタッチパネル等、入力部２５の操作部材によって画像を領域に分割する。また、領域の指定は、ユーザによる手動設定の他、被写体輝度や測距結果に基づいて、自動的に行うようにしてもよい。図４に示す例では、ユーザが分割線ＬＩＮＥを上下に移動させることによって指定する。指定された領域毎に、撮影条件や画処理を設定することが可能である（Ｓ７〜Ｓ１３参照）。
【００４４】
領域指定を行うと、次に、シャッタ速度の設定を行う（Ｓ７）。図３を用いて説明するように、本実施形態におけるイメージセンサ１５は、領域毎（画素毎）にシャッタ速度を変えることができる。そこで、ステップＳ５において設定した領域毎にシャッタ速度を設定する。設定にあたっては、領域毎の被写体輝度に基づいて最適となるように自動的にシャッタ速度を決めてもよく、またユーザが手動で設定してもよい。
【００４５】
シャッタ速度を設定すると、次に、ＩＳＯ感度の設定を行う（Ｓ９）。ここでは、ゲイン印加部２６が、ステップＳ５において設定した領域毎にＩＳＯ感度に応じたゲイン値を印加する。なお、イメージセンサ１５が、前述したように、領域毎にゲインを設定する機能を有している場合には、イメージセンサ１５においてＩＳＯ感度の設定を行ってもよい。
【００４６】
ＩＳＯ感度の設定を行うと、次に、ＷＢ（ホワイトバランス）の設定を行う（Ｓ１１）。ここでは、現像処理部２８が、ステップＳ５において設定した領域毎にＷＢの設定を行う。画面内に様々な色温度の光源が映っている場合には、この光源に合わせて領域毎にＷＢを設定することにより、自然な感じの写真とすることができる。
【００４７】
ＷＢの設定を行うと、次に、画像処理の設定を行う（Ｓ１３）。ステップＳ５において設定した画像の領域毎に、ノイズリダクションの設定やアートフィルタの設定をユーザの好みで変更する。
【００４８】
画像処理の設定を行うと、次に、撮影条件処理を行う（Ｓ１５）。ここでは、撮影条件処理部２０２が、ステップＳ５において設定した領域毎に、システム制御部２１によって設定された撮影条件を抽出する。
【００４９】
撮影条件の処理を行うと、次に、画像出力情報処理を行う（Ｓ１７）。ここでは、画像出力情報処理部２０３が、ステップＳ５において設定した領域毎に、ライブビューの画像から画像出力情報を抽出する。画像出力情報は、前述したように、被写体輝度分布を示すヒストグラムや、適正露出値からのずれを表すＥＶ値等がある。
【００５０】
画像出力情報処理を行うと、次に、領域情報処理を行う（Ｓ１９）。ここでは、領域毎（画素毎）に設定された撮影条件（ステップＳ１５）や、画像出力情報（ステップＳ１７）が異なる場合は、これらの撮影条件、画像出力情報と関連付ける。
【００５１】
領域情報処理を行うと、次に、表示画像の生成を行う（Ｓ２１）。ここでは、表示画像生成部２９が、画像領域情報と撮影条件・画像出力情報をライブビュー画像に重畳した画像を生成する。なお、設定された撮影条件等に応じたライブビュー画像とする。例えば、シャッタ速度が適正よりも高速側にシフトされている場合には、イメージセンサ１５の電子シャッタを高速側にシフトさせ、ライブビュー画像を生成すればよい。
【００５２】
表示画像の生成を行うと、次に、ライブビュー表示を行う（Ｓ２３）。ここでは、ステップＳ２１において、表示画像生成部２９が生成した画像をライブビュー画像として表示する。ユーザは、複数の領域毎にどのような撮影条件を設定しているか、また領域毎にどのような出力になっているかを把握できる。
【００５３】
ライブビュー表示を行うと、次に、レリーズオンか否かを判定する（Ｓ２３）。ユーザは、表示部２４に表示されたライブビュー画像を観察し、意図通りの構図となった場合や、またライブビュー画像に重畳されている画像領域毎の撮影条件・画像出力情報を見ながら、撮影条件等を調節し、意図通りの画像のなった場合には、レリーズ釦を全押しする。レリーズ釦の全押しに応じたレリーズスイッチがオンとなると、撮影を開始する。レリーズスイッチがオンとならない場合には、ステップＳ３に戻り、前述の動作を実行する。この場合には、入力部２５はユーザの操作部材の操作状態を検出し、検出結果を反映する。
【００５４】
ステップＳ２３における判定の結果、撮影を開始すると、システム制御部２１は、絞り１３の絞り値を制御し、シャッタ１４のシャッタ速度を制御し、イメージセンサ１５の撮像を制御する。なお、領域毎のシャッタ速度を異ならせる場合には、シャッタ１４に加えて、イメージセンサ１５の電子シャッタを併用する。すなわち、最長のシャッタ速度をシャッタ１４で制御し、これより短いシャッタ速度の領域については、電子シャッタによって制御する。シャッタ速度以外の撮影条件についても、設定された条件に従って、撮像動作を実行する。
【００５５】
シャッタ速度で決まる露光時間が経過すると、画像データの読出しを行う（Ｓ２５）。ここでは、駆動制御部１１がイメージセンサ１５から画像データの読出しを行い、バス３０に出力し、また内部メモリ２２に一時記憶する。なお、ステップＳ１やＳ２３におけるライブビュー画像の表示の際には、読出しの画素数は少ないが、ステップＳ２３においてレリーズオンと判定された場合の本撮影では、ライブビュー表示時よりも画素数を多くし、高精細の画像データを得る。
【００５６】
画像データの読出しを行うと、次に、ゲイン印加を行う（Ｓ２７）。ここでは、ゲイン印加部２６が、画像データにゲインを印可する。領域毎（画素毎）に異なるゲインが設定されている場合は、設定に従ってゲインを印加する。なお、イメージセンサ１５から画像データを読み出すにあたって、ゲインの印加が可能の場合には、ステップ２５におけるイメージセンサ１５からの読み出しの際に行ってもよい。
【００５７】
ゲインを印加すると、次に、現像処理を行う（Ｓ２９）。ここでは、現像処理部２８が画像データを現像する。領域毎（画素毎）に異なる画像処理設定（ＷＢ、アートフィルタなど）が設定されている場合には、設定に従って画像処理を行う。
【００５８】
現像処理を行うと、撮影条件処理を行う（Ｓ３１）。ここでは、撮影条件処理部２０２が、撮影の際の撮影条件（シャッター速度、ゲインなど）をシステム制御部２１から抽出する。また画像データに設定した画像処理設定を現像処理部２８より抽出する。このとき、測距を行っている場合には、ピント位置情報を撮影条件として抽出しても良い。領域指定が行われ、領域毎（画素毎）に撮影条件が異なる場合は、領域毎の撮影条件を抽出する。
【００５９】
撮影条件処理を行うと、次に、画像出力情報処理を行う（Ｓ３３）。ここでは、画像出力情報処理部２０３が設定された領域毎（画素毎）の画像出力情報（ヒストグラム情報、露出（適正露出からのずれ、ＥＶ値）、ノイズ値）を画像データより算出する。領域指定がされていない場合は画像全体の画像出力情報を算出しても良い。
【００６０】
画像出力情報処理を行うと、次に、領域情報処理を行う（Ｓ３５）。ここでは、領域がユーザにより手動で指定され、または領域が自動設定された場合であって、領域毎（画素毎）に異なる撮影条件で撮影された場合には、領域情報処理部２０１が、これら複数の領域毎（画素毎）に撮影条件や画像出力情報を関連付け、画像データのメタデータとしてヘッダデータ（ＥＸＩＦデータなど）に割り当てる。
【００６１】
領域情報処理を行うと、次に、画像データの記録を行う（Ｓ３７）。ここでは、画像データを外部メモリ２３に記録する。また、画像データの記録にあたっては、ステップＳ３５において、ヘッダデータに割り当てられた画像データのメタデータも併せて記録する。
【００６２】
画像データの記録を行うと、表示画像の生成を行う（Ｓ３９）。ここでは、表示画像生成部２９が、撮影した画像データに、領域毎（画素毎）の撮影条件または画像出力情報を重畳した画像を生成する。
【００６３】
表示画像を生成すると、次に再生画像を表示する（Ｓ４１）。ここでは、ステップＳ３９において生成した画像を、表示部２４に再生画像として表示する。再生画像を表示した際に、ユーザの指示に応じて、領域毎の撮影条件または画所出力情報を表示するようにしても良い。これによって、ユーザが必要なときに情報を確認することができる。
【００６４】
次に、図３を用いて、イメージセンサ１５の先幕電子シャッタによる撮影条件の制御について説明する。図３（ａ）において、縦軸方向はイメージセンサ１５の撮像面の上下方向に対応し、横軸方向は時刻に対応する。時刻Ｔ１において、画像下端側の画素ラインから、画像上端側の画素ラインに向けて、順次、露光を開始する。露光が画素ラインＴｃに達すると、開始時刻をＴ２まで遅らせ、時刻Ｔ２になると、画像下端側と同様に画像上端側の画素ラインに向けて、順次、露光を再開する。
【００６５】
そして、時刻Ｔ３になると、画像下端側の画素ラインから、画像上端側の画素ラインに向けて、順次、露光を終了する。この結果、図３（ａ）に示すように、画像下端側では露光時間がＴｄ（シャッタ速度に対応する）になり、一方、画像上端側では露光時間がＴｕ（シャッタ速度に対応）となる。このように、先幕電子シャッタを用いることにより、画面の上側と下側で、撮影条件（この場合はシャッタ速度）を異ならせることができ、１コマの撮影にあたって、複数の撮影条件で撮影が行うことができる。
【００６６】
なお、図３（ａ）に示す例では、露光開始時点を線形に変化せずに、画素ラインＴｃで対応するタイミングでずらし、一方、露光終了時点を線形に変化させている。しかし、これに限らず、露光開始時点を線形に変化させ、露光終了を線形に変化させないようにしてもよく、また露光開始時点と露光終了時点の両方を線形に変化させないようしてもよい。また、図３（ａ）に示す例では、シャッタ速度を変化させる画素ラインＴｃを１か所のみとしたが、これに限らず、２か所以上としても勿論かまわない。また、シャッタ速度変化位置（ライン）Ｔｃで、シャッタ速度を切り換える代わりに、Ｔｃの前後で緩やかに変化させるようにしてもよい。この場合には、画素ラインＴｃの前後で画像の明るさの変化が急激にならず、自然な感じの写真にすることができる。
【００６７】
次に、図３（ｂ）を用いて、図３（ａ）と同じ効果を印加ゲイン値で制御する例を説明する。本実施形態においては、ゲイン印加部２６が、図３（ｂ）で示すようなゲイン値を印加する。しかし、これに限らず、イメージセンサ１５内にゲイン印加回路を設け、この回路によって、図３（ｂ）に示すようなゲイン値を印加するようにしてもよい。
【００６８】
図３（ｂ）において、縦軸方向はイメージセンサ１５の撮像面の上下方向に対応し、横軸方向は印加するゲイン値を示す。画像下端側から読み出された画素ラインの画素値に対しては、ゲインＧｄが印加される。ゲイン値変化位置（ライン）Ｇｃより上端側から読みだされた画素ラインの画素値に対しては、ゲインＧｕが印加される。
【００６９】
ゲインＧｕを印加することにより、図３（ａ）に示すようなシャッタ速度Ｔｕで露光したと同様の効果を得ることができ、またゲインＧｄを印加することによりシャッタ速度Ｔｄで露光したと同様の効果を得ることができる。すなわち、１コマの撮影にあたって、複数の撮影条件で撮影が行うことができる。
【００７０】
なお、電子シャッタの場合と同様、ゲイン値変化位置（ライン）Ｇｃの前後で緩やかに印加ゲイン値を変化させるようにしてもよい。この場合には、ゲイン値変化位置（ライン）Ｇｃの前後で画像の明るさの変化が急激にならず、自然な感じの写真にすることができる。
【００７１】
次に、図４を用いて、撮影条件処理によって撮影条件を抽出し（Ｓ１５、Ｓ３１）、これに基づいて生成した画像表示（Ｓ２３、Ｓ４１）について説明する。なお、両画像表示は、元にする画像データが異なる以外は同様の表示となる。
【００７２】
図４（ａ）は、通常の撮影で得られる画像、すなわち、単一の撮影条件で撮影する場合の画像を示す。この図４（ａ）に示す例では、画像の下側が暗い。図４（ｂ）は、図３に示したようなシャッタ速度やゲイン値を画像領域によって異ならせることにより生成した画像である。すなわち、画像の下側のシャッタ速度を上側より長くし、ゲイン値を上げた場合である。
【００７３】
図４（ａ）に示した例では、ＩＳＯ感度を２００、シャッタ速度（ＳＳ）を１／１０００に設定している。一方、図４（ｂ）に示した例では、画面の上側において、ＩＳＯ感度を２００、シャッタ速度（ＳＳ１）を１／１０００に設定し、画面の下型において、ＩＳＯ感度を４００、シャッタ速度（ＳＳ２）を１／１００に設定している。このように、画面を上下２つの領域に分け、それぞれの領域について、撮影条件を表示することにより、ユーザは直感的に撮影条件を把握することができる。また、画像のどこから撮影条件（設定値）が変わっているかを示す表示（ＬＩＮＥ）を、画像に重畳して表示するようにしてもよい。
【００７４】
図４（ｂ）に示す画像は、再生画像で表示してもよく（図２のＳ４１）、またライブビュー画像で表示してもよい（図２のＳ２３）。ライブビュー表示すれば、事前に、出来上がりの画像を想定でき、意図通りでない場合には、ライブビュー画像を見ながら、調整することができる。また、再生画像で表示すれば、出来上がりを確認することができ、意図通りでない場合には、再度、シャッタ速度等を調整して撮影を行うことができる。また、調整にあたっては、シャッタ速度等の撮影条件を変更する他に、ＬＩＮＥの位置を上下にずらすことによって行ってもよい。
【００７５】
なお、本撮影とは異なる撮影条件でライブビュー画像を生成する場合が想定される。例えば、本撮影ではＬＩＮＥの上下の領域でシャッタ速度を異ならせて撮影を行う場合に、ライブビューではシャッタ速度をＬＩＮＥの上下の領域で共通の値に設定しつつ、異なるゲイン値を設定して、本撮影で得られる画像をシミュレーションして表示する場合が想定される。この場合には撮影者がライブビューで把握したいのは本撮影での撮影条件（ＬＩＮＥの上下の領域に設定されるシャッタ速度）であるので、ライブビューが本撮影と異なる撮影条件で撮影されていても、本撮影時の撮影条件を表示することが好ましい。この変形例では、撮像素子は、複数の撮影条件で１コマの画像データを撮影する本撮影動作を行い、本撮影前のライブビュー画像データに、本撮影動作時の画像領域情報及び画像関連情報を重畳して表示する。
【００７６】
次に、図５を用いて、画像出力情報を抽出し（Ｓ１７、Ｓ３３）、これに基づいて生成した画像表示（Ｓ２３、Ｓ４１）について説明する。なお、両画像表示は、元にする画像データが異なる以外は同様の表示となる。
【００７７】
図５（ａ）は、画像出力情報として、適正露出に対するずれ量ＥＶ１、ＥＶ２を算出して表示し、また輝度分布を示すヒストグラムを算出して表示している例である。画面の右上には、境界線ＬＩＮＥよりも上側の画像領域の被写体輝度の出力平均値を算出し、適正露出に対するずれＥＶを算出し、ＥＶ１として表示している。この場合、適正露出であればＥＶは０となり、オーバ（過剰）であればＥＶは＋、アンダ（不足）であればＥＶは−となる。
【００７８】
画面の右下には、境界線ＬＩＮＥよりも下側の画像領域の適正露出に対するずれＥＶを算出し、ＥＶ２として表示している。図５（ａ）に示す例では、ＥＶ２＝−２であり、適正露出より、２段不足していることを示している。
【００７９】
画面の左のやや上側には、ヒストグラムＨＩＳ_１を示している。このヒストグラムＨＩＳ_１は、境界線ＬＩＮＥよりも上側の画像領域の被写体輝度をヒストグラム表示している。また、画面の左下側には、ヒストグラムＨＩＳ_２を示している。このヒストグラムＨＩＳ_２は、境界線ＬＩＮＥよりも下側の画像領域の被写体輝度をヒストグラム表示している。ヒストグラムは、被写体が明るい場合ほどカーブの山が右側にシフトし、暗いほどカーブの山が左側にシフトする。ユーザは、各画像領域のヒストグラムを比較することにより、被写体輝度の分布を直感的に理解することができる。なお、境界線ＬＩＮＥは、ユーザによってその位置を変更することができる。
【００８０】
画像出力情報の算出と表示は以下のようにして行う。領域情報処理部２０１が、それぞれの領域についての領域情報を抽出し、画素出力情報処理部２０３が、それぞれの領域の画素出力を算出する。適正露出からのずれを示すＥＶ値であれば、適正露出（ＪＰＥＧ２５５ＬＳＢであれば、１１８ＬＳＢを適正露出とする）に対して、画素出力の平均値が何段ずれているかを計算する。また、ヒストグラムで表示する場合は、それぞれの領域の画素出力の統計分布を計算する。
【００８１】
領域情報処理部２０１と画素出力情報処理部２０３の計算結果（ＥＶ値またはヒストグラムのグラフ）に基づいて、表示画像生成部２９がライブビューまたは再生画に重畳させた画像を生成する。これによって、ユーザは、それぞれの領域の露出を画像と合わせて画像の特徴を把握することができる。ライブビューであれば、ＥＶ値やヒストグラムを確認しながら、図４に示したように、それぞれの画像領域の露出を調整し、意図する画像となるように、制御することができる。
【００８２】
図５（ｂ）は、画像出力情報を算出し、表示する他の例を示す。この例では、各水平方向の輝度レベルを平均した結果を、グラフ化して表示している。すなわち、画素ライン方向（画面水平方向）に、１ライン毎に輝度レベルを平均化して、適正露出レベルからのずれとして示す。例えば、図５（ｂ）の画面中のＬｐは、画素ラインＰの輝度レベル平均値であり、＋１．４ＥＶ程度である。グラフＬは、各画素ラインの輝度レベルを繋いだラインである。また、各ラインの平均値は、更に複数ラインを束ねて平均化したり、各ラインの平均値にフィルタ処理を入れてグラフＬを滑らかにする処理を入れても良い。
【００８３】
なお、図５（ｂ）では、横軸に適正露出からのずれ量をＥＶ値で表示しているが、これに限らず、輝度値を表示してもよく、またシャッタ速度（Ｔｖ値）で表示するようにしてもよい。シャッタ速度で表示すれば、前述したような先幕電子シャッタで、画像領域の撮影条件を変更する場合には大変便利である。先幕電子シャッタ時に参考となるように、シャッタ速度表示（Ｔｖ値）と、ＥＶ値表示（また輝度値）を設定変更により切り替えを可能としておく。
【００８４】
図５（ｂ）において、横軸を輝度レベル表記にする場合は、画素方向（水平方向）の平均レベルを表記することになり、シャッタ速度表記の場合は、横軸をＴｖ値として、例えば、適正露出になるＴｖ値を基準として、明るい部分をマイナスとして、暗い部分をプラスとして、先幕電子シャッタ設定時の指標になるようにすればよい。Ｔｖ値に関しては、露光時間に関する表記であれば、秒や、カメラ内部の設定値そのものでもよい。また、図５（ｂ）では１段を基準として目盛りを表記しているが、目盛り幅や目盛り間隔は、被写体に応じて変化させてもよい。
【００８５】
次に、図６を用いて、画像領域の設定の別の例について説明する。図４および図５に示した例では、水平方向に延びる境界線ＬＩＮＥを、ユーザがタッチ操作により上下に移動させていた。図６（ａ）に示す例は、画面を複数のブロックに分け、それぞれのブロックを分析し、画像領域に自動的に分割するようにしてもよい。分割された画像領域毎に、撮影情報や画像出力情報を抽出するようにしてもよい。図６（ａ）の例では、各ブロックは、複数画素で構成するが、１画素毎に画像領域を設定し、１画素毎に撮影情報や画素出力情報を抽出し、記録するようにしてもよい。但し、この場合には、情報量が膨大となってしまう。そこで、本実施形態においては、図６（ａ）に示すように、複数の（ｘ、ｙ）画素からなる数十画素毎のブロックに分割することによって情報量を圧縮している。
【００８６】
図６（ｂ）に示す例は、被写体距離に基づいて、領域分割を行っている。この例では、イメージセンサ１５は、像面位相差ＡＦ機能（イメージセンサの各画素で距離情報を検出可能）を有しており、各ブロックの被写体のピント情報（カメラからの被写体距離情報）を把握することが可能である。領域情報処理部２０１は、各ブロックの被写体距離情報尾に基づいて、画像領域の分割を行う。
【００８７】
図６（ｂ）に示す例では、写真は花にピントを合わせて撮影している（花とは被写体距離の異なる花以外の領域はピントを外して撮影されており、１コマの画像で異なる撮影条件（ピント条件）で撮影されている）。領域情報処理部２０１は、手前の花の部分を破線で示す領域ＡＲＥＡと、背景の部分（領域ＡＲＥＡ以外の部分）の２つの画像領域に分けている。そして、それぞれの領域について、画像出力情報、ここでは被写体距離を表示するようにしており、手前の領域ＡＲＥＡについては、距離２として５０ｃｍを表示し、領域ＡＲＥＡ以外の背景部分については、距離１として∞（無限遠）を表示している。
【００８８】
また、画像出力情報（被写体距離）を表示するだけではなく、画像データと一緒に、画像領域毎に、画像出力情報を関連付けて、記録するようにしてもよい。これによって、撮影後においても、撮影時の被写体の情報として活用することができる。
【００８９】
次に、図７を用いて、画像領域毎に撮影条件・画像出力情報を関連付けて記録する場合について設笑みする。図７（ａ）は、撮影条件処理部２０２および画像出力情報処理部２０３において、撮影条件や画像出力情報を記憶する場合の領域の分け方を示す。すなわち、図７（ａ）に示す例では、イメージセンサ１５の撮像面を、Ｘ方向にＮ個（整数）、Ｙ方向にＭ個（整数）に分割し、それぞれの領域には複数の画素が含まれる。各領域で撮影条件、画素出力情報を抽出する。
【００９０】
図７（ｂ）は、画像ファイルのデータ構造を模式的に示す。すなわち、図７（ｂ）は、図７（ａ）に示す各ブロックとなるように、領域情報処理部２０１が画像領域情報を出力し、撮影条件処理部２０２で抽出された撮影条件と、画像出力情報処理部２０３で抽出された画像出力情報を、関連付けての記録するためのデータ構造の一例を示す。
【００９１】
画像ファイルＩＦは、画像データ（画素出力データ）ＩＤに関連するメタデータＭＤを関連付けて、内部メモリ２２または外部メモリ２３に記録される。メタデータＭＤは、カメラの機種名やレンズの名称、撮影日時など種々な情報が記録されている。
【００９２】
図７（ｂ）に示すように、メタデータＭＤに、画像領域情報であるブロックの配列情報毎に、撮影条件や画像出力情報を関連付けて記録している。一般的な画像ファイルには、画像データ１コマにつき、１つの撮影条件がメタデータとして記録される。しかし、本実施形態においては、画像領域毎に異なる撮影条件や画像出力情報がある場合であっても、画像領域毎の情報を記録することができる。このように、各画像領域の撮影条件や、画素出力情報を画像データに関連付けて、処理し、記憶することができる。
【００９３】
なお、本実施形態においては画像ファイルＩＦのメタデータ記憶領域に画像領域情報、画像関連情報を記録する例を示したが、これに限られない。例えば画像ファイルＩＦとは異なる関連データファイルとして画像領域情報、画像関連情報を記録しても良い（例えば、同じフォルダ内に画像ファイルＩＦと関連データファイルを保存するように記録する）。例えば１画素毎に画像関連情報を記録した場合、画像関連情報のデータ量が大きくなった結果、画像ファイルＩＦのデータ量が大きくなり、データ処理の効率が悪化する（画像データの再生やコピー、移動などのデータ処理の時間が増加する）。このような場合に画像ファイルＩＦと関連データファイルを別ファイルとして処理できれば、画像領域情報、画像関連情報のデータ量が大きい場合も効率的にデータ処理を行うことができる。
【００９４】
このように、本発明の第１実施形態においては、１コマの画像の中で領域によって、異なる撮影条件で撮影した場合に、個々の画像領域での画像関連情報（撮影条件や画像出力情報）を、画像データに関連付けるようにしている（図２のＳ１５、Ｓ１７、Ｓ１９）。このため、画像領域毎の画像関連情報を容易に確認することができる。
【００９５】
次に、図８および図９を用いて、本発明の第２実施形態について説明する。第１実施形態においては、１コマの画像の中を複数の領域に分割し、領域毎に撮影条件を異ならせた場合であってもそれぞれの撮影条件や画像出力情報を表示させると共に、画像データに関連付けて外部メモリ２３等に記録していた。これに対して、第２実施形態においては、複数コマの画像を合成して１コマの画像を生成し、それぞれのコマの撮影条件や画像出力情報を表示させると共に、画像データに関連付けて外部メモリ２３等に記録する。
【００９６】
第２実施形態に係るカメラの構成は、図１に示した第１実施形態と同様であることから、詳しい説明を省略する。第２実施形態に係るカメラの動作は、図２に示したフローチャートを図８に示すフローチャートに置き換える。このフローチャートは、複数コマの画像を撮影し、画像を合成する画像合成モードが設定されている場合を想定している。合成モードとしては、複数コマの画像データを撮影し、各コマを１コマの中に配置するように合成し、あたかも１つのストーリを示すフォトストーリーがある（例えば、特開２０１４−０６８２７３参照）。また、フォトストーリー以外にも、深度合成、多重露出、ＨＤＲ合成等の画像を合成するモードがある。なお、本実施形態においては、１コマ毎に画像領域指定は行わず、様々な条件で合成された画像の領域毎の条件について表示や記録を行う。
【００９７】
図８に示すフローチャートに入ると、まず、ライブビュー表示を行う（Ｓ５１）。ここでは、ステップＳ１と同様に、絞り１３を開放絞り値とし、またシャッタ１４を開放状態にして、イメージセンサ１５からの画像データに基づいて、被写体像を表示部２４に表示する。
【００９８】
ライブビュー表示を行うと、次に、撮影条件の設定を行う（Ｓ５３）。ここでは、ユーザが設定した撮影条件を取り込む。フォトストーリーの場合には、個々のコマ毎にシャッタ速度、絞り値、ＩＳＯ感度、画像処理条件（例えば、アートフィルタ）等の撮影条件が自動または手動で設定される。深度合成、多重露出、ＨＤＲ合成等の場合には、最初のコマが設定されると、２コマ目以降は、予め決められた条件に従って撮影条件が設定される。例えば深度合成においては、画像全体にピントがあった画像を合成するために必要な複数のピント位置（フォーカスレンズの制御設定）が自動または手動で設定される。ＨＤＲ合成においては所望のダイナミックレンジの画像が合成できるように、複数の露出設定の撮影（シャッター速度やＩＳＯ感度または絞り値）が自動または手動で設定される。
【００９９】
撮影条件の設定を行うと、次に、レリーズがオンされているか否かを判定する（Ｓ５５）。ここでは、入力部２５からのレリーズ釦の検出信号に基づいて、レリーズがオンか否かを判定する。この判定の結果、レリーズ釦が押されていない場合には、ステップＳ５１に戻る。
【０１００】
一方、ステップＳ５５における判定の結果、レリーズがオンの場合には、画像を読み出す（Ｓ５７）。レリーズがオンとなると、システム制御部２１は、絞り１３の絞り値を制御し、シャッタ１４のシャッタ速度を制御し、イメージセンサ１５の撮像を制御する。そして、シャッタ速度で決まる露光時間が経過すると、駆動制御部１１がイメージセンサ１５から画像データの読出しを行い、バス３０に出力する。
【０１０１】
画像の読出しを行うと、次に、ゲイン印加を行う（Ｓ５９）。ここでは、ゲイン印加部２６が、画像データにゲインを印可する。なお、イメージセンサ１５から画像データを読み出すにあたって、ゲインの印加が可能の場合には、ステップ２５におけるイメージセンサ１５からの読み出しの際に行ってもよい。
【０１０２】
ゲイン印加を行うと次に、現像処理を行う（Ｓ６１）。ここでは、現像処理部２８が画像データを現像する。
【０１０３】
現像処理を行うと、次に、撮影条件処理を行う（Ｓ６３）。ここでは、撮影条件処理部２０２が、撮影の際の撮影条件（シャッター速度、ゲインなど）をシステム制御部２１から抽出する。また画像データに設定した画像処理設定を現像処理部２８より抽出する。撮影条件の抽出にあたっては、何コマ目の撮影であるかに関連付けて記憶しておく。撮影条件として、例えば、ゲイン、シャッタ速度、焦点距離（ズーム位置）、フラッシュ発光の有無、絞り値、露出制御情報（アンダ／適正／オーバ）、撮影日（レリーズを押した日時）等の少なくとも１つを抽出する。
【０１０４】
撮影条件処理を行うと、次に、画像出力情報処理を行う（Ｓ６５）。ここでは、画像出力情報処理部２０３が画像出力情報を画像データより算出する。画像出力情報として、例えば、ヒストグラム情報、露出（適正露出からのずれ、ＥＶ値）、ノイズ値、被写体距離等の少なくとも１つを抽出する。
【０１０５】
画像出力情報処理を行うと、次に、画像データを記録する（Ｓ６７）。ここでは、ステップＳ５７において読み出した１コマ分の画像データを内部メモリ２２または外部メモリ２３に記録する。例えば、深度合成等の連写性が必要な場合には高速でデータの書き込みと読み出しが可能な内部メモリ２２が望ましい。またフォトストーリーのように、速写性が求められない場合には、外部メモリ２３で行う。また、１コマ分の画像データの記録にあたって、ステップＳ６３の撮影条件処理で抽出した撮影条件と、ステップＳ６５の画像出力情報処理で抽出した画像出力情報を、画像データに関連付け、画像ファイルを生成して記録する。
【０１０６】
画像データを記録すると、次に、必要枚数に達したか否かを判定する（Ｓ６９）。画像合成モードでは、必要な合成枚数が決まっている場合がある。決まっている場合は、このステップで、必要な枚数まで撮影が完了したか否かを判定する。必要枚数が決まっていない場合には、ユーザが撮影を完了するまで撮影続行を可能とし、このステップでは撮影完了か否かを判定する。このステップでの判定の結果、必要枚数に達していない場合には、ステップＳ５１に戻り、次のコマの撮影条件を設定して撮影を行う。なお、深度合成等、撮影を開始すると予め決められた枚数を連写する場合には、ステップＳ５５における判定をスキップして、次のステップＳ５７に進むようにしてもよい。
【０１０７】
ステップＳ６９における判定の結果、必要枚数に達すると、次に、画像合成を行う（Ｓ７１）。撮影が完了したら、画像合成部２７が撮影された複数枚の画像を合成し、合成画像を内部メモリ２２に記憶する。例えば、フォトストーリーであれば、コマ割りされた各コマのサイズに画像サイズの変更を行い、画像を１コマの中にはめ込む処理を行う（図９参照）。また、ＨＤＲ合成であれば、露出を変更して撮影した複数コマの同じ画素アドレスの出力を被写体の明かるさに応じて重みづけを行って合成する。深度合成であれば、ピント位置をずらして複数コマの撮影を行い、画像の各位置のピントずれが小さくなるように画像を合成する。
【０１０８】
画像合成を行うと、次に、領域情報処理を行う（Ｓ７３）。第１実施形態においては、１コマを画像領域に分割していたが、第２実施形態においては、複数コマを画像合成しており、各コマがそれぞれ画像領域に対応する。このステップでは、各コマの撮影条件や画像出力情報を抽出し、各コマの画像データに関連付けを行う。
【０１０９】
例えば、合成モードとしてフォトストーリーが設定されている場合には、領域情報処理部２０１が各コマのアドレス情報（例えばコマが四角の場合は頂点の座標）を画像領域情報として抽出し、撮影条件処理部２０２と画像出力情報処理部２０３がそれぞれそのコマに割り当てられた画像データの撮影条件と画像出力情報を抽出し、各コマに関連付ける。また、ＨＤＲ合成モードが設定されており、例えば、露出を−１ＥＶ、０ＥＶ、＋１ＥＶで撮影した画像を合成する場合、合成画像において、どの露出の画像データを一番重み付けして合成したかを、図７（ａ）に示すようなブロック毎に、撮影条件として抽出しても良い。深度合成モードが設定されている場合には、画像の各ブロックがどのピント位置で撮影された画像を一番重み付けして合成したかを、各ブロックの撮影条件（撮影距離）として抽出しても良い。
【０１１０】
領域情報処理を行うと、次に、画像データを記録する（Ｓ７５）。ここでは、ステップＳ７１において合成した画像データと、ステップＳ７３、Ｓ７５において、関連付けられたメタデータを画像ファイルとして外部メモリ２３に記録する。
【０１１１】
画像データの記録を行うと、次に、表示画像の生成を行う（Ｓ７７）。ここでは、表示画像生成部２９が、各コマの撮影条件・画像出力情報を、画像データに重畳させた画像を生成する。
【０１１２】
表示画像を生成すると、次に、再生画像の表示を行う（Ｓ７９）。ここでは、ステップＳ７７において生成した表示画像を、表示部２４に再生画像として表示する。再生画像を表示すると、本フローを終了する。
【０１１３】
このように、本シーケンスにおいては、合成用に複数の画像を撮影し（Ｓ５７）、各コマの撮影条件や画像出力情報を抽出して記録している（Ｓ６３〜Ｓ６７）。そして、画像合成を行って１コマの画像を生成すると（Ｓ７１）、この合成画像において画像領域（すなわち、図７（ａ）に示す各ブロック）毎の撮影条件や画像出力情報を抽出している（Ｓ７３）。この抽出した撮影条件や画像出力情報を記録し、また表示可能としている（Ｓ７５〜Ｓ７９）。このため、本実施形態においては、複数コマから合成した場合であっても、画像領域の画像関連情報を容易に確認することができる。
【０１１４】
なお、本シーケンスでは複数コマの撮影が完了してから合成処理を実行したが、これに限られず、撮影を行いながら順次合成、画像情報処理部での処理を行っても構わない。こうような処理を行うことにより、合成途中の画像情報（各コマの撮影条件や画像出力情報）を確認しながら、他のコマの撮影条件を調整しながら撮影を行うことができる。また、上述以外の撮影条件でも一般的な撮像装置で得られる情報であれば、同様に処理可能である。上述以外の画像出力条件であっても一般的な画像処理装置で得られる数値情報であれば、同様に処理可能である。
【０１１５】
次に、図９を用いて、画像合成モードとして、フォトストーリーが設定されている場合の画像関連情報（撮影条件や画像出力情報）の表示について説明する。図９に示す例は、３枚の画像を撮影し、この３枚の画像を、画面の左側、右上側、右下側にそれぞれはめ込み、１コマの合成画像を生成している。それぞれの画像には、撮影条件や画像出力情報として、ＩＳＯ感度、シャッタ速度（ＳＳ）、絞り値（Ｆ値）、焦点距離、使用したアートフィルタの種類を、画像に重畳して表示している。このため、複数の画像から１コマの合成画像を生成した場合であっても、個々の画像の撮影条件や画像出力情報を容易に確認することができる。
【０１１６】
以上、説明したように、第２実施形態においては、複数枚の画像を合成して１コマの画像を生成した場合であっても、個々の画像の画像関連情報（撮影条件や画像出力情報）を、画像データに関連付けるようにしている（図８のＳ６３、Ｓ６５、Ｓ７３）。このため、複数の画像の個々の画像関連情報を容易に確認することができる。
【０１１７】
以上説明したように、本発明の各実施形態においては、画像データ記録する記録部（例えば、図１の内部メモリ２２）と、複数の撮影条件で撮影された１コマの画像データについて、異なる撮影条件で撮影を行う画像領域に関する画像領域情報と、画像領域の画像関連情報を関連付けて処理する画像関連情報処理部（例えば、画像関連情報処理部２００）が設けられている。具体的には、１コマの画像データは、１コマの画像の画像領域毎に異なる撮影条件で撮影されるか（第１実施形態参照）、異なる撮影条件で複数枚の画像が撮影され、１コマの画像に合成された画像（第２実施形態参照）の画像データである。このように、各実施形態では、画像関連情報処理部２００によって、画像領域毎の画像関連情報が画像データと関連付けられていることから、画像領域毎の画像関連情報を容易に確認することができる。
【０１１８】
また、本発明の各実施形態においては、画像領域情報及び画像関連情報を画像データに重畳して表示する表示部（例えば、表示部２４）を備えている。画像領域情報は、例えば、図４（ｂ）、図５（ａ）の境界線ＬＩＮＥによって分割される画像内の領域を示す情報であり、また図６（ａ）、図７（ａ）に示されるようにブロックで表される領域の情報である。後者の場合には、それぞれブロックを（ｘ、ｙ）座標で表示することができる。各実施形態おいては、表示部で画像関連情報が画像に重畳して表示されるので、直感的に画像関連情報を把握することができる。
【０１１９】
また、本発明の各実施形態においては、複数の撮影条件で撮影された１コマの画像データは、撮像素子（例えば、イメージセンサ１５）で撮像された画像データである。このため、撮像装置で撮影する際に（ライブビューも含む）、上述したように、画像関連情報を容易に確認することができる。
【０１２０】
また、本発明の各実施形態においては、撮像素子は、画素毎または、ライン毎にシャッタ速度を可変にすることが可能であって、画像関連情報として、シャッタ速度を処理する。前述したように、撮像素子が電子シャッタを備えている場合には、画素毎またはライン毎にシャッタ速度を可変にすることが可能である。このため画像領域毎にシャッタ速度を可変にすることができる。
【０１２１】
また、本発明の各実施形態においては、画像関連情報は、画像領域毎の撮影条件であってシャッタ速度、ＩＳＯ感度、焦点距離、露出制御値（例えば、ＥＶ値）の少なくとも１つである。また、画像関連情報は、画像領域毎に含まれる画素出力より算出される値であって、画素出力の統計値（例えば、ヒストグラム、ＥＶ値）、露出ずれ量（例えば、ＥＶ値）、被写体距離の少なくとも１つである。このように、本発明の各実施形態においては、画像関連情報として、種々の情報を利用することができ、画像領域毎に情報を確認することができる。
【０１２２】
また、本発明の各実施形態においては、画素毎または、ライン毎に画像出力にゲインを印加するゲイン印加部を備え、画像関連情報として、ゲイン値を処理する。このため、画像領域毎に、ゲインを可変にすることができる。
【０１２３】
また、本発明の各実施形態においては、複数コマの画像データを合成する画像合成部（例えば、図１の画像合成部２８）を備え、複数の撮影条件で撮影された１コマの画像データは、画像合成部で合成された画像データである。このため、複数の撮影条件で撮影された画像について、個々の撮影条件を容易に確認することができる。
【０１２４】
また、本発明の各実施形態においては、画像情報関連処理部で画像データと関連付けられた画像領域情報と、画像領域の画像関連情報を、画像データのメタデータとして記録する画像データ生成部（例えば、図１の画像データ生成部２０４）を備える（例えば、図７（ｂ））。画像関連情報が画像データのメタデータとして記録されているため、関連付けが容易にでき、簡単に表示することができる。
【０１２５】
また、本発明の各実施形態においては、撮影者からの撮影条件の入力を受け付ける撮影条件入力部（例えば、図１の入力部２５）を備え、撮影条件入力部からの信号に応じて、複数の画像領域毎に、撮影条件を設定する。このため、ユーザが手動で撮影条件を設定することができる。
【０１２６】
また、本発明の各実施形態においては、撮影条件を異ならせて撮影を行い、１コマの画像データを記憶し（例えば、図２のＳ２５、図８のＳ７１）、１コマの画像データについて、画像関連情報を抽出し（例えば、図２のＳ３１、Ｓ３３、図８のＳ６３、Ｓ６５）、１コマの画像データと、画像領域毎の画像関連情報の関連付けを行う（例えば、図２のＳ３５、図８のＳ７３）。このため、画像領域毎の画像関連情報を容易に確認することができる。
【０１２７】
また、本発明の各実施形態においては、１コマの画像データは、１回の撮影の際に、画像領域毎に撮影条件を異ならせるか（例えば、図２のＳ３〜Ｓ２３）、または１コマの画像データは、複数回の撮影によって取得した画像データを画像合成している（図８のＳ５１〜Ｓ６９）。このため、種々の撮影方法で複数の撮影条件が設定される場合であっても、容易に画像領域毎の画像関連情報を確認することができる。
【０１２８】
なお、本発明の各実施形態においては、画像処理部２０をシステム制御部２１とは別構成としたが、両者の全部または一部を一緒に構成してもよい。例えば、画像関連情報処理部２００をシステム制御部２１内のＣＰＵによって実行するようにしても構わない。
【０１２９】
また、本発明の各実施形態においては、画像処理部２０やシステム制御部２１の全部または一部は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１３０】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、撮影条件を変えて撮影を行うことのできる機器であれば、本発明を適用することができる。
【０１３１】
また、例えば、撮影済みの複数コマの画像データであって、撮影条件や画素出力情報等がメタデータとして記録されている画像データを合成する画像処理装置（パーソナルコンピュータ（ＰＣ）など）であっても本発明を適用することが可能である。また、撮像部を備えていなくても、複数の画像を合成した１コマの画像データの画像領域毎（画素毎）の撮影条件や画像出力情報を画像データと関連付けて処理を行う装置であれば本特許を適用することが可能である。
【０１３２】
また、スマートフォンや顕微鏡や内視鏡など、画像処理装置を備える装置であれば同様に本発明を適用可能である。例えば顕微鏡などであれば、光源の波長を変えて複数コマの画像データを撮影した場合に、波長を変えて撮影した複数コマの画像を１コマの画像データとして処理する際には各コマの撮影時の波長の情報を測定情報として記録してもよい。
【０１３３】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１３４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１３５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３６】
１０・・・撮像部、１１・・・駆動制御部、１２・・・レンズ、１３・・・絞り、１４・・・シャッタ、１５・・・イメージセンサ、２０・・・画像処理部、２１・・・システム制御部、２２・・・内部メモリ、２３・・・外部メモリ、２４・・・表示部、２５・・・入力部、２６・・・ゲイン印加部、２７・・・画像合成部、２８・・・現像処理部、２９・・・表示画像生成部、３０・・・バス、２００・・・画像関連情報処理部、２０１・・・領域情報処理部、２０２・・・撮影条件処理部、２０３・・・画像出力情報処理部、２０４・・・画像データ生成部
【図１】
2017220892.tif 000003
【図２】
2017220892.tif 000004
【図３】
2017220892.tif 000005
【図４】
2017220892.tif 000006
【図５】
2017220892.tif 000007
【図６】
2017220892.tif 000008
【図７】
2017220892.tif 000009
【図８】
2017220892.tif 000010
【図９】
2017220892.tif 000011