(57)【要約】【課題】ＮＤフィルタを使用しなくても擬似的にＮＤフィルタを使用したと同等の減光した撮影を可能とする撮像装置および撮像方法を提供する。【解決手段】本露光用に設定された撮影条件で撮像した場合に、画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部１７と、飽和判定部１７により、少なくとも一部の画素出力が飽和すると判定した場合に、画素出力が飽和しない分割露光時間を検出する分割露光時間検出部１９と、画像データを加算合成する加算合成部１４と、画像データ、及び加算合成部１４によって加算合成された画像データに対してマイナスゲインを印加するゲイン印加部１５を有し、加算合成部１４は、撮像部における撮像の際に、分割露光時間で分割露光し、取得した複数の画像データのそれぞれ、及び加算合成された画像データに対して、マイナスゲインを印加し、このマイナスゲインを印加された画像データを加算合成する。 【選択図】  図１
2015136087.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像し、画像データを出力するイメージセンサを含む撮像部と、
本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部と、
上記飽和判定部により、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出部と、
上記撮像部が取得した画像データに対して画像処理を施す画像処理部と、
を有し、
上記画像処理部は、画像データを加算合成する加算合成部と、上記加算合成部によって加算合成された画像データに対してマイナスゲインを印加するゲイン印加部を備えており、
上記加算合成部は、上記撮像部における撮像の際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれを加算合成して合成画像データを生成し、上記ゲイン印加部は、上記合成画像データに対して、上記マイナスゲインを印加して、撮影画像データを生成することを特徴とする撮像装置。
【請求項２】
被写体像を撮像し、画像データを出力するイメージセンサを含む撮像部と、
本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部と、
上記飽和判定部により、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出部と、
上記撮像部が取得した画像データに対して画像処理を施す画像処理部と、
を有し、
上記画像処理部は、上記分割露光時間検出部が検出した分割露光時間で撮像された、それぞれの分割露光画像データに対してマイナスゲインを印加するゲイン印加部と、上記ゲイン印加部に基づいて、マイナスゲインが印加された上記分割露光画像データを加算合成する加算合成部とを備えており、
上記加算合成部は、上記撮像部における撮像の際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれに対して、上記ゲイン印加部によって上記マイナスゲインを印加し、マイナスゲインを印加された後の画像データを加算合成して、撮影画像データを生成することを特徴とする撮像装置。
【請求項３】
上記撮像部は、さらにメカニカルシャッタを有し、
上記分割露光時間検出部によって検出された上記分割露光時間が、高速露光時間のため上記メカニカルシャッタによって制御できない場合には、上記分割露光の動作は、上記メカニカルシャッタを駆動せずに、上記イメージセンサを電子シャッタ制御により制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
上記撮像部に含まれる上記イメージセンサは、画素毎またはライン毎に露光時間を制御可能なイメージセンサであり、
上記飽和判定部によって飽和すると判定された画素またはラインを分割露光し、飽和しないと判定された画素またはラインは、１回の露光で読み出すことを特徴とする請求項１ないし３のいずれ１項に記載の撮像装置。
【請求項５】
上記ゲイン印加部は、ユーザによって設定入力される任意の減光量に基づいて算出されるマイナスゲインを設定し、上記加算合成部によって加算合成された画像データの出力に対して上記マイナスゲインを印加することを特徴とする請求項４に記載の撮像装置。
【請求項６】
上記ゲイン印加部は、ユーザによって設定入力される感度設定値に対して、上記イメージセンサの最低感度に対する感度比率に基づいて算出されるマイナスゲインを設定し、
上記加算合成によって加算合成されたが画像データの出力に対して、上記マイナスゲインを印加する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
さらに、本露光用に設定された撮影条件に基づいて適正露出が得られるイメージセンサの感度設定値を算出する本露光露出予測部を有し、
上記飽和判定部は、さらに上記本露光露出予測部によって得られたイメージセンサの感度設定値での撮影条件で、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定し、
上記飽和判定部が、上記本露光露出予測部によって、上記イメージセンサの最低感度を設定した場合に、上記画像データの少なくとも一部の画素出力が飽和すると判定された場合には、さらに上記本露光露出予測部によって、適正露出が得られる上記イメージセンサの最低感度設定値よりも低感度となるイメージセンサの感度を算出し、
上記ゲイン印加部は、上記本露光露出予測部によって取得した適正露出が得られる上記イメージセンサの感度の算出値と、上記イメージセンサの最低感度に対する感度比率に基づいて算出されるマイナスゲインを設定し、上記加算合成部によって加算合成された画像データに対して上記マイナスゲインを印加する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項８】
上記本露光露出予測部は、ライブビュー画像データに基づいて、本露光用に設定された撮影条件に基づいた、予測画像データを生成し、
上記飽和判定部は、上記予測画像データに対して、少なくとも一部の画素出力が飽和するか否かを判定し、
上記飽和判定部が、上記予測画像データに対して、少なくとも一部の画素出力が飽和すると判定された場合には、上記分割露光時間検出部は、上記画素出力が飽和しない分割露光時間および、分割数を検出する、
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
上記飽和判定部は、上記ライブビュー画像データに対して少なくとも一部の画素出力が飽和するか否かを判定し、
上記飽和判定部が、上記ライブビュー画像データに画素出力が飽和すると判定された場合には、上記本露光露出予測部は、上記飽和判定部が飽和を検出しない状態となるように露出を下げる設定をし、
上記本露光露出予測部は、上記露出を下げたライブビュー画像データから、本露光用に設定された撮影条件に基づいた予測画像データを生成する、
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
上記加算合成部および／または上記ゲイン印加部は、十分なビット精度となる拡張ビット出力を備えており、
上記加算合成部での加算演算時、および／または上記ゲイン印加部でのゲインの印加加算時に、上記画像データの情報が欠落しないように、上記加算部および／または上記拡張ビット出力を用いて演算を行う、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１１】
イメージセンサによって被写体像を撮像し、画像データを出力する撮像ステップと、
本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定ステップと、
上記飽和判定ステップ部においてり、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出ステップと、
上記撮像ステップにおいて取得した画像データに対して画像処理を施す画像処理ステップと、
を有し、
上記画像処理ステップは、画像データを加算合成する加算合成ステップと、上記加算合成ステップにおいて加算合成された画像データに対してマイナスゲインを印加するゲイン印加ステップを備えており、
上記加算合成ステップは、さらに、上記撮像ステップの際に、上記分割露光時間で分割露光し、取得した複数の分割露光によって取得された分割露光画像データを加算合成し、加算合成された後の画像データに対して、上記マイナスゲインを印加して、撮影画像データを生成することを特徴とする撮像方法。
【請求項１２】
イメージセンサによって被写体像を撮像し、画像データを出力する撮像ステップと、
本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定ステップと、
上記飽和判定ステップ部においてり、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出ステップと、
上記撮像ステップにおいて取得した画像データに対して画像処理を施す画像処理ステップと、を有し、
上記画像処理ステップは、画像データに対してマイナスゲインを印加するゲイン印加ステップと、上記ゲイン印加ステップにおいてマイナスゲインが印加された後の画像データを加算合成する加算合成ステップとを備えており、
上記加算合成ステップは、上記撮像ステップの際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれに対して、上記マイナスゲインを印加し、このマイナスゲインを印加された画像データを加算合成することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置において、高輝度な被写体を撮影可能であり、また適正露出を得るための露出条件の自由度を高めた撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来のデジタルカメラ等の撮像装置においては、露出の制御を絞り値、ＩＳＯ感度、シャッタ速度等を変更することにより行っている。絞り値（一般的には開口数Ｆ値で示される）の設定範囲は、レンズのＭＴＦ（Modulation Transfer Function：解像度に関連する値）等の光学性能を維持するために、限られた範囲に制限されている。現行の市販製品では、Ｆ１．０からＦ２２程度の間が一般的である。
【０００３】
また、ＩＳＯ感度の低感度側の限界と高感度側の限界は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等のイメージセンサの性能と、カメラの製品としての許容画質によって決まる。
【０００４】
シャッタとしてメカニカルシャッタを採用した場合、シャッタ速度（一般的には露光時間の逆数に関連するＴｖ値で示される）の設定範囲についてみれば、露光時間が長時間側となるシャッタ速度（Ｔｖ値が小）では、イメージセンサの暗電流ノイズが、シャッタ速度が長いほど（Ｔｖ値が小さいほど）、増加する。このため、暗電流ノイズが増加することで、画質が悪化するので、ＩＳＯ感度の高感度設定と同様に画質のＳ／Ｎ比率に関わる値（画像信号での正しい信号成分とノイズ成分の比率による値）によって、低速側となるシャッタ速度の許容時間が決まる。一方、高速側のシャッタ速度の設定範囲は、メカニカルシャッタの駆動精度に依存する。例えば、フォーカルプレーンシャッタの場合には、先幕と後幕の２枚のシャッタ幕の開閉速度のばらつきがあることから、現状、シャッタ速度は１／８０００秒程度に制限されている。また、シャッタとして、レンズシャッタを採用した場合には、フォーカルプレーンシャッタよりも高速側の限界速度は低速となる。
【０００５】
このように、露出を制御するための絞り値、ＩＳＯ感度、シャッタ速度には、それぞれ限界があり、限界範囲内の絞り値、ＩＳＯ感度、シャッタ速度の組み合わせでは、撮影者であるユーザの意図に沿った画像を得ることができない場合ある。例えば、太陽など輝度の高い被写体を撮影する場合、絞りをＦ２２まで絞り、ＩＳＯ感度を最低感度に設定し、シャッタ速度を最高速度に設定しても、撮影した画像は白飛びしてしまう場合がある。
【０００６】
このような高輝度の被写体を撮影する場合には、従来、ＮＤ（減光）フィルタを使用し、イメージセンサに入射する光量を減光することにより適正露出で撮影する方法がとられてきた。ＮＤフィルタをカメラのレンズに装着することは面倒であることから、カメラ内の入射光路にＮＤフィルタを内蔵して、必要に応じてイメージセンサの前にＮＤフィルタを挿入・退避させることが可能なデジタルカメラも提案されている（特許文献１参照）。また、ＮＤフィルタを用いずに感度を実質的に下げて撮影を行うために、イメージセンサのフォトダイオードで光電変換された電荷信号の一部を排出することで実質的に感度を下げて撮影することが可能なイメージセンサが提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２８３９２３号公報
【特許文献２】特開２０１３−１８３３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
高輝度被写体撮影時にＮＤフィルタをカメラのレンズに着脱する方法では、ＮＤフィルタの着脱自体が煩雑である。また、特許文献１のように、ＮＤフィルタをカメラ内に内蔵すれば、減光させるための操作自体は簡便になるが、ＮＤフィルタを内蔵し駆動することによってカメラが大型化する。また、さらにカメラがコストアップになってしまう。また、特許文献２のイメージセンサは、電荷排出機能を持たせるために、従来のイメージセンサに比較し、周辺回路としてトランジスタや画素メモリを余分に必要とする。このため、フォトダイオードの受光面積が小さくなり、感度や飽和出力が小さくなる。この結果、通常感度での撮影時にも、Ｓ／Ｎの悪化やダイナミックレンジの縮小など画質が劣化してしまう。
【０００９】
本発明は、このような事情を鑑みてなされたものであり、ＮＤフィルタを使用しなくても擬似的にＮＤフィルタを使用したと同等の減光した撮影を可能とし、またはイメージセンサの性能等で決まる最低ＩＳＯ感度よりもさらに低感度の撮影を可能とし、かつ撮影画質の劣化など通常感度での撮影に悪影響のない撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため第１の発明に係る撮像装置は、被写体像を撮像し、画像データを出力するイメージセンサを含む撮像部と、本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部と、上記飽和判定部により、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出部と、上記撮像部が取得した画像データに対して画像処理を施す画像処理部と、を有し、上記画像処理部は、画像データを加算合成する加算合成部と、上記加算合成部によって加算合成された画像データに対してマイナスゲインを印加するゲイン印加部を備えており、上記加算合成部は、上記撮像部における撮像の際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれを加算合成して合成画像データを生成し、上記ゲイン印加部は、上記合成画像データに対して、上記マイナスゲインを印加して、撮影画像データを生成する。
【００１１】
第２の発明に係る撮像装置は、被写体像を撮像し、画像データを出力するイメージセンサを含む撮像部と、本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部と、上記飽和判定部により、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出部と、上記撮像部が取得した画像データに対して画像処理を施す画像処理部と、を有し、上記画像処理部は、上記分割露光時間検出部が検出した分割露光時間で撮像された、それぞれの分割露光画像データに対してマイナスゲインを印加するゲイン印加部と、上記ゲイン印加部に基づいて、マイナスゲインが印加された上記分割露光画像データを加算合成する加算合成部とを備えており、上記加算合成部は、上記撮像部における撮像の際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれに対して、上記ゲイン印加部によって上記マイナスゲインを印加し、マイナスゲインを印加された後の画像データを加算合成して、撮影画像データを生成する。
【００１２】
第３の発明に係る撮像装置は、上記第１または第２の発明において、上記撮像部は、さらにメカニカルシャッタを有し、上記分割露光時間検出部によって検出された上記分割露光時間が、高速露光時間のため上記メカニカルシャッタによって制御できない場合には、上記分割露光の動作は、上記メカニカルシャッタを駆動せずに、上記イメージセンサを電子シャッタ制御により制御する。
第４の発明に係る撮像装置は、上記第１または第３の内のいずれかの発明において、記撮像部に含まれる上記イメージセンサは、画素毎またはライン毎に露光時間を制御可能なイメージセンサであり、上記飽和判定部によって飽和すると判定された画素またはラインを分割露光し、飽和しないと判定された画素またはラインは、１回の露光で読み出す。
第５の発明に係る撮像装置は、上記第４の発明において、上記ゲイン印加部は、ユーザによって設定入力される任意の減光量に基づいて算出されるマイナスゲインを設定し、上記加算合成部によって加算合成された画像データの出力に対して上記マイナスゲインを印加する。
第６の発明に係る撮像装置は、上記第４の発明において、上記ゲイン印加部は、ユーザによって設定入力される感度設定値に対して、上記イメージセンサの最低感度に対する感度比率に基づいて算出されるマイナスゲインを設定し、上記加算合成によって加算合成されたが画像データの出力に対して、上記マイナスゲインを印加する。
【００１３】
第７の発明に係る撮像装置は、上記第４の発明において、さらに、本露光用に設定された撮影条件に基づいて適正露出が得られるイメージセンサの感度設定値を算出する本露光露出予測部を有し、上記飽和判定部は、さらに上記本露光露出予測部によって得られたイメージセンサの感度設定値での撮影条件で、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定し、上記飽和判定部が、上記本露光露出予測部によって、上記イメージセンサの最低感度を設定した場合に、上記画像データの少なくとも一部の画素出力が飽和すると判定された場合には、さらに上記本露光露出予測部によって、適正露出が得られる上記イメージセンサの最低感度設定値よりも低感度となるイメージセンサの感度を算出し、上記ゲイン印加部は、上記本露光露出予測部によって取得した適正露出が得られる上記イメージセンサの感度の算出値と、上記イメージセンサの最低感度に対する感度比率に基づいて算出されるマイナスゲインを設定し、上記加算合成部によって加算合成された画像データに対して上記マイナスゲインを印加する。
【００１４】
第８の発明に係る撮像装置は、上記第７の発明において、記本露光露出予測部は、ライブビュー画像データに基づいて、本露光用に設定された撮影条件に基づいた、予測画像データを生成し、上記飽和判定部は、上記予測画像データに対して、少なくとも一部の画素出力が飽和するか否かを判定し、上記飽和判定部が、上記予測画像データに対して、少なくとも一部の画素出力が飽和すると判定された場合には、上記分割露光時間検出部は、上記画素出力が飽和しない分割露光時間および、分割数を検出する。
第９の発明に係る撮像装置は、上記第８の発明において、上記飽和判定部は、上記ライブビュー画像データに対して少なくとも一部の画素出力が飽和するか否かを判定し、上記飽和判定部が、上記ライブビュー画像データに画素出力が飽和すると判定された場合には、上記本露光露出予測部は、上記飽和判定部が飽和を検出しない状態となるように露出を下げる設定をし、上記本露光露出予測部は、上記露出を下げたライブビュー画像データから、本露光用に設定された撮影条件に基づいた予測画像データを生成する。
第１０の発明に係る撮像装置は、上記第１または第２の発明において、上記加算合成部および／または上記ゲイン印加部は、十分なビット精度となる拡張ビット出力を備えており、上記加算合成部での加算演算時、および／または上記ゲイン印加部でのゲインの印加加算時に、上記画像データの情報が欠落しないように、上記加算部および／または上記拡張ビット出力を用いて演算を行う。
【００１５】
第１１の発明に係る撮像方法は、イメージセンサによって被写体像を撮像し、画像データを出力する撮像ステップと、本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定ステップと、上記飽和判定ステップ部においてり、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出ステップと、上記撮像ステップにおいて取得した画像データに対して画像処理を施す画像処理ステップと、を有し、上記画像処理ステップは、画像データを加算合成する加算合成ステップと、上記加算合成ステップにおいて加算合成された画像データに対してマイナスゲインを印加するゲイン印加ステップを備えており、上記加算合成ステップは、さらに、上記撮像ステップの際に、上記分割露光時間で分割露光し、取得した複数の分割露光によって取得された分割露光画像データを加算合成し、加算合成された後の画像データに対して、上記マイナスゲインを印加して、撮影画像データを生成する。
【００１６】
第１２の発明に係る撮像方法は、イメージセンサによって被写体像を撮像し、画像データを出力する撮像ステップと、本露光用に設定された撮影条件で撮像した場合に、上記画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定ステップと、上記飽和判定ステップ部においてり、少なくとも一部の画素出力が飽和すると判定した場合に、上記画素出力が飽和しない分割露光時間を検出する分割露光時間検出ステップと、上記撮像ステップにおいて取得した画像データに対して画像処理を施す画像処理ステップと、を有し、上記画像処理ステップは、画像データに対してマイナスゲインを印加するゲイン印加ステップと、上記ゲイン印加ステップにおいてマイナスゲインが印加された後の画像データを加算合成する加算合成ステップとを備えており、上記加算合成ステップは、上記撮像ステップの際に、上記分割露光時間で分割露光し、取得した複数の画像データのそれぞれに対して、上記マイナスゲインを印加し、このマイナスゲインを印加された画像データを加算合成する。
【発明の効果】
【００１７】
本発明によれば、ＮＤフィルタを使用しなくても擬似的にＮＤフィルタを使用したと同等の減光した撮影を可能とし、またはイメージセンサの性能等で決まる最低ＩＳＯ感度よりもさらに低感度の撮影を可能とし、かつ撮影画質の劣化など通常感度での撮影に悪影響のない撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係るデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るデジタルカメラにおいて、分割露光を行い、この画像にマイナスゲインを用いて適正露出を得ることを説明するグラフである。
【図３】本発明の第１実施形態に係るカメラのデジタルＮＤモードにおける動作を示すフローチャートである。
【図４】本発明の第２実施形態に係るカメラの拡張低ＩＳＯモードの動作を示すフローチャートである。
【図５】本発明の第２の実施形態に係るデジタルカメラにおいて、イメージセンサへの入力光量と光電子量との関係、およびＩＳＯ感度設定に対するデジタル化された画像出力との関係とを示す図である。
【図６】本発明の第２実施形態に係るカメラの動作の変形例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、概略、撮像素子から読み出される画像信号に基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、カメラの撮影設定に対して、デジタルＮＤモードが設定された場合には、設定されているシャッタ速度での撮影の際に、高輝度の場合には分割露光で撮影を行い、分割露光で得られた各画像の加算合成を行う。また、同様にカメラの撮影設定に対して、拡張低感度ＩＳＯモードが手動または自動で設定された場合には、最低ＩＳＯ感度で画像出力の飽和が発生する場合（すなわち白とびが発生する場合）には分割露光で撮影を行い、分割露光で得られた各画像の加算合成を行う。これによって、被写体輝度が高輝度のために一部の画素が飽和し、白飛びの画像となることを防止することができる。
【００２０】
すなわち、ユーザが入力ＩＦ（インターフェイス）を介してデジタルＮＤモード設定（減光処理設定）を行い撮影した場合には、画像データに対してマイナスゲインを印加し、ＮＤフィルタと同等の減光撮影効果を得る。さらに飽和判定部により、画像データの出力が飽和しているかを判定し、飽和する場合には飽和しない高速シャッタ速度で分割露光した複数の画像を加算合成、マイナスゲインを印加することで画像の破綻のない画像を生成する。拡張低感度ＩＳＯモードが手動または自動で設定された場合にも、同様の処理がなされる。
【００２１】
図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。なお、本実施形態においては、撮像部１に含まれるレンズ２１は、カメラ本体と一体に構成されているが、一体型の構成に限定せず、レンズ交換式カメラに対応する交換レンズとしても勿論かまわない。
【００２２】
撮像部１内には、レンズ２、メカニカルシャッタ３、イメージセンサ４を有する。レンズ２は、イメージセンサ４に被写体の光学像を結像する。このレンズ２内には、露出量を調節するための絞り値を調節する絞りを備える。また、メカニカルシャッタ３は、開閉動作によりイメージセンサ４への露光や遮光を行い、シャッタ速度を制御する。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像信号を、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。
【００２３】
画像処理部１０は、イメージセンサ４から出力された画像信号に画像処理を施し、加算合成部１４、ゲイン印加部１５、および現像処理部１６を有する。
【００２４】
加算合成部１４は、イメージセンサ４から読み出された複数の画像データの内、それぞれ対応する画素毎に出力を加算し、加算合成データを生成する。すなわち、分割露光によって各分割露光の終了後にイメージセンサ４から画像データを読み出し、全ての分割露光の終了後に、加算合成部１４は対応する画素毎に画像データを加算し、加算合成データを生成する。
【００２５】
ゲイン印加部１５は、画像データに対して、所定のマイナスゲイン値を乗算する。例えば、マイナスゲインの設定の一例として、１／２のゲイン値を乗算することで画像データの出力が１／２となり、ＮＤ２フィルタ（光量を１／２に減光するフィルタ）と同等の減光効果を施すことができる。また、デジタルＮＤの設定値が、例えばＮＤ８の場合は１／８を乗算する。マイナスゲイン値は、ユーザが入力ＩＦ３８等を介して設定可能である。このように、ゲイン印加部１５は、所望の減光効果を実現することができる。
【００２６】
現像処理部１６は、加算合成部１４において生成されたＲＡＷ画像データ（後述の現像処理前の画像データ）に対して、デモザイキング（同時化処理）、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。
【００２７】
飽和判定部１７は、画像データの出力が飽和レベルに達しているか否かを判定する。飽和レベルとしては、ＲＡＷ画像データのビット数の飽和出力を用いて判定する。具体的には、飽和判定部１７は、本露光用に設定された撮影条件で撮像した場合に、画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部として機能する。
【００２８】
本露光露出予測部１８は、カメラの画像データの輝度情報に応じて、ＩＳＯ感度、絞り値、露出時間（シャッタ速度）等について、最適な露出設定の予測値を算出する。なお、本実施形態においては、ライブビュー撮影状態において、イメージセンサ４によって得られる画像データに応じて、最適な露出設定を決める例を示している。しかし、これに限ることはなく、例えば、画像出力用のイメージセンサ４とは別に、測光センサを用いる方式であってもよい。
【００２９】
分割時間検出部１９は、飽和判定部１７において、画像データの画素出力が飽和すると判定された場合に、イメージセンサ４からの画像データが飽和しない露出時間（シャッタ速度）の検出を行う。具体的には、分割時間検出部１９は、飽和判定部により、少なくとも一部の画素出力が飽和すると判定した場合には、イメージセンサの画素出力が飽和しない分割露光時間を検出させる、分割露光時間検出部として機能する。
【００３０】
バス３１には、前述の撮像部１、画像処理部１０、飽和判定部１７、本露光露出予測部１８、分割時間検出部１９のほか、内部メモリ３３、外部メモリ３６、表示部３７、入力ＩＦ３８、システム制御部２０が接続されている。
【００３１】
内部メモリ３３は、カメラの動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶する。内部メモリ３３は、フラッシュメモリ、ＤＲＡＭ等の不揮発性のメモリによって構成される。
【００３２】
外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。
【００３３】
表示部３７は、ＴＦＴ（Thin Film Transistor）液晶デバイスや有機ＥＬ表示デバイスなどからなる背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。
【００３４】
入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。
【００３５】
システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの全体制御を行う。システム制御部２０は、前述に示す撮像部１に含まれる各部位に対して制御信号を送信させる。同様に撮像部１からの出力信号に対してバス３１を介して受信を行う。そのほかに、前述に示す画像処理部１０、飽和判定部１７、本露光露出予測部１８、分割時間検出部１９のほか、内部メモリ３３、外部メモリ３６、表示部３７および入力ＩＦ３８、の各部位に対して制御信号の送受信を行う。
【００３６】
また、システム制御部２０は、ユーザが入力ＩＦ３８を介して減光設定（デジタルＮＤモード設定）すると、本撮影直前にライブビュー用にイメージセンサ４から読み出された画像データに基づいて飽和判定部１７が本撮影時のシャッタ速度、絞り値、ＩＳＯ感度で撮影を行った場合に飽和する画素があるか否かを判定する。
【００３７】
システム制御部２０は、飽和判定部６が読み出された画像データに対して飽和する画素がないと判定すると、ユーザが設定したシャッタ速度、絞り値で撮影する。また、デジタルＮＤ設定時はユーザが設定したＩＳＯ感度で撮影を行う。
【００３８】
一方、システム制御部２０は、飽和判定部１７が本撮影時のシャッタ速度、絞り値、ＩＳＯ感度設定で撮影を行った場合に飽和する画素があると判定すると、分割露光時間検出部１９により本撮影時の絞り設定値およびＩＳＯ感度設定値で撮影した場合に画像出力が飽和しないシャッタ速度を検出させ、この分割露光を行わせる。
【００３９】
具体的には、システム制御部２０からイメージセンサ４に本撮影時のシャッタ速度よりも高速な電子シャッタ速度で撮像するよう指令する。この撮像した画像データに対して飽和判定部１７が飽和判定を行い、この判定結果に基づいて、分割露光時間検出部１９は、飽和しないシャッタ速度を検出する。この分割露光時間の設定は、具体的には、本撮影時の設定シャッタ速度の整数分の１でかつ、飽和しないシャッタ速度以下となるシャッタ速度に応じた露光時間を分割露光時間と設定する。
【００４０】
本撮影時には、検出した分割露光時間のシャッタ速度、本撮影時の絞り値、設定ＩＳＯ感度で複数回の撮像を行う。具体的には本撮影の設定シャッタ速度が１／１０秒、分割露光時間が１／１００秒であった場合は、１０回(（１／１０秒）÷（１／１００秒） ）の撮像を行う。このとき撮像した１０枚の画像データは加算合成部１４で加算合成を行い、ゲイン印加部１５でマイナスゲインを乗算する。マイナスゲインの値は上述と同じである。
【００４１】
分割露光時間検出部１９よって得られた分割露光時間が、カメラのメカニカルシャッタ３が制御可能な限界値となる最高速シャッタ速度よりも速い場合は、イメージセンサ４の電子シャッタを用いて分割露光を行う。電子シャッタのシャッタ速度は、イメージセンサ４の制御動作に必要な基準タイミングを生成させるための入力クロック（一般的に１０ＭＨｚ以上）周期毎の時間単位で制御できる。つまり、１０−７ｓｅｃ程度のオーダーでシャッタ速度を制御できる。メカニカルシャッタ３の最高速シャッタ速度が１／８０００ｓｅｃであれば１００００万分の１以上高速なシャッタ速度で撮影することができ、ほとんどの被写体を飽和せずに撮像することができる。
【００４２】
さらに、高速の露出時間を設定する必要であれば、イメージセンサ４の内部回路で電子シャッタのタイミング制御を、上述の入力クロック信号の周期を分周し、さらに高速なクロックで制御すればよい。これにより、さらに高速に分割露光を行うことも可能である。
【００４３】
次に、図２を用いて、分割露光によって飽和しない場合を撮像し、マイナスゲインを印加することにより、ユーザが設定したシャッタ速度で飽和しない画像を生成することができることについて説明する。図２は、一般的なベイヤー配列のイメージセンサを示しており、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長域に透過率の高いカラーフィルタが各画素の前（被写体）側に配置されており、図２の縦軸はＲ／Ｇ／Ｂ画素の出力値を示す。
【００４４】
図２（ａ）は、被写体輝度が高い場合にＮＤ２フィルタ（光量を１／２に減光）を撮影レンズの光路中に挿入した場合の一例を示す。すなわち、（ａ１）は、被写体のＲＧＢ成分の一例を示し、（ａ２）はイメージセンサ４のＲ／Ｇ／Ｂ画素への入力光の輝度を示し、（ａ３）はイメージセンサ４のＲ／Ｇ／Ｂ画素の出力の各出力を示す。この場合には、ＮＤ２フィルタによって、光量が１／２に減光され、イメージセンサ４の各画素の出力は被写体輝度の１／２に比例する。このため、イメージセンサ４の各画素の出力を画像処理部１０で画像処理された（（ａ４）参照）最終画像出力（（ａ５）参照）は、（ａ１）に示す被写体のＲＧＢ成分に比例した値となり、画像に白飛びは発生しない。
【００４５】
図２（ｂ）は、図２（ａ）と同じ被写体輝度を有する場合に、ＮＤフィルタを挿入せず、代わりにＲ／Ｇ／Ｂ画素出力に対して１／２のマイナスゲインを印加した場合の一例を示す。すなわち、（ｂ１）は、（ａ１）と同じく被写体のＲＧＢ成分の一例を示し、（ｂ２）はイメージセンサ４のＲ／Ｇ／Ｂ画素への入力光の輝度を示し、（ｂ３）はイメージセンサ４のＲ／Ｇ／Ｂ画素の出力の各出力を示す。（ｂ３）では、ＮＤ２フィルタの代わりに、マイナスゲインとして（１／２）を乗算している。
【００４６】
この場合、イメージセンサ４の内部のフォトダイオードの飽和出力やセンサ内部または外部のＡ／Ｄ変換器の飽和出力（フルビット出力、図２に示す例では８ｂｉｔ=２５６ＬＳＢ）に相当する以上の光が入力されるとイメージセンサ４の出力は飽和レベルＧＣＬにクリップされる。このクリップされた出力に対して、画像処理部１０はマイナスゲインを印加するため（（ｂ４）参照）、最終的な画像出力（（ｂ５）参照）はＮＤフィルタ２を挿入して撮影した場合と比較し、飽和した画素の出力が小さくなってしまう。つまり図２（ｂ）の場合は飽和してしまうＧ画素が小さくなるため、被写体のＲ／Ｇ／Ｂの比率に対して、最終画像出力のＲ／Ｇ／Ｂの比率が変わってしまう（（ａ５）の破線四角と（ｂ５）の破線四角参照）。
【００４７】
そこで、本発明では図２（ｃ）に示すようにイメージセンサ４の出力が飽和しないように分割露光（図２に示す例では２分割露光）によって複数枚の画像を取得し、この取得した複数毎の画像を加算合成し、マイナスゲインを印加することで画像を取得している。これによってＮＤフィルタを挿入したものと同様に、白飛びが発生せずに、出力の低下した画像を得ることができる。
【００４８】
すなわち、図２（ｃ）の（ｃ１）〜（ｃ３）は、１回目の分割露光時の被写体輝度、イメージセンサ入力、イメージセンサ出力を示し、（ｃ１’）〜（ｃ３’）は、２回目の分割露光時の被写体輝度、イメージセンサ入力、イメージセンサ出力を示す。２分割露光では、各分割露光時間が、１／２になることから、イメージセンサ出力も１／２となり、センサ出力が飽和レベルＧＣＬでクリップされることがない（（ｃ３）および（ｃ３’）参照）。
【００４９】
１回目の分割露光が終わると画像データを読み出して一時記憶しておき、２回目の分割露光が終わると画像データを読み出し、加算合成部１４は読み出された２回分の画像データの加算合成を行う（（ｃ４）参照）。加算合成を行うと、次に、ゲイン印加部１５は加算合成した画像データにマイナスゲイン（ここでは、１／２）を印加（乗算演算処理）する。このマイナスゲインの印加された最終画像出力のＲ／Ｇ／Ｂの比率は、被写体のＲ／Ｇ／Ｂの比率と同じである（（ｃ６）参照）。（ｃ６）の破線四角で示した部分は、（ａ３）と同様に再現される。
【００５０】
次に、図３に示すフローチャートを用いて、本実施形態に係るカメラの処理の流れを説明する。このフローチャート（後述する図４および図６のフローチャートも同じ）は、内部メモリ３１に記憶されたプログラムに従って、システム制御部が各部を制御することにより実行する。
【００５１】
このフローチャートでは、初期状態（ＳＴＡＲＴ）として、ユーザが入力ＩＦ３８によって、カメラの露出制御モードとしてシャッタ速優先モードまたはマニュアルモードを設定した場合を示している。これは、プログラムモードや絞り優先モードでは、シャッタ速度が可変となり、分割露光を行うことがないからである。
【００５２】
図３に示すフローに入ると、まず、ライブビュー表示を開始する（Ｓ１）。ここでは、イメージセンサ４からの画像データに対して、画像処理部１０はライブビュー表示用の画像処理を行い、表示部３７にライブビュー画像を表示する。
【００５３】
ライブビュー表示を開始すると、次に、ユーザがデジタルＮＤモードを設定したか否かを判定する（Ｓ３）。ユーザは高輝度被写体の場合に白飛びとならない画像となるようにＮＤフィルタを挿入するのと同等の擬似的効果の画像処理を施したい場合には、デジタルＮＤモードを入力ＩＦ３８によって設定し、また、この時、減光の度合い（例えば、１／２、１／４、１／８等）も設定する。
【００５４】
ステップＳ３における判定の結果、デジタルＮＤモードが設定されていない場合には、ステップ４１〜Ｓ４５において通常撮影を行う。すなわち、レリーズ釦の半押し操作に応じてオンとなる１ｓｔレリーズスイッチがオンとなかったかを判定し（Ｓ４１）、オンになれば、ＡＥ・ＡＦ（自動露出制御、自動焦点調節）を行う（Ｓ４３）。そして、レリーズ釦の全押し操作に応じてオンとなる２ｎｄレリーズスイッチがオンとなったかを判定し（Ｓ４５）、オンになれば、本撮影を行った後、ステップＳ２７に進む。
【００５５】
ステップＳ３における判定の結果、デジタルＮＤモードが設定されていた場合には、次に、レリーズ釦の半押し操作に応じてオンとなる１ｓｔレリーズスイッチがオンとなかったかを判定する（Ｓ５）。１ｓｔレリーズがなされると、ＡＦ（自動焦点調節）を行う（Ｓ７）。ここでは、イメージセンサ４から出力されるライブビュー表示用の画像データを用いて、レンズ２を最適なピント位置に移動させる。
【００５６】
ＡＦを行うと、次に、本露光露出予測画像生成を行う（Ｓ９）。ここでは、本露光露出予測部８が、本撮影時のＩＳＯ感度、絞り値、シャッタ速度、およびＮＤフィルタの減光度（例えば、１／２、１／４、１／８）の４つ撮影条件を用いて、本撮影を行った場合の画像データの出力を予測する。この場合、ＩＳＯ感度は、ライブビュー用の画像データを参考にユーザが設定したＩＳＯ感度、またはカメラのＡＥ（自動露出制御）機能によって設定された本撮影用のＩＳＯ感度を用いる。またシャッタ速度は、ユーザが設定した本撮影用のシャッタ速度を用いる。
【００５７】
この本露光露出予測画像生成は、具体的にはライブビュー画像データの取得時の撮影条件（ＩＳＯ感度、シャッタ速度、絞り値）と上述した４つの本露光撮影条件の差の分だけ出力を補正し、下記（１）（２）式に基づいて、本露光露出予測画像を生成する。
【００５８】
本露光露出予測画像（ｘ，ｙ）=（露出差）× ライブビュー画像（ｘ，ｙ）  ・・・（１）
（露出差）=（ＩＳＯ感度_本÷ＩＳＯ感度_ｌｉｖｅ）×（Ｆ値_ｌｉｖｅ２ ÷Ｆ値_本２）×（シャッタ速度_本 ÷シャッタ速度_ｌｉｖｅ）×（デジタルＮＤ設定値）・・・（２）
【００５９】
ただし、符号等は下記の通り。
（ｘ、ｙ）：画像データの画素アドレス
ＩＳＯ感度_本：本露光のＩＳＯ感度
ＩＳＯ感度_ｌｉｖｅ ：ライブビューのＩＳＯ感度
Ｆ値_本：本露光のＦ値
Ｆ値_ｌｉｖｅ：ライブビューのＦ値
シャッタ速度_本：本露光のシャッタ速度
シャッタ速度_ｌｉｖｅ：ライブビューのシャッタ速度
【００６０】
なお、本撮影時に比較し、ライブビュー表示時の画像データは、全画素から間引いた画像データか、または数画素ごとの画素出力を加算した画像データである場合が多い。このため、ステップＳ９で生成した本露光露出予測画像は、厳密には本撮影時の画像データの画素単位での予測とはならない。しかし、白飛び現象が発生してしまうような被写体の場合には、１画素のみ高輝度ということはないことから、ライブビュー表示用の画像データに基づいて予測を行っても十分である。
【００６１】
本露光露出予測画像生成を行うと、次に、飽和部があるか否かの飽和判定を行う（Ｓ１１）。ここでは、飽和判定部１７が、イメージセンサ４から読み出した画像データの一部に飽和する画素があるか否かを判定する。
【００６２】
ステップＳ１１における判定の結果、飽和する画素がない場合には、ステップＳ３１、Ｓ３３において分割露光なしのデジタルＮＤモードにおける撮影を行う。まず、レリーズ釦の全押し操作に応じてオンとなる２ｎｄレリーズスイッチがオンとなったかを判定する（Ｓ３１）。この判定の結果、２ｎｄレリーズであれば、本撮影を行う。このステップでは、絞り、シャッタ速度、ＩＳＯ感度は本露光用の撮影条件で撮影を行う。
【００６３】
ステップＳ３１において本撮影を行うと、マイナスゲイン印加を行う（Ｓ３３）。このステップでは、イメージセンサ４から読み出された画像データに対し、ゲイン印加部１５がデジタルＮＤ設定値（例えば、１／２，１／４，１／８）に相当するマイナスゲインを印加する。
【００６４】
ステップＳ１１における判定の結果、飽和する画素がある場合には、本露光で飽和しないシャッタ速度を検出する（Ｓ１３）。ここでは、分割露光時間検出部１９が、本露光時の絞り値、シャッタ速度、ＩＳＯ感度で撮影した際に画像データが飽和しないシャッタ速度を探索する。
【００６５】
ステップＳ１３におけるシャッタ速度の探索にあたって、現在、読み出されているライブビュー画像の画素（ｘ、ｙ）が飽和していない場合には、ライブビュー撮影条件から本撮影時に飽和しないシャッタ速度を検出する。一方、ライブビュー画像の画素（ｘ、ｙ）が飽和している場合は、絞りを絞る、ＩＳＯ感度を下げる、またはシャッタ速度を高速にする等、露出を下げた状態で再度ライブビュー画像を取得し、ライブビュー画像が飽和しない露出条件を検出する。その露出条件から本露光用の絞り値、シャッタ速度、ＩＳＯ感度で撮影した際に画像データが飽和しないシャッタ速度を算出する。
【００６６】
ステップＳ１３において、本撮影時に飽和しないシャッタ速度を検出すると、次に、分割露光時間の決定を行う（Ｓ１５）。このステップでは、検出した飽和しないシャッタ速度と本露光用のシャッタ速度から分割露光時間を決定する。たとえば、本露光用のシャッタ速度の整数分の１でかつ飽和しないシャッタ速度よりも短いシャッタ速度を分割露光時間と決定する。また、分割露光時間が決定すると、本撮影時のシャッタ速度で分割露光時間を除算することにより、分割回数も決まる。
【００６７】
続いて、レリーズ釦の全押し操作に応じてオンとなる２ｎｄレリーズスイッチがオンとなったかを判定し、この判定の結果、２ｎｄレリーズであれば、本露光の撮影を開始する（Ｓ１７）。このステップでは、絞りとＩＳＯ感度は本露光用の撮影条件で撮影を行う。また、シャッタ速度はステップＳ１５で決定された分割露光時間に設定する。
【００６８】
本露光の撮影を開始し、分割露光時間が経過すると、分割露光の画像データの取り込みを行う（Ｓ１９）。このステップでは、分割露光が完了する毎にイメージセンサ４から画像データを読み出し、内部メモリ３３に一時保存する。
【００６９】
分割露光の画像データの取り込みを行うと、次に、分割露光が完了か否かを判定する（Ｓ２３）。このステップでは、ステップＳ１５において決定した分割回数に達するまで、露光と読出しが繰り返されたか否かを判定する。この判定の結果、分割露光が完了していない場合には、ステップＳ１９に戻り、分割露光を繰り返す。
【００７０】
ステップＳ２１における判定の結果、分割露光が完了すると、次に画像加算合成を行う（Ｓ２３）。このステップでは、加算合成部１４が内部メモリ３３に一時保存した複数の画像データを読み出し、これらの画像データの加算合成を行う。
【００７１】
画像加算合成を行うと、ＮＤ設定分のマイナスゲイン印加を行う（Ｓ２５）。このステップでは、加算合成した画像データをゲイン印加部１５にてユーザが設定したデジタルＮＤの設定値分だけマイナスゲインを乗算する。
【００７２】
なお、加算合成（Ｓ２３）とマイナスゲインの印加（Ｓ２５）の処理順番は逆になってもかまわない。加算合成（Ｓ２３）を先に行う場合は、加算合成後の画像のデジタル出力は画像を加算するほど上位ＢＩＴが大きくなっていく。そのため合成画像の最上位ＢＩＴ（ＭＳＢ）がクリップされないように合成画素出力を記録するメモリ部の上位ＢＩＴのビット数は１枚の画像データのＢＩＴ精度よりも加算合成枚数を考慮して余裕をもったＢＩＴ精度にしておく必要がある。加算演算時の演算処理では、画像データ（デジタル値）に対して拡張ビットを用いて演算を行なう。
【００７３】
一方、マイナスゲインの印加（Ｓ２３）を先に行う場合は、マイナスゲインを印加した後に発生する小数点以下のデジタルデータが発生するので（いわゆる、割り算による小数点以下の値になる数値の桁落ちとなる成分）、マイナスゲイン印加後の画像を記録するメモリは、画像データ（デジタル値）に対しては、ＮＤ設定値によるマイナスゲイン値によるビットシフト（ＬＳＢ側に拡張ビットを与える）を考慮して、小数点以下の値がクリップしないように小数点以下の下位ＢＩＴのビット数を確保しておく必要がある。このため、加算合成部１４およびゲイン印加部１５の少なくとも一方は、十分なビット精度となる拡張ビット出力を備えておく。
【００７４】
ステップＳ２５においてＮＤ設定分のマイナスゲイン印加を行うと、またはステップＳ３３においてマイナスゲイン印加を行うと、またはステップＳ４５において２ｎｄレリーズ処理を行うと、次に、画像処理、記録、表示を行う（Ｓ２７）。このステップでは、現像処理部１６が、ステップＳ２５、Ｓ３３等において処理した画像データの現像処理を行い、外部メモリ３６に記録するとともに、撮影画像として表示部３７に表示する。
【００７５】
このように、本発明の第１実施形態においては、本露光露出予測画像を生成し（Ｓ９）、この生成された予測画像に基づいて飽和する画素の発生が予測されるか否かを判定し（Ｓ１１）、飽和する画素の発生が予測される場合には、分割露光を行った後、画像加算を行うようにしている。このため、例えば、高輝度被写体の撮影時にスローシャッタ撮影を行なう場合や、絞り開口量を開放にして被写界深度を浅い条件での撮影を行なう場合など、減光フィルタ（ＮＤフィルタ）を装着しないと撮影画像が白とび（飽和）を起こしてしまう撮影条件であっても、撮影画像に白とびなどが発生することなく撮影することができる。
【００７６】
なお、本実施形態においては、分割露光時には、メカニカルシャッタ３でシャッタ制御するだけではなく、電子シャッタと組み合わせて露光時間を制御するようにしてもよい。すなわち、分割露光時間検出部１９で決定した分割露光時間がカメラのメカニカルシャッタ３の最高速シャッタ速度よりも速い場合は、電子シャッタでの制御で露光、読み出しを行う。これにより非常に輝度の明るい被写体（たとえば太陽）などであっても飽和せずに分割露光を行うことが可能となる。
【００７７】
次に、図４および図５を用いて、本発明の第２実施形態について説明する。第１実施形態においては、デジタルＮＤモードが設定されると、分割露光によって取得した複数の画像データを加算合成することにより、ＮＤフィルタを光路中に挿入した場合の画像を擬似的に生成していた。これに対して、第２実施形態においては、拡張低感度ＩＳＯ感度モードが設定されると、分割露光によって取得した複数の画像データを加算合成することにより、低ＩＳＯ感度に設定した場合の画像を擬似的に生成することができる。なお、拡張低感度ＩＳＯモードは、イメージセンサ４の設定可能な最低感度（「最低感度ＩＳＯ」と称す）よりもさらに低感度のＩＳＯ（「拡張低感度ＩＳＯ」と称す）に設定して撮影したと同等の画像を擬似的に生成するモードをいう。
【００７８】
まず、図５を用いて、拡張低感度ＩＳＯモードについて説明する。低感度設定はイメージセンサ４の各画素に対応するフォトダイオードで一回の露光で光電変換可能な電子数の最大値（飽和電子数）によって制限される。図５（ａ）に示すように、デジタルカメラでは、フォトダイオードに入力される光入力［ｌｘ・ｓ］を光電変換により電子［ｅｌ］に変換し（図５（ｂ）参照）、次段のセンサ内部回路で電圧値に変換し、ＡＤ変換部が図５（ｃ）に示すように、アナログ信号（電圧）からデジタル出力［ＬＳＢ］（Least Significant Bit）に変換する。カメラのＩＳＯ感度は、電圧値（電子数）つまり光入力に対して、何ＬＳＢを出力するかで決まる。高感度ＩＳＯほど少ない電子数（光入力）でデジタル出力が飽和し、低感度ＩＳＯほど飽和出力に割り当てられる電子数（光入力）が多くなる。さらに低感度にしようとすると飽和出力に割り当てられる電子数が飽和電子数（飽和光量）を超えてしまい、飽和出力が得られなくなる。そこで飽和出力が得られる範囲で最低感度ＩＳＯを決めている。
【００７９】
このように、カメラで設定できるＩＳＯ感度は、イメージセンサ４の性能とカメラ製品としての許容画質によって下限値が決まってしまう。しかし、ユーザの意図を反映するシャッタ速度と絞り値を決めると、ＩＳＯ感度が最低感度ＩＳＯよりも低感度のＩＳＯ感度を設定しなければならない場合がある。そこで、本実施形態においては、分割露光によって取得した複数の画像を画像加算することにより、擬似的に低感度ＩＳＯを実現できるようにしている。
【００８０】
本実施形態に係るカメラの電気的構成は、図１に示したブロック図と同様であるが、拡張低感度ＩＳＯモードを実行するため下記部において次のような機能を有する。
【００８１】
ゲイン印加部１５は、拡張低感度ＩＳＯモードの設定時は最低感度ＩＳＯと差分のゲインを印加する。たとえば最低感度ＩＳＯ１００のカメラで、拡張低感度ＩＳＯ２５に設定した場合は、1／４のゲイン（ＩＳＯ２５／ＩＳＯ１００に相当）を乗算する。このマイナスゲインは、ユーザが、入力ＩＦ３８を介して、マイナスゲイン値そのもの、またはＩＳＯ感度として設定可能である。このマイナスゲインを印加することによって所望の低感度撮影を実現する。
【００８２】
飽和判定部１７は、カメラが拡張低感度ＩＳＯモードに設定される場合に、本撮影直前にライブビュー表示用にイメージセンサ４から読み出された画像データに基づいて、本撮影時のシャッタ速度、絞り値、および最低感度ＩＳＯで撮影を行った場合に飽和する画素があるか否かを判定する。
【００８３】
分割時間検出部１９は、カメラが拡張低感度ＩＳＯモードに設定されて、飽和判定部１７によって、本撮影時に飽和する画素があると判定された場合に、本撮影時の絞り値、最低感度ＩＳＯで撮影した場合に画像出力が飽和しないシャッタ速度を検出する。
【００８４】
システム制御部４は、飽和判定部１７によって、本撮影時に飽和する画素がないと判定されると、ユーザが設定したシャッタ速度、絞り値で撮影する。一方、飽和判定部１７によって、本撮影時に飽和する画素があると判定されると、分割露光時間検出部７が検出した分割露光時間のシャッタ速度、本撮影時の絞り値、最低感度ＩＳＯで複数回の撮像を行う。
【００８５】
システム制御部２０は、読み出された画像データに対して飽和する画素がないと飽和判定部６が判定すると、ユーザが設定したシャッタ速度、絞り値、ＩＳＯ感度で撮影する。また、拡張低感度ＩＳＯモードで撮影を行う場合は、最低感度ＩＳＯで撮影を行う。
【００８６】
また、第１実施形態において、図２を用いて分割露光を用いて飽和しない画像が生成できること説明した。第２実施形態においても、同様の分割露光処理を施すことにより低感度ＩＳＯで擬似的に撮影した画像を得ることができる。
【００８７】
次に、図４を用いて、本実施形態に係るカメラの処理の流れを説明する。本実施形態においても第１実施形態の場合と同様、カメラの露出制御モードとしてシャッタ速優先モードまたはマニュアルモードを設定した場合を示している。本実施形態におけるフローは、図３に示した第１実施形態におけるフローにおいて、ステップＳ３およびＳ９をステップＳ２およびＳ１０に変更した点以外は同様である。そこで、同一の処理を行うステップには同一のステップ番号を付して簡単に説明し、相違点を中心に説明する。
【００８８】
図４に示すフローに入ると、まず、ライブビュー表示を開始し（Ｓ１）、続いて、ユーザが拡張低感度ＩＳＯモードを設定したか否かを判定する（Ｓ２）。ユーザは、イメージセンサ４の設定可能な最低感度よりもさらに低感度のＩＳＯに設定して撮影したと同等の画像を擬似的に生成することを意図する場合には、入力ＩＦ３８を介して、拡張低感度ＩＳＯモードを設定する。この判定の結果、拡張低感度ＩＳＯモードが設定されていない場合には、ステップＳ４１〜Ｓ４５において通常撮影を実行する。
【００８９】
ステップＳ２における判定の結果、拡張低感度ＩＳＯモードが設定されている場合には、１ｓｔレリーズがあれば（Ｓ５）、ＡＦを実行する（Ｓ７）。
【００９０】
続いて、本露光露出予測画像生成を行う（Ｓ１０）。このステップでは、本露光露出予測部１８が、ライブビュー画像出力データとライブビュー画像の撮影条件（ＩＳＯ感度とＦ値、シャッタ速度）とＩＳＯ感度以外の本露光撮影条件（Ｆ値とシャッタ速度）と最低感度ＩＳＯ（イメージセンサ４の性能で決まる最低感度）を用いて本撮影を行った場合の画像データを、下記（３）（４）式を用いて、予測する。
【００９１】
この算出処理の目的は、本撮影時に拡張感度ＩＳＯは設定できないので、最低感度ＩＳＯで撮影を行うため、最低感度ＩＳＯで撮影時に飽和するか判定を行う必要があるためである。
【００９２】
本露光露出予測画像（ｘ，ｙ）＝（露出差）×ライブビュー画像（ｘ，ｙ）  ・・・（３）
（露出差）=（最低感度ＩＳＯ_本÷ＩＳＯ感度_ｌｉｖｅ）×（Ｆ値_ ｌｉｖｅ２÷Ｆ値_本２）×（シャッタ速度_本÷シャッタ速度_ｌｉｖｅ）  ・・・（４）
【００９３】
ただし、符号等は下記の通り。
（ｘ，ｙ）：画像データの画素アドレス
最低感度ＩＳＯ_本：本露光のＩＳＯ感度（最低感度ＩＳＯ）
ＩＳＯ感度_ｌｉｖｅ：ライブビューのＩＳＯ感度
Ｆ値_本：本露光のＦ値
Ｆ値_ｌｉｖｅ：ライブビューのＦ値
シャッタ速度_本：本露光のシャッタ速度
シャッタ速度_ｌｉｖｅ：ライブビューのシャッタ速度
【００９４】
本露光露出予測画像を生成すると、次に本露光露出予測部１８で生成した本露光露出予測画像を、飽和判定部１７で飽和判定する（Ｓ１１）。この判定の結果、飽和しないと判定された場合は、本撮影を行い（Ｓ３１）、マイナスゲインを印加し（Ｓ３３）、マイナス印加された画像を外部メモリに記録し、表示部３７に表示する（Ｓ２７）。
【００９５】
ステップＳ３３におけるマイナスゲイン印加は、最低感度ＩＳＯに対してユーザが設定した拡張低感度ＩＳＯの不足分を補うマイナスゲインである。具体的には最低感度ＩＳＯ１００のカメラで拡張低感度ＩＳＯ２５に設定されている場合は、１／４のマイナスゲインを印加する（ＩＳＯ２５／１００に相当）。
【００９６】
ステップＳ１１における判定の結果、飽和すると判定された場合には、第１実施形態におけるデジタルＮＤモードの設定時と同様の方法で画素出力が飽和しないシャッタ速度を検出する（Ｓ１３）。さらに、検出した飽和しないシャッタ速度と本撮影時のシャッタ速度から分割露光時間を決定する（Ｓ１５）。この分割露光時間の決定は、第１実施形態の場合と同様に、例えば、本撮影用のシャッタ速度の整数分の１でかつ飽和しないシャッタ速度よりも短いシャッタ速度を分割露光時間と決定する。
【００９７】
次にユーザがレリーズ釦を全押したタイミングで本撮影を開始する（Ｓ１７）。ここでは、絞りは本撮影時の条件で、ＩＳＯ感度は最低感度ＩＳＯで、シャッタ速度はステップＳ１５で決定された分割露光時間に設定して撮影を行う。露光が完了したらイメージセンサ４から画像データを読み出し、内部メモリに保存する（Ｓ１９）、本撮影時のシャッタ速度を分割露光時間で除算することにより算出される分割露光回数に達するまで露光、読み出しを繰り返す（Ｓ１９とＳ２１を繰り返し実行）。
【００９８】
ステップＳ２１における判定の結果、分割露光が完了したら、加算合成部１４にて内部メモリ３３に保存した複数の画像データを加算合成する（Ｓ２３）。加算合成した後、ゲイン印加部１５にてユーザが設定した拡張低感度ＩＳＯの設定値分だけマイナスゲインを乗算する（Ｓ２５）。マイナスゲインを印加すると、現像処理部１６にて現像処理を施し、外部メモリ３６に保存するとともに撮影画像として表示部３７に表示する（Ｓ２７）。
【００９９】
このように本発明の第２実施形態によれば、拡張低感度ＩＳＯモードが設定されると、本露光露出予測画像を生成し（Ｓ９）、この生成された予測画像に基づいて飽和する画素の発生が予測されるか否かを判定し（Ｓ１１）、飽和する画素の発生が予測される場合には、分割露光を行った後、画像加算を行うようにしている。このため、従来イメージセンサの性能で決まる最低ＩＳＯ感度の条件より低いＩＳＯ感度条件での撮影を行なうことができる。すなわち、一般にイメージセンサの最低ＩＳＯ感度よりＩＳＯ感度を低くしようとすると、飽和出力に割り当てられる電子数が飽和電子数（飽和光量）を超えてしまい、飽和出力が得られず画像出力が破綻してしまう。これによって、本来取得したい画像出力を得ることができなくなる。本実施形態においては、減光フィルタを用いずに、最低ＩＳＯ感度よりも低い感度での露出設定で撮影ができる。
【０１００】
次に、図６を用いて、本発明の第２実施形態の変形例を説明する。第２実施形態においては、拡張低感度ＩＳＯモードをユーザが設定した場合に、拡張低感度ＩＳＯモードに基づく処理を実行していた。これに対して、本変形例では、カメラがオートで拡張低感度ＩＳＯモードに設定可能としている。たとえば、シャッタ速優先モードで撮影時に絞りを最小絞りまで絞り込み、かつＩＳＯ感度を最低感度ＩＳＯとしても被写体が明るく適正露出が得られない場合に、カメラが自動的に最低感度ＩＳＯ以下、つまり拡張低感度ＩＳＯに設定して適正露出を得るようにする。
【０１０１】
図６に示すフローチャートは、本変形例におけるカメラ動作を示しており、概略、
その場合は図６のシーケンス図に示すように、１ｓｔレリーズ後のＡＥ（Auto Exposure）で、適正露出を得るためのＩＳＯ感度を算出し、そのＩＳＯ感度が拡張低感度ＩＳＯかどうかを判定する。以降の処理については図４と同様の処理となる。したがって、図４におけるフローにおけるステップＳ１〜Ｓ９、Ｓ４１〜Ｓ４５を、図６のフローにおけるＳ１〜Ｓ１０、Ｓ４５に置き換える以外は、図４に示すフローと同様である。
【０１０２】
図６のフローチャートに基づく動作では、まず、ライブビュー表示を開始する（Ｓ１）。次に、ユーザがレリーズボタンを半押し（１ｓｔレリーズ）操作したか否かを判定する（Ｓ４）。この判定の結果、１ｓｔレリーズがなされた際には、ＡＦおよびＡＥを実行する（Ｓ６）。このステップでは、システム制御部２０は、撮像部１内のレンズおよび絞り１を駆動し、イメージセンサ４から逐次取得される画像出力から、被写体に対するピントの合焦点位置への移動と、絞りにより露出量の調整を行なう、そしてシャッタ速度、絞り設定値から最適露出となるＩＳＯ感度を算出する。
【０１０３】
ＡＦ・ＡＥを行うと、次に拡張低感度ＩＳＯ設定か否かの判定を行う（Ｓ８）。このステップでは、Ｓ６において算出されたＩＳＯ感度が、拡張低感度ＩＳＯ設定とする値であるか否かを判定する。
【０１０４】
ステップＳ８における判定の結果、ＩＳＯ感度が拡張低感度ＩＳＯ設定となる場合は、飽和部が有る場合には、ステップＳ９〜Ｓ２９において、分割露光によって複数の画像データを取得し、加算合成を行った後、マイナスゲインを印加することにより、擬似的に低感度ＩＳＯを設定したと同様の画像データを生成する。また飽和部がない場合には、ステップＳ３１、Ｓ３３において、静止画画像に対してマイナスゲインを印加することにより、擬似的に低感度ＩＳＯを設定したと同様の画像データを生成する。これらのステップでの処理は、前述したので、詳しい説明を省略する。
【０１０５】
一方、ステップＳ８における判定の結果、ＩＳＯ感度が拡張低感度ＩＳＯ設定とならない場合は（Ｓ８Ｎｏ）、つまり、ＩＳＯオートとして撮影設定して、算出されたＩＳＯ感度がイメージセンサ４の最低ＩＳＯ感度以上である場合は、ステップＳ４５のステップに移行し、ユーザがレリーズボタンを全押しすると（２ｎｄレリーズ）、露光を開始し１枚の静止画画像を撮影する。
【０１０６】
このように、本変形例では、飽和判定部１７は、本露光用に設定された撮影条件が、イメージセンサ４の最低感度を設定して撮像した場合に、画像データの少なくとも一部の画素出力が飽和するか否かを判定し、飽和判定部１７がイメージセンサ４の最低感度を設定した場合に、画像データの少なくとも一部の画素出力が飽和すると判定された場合には、適正露出が得られるイメージセンサの感度を算出し、ゲイン印加部１５は、飽和判定部１７によって取得した適正露出が得られるイメージセンサ４の感度の算出値と、イメージセンサ４の最低感度に対する感度比率に基づいて算出されるマイナスゲインを設定し、加算合成部１４によって加算合成された画像データに対してマイナスゲインを印加している。このため、ユーザが拡張低感度ＩＳＯモードを設定しなくても、算出されたＩＳＯ感度が最低ＩＳＯ感度より低感度となった場合に、自動的に拡張低感度ＩＳＯモードが設定されるので、便利である。
【０１０７】
以上説明したように、本発明の各実施形態や変形例においては、本露光用に設定された撮影条件で撮像した場合に、画像データの少なくとも一部の画素出力が飽和するか否かを判定する飽和判定部１７と、飽和判定部１７により、少なくとも一部の画素出力が飽和すると判定した場合に、画素出力が飽和しない分割露光時間を検出する分割露光時間検出部１９と、画像データを加算合成する加算合成部１４と、加算合成部１４によって加算合成された画像データに対してマイナスゲインを印加するゲイン印加部１５を有し、加算合成部１４は、撮像部における撮像の際に、分割露光時間で分割露光し、取得した複数の画像データのそれぞれに対して、マイナスゲインを印加し、このマイナスゲインを印加された画像データを加算合成するようにしている。このため、ＮＤフィルタを使用しなくても擬似的にＮＤフィルタを使用したと同等の減光した撮影を可能とし、またはイメージセンサの性能等で決まる最低ＩＳＯ感度よりもさらに低感度の撮影を可能とし、かつ撮影画質の劣化など通常感度での撮影に悪影響を与えることがない。
【０１０８】
なお、本発明の各実施形態や変形例においては、イメージセンサ４は、従来の一般的なＣＭＯＳイメージセンサやＣＣＤイメージセンサを用いた場合について記載したが、これに限ることはない。例えば、イメージセンサにある画素の行方向、列方向の読み出し回路を工夫して、行毎、列ごと、画素毎、複数の領域など撮像エリア毎に分割した領域でそれぞれ異なる分割露光時間に設定できるイメージセンサを使用した場合は、上述した撮像エリア毎に飽和判定を行い、それぞれの領域で分割露光時間を設定することが可能となる。
【０１０９】
一般的なＣＭＯＳセンサやＣＣＤイメージセンサのような破壊読みだし方式のイメージセンサでは、分割読み出しの回数が増えるほど読み出しノイズが重畳する。このため、分割読み出し回数が増えるほど、それぞれの読み出し画像を合成して得られる合成画像の画質が劣化することが知られている。したがって、このように制御することで領域毎に分割露光数を最小限に抑えて合成画像の画質を改善することが可能となる。
【０１１０】
また、現在、市販されているデジタルカメラに搭載されているＣＭＯＳメージセンサを用いた場合は、画像の上側の行から順次電荷蓄積リセット、読み出しを行っていく（ローリングシャッター）動作を行う。このため、分割露光時間がメカニカルシャッタの最高速よりも早くなった場合に、電子シャッタで分割露光を行うと上側と下側で露光のタイミングが異なることで、露光中に被写体が動いた場合や、手振れが発生した場合に画像の歪み（ローリング歪み）が発生する。年々ＣＭＯＳイメージセンサのローリングシャッターは高速化しており、歪みが大分小さく抑えられてきているが、この歪みを原理的に発生させないためには、全画素一括リセット可能なCCDイメージセンサやCMOSイメージセンサを用いることでこの問題は解決可能である。
【０１１１】
また、本発明の各実施形態や変形例では分割露光を行う際にメカニカルシャッタで撮影できる露光時間であれば電子シャッタよりもメカニカルシャッタで分割露光する例を示したが、全ての露光時間を電子シャッタで分割露光撮影を行ってもよい。メカニカルシャッタで連写を行うと分割露光間の露光抜けを数１００ｍｓｅｃ程度の露光抜けが発生してしまうので、本撮影中に動いた被写体などは画像が不自然になることがある。一方、電子シャッタは露光抜けがないので、合成画像が不自然になるのを防止することができる。
【０１１２】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、ミラーレスカメラ、コンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等にモバイル機器に搭載されるカメラでも構わない。また、被写体輝度のダイナミックレンジ（明暗さ）が必要な、自動車搭載カメラや、監視カメラ等の機器も適用可能である。
【０１１３】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１１４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１１５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１６】
１・・・撮像部、２・・・レンズ、３・・・メカニカルシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１４・・・加算合成部、１５・・・ゲイン印加部、１６・・・現像処理部、１７・・・飽和判定部、１８・・・本露光露出予測部、１９・・・分割時間検出部、２０・・・システム制御部、３１・・・バス、３３・・・内部メモリ、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ
【図１】
2015136087.tif 000003
【図２】
2015136087.tif 000004
【図３】
2015136087.tif 000005
【図４】
2015136087.tif 000006
【図５】
2015136087.tif 000007
【図６】
2015136087.tif 000008